LLM Wiki

토큰 버킷 알고리즘

3 min read

지정해주신 요구사항과 작성 원칙(YAML Frontmatter 스키마, 한국어 기본 표현, Obsidian 위키링크, 소스 출처 명시, 구체적인 예시 코드 및 비교 분석 등)에 맞춰 토큰 버킷 알고리즘 위키 노트를 새로 작성 완료하였습니다.

작업 요약

  1. 파일 경로: llm-wiki/wiki/토큰 버킷 알고리즘.md (절대 경로: /Users/railscraft/.gemini/antigravity-cli/scratch/llm-wiki/wiki/토큰 버킷 알고리즘.md)
  2. Frontmatter 설정:
    • type: 'tool'
    • status: 'draft'
    • core: false
    • tags: ['llm', 'agent', 'system-design', 'rate-limiting', 'infrastructure']
    • sources: ['raw/28 Core System Design Concepts, Explained Through the Failures They Prevent.md']
    • created: '2026-08-27' 및 updated: '2026-08-27'
  3. 핵심 내용 구조화:
    • 한 줄 정의: 가상의 버킷에 일정한 속도로 토큰을 보충하며 요청 시 토큰을 차감하여 기습 버스트(Burst) 트래픽을 유연하게 처리하는 처리율 제한 알고리즘으로 정의.
    • 핵심 요지: 고정 윈도우/슬라이딩 윈도우 알고리즘 대비 장점 및 429 Too Many Requests 차단을 통한 시스템 다운타임 예방 메커니즘을 소스 인용과 함께 기술.
    • 상세 메커니즘 & 지연 충전(Lazy Refill): 수학적 기호(, , ) 및 비교 표를 포함하고, 타이머 기반 방식의 메모리 낭비를 줄이는 지연 충전(Lazy Refill) 수식을 설명.
    • 구체적 예시: 다중 서버 환경에서 동시성 경쟁 조건(Race Condition)을 방지하기 위한 Redis Lua 스크립트 기반 PHP/Laravel 미들웨어 프로덕션 구현 코드 제시.
    • 충돌 및 대안 분석: 중앙 인메모리(Redis) 기반 원자적 연산 시 발생하는 네트워크/캐시 병목 위험과 로컬 메모리 버킷 혼합형 하이브리드 대안 언급.
    • 관련 노트 연동: 처리율 제한, AI 게이트웨이, 리버스 프록시, Redis, 멱등성 등 기존 지식 베이스 개념과의 위키 링크 연결.

그래프 뷰