KV 캐시 압축

요청하신 ‘KV 캐시 압축’ (유형: workflow) 개념 노트가 성공적으로 생성 및 저장되었습니다.

• 노트 위치: KV 캐시 압축.md

주요 작성 내용 요약

1. Frontmatter 및 메타데이터: 지정된 템플릿 규격(type: workflow, status: draft, sources, tags 등)을 철저히 준수하여 스키마를 구성했습니다.
2. 핵심 요지 및 상세 원리: 구글 TurboQuant 논문(arXiv:2504.19874, ICLR 2026) 기반 2단계 파이프라인(폴라퀀트(PolarQuant) + QJL)의 극좌표 변환, 무작위 회전을 통한 이상치 분산, 1비트 잔차 오차 보정 메커니즘을 상세 기술했습니다.
3. 구체적 실출처 인용 및 지표: 수치, 벤치마크, 압축률, 초당 생성 토큰 수(tps), 펄플렉시티 영향, TTFT 등에 관한 인용 문단마다 소스 문서 경로(raw/5배 적은 메모리로 맥에서 32B 모델 실행하기 - 구글 TurboQuant, 애플 실리콘 상륙.md)를 정확히 명시했습니다.
4. 구체적 코드 및 사용 시나리오: mlx_lm 모듈 몽키 패치 적용 및 TurboQuantKVCacheV2 백엔드 설정 코드 예시와 실무에서의 256K 롱 컨텍스트 온디바이스 PDF 질의응답 시나리오를 포함했습니다.
5. 충돌 섹션 분석: 모델의 헤드 차원 크기($D=128$ vs $D=256$)에 따른 압축 정밀도 영향 차이 및 커스텀 메탈 퓨즈드 커널 유무에 따른 추론 속도 슬로우다운 충돌 현상을 명시했습니다.
6. Obsidian 위키링크 교차 연결: Key-Value 캐시(KV Cache), TurboQuant, 컨텍스트 윈도우(Context Window), 양자화(Quantization), AI 에이전트 제어 루프, 온디바이스 AI 등 지식 네트워크 연동을 위한 링크를 풍부하게 삽입했습니다.