월시-하마다드 변환 무작위 회전

요청하신 ‘월시-하마다드 변환 무작위 회전’ (유형: workflow) 위키 노트를 성공적으로 작성하여 위키 지식 베이스에 추가했습니다.

생성된 노트 파일 정보

• 파일명: 월시-하마다드 변환 무작위 회전.md
• 경로: 월시-하마다드 변환 무작위 회전.md

---

작성 내용 요약

1. Frontmatter:

   • type: workflow
   • status: draft
   • core: false
   • sources: ['raw/5배 적은 메모리로 맥에서 32B 모델 실행하기 - 구글 TurboQuant, 애플 실리콘 상륙.md']
   • created / updated: 2026-08-27

2. 핵심 분석 내용 및 지표:

   • 이상치(Outlier) 평탄화: 특정 차원에 집중된 아웃라이어를 월시-하마다드 직교 회전을 통해 전체 차원으로 골고루 분산시킵니다.
   • 가우시안 분포 수렴: 회전 후 벡터 분포가 고른 가우시안 분포 형태를 띠게 되어, 폴라퀀트 극좌표계 양자화(방향 3비트, 크기 8비트) 시 정밀도 손실이 극적으로 줄어듭니다.
   • 메모리 오버헤드 제로: 별도의 스케일 팩터나 Zero-point 저장이 필요 없어 양자화 연산의 추가 메타데이터 메모리 점유가 0에 가깝습니다.
   • 실증 벤치마크 지표 출처 명시: Llama-3.2-3B 모델에서의 펄플렉시티 개선(-0.8%), Gemma 3 4B에서의 정규화 향상(+1.1%), Qwen2.5-32B에서의 16K~64K KV 캐시 63% 절감 및 Needle-in-a-haystack 6/6 완벽 일치 성능을 소스 경로와 함께 명기했습니다.

3. 코드 및 시나리오:

   • MLX 기반의 파이썬 구현체(sharpner/turboquant-mlx)에서 TurboQuantKVCacheV2(..., use_rotation=True) 설정을 통해 무작위 회전을 활성화하는 실전 예제 코드를 수록하였습니다.

4. 연동된 개념 링크:

   • 폴라퀀트, TurboQuant-MLX, Quantised Johnson-Lindenstrauss, KV 캐시 압축, 로이드-맥스 코드북, MLX, KV 캐시 등 지식 네트워크 개념들과 상호 연동되도록 구성하였습니다.