LLM Wiki

활성 매개변수

4 min read

요청하신 개념 ‘활성 매개변수’ (유형: concept)에 대한 위키 노트를 성공적으로 작성하여 위키 시스템 경로에 반영했습니다.

생성된 노트 파일 정보

  • 파일명/경로: 활성 매개변수.md
  • Frontmatter 메타데이터:
    • type: concept
    • status: draft
    • core: false
    • tags: ['llm', 'machine-learning', 'architecture', 'moe']
    • aliases: ['Active Parameters', '활성화 매개변수', '토큰당 활성 매개변수']
    • sources: ['raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md']
    • created: 2026-08-27
    • updated: 2026-08-27

주요 정리 내용 요약

  1. 한 줄 정의:
    • 희소(Sparse) 전문가 혼합 아키텍처(MoE) 신경망에서 단일 입력 토큰 연산 시 게이팅 네트워크(라우터)에 의해 실제로 선택되어 계산에 참여하는 실질적 매개변수 규모.
  2. 핵심 요지 및 수치 지표 연동:
    • 연산량(FLOPS) 대 메모리 용량(VRAM)의 이원화: 추론 속도 및 FLOPS는 활성 매개변수 크기가 결정하며, VRAM 적재 용량은 전체 매개변수(Total Parameters) 크기가 결정함 (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
    • 2026 오픈소스 LLM 패밀리별 비교표 정리:
      • Qwen3.5-35B-A3B: 전체 35B 중 활성 3B (8.57% 활성화), SWE-bench 69.2%, 8GB VRAM GPU 구동 가능 (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
      • MiniMax M2.5: 전체 230B 중 활성 10B (4.35% 활성화), SWE-bench 80.2% (Claude Opus 4.5급 성능) (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
      • GLM-5: 전체 744B 중 활성 40B (5.38% 활성화), SWE-bench 77.8% (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
      • Kimi K2.5: 전체 1.04조 중 활성 32B (3.08% 활성화), Agent Swarm 100개 제어 (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
      • GPT-OSS-20B: 전체 21B 중 활성 3.6B, GPQA 71.5% (raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md).
  3. 구체적 코드 및 하드웨어 시나리오:
    • PyTorch 기반 ActiveParameterMoE 클래스를 통해 입력 토큰별 Top-k 전문가 선택 및 연산량 효율화 시뮬레이션 코드 포함.
    • 8GB / 16~24GB / 64GB+ Mac 등 등급별 하드웨어에 맞춘 활성 매개변수 모델 구동 가이드 제시.
  4. 충돌 섹션:
    • 학술적 연산량 절감 효과와 실제 인프라의 VRAM 적재 병목인 메모리 벽 간의 상충 관계 명시 및 이를 극복하기 위한 전문가 스트리밍 기법과의 연결성 서술.
  5. 관련 노트 연결:

그래프 뷰

백링크