지정된 개념 **‘혼합 전문가 아키텍처’ (Mixture of Experts Architecture, MoE)**에 대한 위키 노트 생성을 완료하였습니다.
새롭게 업데이트된 위키 노트는 기존의 Kimi K3 관련 아키텍처 분석 내용과 신규 소스 문서(raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md)의 2026 최신 오픈소스 MoE 모델 스펙, 하드웨어 계층별 활용 시나리오, 컴퓨팅 연산량 대 메모리 적재 용량의 이원화 구조를 완벽하게 통합·보강하였습니다.
📄 작성된 위키 노트 미리보기
---
type: concept
status: draft
core: false
tags:
- llm
- machine-learning
- architecture
aliases: ['전문가 혼합 아키텍처', '전문가 혼합', 'MoE', 'Mixture-of-Experts']
sources:
- 'raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md'
- 'raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md'
created: 2026-07-30
updated: 2026-08-27
---
# 혼합 전문가 아키텍처
## 한 줄 정의
**혼합 전문가 아키텍처(Mixture of Experts Architecture, MoE)**는 인공신경망의 전체 매개변수 중 입력 토큰의 특성에 맞는 일부 서브 네트워크(전문가)만을 동적으로 선택해 활성화함으로써, 추론 및 계산 비용(FLOPS)을 대폭 낮추면서도 모델 전체의 용량과 표현 능력을 극대화하는 희소(Sparse) 신경망 아키텍처이다.
## 핵심 요지
- **희소 활성화(Sparse Activation)와 연산 효율성**: 기존 밀집(Dense) 모델이 모든 토큰 처리 시 전체 매개변수를 활성화하는 것과 달리, MoE 모델은 라우터(Router)를 통해 입력 토큰별로 소수의 전문가 네트워크만 선택적으로 활성화한다 (`raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md`).
- **컴퓨팅 연산량 대 VRAM 메모리 요구량의 분리**: 추론 속도와 컴퓨팅 연산량(FLOPS)은 **활성 매개변수(Active Parameters)** 크기가 결정하지만, 모델 전체 가중치를 저장하기 위한 VRAM 요구량(파일 크기)은 **전체 매개변수(Total Parameters)** 크기가 결정한다 (`raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md`).
- **메모리 벽(Memory Wall)의 잔존**: 추론 시 어떤 전문가가 선택될지 실시간으로 예측하기 어렵기 때문에 모든 전문가 가중치가 메모리(VRAM)에 사전 로드되어 상주해야 하므로, 물리적 메모리 요구량 자체가 줄어들지는 않는다 (`raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md`).
- **양자화 노이즈와 희소 라우팅 실패**: MoE 아키텍처는 극단적인 양자화(2비트 이하) 적용 시 압축 노이즈가 라우터 로짓(Router Logits)을 왜곡하여 토큰을 부적절한 전문가로 라우팅하거나 특정 전문가가 침묵(Go Silent)하는 현상에 매우 취약하다 (`raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md`).
- **최신 2026 오픈소스 MoE 파급력**: Qwen3.5-35B-A3B(전체 35B/활성 3B), MiniMax M2.5(전체 230B/활성 10B), GLM-5(전체 744B/활성 40B), Kimi K2.5(전체 1.04조/활성 32B) 등 최신 MoE 모델들은 활성 매개변수 대비 뛰어난 벤치마크 성과를 내며 로컬 디바이스 및 프라이빗 인프라 배포의 패러다임을 혁신하고 있다 (`raw/7 Local LLM Families To Replace Claude_Codex (for everyday tasks).md`).
## 상세
### 1. MoE의 기본 구조 및 라우팅 메커니즘
...📂 저장 경로 및 연동 상태
- 혼합 전문가 아키텍처.md
- 전문가 혼합 아키텍처.md (기존 노트 완벽 통합 및 상호 얼라이먼트 완료)