전문가 혼합 아키텍처

한 줄 정의

**전문가 혼합 아키텍처(Mixture-of-Experts, MoE)**는 인공신경망의 전체 매개변수 중 입력 토큰의 특성에 맞는 일부 서브 네트워크(전문가)만을 선택적으로 활성화하여 추론 비용을 억제하면서도 모델의 전체 용량(지능)을 극대화하는 희소(Sparse) 신경망 아키텍처이다.

핵심 요지

연산 효율성과 희소 활성화: 입력 토큰별로 소수의 전문가 네트워크만 동적으로 활성화(Fire)하여, 밀도 높은(Dense) 모델에 비해 토큰당 연산량(Compute)을 크게 줄일 수 있다.
메모리 벽(Memory Wall)의 잔존: 연산량은 줄어들지만, 입력 토큰을 분석하는 라우터(Router)의 결정 전에는 어떤 전문가가 쓰일지 예측할 수 없으므로 전체 전문가 가중치(예: Kimi K3의 경우 896개 전체)가 실시간으로 메모리(VRAM)에 상주해야 한다. 따라서 메모리 용량 요구 사항은 줄어들지 않는다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
오프로딩 및 전송 병목: 가중치를 외부 메모리(RAM, SSD)로 오프로드할 경우, PCIe 버스 등의 전송 대역폭 한계로 인해 토큰 생성 속도가 심각하게 저하된다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
양자화 왜곡과 라우터 로짓 흔들림: MoE 모델을 2비트 이하로 과도하게 양자화하면 압축 노이즈가 라우터 로짓(Router Logits)을 교란시켜, 토큰을 엉뚱한 전문가에게 보내거나 특정 전문가 네트워크가 먹통(Go Silent)이 되면서 추론 품질 저하 및 환각(Hallucination)이 유발된다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
실제 구현 사례와 규모: 대표적인 초대형 MoE 모델인 Kimi K3는 전체 896개 전문가 중 토큰당 16개 전문가만을 활성화하지만, 가중치 크기가 2.8조 개에 달해 4비트 양자화 상태에서도 약 1.4TB의 메모리를 요구한다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

상세

1. MoE의 기본 작동 메커니즘

전문가 혼합 아키텍처는 주로 게이팅 네트워크(Gating Network) 혹은 라우터(Router)와 다수의 피드포워드 신경망(Feed-Forward Network, FFN)으로 구성된 전문가(Experts) 서브 네트워크로 이루어진다.

라우팅(Routing): 입력 토큰 $x$ 가 들어오면, 라우터는 각 전문가에 대한 확률 분포(로짓)를 계산한다. 이 확률 분포를 바탕으로 상위 $k$ 개의 전문가를 선택한다.
희소 활성화(Sparse Activation): 선택된 전문가들만 활성화되어 연산을 수행하고, 그 결과값은 라우터의 가중치와 곱해져 합산된다. 이를 통해 전체 매개변수 규모에 비해 훨씬 적은 연산(FLOPS)으로 추론이 가능해진다.

2. 메모리 벽(Memory Wall)과 대역폭 병목

MoE의 가장 큰 오해는 “일부 전문가만 사용하므로 메모리도 적게 쓸 것”이라는 예측이다. 그러나 이는 하드웨어의 작동 방식과 어긋난다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

라우팅 예측 불가능성: 생성될 토큰 시퀀스는 비선형적이며 예측하기 어려우므로, 라우팅 결정이 이루어지는 밀리초(ms) 단위의 반응 속도를 보장하려면 모든 전문가 가중치가 미리 VRAM(GPU 메모리)에 로드되어 있어야 한다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
대역폭 병목: 메모리에 상주하지 않는 가중치를 SSD나 RAM으로부터 PCIe 버스를 통해 실시간으로 GPU로 전송하면, 전송 대역폭이 GPU 내부 대역폭보다 수백에서 수천 배 느리기 때문에 토큰 생성 속도가 토큰당 수 초 단위로 느려져 실무 사용이 불가능해진다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

3. 양자화 노이즈와 희소 모델의 취약성

일반적인 조밀(Dense) 아키텍처 모델은 가중치를 2비트 수준으로 심하게 압축(양자화)하더라도 내부 연산 노이즈를 어느 정도 스스로 흡수할 수 있다. 반면, MoE와 같은 희소(Sparse) 모델은 양자화 노이즈에 매우 취약하다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

라우터 로짓 교란: 압축으로 인한 노이즈가 라우터 로짓(Router Logits) 값을 흔들어놓으면, 라우터가 부적절한 전문가에게 토큰을 라우팅하는 오작동을 일으킨다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
전문가 침묵(Go Silent): 특정 전문가 네트워크가 계속해서 라우팅 대상에서 배제되는 현상이 생기며, 결국 고차원적인 추론 경로를 건너뛰고 문법적으로는 그럴듯하지만 논리적으로는 완전히 틀린 코드를 내놓는 환각(Hallucination) 현상으로 이어진다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

4. 하드웨어 요구 사양 및 분산 병렬화 (Kimi K3 사례)

실제 2.8조 개의 매개변수를 지닌 초대형 MoE 모델인 Kimi K3의 구동 환경은 다음과 같다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

물리적 가중치 용량: FP16 정밀도일 때 5.6TB이며, 학습 과정에 내장되어 압축 손실을 줄인 4비트 포맷 MXFP4를 적용하더라도 총용량은 약 1.4TB에 달한다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).
최소 인프라 조건: VRAM 80GB 스펙의 H100 GPU 8대로 이루어진 서버 노드가 최소 2~~3개(총 16~~24대) 필요하다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md). 단일 레이어 행렬 연산을 실시간 분산하는 텐서 병렬 처리(Tensor Parallelism)를 위해 노드 내 GPU는 NVLink로, 노드 간은 InfiniBand로 결합되어야 정상적인 구동 및 최대 100만 토큰의 컨텍스트 창 추론이 가능하다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

예시

1. PyTorch 기반의 단순화된 MoE 라우팅 및 전문가 선택 구현 예시

이 예시 코드는 입력된 토큰에 대해 간단한 선형 라우터를 거쳐 상위 2개의 전문가(Top-2)를 동적으로 선택하고 연산하는 MoE 구조의 기본 메커니즘을 나타낸다.

import torch
import torch.nn as nn
import torch.nn.functional as F
 
class Expert(nn.Module):
    """개별 전문가 네트워크 (단순 FFN)"""
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.fc1 = nn.Linear(d_model, d_ff)
        self.fc2 = nn.Linear(d_ff, d_model)
        self.act = nn.GELU()
 
    def forward(self, x):
        return self.fc2(self.act(self.fc1(x)))
 
class SimpleMoE(nn.Module):
    """간단한 Top-2 Mixture of Experts 레이어"""
    def __init__(self, num_experts, d_model, d_ff):
        super().__init__()
        self.num_experts = num_experts
        # 전문가 리스트 생성
        self.experts = nn.ModuleList([Expert(d_model, d_ff) for _ in range(num_experts)])
        # 입력 토큰을 각 전문가 로짓으로 매핑하는 라우터
        self.router = nn.Linear(d_model, num_experts)
 
    def forward(self, x):
        # x shape: [batch_size, seq_len, d_model]
        orig_shape = x.shape
        x_flat = x.view(-1, orig_shape[-1]) # [total_tokens, d_model]
        
        # 1. 라우터 로짓 계산
        router_logits = self.router(x_flat) # [total_tokens, num_experts]
        
        # 2. Top-2 전문가 선택 및 확률 계산
        routing_weights, selected_experts = torch.topk(router_logits, k=2, dim=-1)
        routing_weights = F.softmax(routing_weights, dim=-1) # [total_tokens, 2]
 
        # 최종 출력을 담을 텐서 초기화
        output = torch.zeros_like(x_flat)
 
        # 3. 토큰별로 선택된 전문가로 라우팅하여 연산 수행
        # (실제 대형 MoE에서는 행렬 연산 효율을 위해 토큰들을 전문가별로 그룹핑하여 배치 연산함)
        for i, expert in enumerate(self.experts):
            # i번째 전문가가 선택된 토큰 필터링
            mask = (selected_experts == i)
            if not mask.any():
                continue
                
            # mask에서 True가 있는 토큰 인덱스와 해당 전문가의 Top-K 상에서의 위치(idx 0 또는 1) 추출
            token_indices, topk_positions = torch.where(mask)
            
            # 해당 토큰들에 대한 가중치 추출
            weights = routing_weights[token_indices, topk_positions].unsqueeze(-1)
            
            # 전문가 연산 결과에 가중치를 곱해 누적
            expert_out = expert(x_flat[token_indices])
            output[token_indices] += weights * expert_out
 
        return output.view(orig_shape)
 
# 테스트 코드
model = SimpleMoE(num_experts=8, d_model=512, d_ff=2048)
sample_input = torch.randn(2, 10, 512) # batch_size=2, seq_len=10, d_model=512
output = model(sample_input)
print("출력 텐서 형태:", output.shape) # [2, 10, 512]

2. 가상의 다중 노드 MoE 클러스터 자원 배치 시나리오

2.8조 매개변수 규모의 MoE 모델인 Kimi K3를 서비스하기 위해 GPU 자원을 클러스터 단위로 구성하는 물리적인 인프라 아키텍처 예시다.

클러스터 노드 요구사항:
- 총 노드 수: H100 8-GPU(각 80GB VRAM) 탑재 서버 3개 노드 (총 24개 GPU, 총 VRAM 1.92TB)
- 네트워크 솔루션: 노드 내부 GPU 간 NVLink(최대 900GB/s 대역폭), 노드 간 InfiniBand NDR 400Gbps 멀티레일 구성
텐서 병렬화 및 전문가 병렬화 설계:
- 단일 레이어 행렬 연산 병목을 해결하기 위해 **텐서 병렬 처리(Tensor Parallelism, TP = 8)**를 노드 내 GPU 그룹으로 묶어 배치한다.
- 각 노드 간에는 **전문가 병렬 처리(Expert Parallelism, EP = 3)**를 적용하여 896개의 전문가 네트워크를 3개 노드에 분할 적재한다.
- 이 배치 구성을 통해 1.4TB에 달하는 4비트 양자화 가중치를 안전하게 VRAM 내에 상주시키고, PCIe 오프로딩 없이 즉각적인 토큰 처리가 가능하도록 인프라를 구축한다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

충돌

메모리 절감에 대한 상반된 해석: 일반적인 학술 연구 및 모델 소개 자료에서는 MoE가 “희소 활성화를 통해 연산량 및 하드웨어 자원 소모를 혁신적으로 아낀다”고 설명한다. 그러나 실제 추론 인프라 운영 관점에서는 어떤 전문가가 선택될지 사전에 알 수 없기 때문에 전체 전문가 매개변수가 메모리에 상주해 있어야 하고, 이로 인해 메모리 요구 사양(메모리 벽)은 전혀 줄어들지 않는다는 실무적인 한계 및 모순이 지적된다 (raw/Kimi K3 Is the Biggest Open Source Model Ever. Almost No One Can Run It..md).

LLM Wiki

탐색기