LLM 운영체제 (LLMos)
한 줄 정의
안드레 카파시(Andrej Karpathy)가 제시한 컴퓨팅 패러다임으로, 거대 언어 모델(LLM)을 중심 CPU 연산 코어로 삼고, 컨텍스트 윈도우를 RAM, RAG/벡터 DB를 보조 하드디스크, 프롬프트를 컴포넌트 간 통신 인터페이스로 매핑하여 동작하는 확률적 컴퓨터 소프트웨어 아키텍처다.
핵심 요지
- 대형 언어 모델 자체를 시스템의 중심 추론 연산 엔진으로 삼으며, 바이트 단위의 결정론적 하드웨어 명령 대신 토큰 단위 위에서 확률적으로 작용한다.
- 전통적인 운영체제(OS)의 하드웨어 관리 방식과의 아날로지가 뚜렷하다: CPU → LLM, RAM → 컨텍스트 윈도우, 하드디스크 → 검색(RAG) 시스템, 소프트웨어 인터페이스 → 프롬프트.
- 복잡한 비즈니스 문제를 해결할 때 단일 모놀리식 프롬프트에 모든 추론 단계를 맡기는 대신, 세분화된 전문 에이전트 팀을 조율하는 운영 구조로 발전한다.
상세
1. 하드웨어 아날로지 상세 매핑
| 전통적 컴퓨터 구성 요소 | LLM 운영체제 (LLMos) 구성 요소 | 연산 작용 및 성질 |
|---|---|---|
| CPU (Central Processing Unit) | LLM (Large Language Model) | 텍스트와 의미 데이터를 바탕으로 의사결정을 수행하는 핵심 추론 엔진 |
| Bytes | Tokens | 정보 표현의 최소 기본 단위 (비결정적/통계적 매칭) |
| RAM (Temporary Memory) | Context Window | 모델이 동시에 처리하는 가용 임시 작업 메모리 영역 (한계 초과 시 크래시 및 누락 발생) |
| Hard Drive (Storage) | RAG / Vector Database | 영구 보존용 시맨틱 데이터 및 임베딩 보조 기억 장치 |
| Software Interface | Prompts | 모듈 간 데이터 규격, 에이전트 페르소나 및 행동 양식 지침 인터페이스 |
2. 단일 프롬프트 한계와 다중 에이전트 OS로의 분화
하나의 거대한 프롬프트로 RAG 검색, 추론, 검증, 포맷 유지를 한 호흡에 처리하려고 하면 OS 상에서 병목이 터진다:
- 컨텍스트 포화(Context Saturation): 램(RAM) 용량 초과와 마찬가지로 핵심 규칙이나 문서 디테일을 누락시킴.
- 작업의 엉킴(Task Entanglement): 격리되지 않은 추론 단계로 인해 모순된 텍스트 생산.
- 블랙박스 구조(Lack of Structure): 중간 체크포인트와 Trace(로그)가 기록되지 않아 디버깅 불가. 따라서 LLMos는 작업을 잘게 쪼개어 검색, 요약, 추론, 평가, 채점, 오케스트레이션을 각각 분담하는 소형의 전문화된 로컬 에이전트(SLM) 협동 팀으로 아키텍처를 모듈화하여 관리한다.
예시
- 260억 개의 파라미터 규모를 가지되 실제 연산 타이밍에는 40억 개의 활성 파라미터만 구동되는 Gemma 4-26B-a4b 등 희소 MoE(Mixture of Experts) 모델을 로컬 환경에 배치하여 CPU 연산 코어의 효율을 극대화하는 구성.