한 줄 정의
PyTorch나 CUDA 파이썬 wrapper 대신 순수 C 언어로 학습 및 추론 스택을 직접 구축하여 22만 대의 NVIDIA Blackwell Ultra GB300 GPU 클러스터와 800G 네트워크 토폴로지를 1:1 하드코딩 매핑(Exact-mapping)함으로써 JAX 대비 10배의 통신 및 연산 성과를 달성한 극단적 시스템 인프라 접근법이다.
핵심 요지
- 파이썬/C++ 오버헤드 원천 제거: GIL 스레드 락, 연산 호출 지연, C++ vtable 탐색 및 템플릿 인스턴스화 비용을 배제하고 메모리 레이아웃과 캐시 라인을 C 언어로 완전 통제.
- 22만 대 GB300 GPU & 1:1 토폴로지 매핑: GPT-4 (A100 2.5만 대) 대비 9배 규모인 22만 대 GB300(192GB HBM3e)을 확보하고, 범용 NCCL 집단 통신 대신 하드웨어 물리 배치를 소프트웨어 통신 경로에 1:1 하드코딩.
- 파이프라인 병렬화(Pipeline Parallelism) 중심 설계: 22만 대 규모에서 AllReduce 동기화 폭발을 일으키는 데이터 병렬화 대신, 노드 간 통신량을 활성화 값(Activations) 전달로 제한하는 파이프라인 병렬화를 아키텍처 중심으로 채택.
- 온라인 강화학습(Online RL) C 추론 엔진 구축: vLLM/TGI 등의 범용 수빙 도구를 지양하고, 학습 엔진과 메모리 풀을 직접 공유하는 순수 C 추론 스택을 빌드하여 학습 GPU의 대기 병목 제거.
상세
머신러닝 업계 표준(PyTorch/JAX)은 C++/CUDA 상위에 파이썬을 얹는다. 그러나 22만 대 GPU 스케일에서는 파이썬 GIL과 C++ 가상 함수 테이블 비용이 기하급수적으로 증폭된다.
SpaceX 인프라 최적화의 기술적 4대 요소:
- 수동 커널 융합 (Manual Kernel Fusion): JAX/XLA처럼 컴파일러 휴리스틱에 의존하지 않고, 행련 곱셈(Matmul) 바로 다음 연산을 엔지니어가 명확히 수동 융합.
- 고정 데이터 형태 (Fixed Shape): 강화학습 워크로드 특성상 동적 형상을 제거하여 동적 추론 오버헤드 및 재컴파일 소모를 제로화.
- 800G 커스텀 AllReduce: 800Gbps InfiniBand NDR 기반 하드웨어 토폴로지 위에서 NCCL 링 추론을 대체하는 수동 하드코딩 통신 경로 탑재.
- C 언어 온라인 강화학습 스택: RLHF, GRPO 등 모델 생성 샘플이 학습으로 곧바로 유입되도록 C 언어 추론 스택과 메모리 풀을 직접 공유.
예시
- GPU 클러스터 규모 비교 수치: GPT-4 학습에 동원된 A100 GPU 25,000대 대비, SpaceX는 칩당 192GB HBM3e를 탑재한 최신 GB300 GPU 220,000대를 배포하여 약 9배 규모의 압도적 클러스터를 구축함.
- JAX 대비 10배 속도 메커니즘: 범용 XLA 컴파일러 및 NCCL 런타임 추론 대신, 800G 네트워크 및 GB300 노드 토폴로지를 반영한 수동 어셈블리급 C 커널 작성으로 10배 성능 향상 유도.
충돌
- 이식성(Portability) vs 한계 성능(Peak Performance): C 언어 하드코딩 방식은 이식성과 유연성을 완전히 포기하게 만든다. 하드웨어 스펙이 미세하게 바뀌면 코드 전체를 새로 써야 한다. 하지만 고정 클러스터에서 단일 계열 모델(예: Grok, 온라인 RL)만 반복 학습하는 조직에서는 10배 성능 효율이 개발 비용을 압도한다.