한 줄 정의
모델 크기, 데이터셋 크기, 훈련 연산량을 증가시킴에 따라 딥러닝 모델의 일반화 오차(손실)가 예측 가능한 멱법칙(Power-law) 그래프를 따라 감소한다는 경험적 원리.
핵심 요지
스케일링 법칙은 한정된 컴퓨팅 연산량(FLOPs)을 모델의 파라미터 크기와 훈련 데이터 토큰 수에 어떻게 배분해야 최적의 성능을 낼 수 있는지 예측하는 뼈대 역할을 한다. 작은 규모의 훈련만으로도 멱법칙 파라미터를 추정해 거대 모델의 성능을 예측하고 학습 계획을 세우는 데 필수적이다.
상세
- Kaplan et al. (2020): 언어 모델에서 연산량, 데이터, 파라미터 간의 멱법칙 관계를 확립. 당시에는 “데이터보다 모델 파라미터 크기를 더 빨리 늘려야 한다”고 주장했으나, 이후 실험군이 주로 작은 파라미터 모델에 편중되어 임베딩 계층 비중이 컸다는 한계가 발견되었다.
- Chinchilla 스케일링 법칙 (Hoffmann et al., 2022): 고정된 연산 예산 아래에서 최적의 파라미터와 데이터를 분석한 결과, 파라미터와 훈련 토큰 수는 “동일한 비율”로 늘려야 한다고 수정 제안했다. 이 법칙을 적용한 70B Chinchilla 모델은 280B Gopher 모델을 압도했다. raw/Scaling Laws, Carefully.md#L167
- 데이터 부족 영역 (Data-Limited Region): 고품질의 고유 데이터가 고갈되어 어쩔 수 없이 데이터를 반복(다중 에포크)해야 할 때 발생하는 현상이다. 데이터 반복은 과적합과 학습 곡선의 “이중 하강(double-descent)“을 초래하며, 데이터 반복의 횟수가 늘어날수록 가치가 기하급수적으로 감소하기 때문에 단순히 모델을 키우는 것보다 초과 과적합 페널티를 고려한 섬세한 훈련 연산량 배분이 요구된다. 강력한 가중치 감쇠(Weight Decay)가 이를 완화하는 데 도움을 줄 수 있다.
예시
- IsoFLOP 프로파일링: Chinchilla 연구에서 연산 예산을 고정하고 다양한 모델 크기를 훈련하여 최저 손실을 내는 최적의 파라미터 크기를 찾는 포물선 그래프 탐색 방식.
충돌
- Kaplan vs Chinchilla: Kaplan은 모델 크기를 데이터보다 빠르게 키우고 조기 종료(early stopping)하는 것을 추천했지만, Chinchilla는 크기와 데이터를 동일한 비율로 늘리고 수렴할 때까지 충분히 학습시켜야 한다고 주장하며 대다수의 기존 거대 모델들이 ‘학습 부족’ 상태였음을 지적했다. 이는 Kaplan 실험이 작은 모델에 국한되어 임베딩 파라미터 왜곡이 발생했기 때문으로 화해(Reconciling)되었다.