쓰라린 교훈
한 줄 정의
쓰라린 교훈(The Bitter Lesson)은 강화학습 선구자 리처드 서튼(Richard Sutton)이 2019년에 발표한 에세이로, 인간이 인위적으로 수작업 설계한 정교한 지능 규칙이나 우아한 알고리즘보다 데이터와 연산력(Compute)을 압도적으로 때려붓는 단순한 모델이 결국 승리한다는 역사적 교훈이다.
핵심 요지
- 스케일업의 파괴력: 지능을 빚어내려는 연구자들의 우아한 이론이나 도메인 지식은 연산력이 증가함에 따라 자본과 칩을 무식하게 쏟아부은 대규모 단순 모델(Brute Force)에 매번 패배해왔다.
- 스케일링 스쿨의 바이블: 거대 언어 모델(LLM)의 놀라운 기호 추론과 번역 성능은 이 쓰라린 교훈의 성과이며, 빅테크 기업들이 천문학적인 비용으로 데이터센터 인프라를 확장해 나가는 강력한 신념적 근거가 되었다.
- 원저자의 한계 지적 (반전): “쓰라린 교훈”을 쓴 리처드 서튼 본인은 2025년 말 드와케시 팟캐스트에서 “LLM은 막다른 골목(dead end)“이라 비판하며, 세상과 직접적인 상호작용 및 피드백 없이 과거의 텍스트 데이터만 동결 모방하는 현 LLM의 한계를 강력히 지적했다.
상세
리처드 서튼은 2019년 에세이 ‘The Bitter Lesson’에서 지난 70년간 컴퓨터 과학이 거둔 진정한 돌파구들은 전부 인간의 사전 지식을 주입하는 지름길을 포기하고, 연산력을 활용해 기계 스스로 학습하게 비켜섰을 때 탄생했다고 역설했다. 체스의 알파제로(AlphaZero)나 바둑의 알파고(AlphaGo), 음성 인식 및 기계 번역 등에서 인간 지식을 이식한 규칙 기반 알고리즘들은 스케일업된 단순 신경망 구조에 의해 완전히 대체되었다.
이 이론은 빅테크 공룡(구글, MS, 메타, OpenAI 등)이 수십조 원의 투자금을 장비와 칩 스케일업에 주저 없이 베팅할 수 있게 만드는 강력한 나침반 역할을 수행했다.
그러나 2025년 말 리처드 서튼은 LLM이 지능의 막다른 골목에 도달했다고 경고했다. 지능은 세상과 끊임없이 부딪치고 넘어지며 피드백을 받아 동적으로 보정되는 학습 과정을 평생 반복해야 하는데, LLM은 정적 텍스트 데이터로 한 번 훈련된 뒤 매개변수가 동결된 채 출시되는 기계에 불과하기 때문이다. 이는 “쓰라린 교훈”의 원래 가르침(기계 스스로 배우게 하라)과 달리, 단지 인간 지식을 거대하게 모방(Imitation)하는 또 다른 인위적 주입에 불과하다는 뼈아픈 한계를 시사한다.
예시
- 바둑 알고리즘: 초기의 정교한 바둑 기보 수작업 룰(인간의 사전 지식)은 결국 몬테카를로 트리 탐색과 대규모 연산력을 이용해 스스로 학습한 알파고 계열에 무참히 패배했다.
- LLM의 텍스트 학습: 별도의 언어적 규칙 없이 수백억 개의 문장에서 다음 단어를 맞히는 단순 학습을 대규모 연산력으로 때려부은 결과, 논리 추론과 유창함이 피어났다.