Jagged Intelligence
한 줄 정의
Jagged Intelligence는 LLM이 어떤 영역에서는 천재처럼 보이지만 바로 옆 영역에서는 상식적인 실수를 하는 들쭉날쭉한 능력 분포다.
핵심 요지
- 카파시의 요지는 “전통적 컴퓨터는 코드로 명시 가능한 것을 자동화했고, 현재 LLM은 검증 가능한 것을 자동화한다”는 것이다.
- 수학과 코딩은 채점 가능하므로 RL 보상 환경을 만들기 쉽고 성능이 빠르게 오른다.
- 채점 기준이 약한 영역에서는 사람이 루프 안에 남아야 한다.
상세
자료에는 “strawberry”의 r 개수를 잘못 세던 사례, 세차장이 50m 앞이면 걸어가라고 답하는 사례가 나온다. 같은 모델이 10만 줄 코드베이스 리팩터링이나 zero-day 취약점 탐색 같은 고난도 작업을 할 수 있으면서도 일상 맥락을 놓칠 수 있다는 설명이다.
Sequoia Ascent 2026에서 카파시는 이 현상의 원인을 단순화했다. 능력 스파이크는 검증 가능성뿐만 아니라 “연구소들이 훈련, 사후 훈련, 합성 데이터 생성, 강화학습 중에 그 과제를 얼마나 강조했는지”에도 달려 있다. 대략적인 공식은:
능력 스파이크 ≒ 검증 가능성 × 훈련 집중도 × 데이터 커버리지 × 경제적 가치
체스가 대표적 예다. GPT-4가 체스에서 향상된 것이 일반 지능의 진보가 아니라, 사전훈련 믹스에 체스 데이터가 대량으로 포함되었기 때문일 수 있다. OpenAI의 누군가가 그 데이터를 추가하기로 결정했고, 거기에 능력 스파이크가 생긴 것이다. 프론티어 모델은 사전훈련 믹스, RL 환경, 벤치마크 압력의 인공물(artifact)이며 매뉴얼이 없다.
이 개념은 AI 코딩 에이전트 검증 전략의 근거다. 모델이 뛰어난 영역과 취약한 영역이 고르게 분포하지 않으므로, 사람은 모델에게 결정권을 통째로 넘기지 말고 테스트, 리뷰, 권한 제한, UI 확인 같은 외부 검증을 붙여야 한다.
예시
코드에서는 pytest와 타입 체크가 통과해도, 결제 이메일과 로그인 이메일을 사용자 식별자로 섞는 설계는 테스트가 없으면 놓칠 수 있다. 이 경우 사람의 시스템 모델과 명세 검토가 필요하다.
충돌
현재 확인된 충돌 없음.