Jagged Intelligence
한 줄 정의
Jagged Intelligence는 LLM이 어떤 영역에서는 천재처럼 보이지만 바로 옆 영역에서는 상식적인 실수를 하는 들쭉날쭉한 능력 분포다.
핵심 요지
- 카파시의 요지는 “전통적 컴퓨터는 코드로 명시 가능한 것을 자동화했고, 현재 LLM은 검증 가능한 것을 자동화한다”는 것이다.
- 수학과 코딩은 채점 가능하므로 RL 보상 환경을 만들기 쉽고 성능이 빠르게 오른다.
- 채점 기준이 약한 영역에서는 사람이 루프 안에 남아야 한다.
상세
자료에는 “strawberry”의 r 개수를 잘못 세던 사례, 세차장이 50m 앞이면 걸어가라고 답하는 사례가 나온다. 같은 모델이 10만 줄 코드베이스 리팩터링이나 zero-day 취약점 탐색 같은 고난도 작업을 할 수 있으면서도 일상 맥락을 놓칠 수 있다는 설명이다. 출처: raw/안드레_카파시_인터뷰_정리.md, raw/꼭 알아야할 안드레 카파시 30분 인터뷰 완전정리 - AI시대의 필수 인사이트!.md
이 개념은 AI 코딩 에이전트 검증 전략의 근거다. 모델이 뛰어난 영역과 취약한 영역이 고르게 분포하지 않으므로, 사람은 모델에게 결정권을 통째로 넘기지 말고 테스트, 리뷰, 권한 제한, UI 확인 같은 외부 검증을 붙여야 한다.
예시
코드에서는 pytest와 타입 체크가 통과해도, 결제 이메일과 로그인 이메일을 사용자 식별자로 섞는 설계는 테스트가 없으면 놓칠 수 있다. 이 경우 사람의 시스템 모델과 명세 검토가 필요하다.
충돌
현재 확인된 충돌 없음.