검증 가능한 도메인
한 줄 정의
검증 가능한 도메인은 출력의 정답 여부를 기계적으로 채점할 수 있는 영역으로, RL 보상 환경을 만들기 쉬워 AI 능력이 빠르게 발달하는 곳이다.
핵심 요지
- 코딩, 수학처럼 채점이 명확한 영역은 RL 환경을 만들기 쉬워 모델이 빠르게 좋아진다.
- 채점 기준이 약하면 Jagged Intelligence의 들쭉날쭉 영역에 남아 사람의 검증이 필요하다.
- 카파시는 “검증 가능성은 현재 패러다임에서 무언가를 다루기 쉽게 만든다. 엄청난 양의 강화학습을 투입할 수 있기 때문”이라고 정리한다.
상세
Sequoia Ascent 2026에서 카파시는 검증 가능성을 능력 스파이크의 핵심 동인 중 하나로 든다. Jagged Intelligence에 정리한 대략 공식은:
능력 스파이크 ≒ 검증 가능성 × 훈련 집중도 × 데이터 커버리지 × 경제적 가치
검증 가능한 도메인의 특징은 출력에 명확한 채점 기준이 있다는 것이다. 코딩은 컴파일/테스트, 수학은 정답 비교, 게임은 승패, 단백질 접힘은 구조 비교로 자동 채점된다. 이 영역에서는 RL 환경(혹은 fine-tuning 데이터셋)을 무한히 생성할 수 있어 모델이 가파르게 좋아진다.
카파시는 창업자에게 두 가지 조언을 한다. 첫째, 프론티어 연구소가 다루지 않는 검증 가능한 환경을 발굴하면 자체 fine-tuning으로 충분한 가치를 만들 수 있다. 둘째, “거의 모든 것은 어느 정도 검증 가능하게 만들 수 있다. 글쓰기조차 LLM judges 위원회를 두면 꽤 괜찮은 결과를 얻을 수 있다.” 즉 검증 가능성은 이분법이 아니라 스펙트럼이며, LLM judge로 약한 검증을 만드는 것도 가능하다.
이 개념은 강화학습 기초, LLM 정렬 기법의 GRPO와 직결된다. GRPO는 동일 프롬프트에 여러 답변을 생성해 그룹 평균 보상으로 Advantage를 계산하는데, 정답 여부가 명확한 reasoning 작업에서 특히 효과적이다. DeepSeek-R1이 GRPO로 학습되어 o1 수준 추론 능력을 달성한 것도 코딩/수학 채점이 가능했기 때문이다.
소프트웨어 민주화의 적용 범위도 검증 가능성에 의존한다. 코딩은 검증 가능 영역이라 자동화가 빠르지만, 제품 판단·법률·디자인 감각은 채점 기준이 약해 사람이 더 오래 남는다. AI 코딩 에이전트 검증 전략은 인간이 검증을 잘하는 영역과 자동 검증으로 위임 가능한 영역을 가르는 실무 기준이다.
예시
- 강한 검증: pytest 통과 여부, IMO 문제 정답, Codeforces 점수, 체스 ELO.
- 중간 검증: LLM judge 위원회의 글 평가, 코드 리뷰 시각 검수.
- 약한 검증: “이 디자인이 브랜드에 맞나”, “이 제품 결정이 옳은가” — 사람 판단 영역.
충돌
현재 확인된 충돌 없음. 단, 카파시는 “거의 모든 것을 검증 가능하게 만들 수 있다”고 보지만 LLM judge의 편향과 비용은 raw에서 깊게 다루지 않는다. LLM judge 신뢰도는 별도 검증 필요.