한 줄 정의

AI 모델이 작업(행동)을 수행하기 전, 내부적으로 대안 검토, 오류 검증, 가정 교차 검증 등을 수행하는 추론 연산의 깊이와 분량을 조절하는 제어 장치.

핵심 요지

  • 추론 시점 계산 곡선(Test-time Compute Curve): Anthropic은 이 설정을 모델이 입력에 대해 실시간으로 고민하는 시간과 연산량 곡선으로 규정한다.
  • 토큰 사용량 비례: 사고 레벨을 높이는 것(high, max)은 지능 자체의 질적인 도약을 의미하기보다, 더 신중하게 논리적 오류를 점검하기 위해 추론 과정에서 더 많은 출력 토큰을 소모하는 물리적 과정이다.
  • 성능 포화와 비용 관리: 특정 임계점(high, xhigh)을 넘어서면 성능 향상 폭은 정체되는 반면, 비용은 기하급수적으로 증가한다. (예: max 설정은 medium에 비해 4배의 API 비용을 소모한다.)
  • 실무 라우팅: 모든 작업에 막연히 최댓값을 설정하는 것은 비효율적이며, 작업의 논리적 난이도에 맞추어 low, medium, high를 분배하고, 커스텀 스킬 개발 시 아예 설정을 고정하여 API 비용을 통제해야 한다.

상세

작동 방식과 지능의 관계

사고 노력을 높게 설정하면, 모델은 최종 코드를 출력하기 전 내부 사고 세션에서 여러 독립적인 가설들을 세우고 이를 뒤집어보며 교차 검토를 수행한다.

  • Opus 4.7 vs 4.6 벤치마크 사례: 이전 모델(Opus 4.6)에서 max로 도달했던 추론 정확도 성능이, 다음 세대 모델(Opus 4.7)에서는 medium 사고 설정만으로 도달할 수 있음이 앤트로픽 벤치마크 데이터를 통해 검증되었다.
  • Sonnet 5의 가성비: 상대적으로 저렴한 소네트 모델을 high 사고력으로 작동하는 비용이, 무겁고 영리한 오푸스 모델을 medium으로 작동하는 비용과 비슷해지므로 작업 성격에 맞추어 모델 스택과 사고 레벨을 조율해야 한다.

실무 가이드라인 (3단계 분화)

사고 수준대상 작업 예시특징
Low파일 경로 조회, 간단한 함수 및 라이브러리 설명 요구연산 속도가 극히 빠르고 토큰 소모 최소화
Medium일반적인 버그 패치, 단위 테스트 케이스 추가, 단순 리팩터링현업 작업의 성능과 비용 간 밸런스를 맞춘 표준값
High / Max아키텍처 규칙 설정, 다중 파일 스키마 마이그레이션, 보안 민감 로직 구현논리적 오류 발생 시 파멸적인 아키텍처 붕괴가 일어나는 핵심 연산

예시

1. Claude Code 터미널에서 설정을 조정하는 법

  1. 터미널 명령창에 /effort를 입력한다.
  2. 키보드 방향키(←/→)를 사용하여 Low, Medium, High 중 하나를 선택한다.
  3. Enter를 쳐서 설정값을 확정한다.

2. VS Code 확장 UI에서 설정을 조정하는 법

  1. 하단 상태 표시줄의 [/] 아이콘을 마우스로 클릭한다.
  2. 팝업 창에 노출되는 레벨 목록 중 적절한 항목을 클릭하여 확정한다. (주의: Haiku 등 일부 경량화 모델은 이 세부 사고 조절 설정을 지원하지 않는다.)

충돌

  • 단판 정확도 vs 누적 토큰 비용: 한 번에 정답을 맞추는 것이 재시도 비용을 아끼는 지름길이라며 무조건 max를 유지하려는 관점과, 단순 반복 자동화나 텍스트 리팩터링 작업에서는 max가 제공하는 점진적 이득에 비해 비용 폭증이 너무 심하므로 무조건 동적 제어(low/medium)를 강제해야 한다는 관점이 충돌한다.

관련 노트