한 줄 정의
Meta-Harness는 대규모 언어 모델 주변의 하네스 코드를 end-to-end로 검색하고 최적화하는 외부 루프 시스템으로, 파일시스템을 통해 모든 이전 후보의 소스 코드와 실행 추적에 접근하는 에이전트 제안자를 사용한다.
핵심 요지
- 기존 텍스트 최적화기는 피드백을 짧은 요약이나 스칼라 점수로 압축해 하네스 엔지니어링에 부적합하다.
- Meta-Harness는 무손실 파일시스템 접근을 제공해 제안자가
grep과cat으로 이전 실패의 원인을 직접 추론할 수 있게 한다. - 단일 평가가 최대 1,000만 토큰의 진단 정보를 생성할 수 있으며, 이는 기존 텍스트 최적화 설정의 최대 피드백 예산보다 약 1,000배 크다.
- 모델을 제어하는 하네스 설계의 유무 및 품질에 따라 동일 모델 벤치마크 테스트에서 최대 6배의 성능 격차가 발생할 수 있음 [raw/arxiv-2603.28052-meta-harness.md]
상세
하네스 엔지니어링은 모델 가중치를 바꾸지 않고 모델이 보는 정보를 결정하는 코드(프롬프트 구성, 검색, 메모리, 오케스트레이션)를 개선하는 작업이다. 기존에는 인간 엔지니어가 실패를 검사하고 휴리스틱을 조정하는 수작업이었으나, Meta-Harness는 이 과정을 코딩 에이전트 제안자에게 위임한다.
후속 raw 기준으로 보면 Meta-Harness는 Agent Harness 자체를 다시 탐색하는 상위 루프다. 즉 개별 agent의 orchestration loop, memory, context management, verification 구조를 사람이 직접 손보는 대신, 다른 agent가 하네스 후보를 생성하고 평가하는 셈이다.
제안자(Claude Code 기반)는 파일시스템을 통해 이전 하네스의 소스 코드, 평가 점수, 실행 추적(프롬프트, 도구 호출, 모델 출력, 상태 업데이트)을 선택적으로 검사한다. 반복당 중간값 82개 파일을 읽으며, 하네스 소스 코드(41%)와 실행 추적(40%)에 거의 균등하게 접근한다. 이 비마코비안(non-Markovian) 접근이 압축된 피드백 최적화기와의 핵심 차이다.
검색 루프:
- 제안자가 파일시스템을 읽고 이전 후보를 검사
- 새로운 하네스를 제안
- 평가 작업에서 평가
- 모든 로그를 새 디렉토리에 저장하고 반복
제안자는 템플릿 채우기가 아니라 알고리즘 구조 수준에서 하네스를 수정할 수 있다. 실제로 Terminus-KIRA 같은 강력한 사전 하네스에서 시작하기도 하지만, 창발적 전략(environment bootstrapping, draft-verification 분류 등)을 발견하기도 한다.
실험 결과
| 도메인 | 결과 | 비고 |
|---|---|---|
| 온라인 텍스트 분류 | ACE 대비 +7.7pts, 4배 적은 컨텍스트 토큰 | 48.6% 정확도, 4회 평가로 기존 최종 성능 도달 |
| 검색 증강 수학 추론 | 200개 IMO 수준 문제 평균 +4.7pts | 5개 홀드아웃 모델 전반에서 일관된 향상 |
| TerminalBench-2 | Haiku 4.5 에이전트 중 #1, Opus 4.6 중 #2 | 자동 발견 하네스가 수작업 기준선 Terminus-KIRA를 능가 |
어블레이션 결과, 실행 추적에 대한 전체 접근이 점수만(34.6%)이나 점수+요약(34.9%) 조건을 50.0%로 실질적으로 능가했다. 요약은 오히려 진단적으로 유용한 세부사항을 압축해 해가 될 수 있다.
텍스트 최적화기 피드백 예산 및 최적화 함수
- 피드백 압축의 한계: 기존의 OPRO, TextGrad, GEPA 등의 텍스트 최적화기는 반복 단계당 0.002~0.026 M토큰 수준의 극히 압축된 요약이나 스칼라 점수만을 제공했다. 이와 달리 Meta-Harness는 전체 원시 실행 추적과 점수를 파일시스템에 노출하여 단계당 10.0 M토큰(기존 대비 1,000배 이상) 수준의 풍부한 피드백을
grep과cat을 통해 비마코비안 방식으로 에이전트가 탐색하게 제어한다.
H^{*} = \operatorname*{arg\,max}_{H}\mathbb{E}_{x\sim\mathcal{X},\tau\sim p_M(H,x)}\;r(\tau,x)- 최적화 함수 스펙: 고정된 언어 모델 , 작업 분포 \mathcal{X}, 하네스 의 롤아웃 궤적 \tau 하에 보상 함수 의 기댓값을 최대화하는 하네스 를 자동 검색한다.
- 텍스트 최적화기 비교 메트릭:
- Scores Only (점수만 제공): 검색 세트 정확도 34.6%
- Scores + Summary (요약 제공): 검색 세트 정확도 34.9%
- Meta-Harness (원시 로그 전체): 검색 세트 정확도 50.0%
예시
- 발견된 텍스트 분류 하네스: Label-Primed Query 앵커드 분류 — 유효 레이블 목록, 클래스별 대표 예제, 로컬 대조 쌍을 포함한 단일 프롬프트 구성
- 발견된 수학 검색 하네스: 4-경로 BM25 프로그램 — 어휘 라우터가 쿼리를 조합론/기하/정수론/기본 경로에 할당
- 발견된 TerminalBench-2 하네스: 환경 부트스트래핑 — 에이전트 루프 시작 전 샌드박스 환경 스냅샷을 수집해 초기 프롬프트에 주입
충돌
현재 확인된 충돌 없음.