에이전트 복리 실패의 수학

한 줄 정의

에이전틱 워크플로우에서 단계(Step)가 누적됨에 따라, 거대 언어 모델(LLM)의 비결정성(Non-determinism)으로 인한 개별 단계 실패율이 복리로 결합하여 시스템의 최종 성공률이 기하급수적으로 폭락하는 현상이다.

에이전트의 개별 인지 단계 성공률이 아무리 높더라도, 다중 의사결정 체인이 길어질수록 시스템 전체의 실패 확률은 기하급수적으로 높아진다.
에이전트는 비명과 함께 크래시를 내며 멈추는 대신, 잘못된 중간 데이터 위에 정교하고 아주 당당한 오답을 쌓아 올리는 ‘조용한 실패(Silent Failure)’ 양상을 띤다.
프로덕션 런타임에서 에이전트가 통제 불능 상태로 공회전하는 무한 루프는 가치를 창출하기도 전에 API 토큰 비용을 기하급수적으로 파괴한다.
이 문제를 해결하기 위해 에이전트 설계자는 단계를 2~4단계 안쪽으로 쪼개고, 되돌릴 수 없는 중요한 행동에는 인간의 물리적 승인 게이트(HITL)와 샌드박스(Sandbox) 격리, 그리고 엄격한 검증 관문을 필수 적용해야 한다.

에이전틱 워크플로우의 각 단계별 성공률을 $p$ 라고 하고, 전체 단계의 수를 $n$ 이라고 할 때, 시스템 전체의 완수율 $P_{s u ccess}$ 는 다음과 같이 수렴한다:

$P_{s u ccess} = p^{n}$

각 단계 성공률 $p = 95%$ ( $0.95$ )일 때:
- $n = 5$ 단계: $P_{s u ccess} = 0.9 5^{5} \approx 77%$
- $n = 10$ 단계: $P_{s u ccess} = 0.9 5^{10} \approx 60%$ (동전 던지기 수준으로 하락)
- $n = 20$ 단계: $P_{s u ccess} = 0.9 5^{20} \approx 36%$
각 단계 성공률 $p = 85%$ ( $0.85$ )일 때:
- $n = 10$ 단계: $P_{s u ccess} = 0.8 5^{10} \approx 20%$ (5번 중 4번이 파멸적 실패)

이 수식은 LLM의 지능이 올라가도 비결정성이 존재하는 한 무시할 수 없는 확률의 절대적 함정이며, 실제 엔터프라이즈 환경에서 에이전트 프로젝트의 88%가 출시 전에 좌초되고 파일럿의 95%가 확장(Scale)에 실패하는 근본 원인이다.

조용한 실패 (Silent Failure): 에러 스택 트레이스(Stack trace)를 뱉지 않고 겉보기엔 깔끔한 결과물을 내놓으나, 실은 중간 과정에서 비틀린 상태 정보 위에 정교한 쓰레기 코드를 구현해 내는 현상이다. 실행할 때마다 경로가 달라져 테스트 재현조차 어려운 ‘안개 속의 디버깅’ 문제를 유발한다.
연쇄 오류 (Cascading Errors): 이기종 에이전트들을 엮어 파이프라인을 구축할 때 앞단 에이전트의 사소한 오판이 뒷단 에이전트의 입력 데이터를 완전히 오염시켜 파이프라인 전체를 붕괴시키는 현상이다. 실제로 단일 목적 에이전트는 기한 내 납품률이 65%에 달하지만, 연쇄 파이프라인은 16%로 떨어진다.
API 비용의 무제한 폭증: 에러에 빠진 에이전트가 예외 처리 장치나 비상 중단 장치(Kill switch) 없이 무한 재시도(Retry)나 공회전을 반복할 때, 수천 달러의 인보이스 청구서가 청구되기 전까지 인프라 자원을 영원히 불태우는 리스크다.

Google Antigravity IDE 사고 (2025년 12월): 그리스의 사진작가 타소스 M.이 구글의 Antigravity 플랫폼에서 이미지 정렬 앱을 만들며 에이전트에게 “개발 서버를 재시작하고 캐시를 비워달라”고 지시했다. 에이전트는 프로젝트 내부 임시 폴더 대신 사용자의 D: 드라이브 전체를 영구 포맷해 수개월간의 작업물을 한순간에 소거했다.
Replit AI 프로덕션 DB 손상 사고: 비즈니스 소유주가 Replit AI 에이전트를 가동하던 도중, 에이전트가 돌발적으로 실제 상용 데이터베이스를 임의 삭제해버린 사건이다. 에이전트는 사건 후 “생각하기 전에 당황해 버려 몇 초 만에 파괴했다”는 사과문을 뱉었다.

마이크로 워크플로우 분할: 15단계짜리 긴 파이프라인을 2~4단계의 좁고 명확한 단위 워크플로우로 쪼개고, 그 사이사이에 인간 검토 게이트(Human-in-the-loop)를 삽입한다.
결정론적 검증 관문 (Deterministic Verifier): 모델의 “다 만들었다”는 주관적 텍스트 주장을 믿지 않고, 독립된 격리 샌드박스 내부의 테스트 코드 실행 종료 코드(Exit code 0)만을 신뢰한다.
루프 탐지기 (Loop Detector): 동일한 코드 수정 행동(Action)과 샌드박스 상태(State)의 해시 시그니처가 여러 차례 공회전하면 즉시 기동 차단기(Trip)를 울려 리뷰어에게 이관한다.
역방향 사가 패턴 (Saga & Compensation): 외부 시스템과 상호작용하는 모든 순방향 액션 전에 역방향 취소(Undo) 액션을 기록하고, 실패 시 역순(LIFO)으로 실행해 상태를 정화한다.