한 줄 정의
자신의 신념이나 주장을 무너뜨릴 수 있는 객관적 반증 조건을 LLM을 통해 도출하고, 이를 바탕으로 주장의 취약점을 스스로 검토하여 의사결정의 편향을 극대화하여 예방하는 인지적 워크플로(Cognitive workflow)다.
핵심 요지
- 확증 편향(Confirmation bias) 탈피: 가설 수립 시 자칫 저지르기 쉬운 아전인수격 해석에서 벗어나, 반증 조건(Falsifiability conditions)을 명확하게 마주한다.
- 사전 반증 기준 설계: “어떤 정보가 나타나면 내 생각을 바꿀 것인가?”라는 구체적인 기준을 미리 세워 의사결정의 논리적 맹점을 발견한다.
- LLM 기반 역발상 시나리오 검토: LLM에게 역방향(Counter-factual) 반증 자료와 모순점을 짚어내도록 강제하여 컨텍스트 왜곡을 사전에 예방한다.
절차
- 가설 수립 및 컨텍스트 전달: 검증하려는 자신의 의견, 데이터 분석 결과, 혹은 비즈니스 가설을 NotebookLM 등 연구 파트너 시스템에 입력한다.
- 반증 프롬프트 실행: 주장의 핵심 전제를 흔드는 다음 질문을 프롬프트로 입력한다:
“이 주장을 완벽히 뒤엎을 수 있는 반증이나 사실이 존재한다면, 그것은 무엇인가요?”
- 반증 시나리오 도출: LLM이 반대 의견의 관점, 숨겨진 리스크, 가설이 붕괴될 만한 치명타적 조건을 나열하도록 한다.
- 교차 검증 및 정량적 팩트 체크: 도출된 반증 시나리오 중 실제 현실 데이터나 정량적 통계 수치에 기반한 조건이 있는지 검토한다.
- 의사결정 보정: 최종 분석을 토대로 기존 의사결정을 수정하거나 보강 대책을 설계한다.
체크리스트
- 검증하려는 가설에서 입증되지 않았으면서 은연중에 의존하고 있는 핵심 전제 분석(Load-bearing assumption)이 선행되었는가?
- LLM이 제시한 반증 시나리오가 현실적인 범위의 논리적 모순이나 리스크를 제대로 짚었는가?
- 반증 조건이 단순 추상이 아닌, 실제 프로젝트나 실무 환경에서 모니터링 가능한 구체적 지표(Metric)로 표현되었는가?
예시 시나리오
특정 피처 도입으로 고객 잔존율(Retention rate)이 15% 상승할 것이라 강하게 확신하는 기획 문서가 있다고 가정하자. 이 가설을 검증하기 위해 다음과 같은 워크플로를 수행한다.
- 프롬프트 입력:
“우리는 신규 피처 도입이 사용자 경험을 크게 개선해 잔존율을 15% 이상 올릴 것이라고 확신합니다. 만약 이 확신이 완전히 잘못되었고 실패할 수밖에 없다면, 어떤 구체적인 지표의 변화나 사용자 행동 패턴이 관찰되어야 우리의 생각을 바꿀 수 있을까요? 우리의 주장을 완전히 뒤엎을 수 있는 반증 조건 3가지를 명확히 짚어주세요.”
- LLM의 도출 결과:
- 피처 배포 후 첫 2주간 전체 사용자 이탈율(Churn rate)이 오히려 5% 이상 상승하는 경우
- 피처 사용 시간(Duration)은 증가했으나, 최종 결제 전환율(Conversion rate) 등의 비즈니스 지표가 유의미하게 정체되는 경우
- 복잡해진 UX로 인해 고객 문의(CS ticket) 유입량이 20% 이상 폭증하는 경우
- 적용: 기획 팀은 이 세 가지 반증 지표를 모니터링하기 위한 데이터 대시보드를 사전 설계함으로써 확증 편향에 빠진 채로 섣부른 출시를 진행하는 위험을 방지한다.