계층적 전역 추론 워크플로
한 줄 정의
단답형 사실조회(Local Lookup)에 특화된 단순 RAG의 한계를 극복하고, 문서 전체의 논리적 일관성과 거시적 인과관계(Global relevance)를 파악하기 위해 로컬 청크 분석과 계층적 병합 요약을 단계적으로 밟아가는 전역적 AI 추론 워크플로다.
핵심 요지
- 단순 RAG는 질문과 코사인 유사도가 가장 가까운 상위 청크 조각만 검색해 모델에 넘기므로, ‘문서 전반의 주장에 모순이 없는가?’ 같은 거시적 분석 질문에 대응할 수 없다.
- 점진적인 반복적 메모리 압축(Iterative memory compression) 기법을 사용하여, 로컬 청크 → 중간 섹션 요약본 → 최상위 마스터 글로벌 맥락으로 정보를 계층적으로 구조화한다.
- **질문 재작성(Query Rewriting)**을 통해 사용자의 모호한 지엽적 질문을 중립적인 ‘분석적 실행 태스크’ 지침으로 전환하여 청크 요약 시의 편향(Bias)을 막는다.
상세
1. 다단계 추론 프로세스 (2단계 구조)
[ 최하위 레이어: 로컬 청크 ]
│ (청크 분석 에이전트가 개별 분석 및 로컬 관찰 생산)
▼
[ 중간 레이어: 중간 섹션 요약본 ]
│ (스마트 컨텍스트 에이전트가 개념적 병합 및 축약)
▼
[ 최상위 레이어: 마스터 글로벌 맥락 ] ──▶ [ 모델 전역 추론 및 거시 질문 답변 ]
- 문서 청크화 및 개별 로컬 분석: 원본 문서를 유효한 분량(예: 1,000자)으로 쪼개고 각 청크를 독립적으로 분석하여 핵심 관찰 결과를 도출한다.
- 섹션별 개념 병합: 독립된 로컬 요약본들을 순차적으로 취합하여 문서 전반의 조감도를 묘사하는 글로벌 구조 맵을 형성한다.
- 거시적 시야의 최종 답변 생성: 가독성 높은 요약 지도를 가이드 삼아, 사용자의 전체 맥락 평가 질문에 답한다.
2. 질문 재작성 (Query Rewriting) 메커니즘
사용자의 날 질문(예: ‘이 기획서 괜찮아?‘)은 청크 요약 시 검색 필터를 좁히고 모호한 매칭을 유도한다. 시스템은 이를 분석적 지침(예: ‘문서 전반에 걸친 논리 구조의 일관성, 현실적 구현 가능성, 데이터 교차 검증 상태를 종합 분석하라’)으로 자동 재작성하여, 모델이 개별 청크 요약 시 높은 수준의 논리 신호(Higher-level signals)를 넓은 시야에서 추출하도록 제어한다.
예시
- 두꺼운 설계 도서를 요약할 때, 6개 청크에 대해
global-reasoning컨텍스트 옵션을 주어 각 청크를 1차로 독립 요약하고, 그 결과물들을 병합해 ‘트랜스포머의 어텐션 메커니즘이 Convolution 레이어 대비 가진 해석력과 연산 복잡도 구조상의 숲’을 요약 묘사하는 실습 구성.
충돌
- 국소적 Lookup vs. 전역적 Reasoning: 사실관계 조회 질문은 계층 압축을 거칠 경우 오히려 디테일이 손실되어 단순 RAG가 훨씬 효율적이다. 따라서 질의의 성격에 맞춰 단순 RAG(Local)와 계층 전역 추론(Global) 파이프라인으로 경로를 나누어 조율하는 하이브리드(Hybrid) 설계가 실무에서 선호된다.