한 줄 정의
RAG 의사결정 프레임워크는 프로덕션 환경의 정보 검색 시스템 설계 시 비즈니스 요구사항과 비용적 제약에 기반하여 단순 프롬프트 엔지니어링, RAG 아키텍처 도입, 혹은 미세조정(Fine-Tuning) 중 최적의 설계 대안을 평가하고 선정하기 위한 다차원 의사결정 규칙 체계다.
핵심 요지
- 비용 대 지연시간 트레이드오프: 단순 벡터 검색(나이브 RAG)과 에이전틱 리트리벌(하이 레벨 RAG) 간의 정확도 이득 및 API 단가, 속도(Latency) 균형점을 지표 평가한다.
- 정적 지식 vs 실시간 데이터: 요구되는 지식이 영구적/구조적 도메인 지식인가, 실시간으로 요동치는 휘발성 데이터인가에 따라 RAG 도입의 합목적성을 필터링한다.
- 보안 및 정합성 장벽: 민감한 사내 보안 기밀이 외부 API 환경에 노출될 우려가 크거나 환각 현상(Hallucination)이 단 1%도 허용될 수 없는 필수 도메인인지 검증한다.
상세
많은 AI 엔지니어가 RAG(검색 증강 생성)가 주는 환각 제어 성능에 고무되어 모든 도메인에 RAG 아키텍처를 도입하려고 시도한다. 하지만 RAG는 내부 데이터 파싱, 인덱싱 비용, 벡터 스토어 유지 관리, 검색 오인으로 인한 컨텍스트 왜곡 등 상당한 인프라 관리 하중을 유발한다.
이 의사결정 프레임워크는 RAG 도입 전 세 가지 판단 기준을 제시한다:
- 지식의 수명 주기: 매주/매일 데이터가 바뀐다면 실시간 검색(RAG)이 필수적이나, 1년 단위로 고정된 도메인 데이터라면 Fine-tuning이나 소스 코드 아티펙트로 사상하여 제공하는 것이 유리하다.
- 도메인의 특수성: 일반적인 비즈니스 요약은 문맥 창에 프롬프트로 데이터를 때려 넣는 숏컷(In-context learning)으로 충분하다. 1,000만 개 이상의 대용량 문서에 한해서만 정밀 인덱싱 RAG를 검토한다.
- 오작동 회복 비용: 잘못된 검색 결과가 배출되었을 때 서비스의 평판이나 금전적 손해가 중대한 범위라면 섣부른 에이전틱 RAG 연계를 지양하고 엄격한 규칙 기반 필터를 선행 배치해야 한다.
예시
- RAG 비권장 상황: “사내 취업 규칙 및 복지 혜택 안내봇” -> 내용이 일 년에 단 한 번 바뀌고 분량도 문서 3장에 불과함. RAG 인프라 대신 단순 시스템 프롬프트(CLAUDE.md 및 PDF 첨부)로 전환하여 비용을 90% 이상 절감.
- RAG 권장 상황: “1,000만 개 소송 판례 기반 법률 전문 어시스턴트” -> 실시간 판례가 추가되며, 정확한 조문 링크 번호가 필수적이므로 하이브리드 검색 및 GraphRAG 구조 탑재 의사결정.