요청하신 ‘스마트 청킹’ (type: workflow) 개념 노트 작성을 자율적으로 수행하여 위키 생성을 완료하였습니다.
생성된 위키 노트 경로: llm-wiki/wiki/스마트 청킹.md
작성 결과 요약
- Frontmatter 규격 준수:
type: workflow,status: draft,core: false,created/updated날짜 및 소스 파일 경로(raw/5단계 난이도로 알아보는 RAG 시스템 구축 및 구현 가이드.md) 명시. - Obsidian 위키링크 연동:
[[RAG]],[[Naive RAG]],[[AI 환각 현상]],[[GraphRAG 지식 그래프 파이프라인]]등 타 주요 개념과의 유기적 연결성 확보. - 검증 가능한 수치 표기 및 출처 명시:
- 최적 청크 크기 스윗스팟(300
500 토큰) 및 트레이드오프(100200 토큰의 문맥 부재, 1000+ 토큰의 노이즈 유입) - 청크 오버랩(100 토큰)을 통한 문맥 경계 보존 효과
- 스마트 청킹과 메타데이터 기법을 통한 전체 RAG 검색 실패 40% 해결 효과
- 최적 청크 크기 스윗스팟(300
- 구체적인 실전 코드 예시 및 활용 시나리오 포함: LangChain
RecursiveCharacterTextSplitter기반의 중첩 및 메타데이터 바인딩 Python 코드와 사내 규정/법무 RAG 적용 시나리오 수록.