AI 기술중급
청킹
Chunking · Text Chunking · 텍스트 분할
청킹은 RAG 시스템에서 문서를 검색 가능한 크기의 단위로 분할하는 과정이다. 너무 작으면 맥락이 사라지고, 너무 크면 노이즈가 섞여 검색 정밀도가 떨어진다. RAG 성능에서 임베딩 모델 선택만큼, 또는 그 이상의 영향을 미친다.
- •Vecta 2026 벤치마크 1위: Recursive 512토큰(69%) — 시맨틱 청킹(54%)을 15%p 앞섬
- •2026년 패러독스: 단순한 구조 기반 방법이 LLM 기반 방법보다 인코퍼스 검색에서 우수(arXiv:2602.16974)
- •Anthropic Contextual Retrieval: 청크에 문서 맥락 접두어 추가 → 검색 실패 67% 감소
- •업계 표준 오버랩: 청크 크기의 10~20%. NVIDIA 벤치마크에서 15%가 최적
- •부모-자식 청킹: 작은 청크로 정밀 검색 → 부모 청크로 넓은 맥락 제공