AI 기반입문
컨텍스트 윈도우
Context Window · 컨텍스트 창 · 문맥 창
컨텍스트 윈도우란 AI 모델이 한 번에 읽고 처리할 수 있는 텍스트의 최대 길이다. 2020년 GPT-3의 2,048토큰에서 2026년 Claude Opus 4.6의 100만 토큰까지 6년 만에 5만 배가 늘었지만, 컨텍스트가 길어질수록 주의력 분산, 비용 상승, 속도 저하가 따른다.
- •2026년 Claude Opus 4.6(1M 토큰), Llama 4 Scout(10M), Gemini 3 Pro(2M)가 프론티어다.
- •"Lost in the Middle" 현상: 프롬프트 시작과 끝의 정보는 잘 기억하지만, 중간부의 어텐션이 약해진다.
- •실효 성능은 광고 수치의 50~65%에 불과하다. Llama 4 Scout의 10M 토큰 윈도우에서 256K 이후 정확도가 급락(15.6%)한다.
- •어텐션의 O(n²) 비용 때문에 컨텍스트 2배면 연산 4배, 10배면 100배가 된다.