AI 기술중급
위치 편향 (Lost in the Middle)
Lost in the Middle · Positional Bias · U-shape Attention
위치 편향은 LLM이 입력의 처음과 끝에 더 높은 주의를 기울이고 중간 정보를 상대적으로 무시하는 U자형 주의 패턴이다. Liu et al.(2023)이 "Lost in the Middle" 논문에서 실증했다.
- •Liu et al.(2023, TACL 2024): 20개 문서 중 관련 문서가 중간(10번째)에 있으면 정확도 급격히 하락
- •원인: 인과적 마스킹(causal masking)과 RoPE가 처음/끝 위치를 선호하는 감쇠 효과
- •ACL Findings 2025: 히든 스테이트 스케일링으로 최대 15.2% 성능 향상 가능
- •실전 규칙: 가장 중요한 정보를 프롬프트의 처음 또는 끝에 배치