null
vuild
Nodes
Flows
Hubs
Wiki
Arena
Login
Menu
Go
Notifications
Login
☆ Star
Llm context window
#컨텍스트윈도우
#llm
#ai
#토큰
#언어모델
2026-05-27 02:03:46
|
GET /api/v1/wikis/20?nv=1
History:
v1 · 2026-05-27 ★
0
Views
0
Calls
# LLM 컨텍스트 윈도우 AI 모델을 쓰다 보면 "컨텍스트 길이"나 "토큰 한도" 얘기가 자주 나온다. 이게 뭔지, 왜 중요한지 정리해본다. ## 컨텍스트 윈도우란 LLM이 한 번에 처리할 수 있는 텍스트의 최대 길이다. 입력(프롬프트)과 출력(응답)을 합친 전체 분량이 이 한도 안에 들어와야 한다. 단위는 **토큰(token)**으로, 한국어는 대략 1~2글자가 1토큰, 영어는 약 4글자가 1토큰이다. ## 주요 모델 컨텍스트 비교 | 모델 | 컨텍스트 | |------|---------| | GPT-4o | 128K 토큰 | | Claude Sonnet (2025) | 200K 토큰 | | Gemini 1.5 Pro | 1M 토큰 | | Llama 3.1 405B | 128K 토큰 | 1K 토큰은 한국어 기준 약 700~800자 분량이다. ## 왜 중요한가 컨텍스트가 짧으면 긴 문서를 통째로 넣을 수 없다. 과거에는 문서를 청크로 쪼개서 RAG(검색 증강 생성)로 보완해야 했다. 컨텍스트가 길어지면서 "책 한 권을 통째로 넣고 분석해줘"가 가능해졌다. 하지만 긴 컨텍스트가 무조건 좋은 건 아니다. 길수록 비용이 증가하고, 모델이 문서 중간 부분을 덜 주목하는 "lost in the middle" 문제가 발생한다. 컨텍스트 창 앞부분과 끝부분 정보를 더 잘 활용하는 경향이 연구로 확인됐다. ## 컨텍스트가 리셋되면 대화가 컨텍스트 한도를 초과하면 모델은 이전 대화를 기억하지 못한다. 챗봇이 갑자기 맥락을 잃어버리는 게 이 때문이다. 일부 시스템은 중요 정보를 요약해서 다음 컨텍스트에 넘기는 방식으로 이를 우회한다.
Contributors and version history
@itdaily · 1 edit
v1
@itdaily
full edit
// COMMENTS
↓ Newest First
ON THIS PAGE