반응형 다음단어예측1 LLM의 기본 원리: ‘다음에 올 단어(토큰) 예측’은 어떻게 작동할까? LLM의 기본 원리: ‘다음에 올 단어(토큰) 예측’은 어떻게 작동할까?핵심 한 문장대규모 언어 모델(LLM)은 “입력된 문맥을 보고 다음에 올 토큰(token)의 확률분포를 계산한 뒤, 그 분포에서 토큰을 선택해 문장을 이어 쓰는” 거대한 수학적 함수입니다. I. LLM은 ‘다음 토큰 확률분포’를 출력하는 함수많은 사람들이 LLM을 “다음 단어를 맞히는 AI”로 이해합니다. 방향은 맞지만, 더 정확히 말하면 LLM은 다음 ‘단어(word)’가 아니라 다음 ‘토큰(token)’을 예측합니다.1. 토큰(token)이란?토큰은 문장을 쪼갠 단위입니다. 어떤 때는 단어 전체가 토큰이 되기도 하고, 어떤 때는 접두/접미 같은 조각이 토큰이 되기도 합니다. 공백이나 기호도 토큰이 될 수 있습니다. 왜 토큰을 쓰.. 2026. 2. 6. 이전 1 다음 반응형
