반응형 인공지능텍스트처리1 AI가 글자를 이해하는 단위, 토큰(Token)이란 무엇인가? AI가 글자를 이해하는 블록, 토큰(Token)이란 무엇인가?ChatGPT와 같은 인공지능은 우리가 입력한 문장을 그대로 “읽는 것”처럼 보이지만, 실제로는 텍스트를 토큰(Token)이라는 단위로 잘게 쪼개 이해하고 처리합니다. 토큰은 AI 언어 모델이 사고하고 글을 생성하는 가장 기본적인 단위입니다. I. 토큰(Token)이 왜 필요한가?AI는 문장을 문자 그대로 이해하지 않습니다. 모든 텍스트는 내부적으로 숫자(정수 ID와 벡터)로 변환되어 계산됩니다.이때 문장 전체를 한 번에 처리하는 대신,텍스트를 작은 조각(토큰)으로 나누고각 토큰을 숫자로 변환한 뒤토큰의 순서와 관계를 계산하고다음에 나올 토큰을 확률적으로 예측하는 방식으로 문장을 이해하고 생성합니다. 즉, AI는 “문장”이 아니라 토큰의 흐름.. 2026. 1. 22. 이전 1 다음 반응형
