반응형 인공지능39 AI가 글자를 이해하는 단위, 토큰(Token)이란 무엇인가? AI가 글자를 이해하는 블록, 토큰(Token)이란 무엇인가?ChatGPT와 같은 인공지능은 우리가 입력한 문장을 그대로 “읽는 것”처럼 보이지만, 실제로는 텍스트를 토큰(Token)이라는 단위로 잘게 쪼개 이해하고 처리합니다. 토큰은 AI 언어 모델이 사고하고 글을 생성하는 가장 기본적인 단위입니다. I. 토큰(Token)이 왜 필요한가?AI는 문장을 문자 그대로 이해하지 않습니다. 모든 텍스트는 내부적으로 숫자(정수 ID와 벡터)로 변환되어 계산됩니다.이때 문장 전체를 한 번에 처리하는 대신,텍스트를 작은 조각(토큰)으로 나누고각 토큰을 숫자로 변환한 뒤토큰의 순서와 관계를 계산하고다음에 나올 토큰을 확률적으로 예측하는 방식으로 문장을 이해하고 생성합니다. 즉, AI는 “문장”이 아니라 토큰의 흐름.. 2026. 1. 22. 딥시크(DeepSeek) Engram: 결과가 뻔한 계산을 기억으로 대체하는 AI 모델 구조 딥시크(DeepSeek) Engram이란? 결과가 뻔한 계산을 ‘기억’으로 대체하는 AI 모델최근 딥시크(DeepSeek) 연구진이 제안한 Engram(엔그램)은 대규모 언어 모델(LLM)의 추론 방식을 근본적으로 재해석하는 아키텍처로 주목받고 있다. 핵심 아이디어는 단순하다. “매번 똑같은 결론에 도달하는 계산을 왜 계속 다시 해야 할까?” I. Engram의 핵심 개념 한 줄 요약Engram은 결과가 거의 정해져 있는 반복적·상투적 추론 패턴을 외부 메모리(DRAM)에 저장해 두고, 복잡한 계산 대신 즉시 불러와 사용하는 조건부 메모리 아키텍처다. 즉, AI가 매번 깊은 신경망 계산을 수행하는 대신 “이건 이미 알고 있는 패턴이야”라고 판단되면 기억을 불러오는 방식으로 동작한다. II. 왜 Engr.. 2026. 1. 22. 리벨리온 vs 퓨리오사AI: 한국 AI 반도체(NPU) 대표 주자 비교 분석 리벨리온(Rebellions)과 퓨리오사AI(FuriosaAI) 설명 + 비교 분석NPU AI Inference 데이터센터 LLM한국 AI 반도체 스타트업을 대표하는 두 기업 리벨리온과 퓨리오사AI는 모두 “AI 추론(Inference) 가속”을 핵심으로 삼지만, 제품 지향점과 시장 공략 방식에서 차이가 뚜렷합니다. 이 글에서는 각 회사의 개요/제품/강점과 함께, “GPU 보완재 vs GPU 대안” 관점에서 선택 포인트를 정리합니다. ※ 기업/제품 소개는 공식 웹사이트 및 공개 기사/기술 소개 자료를 기반으로 요약했습니다. (출처: Rebellions 공식 사이트/뉴스룸, FuriosaAI 공식 사이트, EE News Europe, 동아일보 등) I. 리벨리온(Rebellions): 개요와 포지셔닝리벨.. 2026. 1. 21. LLM 성능은 어떻게 평가할까? 대표 평가 툴·리더보드·테스트 방식 + 최신 순위(스냅샷) LLM 성능 ‘등수’는 어떻게 매길까? (평가 툴·사이트·테스트 방식 + 최신 순위 스냅샷) 핵심 요약LLM 순위는 “절대 등수”가 아니라 어떤 테스트(벤치마크/투표/도메인)를 쓰느냐에 따라 달라집니다.대표 방식은 ① 사용자 투표 기반(예: LMArena/Chatbot Arena) ② 표준 벤치마크 기반(예: Open LLM Leaderboard/HELM) ③ 제품·서비스 품질 평가(DeepEval/Ragas/LangSmith 등)입니다.아래에 평가 사이트/툴 목록, 테스트 설계 방법, 그리고 리더보드 스냅샷 순위(예시)를 한 번에 정리했습니다.※ 참고: 사용자가 제공한 한겨레 링크는 작성 시점에 자동 열람에서 오류가 발생하여, 본문 직접 인용은 하지 않고 “LLM 등수/리더보드 논점”에 맞춰 공개 자료.. 2026. 1. 21. ASI(인공 초지능)란 무엇인가? 우리 삶·사회·산업·국가·세계에 미칠 영향 총정리 ASI(인공 초지능)란 무엇인가? 우리 삶·사회·산업·국가·세계에 미칠 영향 총정리ASI는 AGI(인간 수준 범용 인공지능)를 넘어, 거의 모든 지적 과제에서 인간 집단을 장기적으로 압도할 수 있는 인공 초지능(Artificial Superintelligence)을 뜻합니다. 이 글에서는 정의부터 파생 생태계까지 한 번에 정리합니다. I. ASI 정의와 핵심 개념ASI(Artificial Superintelligence)는 인간 수준의 범용 지능(AGI)을 넘어, 과학·기술·경영·전략·창의·추론·협상·설계 등 거의 모든 지적 영역에서 최고의 인간 전문가 집단을 지속적으로 압도할 수 있는 인공지능을 의미합니다. 핵심 포인트ASI의 본질은 “단순히 똑똑함”이 아니라, 속도(발전 가속)와 스케일(병렬·복제).. 2026. 1. 13. AGI(범용 인공지능)란? 우리 삶·사회·산업·국가·세계에 미칠 영향과 파생 영역 총정리 AGI(범용 인공지능)란? 우리 삶·사회·산업·국가·세계에 미칠 영향과 파생 영역 총정리AGI(Artificial General Intelligence, 범용 인공지능)는 “특정 과제만 잘하는 AI”를 넘어, 사람처럼 폭넓은 영역에서 학습·추론·계획·문제해결을 수행할 수 있는 수준의 인공지능을 의미합니다. 이 글에서는 AGI의 핵심 개념부터 영향 지도(개인·사회·산업·국가·세계), 파생 영역, 그리고 반드시 짚어야 할 리스크까지 구조적으로 정리합니다. I. AGI의 정의: “범용성”이 핵심AGI(Artificial General Intelligence)는 특정 분야에 최적화된 “특화 AI”가 아니라, 다양한 영역에서 새로운 문제를 이해하고, 학습·추론·계획을 통해 해결할 수 있는 범용 인공지능을 뜻합니.. 2026. 1. 13. 이전 1 ··· 3 4 5 6 7 다음 반응형
