본문 바로가기
반응형

분류 전체보기1011

LLM 추론에서 NPU가 빨라지는 조건: 정밀도·양자화·메모리 대역폭 완전 정리 LLM 추론에서 NPU가 빨라지는 조건AI PC, 스마트폰, 엣지 디바이스 시대가 열리면서 NPU(Neural Processing Unit)는 더 이상 보조 가속기가 아니라 온디바이스 AI의 핵심 연산 엔진이 되었습니다. 하지만 실무에서는 종종 이런 경험을 합니다.“분명 NPU가 있는데, 어떤 LLM은 체감이 빠르고 어떤 모델은 오히려 GPU나 CPU랑 별 차이가 없다.” 그 이유는 단순히 “NPU가 느리기 때문”이 아니라, NPU가 빨라지는 조건이 맞지 않았기 때문입니다. 이 글에서는 LLM 추론 관점에서 NPU 성능을 결정짓는 정밀도 · 양자화 · 메모리 대역폭 세 가지 조건을 구조적으로 정리합니다. I. 한 문장으로 요약하는 NPU 가속의 본질 LLM 추론은 연산보다 메모리가 지배적인 워크로드이며.. 2026. 1. 31.
천안 호두과자, 왜 이렇게 유명할까? 역사·교통·선물문화로 보는 인기 비결 천안 호두과자, 왜 이렇게 유명할까? 역사·교통·선물문화로 보는 인기 비결I. 천안 호두과자란?천안 호두과자(호도과자)는 호두를 넣은 앙금을 반죽으로 감싸 호두 모양의 틀에 구워 만든 대표적인 한국 간식입니다. 전국 어디서나 볼 수 있을 만큼 대중화됐지만, “원조 이미지”는 여전히 천안이 가장 강하죠. 천안 호두과자가 전국구 명물이 된 핵심은 특산물(호두) + 교통 요지(역/터미널) + 선물 문화 + 대량생산 가능한 제과 포맷의 결합입니다. II. 기원: 1930년대 ‘역 앞 간식’으로 자리 잡다여러 자료에서 공통적으로 1930년대 천안(특히 천안역 인근)에서 호두를 활용한 과자가 만들어지고, ‘역 앞에서 사가는 간식’으로 알려지며 확산됐다고 설명합니다. 참고로 “누가 최초로 만들었는가?”에 대해선 자.. 2026. 1. 31.
LLM 비용 구조 완전 정리: Training 비용 vs Inference 비용 차이 LLM 비용 구조 완전 정리: Training 비용 vs Inference 비용대규모 언어모델(LLM)을 활용한 서비스에서 가장 자주 오해되는 부분 중 하나는 “학습이 비싼가, 아니면 추론이 비싼가?” 입니다.결론부터 말하면, 두 비용은 성격이 완전히 다르며 돈이 나가는 방식, 시점, 리스크가 전혀 다릅니다. I. LLM 비용의 두 축Training(학습) 비용: 모델을 만들거나 추가 학습할 때 발생하는 대규모 선투자 비용Inference(추론) 비용: 사용자가 질문할 때마다 반복적으로 발생하는 운영비 II. Training 비용 구조: 왜 이렇게 비싼가?① GPU 연산 비용이 압도적Training은 단순 추론과 달리 다음 과정을 모두 포함합니다.Forward pass (출력 계산)Backward pas.. 2026. 1. 31.
경주빵(황남빵) 완벽 가이드: 왜 유명하고 왜 그렇게 인기일까? 경주빵(황남빵) 완벽 가이드: 왜 유명하고 왜 그렇게 인기일까?경주 여행을 다녀온 사람이면 한 번쯤 손에 들고 돌아오는 대표 기념품, 경주빵. 흔히 황남빵으로도 불리는 이 빵은 “천년고도 경주”의 관광 경험과 결합되며 전국적인 명물로 자리 잡았습니다. I. 경주빵(황남빵)은 어떤 빵인가?경주빵은 보통 ‘황남빵’으로도 불리며, 얇은 반죽 안에 팥앙금(팥소)을 넣어 구워낸 작은 과자빵 형태가 대표적입니다. 위쪽에 국화(꽃) 모양 문양을 찍는 전통적인 디자인으로도 잘 알려져 있죠.1. 핵심 특징 요약구성: 얇은 빵/과자 반죽 + 팥앙금식감: 겉은 담백하고 속은 부드러운 단팥비주얼: 윗면 꽃(국화) 문양이 상징처럼 자리포지션: ‘경주 대표 기념품’으로 소비됨2. 짧은 역사 한 줄널리 알려진 설명에 따르면, 경.. 2026. 1. 31.
NPU vs GPU vs TPU 비교 분석: AI 가속기 3대장, 언제 무엇을 써야 할까? NPU vs GPU vs TPU 비교 분석: AI 가속기 3대장, 언제 무엇을 써야 할까?AI가 대중화되면서 “내 노트북/스마트폰엔 NPU가 있다”, “서버는 GPU가 필수다”, “구글은 TPU로 학습한다” 같은 말이 흔해졌습니다. 그런데 셋은 같은 ‘AI 칩’으로 묶이지만, 설계 목적과 강점이 꽤 다릅니다. 이 글은 목적–구조–성능/효율–활용 시나리오 관점에서 NPU·GPU·TPU를 한 번에 비교 정리합니다. I. 한눈에 보는 핵심 요약결론부터 말하면, GPU는 범용 병렬 가속기로 학습/추론 모두에 강하고, NPU는 온디바이스 추론에 특화된 저전력 “기기 속 AI 전용 엔진”이며, TPU는 구글이 데이터센터 규모 AI를 위해 만든 전용 ASIC입니다. 구분NPUGPUTPU정체성온디바이스 AI 전용범용.. 2026. 1. 31.
AI 학습(Training)과 추론(Inference) 완전 정리: 모델 개발 단계 vs 서비스 운영 단계 AI 학습(Training)과 추론(Inference) 완전 정리, 모델 개발 단계 vs 서비스 운영 단계AI 프로젝트는 크게 모델을 만드는 단계(Training)와 모델을 현장에서 쓰는 단계(Inference)로 나뉩니다. 이 글에서는 데이터 파이프라인부터 배포·모니터링·재학습까지 실무 라이프사이클 관점으로 구조를 깔끔하게 정리합니다. I. 한 문장 요약Training은 AI를 “교육시키는 단계(모델 생성)”,Inference는 AI를 “현장에서 일하게 하는 단계(서비스 운영)”입니다.II. AI 학습(Training) 단계: 모델 개발 프로세스Training은 모델의 파라미터(가중치)를 데이터로부터 학습해 “쓸 수 있는 모델”로 만드는 과정입니다. 비용과 시간이 가장 많이 들고, 실험/개선이 반복되.. 2026. 1. 31.
반응형

티스토리툴바