딥시크(DeepSeek) Engram: 결과가 뻔한 계산을 기억으로 대체하는 AI 모델 구조

딥시크(DeepSeek) Engram이란? 결과가 뻔한 계산을 ‘기억’으로 대체하는 AI 모델

최근 딥시크(DeepSeek) 연구진이 제안한 Engram(엔그램)은 대규모 언어 모델(LLM)의 추론 방식을 근본적으로 재해석하는 아키텍처로 주목받고 있다. 핵심 아이디어는 단순하다.

“매번 똑같은 결론에 도달하는 계산을 왜 계속 다시 해야 할까?”

 

딥시크(DeepSeek) Engram

 

I. Engram의 핵심 개념 한 줄 요약

Engram은 결과가 거의 정해져 있는 반복적·상투적 추론 패턴을 외부 메모리(DRAM)에 저장해 두고, 복잡한 계산 대신 즉시 불러와 사용하는 조건부 메모리 아키텍처다. 즉, AI가 매번 깊은 신경망 계산을 수행하는 대신 “이건 이미 알고 있는 패턴이야”라고 판단되면 기억을 불러오는 방식으로 동작한다.

 

II. 왜 Engram이 필요했을까?

기존 트랜스포머 기반 LLM은 구조적으로 ‘지식 조회’와 ‘논리 추론’을 구분하지 않는다. 그 결과 다음과 같은 문제가 발생한다.

• 자주 반복되는 문장 구조나 표현도 매번 전 레이어를 통과하며 재계산
• 상투적인 코드 패턴, 관용구, 공식 표현도 동일한 연산 비용 발생
• GPU HBM/VRAM 사용량 증가 및 추론 비용 급등

Engram은 이 문제를 “계산해야 할 것”과 “기억하면 되는 것”을 분리함으로써 해결한다.

 

III. Engram은 무엇을 저장하는가?

Engram은 문서나 문장을 그대로 저장하지 않는다. 대신 N-그램 기반 토큰 패턴 임베딩을 저장한다.

1. 입력 문장을 여러 길이의 N-그램으로 분해
2. 각 N-그램을 해시(hash)로 변환
3. 해당 해시에 대응하는 임베딩 벡터를 외부 메모리에서 즉시 조회

이 방식은 전통적인 캐시보다 훨씬 구조화되어 있으며, 검색이 아닌 테이블 룩업(lookup)에 가까운 형태다.

 

IV. “조건부 메모리”라는 표현의 의미

Engram은 단순한 메모리 저장소가 아니다. 중요한 포인트는 조건부(Conditional)라는 점이다. 모델 내부에는 게이팅(gating) 메커니즘이 존재해, 현재 문맥에서 다음 중 무엇이 유리한지를 판단한다.

• 메모리에서 불러오는 것이 빠르고 정확한가?
• 아니면 새로운 조합이므로 깊은 추론이 필요한가?

그 결과, 상투적인 구간은 ‘회상’으로 처리하고 복잡한 논리 전개는 ‘추론’에 계산 자원을 집중하게 된다.

 

V. 외부 메모리(DRAM)를 사용하는 이유

Engram의 메모리 테이블은 GPU 내부가 아니라 호스트 DRAM에 위치할 수 있다.

이는 다음과 같은 장점을 제공한다.

• HBM 대비 저렴하고 대용량 메모리 활용 가능
• 수십~수백억 규모의 메모리 테이블 확장 가능
• 비동기 프리패치로 GPU 계산과 메모리 전송을 병렬 처리

결과적으로 Engram은 “계산 중심 AI”에서 “기억 + 계산 혼합 AI”로의 전환을 시도한다.

 

VI. MoE, RAG, 캐시와의 차이점

Engram은 기존 방식들과 목적이 다르다.

• KV 캐시: 이전 계산 결과를 임시 저장하는 런타임 최적화
• RAG: 외부 문서를 검색해 다시 읽고 추론
• MoE: 일부 전문가만 활성화하는 조건부 연산
• Engram: 학습된 정적 기억을 즉시 조회하는 조건부 메모리

특히 Engram은 “문서를 읽는 AI”가 아니라 “기억을 회상하는 AI”에 가깝다.

 

딥시크, AI 추론 효율 높이는 ‘엔그램’ 기술 공개…V4에도 투입 전망 - 디지털투데이 (DigitalToday)

 

VII. Engram의 의미와 향후 전망

Engram은 단순한 성능 개선 기법이 아니라, AI 모델 설계 철학의 변화를 보여준다. 앞으로의 대형 모델은 모든 것을 계산하려 하지 않고, 계산해야 할 것과 기억하면 될 것을 구분하는 방향으로 진화할 가능성이 크다. 이는 추론 비용 절감, 장문 컨텍스트 처리, 그리고 차세대 AI 인프라 설계 전반에 중요한 영향을 미칠 것으로 보인다.

 

✦ 요약 한 문장: 
Engram은 “AI가 매번 생각하지 않아도 되는 것을 기억하게 만드는 구조”다.