DeepSeek-V4, 100만 토큰 AI 에이전트 시대를 열다

DeepSeek-V4, 무엇이 달라졌나

DeepSeek이 V4 시리즈를 공개했습니다. 가장 눈에 띄는 변화는 100만 토큰 컨텍스트 윈도우와 에이전트(AI Agent) 워크플로 최적화입니다. 기존 대형 언어 모델(LLM)이 긴 작업을 수행할 때 겪던 핵심 병목—KV 캐시(Key-Value Cache) 메모리 폭발과 도구 호출 중 추론 단절—을 아키텍처 수준에서 해결한 것이 핵심입니다.

V4-Pro는 1.6조(1.6T) 파라미터 중 490억 개만 활성화하는 MoE(Mixture of Experts, 전문가 혼합) 구조를 사용하며, V4-Flash는 284B/13B로 더 가볍게 설계되었습니다. 두 모델 모두 Hugging Face에 오픈소스로 공개되었습니다.

KV 캐시 문제, 왜 중요한가

AI 에이전트가 코드를 수정하거나, 웹을 탐색하거나, 수백 번의 도구 호출을 연쇄하는 장기 작업에서는 매 토큰 생성마다 이전 컨텍스트 전체에 대한 어텐션(Attention) 비용을 지불합니다. 컨텍스트가 길어질수록 연산량과 메모리 사용량이 기하급수적으로 증가하는 것이죠.

DeepSeek-V4는 이 문제를 하이브리드 어텐션 구조로 정면 돌파합니다.

CSA(Compressed Sparse Attention, 압축 희소 어텐션)

시퀀스를 4배 압축한 뒤, FP4 정밀도의 '라이트닝 인덱서'가 쿼리당 가장 관련성 높은 블록만 선별합니다. 전체를 보지 않고 핵심만 골라보는 방식입니다.

HCA(Heavily Compressed Attention, 고압축 어텐션)

128배 압축으로 시퀀스를 극단적으로 줄인 뒤, 밀집(Dense) 어텐션을 적용합니다. 압축 후 시퀀스가 충분히 짧아져 전체를 보더라도 비용이 낮습니다.

두 메커니즘이 61개 레이어에 걸쳐 교대로 배치되며, FP8/FP4 혼합 저장 방식과 결합해 **KV 캐시 메모리를 기존 GQA(Grouped Query Attention) 대비 약 2%**로 줄였습니다. 단일 토큰 추론 연산량(FLOPs)도 V3.2 대비 27%(Pro), 10%(Flash)에 불과합니다.

에이전트를 위한 세 가지 설계 결정

아키텍처 효율성만으로는 부족합니다. V4는 에이전트 사용 사례를 겨냥한 세 가지 핵심 설계를 추가했습니다.

1. 도구 호출 간 추론 체인 유지

이전 V3.2는 새 사용자 메시지가 들어오면 축적된 추론(Chain of Thought)을 초기화했습니다. V4는 도구 호출이 포함된 대화에서 추론 히스토리를 모든 턴에 걸쳐 보존합니다. 에이전트가 10단계 작업 중 5단계에서 사용자 추가 질문을 받아도 처음부터 다시 생각할 필요가 없습니다.

2. XML 기반 도구 호출 스키마

|DSML| 특수 토큰과 XML 포맷을 도입해, JSON 문자열 내 이스케이핑 실패—중첩된 따옴표, 숫자/불리언 파싱 오류—를 구조적으로 제거했습니다.

3. DSec: RL 학습용 샌드박스 인프라

Rust 기반 실행 플랫폼 DSec에서 함수 호출, 컨테이너, microVM, 풀 VM을 하나의 SDK로 제공합니다. 수십만 개의 동시 샌드박스에서 RL(Reinforcement Learning, 강화학습) 롤아웃을 수행해 에이전트 행동을 학습했습니다.

벤치마크: 에이전트 영역에서 두각

일반 지식·추론 벤치마크는 경쟁 수준이지만, 에이전트 벤치마크에서 확실한 차별화를 보입니다.

SWE-bench Verified에서 80.6, MCPAtlas에서 73.6으로 프론티어 폐쇄형 모델과 사실상 동등한 수준입니다. 100만 토큰 MRCR 8-needle 검색에서도 0.59 정확도를 유지합니다.

교육 분야에 미치는 영향

학습 도구의 질적 변화

100만 토큰 컨텍스트는 교과서 한 권 분량을 통째로 넣고 질문할 수 있는 수준입니다. 에이전트 추론 유지 기능과 결합하면, "이 장에서 설명한 개념으로 저 장의 문제를 풀어줘"와 같은 교차 참조 학습이 단일 세션에서 가능해집니다.

오픈소스 접근성

V4-Flash는 13B 활성 파라미터로 상대적으로 가벼워, 대학 연구실이나 개인 GPU 서버에서도 실험할 수 있습니다. 교육용 AI 에이전트를 직접 구축하고 커스터마이징하려는 연구자에게 실질적인 선택지가 됩니다.

브라우저 로컬 AI와의 시너지

한편, Transformers.js를 활용한 크롬 확장 프로그램에서 Gemma 4 모델을 로컬로 실행하는 사례도 공개되었습니다. 서버 없이 브라우저에서 직접 AI 추론을 수행하는 이 접근 방식은, 개인정보 보호가 중요한 교육 환경에서 특히 주목할 만합니다. DeepSeek-V4의 효율적 아키텍처가 향후 브라우저 환경까지 확장된다면, 학생 개인 기기에서도 강력한 AI 학습 도구를 사용하는 시대가 한 걸음 더 가까워질 것입니다.

학생 활용법

Hugging Face에 공개된 V4-Flash 모델을 직접 다운로드해 코딩 에이전트로 활용해 보세요. 긴 코드베이스를 한 번에 분석하거나, 논문 전체를 컨텍스트에 넣고 질의하는 실험을 통해 에이전트 기반 AI 활용 역량을 키울 수 있습니다.