LLM WikiAccess-protected knowledge portal
← 스터디 홈
11편 · 약 18분

DeepSeek V4: mHC와 이중 압축 어텐션으로 100만 토큰 컨텍스트를 여는 방법

왜 100만 토큰 컨텍스트가 어려운가

트랜스포머의 셀프 어텐션은 시퀀스 길이 N에 대해 O(N²) 메모리와 연산이 필요하다. 4천 토큰 기준으로 설계된 모델을 1백만 토큰으로 확장하면 어텐션 계산량은 이론상 625억 배 늘어난다. FlashAttention 같은 커널 최적화로 메모리 효율을 개선할 수 있지만, KV 캐시 크기 자체는 시퀀스 길이에 선형 비례한다. 단일 A100 GPU(80GB HBM)에서 13B 모델 기준 KV 캐시 상한은 약 3만 토큰이다. 1M 토큰은 그것의 30배 이상이다.

DeepSeek V3.2까지 실용적인 상한선은 128k 토큰이었다. 2026년 4월 24일 DeepSeek이 공개한 DeepSeek V4는 이 한계를 세 가지 구조적 혁신으로 돌파한다. 레이어 간 연결을 수학적으로 제약하는 mHC(Manifold-Constrained Hyper-Connections), 긴 시퀀스를 두 단계로 압축해 어텐션하는 CSA(Compressed Sparse Attention)와 HCA(Heavily Compressed Attention), 그리고 1.6T 전체 파라미터 중 49B만 활성화하는 MoE 설계다. 1M 토큰 추론에서 V3.2 대비 약 27% FLOPs, 약 10%의 KV 캐시만 사용한다.

이 장은 2026년 7월 15일 기준으로 작성했다. DeepSeek V4는 2026-04-24에 공개됐다. V4-Pro(전체 1.6T 파라미터 / 활성 49B)와 V4-Flash(전체 284B / 활성 13B) 두 변형이 있다. 가중치는 MIT 라이선스로 Hugging Face에 공개되어 있다(deepseek-ai/DeepSeek-V4-Pro). mHC 원본 논문은 arxiv 2512.24880, V4 기술 보고서는 arxiv 2606.19348이다.

mHC: 레이어 간 신호 흐름을 수학으로 안정화하다

표준 잔차 연결의 한계

표준 트랜스포머는 각 레이어에서 y = x + f(x) 형태의 잔차 연결을 사용한다. 레이어가 깊어질수록 입력 x가 각 레이어 출력에 누적 더해지며 신호가 전파된다. 그러나 이 구조는 레이어 간 정보 혼합이 고정되어 있다. 각 레이어는 직전 레이어의 출력 하나만 받아 처리한다.

Hyper-Connections(HC)는 이 제약을 깬다. HC는 n_hc개 이전 레이어의 출력을 학습 가능한 가중치 행렬로 혼합해 현재 레이어에 공급한다. DeepSeek V4는 n_hc=4를 사용한다. 레이어 간 정보 경로가 넓어지면 더 다양한 추상화 수준의 표현을 섞어 처리할 수 있다. 그러나 혼합 행렬이 제약 없이 학습되면 특정 레이어 출력이 지나치게 증폭될 수 있다. 실험에서 비제약 HC는 신호 진폭이 최대 3,000배 폭증해 학습이 발산했다.

Birkhoff 폴리토프와 Sinkhorn-Knopp

mHC는 이 혼합 행렬이 이중 확률 행렬(doubly stochastic matrix)이 되도록 강제한다. 이중 확률 행렬은 모든 원소가 비음수이며 각 행과 열의 합이 모두 1인 행렬이다. 이러한 행렬의 집합을 Birkhoff 폴리토프라 부른다. 이중 확률 행렬의 스펙트럼 노름은 수학적으로 1 이하임이 보장된다. 즉, 이 제약이 있으면 신호 증폭이 구조적으로 억제된다.

학습 중 혼합 행렬을 Birkhoff 폴리토프 위에 투영하는 방법은 Sinkhorn-Knopp 알고리즘이다. 행 정규화와 열 정규화를 번갈아 반복하면 이중 확률 행렬로 수렴한다. DeepSeek V4에서는 20회 반복으로 충분한 수렴을 얻었다. 결과적으로 mHC의 신호 진폭 최대치는 1.6배로 통제됐다.

DeepSeek V4 — 하이브리드 어텐션과 mHC 레이어 연결 구조 1,000,000 토큰 시퀀스 SWA 지역 창 최근 W 토큰 · 압축 없음 CSA — Compressed Sparse Attention (4× 압축 + Top-k 희소 선택) 1단계: 4× 압축 블록 분할 + softmax 게이팅 학습 가능한 위치 편향 보존 시퀀스 → 압축 KV 블록 2단계: Top-k 선택 lightning indexer (FP4 정밀도) ReLU 스코어 멀티헤드 내적 관련 블록 k개에만 어텐션 용도 중거리 정보 희소 검색 코드·문서 중요 단락 포착 전체 KV의 ~25%만 처리 HCA — Heavily Compressed Attention (128× 압축 + 전역 조밀 어텐션) 128× 압축 CSA의 32배 강한 압축 전체 시퀀스 → 소수 블록 전역 맥락 요약 표현 전역 조밀 어텐션 희소 선택 없음 모든 쿼리 × 모든 블록 전체 흐름 이해 보장 1M 토큰 비용 KV 캐시: V3.2 대비 ~10% FLOPs: V3.2 대비 ~27% 전역 이해는 유지 mHC: 레이어 간 연결 안정화 Layer L-3 출력 Layer L-2 출력 Layer L-1 출력 Layer L (현재 레이어) 혼합 행렬 W (n_hc=4) Birkhoff 폴리토프 제약 Sinkhorn-Knopp 20회 반복 비제약 HC: 신호 3,000× 폭증 → 발산 (학습 불안정) mHC: 최대 1.6× 이하 억제 ✓ (안정적 학습 보장) 세 어텐션 조합의 역할 분담 SWA — 지역 정밀도 최근 맥락 정확 처리 CSA — 중거리 검색 관련 정보 희소 검색 (4× 압축) HCA — 전역 이해 전체 맥락 유지 (128× 압축) mHC — 레이어 안정화 이중 확률 행렬 제약
DeepSeek V4 하이브리드 어텐션 아키텍처와 mHC 레이어 연결

CSA + HCA: 두 단계 압축으로 1M 토큰을 다루다

세 어텐션의 역할 분담

DeepSeek V4는 레이어마다 세 종류의 어텐션을 혼합한다.

SWA(Sliding Window Attention)는 직전 W개 토큰에 대해 풀 어텐션을 수행한다. 최근 대화 흐름과 지역 문맥을 정확하게 처리한다.

CSA는 두 단계로 동작한다. 먼저 시퀀스를 고정 크기 블록으로 분할하고 softmax 게이팅된 풀링으로 각 블록의 KV를 4배 압축한다. 학습 가능한 위치 편향이 블록 내 위치 정보를 보존한다. 그런 다음 각 쿼리에 대해 압축된 블록들 중 관련성이 높은 k개 블록을 선택해 어텐션한다. 블록 중요도 계산은 FP4 정밀도로 실행되는 "lightning indexer"(ReLU 스코어링 멀티헤드 내적)가 처리해 연산 비용이 낮다. CSA는 긴 시퀀스에서 필요한 정보를 검색(retrieval)하는 역할을 한다.

HCA는 CSA보다 훨씬 강한 128배 압축을 적용한다. 희소 선택 없이 모든 쿼리가 모든 압축 블록에 조밀하게 어텐션한다. 극도로 압축된 표현을 통해 전체 컨텍스트에 대한 전역 이해를 유지한다.

1M 토큰에서의 비용

세 어텐션의 조합 결과, V4는 1M 토큰 추론에서 V3.2 대비 약 27%의 FLOPs와 약 10%의 KV 캐시만 사용한다. KV 캐시가 90% 줄어든 것은 HPC 노드 단위 KV 캐시 메모리 압력을 크게 줄인다는 의미다.

MoE 설계: 1.6T 중 49B만 활성화

V4-Pro는 전체 1.6T 파라미터 중 추론 시 49B만 활성화한다. 전체의 약 3%다. DeepSeek V3는 671B 전체 중 37B(약 5.5%)를 활성화했다. V4는 총 파라미터가 대폭 늘었지만 단위 토큰당 활성화 비율은 낮아졌다.

가중치 오픈 소스 공개와 함께 MoE 라우팅과 전문가 처리를 최적화한 MegaMoE 커스텀 CUDA 커널도 공개됐다. 오픈 소스 서빙 스택에서 V4-Pro를 배포할 때 이 커널을 활용하면 MoE 오버헤드를 줄일 수 있다.

Muon 옵티마이저

DeepSeek V4 학습에는 Muon(Momentum + Orthogonalization) 옵티마이저가 사용됐다. AdamW를 대체하는 접근이다.

Muon는 Nesterov 모멘텀을 적용한 뒤 Newton-Schulz 반복으로 그래디언트 행렬을 직교화한다. 직교화된 업데이트는 파라미터 공간에서 곡률이 큰 방향으로의 과다 이동을 줄이고 수렴을 안정화하는 이론적 근거가 있다. V4는 수조 파라미터 규모 학습에 Muon를 적용한 대규모 사례 중 하나다.

Open question: Muon가 AdamW 대비 V4 학습 안정성이나 수렴 속도에 미치는 정량적 기여는 기술 보고서에서 별도로 분리해 측정되지 않았다.

성능 벤치마크

V4-Pro의 공개 시점 기준 주요 성적이다.

벤치마크V4-Pro 점수비고
SWE-bench Verified80.6%Gemini 3.1 Pro와 동률, Opus 4.6(80.8%)에 근접
LiveCodeBench93.5%코딩 과제 오픈 벤치마크
Codeforces3206알고리즘 경쟁 문제
GPQA Diamond90.1%전문 도메인 지식 추론

SWE-bench 80.6%는 오픈 웨이트 모델로는 공개 당시 최고 수준의 코딩 성적 중 하나였다.

운영 고려사항

1M 토큰 추론의 실제 VRAM 요구량: KV 캐시가 줄었어도 V4-Pro의 49B 활성 파라미터만 BF16 기준 약 98GB다. 실용적인 1M 토큰 서빙은 다중 GPU 또는 NVIDIA Dynamo 같은 분산 서빙 프레임워크와 병행 설계가 필요하다.

오픈 가중치 배포 복잡성: MIT 라이선스로 가중치가 공개됐지만, 1.6T 파라미터 모델의 배포와 업데이트는 상당한 인프라를 요구한다. vLLM, SGLang, TensorRT-LLM을 통한 배포 가이드를 먼저 확인한다.

컨텍스트 창 사용 분포: 1M 토큰을 실제로 채우는 워크로드(초장문 코드베이스 분석, 법률·과학 문서 처리)와 평균 4~32k 토큰을 사용하는 챗봇 워크로드는 최적 배치 크기와 KV 캐시 설정이 다르다. 워크로드 분포에 맞게 서빙 파라미터를 조정한다.

mHC와 KV 캐시 재사용: mHC는 레이어 간 연결 방식을 변경하지만 KV 캐시 구조 자체에는 영향을 주지 않는다. 프리픽스 캐싱(prefix caching) 전략은 V4에서도 동일하게 적용된다.

정리

DeepSeek V4는 세 가지 구조적 혁신으로 100만 토큰 컨텍스트를 실용 범위로 만들었다.

mHC는 레이어 간 혼합 행렬을 Birkhoff 폴리토프로 제약해 초깊은 모델에서 신호 증폭 문제를 해결했다. 이 수학적 제약이 없었다면 HC의 레이어 간 정보 혼합 확장은 학습 발산으로 이어졌을 것이다.

CSA + HCA는 4배와 128배라는 서로 다른 압축 비율로 시퀀스를 처리해 중거리 검색과 전역 이해를 동시에 달성했다. 1M 토큰을 V3.2 대비 27% 연산량으로 처리한다.

MoE(1.6T/49B)는 총 파라미터를 늘리면서도 단위 토큰당 추론 비용을 V3보다 낮게 유지했다.

SWE-bench 80.6%는 코드 작업에서 프런티어 클로즈드 모델과 경쟁하는 오픈 웨이트 모델의 현재 수준을 보여준다. 1M 토큰 컨텍스트와 오픈 가중치의 조합은 대형 코드베이스 분석, 초장문 문서 처리 등에 즉시 활용 가능한 기반을 만든다.

References