116편 · 약 13분

DSpark: 반자동회귀 초안 생성과 신뢰도 스케줄링으로 LLM 추론을 60–85% 가속하는 방법

요약

투기적 디코딩(speculative decoding)은 작은 초안 모델(drafter)이 여러 토큰을 미리 제안하고, 큰 목표 모델(target model)이 한 번에 검증하는 방식으로 LLM 추론을 가속한다. 단, 초안 품질이 낮으면 목표 모델이 자주 거부하므로 속도 이득이 줄어든다.

2026년 7월 아르코브(arXiv:2607.05147)에 발표된 DSpark는 DeepSeek AI 팀이 이 한계를 두 가지 설계 혁신으로 돌파한 방법을 기술한다. 첫째, 반자동회귀(semi-autoregressive) 초안 헤드로 병렬 초안 모델의 고질적 문제인 접미어 붕괴(suffix decay)를 해결한다. 둘째, 신뢰도 기반 검증 스케줄링으로 수락 가능성이 낮은 후미 토큰에 목표 모델의 검증 연산을 낭비하지 않는다.

DeepSeek-V4-Flash 프로덕션 배포에서 사용자별 생성 속도가 60–85% 향상됐고, V4-Pro에서도 57–78% 향상됐다. 출력 분포는 목표 모델과 수학적으로 동일하므로 품질 손실이 없다.

배경: 투기적 디코딩의 작동 원리

표준 자동회귀 디코딩에서는 목표 모델이 한 번에 토큰 하나씩 생성한다. 1000개 토큰을 만들려면 목표 모델 포워드 패스가 1000번 필요하다.

투기적 디코딩은 이 병목을 우회한다.

초안 모델이 γ개 토큰을 한 번에 제안한다.
목표 모델이 이 γ개 토큰을 단일 포워드 패스로 병렬 검증한다.
수락된 토큰만 출력에 포함하고, 첫 번째 거부 토큰부터 다시 초안을 만든다.

목표 모델 포워드 패스 횟수가 γ배 가까이 줄어드는 효과다. 단, 검증이 실패해서 거부 토큰이 많아지면 이 이득이 줄어든다. 평균 수락 길이(average accepted length)가 핵심 지표다.

병렬 초안 모델의 한계: 접미어 붕괴

EAGLE, DFlash 같은 병렬 초안 모델은 단일 포워드 패스에서 블록 내 모든 위치의 토큰을 동시에 예측한다. 이 방식은 빠르지만 구조적 약점이 있다. 위치 i의 예측이 위치 i-1에서 실제 수락된 토큰을 반영하지 못한다.

블록 앞 부분은 수락률이 높지만, 뒤로 갈수록 예측이 현실의 맥락에서 멀어져 수락률이 급격히 떨어진다. 이것이 접미어 붕괴(suffix decay)다.

블록 위치    | 1   | 2   | 3   | 4   | 5   | 6   | 7   | 8
수락률 (예) | 85% | 78% | 68% | 54% | 38% | 24% | 14% | 7%

위치 6–8은 이미 대부분 거부되는데도 목표 모델은 여전히 이를 검증하느라 연산을 쓴다. 두 가지 낭비가 동시에 발생한다.

초안 모델이 맥락을 무시한 무작위에 가까운 토큰을 제안한다.
목표 모델이 어차피 거부할 토큰을 검증하는 데 시간을 쓴다.

DSpark의 핵심 설계

반자동회귀 초안 헤드: 접미어 붕괴 해결

DSpark는 기존 병렬 백본 위에 경량 순차 Markov 헤드를 추가한다.

초안 생성 흐름

병렬 백본 (Parallel Backbone)
단일 포워드 패스로 블록 전체 로짓 계산

→

기본 로짓 L[i]
(각 위치 독립 예측)

이전 수락 토큰 xₜ₊ᵢ₋₁

→

Markov 헤드 (rank-256 저랭크)
토큰 조건부 바이어스 Δ[i] 계산
오버헤드: 포워드 패스의 0.2–1.3%

최종 로짓: L[i] + Δ[i]

→

초안 토큰 x̃ₜ₊ᵢ 샘플링
이전 토큰과 일관된 접미어

DSpark 반자동회귀 초안 헤드 구조

병렬 백본이 제안한 로짓에 Markov 헤드가 이전 수락 토큰 정보를 담은 저랭크 바이어스를 더한다. 위치 i의 예측이 위치 i-1에서 어떤 토큰이 수락됐는지를 반영할 수 있게 된다.

Markov 헤드는 랭크 256의 저랭크 분해로 구현돼 연산 비용이 극히 작다. 벤치마크에서 측정한 포워드 패스 대비 추가 오버헤드는 0.2–1.3%에 불과하다.

결과: Qwen3 모델 기준 DFlash 대비 평균 수락 길이가 16.3–18.4% 향상됐고, EAGLE-3 대비로는 26.7–30.9% 향상됐다.

신뢰도 기반 검증 스케줄링: 낭비된 연산 제거

접미어 붕괴를 줄였더라도, 실제 서빙 환경에서는 엔진 부하가 달라진다. 처리량이 높을 때는 목표 모델의 검증 배치가 커서 각 토큰을 검증하는 한계 비용이 낮아진다. 반대로 부하가 낮을 때는 긴 블록을 검증해도 비효율적이다.

DSpark는 신뢰도 헤드(confidence head)를 추가해 각 초안 위치의 프리픽스 생존 확률(prefix survival probability)을 추정한다.

p_survive(i) = 위치 1부터 i까지 모두 수락될 확률 (누적)

이 확률과 실시간 엔진 처리량 프로파일을 결합해 현재 시점에 목표 모델 검증 배치를 어디까지 연장할지 동적으로 결정한다. 기대 수익이 낮은 후미 토큰은 검증 배치에서 제외한다.

두 가지 효과가 생긴다.

목표 모델이 거부할 가능성이 높은 토큰에 연산을 쓰지 않는다.
엔진 상태에 맞게 검증 길이를 조절해 GPU 활용률을 최적화한다.

성능 결과

DeepSeek-V4 프로덕션 배포 기준 측정값이다.

모델	사용자별 생성 속도 향상
DeepSeek-V4-Flash	+60–85%
DeepSeek-V4-Pro	+57–78%

수락 길이 기준 비교(Qwen3 모델):

비교 대상	수락 길이 개선
EAGLE-3 대비	+26.7–30.9% (4B/8B/14B 평균)
DFlash 대비	+16.3–18.4% (4B/8B/14B 평균)

Markov 헤드 추가에 따른 추가 레이턴시는 0.2–1.3%로, 수락 길이 이득 대비 무시 가능한 수준이다.

중요한 점은 검증이 목표 모델의 출력 분포와 수학적으로 동일하다는 것이다. 투기적 디코딩의 표준 거부 샘플링(rejection sampling) 절차를 그대로 따르므로, DSpark를 쓰든 쓰지 않든 최종 출력의 분포는 V4를 단독으로 실행한 것과 같다. 속도 이득은 순수한 서빙 효율 향상이며 품질 트레이드오프가 없다.

기존 투기적 디코딩 방법과의 비교

DSpark는 투기적 디코딩 연구 계보에서 어느 위치에 있는지 이해하면 설계 선택이 더 분명하게 보인다.

방법	초안 방식	접미어 붕괴 처리	적응형 스케줄링
EAGLE-1/2	피처 수준 자동회귀	중간 (명시적 처리 없음)	없음
EAGLE-3	훈련 시 테스트 스케일링	개선됨	없음
DFlash	병렬 초안	없음	없음
DSpark	병렬 + Markov 헤드	명시적 해결	신뢰도 기반

DSpark는 기존 모델 가중치를 변경하지 않고 초안 헤드와 스케줄러만 추가한다. V4 체크포인트에 그대로 붙이는 구조라 배포 복잡성이 낮다.

배포와 운영 고려사항

초안 헤드 훈련: Markov 헤드와 신뢰도 헤드는 별도 훈련이 필요하다. DSpark는 기존 V4 체크포인트와 실제 프로덕션 트래픽 데이터를 이용해 초안 헤드를 미세 조정했다. 다른 모델에 적용하려면 동일한 절차가 필요하다.

신뢰도 캘리브레이션: 신뢰도 헤드가 추정하는 생존 확률이 잘못 캘리브레이션되면 스케줄러가 잘못된 결정을 내린다. 모델이 바뀌거나 사용 패턴이 크게 달라지면 재캘리브레이션이 필요하다.

엔진 통합: DSpark는 vLLM, SGLang 같은 범용 서빙 프레임워크보다 DeepSeek 내부 서빙 스택에 통합해 평가했다. 일반 서빙 프레임워크에 통합하려면 신뢰도 헤드와 스케줄러가 엔진의 실시간 처리량 정보에 접근할 수 있어야 한다.

모델 범위: 논문은 DeepSeek-V4와 Qwen3 계열 모델을 기준으로 평가했다. 다른 모델 아키텍처(Llama, Gemma 등)에서의 이식성은 별도 검증이 필요하다. llama.cpp 프로젝트에서는 DSpark 통합을 위한 피처 요청(issue #25096)이 이미 열려 있다.

정리

DSpark는 투기적 디코딩의 두 가지 핵심 비효율을 동시에 해결한다.

반자동회귀 Markov 헤드로 접미어 붕괴를 줄여 초안 품질을 높인다.
신뢰도 기반 스케줄러로 목표 모델 검증 연산을 수락 가능성이 높은 토큰에 집중한다.

DeepSeek V4 프로덕션 배포에서 사용자별 생성 속도 57–85% 향상이라는 결과는 아키텍처 변경 없이 서빙 레이어만 개선해 달성했다. 추론 비용이 경쟁력을 결정하는 현재 LLM 서빙 시장에서, 이런 종류의 서빙 레이어 혁신이 갖는 실용적 가치는 크다.

References

Cheng, Xin et al. "DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation." arXiv:2607.05147, July 6 2026. https://arxiv.org/abs/2607.05147
DeepSeek AI. "DSpark Speculative Decoding: 57–85% Faster LLM Inference." https://deepseek.ai/blog/deepseek-dspark-speculative-decoding
Li, Tianle et al. "EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test." 2026. https://arxiv.org/abs/2503.01840
VentureBeat. "DeepSeek open sources DSpark, a new framework to speed up LLM inference by up to 85%." https://venturebeat.com/orchestration/deepseek-open-sources-dspark-a-new-framework-to-speed-up-llm-inference-by-up-to-85
llama.cpp GitHub Issue #25096. "Feature Request: DSpark confidence-scheduled verification & semi-autoregressive drafting." https://github.com/ggml-org/llama.cpp/issues/25096