148편 · 약 14분

Sangam: 확산 언어 모델(dLLM)을 AR 서빙 스택으로 효율적으로 처리하는 방법 (arXiv:2607.04206)

요약

확산 언어 모델(dLLM, Diffusion Language Model)은 기존 자기회귀(AR) 모델과 다른 방식으로 텍스트를 생성한다. 마스킹된 응답을 반복적으로 디노이즈하면서 한 번의 모델 호출로 여러 위치의 토큰을 동시에 확정한다. LLaDA, MDLM 같은 dLLM이 주목받으며 서빙 시스템도 필요해졌지만, 양방향 어텐션(bidirectional attention) 구조가 AR 서빙 인프라의 핵심인 KV 캐시 재사용을 막는다.

Sangam(arXiv:2607.04206, 2026년 7월)은 이 문제를 정면에서 다룬다. dLLM 서빙을 위해 새 스택을 만드는 대신, AR 서빙 스택 위에서 dLLM을 효율적으로 구동하는 방법을 제안한다. 핵심은 결핍 토큰 예산 스케줄러(deficit token-budget scheduler)로, dLLM의 불가분한 프리필을 AR 방식의 버짓 루프에 통합해 디코드 정지(stall) 없이 두 단계를 함께 처리한다.

arXiv:2607.04206 · 2026년 7월 5일 제출
저자: Nitin Kedia, Saurabh Agarwal, Myungjin Lee, Aditya Akella (University of Wisconsin–Madison)

dLLM이 AR 서빙 스택에 맞지 않는 이유

AR 모델(GPT, LLaMA 등)은 왼쪽에서 오른쪽으로 한 토큰씩 생성한다. 인과적 어텐션(causal attention) 덕분에 과거 토큰의 KV 벡터를 캐시해두고 재사용할 수 있다. 이전 토큰을 추가해도 기존 KV 값이 바뀌지 않는다.

dLLM은 다르다.

전체 시퀀스를 마스킹된 상태로 시작해 반복적으로 디노이즈한다
양방향 어텐션을 사용하기 때문에 어느 위치를 확정해도 다른 위치의 KV 활성값이 달라진다
따라서 정확한 KV 재사용이 불가능하다

Fast-dLLM, dKV-Cache 같은 근사 캐싱 기법은 이 문제를 일정 간격마다 KV를 갱신하는 방식으로 우회한다. 이 구조는 반복적인 프리필/디코드 쌍을 만들어낸다.

AR 서빙에서 긴 프리필로 인한 디코드 정지 문제를 해결하는 청크 프리필(chunked prefill)도 dLLM에 적용할 수 없다. 양방향 어텐션은 프리필을 부분적으로 처리할 수 없게 만들기 때문이다. dLLM 프리필은 불가분(indivisible)하다.

Sangam의 구조

Sangam 서빙 아키텍처: 결핍 토큰 예산 스케줄러와 세 가지 배치 옵션

dLLM 서빙의 핵심 도전 과제

AR과 dLLM 디코드의 구조적 차이

AR 모델에서 디코드는 토큰 단위다. 한 번에 토큰 하나를 생성하며, KV 캐시에 새 토큰의 KV만 추가하면 된다.

dLLM에서 디코드는 블록 단위다. 한 번의 모델 실행으로 여러 위치를 동시에 확정한다. 그리고 이후 디노이즈 단계(프리필 역할)가 다시 전체 시퀀스에 대해 실행된다. 이 반복 구조가 두 가지 문제를 만든다.

첫째, 프리필이 주기적으로 재발(recurring prefill)한다. AR 서빙에서 프리필은 요청당 한 번이지만, dLLM에서는 디노이즈 횟수만큼 반복된다.

둘째, 프리필은 불가분하다. 양방향 어텐션 때문에 프리필 시퀀스를 잘라서 처리할 수 없다. 청크 프리필을 사용하면 중간 결과가 틀려진다.

왜 기존 AR 스케줄러가 작동하지 않는가

AR 서빙의 청크 프리필은 긴 프리필을 작은 청크로 나눠 디코드 요청과 교차 배정함으로써 디코드 정지를 방지한다. dLLM에서는 이 방식이 불가능하므로 긴 프리필이 들어오면 진행 중인 디코드가 정지(stall)하게 된다. 대형 배치에서 재발 프리필이 반복되면 디코드 지연이 누적된다.

결핍 토큰 예산 스케줄러 상세

Sangam의 핵심 아이디어는 단순하다. 이터레이션마다 소비할 수 있는 토큰 수 예산 B를 정하고, 다음 규칙으로 배정한다.

각 이터레이션:
  1. 진행 중인 디코드 요청을 모두 배정 → 소비 토큰: B_decode
  2. 잔여 예산: B_remain = B - B_decode
  3. 이월 결핍 D 확인
  4. (B_remain + D) ≥ prefill_size 이면 프리필 전체를 이번 이터레이션에 배정
  5. 조건 미달이면 D += B_remain (결핍 누적, 다음 이터레이션에 이월)

이 구조는 세 가지 특성을 보장한다.

특성	설명
디코드 우선	진행 중 디코드는 항상 먼저 배정됨
불가분 프리필	프리필은 조건 충족 시 통째로 배정, 분할 없음
기아 방지	결핍이 누적되므로 어느 시점에 반드시 프리필 배정

결핍을 이월하지 않으면 디코드 배치가 꽉 찰 때 프리필이 영원히 진입하지 못한다. 결핍 누적이 이를 수학적으로 막아준다.

세 가지 배치 구성 비교

코로케이티드 구성

모든 워커가 프리필과 디코드를 모두 처리한다. 결핍 토큰 예산 스케줄러가 각 워커에서 독립적으로 동작한다.

장점: 부하 변동을 유연하게 흡수한다. 프리필이 급증해도 모든 워커가 프리필 능력을 보유하므로 대기 시간이 줄어든다.

단점: 디코드가 모든 워커에 분산되기 때문에 개별 워커의 디코드 배치 크기가 작아진다. 배치 크기가 작으면 GPU 활용률이 낮아져 디코드 처리량이 제한된다.

분리형 구성 (5P3D)

프리필 전용 워커 5개, 디코드 전용 워커 3개로 역할을 고정한다. 프리필 완료 후 KV 캐시를 디코드 워커로 전송한다.

장점: 모델·워크로드·비율이 맞을 때 가장 효율적이다. 디코드 워커가 디코드만 처리하므로 배치 크기가 크게 유지된다.

단점: 프리필 부하가 급증하거나 워크로드 특성이 바뀌면 프리필 워커에 병목이 생긴다. P:D 비율을 잘못 설정하면 성능이 크게 저하된다.

하이브리드 구성 (5P3C)

프리필 전용 워커 5개 + 코로케이티드(겸용) 워커 3개로 구성한다. 평소에는 분리형처럼 동작하지만, 프리필이 넘칠 때 코로케이티드 워커가 프리필 오버플로를 받아 처리한다.

장점: 안정 상태에서 분리형의 처리량을 유지하면서, 부하 변동 시 코로케이티드처럼 우아하게 성능이 저하된다.

단점: 코로케이티드 워커에 KV 전송 경로가 추가되어 구성이 더 복잡하다.

실험 결과 주요 포인트

논문에서는 LLaDA-8B와 MDLM-large를 ShareGPT 트레이스와 합성 워크로드로 8-GPU 클러스터에서 평가했다.

LLaDA-8B ShareGPT 기준:

코로케이티드 구성이 프리필 큐잉 지연의 CDF에서 가장 낮은 분포를 보인다
분리형(5P3D)은 모델·워크로드·P:D 비율이 맞을 때 디코드 처리량이 가장 높다
하이브리드(5P3C)는 두 구성의 중간 특성을 보이며, 부하 변동 시 분리형보다 안정적으로 성능을 유지한다

핵심 관찰: 분리형 구성에서 고정 P:D 비율이 최적인 경우는 워크로드 특성이 예측 가능하고 안정적일 때다. 현실의 API 트래픽처럼 변동이 클 때는 코로케이티드나 하이브리드가 더 나은 선택이다.

운영 시사점

dLLM 서빙에 기존 AR 인프라를 활용할 수 있다

Sangam의 가장 중요한 시사점은 dLLM 전용 서빙 시스템을 처음부터 구축할 필요가 없다는 것이다. vLLM, SGLang 같은 AR 서빙 스택을 재사용하되, 스케줄러 레이어에서 dLLM의 불가분 프리필과 블록 디코드 특성을 처리하면 된다.

언제 어떤 구성을 선택할 것인가

워크로드 특성              권장 구성
────────────────────────  ────────────
예측 가능한 균일 부하      분리형 (최고 처리량)
변동 부하 / API 서비스    코로케이티드 또는 하이브리드
GPU 수가 적음 (≤4)       코로케이티드
GPU 수가 많음 (8+)       하이브리드로 시작 후 측정

Fast-dLLM 근사 캐싱과의 관계

Sangam은 Fast-dLLM이나 dKV-Cache 같은 근사 캐싱 레이어 위에서 동작한다. 근사 캐싱이 없으면 프리필이 매 디노이즈 단계마다 전체 시퀀스를 재처리해야 해서 처리량이 크게 떨어진다. Sangam은 이 반복 프리필을 스케줄링하는 레이어이며, 근사 캐싱의 대체가 아니라 보완이다.

확산 모델 서빙의 현재 위치

dLLM은 아직 AR 모델에 비해 서빙 생태계가 초기 단계다. Sangam은 "AR 스택을 적응시키는 것이 가능하다"는 것을 보여준 첫 번째 체계적인 연구다. 향후 vLLM 등 주요 추론 엔진이 이 아이디어를 통합할 가능성이 높다.

요점 정리

Sangam의 핵심은 세 가지다.

첫째, 문제를 정확히 정의한다. dLLM이 AR 스택에서 잘 동작하지 않는 이유는 양방향 어텐션으로 인한 불가분 프리필과 블록 디코드 구조 때문이다.

둘째, 단순하지만 효과적인 스케줄러를 제안한다. 결핍 토큰 예산 이월 메커니즘으로 기아 없이 불가분 프리필을 AR 버짓 루프에 통합한다.

셋째, 세 가지 배치 구성의 트레이드오프를 정량화한다. 워크로드와 인프라 특성에 따라 최적 구성이 다르다는 것을 실증 데이터로 보인다.

한계도 있다. 논문은 Fast-dLLM 근사 캐싱이 적용된 시나리오에 집중하며, 정확한 캐시 없는 dLLM 서빙(모든 단계에서 전체 프리필)에는 별도 분석이 필요하다. 100B 이상 대형 dLLM과 멀티노드 환경에서의 평가도 앞으로 과제로 남는다.

References

arXiv:2607.04206 — "Sangam: Efficiently Serving Diffusion LLMs with the AR Stack" (2026년 7월)

https://arxiv.org/abs/2607.04206

Fast-dLLM (arXiv:2505.22618) — Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

https://arxiv.org/abs/2505.22618

dLLM-Cache (arXiv:2506.06295) — Accelerating Diffusion Large Language Models with Adaptive Caching

https://arxiv.org/abs/2506.06295

Sarathi-Serve — Chunked Prefill in AR LLM Serving (Facebook/Meta Research)

https://arxiv.org/abs/2308.16369

vLLM Continuous Batching — PagedAttention and continuous batching for AR LLMs

https://vllm.ai