같은 GPU를 쓰지 않아도 된다
LLM 추론은 크게 두 단계로 나뉜다. 프리필(prefill): 입력 프롬프트 전체를 한꺼번에 처리해 KV 캐시를 생성하는 단계. 디코드(decode): 토큰을 한 개씩 자기회귀적으로 생성하는 단계.
두 단계는 연산 특성이 완전히 다르다. 프리필은 행렬-행렬 곱(GEMM)이 지배하는 연산 집약 워크로드다. 디코드는 행렬-벡터 곱(GEMV)이 반복되는 메모리 대역폭 집약 워크로드다. 그런데도 대부분의 서빙 시스템은 두 단계를 같은 GPU 풀에서 실행한다.
2026년 6월 공개된 arXiv 논문 "Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving"(arXiv:2606.29708)은 이 가정을 정면으로 뒤집는다. 상하이 이노베이션 인스티튜트·SJTU·MetaX 등 18개 기관이 공동으로, 프리필과 디코드에 서로 다른 가속기를 배치하는 이종(heterogeneous) PD 분리 설계의 전체 설계 공간을 체계적으로 분석했다.
왜 A100은 프리필에서 대역폭을 낭비하는가
A100 GPU의 HBM 대역폭은 약 2 TB/s다. 디코드 단계에서는 매 스텝마다 KV 캐시 전체를 읽어야 하기 때문에 이 대역폭이 거의 100% 활용된다.
프리필 단계에서는 상황이 다르다. GEMM 연산은 연산 집약적이어서 메모리 대역폭보다 FLOPS가 병목이 된다. 결과적으로 A100은 프리필 중 HBM 대역폭의 97%를 쓰지 못한 채 놀린다. 이 낭비는 동종(homogeneous) 설계의 구조적 비효율이다.
이종 설계는 이 비대칭성을 역이용한다.
- 프리필 노드: 높은 TFLOPS와 빠른 인터커넥트가 유리한 가속기(예: A100, H100)
- 디코드 노드: HBM 대역폭이 넓고 비용이 낮은 가속기(예: A10, L40, 맞춤 ASIC)
논문이 측정한 결과, 잘 설계된 이종 구성은 동종 구성 대비 시간당 비용 61% 절감, 토큰당 비용 48% 절감을 달성했다.
4개의 설계 축
논문은 이종 PD 설계를 결정하는 독립 변수를 4개의 설계 축(design axis)으로 정리한다. 각 축은 프리필 노드와 디코드 노드에서 독립적으로 값을 가진다.
축 1 — 가속기(Accelerator)
프리필 노드와 디코드 노드에 어떤 가속기를 쓸 것인가. 선택지는 GPU 세대(A100, H100, H200 등), 제조사(NVIDIA, AMD, 맞춤 ASIC), FLOPS 대 HBM 대역폭 비율이다.
프리필은 FLOPS 효율이 높은 가속기가 유리하고, 디코드는 HBM 대역폭이 넓은 가속기가 유리하다. 같은 GPU를 쓸 이유가 없다.
축 2 — 정밀도(Precision)
연산에 사용하는 숫자 형식이다. FP16, BF16, FP8, INT8 중 선택한다. 중요한 점은 정밀도 정책이 시스템 전체가 아닌 역할별로 독립 결정된다는 것이다. 프리필에 FP8을 쓰고 디코드에 BF16을 쓰는 구성이 가능하다.
축 3 — 인터커넥트(Interconnect)
프리필 노드에서 생성된 KV 캐시를 디코드 노드로 전달하는 통신 경로다. NVLink(같은 서버 내), InfiniBand/RDMA(서버 간), PCIe가 선택지다. 인터커넥트 대역폭은 KV 전송 지연을 결정하므로, KV 캐시 크기가 클수록 중요성이 높아진다.
축 4 — KV 잔류 위치(KV Residency)
KV 캐시를 어디에 보관할 것인가. HBM(GPU 온보드), CPU DRAM, NVMe SSD, 원격 메모리 서버가 선택지다. 대역폭과 용량의 트레이드오프가 있다.
세 가지 경계 결정
4개의 설계 축이 각 노드의 내부를 결정한다면, 3가지 경계 결정(boundary decision)은 두 노드가 만나는 지점에서 무엇이 일어나는지를 결정한다.
경계 결정 1 — 연산 배치(Compute Placement)
프리필과 디코드를 완전히 분리된 물리 노드에 배치할 것인가, 같은 노드 내에서 논리적으로 분리할 것인가. 완전 분리(disaggregated) 구성은 각 역할에 최적화된 하드웨어를 독립적으로 스케일할 수 있다는 장점이 있지만, 노드 간 KV 전송이 필수가 된다.
경계 결정 2 — KV 표현(KV Representation)
KV 캐시를 전송·저장할 때 어떤 형식으로 표현할 것인가. 원시 텐서 그대로 보낼 수도 있고, 압축하거나 양자화해서 보낼 수도 있다. 이 결정은 인터커넥트 대역폭 요구량과 디코드 노드의 재변환 비용을 함께 결정한다.
경계 결정 3 — KV 소유(KV Ownership)
프리필 노드가 생성한 KV 캐시를 누가 "소유"하는가. 프리필 노드가 디코드 노드에게 KV를 밀어 넣는(push) 방식인가, 디코드 노드가 필요할 때 당겨 오는(pull) 방식인가. 소유 모델은 KV 재사용(prefix caching), 스케일-아웃 시 부하 분산 전략과 직결된다.
정밀도: 역할별 독립 결정
논문이 강조하는 실무적 시사점 중 하나는 정밀도 정책이 시스템 전체가 아닌 역할별 결정이어야 한다는 점이다.
동종 설계에서는 서빙 시스템 전체에 단일 정밀도를 적용하는 경우가 많다. 그러나 이종 설계는 이 가정을 깬다.
- 프리필(GEMM 지배): FP8 또는 INT8로 낮춰도 품질 손실이 작고 FLOPS 효율이 높아진다.
- 디코드(GEMV 지배): 메모리 대역폭이 병목이므로 정밀도 낮춤의 FLOPS 이득이 작다. 대신 KV 캐시 양자화로 HBM 사용량을 줄이는 것이 더 효과적이다.
역할별 정밀도를 독립 선택하면 품질-비용 트레이드오프를 더 정밀하게 제어할 수 있다.
어떤 상호작용이 제약을 만드는가
4개의 설계 축이 독립적으로 선택 가능해 보이지만, 실제로는 서로를 제약한다.
가속기 ↔ 인터커넥트: 프리필 노드와 디코드 노드가 다른 서버에 있다면 NVLink를 사용할 수 없다. 이 경우 RDMA/InfiniBand가 유일한 고대역폭 옵션이다.
인터커넥트 ↔ KV 표현: 인터커넥트 대역폭이 제한될수록 KV 압축 또는 양자화의 필요성이 커진다. 단, 압축·복원 연산이 디코드 노드의 첫 스텝 지연을 늘릴 수 있다.
KV 잔류 ↔ KV 소유: KV를 디코드 노드의 HBM에 상주시키면 소유 모델이 단순해지지만 HBM 용량이 제약이 된다. CPU DRAM이나 원격 메모리에 오프로드하면 용량은 늘어나지만 접근 지연이 늘어난다.
정밀도 ↔ KV 표현: 프리필에서 FP8로 생성한 KV를 BF16 디코드 노드에 그대로 전달하면 재변환이 필요하다. 이 비용을 무시하면 예상보다 지연이 늘어난다.
이런 상호작용은 설계 공간이 단순한 데카르트 곱이 아니라 실질적으로 줄어든 유효 조합 집합임을 의미한다.
워크로드 압력과 구성 선택
논문은 워크로드 특성이 최적 구성을 어떻게 바꾸는지를 실험으로 보여준다.
긴 프롬프트 워크로드(예: RAG, 문서 요약): 프리필 계산량이 크고 KV 캐시도 크다. 프리필 노드에 고성능 GPU를 집중하고, 인터커넥트 대역폭을 넉넉히 확보해야 디코드 노드의 첫 토큰 지연(TTFT)을 잡을 수 있다.
짧은 프롬프트·긴 생성 워크로드(예: 창작, 코드 생성): 디코드 단계가 길다. 디코드 노드를 수평 확장하는 것이 처리량에 직접 기여한다. 이때 프리필 노드 수는 상대적으로 적어도 된다.
배치 추론(오프라인): TPOT(토큰당 생성 시간) 기준으로 최적화한다. KV 잔류를 CPU DRAM이나 디스크로 오프로드해 HBM을 연산에 집중시키는 전략이 유효하다.
운영자 관점 체크리스트
이종 PD 분리를 실제로 도입할 때 검토해야 할 질문들을 정리하면 다음과 같다.
하드웨어 조달 전
- 워크로드의 프롬프트 길이 분포와 생성 길이 분포를 측정했는가?
- 예산 제약에서 프리필 노드와 디코드 노드의 비율을 어떻게 설정할 것인가?
- 서버 간 인터커넥트 대역폭이 KV 전송 요구를 감당할 수 있는가?
소프트웨어 설계 전
- 사용 중인 서빙 프레임워크가 이종 PD 분리를 지원하는가?(vLLM, SGLang, Dynamo 등)
- KV 소유 모델(push vs pull)이 prefix caching 전략과 호환되는가?
- 프리필-디코드 간 정밀도 불일치를 처리하는 재변환 계층이 있는가?
배포 후
- 프리필 노드와 디코드 노드의 큐 깊이를 별도로 모니터링하고 있는가?
- 한쪽 노드의 장애 시 다른 노드로 폴백하는 메커니즘이 있는가?
- 비용 대비 토큰 처리량을 주기적으로 동종 구성과 비교하고 있는가?
요약
| 항목 | 핵심 내용 |
|---|---|
| 논문 | arXiv:2606.29708, 18개 기관 공동 |
| 핵심 문제 | 동종 GPU 서빙의 구조적 비효율 (프리필에서 HBM 97% 유휴) |
| 이종 설계 이점 | 시간당 비용 61% ↓, 토큰당 비용 48% ↓ |
| 설계 축 4개 | 가속기, 정밀도, 인터커넥트, KV 잔류 위치 |
| 경계 결정 3개 | 연산 배치, KV 표현, KV 소유 |
| 정밀도 원칙 | 시스템 전체가 아닌 역할(프리필/디코드)별 독립 선택 |
| 주요 제약 | 설계 축 간 상호작용으로 실질 유효 조합 수 감소 |
| 워크로드 의존성 | 프롬프트·생성 길이 분포에 따라 최적 구성 상이 |
References
- arXiv:2606.29708 — "Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving" (2026-06-30) https://arxiv.org/abs/2606.29708
- vLLM Disaggregated Prefill documentation https://docs.vllm.ai/en/latest/features/disagg_prefill.html
- SGLang Disaggregated Serving https://docs.sglang.ai/backend/disaggregated_serving.html
- NVIDIA Dynamo disaggregated serving overview https://developer.nvidia.com/blog/nvidia-dynamo