ExpertPlex: MoE LLM 서빙에서 전문가 가중치를 공유하고 타일 단위로 프리필·디코드를 조율하는 방법

MoE 서빙의 새로운 병목

트랜스포머 LLM의 규모가 커질수록 Mixture-of-Experts(MoE) 구조가 선택지로 떠오른다. 같은 수의 파라미터를 가진 Dense 모델보다 활성화 파라미터 수가 적어 연산 비용이 낮기 때문이다. DeepSeek 시리즈, MiniMax M3, GLM-5.x 같은 대형 생산 모델이 모두 MoE를 채택한 이유다.

그러나 MoE 모델 서빙에는 Dense 모델과 다른 구조적 문제가 있다. 전문가 가중치(expert weights) 가 전체 모델 파라미터의 대부분을 차지하며, 이 가중치를 여러 GPU에 분산해야 한다. 최근의 대규모 MoE 모델은 인스턴스 하나가 수십~수백 개의 GPU에 걸쳐야 할 정도다.

현재 대부분의 LLM 서빙 시스템은 P/D 분리(Prefill-Decode disaggregation) 패턴을 사용한다. 프리필(KV 캐시 생성)과 디코드(토큰 자기회귀 생성)를 서로 다른 GPU 풀에서 실행해 각 단계의 자원 요구 특성에 최적화하는 방식이다.

문제는 이 분리가 인스턴스 단위(instance-level) 로 이뤄진다는 점이다. 프리필 풀과 디코드 풀은 각각 완전한 모델 복사본을 유지한다. MoE 모델에서 이는 전문가 가중치가 두 배로 복제된다는 의미다. 수백 GB에 달하는 전문가 가중치가 프리필 풀과 디코드 풀 각각에 따로 상주한다.

ExpertPlex — 인스턴스 분리 vs. 모듈 분리

이 비효율을 해결하기 위해 2026년 7월, 북경대학교 연구팀이 ExpertPlex를 발표했다. 논문 제목은 "ExpertPlex: A High-Goodput Disaggregated Serving System for MoE LLMs with Adaptive Persistent Kernels"(arXiv:2607.18002)이다.

ExpertPlex의 핵심 아이디어: 모듈 수준 분리

ExpertPlex는 분리(disaggregation)의 단위를 인스턴스에서 모듈로 낮춘다. 트랜스포머의 각 레이어는 두 부분으로 구성된다.

모듈	크기	특성
어텐션(Attention)	전체의 ~5% 이하	요청별 독립 연산, KV 캐시 생성·소비
전문가 FFN(Expert FFN)	전체의 ~95% 이상	토큰 라우팅에 따라 희소하게 활성화

두 모듈의 크기 비대칭이 핵심 관찰이다. ExpertPlex의 제안은 단순하다.

어텐션 모듈: 프리필 풀과 디코드 풀에 각각 배치한다. 요청별로 독립적이고 크기가 작으므로 풀별 복제 비용이 낮다.
전문가 가중치: 단일 공유 풀에 유지한다. 프리필 단계든 디코드 단계든 같은 전문가 가중치를 재사용한다.

이 변경 하나로 전문가 가중치의 중복이 >95% 제거된다. MoE 모델에서 가장 많은 메모리를 차지하는 부분을 단 한 번만 유지하는 것이다. 자원 할당의 단위도 달라진다. 프리필 수요가 증가하면 어텐션 모듈만 추가하면 된다. 전문가 풀 전체를 복제할 필요가 없다.

Adaptive Persistent Kernels (APK)

모듈 수준 분리는 구조적 해답을 제공하지만, 실제 GPU에서 구현하면 새로운 문제가 생긴다.

기존 방식의 한계: GPU에서 CUDA 커널을 실행할 때, 각 배치마다 커널을 실행(launch)하고 종료(complete)한다. 이 실행-종료 주기는 CPU 측의 오버헤드를 동반한다. 더 큰 문제는 긴급 디코드 요청이 들어왔을 때 이미 실행 중인 프리필 커널을 중단할 수 없다는 점이다. 커널 단위의 완료를 기다려야 하므로, 짧은 디코드 작업이 긴 프리필 배치 뒤에 줄을 서게 된다.

ExpertPlex는 이 문제를 Adaptive Persistent Kernel(APK) 로 해결한다.

APK의 핵심 아이디어는 하나다: 전문가 GPU마다 단 하나의 커널을 상주(persistent) 시킨다. 이 커널은 요청이 들어올 때마다 실행했다가 끝나는 게 아니라, 서빙 시스템이 동작하는 내내 GPU에 살아 있다. 연산 스케줄링은 CPU에서 커널을 재실행하는 대신, 이 영구 커널 내부에서 이뤄진다.

스케줄링의 단위는 타일(tile), 구체적으로는 CTA(Cooperative Thread Array) 클러스터다. 전문가 연산을 타일 크기로 잘게 나눠 처리하면, 한 타일이 완료될 때마다 다음 작업을 결정할 수 있다.

[APK 내부 스케줄링 예시]

타일 큐: [프리필 타일 A] → [프리필 타일 B] → [디코드 타일 X] → ...

타일 경계에서:
  if 긴급 디코드 요청 도착:
    → 현재 타일 완료 후 디코드 타일을 우선 처리
    → CPU 커널 재실행 없음
    → 선점 지연: 타일 하나의 실행 시간 (bounded preemption)
  else:
    → 다음 프리필 타일로 계속

이 구조가 주는 이점은 두 가지다.

선점 지연의 상한(bounded preemption): 긴급 디코드 요청이 기다려야 하는 최대 시간은 타일 하나의 실행 시간으로 제한된다. 긴 프리필 배치 전체를 기다리는 것과 비교하면 지연이 크게 줄어든다.
CPU 개입 제거: 커널 재실행이 없으므로 CPU-GPU 동기화 오버헤드가 사라진다. 타일 수준의 선점 결정은 GPU 내부에서 이뤄진다.

또한 APK는 유휴 전문가 CTA 클러스터를 동적으로 재할당할 수 있다. 디코드 부하가 낮을 때 남는 클러스터를 프리필에 배정하고, 디코드 부하가 높아지면 되돌린다. 이 조정도 CPU 개입 없이, 커널 내부에서 타일 단위로 이뤄진다.

Attention-initiated MoE 통신

모듈 수준 분리에서는 통신 패턴도 달라진다.

기존 MoE 실행 흐름에서 어텐션 연산이 끝나면, 중간 hidden state를 전문가 노드로 전송해야 한다. 이 전송이 완료될 때까지 전문가 연산이 기다린다. 전송 완료 → 전문가 연산 시작이라는 순차 구조다.

ExpertPlex는 이 전송을 어텐션 쪽에서 시작(attention-initiated) 하도록 재설계한다. 어텐션 모듈이 연산을 수행하는 동시에, 이미 완료된 레이어의 hidden state를 비동기적으로 전문가 노드로 전송하기 시작한다.

결과는 통신과 연산의 오버랩이다. 어텐션 노드의 계속되는 연산이 전문가 노드로의 데이터 전송을 가린다. 네트워크 대역폭 비용이 연산 시간으로 숨겨지므로 전체 지연이 줄어든다.

이 설계는 동시에 네트워크 간섭 문제도 완화한다. 전문가 노드의 MoE 통신(all-to-all)은 큰 데이터를 주고받는 집약적 연산이다. 이 통신이 어텐션 노드의 연산과 겹치면 네트워크 경합이 생길 수 있다. 어텐션 주도 전송은 전문가 노드의 MoE 통신 타이밍과 분리되므로 이 경합을 줄인다.

타일-클러스터 모델과 공동 최적화

APK와 attention-initiated 통신은 개별 메커니즘이 아니라 하나의 시스템으로 동작한다. ExpertPlex는 타일-클러스터 모델(tile-to-cluster model) 을 통해 이들을 공동 최적화한다.

타일-클러스터 모델이 다루는 결정들:

전문가 GPU의 CTA 클러스터를 프리필과 디코드에 어떻게 분배할 것인가?
요청 부하 변화 시 실시간으로 어떻게 재배분할 것인가?
어텐션 통신의 타이밍을 전문가 연산과 어떻게 조율할 것인가?

이 결정들은 서로 얽혀 있다. 예를 들어, 디코드 클러스터를 늘리면 디코드 latency는 줄어들지만 프리필 처리량이 감소하고, 이는 결국 디코드 대기 큐에도 영향을 준다. 타일-클러스터 모델은 이 상호 의존성을 모델링해 goodput을 최대화하는 클러스터 배분을 찾는다.

논문에서는 이 요소들이 결합된 형태를 "cross-stack placement optimizer" 라 부른다. 배치(placement), 병렬성(parallelism), 통신-연산 오버랩, 타일 스케줄링을 함께 고려해 전역 최적점을 찾는다.

실험 결과

ExpertPlex는 두 개의 대형 MoE 모델로 평가됐다.

모델	규모	특성
MiniMax-M2.7	생산 MoE 대형 모델	대규모 전문가 수, 다중 GPU 인스턴스
GLM-5.1-FP8	FP8 양자화 MoE	메모리 최적화 상태에서의 서빙

핵심 지표는 Goodput: 시스템이 SLO(TTFT와 TPOT 목표)를 만족하면서 처리할 수 있는 요청의 양이다.

ExpertPlex는 인스턴스 수준 분리 기준선 대비 최대 2.01배 goodput 향상을 달성한다.

2.01× 향상이 가장 크게 나타나는 구간은 혼합 SLO 부하(mixed TTFT/TPOT SLO)에서다. TTFT(첫 토큰 생성 시간)와 TPOT(토큰 간 생성 시간)에 서로 다른 SLO가 적용될 때, 기존 인스턴스 분리는 두 요구를 동시에 만족하기 어렵다. ExpertPlex의 APK 기반 타일 스케줄링이 이 상황에서 가장 큰 효과를 발휘한다.

운영자를 위한 시사점

ExpertPlex는 아직 연구 논문 단계다(2026년 7월 arXiv 제출). 즉시 프로덕션에 도입할 수 있는 구현체는 공개되지 않았다. 그러나 이 연구가 가리키는 방향은 현장 운영자에게 여러 시사점을 준다.

MoE 서빙 시스템 선택 기준의 변화: vLLM, SGLang 등 기존 프레임워크는 인스턴스 단위 P/D 분리를 기본으로 한다. ExpertPlex 유형의 모듈 분리가 프레임워크에 통합될 경우, MoE 모델 서빙 비용 구조가 근본적으로 달라진다.

전문가 가중치의 공유 가능성 평가: 운영 중인 MoE 모델에서 전문가 가중치가 전체의 몇 %를 차지하는지 파악하면, 모듈 분리 도입 시 절감 가능한 메모리를 추정할 수 있다. DeepSeek-V3/R1 수준의 MoE에서는 FFN Expert가 전체 파라미터의 90% 이상이다.

GPU 커널 아키텍처 인식: APK의 타일 단위 선점은 CUDA의 퍼시스턴트 커널 패턴을 응용한 것이다. NVIDIA Blackwell(B200)은 이런 패턴을 더 효율적으로 지원하도록 설계됐다. 차세대 GPU 서버 도입 시 이 패턴의 성숙도가 중요한 선택 기준이 될 수 있다.

Open question: ExpertPlex 논문은 MiniMax-M2.7과 GLM-5.1-FP8 두 모델로 검증됐다. DeepSeek-V4나 다른 Open-weight MoE 모델에서 동일한 효과가 나타나는지는 아직 미확인이다.

요약

항목	내용
논문	arXiv:2607.18002, July 2026, Peking University
핵심 문제	인스턴스 수준 P/D 분리 → Expert 가중치 중복, 자원 조정 불가
핵심 해법	모듈 수준 분리: Expert 가중치 공유, Attention만 분리
APK	Expert GPU에 영구 상주 커널, 타일 단위 선점
Attention-initiated 통신	통신·연산 오버랩, 네트워크 경합 감소
실험 결과	최대 2.01× goodput 향상 (MiniMax-M2.7, GLM-5.1-FP8)
현재 상태	연구 단계, 프로덕션 구현체 미공개

MoE 모델이 프론티어 LLM의 표준 구조가 되면서, 서빙 효율화는 점점 더 모델 아키텍처 내부를 이해하는 방향으로 발전하고 있다. ExpertPlex는 "분리의 단위"를 인스턴스에서 모듈로, 커널에서 타일로 낮추는 흐름의 한 사례다.