요약
LLM 추론 서버를 운영할 때 GPU 전력 계측은 장치 단위 집계값(aggregate)으로만 제공된다. 여러 요청을 묶어 처리하는 배치 서빙 환경에서는 개별 요청이 전체 전력 소비에 얼마나 기여하는지 알 수 없다. 지속 가능성 보고, 비용 청구(chargeback), 워크로드 분석 모두 요청 수준의 에너지 정보를 필요로 한다.
2026년 7월 아르코브(arXiv:2608.00026)에 공개된 JouleShare는 게임 이론의 Shapley 값을 이용해 이 문제를 해결한다. 핵심 구성 요소는 두 가지다. 첫째, 오프라인 하네스(harness)가 vLLM 위에서 요청 부분 집합(subset)을 반복 실행하며 정확한 Shapley 에너지를 계산한다. 둘째, 경량 교정 모델 JCalib가 서빙 시점에 저렴한 요청 피처만으로 Shapley 지분을 예측한다. 토큰 비례 귀속(token-proportional attribution) 대비 정규화 L1 오류를 약 73% 줄이면서 온라인 서빙에 실용적인 수준의 계산 비용을 유지한다.
배경: 에너지 귀속이 어려운 이유
배치 서빙의 구조
vLLM, SGLang 같은 LLM 서빙 프레임워크는 여러 요청의 프리필(prefill)과 디코딩(decode) 단계를 GPU에서 동시에 처리한다. 이 방식은 GPU 활용률을 높이고 처리량을 개선하지만, 전력 측정 관점에서 문제가 생긴다.
GPU의 전력 계측(NVIDIA SMI, DCGM 등)은 장치 전체의 집계 수치를 반환한다. 요청 A가 30토큰을 생성하는 동안 요청 B가 300토큰을 생성한다면, 이 두 요청이 각각 전체 전력에 얼마나 기여하는지 단순 비례로 추정할 수 없다. 배치 내 요청들은 KV 캐시 공유, 메모리 대역폭 경합, 연산 유닛 동시 사용 등을 통해 서로 영향을 주고받는다.
기존 방법의 한계
가장 단순한 귀속 방법은 토큰 비례(token-proportional) 방식이다. 각 요청이 생성한 토큰 수에 비례해 전체 에너지를 나눈다. 구현은 간단하지만 배치 내 상호 영향을 전혀 반영하지 못한다. JouleShare의 측정에 따르면 토큰 비례 방식은 정확한 Shapley 값 대비 정규화 L1 기준으로 0.440(정적 배치) ~ 0.458(연속 배치) 수준의 오류를 보인다.
Shapley 값: 공정한 분배의 수학적 근거
Shapley 값은 협력 게임 이론에서 유래한 개념이다. N명의 플레이어가 연합(coalition)을 이뤄 가치를 생성할 때, 각 플레이어의 한계 기여도(marginal contribution)를 모든 가능한 연합 순서에 대해 평균 내어 공정한 지분을 계산한다.
플레이어 i의 Shapley 값 공식:
φᵢ(v) = Σ_{S ⊆ N\{i}} [|S|!(|N|-|S|-1)! / |N|!] × [v(S∪{i}) − v(S)]여기서 v(S)는 플레이어 집합 S가 협력해 달성하는 가치 함수(coalition value function)다. JouleShare에서 플레이어는 개별 요청이고, 가치 함수는 해당 요청 집합이 함께 처리될 때의 총 에너지 소비량이다.
Shapley 값은 네 가지 공리를 만족해 에너지 귀속에 자연스럽게 적합하다.
| 공리 | 의미 | 에너지 귀속 해석 |
|---|---|---|
| 효율성(Efficiency) | 모든 Shapley 값의 합 = 총 가치 | 전체 에너지가 빠짐없이 귀속됨 |
| 대칭성(Symmetry) | 동일한 기여를 하면 동일한 지분 | 동일한 워크로드 패턴 → 동일한 에너지 청구 |
| 영 플레이어(Null player) | 기여가 없으면 지분도 0 | 처리량이 없는 요청에는 에너지 0 귀속 |
| 선형성(Linearity) | 합산 가능 | 여러 배치의 에너지를 독립적으로 합산 가능 |
JouleShare 아키텍처
연합 S의 실측 에너지
(요청 피처, φᵢ) 쌍
입력 길이, 출력 길이
배치 크기, 총 토큰 수
배치 동시 요청 수
L1 오류 0.116 (정적) / 0.177 (연속)
멀티 테넌트 비용 청구
워크로드 에너지 프로파일링
오프라인 하네스: 정확한 Shapley 에너지 측정
오프라인 하네스는 배치 내 N개 요청에 대해 2^N개의 가능한 부분 집합을 vLLM 위에서 재실행하고, 각 실행마다 GPU 전력 소비를 시간 적분해 coalition energy function v(S)를 측정한다.
이 측정 프로토콜에서 재현성이 핵심이다. 동일한 요청 집합 S를 재실행할 때마다 동일한 GPU 상태, 동일한 KV 캐시 구성, 동일한 스케줄링 순서를 보장해야 한다. 저자들은 vLLM의 재현 가능 시드(reproducible seed)와 결정론적 스케줄링 설정을 이용해 이를 달성했다.
배치 크기가 커지면 2^N이 기하급수적으로 늘어나는 문제가 있다. 실용적인 배치 크기(N ≤ 20 수준)에서는 완전 열거가 가능하지만, 더 큰 배치에서는 샘플링 기반 Shapley 추정이 필요하다. JouleShare는 정적 배치(static batching)와 연속 배치(continuous batching) 두 시나리오를 모두 평가했다.
정적 배치는 한 번에 고정된 요청 집합을 처리하므로 coalition을 명확하게 정의할 수 있다. 연속 배치는 요청이 동적으로 들어오고 나가므로 더 복잡하다. JouleShare는 연속 배치를 시간 윈도우 기반으로 정적 배치에 근사해 처리한다.
JCalib: 서빙 시 경량 귀속 예측
오프라인 하네스로 구축한 (요청 피처, Shapley 에너지) 데이터셋을 이용해 경량 회귀 모델 JCalib를 훈련한다.
JCalib의 입력 피처는 서빙 시 즉시 구할 수 있는 값들이다.
- 요청의 입력 토큰 수(프리필 길이)
- 요청의 출력 토큰 수(생성 길이)
- 배치 내 동시 요청 수
- 배치의 총 입력/출력 토큰 합계
이 피처들은 LLM 추론 요청이 들어오는 시점에 이미 알거나 추정 가능한 값이라 추가 계산 비용이 거의 없다. JCalib 모델 자체도 경량이어서 서빙 레이턴시에 영향을 주지 않는다.
성능 결과는 다음과 같다.
| 귀속 방법 | 정적 배치 L1 오류 | 연속 배치 L1 오류 |
|---|---|---|
| 토큰 비례 (기준선) | 0.440 | 0.458 |
| JCalib | 0.116 | 0.177 |
| 개선율 | 73.6% 감소 | 61.4% 감소 |
실제 활용: LLM 에너지 청구 파이프라인
JouleShare를 실제 서빙 인프라에 적용하면 세 가지 방향에서 가치를 만들 수 있다.
지속 가능성 보고
기업의 탄소 배출량 보고에서 AI 추론이 차지하는 비중이 커지고 있다. SEC 기후공시 규칙, EU CSRD 등 Scope 1·2·3 배출량 공시 의무가 확산되면서, AI 추론 서버의 에너지를 사용자·프로젝트 단위로 귀속할 수 있으면 보고 정밀도가 높아진다.
비용 청구(Chargeback)
멀티 테넌트 LLM 서빙 환경에서는 GPU를 공유하는 여러 팀이나 고객에게 실제 에너지 소비에 기반한 비용 청구가 필요하다. 토큰 수 기반 청구는 단순하지만 긴 시퀀스와 짧은 시퀀스가 혼재할 때 불공정하다. Shapley 값의 공리(효율성, 대칭성, 선형성)는 수학적으로 공정한 청구 근거를 제공한다.
워크로드 에너지 프로파일링
요청별 에너지를 알면 어떤 요청 패턴이 에너지를 집중적으로 소비하는지 분석할 수 있다. 긴 컨텍스트 요청, 높은 생성 길이, 특정 모델 아키텍처가 에너지에 미치는 영향을 정량화할 수 있다.
인접 연구와의 차별점
JouleShare는 LLM 서빙의 에너지 측면을 다루는 최근 연구들과 목적이 다르다.
- AFlex(ai-frontier/100): GPU 주파수 스케일링으로 전력을 줄이는 최적화 연구다. JouleShare는 이미 발생한 에너지를 공정하게 나누는 귀속 연구다.
- KAIROS(ai-frontier/111): 에이전트 컨텍스트 인식으로 GPU 전력을 줄이는 기법. 역시 최적화다.
- 토큰 예산 기반 서빙: 생성 길이를 제한해 비용을 줄이는 접근. JouleShare는 측정·귀속 도구에 가깝다.
실제 운영 환경에서는 AFlex/KAIROS로 전력을 줄이고, JouleShare로 남은 에너지를 공정하게 귀속하는 조합이 자연스럽다. SHAP(SHapley Additive exPlanations)이 머신러닝 모델 해석에 Shapley 값을 적용한 것처럼, JouleShare는 동일한 수학적 도구를 에너지 회계에 적용한 사례다.
운영 관점: JouleShare 통합 시 고려사항
오프라인 측정 비용: 2^N 부분 집합 재실행은 배치 크기가 클수록 기하급수적으로 비용이 늘어난다. 대형 배치에서는 샘플링 기반 Shapley 추정(KernelSHAP 등)과 결합이 필요하다.
재현 가능한 환경 구성: 동일한 요청 집합 재실행 시 GPU 상태와 스케줄링이 달라지면 coalition energy function의 노이즈가 커진다. GPU 클럭 고정, 결정론적 vLLM 설정, 충분한 워밍업이 필요하다.
연속 배치의 복잡성: 연속 배치에서는 요청이 동적으로 들어오고 나가므로 coalition을 정의하기가 정적 배치보다 어렵다. 시간 윈도우 기반 근사의 오류를 모니터링해야 한다.
JCalib 모델 갱신: 모델이 교체되거나 하드웨어가 바뀌면 JCalib를 재훈련해야 한다. 오프라인 하네스 데이터 파이프라인을 자동화해두면 갱신 비용을 줄일 수 있다.
정리
JouleShare는 배치 LLM 서빙의 에너지 귀속 문제를 Shapley 값이라는 수학적으로 공정한 프레임으로 해결한다. 오프라인 하네스로 정확한 기준값을 측정하고, JCalib로 서빙 시 실용적인 예측을 제공한다. 토큰 비례 방식 대비 L1 오류를 정적 배치 기준 73.6% 줄임으로써 지속 가능성 보고, 멀티 테넌트 비용 청구, 워크로드 에너지 프로파일링에 실용적인 도구를 제공한다.
LLM 서빙에서 에너지를 최적화하는 연구가 성숙해가는 만큼, 에너지를 정확히 측정하고 귀속하는 도구도 프로덕션 인프라의 필수 요소가 될 것이다.
References
- Luo, Qi et al. "Request-Level Energy Attribution for Batched LLM Serving." arXiv:2608.00026, July 2026. https://arxiv.org/abs/2608.00026
- Shapley, Lloyd S. "A Value for n-Person Games." Contributions to the Theory of Games 2 (1953): 307–317.
- Kwon, Woosuk et al. "Efficient Memory Management for Large Language Model Serving with PagedAttention." SOSP 2023. https://arxiv.org/abs/2309.06180
- Lundberg, Scott M., and Su-In Lee. "A Unified Approach to Interpreting Model Predictions (SHAP)." NeurIPS 2017. https://arxiv.org/abs/1705.07874
- NVIDIA. "Data Center GPU Manager (DCGM)." https://developer.nvidia.com/dcgm