KV 캐시를 살 수 있을까? Prefill CDN으로 LLM 추론 비용을 50배 줄이는 방법
요약
LLM 추론에서 Prefill은 입력 토큰을 처리해 Key-Value 캐시를 생성하는 단계다. 문서·코드·시스템 프롬프트처럼 수천 토큰짜리 콘텐츠가 수백만 번 반복 처리될 때, 매번 새로 prefill하는 비용은 엄청나다. 2026년 6월 하얼빈공과대학교 연구팀이 발표한 논문 "Can I Buy Your KV Cache?"(arXiv:2606.13361)는 이 문제를 웹 CDN처럼 접근한다. 콘텐츠 게시자가 KV 캐시를 미리 계산해 스토어에 올려두면, 소비자는 Prefill 없이 캐시를 내려받아 Decode 단계로 바로 진입한다. 논문은 이 구조를 Prefill CDN이라 부르며, Qwen3-4B 기준으로 캐시 재사용이 prefill보다 9~50배 저렴함을 보인다.
배경
Prefill의 숨은 비용
LLM 추론은 두 단계로 나뉜다.
- Prefill: 입력 시퀀스 전체를 GPU에서 병렬 처리해 Key-Value 캐시를 생성. 토큰 수에 비례하는 FLOP이 소비된다.
- Decode: 캐시를 재사용하며 토큰을 하나씩 생성. 캐시만 있으면 입력 재계산이 필요 없다.
클라우드 LLM API는 이미 prompt caching 기능을 제공해 같은 세션 내 반복 프롬프트의 prefill 비용을 절감한다. Anthropic Claude API의 경우 캐시 읽기 요금이 일반 입력 토큰의 0.1배로 책정돼 있다. 그러나 이 캐시는 같은 사용자 세션 안에서만 재사용된다.
왜 KV 캐시를 공유하기 어려웠나
KV 캐시를 여러 사용자·에이전트 간에 공유하려면 세 가지 조건이 맞아야 한다.
- 정확성(Accurate): 공유 캐시가 새로 계산한 캐시와 수치적으로 동일해야 한다.
- 크기(Large): 수백 MB~1 GB 이상으로 크고, JPEG처럼 손실 압축이 어렵다.
- 모델 종속(Model-bound): 특정 모델·정밀도(FP16, BF16 등)의 캐시는 다른 모델에서 쓸 수 없다.
첫 번째 조건은 해결책이 명확하다. KV 캐시는 (텍스트, 모델, 정밀도)의 결정론적 함수다. 같은 입력, 같은 모델, 같은 정밀도라면 어디서 계산해도 동일한 캐시가 나온다. 즉, 미리 계산해 저장해도 정확성 손실이 없다. 두 번째와 세 번째 조건이 진짜 엔지니어링 과제다.
Prefill CDN의 구조
핵심 아이디어: KV 캐시의 결정론성
논문의 출발점은 단순한 관찰이다. KV 캐시는 입력 텍스트와 모델 가중치·정밀도의 순수 함수다. 동일한 입력이라면 서울이든 샌프란시스코든 같은 GPU에서 돌리면 같은 캐시가 나온다. 이 결정론성이 캐시를 사전 계산하고 다른 사용자에게 넘길 수 있는 근거다.
웹 CDN이 이미지·비디오·JS 번들을 엣지에 배포해 재다운로드 비용을 없애듯, Prefill CDN은 자주 참조되는 텍스트 콘텐츠의 KV 캐시를 공유 스토어에 올려 소비자들이 Prefill을 건너뛸 수 있게 한다.
경제성 분석
논문은 3,774 토큰짜리 Wikipedia 문서를 8,000만 개 에이전트가 참조하는 시나리오를 계산한다.
| 방식 | 총 비용 | 절감 |
|---|---|---|
| 매번 re-prefill | ~$1,500,000 | — |
| Prefill CDN 재사용 | ~$30,000 | 49.7× |
제공자(provider) 관점에서도 경제성이 맞다. 현재 클라우드 API의 캐시 읽기 요금은 일반 입력 토큰의 0.1배다. 사용자는 10배 싸게 쓰고, 제공자는 실제 컴퓨트를 ~50배 절감하니 두 곳 다 이익이다. 이 간격이 사업 모델이 된다.
세 가지 구현 과제
① 크기 문제
KV 캐시는 수백 MB에서 수 GB에 달한다. 레이어 수·헤드 수·hidden dim·시퀀스 길이에 비례해 커지며, 부동소수점 텐서라 JPEG처럼 손실 압축도 어렵다. 논문 팀은 모델별 캐시 크기 분포를 실측하고, 스토리지 비용이 컴퓨트 절감분을 상쇄하지 않는 임계점을 계산했다.
② 모델 종속 문제
Llama-4 70B용 캐시를 Qwen3-4B에서 쓸 수 없다. 모델·버전·정밀도(FP16/BF16/INT8)가 달라지면 캐시를 새로 생성해야 한다. 대규모 배포 환경에서는 인기 모델 몇 가지로 캐시를 집중시키는 전략이 현실적이다.
③ 캐시 키 설계
캐시를 식별하는 키는 hash(text, model_id, precision)로 정의할 수 있다. 텍스트가 조금이라도 바뀌면 키가 달라져 재사용이 안 된다. 문서 앞부분만 캐시하고 뒤는 사용자 쿼리로 채우는 prefix caching과 자연스럽게 결합된다.
관련 연구: 집단 KV 캐시 공유
같은 달(2026년 4월) 발표된 TokenDance(arXiv:2604.03143)는 비슷한 문제를 멀티에이전트 LLM 서빙 관점에서 다룬다. 여러 에이전트가 동일한 시스템 프롬프트·문서를 참조할 때, KV 캐시를 집단적으로 공유해 전체 추론 비용을 줄이는 구조다.
Prefill CDN이 "게시자 → CDN → 불특정 소비자" 구조라면, TokenDance는 "동일 클러스터 내 에이전트 간 캐시 공유" 구조다. 두 연구 모두 KV 캐시의 결정론성과 재사용 가능성을 출발점으로 삼는다.
현재 제품 생태계와의 연결
Prompt Caching API
Anthropic, OpenAI, Google은 이미 세션 내 prompt caching을 제공한다. 그러나 이는 단일 세션 범위다. Prefill CDN은 이를 넘어 게시자와 불특정 소비자 사이의 크로스-세션 공유를 제안한다.
KV 캐시 오프로드
vLLM, SGLang 등 오픈소스 추론 프레임워크는 GPU HBM이 부족할 때 KV 캐시를 CPU RAM이나 SSD로 오프로드하는 기능을 갖추고 있다. Prefill CDN은 이보다 한 단계 더 나아가 네트워크 스토어로의 오프로드와 공유를 겨냥한다.
운영상 고려 사항
- 캐시 무효화: 모델이 업데이트되거나 파인튜닝되면 기존 캐시는 무효다. CDN과 마찬가지로 버전 기반 무효화 정책이 필요하다.
- 전송 지연: 수백 MB 캐시를 네트워크로 가져오는 latency가 prefill 시간보다 짧아야 의미가 있다. 인기 콘텐츠는 엣지 캐시에 올리고, 긴 꼬리 콘텐츠는 오리진에서 가져오는 전략이 필요하다.
- 보안: 캐시에서 입력 텍스트를 역추출할 수 있는지 여부가 프라이버시 리스크다. 논문은 해시 기반 키와 암호화 스토리지를 권고한다.
한계와 열린 질문
Open question: 어떤 길이의 문서부터 Prefill CDN이 경제적으로 이득인가? 스토리지 비용, 네트워크 전송 비용, prefill 절감분의 교차점을 모델별·클라우드 지역별로 계산한 실측 데이터가 부족하다.
Open question: 파인튜닝 주기가 잦은 모델에서 캐시 재사용률이 얼마나 떨어지는지, 상용 서비스 수준에서 검증된 사례가 없다.
논문 자체는 Qwen3-4B 실험에 집중하며, 대형 모델(70B+)과 Mixture-of-Experts 아키텍처에서의 캐시 크기·전송 비용 분석은 후속 연구로 남겨뒀다.
References
- Luoyuan Zhang et al., Can I Buy Your KV Cache? (arXiv:2606.13361, 2026-06-11): https://arxiv.org/abs/2606.13361
- GitHub: zly-idleness/kvstore: https://github.com/zly-idleness/kvstore
- TokenDance: Multi-Agent LLM Serving via Collective KV Cache Sharing (arXiv:2604.03143, 2026-04-03): https://arxiv.org/abs/2604.03143
- Anthropic prompt caching documentation: https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching
- vLLM KV Cache Offloading: https://docs.vllm.ai/en/latest/features/cpu_offload.html