Kimi K3: 2.8조 파라미터 오픈 MoE 모델이 선형 어텐션으로 100만 토큰 추론을 가속하는 방법

왜 이 모델이 지금 중요한가

2026년 7월 16일 Moonshot AI가 공개한 Kimi K3는 현시점에서 공개 공개 가중치(open-weight) 모델 중 가장 큰 모델이다. 2.8조(2.8T) 파라미터, 896개 전문가 중 16개를 활성화하는 희소 MoE 구조, 100만 토큰 컨텍스트 윈도우를 하나의 아키텍처 안에 담았다.

그런데 단순히 "숫자가 크다"는 사실보다 더 흥미로운 것이 있다. K3는 규모를 키우면서 동시에 추론 비용을 낮추는 방향을 택했다. 그 핵심에는 두 가지 독자 기법이 있다.

• Kimi Delta Attention (KDA): 소프트맥스 어텐션의 KV 캐시 폭발 문제를 선형 어텐션 계열로 다루되, 기존 GatedDeltaNet보다 세밀한 채널 단위 게이팅으로 표현력을 높인 어텐션 모듈
• Attention Residuals (AttnRes): 깊이(depth)를 가로질러 표현을 선택적으로 재사용함으로써 학습 효율을 ~25% 향상

이 두 기법이 MoE 희소성, 정제된 최적화 기법과 결합해 전작 K2 대비 ~2.5배의 스케일링 효율을 달성했다. 이 글에서는 각 기법의 동작 원리를 중심으로 K3의 아키텍처를 분해한다.

K3를 숫자로 먼저 보기

1. 소프트맥스 어텐션의 한계와 KDA가 다가가는 방향

표준 소프트맥스 어텐션은 시퀀스 길이 n에 대해 O(n²)의 연산과 O(n)의 KV 캐시 메모리를 쓴다. 100만 토큰 컨텍스트에서는 이것이 실용적이지 않다. KV 캐시 하나만으로도 VRAM 수십 GB를 차지하고, 토큰 하나를 생성할 때마다 모든 이전 캐시를 다시 훑어야 한다.

이 한계를 우회하는 접근이 선형 어텐션(linear attention) 계열이다. 핵심 아이디어는 KV 쌍을 매 토큰마다 누적해 저장하는 대신, 고정 크기 상태 행렬 S에 압축해 넣는 것이다. 새 토큰이 들어오면 S를 업데이트하고, 쿼리를 S에 곱해 결과를 얻는다. 메모리는 O(1)로 일정하고, 추론 속도는 시퀀스가 길어져도 느려지지 않는다.

GatedDeltaNet과 KDA의 차이

GatedDeltaNet은 선형 어텐션에 게이트를 추가해 메모리 감쇠(decay)를 제어한다. 게이트가 없으면 오래된 정보가 새 정보에 의해 일방적으로 덮어씌워지는데, 게이트가 이를 조절한다.

그런데 GatedDeltaNet의 게이트는 어텐션 헤드당 스칼라 하나 — 즉 헤드 전체에 동일한 감쇠율을 적용한다. Kimi K3의 KDA는 이를 채널(feature dimension) 단위 게이팅으로 바꾼다. 각 차원마다 독립적인 게이트 값을 가지므로, 어떤 피처를 얼마나 오래 기억할지를 더 세밀하게 결정할 수 있다.

결과적으로 같은 고정 크기 메모리 안에 더 많은 정보를 효율적으로 압축할 수 있다. Moonshot은 K3가 1M 토큰 컨텍스트에서 전체 Full-Attn 대비 KV 캐시를 75% 절감하고 디코딩 속도를 최대 6.3배 향상시킨다고 밝혔다.

하이브리드 구조: 왜 KDA만 쓰지 않는가

선형 어텐션은 로컬하고 최근에 집중된 정보를 잘 처리하지만, 문서 전체에 걸친 전역적(global) 의존 관계는 놓칠 수 있다. K3는 이를 보완하기 위해 3:1 비율로 KDA와 Full-Attn 레이어를 섞는다. 세 개의 KDA 블록 뒤에 하나의 Full-Attn 블록이 온다. Full-Attn 블록이 전역 정보 흐름을 주기적으로 복원하면서 KDA가 속도와 메모리를 챙기는 구조다.

또한 Moonshot은 vLLM과 통합된 오픈소스 KDA 커널을 함께 공개했다. 기존 Full-Attn 파이프라인에서 캐싱이나 스케줄링 인터페이스를 수정하지 않아도 KDA를 사용할 수 있다.

2. Attention Residuals(AttnRes): 깊이를 가로질러 표현을 재사용

일반적인 트랜스포머는 레이어를 순차적으로 쌓고, 각 레이어의 출력이 다음 레이어 입력이 되는 깊이 방향 흐름을 가진다. 깊은 네트워크에서 초기 레이어의 표현은 여러 번의 변환을 거쳐 희석되거나 덮어씌워진다.

AttnRes는 이와 다른 접근이다. 특정 위치의 레이어 출력을 나중 레이어가 선택적으로 참조(residual-style attention) 할 수 있게 한다. 균일한 누적이 아니라 어떤 이전 표현이 현재에 유용한지를 학습한다.

Moonshot의 발표에 따르면 AttnRes는 추가 비용 2% 미만으로 학습 효율을 약 25% 향상시킨다. 이는 같은 계산량을 쓰면서 더 좋은 모델을 얻는다는 의미이기도 하고, 같은 목표 품질을 더 적은 학습 비용으로 달성한다는 의미이기도 하다.

3. Stable LatentMoE와 Quantile Balancing

K3의 FFN 계층은 Stable LatentMoE 구조를 쓴다. 총 896개 전문가 중 토큰당 16개를 활성화한다. 2.8T 전체 파라미터 중 실제 추론에 관여하는 것은 약 50B 파라미터다. 즉, 비용은 50B급 모델 수준이다.

MoE에서 중요한 문제 중 하나는 부하 불균형(load imbalance)이다. 특정 전문가에게 토큰이 몰리면 전문화가 안 되고, 배치 처리 효율도 떨어진다. 대부분의 MoE는 보조 손실(auxiliary loss)이나 별도의 하이퍼파라미터로 균형을 조정한다.

K3의 Quantile Balancing은 이 방식과 다르다. 라우터 점수 분포에서 분위수(quantile)를 직접 계산해 전문가 할당 기준을 설정한다. 별도의 보조 하이퍼파라미터가 필요 없고, 점수 분포 자체에서 균형 기준이 나오기 때문에 훈련 안정성이 더 높다.

4. Per-Head Muon과 기타 훈련 기법

Muon 최적화기는 행렬 업데이트에 뉴턴 방향(spectral norm 기준 최급강하)을 적용해 AdamW보다 빠른 수렴을 보이는 것으로 알려져 있다. K3의 Per-Head Muon은 이를 어텐션 헤드별로 독립적으로 적용한다. 각 헤드의 파라미터 공간 구조가 다르기 때문에 헤드를 하나의 뭉치로 처리하는 것보다 세밀한 최적화가 가능하다.

그 외에 K3가 도입한 기법들:

• SiTU (Sigmoid Tanh Unit): 활성화 함수. SiLU 계열의 변형으로 학습 안정성과 표현력을 개선한다.
• Gated MLA (Multi-head Latent Attention): DeepSeek의 MLA를 게이팅과 결합해 KV 압축 효율을 높인다.

이 요소들의 조합이 전작 K2 대비 ~2.5배의 스케일링 효율로 이어졌다. 같은 계산량으로 더 좋은 모델을 만들거나, 같은 성능을 더 작은 모델로 달성할 수 있다는 의미다.

5. 벤치마크: 어디서 강하고 어디서 한계가 있나

Artificial Analysis 기준으로 K3는 전 세계 4위다. 코딩·툴 사용·장기 소프트웨어 작업에서 특히 강하며, 비전 추론도 내장 지원한다.

다만 평가 방법론에 주의가 필요하다. 코딩 에이전트 벤치마크는 Kimi Code, Claude Code, Codex 등 서로 다른 에이전트 하네스를 사용해 결과를 비교하기 때문에, 동일 조건의 대조 실험이라고 보기 어렵다. 모델 능력보다 에이전트 설계 차이가 점수에 반영될 수 있다.

가격 구조

입력 가격은 경쟁 모델 대비 낮은 편이다. OpenAI SDK 호환이므로 기존 파이프라인에서 엔드포인트 URL만 바꿔 테스트할 수 있다.

6. 운영자 관점에서 K3를 도입하기 전 확인할 점

현재 시점 한계

• 가중치 공개는 2026-07-27 예정이다. 현재는 API로만 접근 가능하다.
• 공식 기술 보고서가 아직 미출판 상태다. KDA·AttnRes·Quantile Balancing의 정확한 구현 세부사항은 보고서 공개 후 재검증이 필요하다.
• 비전(이미지 이해) 관련 상세 평가 데이터가 부족하다.

활용 시 체크리스트

• [ ] API 응답 레이턴시를 실제 작업 프로파일(짧은 입력/긴 컨텍스트/사고 모드)로 측정한다. 긴 컨텍스트에서 속도 이점이 두드러진다.
• [ ] 사고(thinking) 토큰 비용($15/MTok)을 감안해, 필요한 작업에만 사고 모드를 켠다.
• [ ] 코딩 에이전트 평가는 에이전트 하네스 설계가 점수에 영향을 줌을 감안하고 내부 작업셋으로 직접 비교한다.
• [ ] 가중치 공개 후 로컬 배포 시, vLLM KDA 커널이 지원하는 GPU 타입과 VRAM 요구량을 확인한다.
• [ ] 공식 기술 보고서 출판 후 KDA·AttnRes 구현 세부사항을 재검토한다.

Open question

• 공식 기술 보고서 미공개 시점이므로, KDA의 정확한 수식(채널 단위 게이팅 형태), AttnRes의 구체적 선택 기준, Quantile Balancing의 분위수 계산 방식은 아직 공개 문서에서 확인되지 않는다. 보고서 공개 후 이 챕터를 갱신할 필요가 있다.
• 오픈 가중치 배포 후 vLLM 이외의 서빙 프레임워크(TGI, SGLang 등)에서 KDA 커널이 어떻게 지원될지는 미확인이다.
• 비전 입력에 대한 독립 벤치마크 결과가 아직 부족하다.

References

• https://www.marktechpost.com/2026/07/16/moonshot-ai-releases-kimi-k3-a-2-8-trillion-parameter-open-moe-model-with-kimi-delta-attention-and-1m-context/
• https://arxiv.org/abs/2510.26692
• https://github.com/MoonshotAI/Kimi-Linear
• https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
• https://simonwillison.net/2026/Jul/16/kimi-k3/
• https://www.digitalocean.com/community/tutorials/kimi-linear-moonshot-ai
• https://kingy.ai/blog/kimi-k3-benchmarks-specs-price-fable-5-gpt-5-6-sol/
• https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E