LLM WikiAccess-protected knowledge portal

WIKI

Kimi K3: KDA 하이브리드 선형 어텐션과 Stable LatentMoE로 2.8조 파라미터 오픈 프론티어를 세운 방법

요약 Kimi K3는 Moonshot AI가 2026년 7월 공개한 2.8조 T 파라미터 MoE 모델이다. 토큰당 활성 파라미터는 104B로, 총 파라미터 대비 약 27분의 1을 사용한다. 오픈 가중치 모델 중 처음으로 3조 파라미터급에 진입했으며, 1M 토큰 컨텍스트를 지원하면서도 기존 대비 75%의 KV 캐시를 아끼는 Kimi Delta Attention KDA 하이브리드 선형 어텐션 구조가 핵심이다. Modified MI

경로human/study/content/ai-frontier/149-kimi-k3-kda-hybrid-linear-attention-stable-latent-moe-28t.md
카테고리Study
태그#28t #ai-review #attention #latent #moe #stable #study

요약

Kimi K3는 Moonshot AI가 2026년 7월 공개한 2.8조(T) 파라미터 MoE 모델이다. 토큰당 활성 파라미터는 104B로, 총 파라미터 대비 약 27분의 1을 사용한다. 오픈 가중치 모델 중 처음으로 3조 파라미터급에 진입했으며, 1M 토큰 컨텍스트를 지원하면서도 기존 대비 75%의 KV 캐시를 아끼는 Kimi Delta Attention(KDA) 하이브리드 선형 어텐션 구조가 핵심이다. Modified MIT 라이선스로 공개되어 상업 활용도 가능하다.

이 챕터는 세 가지 기술 설계를 집중 분석한다: (1) Stable LatentMoE – 896전문가 규모에서 학습을 안정화하는 방법, (2) KDA – 선형 어텐션을 프론티어 모델에 적용하는 방법, (3) MXFP4 QAT – 훈련 단계부터 저정밀 수치를 내재화하는 방법.

왜 2.8조 파라미터인가

LLM 스케일링에는 두 축이 있다. 활성 파라미터를 늘리는 밀집(dense) 스케일링과, 전체 파라미터 풀을 키우면서 토큰별로 일부만 활성화하는 희소(sparse) 스케일링이다. 밀집 스케일링은 GPU 메모리에 직접 묶이지만, 희소 스케일링은 메모리 대역폭과 통신 비용이 제약이 된다.

Kimi K3는 희소 경로를 선택했다. 2.8T 전체 파라미터 중 토큰당 104B만 활성화하여, 추론 연산량은 104B급 모델 수준을 유지하면서 전문성과 용량은 훨씬 큰 모델에 준한다. 전 세대인 Kimi K2 대비 스케일링 효율이 약 2.5배 향상되었는데, 이 격차를 만든 것이 아래 세 가지 아키텍처 혁신이다.

Stable LatentMoE: 896 전문가 규모에서 학습을 안정화하는 방법

MoE에서 전문가 수를 늘리면 두 가지 문제가 생긴다. 첫 번째는 활성화 폭발(activation explosion)이다. 전문가 분포가 희소해질수록 라우팅 경로의 수치 편차가 커지고, 특히 저정밀도(FP8/FP4)에서는 언더플로우나 오버플로우가 발생하기 쉽다. 두 번째는 전문가 불균형이다. 일부 전문가에 토큰이 몰리면 그 전문가만 과학습되고 나머지는 사실상 죽는다.

Kimi K3는 각각 다른 기법으로 해결한다.

SiTU-GLU: 활성화 폭발 방지

기존 SwiGLU 활성화 함수는 두 분기(branch)를 원소 곱(element-wise product)으로 처리한다. 큰 입력 좌표가 있을 때 이 곱이 통제 불능이 될 수 있다. SiTU-GLU는 두 분기 모두에 scaled tanh 상한(soft cap)을 적용한다. 근원점(near-origin)에서의 SwiGLU 동작은 유지하면서, 큰 좌표가 곱에 폭발적으로 기여하는 경로를 차단한다. MXFP4처럼 표현 범위가 좁은 포맷에서 특히 중요하다.

Quantile Balancing(QB): 보조 손실 없는 부하 균형

많은 MoE 구현이 전문가 부하 균형을 위해 보조 손실(auxiliary load balancing loss)을 사용한다. 이 접근은 학습 목표에 간섭하며 하이퍼파라미터 튜닝 비용이 크다. Quantile Balancing은 다른 방식을 택한다. 라우터 편향(bias)을 직접 각 전문가가 정확히 목표 부하를 받는 지점으로 설정하고, 몇 스텝 안에 균형을 달성한다. 전체 손실 함수에 균형 항을 추가하지 않아도 된다.

Latent 공간 라우팅

"LatentMoE"는 토큰 임베딩을 라우팅 전에 저차원 잠재 공간으로 압축한다는 의미다. 896개 전문가가 흩어진 다중 노드 환경에서 All-to-All 통신 비용을 줄이는 효과가 있다. 풀 차원 임베딩으로 라우팅하면 전문가 선택 신호에 불필요한 정보가 섞이는 반면, 잠재 공간 라우팅은 핵심 의미 정보만으로 경로를 결정한다.

입력 토큰 (hidden_dim)
→
LatentRouter
압축: full → latent
→
QB 편향
적용
→
top-16 전문가
선택 (896개 중)
SiTU-GLU
각 전문가 FFN 내부
→
가중 합산
출력
Stable LatentMoE 구조: 입력 압축 → 라우팅 → 전문가 선택

Kimi Delta Attention(KDA): 선형 어텐션을 프론티어 스케일에 적용하는 방법

표준 자기 어텐션(Self-Attention)은 시퀀스 길이 N에 대해 O(N²) 메모리와 연산이 필요하다. 1M 토큰 컨텍스트에서는 이 비용이 HBM 한계를 훨씬 초과한다. Kimi Delta Attention(KDA)은 선형 복잡도 O(N)의 순환 어텐션 메커니즘으로, 원래 Kimi Linear 논문(arXiv:2510.26692, 2025)에서 도입되었다.

델타 규칙 순환 (Delta-Rule Recurrence)

KDA는 델타 규칙에 기반한다. 순환 상태 행렬 M을 유지하면서, 새 토큰이 들어올 때마다 이 행렬을 갱신한다:

M_t = M_{t-1} + (v_t - M_{t-1} k_t^T) ⊙ β_t

β_t는 채널별 망각 게이트(channel-wise forget gate)로, 어떤 채널을 얼마나 망각할지 토큰마다 다르게 조절한다. 이 메커니즘은 선형 복잡도를 유지하면서도 긴 시퀀스에서 필요한 정보를 선택적으로 보존한다.

3:1 하이브리드 블록 구조

KDA만으로는 정확한 전역 정보 흐름이 부족할 수 있다. K3는 3 KDA + 1 Gated MLA 블록을 반복하는 하이브리드 설계를 채택했다.

전체 어텐션 연산의 75%를 KDA가 처리하므로, 1M 토큰 시퀀스에서 KV 캐시 메모리를 전통적 MHA/MLA 대비 75% 절감하고 디코딩 처리량을 최대 6배 향상시킨다.

블록 구조 (반복) KDA #1 선형 O(n) KDA #2 선형 O(n) KDA #3 선형 O(n) Gated MLA 전역 O(n²) × 1/4 MoE FFN LatentMoE KDA (선형 어텐션, 75% 레이어) Gated MLA (전역 어텐션, 25% 레이어) Stable LatentMoE FFN (각 블록 뒤)
KDA 하이브리드 블록 반복 구조

MXFP4 QAT: 훈련 단계부터 저정밀도를 내재화하는 방법

많은 모델이 BF16으로 사전학습(pretraining)한 뒤 별도의 양자화(post-training quantization) 단계를 거친다. Kimi K3는 다르다. SFT(지도 미세조정)와 RL 단계 전체를 MXFP4로 진행하는 양자화 인식 훈련(QAT, Quantization-Aware Training) 방식을 채택했다.

MXFP4는 Microsoft와 NVIDIA가 개발한 MX(Microscaling) 형식으로, 8개 원소를 하나의 공유 지수(shared exponent)와 4비트 가수부 묶음으로 표현한다. 일반 FP4보다 표현 범위가 넓어 언더플로우를 줄인다.

QAT의 이점은 두 가지다:

  1. 훈련-추론 정합성: 양자화 오차가 모델 가중치 학습에 반영되어, 추론 시 별도 보정 없이 정확도를 유지한다.
  2. 하드웨어 효율: NVIDIA Blackwell(B200/B300) GPU는 MXFP4 연산을 네이티브 지원한다. BF16 대비 처리량이 크게 향상된다.

K3의 가중치는 MXFP4 체크포인트로 제공되며, 추론 활성화는 MXFP8을 사용한다.

배포 요구사항과 vLLM 통합

2.8T 파라미터 모델의 배포는 다중 노드 환경을 전제한다. Moonshot AI의 권장 사항은 64개 이상의 가속기(supernode) 구성이다. 노드 간 전문가 병렬성(Expert Parallelism)이 필수이기 때문이다.

vLLM 0.27.0부터 Kimi K3 네이티브 지원이 포함되었다:

16× GB300 NVL72에서 370 tok/s 처리량이 보고되었다.

자체 호스팅 경제성 (Open Question)

Moonshot AI가 제공하는 API 대비 자체 호스팅의 경제적 손익분기점은 Needs confirmation이다. 공식 발표 없이는 추정할 수 없다. RunPod와 Lambda Labs 등 일부 클라우드 제공업체의 자체 계산에 따르면 고트래픽 워크로드에서 API 대비 비용 이점이 있다고 보고하지만, 전제 조건(사용 패턴, 규모)에 크게 의존한다.

스케일링 효율 향상의 의미

Kimi K3가 K2 대비 2.5배 스케일링 효율을 달성했다는 것은, 동일한 훈련 연산량으로 훨씬 나은 모델을 만들 수 있다는 의미이기도 하지만, 반대로 동일한 품질을 훨씬 작은 연산량으로 달성할 수 있다는 의미다. KDA와 Stable LatentMoE가 조합되면서 메모리·대역폭·연산 효율이 동시에 개선된 결과다.

이 패턴은 프론티어 모델 개발의 방향을 보여준다: 단순히 파라미터를 늘리는 것이 아니라, 더 효율적인 어텐션 메커니즘과 MoE 아키텍처를 결합해 실제 추론 비용 대비 성능을 극대화하는 방향이다.

체크리스트

모델을 서빙하려는 팀이 확인할 사항:

References