GLM-5.3-Flash: 하이브리드 희소·선형 어텐션과 IndexPool·EPD로 1M 컨텍스트를 오픈 소스로 서빙하는 방법

1M 토큰 컨텍스트를 가진 프론티어급 오픈 소스 모델을 실제 서비스에서 돌리는 것은 두 가지 이유로 어렵다. 어텐션 연산이 컨텍스트 길이의 제곱에 비례하고, KV 캐시 메모리가 모든 레이어·헤드·토큰에 걸쳐 쌓이기 때문이다. GPT-4o나 Claude Opus 5처럼 클로즈드 모델은 이 문제를 서빙 인프라 안에서 해결한다. 하지만 오픈 소스 모델로 같은 컨텍스트를 다루려면 아키텍처 자체가 달라야 한다.

Z.ai(Zhipu)가 2026년 8월 26일 공개한 GLM-5.3-Flash는 이 문제를 어텐션 레이어 구조에서 정면으로 다룬 첫 번째 오픈 소스 프론티어급 모델이다. 320B 총 파라미터, 추론 시 18B만 활성화하는 MoE 구조에서, 기존 GLM 시리즈 대비 어텐션 연산을 3.01배, KV 캐시를 4.44배 줄였다. MIT 라이선스로 공개됐으며, 중국 국산 GPU 수만 장 위에서 하루 100조 토큰을 서빙 중이다.

기존 MoE+풀어텐션의 한계

GLM-5.3(355B/32B, 92레이어)처럼 MoE를 쓰더라도, 각 레이어가 표준 소프트맥스 어텐션을 쓰면 긴 컨텍스트에서 두 가지 병목이 생긴다.

어텐션 연산 비용: 소프트맥스 어텐션은 쿼리와 키의 내적을 컨텍스트 길이 L에 대해 O(L²) 연산으로 수행한다. 1M 토큰에서는 이 비용이 지배적이다.

KV 캐시 메모리: 모든 레이어, 모든 헤드에 대해 키·값 텐서를 저장해야 한다. 92레이어 모델에서 1M 토큰 KV 캐시는 수십 GB를 요구한다. BF16 기준, 레이어당 헤드수 × 헤드차원 × 시퀀스길이 × 2(K,V) × 2bytes다.

MoE가 활성 파라미터를 줄이더라도, KV 캐시 메모리는 줄지 않는다. 어텐션은 FFN이 아니기 때문이다.

아키텍처: 희소(Sparse)와 선형(Linear) 어텐션의 교차 배치

GLM-5.3-Flash는 두 종류의 어텐션을 레이어마다 교대로 사용한다. 전체 45레이어에서, 대부분의 레이어는 선형 어텐션을, 일부 레이어는 희소 어텐션을 쓴다.

선형 어텐션: O(1) KV 메모리

선형 어텐션은 소프트맥스를 쓰지 않고 고정 크기의 상태 행렬 S를 유지한다. 각 새 토큰이 들어오면 상태를 갱신한다:

S_t = S_{t-1} - β_t · k_t · (k_tᵀ S_{t-1}) + β_t · k_t · v_tᵀ

이 식은 현재 상태에서 오래된 키 정보를 지우고(첫 번째 항) 새 키-값 쌍을 추가하는(두 번째 항) 델타 업데이트다. β는 학습 가능한 게이트로, 얼마나 지울지를 제어한다.

장점: KV 캐시를 축적하지 않는다. 상태 행렬 크기는 시퀀스 길이와 무관하게 고정된다.

단점: 원거리 토큰 간의 정확한 어텐션을 근사하므로, 정밀한 전역 참조가 필요한 작업에서 손실이 생긴다.

희소 어텐션: 인덱서로 필요한 토큰만

희소 어텐션 레이어는 경량 인덱서를 통해 현재 쿼리와 관련된 토큰 위치를 선별한 뒤, 그 위치에 대해서만 소프트맥스 어텐션을 계산한다. 전체 L²가 아니라 선택된 k개 토큰에 대해서만 연산하므로 비용이 대폭 줄어든다.

인덱서는 각 위치마다 키 벡터를 유지하는데, 이것이 KV 캐시의 일부다.

IndexPool: 인덱서 KV 캐시를 4배 압축

1M 토큰 컨텍스트에서 희소 어텐션 레이어가 유지하는 인덱서 키 벡터도 만만치 않다. GLM-5.3-Flash는 IndexPool로 이 비용을 줄인다.

연속된 4개의 위치(또는 토큰 그룹)에 해당하는 인덱서 키 벡터를 가중 평균(Weighted Pooling)으로 하나로 합친다:

k_pool = Σ w_i · k_i    (i = 1..4, Σ w_i = 1)

가중치 w_i는 학습으로 결정된다. 인덱서가 이 풀링된 키 하나로 4개 위치를 대표하므로 저장 공간이 4분의 1이 된다.

효과: 1M 컨텍스트에서 인덱서 KV 캐시 latency와 메모리가 각각 4배 감소한다. 선형 어텐션의 KV 미저장과 IndexPool을 합쳐, GLM-5.3 대비 전체 KV 캐시가 4.44배 줄었다.

mHC: 스케일링을 위한 Manifold-Constrained Hyper-Connections

기존 Transformer는 레이어 간 잔차 연결(Residual Connection)이 단순히 x + f(x) 형태다. 레이어가 깊어질수록 그래디언트 흐름이 균등하지 않고, 파라미터가 늘어날수록 스케일링 효율이 감소하는 경향이 있다.

mHC(Manifold-Constrained Hyper-Connections)는 여러 레이어의 은닉 상태를 매니폴드 제약 하에 혼합하여 잔차 연결을 일반화한다. 층간 정보 흐름이 더 풍부해지고, 같은 파라미터 수에서 더 나은 표현력을 얻는다.

GLM-5.3-Flash에서 mHC는 45레이어 모델이 92레이어 모델과 비슷한 스케일링 효율을 내는 데 기여한다. 레이어 수를 절반으로 줄였음에도 성능 손실이 적은 이유 중 하나다.

EPD 분리 추론 아키텍처

GLM-5.3-Flash는 멀티모달 입력(이미지·영상)과 긴 프롬프트를 처리하기 위해 EPD(Encode–Prefill–Decode) 분리 아키텍처를 사용한다.

세 단계는 독립된 워커풀로 운영된다.

Encode: 이미지·영상 프레임을 토큰 임베딩으로 변환하는 Vision Encoder를 전담 처리한다. CPU나 경량 GPU에 할당 가능하다.

Prefill: 전체 프롬프트(텍스트 + 인코딩된 멀티모달 토큰)를 받아 KV 캐시를 구축한다. Prefill은 연산 집약적이므로, 병렬 처리를 위해 여러 GPU에 분산할 수 있다.

Decode: 구축된 KV 캐시를 받아 토큰을 순차적으로 생성한다. 메모리 대역폭 집약적이므로, 배치 크기와 KV 캐시 크기를 고려한 스케줄링이 중요하다.

세 단계를 분리하면 각 단계의 리소스를 독립적으로 스케일할 수 있다. Prefill이 병목이면 Prefill 워커를 늘리고, Decode 처리량이 부족하면 Decode 워커를 늘린다.

양자화: W8A8와 혼합 캐시

GLM-5.3-Flash의 기본 서빙 스택은 두 가지 양자화를 조합한다.

W8A8 (가중치 INT8, 활성화 INT8): 모델 가중치와 활성화 텐서를 모두 INT8로 줄인다. BF16 대비 메모리가 절반, 행렬 곱 처리량이 2배 향상된다.

혼합 KV 캐시: 선형 어텐션 상태와 희소 어텐션 인덱서의 KV 캐시를 정밀도별로 다르게 저장한다.

• 중요도가 높은 최근 캐시: FP8
• 원거리 압축 캐시: INT8
• 공유 상태 행렬: BF16 (정밀도 손실 방지)

또한 노드 내 텐서 병렬(Intra-node Tensor Parallelism)로 여러 GPU에 레이어를 분산한다. 이 조합으로 동일 하드웨어에서 기준선 대비 엔드-투-엔드 처리량이 3배 향상됐다.

중국 국산 GPU 위에서의 실제 운영

GLM-5.3-Flash는 엔비디아 GPU 없이 중국 국산 가속기(화웨이 Ascend 등) 수만 장 위에서 일 100조 토큰을 서빙 중이다. 이는 단순한 마케팅 수치가 아니라 인프라 설계 결정의 결과다.

SGLang 기반 커스텀 엔진: Z.ai는 오픈 소스 SGLang 위에 자체 수정을 더해 서빙 엔진을 구축했다. Continuous batching, RadixAttention 기반 KV 캐시 공유, EPD 스케줄러가 통합됐다.

국산 GPU 대응: CUDA 대신 각 가속기 벤더의 네이티브 SDK(예: Ascend CANN)를 대상으로 커널을 재작성했다. W8A8 및 FP8 GEMM 커널이 국산 하드웨어에 맞게 최적화됐다.

100조 토큰/일의 의미: GPT-4o 수준의 서비스 규모를 오픈 소스 아키텍처와 국산 인프라로 달성했다는 뜻이다. 아키텍처 선택(선형 어텐션 KV 미저장, IndexPool, EPD 분리)이 실제 인프라 비용과 직결된다.

GLM-5.3-Flash가 의미하는 것

이 모델은 세 가지 면에서 주목할 만하다.

아키텍처 측면: 하이브리드 희소·선형 어텐션이 풀소프트맥스 대비 KV 캐시와 연산을 각각 4배, 3배 줄이면서 1M 컨텍스트 품질을 유지한다는 것을 오픈 소스 규모로 증명했다. 이전까지 이 방식은 소규모 연구 모델에서만 검증됐다.

서빙 측면: EPD 분리 아키텍처가 멀티모달 대규모 서빙에서 실용적이라는 것을 입증했다. Encode·Prefill·Decode의 독립 스케일링은 전통적인 Prefill-Decode 분리(PD 분리)를 멀티모달로 확장한 설계다.

생태계 측면: MIT 라이선스로 완전히 공개됐다. vLLM과 SGLang 양쪽에서 Day-0 지원이 이루어졌다. 이 모델을 로컬에서 돌리려면 BF16 기준 약 640GB VRAM(320B × 2bytes)이 필요하므로 사실상 데이터센터 환경이지만, API로는 무료 티어까지 제공된다.

운영 체크리스트

References

• GLM-5.3-Flash Overview — Z.AI Developer Docs
• Zhipu Unveils GLM-5.3-Flash: 320B/18B Hybrid Attention MoE — Wccftech
• GLM-5.3-Flash: 320B MoE, 18B Active, MIT — Proje Defteri
• HySparse: Hybrid Sparse Attention Architecture — arXiv:2602.03560
• GLM-5.3-Flash Explained: Native Multimodality, 1M Context — CodePick
• Welcome Inkling by Thinking Machines (EPD 서빙 컨텍스트 참조) — HuggingFace Blog