왜 이 모델을 지금 봐야 하나
2026년 4월 5일 공개된 Llama 4 Scout와 Llama 4 Maverick은 오픈 가중치 AI 역사에서 몇 개 되지 않는 실질적 전환점 중 하나다. 이전 세대인 Llama 3.x는 기본적으로 밀집(dense) 트랜스포머에 긴 컨텍스트 확장을 얹은 구조였다. Llama 4는 세 가지를 동시에 바꿨다.
- MoE(Mixture of Experts): 오픈 가중치 모델 최초로 실용적 규모의 전문가 라우팅을 도입했다.
- iRoPE: 위치 인코딩 없는(NoPE) 레이어를 주기적으로 삽입해 훈련 컨텍스트(256K)를 훨씬 넘는 길이(Scout 10M, Maverick 1M)로 추론이 가능하게 한다.
- 조기 융합 멀티모달(Early Fusion Multimodal): 텍스트와 시각 토큰을 첫 번째 레이어부터 단일 시퀀스로 처리한다. 별도 비전 타워나 프로젝션 병목이 없다.
셋은 각각 독립된 추가 기능이 아니라, "적은 활성 파라미터로 더 긴 문서와 더 복잡한 멀티모달 입력을 처리한다"는 설계 목표에서 동시에 요구된 선택이다.
이 글은 그 설계 선택의 구조와 운영 의미를 분해한다.
두 모델의 숫자부터 정리하기
| 항목 | Scout | Maverick |
|---|---|---|
| 활성 파라미터 | 17B | 17B |
| 전체 파라미터 | 109B | 400B |
| 전문가 수(라우팅) | 16 | 128 |
| 공유 전문가 | 1 | 1 |
| 훈련 컨텍스트 | 256K | 256K |
| 파인튜닝 컨텍스트 | 10M | 1M |
| 최소 추론 GPU | H100 ×1 (Int4 양자화 시) | H100 ×8 (단일 호스트) |
| 라이선스 | Llama 4 Community | Llama 4 Community |
두 모델의 활성 파라미터는 같다. 추론 비용은 전문가 수와 관계없이 토큰당 활성화되는 파라미터 수에 비례한다. Maverick이 더 많은 전문가를 가지는 이유는 "전문화의 폭"을 늘리기 위해서지, 추론 비용을 높이기 위해서가 아니다.
1. iRoPE: 위치 인코딩을 간헐적으로 제거해 긴 컨텍스트 일반화를 가능하게 하다
RoPE만으로는 왜 10M 컨텍스트가 어려운가
회전 위치 임베딩(RoPE)은 상대 위치 관계를 어텐션 행렬에 직접 인코딩한다. 이 방식은 훈련 컨텍스트 안에서는 강력하지만, 훈련 범위를 크게 벗어난 위치에서는 어텐션 패턴이 불안정해진다. 단순히 컨텍스트 길이를 늘리면 RoPE의 주파수 성분이 훈련 시 전혀 보지 못한 영역으로 들어가기 때문이다.
기존 접근법(YaRN, LongRoPE 등)은 RoPE 주파수를 재스케일링하거나, 파인튜닝 단계에서 긴 시퀀스를 추가 학습시킨다. Llama 4는 다른 방향을 선택했다.
NoPE 레이어: 위치를 전혀 모르는 레이어를 주기적으로 삽입
iRoPE는 두 종류의 어텐션 레이어를 교대로 배치한다.
- RoPE 레이어 (전체의 3/4): 회전 위치 임베딩을 사용한 청크드 어텐션. 로컬 토큰 순서와 근거리 의존성을 유지한다.
- NoPE 레이어 (전체의 1/4, 매 4번째 레이어): 위치 인코딩이 전혀 없다. 전체 인과 마스크(full causal mask)로 어텐션을 계산한다.
NoPE 레이어에는 위치 정보가 없으므로, 토큰 간 거리가 1이든 1,000,000이든 어텐션 계산 방식이 동일하다. 이는 역으로 어떤 길이의 시퀀스에서도 동일한 방식으로 전역 정보를 참조할 수 있다는 뜻이다.
RoPE 레이어가 근거리 문맥 이해를 담당하고, NoPE 레이어가 전역 참조를 담당한다. 두 종류의 레이어가 함께 작동하면서 긴 컨텍스트에서 필요한 두 가지 능력이 모두 구현된다.
추론 시 온도 스케일링
256K로 훈련된 모델을 10M 컨텍스트에서 안정적으로 작동시키는 데는 구조적 변경만으로 충분하지 않다. Llama 4는 추론 시 어텐션 소프트맥스에 온도 스케일링(temperature scaling)을 적용한다.
이 스케일링은 긴 시퀀스에서 어텐션 분포가 지나치게 집중되거나 분산되는 문제를 완화한다. 훈련 때 보지 못한 위치 범위에서도 어텐션 패턴이 허용 범위에서 유지되도록 한다.
실질적으로는 "모델 구조로 길이 한계를 넘는 능력 + 추론 하이퍼파라미터로 그 능력을 안정화"한 결합이다.
운영자 관점에서 중요한 부분
iRoPE는 추론 프레임워크 수준에서 컨텍스트 길이 관리 방식이 바뀐다는 의미다.
- vLLM, SGLang 등 추론 프레임워크가 청크드 어텐션 + NoPE 혼합 패턴을 올바르게 구현해야 한다.
- KV 캐시 전략이 청크드 어텐션 범위와 맞아야 한다. NoPE 레이어는 전체 시퀀스에 걸쳐 KV를 보기 때문에, 긴 컨텍스트에서의 KV 캐시 메모리 요구량은 단순 선형 증가보다 클 수 있다.
- 10M 컨텍스트를 실제로 사용하려면 적절한 KV 캐시 압축(prefix caching, attention eviction) 없이는 단일 H100에서 메모리 한계에 도달한다.
2. MoE: 17B 활성 파라미터로 109B~400B 모델의 품질을 내는 구조
전통적 MoE와 Llama 4의 차이
MoE는 "전체 파라미터 수를 늘리되, 각 토큰이 활성화하는 파라미터는 적게 한다"는 원리다. GPT-4, Mixtral, DeepSeek-V2 등이 이미 채택한 방식이다. Llama 4가 이들과 다른 구체적 선택은 두 가지다.
공유 전문가(Shared Expert)
각 MoE 레이어에는 라우팅되지 않는 공유 전문가가 하나 있다. 모든 토큰은 이 전문가를 무조건 통과한다. 공유 전문가의 역할은 어떤 토큰에도 필요한 공통 표현 변환을 담당하는 것이다.
이 설계는 DeepSeek-V2/V3에서도 채택한 방식으로, 라우팅 오류(토큰이 잘못된 전문가에 배정되는 경우)로 인한 품질 저하를 완충한다.
드롭리스 Top-1 라우팅
각 토큰은 라우팅 전문가 중 정확히 1개를 선택한다. 이 선택 과정에서 토큰을 버리지 않는다(dropless). 전문가 부하 불균형을 허용하는 대신, 모든 토큰이 처리된다는 것을 보장한다.
| 라우팅 방식 | 특징 | Llama 4 선택 |
|---|---|---|
| Top-K (K>1) | 각 토큰이 K개 전문가 통과 → 활성 파라미터 증가 | 미채택 |
| 드롭(Drop) | 부하 초과 시 일부 토큰 버림 | 미채택 |
| Top-1 드롭리스 | 1개 전문가 선택, 토큰 버림 없음 | 채택 |
Scout vs Maverick: 전문가 수가 의미하는 것
Scout 16개 전문가, Maverick 128개 전문가라는 차이는 단순히 "Maverick이 더 크다"가 아니다.
- 전문가 수는 전문화의 폭을 결정한다. 128개 전문가가 있으면 라우터는 훨씬 세분화된 역할 분담을 학습할 수 있다. 코드, 수학, 다국어, 추론 각각을 더 잘 처리하는 전문가 집합이 형성된다.
- 추론 비용은 같다. 토큰 하나가 활성화하는 전문가는 1개(공유 1 + 라우팅 1)이므로, 추론당 연산량은 Scout와 Maverick이 동일하다.
- 메모리 요구량은 다르다. 전문가 수만큼 파라미터가 더 많으니, 모델 로딩에 필요한 VRAM은 다르다.
Dense 레이어와 MoE 레이어의 혼용
Llama 4는 모든 레이어를 MoE로 만들지 않는다. 일부 레이어는 전통적 밀집(dense) FFN 레이어다. 이 혼합은 미세 조정과 학습 안정성에 유리하다고 알려져 있으며, 실제로 어떤 레이어가 dense인지는 모델 config에서 확인할 수 있다.
3. 조기 융합 멀티모달: 시각과 텍스트가 첫 번째 레이어부터 같이 처리된다
Late Fusion과 조기 융합의 차이
대부분의 멀티모달 LLM은 다음 구조를 가진다.
- 별도 비전 인코더(예: CLIP, DINOv2)가 이미지 → 벡터 시퀀스 변환
- 선형 투영(projection) 레이어가 비전 벡터를 언어 모델의 임베딩 공간으로 매핑
- 변환된 벡터가 텍스트 임베딩과 연결되어 LLM의 일부 레이어부터 처리
이 방식에서 시각 정보는 항상 "변환된 텍스트" 형태로 모델에 들어간다. 두 모달리티의 상호 참조는 투영 이후에야 가능하다.
Llama 4의 조기 융합은 다르다.
- MetaCLIP 기반 비전 인코더가 이미지 패치를 시각 토큰으로 변환한다.
- 텍스트 토큰과 시각 토큰이 레이어 1에서 단일 시퀀스로 결합된다.
- 이후 모든 레이어는 텍스트-시각 혼합 시퀀스를 통째로 처리한다.
- 별도 투영 레이어가 없다. 비전 인코더에서 나온 토큰이 직접 LLM 임베딩 공간에 들어간다.
비전 인코더를 어떻게 훈련시켰나
MetaCLIP 기반 비전 인코더는 처음부터 Llama 4와 함께 훈련된 것이 아니다. 사전 학습 과정에서 LLM을 고정(frozen)한 채 비전 인코더를 따로 훈련시켰다. 이 방식은 비전 인코더가 LLM의 임베딩 공간에 맞는 시각 표현을 학습하게 한다.
이후 전체 모델을 텍스트·이미지·비디오 토큰이 섞인 사전 학습 데이터로 함께 훈련한다. 사전 학습 단계부터 모달리티가 섞여 있기 때문에 "멀티모달 파인튜닝"이 별도로 필요하지 않다.
비디오 처리
Llama 4는 비디오를 지원하지만, 방식은 직관적이다. 비디오를 프레임으로 분해한 뒤 각 프레임을 이미지처럼 처리하고 시간 순서로 배열해 입력한다. 10M 컨텍스트를 가진 Scout는 이 방식으로 상당히 긴 영상도 다룰 수 있다.
4. 훈련 파이프라인: 사전 학습 → 중간 훈련 → 후처리 3단계
사전 학습
텍스트·이미지·비디오 토큰이 섞인 대규모 코퍼스로 훈련한다. 컨텍스트 길이는 256K. 이 단계에서 모든 모달리티의 표현이 공유 공간에서 통합된다.
중간 훈련(Mid-Training)
사전 학습 이후 긴 컨텍스트 데이터로 추가 훈련한다. Scout를 10M, Maverick을 1M 컨텍스트로 파인튜닝하는 단계다. iRoPE의 NoPE 레이어와 온도 스케일링이 이 단계에서 길이 일반화를 안정시키는 핵심 역할을 한다.
후처리(Post-Training)
세 단계로 구성된다.
- 경량 SFT(Supervised Fine-Tuning): 지시 따르기, 포맷 준수, 유해성 차단
- 온라인 RL(Online Reinforcement Learning): 실제 생성 결과에 대한 보상 신호 기반 최적화
- 경량 DPO(Direct Preference Optimization): 사람 선호도 정렬
세 단계 모두 "경량"이라고 표현하는 것은 LLM 후처리에서 자주 발생하는 모달리티 망각(multimodal forgetting) 문제를 피하기 위해서다. 사전 학습에서 쌓은 멀티모달 능력이 후처리 과정에서 손상되지 않도록 SFT와 DPO 데이터 규모를 조절했다고 설명한다.
5. 배포 요구사항과 운영 고려사항
최소 하드웨어
| 모델 | 최소 구성 | 비고 |
|---|---|---|
| Scout (BF16) | H100 ×8 또는 A100 ×8 | 109B 전체 파라미터 |
| Scout (Int4) | H100 ×1 | 양자화로 VRAM 1/4 수준으로 축소 |
| Maverick (BF16) | H100 ×8 (단일 호스트 권장) | 400B 파라미터, 호스트 간 통신 병목 주의 |
| Maverick (Int4) | H100 ×4 (추정) | 공식 확인 필요 |
추론 프레임워크 지원
2026년 4월 기준 vLLM, SGLang 모두 Llama 4를 지원하기 시작했다. 그러나 iRoPE의 청크드 어텐션 패턴과 NoPE 레이어 혼합 구조는 추론 프레임워크가 올바르게 구현해야 한다. 10M 컨텍스트를 실제로 사용할 때는 각 프레임워크의 KV 캐시 관리 방식을 확인해야 한다.
양자화와 품질 트레이드오프
Int4 양자화로 Scout를 단일 H100에서 돌릴 수는 있다. 하지만 MoE 모델의 양자화는 전문가별로 파라미터 분포가 다르기 때문에, 동일한 비트 폭 양자화에서 dense 모델보다 품질 저하가 크게 나타날 수 있다. 특히 드물게 선택되는 전문가의 가중치는 양자화 에러에 취약하다.
길이 vs 품질 트레이드오프
10M 컨텍스트는 인상적이지만 그대로 활용하기는 어렵다. 현실적 운영에서는 다음 사항을 먼저 측정해야 한다.
- 컨텍스트 길이가 늘어날수록 needle-in-a-haystack 정밀도가 어떻게 떨어지는가
- KV 캐시 메모리 사용량과 시간당 처리량(throughput)이 어떻게 달라지는가
- 프리픽스 캐싱이 없을 때 긴 컨텍스트 요청의 P99 지연이 얼마인가
6. Llama 4 Behemoth: 세 번째 모델은 아직 훈련 중
Meta는 Llama 4 발표에서 세 번째 모델인 Behemoth를 언급했다. 아직 정식 공개되지 않았지만, 현재 알려진 내용은 다음과 같다.
- 파라미터 규모가 Scout/Maverick을 크게 상회한다 (수조 파라미터 수준)
- MoE 구조를 유지하지만 전문가 수와 전문가 규모가 훨씬 크다
- 내부 테스트 기준 수학·과학 추론에서 당시 최고 수준의 결과를 보였다고 Meta가 밝혔다
- 공개 시기와 라이선스는 미확정 (Open question)
Behemoth는 Scout/Maverick과 같은 iRoPE+조기 융합+MoE 기반이지만, 교사 모델(teacher model)로 Scout/Maverick의 후처리 품질에도 영향을 줬을 가능성이 있다.
도입 체크리스트
- [ ] 사용 시나리오에서 Scout(저비용·긴 컨텍스트)와 Maverick(고품질 추론) 중 어느 것이 맞는지 벤치마크로 먼저 확인한다.
- [ ] vLLM 또는 SGLang 버전이 Llama 4의 iRoPE(청크드 어텐션 + NoPE 혼합) 패턴을 정식 지원하는지 확인한다.
- [ ] Int4 양자화로 Scout를 단일 H100에 올릴 경우, 전문가별 파라미터 분포 차이로 인한 품질 저하를 태스크 별로 측정한다.
- [ ] 10M 컨텍스트를 실제 사용할 때 KV 캐시 메모리 사용량과 처리량을 먼저 측정한다. 프리픽스 캐싱(RadixAttention 등)과 함께 사용하지 않으면 긴 요청 비용이 매우 크다.
- [ ] Maverick을 멀티 GPU에서 실행할 때 GPU 간 통신 대역폭(NVLink vs. PCIe)이 전문가 라우팅 성능에 영향을 준다.
- [ ] Meta 공식 양자화 레시피(BnB, AWQ, GPTQ)와 커뮤니티 양자화의 품질 차이를 확인한다.
- [ ] 비디오 입력 시 프레임 수와 컨텍스트 사용량의 관계를 사전에 계산한다.
이 모델이 만든 새로운 기준
Llama 4 Scout/Maverick이 공개된 이후 오픈 가중치 AI 커뮤니티에서는 세 가지가 달라졌다.
- MoE는 "클로즈드 모델만의 기술"이 아니다. Mixtral이 시작했고, DeepSeek이 강화했으며, Llama 4가 멀티모달과 결합했다.
- 10M 컨텍스트는 "가능한 수치"가 됐다. 실용적 활용 방법은 아직 개발 중이지만, 가능성 자체는 열렸다.
- 조기 융합 멀티모달 설계가 주류 검증을 받았다. 후기 융합 중심이던 오픈 모델 생태계에서 조기 융합의 실용성이 처음으로 오픈 가중치로 확인됐다.
다만 운영자 관점에서는 여전히 "좋은 구조"와 "안정적 운영 가능한 모델"이 같지 않다. iRoPE, 드롭리스 MoE, 조기 융합은 모두 추론 프레임워크의 신중한 구현을 요구한다.
Open question
- Llama 4 Behemoth의 정식 공개 시기와 라이선스가 불명확하다.
- 10M 컨텍스트에서 실제 needle-in-a-haystack 정밀도와 처리량이 얼마인지는 독립적 벤치마크가 필요하다.
- Meta의 내부 벤치마크 결과와 제3자 독립 평가 결과 사이에 일부 불일치가 있었다는 지적이 있다. (Open question: 어떤 평가 조건 차이에서 비롯된 것인지 확인 필요)
References
- https://ai.meta.com/blog/llama-4-multimodal-intelligence/
- https://arxiv.org/abs/2601.11659
- https://huggingface.co/blog/llama4-release
- https://medium.com/@mandeep0405/llama-4s-architecture-deconstructed-moe-irope-and-early-fusion-explained-e58eb9403067
- https://blog.promptlayer.com/llama-4-scout-17b-16e-instruct-open-source-powerhouse-with-moe-multimodality-10m-token-memory/
- https://pytorch.org/blog/metashuffling-accelerating-llama-4-moe-inference/
- https://medium.com/@karanbhutani477/llama-4-technical-analysis-decoding-the-architecture-behind-metas-multimodal-moe-revolution-535b2775d07d
- https://cameronrwolfe.substack.com/p/llama-4