LLM WikiAccess-protected knowledge portal

WIKI

Mistral Magistral: 증류 없이 GRPO+RLVR만으로 만든 유럽 최초 오픈 소스 추론 모델

왜 지금 봐야 하나 2026년 6월 Mistral AI는 Magistral을 발표했다. 자사 최초의 추론 모델 패밀리다. 기술적으로 흥미로운 부분은 모델 자체의 성능보다 어떻게 만들었는가 이다. Magistral Medium은 기존 추론 모델에서 증류 distillation 없이 , 강화학습 RL 만으로 학습했다. 이 선택이 실제로 AIME 24 pass@1을 약 50% 끌어올렸다. 동시에 Magistral Small 24B

경로human/study/content/ai-frontier/55-mistral-magistral-grpo-rlvr-open-reasoning-model.md
카테고리Study
태그#grpo #model #open #reasoning #rlvr #study

왜 지금 봐야 하나

2026년 6월 Mistral AI는 Magistral을 발표했다. 자사 최초의 추론 모델 패밀리다. 기술적으로 흥미로운 부분은 모델 자체의 성능보다 어떻게 만들었는가 이다. Magistral Medium은 기존 추론 모델에서 증류(distillation) 없이, 강화학습(RL)만으로 학습했다. 이 선택이 실제로 AIME-24 pass@1을 약 50% 끌어올렸다.

동시에 Magistral Small(24B)은 Apache 2.0 오픈 소스로 공개됐다. 추론 모델, 특히 <think> 태그로 내부 사고를 노출하는 long-CoT 모델을 자체 서버에 올릴 수 있다는 뜻이다. 이 릴리스는 단순한 성능 경쟁 업데이트가 아니라, 추론 모델을 운영 가능한 인프라 컴포넌트로 다루는 방법 에 대한 질문을 앞당긴다.

이 글은 Magistral의 학습 방법론, 아키텍처 선택, 멀티링궐 설계, 그리고 운영자가 실제로 마주할 트레이드오프를 다룬다. 벤치마크 순위보다 "추론 모델을 운영할 때 무엇이 달라지는가"에 집중한다.

Magistral의 구조: 두 모델, 두 목적

Mistral은 Magistral을 두 가지 변형으로 출시했다.

구분Magistral SmallMagistral Medium
파라미터24B공개 미정 (Mistral Medium 3 기반 추정)
기반 모델Mistral Small 3.1 (2503)Mistral Medium 3
라이선스Apache 2.0API 전용(독점)
배포자체 호스팅 가능Mistral API만
AIME24 pass@170.68%73.6%
GPQA Diamond68.18%공개 수치 있음
LiveCodeBench v555.84%—

두 모델의 설계 목적이 다르다. Small은 "오픈 소스 추론 모델의 기준점"이고, Medium은 "API 전용 프론티어 수준 추론"이다. 이 두 가지를 같은 방법론으로 만들었다는 점이 핵심이다.

GRPO + RLVR: 증류 없이 추론을 주입하는 방법

Magistral 학습 파이프라인: RLVR + 비동기 RL 학습 데이터 수학·코딩 검증 가능 문제 정답 검증기가 존재하는 도메인 증류 없음 (외부 모델 불사용) 비동기 생성기 (Generator) 여러 샘플을 병렬 생성 정책 업데이트를 기다리지 않고 지속적으로 생성 요청 처리 (Generator interrupt 없이 Learner 업데이트) GRPO Learner 그룹 내 상대적 보상으로 정책 갱신 참조 모델 불필요 (PPO 대비 간소) 클리핑 없이 KL 페널티만 유지 (Group Relative Policy Optimization) 검증기 (Verifier) 정답 여부를 규칙/심볼로 판단 보상 = 0 또는 1 (이진) 수학: 답 일치 / 코드: 테스트 통과 (LLM judge 없이 결정론적 검증) 보상 신호 반환 갱신된 정책 반영 학습 결과: Magistral = 기반 모델 + 내재된 추론 능력 기존 능력(지시 따르기, 함수 호출, 멀티모달) 유지 + AIME24 약 50% 향상 추론 출력 구조 (Long-CoT) <think> ... 내부 사고 (수천~수만 토큰) ... </think> 최종 답변 (수백 토큰) 사고와 답변 모두 사용자 언어로 작성 → KV 캐시 압박: think 토큰도 동일 컴퓨트 소비 PPO vs GRPO 차이 PPO: 별도 Critic 모델 필요 → 메모리·컴퓨트 2배 GRPO: 그룹 내 상대 보상 → Critic 불필요, 메모리 절약 보상 = (샘플 보상 - 그룹 평균) / 그룹 표준편차 → 소규모 조직도 대규모 RL 학습 가능하게 하는 핵심
Magistral 학습 파이프라인: RLVR과 비동기 RL 시스템 구조

RLVR이란 무엇인가

RLVR(Reinforcement Learning from Verifiable Rewards)은 한 가지 원칙에서 출발한다. 검증 가능한 답이 있는 문제에서는 다른 LLM의 판단 없이도 보상을 계산할 수 있다. 수학 문제는 정답이 있고, 코드는 테스트를 통과하거나 실패한다. 이 두 도메인에서는 외부 "평가 모델"이 필요 없다.

이 접근이 기존 증류 방식과 본질적으로 다른 이유가 있다.

Magistral의 논문(arXiv:2506.10910, ICML 2026 채택)은 이것을 명시적으로 보여준다. RL 학습 중에 지시 따르기, 함수 호출, 멀티모달 이해 같은 기존 능력이 유지되거나 오히려 개선됐다. "RL은 추론 능력만 추가하고 나머지는 망가뜨린다"는 일반적인 우려가 이 케이스에서는 성립하지 않았다.

GRPO의 실제 작동 방식

Group Relative Policy Optimization은 PPO(Proximal Policy Optimization)의 실용적 변형이다. PPO는 별도의 Critic 네트워크가 필요하다. Critic은 상태의 가치 함수를 추정하는데, 이 자체가 대형 모델이므로 메모리와 컴퓨트 비용이 두 배가 된다.

GRPO는 Critic을 없앤다. 대신 같은 문제에서 여러 답변을 샘플링하고, 그 집합 안에서 상대적 순위로 보상을 계산한다.

보상_정규화 = (보상_샘플 - 평균(보상_그룹)) / 표준편차(보상_그룹)

이렇게 하면 각 샘플이 같은 문제의 다른 시도와 비교되기 때문에, Critic 없이도 안정적인 학습 신호를 만들 수 있다.

비동기 학습 시스템이 핵심이다

Magistral 논문이 특별히 강조하는 인프라 설계가 있다. 생성기(Generator)와 학습기(Learner)를 비동기로 분리한 것이다.

일반적인 RL 학습에서는 정책 업데이트가 일어날 때 생성을 멈춰야 한다. 이 중단이 학습 효율을 낮춘다. Mistral의 시스템은 생성기를 중단시키지 않고, 학습기가 업데이트를 마치면 생성기의 정책을 비동기로 교체한다.

이 구조는 클러스터 활용도를 높이고, 단위 시간당 더 많은 RL 스텝을 처리할 수 있게 한다. 대규모 RL 학습을 경제적으로 만드는 공학적 선택이다.

Magistral의 멀티링궐 설계: 언어 선택의 메커니즘

Magistral이 다루는 언어는 20개 이상이다. 영어, 프랑스어, 독일어, 스페인어, 중국어, 아랍어, 힌디어, 일본어, 한국어 등이 포함된다.

흥미로운 것은 방식이다. 논문은 "단순하지만 효과적인 전략"이라고 설명한다. 체인오브소트와 최종 답변 모두 사용자의 언어로 작성하도록 학습한다. 별도의 번역 단계나 언어 감지 레이어가 없다. 사용자가 한국어로 질문하면, 내부 <think> 사고 과정도 한국어로, 최종 답변도 한국어로 생성된다.

이 설계는 실용적인 이유가 있다. 영어로 사고하고 한국어로 번역하는 파이프라인을 쓰면, 번역 과정에서 수학적·논리적 세부사항이 손실될 수 있다. 처음부터 타겟 언어로 추론하면 이 손실을 피할 수 있다.

운영자 입장에서는 멀티링궐 워크로드에서 프롬프트 언어를 어떻게 다룰지 명확하다. 별도의 라우팅이나 번역 모듈이 필요 없고, 입력 언어를 그대로 쓰면 된다.

추론 모델의 운영 특성: Long-CoT가 만드는 새로운 부담

Magistral처럼 long-CoT 방식을 쓰는 추론 모델은 일반 LLM과 운영 특성이 근본적으로 다르다.

토큰 비용이 완전히 다른 계산이다

일반 LLM에서 응답 토큰 수는 최종 출력의 길이다. 추론 모델에서는 다르다. <think> 안의 사고 과정이 수천에서 수만 토큰에 달할 수 있다. 어려운 수학 문제 하나에 8,000~20,000 토큰의 thinking이 나오고, 200토큰짜리 최종 답변이 따라붙는다.

API 비용 계산도, 서버 메모리 계획도 이 비율로 다시 세워야 한다.

KV 캐시 압박이 다르다

Long-CoT는 KV 캐시를 많이 쓴다. 같은 GPU로 처리할 수 있는 동시 요청 수가 줄어들 수 있다. 특히 Magistral Medium처럼 더 큰 모델을 API로 쓰거나, Magistral Small을 자체 서버에 올릴 때 배치 크기 선택이 중요해진다.

vLLM, SGLang 같은 서빙 엔진의 max_model_len 설정을 일반 LLM보다 크게 잡아야 하고, 그만큼 KV 캐시 메모리 예산도 늘어난다.

응답 시간 분포가 다르다

일반 LLM의 응답 시간은 출력 길이에 대체로 비례한다. 추론 모델은 다르다. 문제의 난이도에 따라 thinking 길이가 크게 달라지고, 결과적으로 p99 응답 시간이 p50보다 훨씬 길 수 있다. 타임아웃 설정, SLO 목표, 요청 큐 길이를 이 분포를 감안해 조정해야 한다.

언제 추론 모델이 필요하고, 언제 아닌가

이 점이 운영자에게 가장 중요한 판단이다.

추론 모델이 유리한 경우:

일반 LLM이 더 나은 경우:

추론 모델을 모든 워크로드에 적용하면 비용이 불필요하게 늘어난다. 작업 유형별로 라우팅하는 것이 실용적이다.

Magistral Small 자체 호스팅: 운영 기준점

Apache 2.0 라이선스로 공개된 Magistral Small(24B)은 허깅페이스에서 mistralai/Magistral-Small-2506으로 바로 내려받을 수 있다.

24B 파라미터 모델은 규모에 따라 다르지만 대략 다음과 같다.

정밀도GPU 메모리 요구
BF16 전체48GB (A100 80GB × 1, 여유 있음)
Q4 양자화15~16GB (RTX 4090, A10 등 단일 GPU 가능)

vLLM 기준 서빙 설정에서 max_model_len은 기본값보다 크게 잡는 것이 좋다. Magistral Small의 context window는 128K 토큰이고, thinking이 길어지면 이 공간을 실제로 소비한다.

Mistral이 제안하는 최소 설정:

Magistral의 위치: 추론 모델 생태계에서 무엇이 다른가

2026년 현재 주요 추론 모델은 다음과 같다.

모델공개 여부기반 학습 방식특이점
OpenAI o3 / o4-miniAPI 전용비공개RLVR 추정
DeepSeek R1오픈 소스RL (GRPO 류)증류 버전도 제공
Qwen3오픈 소스RL + 증류MoE 포함 다양한 크기
Magistral Small오픈 소스 Apache 2.0GRPO+RLVR, 증류 없음유럽, 멀티링궐 강조

Magistral의 차별점은 두 가지다. 첫째, 증류를 사용하지 않았다는 점의 실증이다. 기존 추론 모델들은 더 강력한 모델의 출력을 학습 데이터로 쓰는 경우가 많았다. Magistral Medium은 그것 없이 RL 단독으로 프론티어 수준의 추론 성능을 만들었음을 보여줬다. 둘째, 유럽 규제 친화적인 오픈 소스 옵션이다. EU AI Act 환경에서 API 의존보다 자체 운영을 선호하는 조직에게 의미 있는 선택지다.

도입 전 확인할 체크리스트

결론

Magistral은 "추론 모델을 어떻게 만드는가"에 대한 실증이다. 더 강한 모델에서 답을 복사하는 대신, 검증 가능한 보상과 대규모 RL로 기반 모델 자신의 잠재 능력을 끌어냈다. 이 방식이 AIME-24 기준 약 50% 향상을 만들었고, 기존 능력을 유지했다.

운영자에게는 두 가지 판단이 남는다. 첫째, 내 워크로드가 추론 모델이 필요한 유형인가. 둘째, 만약 그렇다면 API(Magistral Medium) 대 자체 호스팅(Magistral Small) 중 어느 쪽이 비용·규제·지연 조건을 충족하는가. Magistral Small의 Apache 2.0 공개는 이 두 번째 선택지를 실제로 실행 가능하게 만든 릴리스다.

References