GRPO에서 µ-GRPO까지: LLM 추론 학습을 위한 강화학습 기법의 진화 (2025-2026)
요약
DeepSeek-R1(2025년 1월)이 수학·코딩 추론에서 OpenAI o1에 필적하는 성능을 보인 이후, LLM 추론 학습의 핵심 기법으로 GRPO(Group Relative Policy Optimization)와 그 변형들이 급속히 확산되었다.
핵심 질문은 하나다: PPO에서 별도의 가치 신경망(critic)을 없애면서도 안정적인 정책 학습이 가능한가? GRPO가 그 질문에 "그렇다"고 답했고, DAPO·Dr.GRPO·µ-GRPO는 각각 다른 병목을 해결하며 그 답을 정제했다.
이 챕터는 각 기법의 수식·동기·한계를 정리하고, 2026년 기준으로 어떤 기법을 어떤 상황에 쓸지 운영 관점에서 정리한다. µ-GRPO(arXiv:2605.17570, 2026년 5월 17일)를 이 챕터의 기준점으로 삼는다.
배경: PPO의 메모리 장벽
표준 RLHF 파이프라인은 PPO(Proximal Policy Optimization)를 사용한다.
PPO는 두 개의 모델을 동시에 메모리에 올려야 한다.
- 정책 모델(policy): 현재 학습 중인 LLM
- 가치 모델(critic): 각 상태의 기대 보상을 추정하는 별도 네트워크
70B 정책 모델을 훈련할 때 가치 모델도 유사한 규모여야 하므로, 실제 GPU 메모리 요구량이 두 배가 된다. 보상 모델(Reward Model)과 참조 모델(Reference Model)까지 더하면 4개의 모델이 동시에 필요하다.
| 구성 요소 | 역할 | PPO 필요 여부 |
|---|---|---|
| 정책 모델(Policy) | 응답 생성 | 필수 |
| 가치 모델(Critic) | 어드밴티지 추정 | PPO만 필요 |
| 보상 모델(Reward Model) | 응답 품질 점수 | 필수 (또는 검증기로 대체) |
| 참조 모델(Reference) | KL 발산 계산 기준 | 필수 |
이 비용이 대규모 RLHF의 주된 실행 장벽이었다.
GRPO: Critic 없이 그룹 내 상대 비교로
핵심 아이디어
GRPO는 가치 모델을 제거하고, 동일한 프롬프트에 대한 여러 응답의 보상을 서로 비교해 어드밴티지를 추정한다.
프롬프트 q에 대해 G개의 응답 {o₁, ..., oG}을 샘플링하고, 각각의 보상 rᵢ를 구한 뒤 그룹 평균과 표준편차로 정규화한다.
어드밴티지: Aᵢ = (rᵢ - mean(r)) / std(r)그룹 내에서 평균보다 좋은 응답은 양의 어드밴티지, 나쁜 응답은 음의 어드밴티지를 받는다. 별도 Critic이 없다.
손실 함수
L_GRPO = -E[ min(ratio · A, clip(ratio, 1-ε, 1+ε) · A) ]
+ β · KL(π_θ || π_ref)
ratio = π_θ(o|q) / π_θ_old(o|q)PPO의 클리핑 항은 동일하게 유지하되, Critic 추정값 대신 그룹 평균에서 계산한 A를 사용한다. KL 발산 항은 참조 모델과의 거리를 직접 손실에 포함한다.
RLVR: 검증 가능한 보상
GRPO가 실용적인 이유는 RLVR(Reinforcement Learning with Verifiable Rewards)과 결합하기 때문이다.
수학 문제의 정답 여부, 코드의 단위 테스트 통과 여부는 외부 검증기로 자동 채점 가능하다. 보상 신호를 인간 평가자 없이 무한히 생성할 수 있다.
| 도메인 | 검증 방법 | 보상 |
|---|---|---|
| 수학 | 정답 비교 | 0 또는 1 |
| 코드 | 단위 테스트 실행 | 0 또는 1 (부분 점수 가능) |
| 형식 준수 | 정규식/파서 | 0 또는 1 |
DeepSeek-R1은 이 조합으로 별도의 지도학습 파인튜닝 없이 순수 RL만으로 경쟁력 있는 추론 모델을 학습했다.
DAPO: 장기 CoT 학습의 실제 불안정성 해결
DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization, ByteDance·Tsinghua AIR, arXiv:2503.14476)는 GRPO의 실제 훈련에서 드러난 네 가지 문제를 각각 해결한다.
문제 1: 엔트로피 붕괴 → Clip-Higher
표준 GRPO에서 클리핑 범위가 대칭적이면([1-ε, 1+ε]), 정책이 지나치게 결정론적으로 수렴(entropy collapse)하며 탐색이 줄어든다.
DAPO는 상한 클리핑만 높인다(clip_upper > clip_lower). 하위 클리핑은 안정성을 유지하면서도, 상위를 더 허용해 정책이 더 다양한 응답을 탐색할 여지를 준다.
문제 2: 그라디언트 낭비 → Dynamic Sampling
배치 내에 정답률이 0% 또는 100%인 프롬프트가 포함되면 어드밴티지 정규화가 의미 없어진다(모든 A=0이거나 분모가 0). DAPO는 이런 프롬프트를 필터링해 유효한 그라디언트가 있는 프롬프트만 훈련에 사용한다.
문제 3: 토큰 불균형 → Token-Level Policy Gradient Loss
장기 CoT 응답에서는 짧은 응답 대비 토큰 수가 10~100배 차이 난다. 시퀀스 수준으로 손실을 집계하면 긴 응답이 학습을 지배한다. DAPO는 토큰 수준의 정책 그라디언트 손실을 사용해 이 불균형을 제거한다.
문제 4: 매우 긴 응답의 보상 노이즈 → Overlong Reward Shaping
길이 제한을 초과하는 응답에 단순히 보상 0을 주면, 잘린 응답도 올바른 응답과 동일한 패널티를 받는다. DAPO는 잘린 응답에 연속적인 음의 보상을 부여해 보상 노이즈를 완화한다.
결과: Qwen2.5-32B 기반으로 AIME 2024 50점 달성, DeepSeek-R1-Zero-Qwen-32B 대비 50% 적은 학습 스텝.
µ-GRPO: 오프폴리시 학습으로 롤아웃 오버헤드 제거 (2026.05)
arXiv:2605.17570(2026년 5월 17일, Minghao Tian·Yunfei Xie·Chen Wei)은 GRPO의 시스템 병목을 해결한다.
문제: 롤아웃-최적화 전환 비용
GRPO를 포함한 기존 RL 방법들은 Near On-Policy 제약을 가진다. 정책이 조금이라도 바뀌면 새 롤아웃을 생성해야 하므로, "생성(inference) → 소량 최적화(backprop) → 생성 → ..."의 반복 전환이 빈번하다.
GPU 생성과 최적화는 서로 다른 메모리 접근 패턴을 가져, 이 전환 자체가 상당한 오버헤드를 유발한다.
µ-GRPO의 해결: 스테이지 기반 구조
µ-GRPO는 훈련을 소수의 큰 스테이지로 재구성한다. 각 스테이지에서 대량의 롤아웃을 먼저 생성하고, 그 데이터를 여러 최적화 스텝에 재사용한다.
이 구조는 롤아웃이 오래될수록(staleness 증가) 데이터 품질이 떨어지는 오프폴리시 문제를 내포한다. µ-GRPO는 두 가지 기법으로 이를 안정화한다.
- 완화된 클리핑(Relaxed Clipping): 오래된 롤아웃의 유효한 그라디언트를 더 많이 보존한다.
- 부정 어드밴티지 거부(Negative-Advantage Veto): 부정 어드밴티지 응답의 접미부에서 발생하는 불안정한 그라디언트를 차단한다.
결과: 주요 벤치마크에서 On-Policy GRPO와 동등한 성능을 유지하면서 학습 처리량이 유의미하게 개선되었다.
기타 주요 변형들
| 기법 | 핵심 수정 | 해결하는 문제 |
|---|---|---|
| Dr.GRPO | 어드밴티지 정규화에서 길이·프롬프트 통계를 분리 | 긴 응답이 과도하게 보상받는 현상 제거 |
| GSPO | 시퀀스 수준의 중요도 비율과 클리핑 | MoE 모델에서 불안정성 완화 |
| iGRPO | 자기 피드백 루프로 보상 추가 생성 | 외부 검증기 없이 추론 개선 |
| FIPO | 미래 KL 페널티 가중치 조정 | 지나치게 보수적인 정책 수렴 방지 |
기법 비교 아키텍처
+ Critic 모델
+ 참조 모델
+ 참조 모델
→ 그룹 내 비교
수학/코드 특화
+ Dynamic Sampling
+ 보상 쉐이핑
50% 적은 스텝
롤아웃 재사용
+ 부정 어드밴티지 거부
+ 처리량 개선
선택 가이드
| 상황 | 추천 기법 | 이유 |
|---|---|---|
| 수학/코딩 추론, 메모리 제약 | GRPO + RLVR | Critic 없이 검증 가능한 보상으로 안정적 |
| 긴 Chain-of-Thought(>2K 토큰) | DAPO | 엔트로피 붕괴·토큰 불균형·보상 노이즈 동시 해결 |
| 대규모 클러스터, GPU 처리량 우선 | µ-GRPO | 롤아웃-최적화 전환 오버헤드를 근본적으로 줄임 |
| MoE 대형 모델 | GSPO | 시퀀스 수준 클리핑으로 불안정성 감소 |
| 외부 검증기 없는 창의적 태스크 | PPO + Reward Model | 자동 채점 불가 → Critic 여전히 필요 |
제한과 미해결 문제
- 분포 쏠림(distribution shift): 그룹 상대 기법 모두 정책이 크게 바뀌면 어드밴티지 추정이 빗나간다. µ-GRPO의 오프폴리시 허용은 이 문제를 완화하지만 제거하지 않는다.
- 보상 해킹(reward hacking): 이진 보상은 강력하지만, 형식만 맞추고 내용이 틀린 경우를 잡지 못할 수 있다. 과정 보상 모델(PRM)과의 결합이 2026년의 주요 연구 방향이다.
- KL 가중치 민감도:
β값이 너무 크면 보수적인 수렴, 너무 작으면 참조 모델에서 이탈한다. 도메인마다 수동 튜닝이 필요하다.
요점 정리
PPO에서 GRPO로의 전환은 Critic 메모리 비용을 제거하는 실용적 결정이었다. RLVR이 그 결정을 가능하게 했다.
DAPO는 긴 CoT 학습의 실제 불안정성을, µ-GRPO(2026.05)는 시스템 수준의 처리량 병목을 각각 해결하며 2026년 현재 LLM 추론 학습의 표준 레퍼런스가 되고 있다.
선택 기준: 검증 가능한 보상이 있으면 GRPO 계열, 긴 CoT가 핵심이면 DAPO, GPU 처리량이 병목이면 µ-GRPO.
References
- DeepSeekMath (GRPO 최초 제안, 2024): https://arxiv.org/abs/2402.03300
- DeepSeek-R1 기술 보고서 (2025.01): https://arxiv.org/abs/2501.12948
- DAPO: An Open-Source LLM Reinforcement Learning System at Scale (arXiv:2503.14476): https://arxiv.org/abs/2503.14476
- How Off-Policy Can GRPO Be? µ-GRPO for Efficient LLM Reinforcement Learning (arXiv:2605.17570, 2026.05.17): https://arxiv.org/abs/2605.17570
- GRPO 해설 (Cameron Wolfe): https://cameronrwolfe.substack.com/p/grpo
- DAPO 공개 구현 (verl): https://verl.readthedocs.io/en/latest/algo/dapo.html
- DAPO 공개 구현 (ByteDance GitHub): https://github.com/BytedTsinghua-SIA/DAPO
- Post-Training in 2026: GRPO, DAPO, RLVR & Beyond: https://llm-stats.com/blog/research/post-training-techniques-2026
- Reasoning RL in 2026 (Turing Post): https://www.turingpost.com/p/reasoning-rl-in-2026