Phi-4-Reasoning-Vision-15B: 훈련 시점에 생각을 심어 200B 토큰으로 경쟁력을 내는 멀티모달 추론 모델

왜 지금 봐야 하나

2026년 3월 4일 Microsoft가 공개한 Phi-4-Reasoning-Vision-15B는 이 시리즈의 90일 기준선(2026년 4월 말)보다 약 55일 이른 출시다. 그럼에도 다루는 이유가 있다. 이 모델이 도입한 훈련 시점 think/no-think 설계가 추론 모델 엔지니어링에서 충분히 조명되지 않은 채 넘어갔기 때문이다. 이 시리즈가 180일 기준선을 적용하며 선택할 수 있는 가장 기술적으로 구별되는 주제 중 하나다.

그동안 이 시리즈에서 다룬 추론 효율화 기법은 주로 추론 시점(inference-time) 접근에 집중했다. Claude의 effort 파라미터, SGLang의 Spec V2, vLLM의 투기적 디코딩이 그 예다. Phi-4-Reasoning-Vision-15B는 레이어가 다르다. 어떤 입력이 깊은 사고를 필요로 하고 어떤 입력이 즉각 응답으로 충분한지를 훈련 데이터 구성 단계에서 20/80 비율로 내재화한다. 결과적으로 15B 파라미터 모델이 1조 토큰 이상을 학습한 훨씬 큰 멀티모달 모델과 특정 도메인에서 경쟁력을 유지한다.

멀티모달 추론 모델을 운영하거나 도입을 검토하는 엔지니어라면, 이 설계 결정이 실제 배포 비용과 응답 레이턴시에 무엇을 의미하는지 확인할 필요가 있다.

모델 스펙 요약

아키텍처: SigLIP-2 Naflex + Mid-fusion

세 가지 멀티모달 융합 전략

멀티모달 모델은 이미지와 텍스트를 어느 단계에서 결합하느냐에 따라 세 방향으로 나뉜다.

• Early-fusion: 이미지 픽셀과 텍스트 토큰을 처음부터 동일한 스트림에서 처리한다. 표현이 가장 풍부하지만 훈련 비용이 매우 크다.
• Late-fusion: 이미지와 텍스트를 각각 독립된 경로로 처리한 뒤 최종 레이어에서 합산한다. 구현은 간단하지만 교차 정보 활용이 제한적이다.
• Mid-fusion: 사전 훈련된 비전 인코더가 이미지를 토큰 시퀀스로 변환하고, cross-modality projector가 이를 LLM 임베딩 공간에 투영한 뒤 언어 백본이 통합 처리한다.

Microsoft는 mid-fusion을 선택했다. 사전 훈련된 SigLIP-2 Naflex 인코더를 재활용해 멀티모달 훈련 비용을 줄이면서도, 이미지와 텍스트의 교차 정보를 트랜스포머 레이어 전체에서 활용한다.

SigLIP-2 Naflex: 동적 해상도의 실질 효과

SigLIP-2의 Naflex 변형은 입력 이미지 해상도에 따라 생성하는 비주얼 토큰 수를 동적으로 조정한다. 고해상도 문서나 GUI 스크린샷에서는 최대 3,600개 토큰을 사용하고, 단순 이미지 캡션에서는 훨씬 적은 토큰으로 처리한다.

Microsoft 팀의 실험에서 "동적 해상도 비전 인코더가 고해상도 데이터에서 특히 뛰어난 성능을 보인다"는 결론이 나왔다. 고정 해상도 방식과의 ablation에서 ScreenSpot_v2(GUI 그라운딩) 점수 차이가 유의미하게 나타났다.

핵심 설계: 훈련 시점의 think/no-think 결정

추론 시점 기법과의 차이

이 시리즈에서 다룬 대부분의 추론 효율화 기법은 추론 시점 접근이다.

훈련 데이터 구성 예시:

[THINK - 수학 문제]
<think>
x² - 5x + 6 = 0 을 인수분해하면 (x-2)(x-3) = 0 이므로
x = 2 또는 x = 3
</think>
답: x = 2 또는 x = 3

[NOTHINK - 이미지 캡션]
<no_think>
이 이미지는 도심 공원의 나무 벤치를 보여줍니다.

추론 시점에는 <think> 또는 <no_think> 토큰을 명시적으로 지정할 수도 있고, 모델이 입력 유형을 보고 스스로 판단하게 둘 수도 있다.

왜 이것이 운영 비용에 영향을 미치는가

프로덕션 멀티모달 모델에서 가장 흔한 비효율 중 하나는 모든 요청에 동일한 추론 깊이를 적용하는 것이다. "이 이미지의 배경색은?" 같은 단순 지각 질문에도 수백 개의 CoT 토큰이 생성되면 처리량(throughput)과 응답 레이턴시가 동시에 악화된다.

Phi-4-Reasoning-Vision-15B에서는 단순 지각 입력이 들어오면 <no_think> 경로로 직접 답변을 생성한다. 복잡한 수학이나 GUI 탐색 입력에는 <think> CoT가 활성화된다. API 호출자가 매 요청마다 effort를 조정할 필요 없이, 모델 자체가 적절한 응답 깊이를 선택한다.

훈련 데이터: 품질 우선 전략

1조 토큰과의 격차를 메운 방법

200B 토큰 규모에서 경쟁력을 낸 핵심은 두 가지 데이터 처리 방식이다.

오류 교정: 공개 데이터셋에서 틀린 답변이 있는 항목을 GPT-4o로 재생성했다. "우수한 데이터는 그대로 유지했고, 잘못된 답변이나 품질이 낮은 캡션의 경우 GPT-4o를 사용해 응답을 재생성했다"고 기술 보고서는 명시한다.

수학 데이터 3배 복제: 수학 관련 훈련 데이터를 3배로 늘렸을 때 수학 벤치마크만 오른 것이 아니다. 컴퓨터 사용 관련 벤치마크도 동시에 향상됐다. 수학적 추론 능력이 GUI 탐색과 단계별 문제 분해 능력으로 전이된 것으로 해석된다.

벤치마크 성능

Microsoft 연구팀은 논문에서 "10배 이상의 컴퓨트가 필요한 훨씬 느린 모델과 경쟁력 있는 성능을 달성한다"고 밝혔다.

ScreenSpot_v2 88.2%는 특히 주목할 만하다. UI 자동화(RPA 대체, 에이전틱 컴퓨터 사용)는 GUI 요소를 화면에서 정확히 찾아내는 그라운딩 능력에 직접 의존한다. 15B 규모에서 이 수치는 자체 호스팅 배포의 실용적 가능성을 의미한다.

운영 시 고려사항

1. THINK vs. NOTHINK 선택

추론 시점에 <think> 또는 <no_think> 토큰을 명시하면 동작을 강제할 수 있다. 명시하지 않으면 모델이 입력 유형을 보고 자동으로 판단한다.

권장 패턴:

• 수학 문제 풀이, 다단계 과학 추론 → <think> 명시
• 이미지 캡션, OCR, 단순 분류 → <no_think> 명시 또는 자동
• 혼합 파이프라인에서 입력 유형 분기가 어려운 경우 → 자동 판단 허용

2. 컨텍스트 길이와 토큰 예산 관리

최대 컨텍스트는 16,384 토큰이다. 고해상도 이미지(최대 3,600 비주얼 토큰)에 긴 텍스트 컨텍스트가 붙으면 제한에 쉽게 도달한다. 이미지 해상도와 텍스트 컨텍스트 양을 균형 있게 설계해야 한다.

3. 도입 판단 기준

4. 가용 경로

• Microsoft Foundry: 관리형 API 엔드포인트
• HuggingFace: microsoft/Phi-4-reasoning-vision-15B (모델 가중치, 파인튜닝 코드, 평가 로그 포함)
• GitHub: microsoft/Phi-4-reasoning-vision-15B
• arXiv: 기술 보고서 2603.03975

Open question

• THINK 모드와 NOTHINK 모드의 실제 레이턴시(토큰/초) 차이가 공식 자료에 명시되어 있지 않다. 도메인별 실측이 필요하다.
• 20/80 훈련 비율이 모든 도메인에서 최적인지는 태스크 분포에 따라 달라진다. 논문 자체도 이를 인정한다.
• 16,384 토큰 컨텍스트 제한이 장문 문서 멀티모달 워크로드에서 병목이 될 수 있다.

References

• Phi-4-reasoning-vision and the lessons of training a multimodal reasoning model — Microsoft Research Blog
• Phi-4-reasoning-vision-15B Technical Report (arXiv:2603.03975)
• microsoft/Phi-4-reasoning-vision-15B on HuggingFace
• Introducing Phi-4-Reasoning-Vision to Microsoft Foundry — Microsoft Community Hub
• Microsoft built Phi-4-reasoning-vision-15B to know when to think — VentureBeat
• Phi-4-Reasoning-Vision-15B Technical Report — Microsoft Research