Phi-4 Technical Report Review

✅개요

• Phi-4 모델: 14억 파라미터의 언어 모델로, 데이터 품질에 중점을 둔 새로운 학습 방식을 적용.

• 기존 Phi-3 모델의 구조를 기반으로 개발되었으나, 합성 데이터의 활용 및 사후 학습(post-training) 혁신을 통해 성능을 크게 개선.

• 주요 목표: 추론 및 문제 해결 능력을 강화한 모델 제공.

• phi-4의 개발은 세 가지 핵심 기둥에 의해 진행됨.

  1. 사전 훈련 및 중간 훈련을 위한 합성 데이터
     • 이전 phi 모델 대비 합성 데이터의 비중 증가
     • 고품질 합성 데이터셋을 통해 추론 능력과 문제 해결 능력을 강화
  2. 고품질 유기 데이터의 큐레이션 및 필터링
     • 웹, 논문, 코드 저장소 등의 데이터를 철저히 선별하여 합성 데이터 생성의 시드로 사용
     • 데이터를 필터링하여 학습에 직접 활용 → fastText(다국어), HTML-to-text 변환기(방정식, 코드)
     • 모델이 다양한 태스크에서 고르게 학습하도록 데이터 혼합 최적화
  3. 포스트 트레이닝 : SFT 데이터 세트의 새로운 개량된 버전과 핵심 토큰 검색을 기반으로 DPO 쌍을 생성하는 새로운 기술을 개발

• 결과적으로 이전 모델 대비 STEM QA 능력에서 괄목할 만한 성장

💡정리 !

표 1: 벤치마크 성능 비교

그림 1: 수학 대회 점수 비교 (AMC 10/12)

• 비교 대상 : Phi-4, Phi-3, GPT-4o, GPT-4o-mini, Qwen 2.5, Llama-3.3
• 결과
  • Phi-4는 MATH(80.4), GPQA(56.1), HumanEval(82.6) 등 여러 벤치마크에서 뛰어난 성능을 보임.
  • 예: GPQA(대학원 수준 STEM 질문)에서 GPT-4o보다 높은 점수.
  • 코드 평가(HumanEval, HumanEval+)에서도 Llama-3.3 같은 대규모 모델보다 우수.

🪜phi-4 학습 단계

📂Dataset

합성 데이터의 활용

• 목적:
  • 학습 효율성을 높이고, 모델이 더 정교한 추론과 문제 해결 능력을 학습할 수 있도록 지원.
  • 합성 데이터가 학습 중 불필요한 잡음을 제거하고, 모델이 유의미한 패턴을 학습하도록 "스푼피딩(spoonfeeding)" 방식으로 설계.
• 합성 데이터 생성 기술:
  • Multi-Agent Prompting: 여러 AI 모델이 협력해 데이터를 생성.
  • Self-revision: 모델이 스스로 데이터를 검토하고 수정하며, 논리와 정확성을 개선.
  • Instruction Reversal: 코딩과 같은 작업에서 문제를 역으로 재구성하여 새로운 데이터 생성. 코드를 보고 문제 설명을 만들어내는 방식.
  • Chain of Thought: 단계별 추론 과정을 모델에 학습시키기 위해 설계된 데이터.

Alignment with Inference Contexts(추론 맥락 정렬)

• 웹 포럼은 LLM 대화와 매우 다른 스타일
• 합성 데이터는 웹 포럼 데이터를 LLM의 대화 스타일로 다시 작성하여, 정보를 추론 시 더 쉽게 접근 할 수 있도록 처리
• 즉, 웹 데이터의 스타일을 LLM 대화 형식으로 변환하여 추론 정확도 향상

합성 데이터 생성 과정

50가지 유형의 합성 데이터셋 생성
각 유형은 서로 다른 시드(seeds)와 다단계 프롬프팅 절차에 기반

1. Seed Curation

• 고품질 시드를 기반으로 웹, 코드, 도서 등 다양한 데이터 소스에서 추론 중심 데이터를 생성
• 다수결 기반 필터링과 Q&A 재구성을 통해 높은 학습 효과를 지닌 데이터셋 구축

2. Rewrite and Augment

• 다단계 프롬프팅 워크플로를 통해 시드를 합성 데이터로 변환
• 주어진 단락의 유용한 콘텐츠를 연습 문제, 토론, 체계적인 추론 태스크로 재작성

3. Self-revision

• 초기 응답을 반복적으로 개선하는 피드백 루프
  • 모델이 스스로 결과를 평가하고 수정하며 데이터 품질 향상*

4. Instruction Reversal

• 기존 코드에서 문제를 역으로 재구성하여 새로운 데이터 생성

5. Validation of Data

• 코드와 과학 데이터를 실행 테스트 및 논리적 평가를 통해 검증

🪄pretraining

• phi-4 모델은 14억 파라미터를 가진 디코더 전용(transformer decoder-only) 아키텍처를 기반 기본 문맥 길이는 4K

사전 학습 데이터 구성

두 실험 결과를 바탕으로, phi-4 모델은 웹 데이터와 합성 데이터을 혼합하는 새로운 데이터 혼합 전략을 채택함

그림 2: 합성 데이터 반복 학습 효과

• 동일한 합성 데이터를 사용하며, 4 에포크와 12 에포크 학습 결과 비교 (5-shot MMLU 점수).
• 결과:

  • 12 에폭 모델이 4 에폭 모델보다 더 높은 성능을 기록함

  • 합성 데이터를 반복적으로 학습했음에도 과적합(overfitting)이 발생하지 않음

    → 합성 데이터의 반복 학습이 모델의 추론 성능에 긍정적인 영향을 미침

표 3: 합성 데이터와 웹 데이터 비교

• 동일한 크기의 모델을 사용하며, 학습 데이터 혼합에 따른 벤치마크 성능 비교
• 결과:
  • TriviaQA(지식 중심 벤치마크)에서 큰 성능 격차 발생함
  • 웹 데이터 부족이 주요 원인으로 지목됨.
    • 지식 태스크에서는 웹 데이터의 역할이 중요함

그림 2와 표3 해석

• 합성 데이터의 반복 학습은 과적합 없이 성능을 향상 시킬 수 있다.
• 웹 데이터와 합성 데이터 간 균형 잡힌 데이터 구성이 중요하다.

——————————————————————————————————————————————

데이터 혼합 구성

사전 학습에 사용할 **데이터 혼합(data mixture)**을 설계하기 위해, 다양한 데이터 소스에서 할당된 토큰 비율을 조정하는 실험을 진행함

1. 데이터 소스 구성

• Synthetic Data: 합성 데이터
• Filtered Web: 크롤링한 웹 데이터를 철저히 필터링한 고품질 데이터
• Web Rewrites: 필터링된 웹 데이터를 재작성한 데이터
• Targeted Acquisitions: 학술 자료, 도서, 포럼과 같은 유기적 데이터
• Code Data: 코드 데이터(합성 및 원시 코드 혼합)

2. 데이터 혼합 실험

표4 데이터 혼합 비율 성능 비교

• Targeted Acquisitions와 Code Data 비율은 고정

  • 짧은 토큰 한계(1조 토큰)를 두고 데이터 혼합을 파악하기 위해 평가 진행

• 결과:

  • Uniform Allocation(동일 비율): 세 데이터(S, W, WR)를 동일하게 할 경우, 성능 최적이 아님
  • S-heavy(합성 데이터 높은 비율): 대부분 벤치마크에서**(평균적으로) 더 나은 성능을 나타냄**
  • S + W: TQA 벤치마크에서만 이점을 보여줌

• 최종 데이터 혼합은 합성 데이터, 웹 데이터, 웹 리라이트 간 균형을 맞추며 모든 태스크를 고르게 개선하도록 설계

3. 최종 데이터 혼합 구성

표5 최종 데이터 비율

• Web & Web Rewrites (30%):
  • 전체의 30%(각각 15%씩) 할당됨.
• Synthetic Data (40%):
  • 전체의 40% 할당하며 주요 데이터 소스로 활용.
• Code Data (20%):
  • 합성 및 원시 코드 데이터를 혼합하여 사용.
• Targeted Acquisitions (10%):
  • 학술 자료, 도서 등 유기적 데이터를 포함.

——————————————————————————————————————————————

🪄Midtraining

• 문맥 길이를 기존 4K에서 16K로 확장.
• 긴 문맥 작업에서 성능을 향상시키기 위해 긴 문맥 데이터를 추가적으로 생성 및 활용.

표 2: Phi-4(16K 컨텍스트)와 Phi-3 비교

표 4: 데이터 구성의 변화에 따른 성능

• Synthetic(S), Web(W), Web Rewrite(WR) 데이터의 비중.
• Synthetic 데이터를 많이 사용할수록 MMLU, MATH 등 추론 중심 작업에서 성능이 더 좋음.
• Web 데이터는 TQA와 같은 지식 기반 작업에서 효과적.

표 5: 사전 학습 데이터 혼합 비율

• 구성 비율:
  • Synthetic: 40% (290B 토큰, 13.8 epoch)
  • Web + Web Rewrite: 30%
  • Code Data: 20%
  • Acquired Sources: 10% (Academic, Books 등)

학습 데이터 구성

• 30%: 새로 큐레이션한 긴 문맥 데이터
  • 학술 자료, 책, 코드 데이터를 필터링하여 16K 이상의 샘플을 선별
• 70%: 사전 학습 단계에서 사용된 기존 데이터의 토큰

중간 학습 평가

• HELMET 벤치마크를 통해 성능 평가
• 결과:
  • ICL(68→77), Re-rank(65.3→75.4), QA(26.7→36) 항목에서 눈에 띄게 개선됨
  • 문맥 길이 확장이 성능 개선에 기여했음을 보여줌

[참고] 6가지 평가 항목

실제 응용 사례를 반영한 HELMET 평가 세트를 사용해 긴 문맥에서의 성능 평가.
평가는 각 태스크에서 5번 반복 실행한 평균값으로 보고.

1. Recall (SubEM)
   • 태스크: 긴 JSON 파일에서 특정 키에 해당하는 값을 검색.
   • 데이터셋: 랜덤 생성 JSON 파일.
2. RAG (SubEM)
   • 태스크: 많은 위키백과 문서를 검색 및 셔플한 후 질문에 답변.
   • 데이터셋: NaturalQuestions, HotpotQA, PopQA.
   • 결과: 데이터셋 평균.
3. Re-rank (nDCG@10)
   • 태스크: 쿼리와 많은 검색 문서가 주어졌을 때, 상위 10개 문서를 재정렬.
   • 데이터셋: MSMARCO.
4. ICL (F1)
   • 태스크: 여러 샷의 In-Context Learning.
   • 데이터셋: TREC coarse, TREC fine, Banking77, NLU, CLINC150.
   • 결과: 데이터셋 평균.
5. QA (GPT-4o scoring)
   • 태스크: 긴 문서를 기반으로 질문에 답변.
   • 데이터셋: NarrativeQAv2.
6. Summ (GPT-4o scoring)
   • 태스크: 긴 법률 문서를 요약.
   • 데이터셋: MultiLexSum.

표6 HELMET 벤치마크에서 long-context 평가 결과

• 평가 항목: Recall, RAG, QA, Summarization 등.
• 결과: Phi-4는 긴 문맥(16K 컨텍스트)에서 대부분의 모델에 비견되는 성능을 발휘.

🪄post training

표 7 & 8: DPO 데이터 혼합

• 표 7: 첫 번째 DPO 단계(Pivotal Token DPO) 데이터.
  • 주요 항목: 수학 데이터(76,552), Python 코드(16,080).
• 표 8: 두 번째 DPO 단계(Judge-Guided DPO) 데이터.
  • 데이터 총합: 약 850,000 샘플.
  • 안전성 및 정확성 향상을 위해 GPT-4o 기반 판단 추가.

✅DPO 과정

DPO^[1]는 두 단계로 이루어지며, 각 단계에서 데이터 쌍(pairs of desired and undesired outputs)을 활용

(1) 첫 번째 단계: Pivotal Token Search (PTS) 기반 DPO

• 기법:
  • Pivotal Token Search (PTS)를 사용하여 중요 토큰(pivotal tokens)을 식별
  • PTS를 통해 긍정적인 응답과 부정적인 응답의 데이터 쌍을 생성하여 학습 데이터로 사용
• 효과:
  • 수학, 코딩, 그리고 복잡한 추론 작업에서 모델의 성능을 향상 시킴

(2) 두 번째 단계: Judge-Guided DPO

• 데이터 생성:
  • 약 85만 개의 데이터 쌍(850k pairs)을 생성
  • 프롬프트는 공개된 instruction tuning datasets 및 안전성(Responsible AI, RAI) 관련 프롬프트에서 수집
• 응답 생성 및 평가:

  • 각 프롬프트에 대해 GPT-4o, GPT-4t, Phi-4 모델에서 생성된 응답을 수집

  • 생성된 응답 쌍에서 GPT-4o를 심판(judge)으로 사용하여 다음 기준으로 긍정적/부정적 응답을 분류:

    1. 정확성(Accuracy).
    2. 스타일(Style).
    3. 세부성(Detail).

  • 평균 점수 또는 정확성 기준으로 긍정 응답을 선택

Pivotal Token의 개념

• 일부 토큰은 성공 확률의 급격한 변화를 유발하며, 이러한 토큰을 Pivotal Token이라고 함.

• 모델이 프롬프트에 대해 응답을 생성할 때, 각 토큰은

  $$
  p(success∣t1,...,ti)
  $$

  위 조건부 성공 확률 에 기여 함

• 예를 들어, 수학 문제 풀이 과정에서 중요한 단어(예: "곱셈" 또는 "부호")가 결과의 성공과 실패를 결정짓는 역할을 할 수 있음.

표9: 사후학습(Post-training) 벤치마크 점수

• 특정 토큰(예: "negative")이 결과에 중요한 영향을 미침.
• 추론 성공 확률에 크게 기여하는 토큰을 학습 대상으로 설정.

주어진 프롬프트에 대한 토큰별 응답을 생성하는 생성 모델을 고려함. 모델 응답에 해당하는 생성된 각 토큰에 대해 해당 토큰을 기준으로 모델의 답변이 옳을 조건부 확률과 해당 토큰에 대한 이 확률의 증가분(즉, 해당 토큰을 생성하기 전과 후에 옳을 확률의 차이)을 고려

그림 4: 피보탈 토큰(Pivotal Token) 탐지 예시

피봇탈 토큰 알고리즘

(1) Subdivide 함수 -> 재귀 탐색 시작
(2) Pivotal Token 탐지 -> 변화량이 𝑝gap이상이면 피봇탈 토큰 식별
(3) 반복 및 출력
(4) t-acc, t-rej 선별

그림 5: 피봇탈 데이터

PTS 알고리즘의 데이터 생성 흐름

1. 성공 확률 분석:
   • 각 토큰이 응답의 성공 확률에 미치는 영향을 계산.
   • 성공 확률이 pgap(임계값) 이상 변화하는 토큰을 탐지.
2. Good/Bad 응답 분류:
   • Good 응답: 성공 확률을 높이는 피보탈 토큰 포함.
   • Bad 응답: 성공 확률을 낮추거나 무관한 토큰 포함.
3. 학습 데이터 생성:
   • 탐지된 피보탈 토큰을 기반으로 긍정/부정 학습 데이터 쌍을 생성.

그림 6: SimpleQA 성능 변화

• 정답률(Correct): 질문에 대해 정확히 답변한 비율.
• 비응답률(Not attempted): 모델이 답변을 시도하지 않은 비율.
• 오답률(Incorrect): 질문에 대해 잘못된 답변을 생성한 비율.

사후 학습 과정에서 잘못된 추론이 감소하고, 모델이 답변을 포기(not attempted)하는 비율이 증가.

더 나은 사용자 경험을 위해 고도화된 학습 전략이 반영됨.

• Base SFT:
  • 정답 비율: 약 6.8%.
    • 모델이 단순한 질문에도 잘못된 응답(환각)을 자주 생성.
  • 오답 비율: 대부분의 응답이 잘못된 답변으로 구성.
• DPO 1단계:
  • 정답 비율 증가: 약 57.5%.
    • PTS로 생성한 데이터를 학습하면서 모델이 더 많은 질문에 정확하게 답변.
  • 비응답 비율 증가: 환각 대신 질문을 시도하지 않는 응답이 증가.
    • 모델이 확실하지 않은 경우 오답을 생성하지 않고 응답을 회피하도록 학습됨.
  • 오답 비율 감소: 약 10% 미만.
• DPO 2단계:
  • 정답 비율 최종 증가: 약 81.1%.
    • Judge-Guided 평가로 학습 데이터를 정제하면서 정답률이 대폭 상승.
  • 비응답 비율 약간 감소: 비응답 비율이 감소하면서 모델의 자신감이 높아짐.
  • 오답 비율 최소화: 약 3.0%로 낮아짐.

표 9: 사후 학습 과정 중 벤치마크 변화

• DPO(선호 최적화) 단계별 성능:
  • GPQA(47.3 → 56.1), MATH(77.1 → 80.4) 등에서 지속적인 성능 향상.
  • 특징: 첫 번째 DPO(피보탈 토큰 기반)는 추론 강화에 효과적이고, 두 번째 DPO(판단 기반)는 스타일 및 표현에 강점.

표 10: RAI(책임 있는 AI) 벤치마크

Phi-4는 유해 콘텐츠 생성 가능성(0.036) 및 탈출(jailbreak) 시도(0.073)에서 낮은 결함률을 보임.

RAI 기준을 충족하며, 경쟁 모델 대비 높은 안정성과 정확성을 보여줌.

QA

backbone model은?

Phi-4는 Phi-3-medium을 기반으로 함
Phi-3의 아키텍처는 llama 2의 아키텍처를 따름

4k → 16k 변경 이유

긴 문맥이 필요한 작업(예: 긴 문서 요약, 코드 분석, 대규모 데이터셋 질의)을 처리하기 위해 컨텍스트 길이의 확장이 필요했음

긴 문맥을 처리하기 위한 모델 구조와 데이터는 초기 학습에서 매우 불안정하게 작동할 가능성이 높음

따라서 4K 학습에서 축적된 지식을 기반으로 16K 학습을 진행하면, 긴 문맥에서도 더 빠르고 안정적으로 학습이 가능

중간학습 70%에 재사용된 기존 데이터는 어떻게 구성되어 있나?

구체적인 수치는 오픈되어 있지 않지만 모든 데이터를 다 재사용 한 것은 아니고 샘플링을 해서 비율을 맞추었다고 한다.

Trivia

DPO 1, 2의 순서가 바뀌면 성능에 영향이 있을까?

아마 그러할 것이다. Judge의 경우 정보량을 줄이는 효과가 있어 가장 마지막 단계에 넣는 것이 효과적일 가능성이 높다. 조금 정확도가 떨어지는 정보여도 최대한 학습시키고 나중에 잘못 되었다는 가중치를 받아 출력으로 가지 못하게 하는 것이 (삭제나 탈학습-unlearing이 아님) 성능 측면에서는 유리한 면이 있다.