以判別式監(jiān)督學(xué)習(xí)強化推理LLM，解決難度偏差和熵崩塌難題

作者介紹：德州農(nóng)工大學(xué)博士生李港，專注于設(shè)計和應(yīng)用高效算法到大規(guī)模機器學(xué)習(xí)和人工智能任務(wù)，包括增強大型基礎(chǔ)模型的后訓(xùn)練算法、對抗性魯棒學(xué)習(xí)算法和分布魯棒性學(xué)習(xí)算法。曾發(fā)表數(shù)篇論文在 NeurIPS、ICML、KDD 等頂會， 并作為主要貢獻者之一發(fā)布了針對不平衡分類任務(wù)的知名軟件包 LibAUC。

DeepSeek-R1 的成功吸引了人們對群體相對策略優(yōu)化（GRPO）作為大型推理模型（LRM）強化學(xué)習(xí)方法的廣泛關(guān)注。

在本文中，作者分析了二元獎勵（binary reward）設(shè)置下的 GRPO 優(yōu)化目標，發(fā)現(xiàn)了由其群體相對優(yōu)勢函數(shù)引起的問題難度偏差的固有局限性，并且揭示了 GRPO 與傳統(tǒng)判別式監(jiān)督學(xué)習(xí)方法之間的聯(lián)系。

基于這些分析發(fā)現(xiàn)，作者提出了一個新穎的判別式約束優(yōu)化（DisCO）框架來強化大型推理模型。該框架基于判別式學(xué)習(xí)的基本原則：增加正確答案的得分，同時減少錯誤答案的得分。

與 GRPO 及其變體相比，DisCO 具有以下優(yōu)勢：

1. 它通過采用判別式優(yōu)化目標完全消除了難度偏差
2. 通過使用非裁剪評分函數(shù)和約束優(yōu)化方法，解決了 GRPO 及其變體的熵不穩(wěn)定性，得到了長期穩(wěn)定的訓(xùn)練動態(tài)；
3. 它允許結(jié)合先進的判別式學(xué)習(xí)技術(shù)來解決數(shù)據(jù)不平衡問題，例如在訓(xùn)練過程中一些問題的錯誤答案遠遠多于正確答案。

在增強大型模型的數(shù)學(xué)推理能力方面的實驗表明，DisCO 大幅優(yōu)于 GRPO 及其改進版本（如 DAPO），在 1.5B 模型的六個基準任務(wù)中，平均增益比 GRPO 高 7%，比 DAPO 高 6%。值得注意的是，最大響應(yīng)長度（max response length）為8k 的 DisCO甚至優(yōu)于最大響應(yīng)長度為 32k 的 GRPO。

論文以「5，5，5，5」的高分被 NeurIPS 2025 接收。

• 論文標題：DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization
• 論文地址：https://arxiv.org/abs/2505.12366
• 開源模型地址：https://huggingface.co/collections/ganglii/disco-681b705decb9979e65614d65
• GitHub 地址：https://github.com/Optimization-AI/DisCO

GRPO 的難度偏差問題分析

GRPO 的核心思想在于對輸入問題 q 生成多個輸出，并定義群體相對優(yōu)勢函數(shù)。當(dāng)采用期望形式而非經(jīng)驗平均時，其優(yōu)化目標為：

其中：

從上面的變式分析中，作者有兩個重要發(fā)現(xiàn)：

1. 與判別式監(jiān)督學(xué)習(xí)的聯(lián)系

2. 難度偏差（Difficulty Bias）

提出方法：判別式強化學(xué)習(xí)

1. 判別式目標函數(shù)（類似 AUC 優(yōu)化）

基于上述與 AUC 最大化聯(lián)系的分析發(fā)現(xiàn)，作者直接從判別式學(xué)習(xí)的原則重新設(shè)計了新的判別式強化學(xué)習(xí)框架：

為了避免其他研究發(fā)現(xiàn)的由裁剪操作引起的熵崩塌現(xiàn)象，作者設(shè)計選擇非裁剪評分函數(shù)， 例如

2. 基于 DRO 的判別式目標函數(shù)（類似局部 AUC 優(yōu)化）

基于判別式學(xué)習(xí)原則設(shè)計目標函數(shù)的一個優(yōu)點是能夠利用文獻中先進監(jiān)督學(xué)習(xí)技術(shù)來改進訓(xùn)練。推理模型的強化學(xué)習(xí)微調(diào)的一個關(guān)鍵挑戰(zhàn)就是稀疏獎勵，這導(dǎo)致答案生成的不平衡。具體來說，對于一些問題，錯誤答案的輸出的數(shù)量可能大大超過正確答案的數(shù)量，這反映了一個經(jīng)典的數(shù)據(jù)不平衡問題。這個問題在判別式學(xué)習(xí)領(lǐng)域中得到了廣泛的研究。

為了解決這個問題，作者利用局部 AUC 優(yōu)化設(shè)計了分布魯棒性優(yōu)化（DRO）目標：

3. 約束優(yōu)化（穩(wěn)定訓(xùn)練）

為了穩(wěn)定訓(xùn)練，作者借鑒 TRPO 中的信任域思想，加入 KL 散度約束，形成以下優(yōu)化問題：

不同于 TRPO 的二階優(yōu)化方法，作者采用近期發(fā)展的一種非凸不等式約束優(yōu)化策略，將約束替換為平滑的方形鉸鏈懲罰項 (squred hinge penalty)：

實驗結(jié)果與分析

測試效果對比

作者采用平均 16 次輸出的 Pass@1 作為評價指標，在六個數(shù)學(xué)基準數(shù)據(jù)集上評估了 DisCO 和其他基線方法。

從下表觀察到，作者提出的 DisCO 方法始終顯著優(yōu)于其他基線方法。值得注意的是，訓(xùn)練和推理長度均為 8k 的 DisCO （log-L）比 GRPO 平均提高了 7％，超過了以最大 24k 長度訓(xùn)練并以 32k 長度評估的 DeepScaleR-1.5B-Preview。在 7B 模型實驗中，DisCO 也大幅優(yōu)于所有基線方法，比 GRPO 平均提高了 3.5％。

在上面這張表格中，作者展示了多種強化學(xué)習(xí)方法在 1.5B 模型上的效果對比。作者也加入了 OpenAI 的 o1-preview 模型作為參考基線。 表中的 MRL（Max Response Length）表示訓(xùn)練或測試時使用的最大響應(yīng)長度，限制模型能生成多長的推理結(jié)果。 其中用陰影標注的模型，是其他團隊所訓(xùn)練的成果，相應(yīng)的指標也來自他們的原始論文或 DeepScalaR 項目。除了這些以外，其余結(jié)果要么來自現(xiàn)有模型的直接評估，要么是基于不同方法訓(xùn)練后得到的結(jié)果。 值得注意的是，表格下半部分的所有方法，都是基于相同的數(shù)據(jù)集（DeepScaleR），對 DeepSeek-R1-Distill-Qwen-1.5B 模型進行微調(diào)的結(jié)果。其中，DS 是 DeepSeek-R1 的縮寫，DSR 是 DeepScalaR 的縮寫。

訓(xùn)練動態(tài)對比

隨著大規(guī)模強化學(xué)習(xí)訓(xùn)練成為改進推理模型的核心技術(shù)，學(xué)習(xí)算法的穩(wěn)定性至關(guān)重要，因為學(xué)習(xí)穩(wěn)定性決定了學(xué)習(xí)算法是否適用于大規(guī)模訓(xùn)練。作者從訓(xùn)練獎勵和生成熵的角度比較了不同方法的訓(xùn)練動態(tài)。

從下圖對 1.5B 和 7B 模型進行微調(diào)的實驗中，我們可以看到，由于 GRPO、GRPO-ER、Dr. GRPO 的熵崩塌和 DAPO 的熵過度增長，它們都只能獲得早熟的確定性策略或高度隨機的策略，所有基線都出現(xiàn)了過早飽和。使用 KL 散度正則化的 TRPA 在后面的步驟中也觀察到不穩(wěn)定的生成熵。

相比之下，作者提出的 DisCO 使用兩種非裁剪評分函數(shù)的方法最為穩(wěn)定，訓(xùn)練獎勵不斷增加，生成熵保持相對穩(wěn)定。

上圖展示不同方法在訓(xùn)練過程中的動態(tài)表現(xiàn)：左邊兩張圖展示的是在訓(xùn)練 1.5B 模型時的訓(xùn)練情況，右邊兩張圖則對應(yīng)于訓(xùn)練 7B 模型。圖 (a) 和 (c) 展示了訓(xùn)練獎勵隨訓(xùn)練步數(shù)的變化情況，獎勵是對每一步中用于訓(xùn)練的問題所生成答案的平均得分。圖 (b) 和 (d) 展示的是生成結(jié)果的熵值（反映輸出的多樣性）隨訓(xùn)練步數(shù)的變化趨勢。

消融實驗

從下圖中可以看到，作者提出的每個組件在 DisCO 的改進中都很重要，其中使用非裁剪評分函數(shù)是至關(guān)重要的。

總結(jié)

在這項工作中，作者提出了一種新的判別式約束優(yōu)化框架用于強化大型推理模型，避免了難度偏差和熵崩塌問題。數(shù)學(xué)推理實驗表明，與 GRPO 及其最近的變體相比，本文方法具有顯著的優(yōu)越性。

雖然這項工作主要關(guān)注的是二元獎勵，但是對于非二元獎勵，可以考慮利用監(jiān)督學(xué)習(xí)中排序目標函數(shù)或者其他新穎的評分函數(shù)來進行設(shè)計。作者將應(yīng)用判別式約束優(yōu)化微調(diào)更大的模型或其他推理任務(wù)留作后續(xù)研究。