One image is all you need多模態(tài)指令數(shù)據(jù)合成，只管給圖給Oasis

近年來，多模態(tài)指令數(shù)據(jù)合成方法多依賴人工設(shè)計復(fù)雜的合成提示詞（prompt），耗費大量人力與時間成本。在文本數(shù)據(jù)合成領(lǐng)域，MAGPIE [1] 是一個非常成功的合成方法，該方法無需用戶提供任何 prompt，僅以 <|im_start|> 這類特殊 token 作為模型輸入，即可完成數(shù)據(jù)合成。

受啟發(fā)于 MAGPIE，本文中來自同濟大學(xué)、字節(jié)跳動和愛丁堡大學(xué)的研究者提出了一種新型多模態(tài)指令數(shù)據(jù)合成方法，只需用戶提供圖片（即，VLM 中常用的特殊 token ），Oasis 會自動完成指令合成、質(zhì)量控制和回復(fù)生成，產(chǎn)出高質(zhì)量的數(shù)據(jù)。

同時，為了支持進一步研究，該研究提供了一個全新的開源代碼庫 MM-INF，該庫涵蓋了 Oasis 和一些常用的多模態(tài)數(shù)據(jù)合成方法，并不斷進行更新維護，歡迎大家試用并提供寶貴的反饋意見。

• 論文鏈接：https://arxiv.org/abs/2503.08741
• 代碼鏈接：https://github.com/Letian2003/MM_INF
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/WonderThyme/Oasis

研究動機

上圖展示了常用數(shù)據(jù)合成鏈路與 Oasis 的流程對比，常用的數(shù)據(jù)鏈路可能會存在以下三類問題：

1. 多樣性缺失：大量方法依賴固定不變的提示詞與合成流程，嚴重限制了數(shù)據(jù)的覆蓋范圍與難度層次，導(dǎo)致生成數(shù)據(jù)同質(zhì)化嚴重；
2. 質(zhì)量不足：現(xiàn)有技術(shù)難以穩(wěn)定產(chǎn)出能顯著提升多模態(tài)大語言模型（MLLMs）表征能力的高質(zhì)量合成數(shù)據(jù)，多數(shù)研究不得不退而求其次，采用基于圖像描述（caption）的二次生成策略，效果與效率均不理想；
3. 依賴人工：流程繁瑣且成本高企。即便看似 「一站式」的合成框架，在關(guān)鍵環(huán)節(jié)（如設(shè)計數(shù)據(jù)模式、編寫提示詞等）仍需大量人工參與，不僅費時費力，還使整個數(shù)據(jù)合成過程低效且繁瑣。

本文提出的Oasis 僅依靠圖像生成數(shù)據(jù)，打破了依賴預(yù)設(shè)文本提示詞（ + [text prompt]）的傳統(tǒng)多模態(tài)輸入模式。 該方法誘導(dǎo)強大的 MLLM 僅基于輸入的圖像（作為 < image> token 輸入），利用其自身的知識和自回歸特性，自主生成多樣化、與圖像內(nèi)容相關(guān)的指令。完全不需要人工提供任何前置的文本提示詞。研究者深入分析了高質(zhì)量指令應(yīng)具備的屬性，并據(jù)此精心設(shè)計了一系列篩選標準，用于自動過濾掉生成指令中的低質(zhì)量數(shù)據(jù)。

方法介紹

概述

方法如上圖所示，主要有三個步驟：

1. 構(gòu)造 「鉤子提示詞（hooking prompt）」以誘導(dǎo)模型進行自回歸采樣；
2. 對采樣結(jié)果進行分類，只保留指令型采樣結(jié)果；
3. 進行指令質(zhì)量控制 & 回復(fù)生成。

我們以 Qwen2-VL 為例，詳細介紹這三個步驟。

第一步：構(gòu)造 「hooking prompt」 誘導(dǎo)模型進行自回歸采樣

以圖像描述為例，一個典型的 MLLM 輸入為 「<|im_start|>User\nDescribe the image.<|im_end|>\n<|im_start|>Assisstant」，MLLM 感知到當前的 role 為 Assistant 后，會生成關(guān)于指令的回復(fù)。

我們提取完整輸入中的前綴 「<|im_start|>User\n」，送入到 VLM 中進行采樣，由此生成的回復(fù)是不受任何人為 bias 影響的，唯一的 condition 是圖片自身；

在采樣過程中，生成的數(shù)據(jù)大致可分為兩類：指令型（instruction-following）和描述型（caption），這一現(xiàn)象可以通過交錯的多模態(tài)語言模型（MLLM）圖像 - 文本訓(xùn)練過程來解釋。

第二步：采樣結(jié)果分類

為了僅篩選出指令數(shù)據(jù)用于后續(xù)工作，我們設(shè)計了一種分類機制將數(shù)據(jù)歸入指令型和描述型兩類。

具體而言，我們驅(qū)動一個大語言模型（LLM）作為分類器來預(yù)測類別。若包含指令，則將其分類為指令遵循型數(shù)據(jù)，并從中提取一條指令；否則，將其分類為描述型數(shù)據(jù)并舍棄。我們采用 few-shot 策略以提高分類精度，完整的提示詞模板見附錄。

對于分類為指令型的采樣結(jié)果，我們會進行質(zhì)量控制和回復(fù)生成。

第三步：質(zhì)量控制 & 回復(fù)生成

我們從指令的 可解性 / 清晰度 / 幻覺程度 / 無意義性 四個角度，對指令進行篩選，通過篩選的指令會用 Qwen2-VL 進行回復(fù)生成，組成一條完整的 「指令 - 回復(fù)」 訓(xùn)練數(shù)據(jù)；

每個維度均采用 1-5 級評分（1 分表示最差，5 分表示最優(yōu)）：

1. 可解性 (Solvability)：評估圖像是否提供足夠的信息來全面回答問題。如果圖像缺失關(guān)鍵細節(jié)（如對象或上下文），指令可能無法被完全解決。
2. 清晰度 (Clarity)：評價問題傳達意圖的精確程度。指令應(yīng)避免模糊性，確保能得出明確答案（例如，避免開放式或含糊的表述）。
3. 幻覺程度 (Hallucination)：衡量問題內(nèi)容與圖像實際內(nèi)容的一致性。指令需避免引入圖像中不存在的信息（如虛構(gòu)對象或場景）。
4. 無意義性 (Nonsense)：檢查問題在語法、連貫性和語義上的合理性。指令必須通順、有意義，避免錯誤如語法混亂或邏輯矛盾。

具體的篩選細節(jié)見附錄。另外，我們在消融實驗中發(fā)現(xiàn)回復(fù)的質(zhì)量控制是無效的，只對指令做質(zhì)量控制即可。

Oasis-500k

我們基于 Cambrian-10M [2] 的圖片，進行數(shù)據(jù)生產(chǎn)，最后合成約 500k 的訓(xùn)練數(shù)據(jù)，稱之為 Oasis-500k；由于 Oasis 的生產(chǎn)只依賴圖片，所以只要圖片的數(shù)量是足夠的，Oasis 可以輕松進行 Scaling，數(shù)據(jù)量級隨著時間是線性增長的。

數(shù)據(jù)特性分析

我們對 Oasis 合成的數(shù)據(jù)和開源常用的指令數(shù)據(jù) LLaVA-NeXT 進行了一系列屬性的對比，包括指令和回復(fù)的長度、語言類型、動名詞組合等。

指令和回復(fù)的長度

如上表所示，從指令和回復(fù)的平均長度來看，Oasis 數(shù)據(jù)均長于LLaVA-NeXT，且整體標準差更大。更長的長度表明 Oasis 數(shù)據(jù)可能包含更豐富的信息，而更大的標準差則說明其數(shù)據(jù)任務(wù)更多元。

語言類型

得益于該方法的自回歸特性，基于圖像的自回歸過程不會引入顯式語言偏差，因此生成的指令覆蓋廣泛語種。借助 langdetect 庫，對 Oasis-500k 數(shù)據(jù)的語言類型分布進行可視化分析發(fā)現(xiàn)：除英文（78.52%）和中文（18.66%）外，還包含韓語、挪威語、越南語、法語、德語等小語種，語言多樣性顯著。

動詞名詞組合

基于 spaCy 庫，解析了數(shù)據(jù)集的根動詞（root verbs）與高頻名詞對象（top noun objects，即出現(xiàn)頻率超過 1% 的根動詞及與其關(guān)聯(lián)的前 3 位名詞對象）。上圖展示了兩類數(shù)據(jù)中最常見的根動詞及對應(yīng)名詞對象分布，相較 LLaVA-NeXT，Oasis 數(shù)據(jù)的根動詞具有以下優(yōu)勢：

• 表達自然性：覆蓋更自然實用、信息量更豐富的動詞語匯；
• 對象多樣性：高頻名詞對象呈現(xiàn)更豐富的語義分布。

值得注意的是，LLaVA-NeXT 對 「answer question」 組合的高度依賴，反映出其在任務(wù)設(shè)計上可能過度偏重問答（QA）場景。

數(shù)據(jù)示例

Oasis 數(shù)據(jù)集的示例如圖所示，可見 Oasis 的指令生成能力很強，可基于圖像主題生成細節(jié)豐富且信息密度高的指令。另外生成的任務(wù)覆蓋廣度好，涵蓋跨領(lǐng)域任務(wù)場景，如目標識別（Object Recognition）、場景描述（Scene Description）和代碼理解（Code Comprehension）等。這些可視化同樣佐證了前文關(guān)于數(shù)據(jù)多樣性的觀點。

實驗結(jié)果

Oasis 有效性

我們將 LLaVA-NeXT 設(shè)置為 baseline，在其 SFT 數(shù)據(jù)上做增量改進，觀察相對于 baseline 的提升。我們在 14 個 benchmark 上對基于 Oasis 訓(xùn)練的 MLLM 進行了全面評估。

如上表所示，Oasis 作為基線的增量數(shù)據(jù)引入，較基線實現(xiàn)全面且顯著的性能提升。

在 Vicuna1.5/Qwen2.5/Llama3 等基座網(wǎng)絡(luò)上，平均提升分別 3.1%/1.8%/3.2%；以 Vicuna-7B-v1.5 為例，通用知識 MMBench-EN/CN 準確率提升 + 1.4% / +2.3%；OCR 任務(wù) TextVQA 與 OCRBench 精度分別提高 2.7% 和 2.1%；在文檔分析任務(wù)上較基線提升 4.3% 和 6.3%；

上述結(jié)果不僅證明了合成數(shù)據(jù)的多樣性，更揭示了 Oasis 在增強 MLLM 泛化能力上的有效性。

對比其他合成方法

除了 Oasis 數(shù)據(jù)，我們引入了 4 種增量改進，來進一步說明 Oasis 的有效性。

1. Oasis 圖片的原始標注數(shù)據(jù)（指令 + 回復(fù)），驗證 SFT 圖片多樣性增加的影響；
2. LLaVA-NeXT 原始 SFT 數(shù)據(jù)的上采樣，排除數(shù)據(jù)量級對效果的影響；
3. MMEvol 數(shù)據(jù) [3]
4. DenseFusion-1M 數(shù)據(jù) [4]

如上表所示，Oasis 作為增量數(shù)據(jù)引入時，依然表現(xiàn)出了更好的綜合性能，再一次佐證關(guān)于數(shù)據(jù)多樣性的觀點；

數(shù)據(jù) Scaling 效果

我們基于 100k 的 LLaVA-NeXT 數(shù)據(jù)，對 Oasis 的數(shù)據(jù)量進行了 3 組 Scaling 實驗，即，在 LLaVA-100k 的基礎(chǔ)上分別加入 150k/300k/500k 的 Oasis 合成數(shù)據(jù)。整體趨勢上來看，Oasis 數(shù)據(jù)量從 0 增至 500k 的過程中，模型性能穩(wěn)定提升，添加 500k 條 Oasis 數(shù)據(jù)后，平均得分提高 5.2%；300k→500k 帶來了 + 4.0% 的顯著增益，也進一步說明該數(shù)據(jù)的可擴展性；

垂域數(shù)據(jù)合成能力

受益于 Oasis 只依賴圖片輸入的特性，它非常善于合成垂類的數(shù)據(jù)。我們以 OCR 為例，驗證 Oasis 在垂域數(shù)據(jù)合成上的有效性。我們從 Cambrian-10M 中篩選出了 24 個和 OCR 相關(guān)的數(shù)據(jù)集（共 311k 圖片），然后基于這些圖片進行 Oasis 數(shù)據(jù)合成了 70k 的垂域訓(xùn)練數(shù)據(jù)。如上表所示，這份 OCR 垂域數(shù)據(jù)在 OCR 相關(guān)的 benchmark 上帶來了非常明顯的提升。另外如上圖所示，Oasis 合成的數(shù)據(jù)不僅僅關(guān)注文字提取任務(wù)，同樣也考察了模型對于上下文的理解、屬性推理等能力。

消融實驗

描述數(shù)據(jù)的回收利用

在數(shù)據(jù)合成流程的第二步中，我們使用了 LLM 來對第一步中模型自回歸采樣出的數(shù)據(jù)進行篩選，去掉 caption 類型的數(shù)據(jù)。這一步的通過率為 49.9%，占比約一半的 caption 類型數(shù)據(jù)被丟棄，這導(dǎo)致合成效率受到較大的影響。

因此，我們采用一些策略來對此類 caption 數(shù)據(jù)進行回收利用。首先，我們使用一些規(guī)則來對數(shù)據(jù)中的特殊字段（如亂碼等）進行去除。然后，我們使用 Qwen2.5-72B-Instruct LLM 來對 caption 數(shù)據(jù)的質(zhì)量進行三個維度評估，最終我們得到了約 250k 的高質(zhì)量 caption，并與 LLaVA 論文中給出的圖像詳細描述指令進行隨機匹配。

我們在原始的 OASIS 數(shù)據(jù)上額外加入這 250k 數(shù)據(jù)進行訓(xùn)練，如上表所示，加入 caption 后多數(shù)指標有上升，并帶來了總體 0.3% 的提升。這說明我們可以低成本地回收利用數(shù)據(jù)合成過程中被丟棄的數(shù)據(jù)，并帶來額外的實驗收益。

指令質(zhì)量控制的必要性

在完成數(shù)據(jù)分類之后，我們對指令質(zhì)量進行了控制，從四個維度篩除低質(zhì)量指令：可解性、清晰度、幻覺成都和無意義內(nèi)容。為了評估這一質(zhì)量控制機制對數(shù)據(jù)質(zhì)量和模型性能的影響，我們進一步進行了消融實驗。

具體來說，我們使用經(jīng)過質(zhì)量控制和未經(jīng)質(zhì)量控制的 20 萬條數(shù)據(jù)分別訓(xùn)練模型，比較所得模型的性能。在質(zhì)量篩選過程中，高質(zhì)量指令的接受率為 50.9%，因此，未經(jīng)質(zhì)量控制的 20 萬條數(shù)據(jù)中，會包含約 10 萬條 「低質(zhì)量」 指令。

根據(jù)上表第二部分展示的實驗結(jié)果。在應(yīng)用質(zhì)量控制機制的情況下，模型整體性能顯著提升了 1%。在 DocVQA 和 InfoVQA 這兩個任務(wù)中，模型性能分別提升了超過 7%。這一結(jié)果充分證明了在 Oasis 框架中，數(shù)據(jù)質(zhì)量控制機制是非常必要的。

回復(fù)質(zhì)量控制的必要性

為探究響應(yīng)質(zhì)量控制的必要性，我們嘗試了兩種低質(zhì)量響應(yīng)過濾方法：

1. 負對數(shù)似然（NLL）拒絕采樣法：對每條指令采樣 5 個回復(fù)，計算其負對數(shù)似然，保留置信度最高的回復(fù)作為最終輸出（參考 [5]）；
2. 多模態(tài)大語言模型（MLLM）評分法：使用 Qwen2-VL-72B-Instruct 模型從有用性（helpfulness）、真實性（truthfulness）、指令遵循性（instruction-following）三個維度進行 1-5 分評分，過濾未獲滿分（5 分）的回復(fù)。

如上表所示，證明兩種方法均導(dǎo)致模型平均得分下降（-0.7% 與 -1.6%），證明對回復(fù)做質(zhì)量控制無效甚至有害。高質(zhì)量指令本身即可驅(qū)動 MLLM 生成高質(zhì)量的回復(fù)，引入對回復(fù)的質(zhì)量控制可能會引入額外的人為 bias；

開源代碼庫 MM-INF

• 代碼鏈接：https://github.com/Letian2003/MM_INF

該研究還開源了一個數(shù)據(jù)合成的 codebase MM-INF。該 codebase 依托于開源代碼庫 ms-swift [6] 實現(xiàn)了一個數(shù)據(jù)合成引擎，可以串聯(lián)起若干個基于 LLM/VLM 的數(shù)據(jù)合成步驟。代碼庫內(nèi)涵蓋了 Oasis 的實現(xiàn)以及一些常用的多模態(tài)數(shù)據(jù)合成鏈路（如圖片描述、基于描述生成 QA 等），歡迎大家試用并提供寶貴的反饋意見。

參考文獻

[1] Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing, ICLR 2025.

[2] Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs, NeurIPS 2024.

[3] MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct, arxiv 2409.05840.

[4] DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception, NeurIPS 2024.

[5] SimPO: Simple preference optimization with a reference-free reward, NeurIPS 2024.

[6] https://github.com/modelscope/ms-swift