數據處理涌現新范式：AI與數據將向雙引擎融合驅動演進

可供大模型訓練的人類數據越來越少，Scaling Law正在緩慢失效，如何再次突破智能的上限？

公司情報專家《財經涂鴉》獲悉，9月12日，多位專家在2025 Inclusion·外灘大會“Data meets AI：智能時代的雙引擎”見解論壇中，對這一問題進行了充分討論，并給出了新解法。

其中一個共識是，數據驅動了AI發展，AI也讓數據迎來了新一輪的進化，雙引擎融合驅動才是演進方向。

論壇由中國人工智能學會、上海交通大學與螞蟻集團聯合主辦，并同步展示了數據與AI雙引擎協同發展的最新成果，為智能時代數據基礎設施建設提供了參考和實踐路徑。

「大模型數據實踐需要屠呦呦式的研究」

數據作為智能時代的第一引擎，正從輔助角色轉變為核心驅動力。

“當前，大模型發展正面臨嚴峻的‘數據墻’困境，無標簽語料對模型性能提升的貢獻日益減弱，更大規模數據帶來的性能提升與所需的訓練開銷相比性價比顯著降低。”復旦大學教授肖仰華指出，大模型數據科學需要從專家經驗階段發展到量化科學、直至自進化階段。“大模型的數據實踐需要屠呦呦式的研究，從海量雜亂的數據中提取出決定模型能力的關鍵成分”。

現場，他同步分享了通過語法復雜度指標和累積分布采樣方法篩選高質量語料的實踐，實驗表明，從100億個token的財經語料中僅篩選20%的高質量數據進行訓練，對模型進行持續預訓練，相比于全量數據持續預訓練，在領域問答任務上的準確率提升1.7%。

上海交通大學特聘教授翟廣濤強調，無論是精煉數據還是合成數據，都需要質量優先，而數據質量分析要從“體驗質量”入手，考慮人的體驗，也考慮機器的體驗，進而在數據為中心的范式下進一步提升大模型性能。

海天瑞聲CEO李科從產業實踐角度分享了全球AI數據行業的發展趨勢。他認為，數據產業正在經歷從勞動密集型向技術密集型和知識密集型的重大轉型。通過動捕數據、自動駕駛標注、思維鏈數據集等多個實際案例，李科展示了高質量數據如何服務千行百業。

上海庫帕思科技有限公司董事長山棟明說，模型之變引領“數據質變”，他表示高質量數據集應滿足VALID2（鮮活度、真實性、大樣本、完整性、多樣性、高知識密度）要求，并詳細介紹了語料數據在方法論、基礎設施和行業生態三個方面的體系化重構探索。

數據處理技術需要重構與再定義

作為第二引擎，AI技術正在深刻改變數據處理和利用的方式。

光輪智能總裁楊海波表示，具身智能對數據的需求量是大語言模型和自動駕駛的上千倍。合成數據是實現具身智能Scaling Law的重要基礎，他強調，合成數據必須滿足四個必備條件：真實的物理交互、人在環的示范、場景足夠豐富和數據閉環驗證。

“站在岸上學不會游泳，機器人需要進入物理可交互的環境去獲取物理世界反饋來優化模型。”楊海波認為。

螞蟻技術研究院數據智能實驗室負責人趙俊博認為，下一代RL訓練法則應該從“對與錯”轉向“好與更好”。

他探索的“Rubric即Reward”新機制，只需使用5k數據和1萬條評分標準構建高效RL回路，就能擺脫對海量SFT數據的依賴，實現“品味對齊”。這種方法可以在人文、創意、情感等領域實現風格化生成，去除“機器味道”。

LanceDB CTO徐磊分享了開源多模態數據湖的創新實踐。他介紹，與傳統的Parquet、ORC等格式不同，新設計的Lance格式既是文件格式又是表格式，具備零拷貝數據演化和高效點查兩大核心特性。

以Runway ML為例，該公司將PB級視頻數據導入Lance后，能夠像使用SQL一樣簡單管理，實現30多位AI工程師在同一個主表上并行進行特征工程迭代。

“隨著計算范式的變化，數據處理技術無論主動還是被動，都需要重構與再定義。重構是為了解決已經面臨的問題，再定義則是著眼于未來，解決可能面臨的問題”。專家們在圓桌討論一致認為。

作者：蘇打

編輯：tuya

出品：財經涂鴉（ID：caijingtuya）