![]()
一項新研究揭示:AI 如果吃太多“垃圾內容”,真的會變笨。而我們這些天天依賴它的人,也可能正在一起“降智”。
身邊的人,甚至你自己,有沒有擔心過,天天沉浸在快節奏、碎片化的信息流里,比如短視頻、短劇、各種社交媒體上的“速食”內容,會讓腦子變得越來越“鈍”?
這種擔憂,其實挺普遍的。
而且,“腦殘”(Brain Rot)這個詞兒,還真被《牛津詞典》選為了2024年度詞匯 ,說的就是長期接觸大量碎片化的、低質量的網絡內容,導致個人精神和智力狀態被惡化。
果然,你擔心最終都會發生。
既然如此,現在的 AI 大模型一大部分也都是靠網上信息來訓練的,甚至導致現在數據都不夠用了。那么,他們會不會也…“腦殘”呢?
最近一篇預印本論文(就是還沒正式發表,但已經公開的研究)提出了一個驚人的結論:
是的, 大型語言模型也會得“腦殘”!
【溫馨提示:不想看長文,也可以聽這個播客內容】
垃圾信息,AI的“慢性毒藥”?
來自德州農工大學、德州大學奧斯汀分校和普渡大學的研究者們尋思著:既然人看多了沒營養的東西會變“傻”,那AI天天學習海量的互聯網數據,里面肯定也混雜了不少“垃圾信息”,AI會不會也跟著“學壞”了,能力下降呢?
為了驗證這個想法,他們做了一系列很嚴謹的對照實驗 。他們從真實的Twitter/X數據里搞了兩類數據集:
“垃圾”數據集 :要么是 M1 標準——那些短小但特別火(點贊轉評多)的內容,就是那種很容易吸引你一直刷刷刷的,比如笑話等;要么是 M2 標準——內容上比較聳人聽聞、博眼球或者沒啥實質信息的,比如標題黨、謠言等。
“對照”數據集 :跟“垃圾”數據相反,M1 標準下就是長而不火的內容,M2 標準下就是有認知價值、需要動腦子的內容。
![]()
▲ 該圖概述了研究工作流程,從提出LLM“腦腐爛”假說,到數據構建、LLM認知功能測試、失敗模式分析,以及探討“腦腐爛”效應的持久性。
重要的是,兩邊數據集的規模(token數量)和訓練方式都保持一致,確保了變量單一。
然后,他們用這些數據去持續“喂養”(也就是繼續預訓練)了 4 種不同的大語言模型(Llama、Qwen 等)。
結果驚掉下巴:AI真的“腦殘”了!
跟喂“對照組”好料的AI比起來,那些天天“吃垃圾食品”的AI們,真的出現了明顯的“認知衰退” :
推理能力下降 :做題、邏輯思考能力變差了。
長文本理解能力下降 :給它一篇長文章,越來越抓不住重點。
安全性下降 :更容易說錯話,甚至可能輸出有害內容。
“黑暗人格”滋生 :研究者驚訝地發現,用 M1 標準(短而火)的垃圾數據訓練后,AI的自戀、精神病態等負面特質竟然增強了! 這可是個巨大的安全隱患!
而且,這種衰退還跟“垃圾”的劑量有關!
![]()
▲ 此表展示了Llama3 8B Instruct模型在不同比例“垃圾”與“對照”數據混合訓練后的評估結果,通過顏色對比其相對于基線模型的性能好壞。
研究者們試了不同比例的垃圾數據混合,發現垃圾比例越高,AI的認知能力就衰退得越厲害。
比如,在一個叫 ARC-Challenge 的推理測試里,垃圾比例從0%升到100%,AI的得分(帶思維鏈)直接從74.9分掉到了57.2分!
在另一個長文本能力的測試中(RULER-CWE),隨著垃圾比例的上升,AI 的得分從 84.4 掉到了52.3。
AI“腦殘”的病根在哪?——“思維跳躍”
研究人員們深入分析了AI犯錯的原因,發現了一個主要病灶:“思維跳躍(Thought-skipping)” 。
簡單說,就是AI在解決問題的時候,越來越傾向于省略或截斷推理步驟,不按部就班地思考,直接跳到結論,結果自然容易出錯。
![]()
▲ 該圖展示了在ARC問題中,理想的思維鏈(COT)推理過程以及模型實際出現的各種失敗模式示例。
這就好比我們做數學題,以前會一步步演算,現在直接心算(還算錯)或者跳步驟,看起來快了,但可靠性大大降低。 (我家娃的老毛病,數學題老是跳步驟)
“腦殘”了還能搶救嗎?難!
更讓人頭疼的是,這種“腦殘”似乎是持久性的。
研究人員們嘗試用更多的高質量指令數據去微調,或者再用干凈的數據重新訓練,雖然能在一定程度上改善AI的表現,但無法完全恢復到它們最初的水平。
![]()
▲ 該圖展示了經過0到2次反思性推理迭代后,ARC Challenge上思維鏈(COT)任務的失敗模式分類分布。
這說明,垃圾數據的“毒害”可能已經深入模型的“骨髓”(改變了內部表示),不僅僅是表面上的格式問題。
這給AI開發者敲響了警鐘:在持續訓練模型時,數據質量不是小事,而是關乎模型“心智健康”和安全的大問題!
這些研究人員甚至建議,要像人做體檢一樣,定期給部署的AI做做“認知健康檢查”。
從AI“腦殘”到人類的“認知代價”
看到這里,你可能會想:AI被垃圾信息帶偏了,那我們人類呢?我們天天跟這些AI互動,甚至依賴它們完成任務,會不會也對我們的大腦產生什么影響?
巧了,另一篇來自MIT等機構的研究剛好探討了這個問題,雖然角度不同,但結論頗有異曲同工之妙。
這篇名為“Your Brain on ChatGPT”的研究讓參與者分成三組寫論文:一組只能用ChatGPT (LLM組),一組只能用傳統搜索引擎 (Search Engine組),還有一組啥工具都不用,純靠自己 (Brain-only組) 。
他們用腦電圖(EEG)監測參與者的大腦活動。
![]()
他們發現了一些有趣的現象:
大腦“偷懶”了? :相比于純靠自己或用搜索引擎,使用ChatGPT寫論文時,參與者大腦的神經連接模式顯得更“弱”,好像大腦沒有那么“努力工作”了。
記性變差了? :LLM組的參與者在寫完論文后,回憶自己剛剛寫了什么(比如復述句子)的能力明顯比其他兩組差。他們對自己論文的“主人翁感”也更低。
依賴的代價? :研究還設置了一個特別的第四階段,讓原來用LLM的人切換成純靠自己寫,原來純靠自己寫的人切換成用LLM。
結果發現,那些之前依賴LLM的人,即使現在不用了,他們的大腦活動模式仍然顯得比那些一直靠自己的人“弱” ,甚至他們使用的詞匯也可能受到了之前LLM的影響。
研究者把這種現象和“認知債務(Cognitive Debt)” 聯系起來,意思是過度依賴外部工具可能會讓我們自己的認知能力付出代價。
我的一些啟發
這兩項研究,一個關注AI本身,一個關注使用AI的人,著實發人深思,給了我一些啟發或者說確定性的結論:
質量至上 :無論是訓練AI,還是我們自己學習知識,“喂”什么料真的很重要。“垃圾進,垃圾出”的原則同樣適用于強大的AI。
警惕過度依賴 :AI工具很強大,能提高效率,但也可能讓我們的大腦變得“懶惰” 。就像第一項研究里AI會“思維跳躍”一樣,我們過度依賴AI,也可能跳過那些對于深度理解和記憶至關重要的思考過程 。
主動思考,保持清醒 :AI可以作為助手,但不能替代我們自己的思考。我們需要有意識地去辨別信息質量,主動進行批判性思考,而不是全盤接受AI給出的答案。
最后的話
AI會不會“腦殘”?看起來會的。我們會不會因為使用AI而付出“認知代價”?看起來有可能。
這兩篇論文都很有意思,也在社交媒體上引起了熱議。需要說明的是第二篇目前還在 Draft 階段,而且測試的樣本數較少,里面的結論僅供參考。
我們不能一味的去看一些碎片化的信息,也不能老是去追那些爽文、熱點,是時候系統性的去看一些東西了~
不管怎么樣,AI 已經進入了我們每個人的日常生活。了解 AI 以及用什么樣的方式來使用 AI,是我們每個人都需要知道的。
你怎么看?歡迎在評論區留下你的想法!
參考:
https://llm-brain-rot.github.io/
https://arxiv.org/abs/2506.08872
本文由「AI 范兒」出品
感謝你看到這里,如果覺得不錯,那就請幫忙點個贊、愛心、轉發三連吧,這對我們非常有幫助。如果想第一時間收到推送,也可以給我們加個星標?
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.