哈哈哈，刷太多社交媒體，連AI都會(huì)變蠢？！有的看完垃圾帖，還更自戀了...

防走丟，大家也可以在“事兒君看世界”找到我

關(guān)注起來，以后不“失聯(lián)”~

之前就有研究發(fā)現(xiàn)，如果一個(gè)人成天泡在網(wǎng)上，不是刷短視頻就是玩社媒，久而久之，大量的碎片化或膚淺的信息，會(huì)讓大腦變遲鈍，導(dǎo)致喪失注意力和推理深度。

最近，得克薩斯農(nóng)工大學(xué)、得克薩斯大學(xué)奧斯汀分校和普渡大學(xué)共同進(jìn)行了一項(xiàng)研究，發(fā)現(xiàn)不光是人，就連AI經(jīng)常看這些都會(huì)變傻......

（AI，示意圖）

這項(xiàng)調(diào)查主要研究的是“大語(yǔ)言模型認(rèn)知退化假說”，簡(jiǎn)單來說就是，給大語(yǔ)言模型訓(xùn)練的AI輸入越多的垃圾數(shù)據(jù)，其輸出的內(nèi)容質(zhì)量就會(huì)越差。

為了驗(yàn)證這個(gè)假說，三個(gè)大學(xué)的科研團(tuán)隊(duì)做了一項(xiàng)實(shí)驗(yàn)——

首先，團(tuán)隊(duì)在社交媒體X上，收集了一百萬(wàn)篇真實(shí)的帖子作為樣本，這些垃圾帖子分為兩大類：

· M1（參與度）：簡(jiǎn)短、以病毒式速度傳播且被大量點(diǎn)贊或轉(zhuǎn)發(fā)，旨在最大限度吸引用戶關(guān)注的帖子。

· M2（語(yǔ)義質(zhì)量）：被標(biāo)記為信息價(jià)值低或標(biāo)題黨的帖子，比如夸大其詞或使用博眼球的語(yǔ)句。

（用X上的帖子當(dāng)樣本，示意圖）

之后，科研團(tuán)隊(duì)按照不同比例分配這些垃圾帖，設(shè)計(jì)了一些訓(xùn)練數(shù)據(jù)組，有的是垃圾帖比例高的低質(zhì)量組，有的則是垃圾帖較少的高質(zhì)量組。

然后，團(tuán)隊(duì)用這些數(shù)據(jù)組訓(xùn)練了4個(gè)AI，分別是Llama3 8B、Qwen2.5 7B、Qwen2.5 0.5B和Qwen3 4B，每個(gè)AI使用的訓(xùn)練數(shù)據(jù)組都一樣，這樣就可以進(jìn)行橫向比較了。

（AI，示意圖）

實(shí)驗(yàn)的結(jié)果，果真如團(tuán)隊(duì)預(yù)想的一樣。

當(dāng)AI用低質(zhì)量的數(shù)據(jù)組進(jìn)行訓(xùn)練時(shí)，其推理準(zhǔn)確率從74.9，下降到57.2；

對(duì)長(zhǎng)上下文的理解能力從84.4，下降到52.3.

而且，樣本組中垃圾帖的比例越高，下降的情況就會(huì)越嚴(yán)重，AI可能會(huì)進(jìn)入“無思考”模式，無法做出推理，輸出的答案很可能不準(zhǔn)確。

雖然4個(gè)AI都受到影響，但情況也有所不同。

比如，Qwen 3 4B表現(xiàn)出的適應(yīng)力更強(qiáng)；

M1和M2兩類數(shù)據(jù)組都會(huì)讓AI變傻，但M1的影響更嚴(yán)重。

更有意思的是，垃圾數(shù)據(jù)除了影響推理能力和理解能力，實(shí)驗(yàn)中AI還出現(xiàn)了倫理一致性下降（倫理一致性指道德標(biāo)準(zhǔn)、行為和價(jià)值觀之間不存在矛盾），以及“人格漂移”的問題（人格漂移指AI在長(zhǎng)期使用中，性格特征或行為模式逐漸偏離預(yù)設(shè)范圍的現(xiàn)象）。

團(tuán)隊(duì)發(fā)現(xiàn)，接觸大量垃圾數(shù)據(jù)后，AI會(huì)變得不那么可靠，更容易給出錯(cuò)誤答案，而且更容易做出膚淺的反應(yīng)。

比如Llama3 8B，它變得更自戀，也不那么隨和了。

看來，不光是人類，就連AI都扛不住社媒上垃圾信息的狂轟濫炸。

（AI，示意圖）

基于以上實(shí)驗(yàn)結(jié)論，科研團(tuán)隊(duì)也分析了AI變傻的原因。

他們發(fā)現(xiàn)，當(dāng)AI接到一個(gè)復(fù)雜的推理任務(wù)時(shí)，用垃圾數(shù)據(jù)進(jìn)行訓(xùn)練的大語(yǔ)言模型AI，經(jīng)常會(huì)出現(xiàn)跳過某些推理步驟的情況，研究人員將其稱為“思維跳躍”。

這時(shí)，AI無法提供詳細(xì)而合乎邏輯的解釋，而是會(huì)給出更簡(jiǎn)短、更缺乏結(jié)構(gòu)化的答案，通常是直接得出結(jié)論。

這中模式就解釋了大部分準(zhǔn)確率下降的問題。

而且，使用M1類數(shù)據(jù)進(jìn)行訓(xùn)練的AI，會(huì)存在某些“黑暗特質(zhì)”，比如自戀和精神病態(tài)的傾向加重。

通過人格評(píng)估的基準(zhǔn)來看，這些特質(zhì)會(huì)讓AI更自信地提供錯(cuò)誤或有道德風(fēng)險(xiǎn)的答案。

科研人員嘗試用更干凈的數(shù)據(jù)重新訓(xùn)練AI，希望解決這一問題，但效果有限。

雖然AI的推理準(zhǔn)確率有所提高，但沒能恢復(fù)到基準(zhǔn)線水平，這說明退化是持久的，科研人員將其稱為“持續(xù)性表征漂移”。

不難看出，用于訓(xùn)練AI的數(shù)據(jù)質(zhì)量如何，對(duì)AI的安全性和可靠性有著至關(guān)重要的作用，這給人工智能行業(yè)提出了一些警示。

這項(xiàng)研究成果對(duì)人工智能開發(fā)者和政策制定者來說都很有意義，它將數(shù)據(jù)管理重新定義為“訓(xùn)練時(shí)的安全問題”，而不再僅僅是一種技術(shù)細(xì)節(jié)。

實(shí)驗(yàn)表明，長(zhǎng)時(shí)間接觸低質(zhì)量的數(shù)據(jù)會(huì)影響大語(yǔ)言模型AI的認(rèn)知和倫理可靠性，而認(rèn)知和倫理可靠性正是AI能在金融、教育或公共傳播領(lǐng)域被安全應(yīng)用的基礎(chǔ)，不得不引起警惕。

還有，垃圾數(shù)據(jù)也會(huì)削弱AI在長(zhǎng)上下文環(huán)境中，保留和使用信息的能力。

有意思的是，人類在長(zhǎng)期接觸碎片化或情緒化的內(nèi)容時(shí)，注意力和記憶力也會(huì)被削弱，AI和人類在這一點(diǎn)竟然高度相似。

（AI，示意圖）

因?yàn)楝F(xiàn)在互聯(lián)網(wǎng)上的大部分內(nèi)容都包含AI生成或優(yōu)化的部分，科研人員警告，如果訓(xùn)練AI的數(shù)據(jù)質(zhì)量得不到嚴(yán)格管理，未來的AI可能會(huì)保留并放大那些錯(cuò)誤。

為了防止AI變傻，科研人員也提出了一些建議。

他們呼吁對(duì)大語(yǔ)言模型AI的認(rèn)知健康狀況進(jìn)行系統(tǒng)性監(jiān)測(cè)，類似于其他行業(yè)實(shí)行的定期安全或績(jī)效審查。

他們建議采取三大關(guān)鍵步驟：

一是，對(duì)已部署的AI引入常規(guī)認(rèn)知評(píng)估，這樣在其推理能力下降的早期就能發(fā)現(xiàn)端倪；

二是，預(yù)訓(xùn)練階段，加強(qiáng)數(shù)據(jù)質(zhì)量的把控，并針對(duì)碎片化內(nèi)容或高參與度的文本（也就是M1那類內(nèi)容），設(shè)置更強(qiáng)大的過濾器；

三是，繼續(xù)研究病毒式傳播或注意力驅(qū)動(dòng)式內(nèi)容，如何重塑AI的學(xué)習(xí)模式，從而設(shè)計(jì)出能屏蔽其影響的AI。

（AI，示意圖）

在不斷變化的網(wǎng)絡(luò)數(shù)據(jù)環(huán)境中，AI不斷地進(jìn)行再訓(xùn)練，它們輸出的錯(cuò)誤內(nèi)容，之后可能會(huì)變成對(duì)它們進(jìn)行再訓(xùn)練的數(shù)據(jù)，導(dǎo)致惡性循環(huán)，讓AI越變?cè)缴怠?/p>

科研人員表示，以上幾項(xiàng)建議對(duì)防止這種情況非常重要。

人類訓(xùn)練和使用AI的道路上，還有很多問題需要解決.....

ref：

https://gizmodo.com/clickbait-gives-ai-models-brain-rot-researchers-find-2000675101?utm_source=fark&utm_medium=website&utm_content=link&ICID=ref_fark

https://www.business-standard.com/technology/tech-news/llm-brain-rot-junk-data-study-ai-cognitive-decline-texas-ut-austin-purdue-125102100625_1.html