LLM將是又一個“慘痛教訓(xùn)”？強(qiáng)化學(xué)習(xí)之父Sutton再放炮：萬億美金AI泡沫可能破裂

Sutton老爺子最新采訪討論《LLM是否吸取了‘慘痛教訓(xùn)’？》，這次討論算是前一段時間老爺子《LLM是死路一條》的采訪的補(bǔ)充

參與討論的嘉賓：

Sutton老爺子

Sendhil Mullainathan：麥克阿瑟天才獎獲得者、麻省理工學(xué)院教授

Niamh Gavin：應(yīng)用人工智能科學(xué)家、Emergent Platforms 首席執(zhí)行官

Suzanne Gildert：Nirvanic Consciousness Technologies 創(chuàng)始人兼首席執(zhí)行官

LLMs是否真正遵循了“慘痛教訓(xùn)” (The Bitter Lesson) 的原則，從而能夠?qū)崿F(xiàn)其被大肆宣傳的巨大潛力？圖靈獎得主，強(qiáng)化學(xué)習(xí)之父 Richard Sutton認(rèn)為答案是否定的。他主張，LLMs 過度依賴于模仿和提煉有限的人類知識（例如整個互聯(lián)網(wǎng)的文本數(shù)據(jù)），并且需要大量的人工雕琢與微調(diào)。這種方法違背了“慘痛教訓(xùn)”的核心思想——即真正可擴(kuò)展的、強(qiáng)大的 AI 來自于那些能夠充分利用巨大計算能力的通用方法（如搜索和學(xué)習(xí)），而非依賴于人類的先驗知識。因此，Sutton 預(yù)測，LLMs 的發(fā)展將很快遇到瓶頸，其能力上限遠(yuǎn)比人們想象的要近，當(dāng)前圍繞它們產(chǎn)生的巨大投資和期望，最終可能導(dǎo)致泡沫的破滅

LLM是否吸取了“慘痛教訓(xùn)”？

這場被主持人 Ajay Agrawal 形容為“萬億美元級別觀點沖突”的討論，源于 AI 社區(qū)內(nèi)部一個深刻的理念分歧。辯論的核心是一個術(shù)語：“慘痛教訓(xùn)信徒” (bitter lesson pilled)，這個詞源自 Sutton 老爺子 在 2019 年發(fā)表的一篇影響深遠(yuǎn)的文章——《慘痛教訓(xùn)》(The Bitter Lesson)

什么是“慘痛教訓(xùn)”？

根據(jù) Sutton 的闡述，The Bitter Lesson總結(jié)了 AI 研究七十年來的一個反復(fù)出現(xiàn)的模式：

研究人員最初總是試圖將人類的知識、直覺和理解構(gòu)建到 AI 系統(tǒng)中。例如，在計算機(jī)視覺領(lǐng)域，早期研究者會嘗試為系統(tǒng)編寫關(guān)于邊緣、紋理和形狀的明確規(guī)則；在棋類游戲中，他們會編寫復(fù)雜的評估函數(shù)來體現(xiàn)人類棋手的策略

然而，從長遠(yuǎn)來看，這些依賴人類知識的方法最終總會被那些更通用的、利用大規(guī)模計算能力的方法所超越。這些通用方法主要包括兩大類：搜索 (Search) 和 學(xué)習(xí) (Learning)

搜索是指系統(tǒng)通過探索海量的可能性來找到最優(yōu)解，就像 AlphaGo 探索無數(shù)種棋局走法一樣。學(xué)習(xí)則是指系統(tǒng)從原始數(shù)據(jù)或與環(huán)境的交互中自動提取模式和知識，而無需人類為其預(yù)設(shè)規(guī)則

慘痛的教訓(xùn)在于，研究人員花費大量心血構(gòu)建的精巧知識體系，其擴(kuò)展性非常有限。而隨著計算成本的持續(xù)指數(shù)級下降（摩爾定律），那些能夠充分利用計算能力進(jìn)行大規(guī)模搜索和學(xué)習(xí)的“蠻力”方法，最終總是能取得更好的性能。Sutton 明確指出，如果你將所有的賭注都押在人類知識這個籃子里，那就需要格外小心，因為人類知識本身是無法像計算那樣無限擴(kuò)展的

LLMs 為何被認(rèn)為未能吸取“慘痛教訓(xùn)”？

Sutton 在前段時間與 Dwarkesh Patel 的播客訪談中明確表示，他認(rèn)為當(dāng)前的 LLMs 并未充分吸取這一教訓(xùn)。他的論點可以分解為以下幾個層面：

對人類數(shù)據(jù)的根本依賴：LLMs 的基礎(chǔ)訓(xùn)練數(shù)據(jù)是整個互聯(lián)網(wǎng)的文本和代碼，這本質(zhì)上是人類知識和行為的集合。它們通過預(yù)測下一個詞元 (token) 的方式，學(xué)習(xí)模仿人類的語言模式。這與“慘痛教訓(xùn)”所警示的“依賴人類知識”的做法高度一致

大量的人工雕琢與微調(diào)：一個原始的、僅通過預(yù)測下一個詞元訓(xùn)練出來的 LLM，并不能成為一個好用的工具。為了讓它成為一個有用的摘要器、翻譯器或問答系統(tǒng)，需要進(jìn)行大量的后續(xù)工作。這包括指令微調(diào) (fine-tuning) 和基于人類反饋的強(qiáng)化學(xué)習(xí) (Reinforcement Learning from Human Feedback, RLHF)。在這個過程中，人類操作員會花費大量時間來評估模型的輸出、編寫高質(zhì)量的范例，從而將模型“雕琢”成符合人類期望的樣子。Sutton 認(rèn)為，這種對人類專家進(jìn)行“ad nauseam”（令人厭煩地反復(fù)）微調(diào)的依賴，是其不可擴(kuò)展性的一個關(guān)鍵標(biāo)志

有限的數(shù)據(jù)源：盡管互聯(lián)網(wǎng)的數(shù)據(jù)量極其龐大，但它終究是有限的。Sutton 和其他嘉賓暗示，隨著模型規(guī)模的增長，LLMs 很快就會耗盡高質(zhì)量的互聯(lián)網(wǎng)數(shù)據(jù)，從而觸及其性能的天花板。當(dāng)模型的發(fā)展受限于一個靜態(tài)、有限的數(shù)據(jù)集時，它就陷入了“慘痛教訓(xùn)”所描述的困境。

因此，Sutton 的核心觀點是，LLMs 當(dāng)前的成功路徑，本質(zhì)上是又一個將寶押在人類知識上的案例。盡管其規(guī)模空前，但其基本方法論存在脆弱性。他預(yù)測，這種對人類知識和輸入的依賴，將使其在未來被那些能夠通過與環(huán)境直接交互、從經(jīng)驗中持續(xù)學(xué)習(xí)的系統(tǒng)所超越。這也就引出了關(guān)于強(qiáng)化學(xué)習(xí)與當(dāng)前主流方法的對比

強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí)

在討論中，特邀嘉賓 Suzanne Gildert 提出了一個問題，：我們?yōu)槭裁床荒軜?gòu)建一個像松鼠大腦一樣學(xué)習(xí)的 AI？

Sutton 曾在播客中提到，如果我們能造出一個心智水平相當(dāng)于松鼠的系統(tǒng)，那么我們距離實現(xiàn)AGI的目標(biāo)就已經(jīng)不遠(yuǎn)了。這個觀點讓人感到困惑，因為人類能登上月球，而松鼠只會藏堅果，兩者之間似乎存在著天壤之別。然而，Gildert 和 Sutton 的觀點是，構(gòu)建松鼠心智的難度，可能遠(yuǎn)高于構(gòu)建一個基于現(xiàn)有方法的、看似強(qiáng)大的 LLM

松鼠心智的核心能力：自主學(xué)習(xí)

松鼠和當(dāng)前 AI 系統(tǒng)之間最根本的區(qū)別在于學(xué)習(xí)能力本身

一個真正的智能體，比如松鼠，當(dāng)你把它放入一個全新的、從未見過的環(huán)境中時，它能夠自主地開始學(xué)習(xí)。它會探索環(huán)境，理解其中的因果關(guān)系，并形成自己的行為策略以達(dá)成生存目標(biāo)（如尋找食物、躲避天敵）

相比之下，我們今天所有的 AI 系統(tǒng)，包括最先進(jìn)的 LLMs，都不具備這種能力。它們在被部署之前，已經(jīng)通過一個龐大的靜態(tài)數(shù)據(jù)集完成了學(xué)習(xí)過程。如果你把一個 LLM 放入一個它訓(xùn)練數(shù)據(jù)中從未包含過的新場景或新用例中，它無法自主地學(xué)習(xí)和適應(yīng)。它的能力是“已經(jīng)學(xué)到了什么”，而不是“如何學(xué)習(xí)新東西”

因此，關(guān)鍵的區(qū)別在于“學(xué)習(xí)”這個動作本身。松鼠的智能體現(xiàn)在其持續(xù)學(xué)習(xí)和適應(yīng)的能力，而 LLMs 的“智能”則體現(xiàn)在它對已經(jīng)見過的海量數(shù)據(jù)的模式識別和復(fù)現(xiàn)能力上

強(qiáng)化學(xué)習(xí)的挑戰(zhàn)與現(xiàn)狀

理論上，強(qiáng)化學(xué)習(xí)正是致力于解決這種自主學(xué)習(xí)問題的框架。RL 的核心思想是讓一個智能體在環(huán)境中通過試錯來學(xué)習(xí)，通過最大化某種累積的“獎勵” (reward) 信號來優(yōu)化其行為策略。然而，在實踐中實現(xiàn)“純粹的 RL”是極其困難甚至不可能的

獎勵函數(shù)的定義難題：最大的障礙在于我們無法定義一個通用的、適用于所有情境的獎勵函數(shù) 。獎勵函數(shù)告訴智能體什么行為是好的，什么是壞的。對于一個特定任務(wù)（如下棋），定義獎勵很簡單（贏了就獎勵，輸了就懲罰）。但對于一個像松鼠一樣需要在復(fù)雜現(xiàn)實世界中生存的通用智能體，我們該如何定義“獎勵”？是食物、安全感，還是其他更復(fù)雜的目標(biāo)？這個問題的懸而未決，導(dǎo)致純粹的 RL 難以落地

向模仿學(xué)習(xí)的退化：由于定義通用獎勵函數(shù)的困難，研究人員們在實踐中往往會退而求其次，采用模仿學(xué)習(xí)。他們不再讓智能體自己探索，而是為其提供專家的演示數(shù)據(jù)（例如人類駕駛員的駕駛記錄），讓智能體去模仿這些專家的行為。目前所有看似在進(jìn)行 RL 的工作，最終都或多或少地變成了模仿學(xué)習(xí)

整個 LLM 的發(fā)展路徑可以看作是一種極端形式的模仿。為了解決從零開始學(xué)習(xí)的“冷啟動問題” ，研究人員選擇了一個代理方案：直接消化整個互聯(lián)網(wǎng)。他們假設(shè)，人類的書寫是思維的良好體現(xiàn)，語言是區(qū)分人類與其他物種的關(guān)鍵，因此模仿人類語言應(yīng)該是一個不錯的起點。然而，這種方法從一開始就側(cè)重于利用 現(xiàn)有的知識，而非探索未知的世界，這導(dǎo)致了系統(tǒng)更擅長模式識別而非真正的理解，更傾向于模仿而非直覺思維

總而言之，松鼠的智慧代表了一種理想的 AI 范式：一個能夠在任何新環(huán)境中自主學(xué)習(xí)的通用智能體。而當(dāng)前以 LLMs 為代表的系統(tǒng)，則更接近于一種高級的、大規(guī)模的監(jiān)督學(xué)習(xí)或模仿學(xué)習(xí)，它們的核心是復(fù)現(xiàn)和內(nèi)化已存在的人類知識，而非從與世界的直接交互中生成新的理解。

模仿輸出 vs. 模仿行動：人與 LLM 的根本認(rèn)知差異

MacArthur 天才獎得主 Sendhil Mullainathan 進(jìn)一步深化了關(guān)于模仿的討論，他引用了一條 Rich Sutton 轉(zhuǎn)發(fā)并高度認(rèn)可的推文，揭示了人類與 LLM 在模仿方式上的一個微妙而深刻的區(qū)別。這個區(qū)別或許是理解兩者能力差異的關(guān)鍵所在

這條推文的核心思想是：

當(dāng)人類模仿時，他們模仿的是“輸出” (output)，但必須自己“發(fā)現(xiàn)” (discover) 達(dá)成該輸出所需的“行動” (action)

當(dāng) LLMs 模仿時，它們直接模仿的是“行動” (action) 本身

Mullainathan 認(rèn)為，這個區(qū)別的核心在于“發(fā)現(xiàn)”這個詞

人類的模仿：一個構(gòu)建內(nèi)在模型的過程

為了闡釋這個觀點，Mullainathan 舉了幾個例子：

斑胸草雀 (Zebra Finch) 的鳴唱：一只幼鳥聽到成年鳥的歌聲（輸出），它想要模仿這種聲音。但它無法直接看到或感知到成年鳥是如何控制其聲帶、呼吸和肌肉來發(fā)出這種聲音的（行動）。因此，幼鳥必須通過自己的聲帶進(jìn)行反復(fù)的試錯和練習(xí)，逐步“發(fā)現(xiàn)”能夠產(chǎn)生同樣聲音的肌肉控制方法。在這個過程中，它被迫在自己的大腦中建立一個關(guān)于“聲帶肌肉運動”與“產(chǎn)生的聲音”之間關(guān)系的內(nèi)在模型

代數(shù)證明：一個學(xué)生看到老師在黑板上完成了一個代數(shù)證明（輸出）。即便老師解釋了每一步，學(xué)生看到的仍然是表層結(jié)果。為了真正理解，學(xué)生必須用自己的認(rèn)知機(jī)制去思考：老師是如何想到第一步的？為什么選擇這個引理而不是另一個？學(xué)生需要自己“發(fā)現(xiàn)”通往最終答案的邏輯路徑。這個過程迫使學(xué)生構(gòu)建關(guān)于代數(shù)規(guī)則和解題策略的內(nèi)在心智模型

馮·諾依曼與蒼蠅問題：Mullainathan 提到了一個關(guān)于數(shù)學(xué)家馮·諾依曼的軼事。在一個經(jīng)典的謎題中（兩輛火車相向而行，一只蒼蠅在中間來回飛），馮·諾依曼立刻給出了正確答案。當(dāng)被問及是否發(fā)現(xiàn)了那個可以簡化問題的“技巧”時，他回答說：“什么技巧？” 原來，他直接用蠻力計算了那個無窮級數(shù)。這個故事說明，即使是面對同一個問題和同一個答案（輸出），不同的人可能會通過完全不同的內(nèi)部認(rèn)知過程（行動）來達(dá)到

在所有這些例子中，人類的模仿都不是簡單的復(fù)制。我們面對的是一個結(jié)果，然后必須調(diào)動我們自身的認(rèn)知或生理器官，去探索和發(fā)現(xiàn)能夠產(chǎn)生這個結(jié)果的一系列行動。這個“發(fā)現(xiàn)”的過程，強(qiáng)制我們建立起關(guān)于世界如何運作的、更深層次的、具有生成能力的模型

LLMs 的模仿：表層序列的復(fù)現(xiàn)

相比之下，LLMs 的模仿方式是根本不同的。當(dāng)一個 LLM 被訓(xùn)練來預(yù)測文本序列中的下一個詞元時，它實際上是在直接模仿“行動”。這里的“行動”就是人類作者寫下的一個又一個詞。它不需要去構(gòu)建一個關(guān)于世界如何運作的復(fù)雜模型來“生成”這些詞；它只需要學(xué)習(xí)在給定上文的情況下，哪個詞出現(xiàn)的概率最高

Niamh Gavin 指出，LLMs 的自回歸機(jī)制本質(zhì)上就像是神經(jīng)網(wǎng)絡(luò)的順序展開，是一個接一個的序列模式激活，而不是一個基于真正目標(biāo)的、可以被長期優(yōu)化的函數(shù)

Mullainathan 總結(jié)說，正因為 LLMs 沒有強(qiáng)制去思考在某個行動空間中，哪些行動能夠產(chǎn)生我們看到的輸出，所以我們有理由懷疑它們是否擁有一個真正穩(wěn)健的世界模型

當(dāng)然，在某些領(lǐng)域，AI 確實被迫建立了世界模型，例如在國際象棋或圍棋中。在這些領(lǐng)域，算法必須從行動空間（落子）映射到結(jié)果空間（勝負(fù)），并且通過自我對弈等方式從經(jīng)驗中學(xué)習(xí)。而這恰恰不是在靜態(tài)文本語料庫上訓(xùn)練的語言模型的主要學(xué)習(xí)方式

這個關(guān)于模仿方式的深刻區(qū)別，為 Sutton 的“慘痛教訓(xùn)”論點提供了認(rèn)知層面的解釋：僅僅模仿人類行為的表層序列，可能永遠(yuǎn)無法通向?qū)κ澜缫蚬P(guān)系的真正理解，而后者正是AGI的核心

萬億美元的觀點沖突

這場討論不僅僅是技術(shù)路線之爭，更深刻地反映了 AI 領(lǐng)域的社會學(xué)和經(jīng)濟(jì)學(xué)動態(tài)。正如主持人 Ajay Agrawal 所言，這不僅僅是學(xué)術(shù)觀點的分歧，而是一場“萬億美元級別的觀點沖突”。巨額的資本投入正在深刻地影響著科學(xué)研究的方向和節(jié)奏

資本驅(qū)動下的“時尚”與路徑依賴

Rich Sutton 坦言，當(dāng)他談?wù)摗皯K痛教訓(xùn)”時，他不僅在做一個科學(xué)論斷，更是在評論這個領(lǐng)域的社會學(xué)。他觀察到，AI 領(lǐng)域存在著時尚，某些思想和方法會在特定時期變得極具經(jīng)濟(jì)實力，從而主導(dǎo)整個領(lǐng)域的發(fā)展

LLMs 作為主導(dǎo)范式：當(dāng)前，LLMs 就是這種主導(dǎo)范式。數(shù)千億美元的資金正涌入這一領(lǐng)域，這種經(jīng)濟(jì)力量改變了科學(xué)討論的格局。傳統(tǒng) AI 思想中，目標(biāo) 和經(jīng)驗一直是核心；而 LLM 的興起帶來了一種全新的、甚至是激進(jìn)的主張：我們不需要明確的目標(biāo)，只需要足夠大規(guī)模地模仿人類，某種質(zhì)變就會發(fā)生，從而涌現(xiàn)出理解和推理能力

話語權(quán)的轉(zhuǎn)變：Sutton 認(rèn)為，“通過模仿就能獲得理解”是一種需要非凡證據(jù)來支持的非凡主張。然而，在當(dāng)前的輿論環(huán)境中，堅持經(jīng)驗和目標(biāo)重要性的傳統(tǒng)觀點，反而被視為是極端的。討論的中心已經(jīng)無可避免地轉(zhuǎn)移到了 LLMs 上

投資回報的壓力與泡沫風(fēng)險：巨大的投資帶來了巨大的回報壓力。有人表示，如果 AI 的投資需要在 15 年后才能看到回報，那將是一場災(zāi)難。因為已經(jīng)許下了太多承諾，如果這些技術(shù)不能在 3 年內(nèi)產(chǎn)生足夠的回報，就可能引發(fā)一場信心的崩盤和泡沫的破裂。Sutton 認(rèn)為，這正是我們目前所處的境地。LLMs 無疑會在某些方面非常有用，但它們很可能無法證明投入其中的巨額資本是合理的，從而導(dǎo)致一場期望的破滅

工程與研究的張力：創(chuàng)新者的困境

Niamh Gavin 作為身處行業(yè)前沿的實踐者，為這種現(xiàn)象提供了一個內(nèi)部視角。她指出了研究和工程之間存在的持續(xù)張力，這種張力解釋了為什么整個行業(yè)似乎會“夢游般地走向自己的滅亡”，反復(fù)陷入相似的困境

修補(bǔ)而非重構(gòu)：當(dāng)模型在實踐中遇到瓶頸或限制時，理想的做法是退后一步，從根本上重新思考和設(shè)計模型架構(gòu)。然而，在商業(yè)化和產(chǎn)品迭代的壓力下，工程師的本能反應(yīng)通常是我能修復(fù)它。他們會設(shè)計出各種工程上的變通方案 來支撐這個有局限性的模型

走向脆弱和過擬合：這種不斷修補(bǔ)的迭代方式，而不是徹底的創(chuàng)新，導(dǎo)致系統(tǒng)變得越來越復(fù)雜、越來越脆弱，并且對訓(xùn)練數(shù)據(jù)過擬合。它阻礙了對全新、可能更具擴(kuò)展性的方法的探索

創(chuàng)新者的困境 ：這正是典型的創(chuàng)新者困境。一個已經(jīng)投入巨資并圍繞某種技術(shù)路徑建立了整個生態(tài)系統(tǒng)的組織，很難去擁抱一種可能顛覆現(xiàn)有路徑的、全新的、不確定的技術(shù)。他們傾向于在既有路徑上進(jìn)行漸進(jìn)式改進(jìn)，直到整個系統(tǒng)變得不再可擴(kuò)展，最終被迫進(jìn)行重構(gòu)

Gavin 認(rèn)為，LLM 領(lǐng)域也正在經(jīng)歷這個過程。從業(yè)者們已經(jīng)看到了純粹依賴 Transformer 架構(gòu)和計算擴(kuò)展定律的局限性，并開始逐步轉(zhuǎn)向更復(fù)雜的、基于推理的方法（如思維鏈，Chain of Thought），并試圖將其與類似 RL 的環(huán)境相結(jié)合。然而，這種轉(zhuǎn)變是在現(xiàn)有框架下的修補(bǔ)，而非徹底的范式革命。這場萬億美元的豪賭，其背后蘊含著深刻的路徑依賴和商業(yè)慣性，這或許是“慘痛教訓(xùn)”難以被真正吸取的主要原因

承認(rèn) LLM 的非凡成就，但需正確定義

盡管對 LLMs 的最終潛力及其是否符合“慘痛教訓(xùn)”存在激烈辯論，但參與討論大大佬也一致承認(rèn)，LLMs 本身是一項了不起的技術(shù)成就。Sendhil Mullainathan 提出，當(dāng)前討論中的一個悲劇，在于我們將對 LLMs 的兩種評判混為一談了

區(qū)分潛力推斷與實際能力

Mullainathan 認(rèn)為，我們需要清晰地區(qū)分兩件事：

1.人們通過觀察 LLMs 的行為而推斷出的、其未來可能達(dá)到的能力（例如，通往通用人工智能 AGI）

1. 2. 這些模型已經(jīng)能夠并且將能夠做到的、令人驚嘆的事情

他認(rèn)為，將 LLMs 的現(xiàn)有能力外推至通用智能的水平，很可能是一種誤導(dǎo) 。然而，這并不意味著 LLMs 本身沒有價值。恰恰相反，它們的能力是驚人的

一個被錯誤命名的奇跡

Mullainathan 指出，真正的悲劇不在于 LLMs 有其局限性，而在于我們對它產(chǎn)生了錯誤的期望，并因此無法公正地評價它已經(jīng)取得的成就

純粹模仿產(chǎn)生的涌現(xiàn)屬性：一個核心的、令人著迷的科學(xué)問題是：為什么純粹的、大規(guī)模的模仿學(xué)習(xí)能夠產(chǎn)生如此多、如此驚人的涌現(xiàn)屬性？我們是如何從簡單的“預(yù)測下一個詞”任務(wù)中，得到能夠進(jìn)行一定程度推理、翻譯和代碼生成的能力的？這本身就是一個值得深入研究的奇跡

價值在于其本身，而非其是否是“智能”：歷史上出現(xiàn)過許多偉大的創(chuàng)新，它們?yōu)槿祟悗砹司薮蟮膬r值，但它們并不是智能。Mullainathan 覺得，LLMs 也是如此。如果我們給它換個名字，不叫它人工智能，而是稱之為一種強(qiáng)大的算法工具，或許我們就能更客觀地看待它的價值和用途

這場討論最終回歸到一個更為冷靜和建設(shè)性的視角。雖然 LLMs 可能不是通往 AGI 的康莊大道，也可能再次印證了“慘痛教訓(xùn)”，但這并不妨礙它們成為一種極具變革性的工具。當(dāng)前公眾和資本市場的巨大熱情，或許源于一種概念上的混淆。與其糾結(jié)于它是否是真正的智能，不如將注意力集中在理解其能力的來源、探索其應(yīng)用的邊界，并承認(rèn)它作為一種前所未有的算法奇跡所具有的非凡價值。這或許是穿越炒作周期、實現(xiàn)技術(shù)長期健康發(fā)展的關(guān)鍵