為什么我認(rèn)為 AGI 還沒(méi)那么快到來(lái)

譯注：本文作者Dwarkesh Patel是一位播客，因采訪硅谷知名人士而聞名，據(jù)報(bào)道，他采訪過(guò)馬克·扎克伯格和薩蒂亞·納德拉等知名人士。 他作為播客迅速成名，成為頗具影響力的人物的熱門采訪對(duì)象。

"事情的發(fā)展總是比你想象的要慢，但一旦發(fā)生，速度又會(huì)比你想象的要快。" - Rudiger Dornbusch

我在播客上經(jīng)常討論 AGI 的時(shí)間表問(wèn)題。有些嘉賓認(rèn)為還需要 20 年，有些則認(rèn)為只需要 2 年。以下是我在 2025 年 6 月的看法。

持續(xù)學(xué)習(xí)能力

有人說(shuō)，即使 AI 的發(fā)展完全停滯，現(xiàn)在的系統(tǒng)也會(huì)比互聯(lián)網(wǎng)帶來(lái)更大的經(jīng)濟(jì)變革。我不這么認(rèn)為。我承認(rèn)當(dāng)前的 LLM 很神奇，但 Fortune 500 強(qiáng)企業(yè)不用它們來(lái)改造工作流程，并不是因?yàn)楣芾韺犹Ｊ?，而是因?yàn)?strong>很難從 LLM 中獲得類似人類的正常勞動(dòng)力。這涉及到這些模型缺乏的一些基本能力。

我覺(jué)得自己在 Dwarkesh Podcast 上算是 "AI 先鋒" 了。我花了上百個(gè)小時(shí)嘗試為后期制作構(gòu)建各種 LLM 小工具。這種讓它們變得實(shí)用的嘗試經(jīng)歷，反而讓我對(duì)時(shí)間表的預(yù)期變得更長(zhǎng)。我試過(guò)讓 LLM 把自動(dòng)生成的轉(zhuǎn)錄稿重寫(xiě)得更易讀，就像人類會(huì)做的那樣。我也試過(guò)讓它們從轉(zhuǎn)錄稿中挑選片段用來(lái)發(fā)推。有時(shí)我會(huì)讓它們和我一起逐段寫(xiě)文章。這些都是簡(jiǎn)單、獨(dú)立、短期的語(yǔ)言任務(wù) - 正是 LLM 應(yīng)該擅長(zhǎng)的核心任務(wù)。但它們的表現(xiàn)只有 5/10 分。別誤會(huì)，這已經(jīng)很厲害了。

但根本問(wèn)題是，LLM 不會(huì)像人類那樣隨著時(shí)間推移而進(jìn)步。缺乏持續(xù)學(xué)習(xí)能力是個(gè)大問(wèn)題。LLM 在許多任務(wù)上的起點(diǎn)可能比普通人還高，但你沒(méi)辦法給模型高層次的反饋。你只能使用它們開(kāi)箱即用的能力。你可以不斷調(diào)整系統(tǒng)提示，但實(shí)際上這根本無(wú)法產(chǎn)生人類員工那種學(xué)習(xí)和改進(jìn)的效果。

人類之所以如此有用，主要不是因?yàn)樗麄兊脑贾橇Γ且驗(yàn)樗麄兡軌蚍e累上下文、反思自己的失敗，并在練習(xí)過(guò)程中獲得小的改進(jìn)和效率提升。

你怎么教孩子吹薩克斯？讓她試著吹，聽(tīng)聲音，然后調(diào)整?，F(xiàn)在想象用這種方式教薩克斯：學(xué)生試一次，一犯錯(cuò)就被趕走，然后你寫(xiě)詳細(xì)的說(shuō)明解釋哪里出錯(cuò)了。下一個(gè)學(xué)生讀你的筆記，然后試著直接演奏 Charlie Parker 的作品。失敗后，你再為下一個(gè)學(xué)生完善說(shuō)明。

這根本行不通。無(wú)論你的提示多么完善，沒(méi)有孩子能僅憑閱讀說(shuō)明就學(xué)會(huì)吹薩克斯。但這就是我們用來(lái) "教" LLM 的唯一方式。

確實(shí)有 RL 微調(diào)，但這不是像人類學(xué)習(xí)那樣的主動(dòng)適應(yīng)過(guò)程。我的編輯已經(jīng)變得非常出色，如果我們必須為他們工作中的每個(gè)子任務(wù)構(gòu)建定制的 RL 環(huán)境，他們根本達(dá)不到現(xiàn)在的水平。他們只是自己注意到了很多細(xì)節(jié)，深入思考了什么能引起觀眾共鳴，什么內(nèi)容讓我興奮，以及如何改進(jìn)日常工作流程。

現(xiàn)在，可以想象一個(gè)更智能的模型為自己構(gòu)建一個(gè)專門的 RL 循環(huán)，從外部看起來(lái)很自然。我給出高層次的反饋，模型就想出一堆可驗(yàn)證的練習(xí)問(wèn)題來(lái)進(jìn)行 RL 訓(xùn)練，甚至創(chuàng)建一個(gè)完整的環(huán)境來(lái)練習(xí)它認(rèn)為自己缺乏的技能。但這聽(tīng)起來(lái)真的很難實(shí)現(xiàn)。而且我不知道這些技術(shù)能否很好地推廣到不同類型的任務(wù)和反饋上。最終，模型肯定能夠像人類那樣以微妙有機(jī)的方式在工作中學(xué)習(xí)。但考慮到?jīng)]有明顯的方法將在線持續(xù)學(xué)習(xí)集成到當(dāng)前這類 LLM 中，我很難看到這在未來(lái)幾年內(nèi)會(huì)實(shí)現(xiàn)。

LLM 在會(huì)話過(guò)程中確實(shí)會(huì)變得更聰明和有用。比如，有時(shí)我會(huì)和 LLM 一起寫(xiě)文章。我給它一個(gè)大綱，讓它逐段起草。前面 4 段的所有建議都很糟糕，所以我會(huì)重新寫(xiě)整段，然后告訴它："你寫(xiě)的太爛了，這是我的版本。" 這時(shí)它才能開(kāi)始為下一段給出好建議。但這種對(duì)我偏好和風(fēng)格的微妙理解在會(huì)話結(jié)束時(shí)就消失了。

也許簡(jiǎn)單的解決方案是像 Claude Code 那樣的長(zhǎng)滾動(dòng)上下文窗口，每 30 分鐘將會(huì)話記憶壓縮成摘要。我只是覺(jué)得，將所有這些豐富的隱性經(jīng)驗(yàn)提煉成文本摘要，在軟件工程以外的領(lǐng)域會(huì)很脆弱 (軟件工程本身就很依賴文本)。再次想想用學(xué)習(xí)心得的長(zhǎng)文本摘要來(lái)教人吹薩克斯的例子。即使是 Claude Code 也經(jīng)常會(huì)逆轉(zhuǎn)我們之前一起精心設(shè)計(jì)的優(yōu)化方案，在我點(diǎn)擊 /compact 之前，因?yàn)樽龀瞿莻€(gè)決定的原因沒(méi)有被寫(xiě)入摘要。

這就是為什么我不同意 Sholto 和 Trenton 在我播客上的觀點(diǎn) (這里引用 Trenton 的話)：

"即使 AI 發(fā)展完全停滯 (你認(rèn)為模型很尖銳，沒(méi)有通用智能)，它在經(jīng)濟(jì)上仍然極其有價(jià)值，而且在所有這些不同的白領(lǐng)工作任務(wù)上收集數(shù)據(jù)相當(dāng)容易，所以按照 Sholto 的觀點(diǎn)，我們應(yīng)該期待在未來(lái)五年內(nèi)看到它們被自動(dòng)化。"

如果 AI 發(fā)展今天完全停滯，我認(rèn)為只有不到 25% 的白領(lǐng)工作會(huì)消失。當(dāng)然，許多任務(wù)會(huì)被自動(dòng)化。Claude 4 Opus 技術(shù)上可以為我重寫(xiě)自動(dòng)生成的轉(zhuǎn)錄稿，但由于我無(wú)法讓它隨時(shí)間改進(jìn)并學(xué)習(xí)我的偏好，我仍然雇用人類來(lái)做這件事。即使我們獲得更多數(shù)據(jù)，如果沒(méi)有持續(xù)學(xué)習(xí)方面的進(jìn)展，我認(rèn)為我們?cè)诎最I(lǐng)工作方面的處境基本相似 - 是的，技術(shù)上 AI 可能能夠在一定程度上完成許多子任務(wù)，但它們無(wú)法建立上下文，這使得它們不可能作為公司的真正員工來(lái)運(yùn)作。

雖然這讓我對(duì)未來(lái)幾年的變革性 AI 持悲觀態(tài)度，但這讓我對(duì)未來(lái)幾十年的 AI 特別樂(lè)觀。當(dāng)我們真正解決了持續(xù)學(xué)習(xí)問(wèn)題時(shí)，我們會(huì)看到模型價(jià)值的巨大飛躍。即使沒(méi)有純軟件奇點(diǎn) (模型快速構(gòu)建更智能的后繼系統(tǒng))，我們?nèi)钥赡芸吹筋愃茝V泛部署的智能爆炸的現(xiàn)象。

AI 將在整個(gè)經(jīng)濟(jì)中廣泛部署，從事不同的工作并在工作中學(xué)習(xí)，就像人類一樣。但與人類不同的是，這些模型可以在所有副本之間共享學(xué)習(xí)成果。所以一個(gè) AI 基本上在學(xué)習(xí)如何完成世界上的每一項(xiàng)工作。一個(gè)具備在線學(xué)習(xí)能力的 AI 可能會(huì)在沒(méi)有任何進(jìn)一步算法進(jìn)展的情況下，相當(dāng)快速地從功能上成為超級(jí)智能。

不過(guò)，我不指望看到 OpenAI 的某個(gè)直播宣布持續(xù)學(xué)習(xí)問(wèn)題已經(jīng)完全解決。因?yàn)閷?shí)驗(yàn)室有動(dòng)力快速發(fā)布任何創(chuàng)新，在我們看到真正像人類那樣學(xué)習(xí)的系統(tǒng)之前，我們會(huì)先看到持續(xù)學(xué)習(xí) (或測(cè)試時(shí)訓(xùn)練，隨你怎么叫) 的不完善早期版本。我預(yù)期在這個(gè)大瓶頸完全解決之前會(huì)有很多預(yù)警信號(hào)。

計(jì)算機(jī)操作

當(dāng)我在播客上采訪 Anthropic 的研究人員 Sholto Douglas 和 Trenton Bricken 時(shí)，他們說(shuō)期待明年年底能有可靠的計(jì)算機(jī)操作代理。我們現(xiàn)在確實(shí)已經(jīng)有了計(jì)算機(jī)操作代理，但它們很糟糕。他們?cè)O(shè)想的是完全不同的東西。他們預(yù)測(cè)，到明年年底，你應(yīng)該能夠?qū)?AI 說(shuō)："去幫我報(bào)稅。" 然后它會(huì)瀏覽你的郵件、Amazon 訂單和 Slack 消息，與所有需要發(fā)票的人來(lái)回郵件溝通，整理所有收據(jù)，判斷哪些是商業(yè)支出，在邊緣情況下尋求你的批準(zhǔn)，然后向 IRS 提交 1040 表格。

我對(duì)此持懷疑態(tài)度。我不是 AI 研究人員，所以不便在技術(shù)細(xì)節(jié)上反駁他們。但根據(jù)我了解的情況，以下是我為什么會(huì)賭它不會(huì)實(shí)現(xiàn)的原因：

隨著時(shí)間跨度增長(zhǎng)，執(zhí)行過(guò)程必須變得更長(zhǎng)。AI 需要執(zhí)行兩小時(shí)的代理計(jì)算機(jī)操作任務(wù)，我們才能看到是否做對(duì)了。更不用說(shuō)計(jì)算機(jī)操作需要處理圖像和視頻，這本身就更耗計(jì)算資源，即使不考慮更長(zhǎng)的執(zhí)行時(shí)間。這似乎會(huì)拖慢進(jìn)展。

我們沒(méi)有大量的多模態(tài)計(jì)算機(jī)操作數(shù)據(jù)的預(yù)訓(xùn)練語(yǔ)料庫(kù)。我喜歡 Mechanize 在自動(dòng)化軟件工程文章中的這段話："過(guò)去十年的擴(kuò)展中，我們被大量可免費(fèi)使用的互聯(lián)網(wǎng)數(shù)據(jù)寵壞了。這足以攻克自然語(yǔ)言處理，但不足以讓模型成為可靠、有能力的代理。想象一下試圖用 1980 年可獲得的所有文本數(shù)據(jù)來(lái)訓(xùn)練 GPT-4 - 即使有必要的算力，數(shù)據(jù)也遠(yuǎn)遠(yuǎn)不夠。"

再次強(qiáng)調(diào)，我不在實(shí)驗(yàn)室里。也許純文本訓(xùn)練已經(jīng)為不同 UI 的工作方式以及各組件間的關(guān)系提供了很好的先驗(yàn)知識(shí)。也許 RL 微調(diào)的樣本效率非常高，不需要那么多數(shù)據(jù)。但我還沒(méi)看到任何公開(kāi)證據(jù)表明這些模型突然變得不那么依賴數(shù)據(jù)了，特別是在它們練習(xí)相對(duì)較少的這個(gè)領(lǐng)域。

或者，也許這些模型作為前端編程工具非常出色，可以為自己生成數(shù)百萬(wàn)個(gè)玩具 UI 來(lái)練習(xí)。關(guān)于這點(diǎn)的看法，請(qǐng)看下面的要點(diǎn)。

即使是回過(guò)頭看似乎相當(dāng)簡(jiǎn)單的算法創(chuàng)新，似乎也需要很長(zhǎng)時(shí)間才能完善。DeepSeek 在 R1 論文中解釋的 RL 程序在高層次上看起來(lái)很簡(jiǎn)單。但從 GPT-4 發(fā)布到 o1 發(fā)布還是花了 2 年時(shí)間。當(dāng)然我知道說(shuō) R1/o1 很容易是極其傲慢的 - 需要大量的工程、調(diào)試、替代方案的篩選才能達(dá)到這個(gè)解決方案。

但這正是我想說(shuō)的！看到實(shí)現(xiàn) "訓(xùn)練模型解決可驗(yàn)證的數(shù)學(xué)和編程問(wèn)題" 這個(gè)想法需要多長(zhǎng)時(shí)間，讓我覺(jué)得我們低估了解決計(jì)算機(jī)操作這個(gè)更復(fù)雜問(wèn)題的難度，你要在完全不同的模式下操作，而且數(shù)據(jù)要少得多。

推理能力

好了，潑冷水就到這里。我不想成為 Hackernews 上那些被寵壞的孩子之一，給他們一只會(huì)下金蛋的鵝，他們還要抱怨鵝叫得太吵。

你看過(guò) o3 或 Gemini 2.5 的推理軌跡嗎？它真的在推理！它在分解問(wèn)題，思考用戶想要什么，對(duì)自己的內(nèi)部獨(dú)白做出反應(yīng)，當(dāng)注意到自己走向了無(wú)效方向時(shí)會(huì)自我糾正。我們?cè)趺茨苋魺o(wú)其事地說(shuō)："當(dāng)然了，機(jī)器會(huì)思考一堆東西，想出一堆主意，然后帶著聰明的答案回來(lái)。機(jī)器本來(lái)就是這樣的。"

一些人過(guò)于悲觀的部分原因是，他們沒(méi)有在最智能的模型最擅長(zhǎng)的領(lǐng)域里真正體驗(yàn)過(guò)。給 Claude Code 一個(gè)模糊的規(guī)格，然后坐等 10 分鐘直到它零樣本生成一個(gè)可工作的應(yīng)用程序，這是一種瘋狂的體驗(yàn)。它是怎么做到的？你可以談?wù)撾娐?、?xùn)練分布、RL 什么的，但最直接、簡(jiǎn)潔、準(zhǔn)確的解釋就是：它由初級(jí)通用智能驅(qū)動(dòng)。到了這個(gè)程度，你內(nèi)心一定會(huì)想："它真的在工作。我們真的在制造智能機(jī)器。"

那么我的預(yù)測(cè)是什么？

我的概率分布非常寬泛。我想強(qiáng)調(diào)我確實(shí)相信概率分布的概念。這意味著為 2028 年可能出現(xiàn)的失控 ASI 做準(zhǔn)備的工作仍然很有意義 - 我認(rèn)為這是完全可能的結(jié)果。

但以下是我愿意接受 50/50 賭注的時(shí)間線：

AI 能夠像有能力的總經(jīng)理一樣在一周內(nèi)為我的小企業(yè)端到端完成報(bào)稅工作：包括在各個(gè)網(wǎng)站上追蹤所有收據(jù)，找到所有缺失的材料，與任何需要發(fā)票的人來(lái)回郵件，填寫(xiě)表格，并提交給 IRS：2028 年

我認(rèn)為我們?cè)谟?jì)算機(jī)操作方面還處于 GPT-2 時(shí)代。但我們沒(méi)有預(yù)訓(xùn)練語(yǔ)料庫(kù)，而且模型要在更長(zhǎng)的時(shí)間跨度內(nèi)，使用不熟悉的操作原語(yǔ)來(lái)優(yōu)化更稀疏的獎(jiǎng)勵(lì)。話雖如此，基礎(chǔ)模型已經(jīng)相當(dāng)聰明，可能對(duì)計(jì)算機(jī)操作任務(wù)有良好的先驗(yàn)，加上世界上有更多的算力和 AI 研究人員，所以可能會(huì)平衡掉。為小企業(yè)準(zhǔn)備稅務(wù)對(duì)計(jì)算機(jī)操作來(lái)說(shuō)，就像 GPT-4 對(duì)語(yǔ)言一樣。從 GPT-2 到 GPT-4 花了 4 年時(shí)間。

澄清一下，我并不是說(shuō) 2026 年和 2027 年不會(huì)有非?？岬挠?jì)算機(jī)操作演示 (GPT-3 就超級(jí)酷，但不夠?qū)嵱?。我是說(shuō)這些模型不會(huì)有能力端到端處理一個(gè)為期一周且相當(dāng)復(fù)雜的涉及計(jì)算機(jī)操作的項(xiàng)目。

AI 能夠像人類一樣輕松、自然、無(wú)縫、快速地在任何白領(lǐng)工作中邊做邊學(xué)。比如，如果我雇用一個(gè) AI 視頻編輯，六個(gè)月后，它對(duì)我的偏好、我們頻道的特點(diǎn)、什么內(nèi)容對(duì)觀眾有效等的理解，應(yīng)該和人類一樣深入和實(shí)用：2032 年

雖然我看不出將持續(xù)在線學(xué)習(xí)融入當(dāng)前模型的明顯方法，但 7 年是很長(zhǎng)的時(shí)間！GPT-1 就是在 7 年前的這個(gè)時(shí)候剛剛發(fā)布的。在未來(lái) 7 年里，我們找到某種讓模型在工作中學(xué)習(xí)的方法，對(duì)我來(lái)說(shuō)似乎并非不可能。

你可能會(huì)想："等等，你剛才大費(fèi)周章地說(shuō)持續(xù)學(xué)習(xí)是如此大的障礙。但然后你的時(shí)間線卻是我們距離至少是廣泛部署的智能爆炸只有 7 年。" 是的，你說(shuō)得對(duì)。我確實(shí)在預(yù)測(cè)一個(gè)在相對(duì)短時(shí)間內(nèi)會(huì)變得相當(dāng)瘋狂的世界。

AGI 時(shí)間線非常符合對(duì)數(shù)正態(tài)分布。要么就在這個(gè)十年，要么就沒(méi)戲了。(不是真的沒(méi)戲，更像是每年的邊際概率降低 - 但這樣說(shuō)不夠抓人眼球)。過(guò)去十年的 AI 進(jìn)展主要靠擴(kuò)大前沿系統(tǒng)的訓(xùn)練算力推動(dòng) (每年超過(guò) 4 倍)。這種趨勢(shì)在這個(gè)十年后無(wú)法繼續(xù)，無(wú)論從芯片、電力，還是用于訓(xùn)練的 GDP 占比來(lái)看都是如此。2030 年之后，AI 進(jìn)展主要得靠算法進(jìn)展。但即使在這方面，容易摘取的果實(shí)也會(huì)被摘完 (至少在深度學(xué)習(xí)范式下)。所以 AGI 的年度概率會(huì)急劇下降。

這意味著如果我們最終走向我 50/50 賭注的較長(zhǎng)時(shí)間線，我們很可能會(huì)看到一個(gè)相對(duì)正常的世界一直持續(xù)到 2030 年代甚至 2040 年代。但在所有其他的可能世界中，即使我們對(duì) AI 當(dāng)前的局限性保持清醒認(rèn)識(shí)，我們也必須預(yù)期一些真正瘋狂的結(jié)果。

本文由「AI 范兒」出品

我每天都在更新，如果你覺(jué)得這些內(nèi)容對(duì)你有用，

那我們就加個(gè)關(guān)注、交個(gè)朋友。