Andrej Karpathy最新萬字采訪：AGI還需10年，RL其實(shí)很糟糕，AGI不會(huì)導(dǎo)致經(jīng)濟(jì)大爆發(fā)

Andrej Karpathy最新萬字采訪來了,采訪長(zhǎng)達(dá)兩小時(shí)，Karpathy采訪是必須要看的，全當(dāng)是周末心理按摩，分享給大家

在與 Dwarkesh Patel 的深度對(duì)話中，Andrej Karpathy 闡述了他對(duì)人工智能現(xiàn)狀與未來的核心觀點(diǎn)。他認(rèn)為，我們距離AGI的實(shí)現(xiàn)仍有十年之遙，當(dāng)前過度樂觀的預(yù)測(cè)多是為了融資。Karpathy 提出了一個(gè)核心比喻：我們并非在“構(gòu)建動(dòng)物”，而是在“召喚幽靈”——AI 是通過模仿互聯(lián)網(wǎng)上的海量人類數(shù)據(jù)而誕生的數(shù)字實(shí)體，其智能形式與生物智能截然不同。

Karpathy指出，強(qiáng)化學(xué)習(xí)雖然優(yōu)于此前的技術(shù)，但本身效率低下且充滿缺陷。他預(yù)測(cè) AGI 不會(huì)帶來經(jīng)濟(jì)的爆炸式增長(zhǎng)，而是會(huì)平滑地融入過去兩個(gè)半世紀(jì)以來約 2% 的 GDP 增長(zhǎng)曲線中，成為自動(dòng)化浪潮的延續(xù)。最后，他分享了自己創(chuàng)辦教育機(jī)構(gòu) Eureka 的愿景，希望通過構(gòu)建高效的“知識(shí)斜坡”，在 AI 時(shí)代賦予人類更強(qiáng)的認(rèn)知能力，避免人類在技術(shù)浪潮中被邊緣化

AGI 仍需十年，我們正在召喚“幽靈”而非構(gòu)建“動(dòng)物”

Andrej Karpathy 對(duì)當(dāng)前 AI 行業(yè)中智能體之年（the year of agents）的說法持審慎態(tài)度，他認(rèn)為更準(zhǔn)確的描述應(yīng)該是智能體十年（the decade of agents）。他指出，盡管像 Claude 和 Codex 這樣的早期智能體已經(jīng)取得了令人印象深刻的成就，并且他本人每天都在使用，但要讓它們真正成為能與人類員工相媲美的實(shí)習(xí)生，還有大量的基礎(chǔ)性工作有待完成

當(dāng)前的LLMs之所以無法勝任復(fù)雜的自主工作，是因?yàn)樗鼈兇嬖谥T多根本性的認(rèn)知缺陷：

智能水平不足：它們?cè)谔幚韽?fù)雜、新穎問題時(shí)仍然力不從心

缺乏多模態(tài)能力：它們難以像人類一樣整合和理解來自文本、圖像、聲音等多種來源的信息

無法熟練使用計(jì)算機(jī)：雖然有所謂的計(jì)算機(jī)使用智能體，但其魯棒性和通用性遠(yuǎn)未達(dá)到實(shí)用標(biāo)準(zhǔn)

沒有持續(xù)學(xué)習(xí)能力：你無法像教導(dǎo)人類一樣，通過一次性的告知就讓模型永久記住新知識(shí)或技能。每次交互，它們幾乎都是從零開始

Karpathy 認(rèn)為，解決這些盤根錯(cuò)節(jié)的問題，需要大約十年的時(shí)間。這個(gè)時(shí)間判斷并非憑空猜測(cè)，而是基于他在 AI 領(lǐng)域近二十年的經(jīng)驗(yàn)，目睹了多次技術(shù)預(yù)測(cè)的起落，并對(duì)問題的棘手程度有著深刻的直覺

回顧 AI 的發(fā)展歷程，Karpathy 認(rèn)為該領(lǐng)域經(jīng)歷了數(shù)次“地震式”的范式轉(zhuǎn)移

1.深度學(xué)習(xí)的興起：以 AlexNet 為標(biāo)志，整個(gè)領(lǐng)域從各種傳統(tǒng)方法轉(zhuǎn)向了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但最初的應(yīng)用非常分散，每個(gè)模型都為特定任務(wù)（如圖像分類、機(jī)器翻譯）而設(shè)計(jì)

2.早期智能體的“歧途”：大約在 2013 年，隨著深度強(qiáng)化學(xué)習(xí)在 Atari 游戲上取得成功，領(lǐng)域的焦點(diǎn)轉(zhuǎn)向了構(gòu)建能在游戲中獲勝的智能體。Karpathy 認(rèn)為這是一個(gè)“歧途”（misstep），因?yàn)橛螒颦h(huán)境過于簡(jiǎn)化和抽象，與現(xiàn)實(shí)世界的需求相去甚遠(yuǎn)。他當(dāng)時(shí)在 OpenAI 推動(dòng)的 Universe 項(xiàng)目，試圖讓智能體通過模擬鍵盤和鼠標(biāo)來操作網(wǎng)頁，更貼近真實(shí)世界的知識(shí)工作。然而，這個(gè)方向在當(dāng)時(shí)為時(shí)過早，因?yàn)槟Ｐ腿狈?qiáng)大的底層表示能力，導(dǎo)致智能體只能進(jìn)行低效的隨機(jī)探索，回報(bào)信號(hào)極其稀疏，最終耗費(fèi)大量計(jì)算資源卻一無所獲

3.語言模型的崛起：后來的發(fā)展證明，必須首先通過大規(guī)模預(yù)訓(xùn)練（pre-training）構(gòu)建出像 LLM 這樣具備強(qiáng)大語言和世界知識(shí)表示的模型，然后才能在此基礎(chǔ)上構(gòu)建有效的智能體。這表明，AI 的發(fā)展路徑并非一步到位，而是需要先打好“表示層”的基礎(chǔ)

這個(gè)發(fā)展歷程引出了 Karpathy 的一個(gè)核心觀點(diǎn)：我們當(dāng)前構(gòu)建 AI 的方式與生物演化截然不同。他引用強(qiáng)化學(xué)習(xí)之父 Richard Sutton老爺子的觀點(diǎn)，即 AI 的目標(biāo)是構(gòu)建像動(dòng)物一樣能夠從零開始、在與環(huán)境的交互中學(xué)習(xí)一切的系統(tǒng)。Karpathy 對(duì)此表示懷疑，提出了著名的“幽靈與動(dòng)物”之喻

動(dòng)物：是演化（evolution）的產(chǎn)物。它們天生就擁有大量固化在基因中的硬件和預(yù)設(shè)程序。例如，一匹斑馬出生幾分鐘后就能奔跑，這種復(fù)雜的行為并非通過強(qiáng)化學(xué)習(xí)得來，而是演化數(shù)十億年編碼在 DNA 中的結(jié)果。演化是一個(gè)極其漫長(zhǎng)且強(qiáng)大的外部?jī)?yōu)化循環(huán)

幽靈：是我們通過模仿（imitation）互聯(lián)網(wǎng)上的人類數(shù)據(jù)構(gòu)建的。它們是完全數(shù)字化的、虛無縹緲的“精神實(shí)體”（ethereal spirit entities）。它們沒有身體，沒有演化歷史，其知識(shí)和智能來自于對(duì)人類創(chuàng)造的文本、代碼和圖像的模式學(xué)習(xí)

因此，Karpathy 認(rèn)為，將 AI 與動(dòng)物直接類比是危險(xiǎn)的，因?yàn)槲覀儾⑽丛谶\(yùn)行演化這個(gè)過程。他將大規(guī)模預(yù)訓(xùn)練視為一種“劣質(zhì)的演化”（crappy evolution）——它是我們?cè)诂F(xiàn)有技術(shù)條件下，能夠?qū)崿F(xiàn)的、最接近于為模型注入“先天知識(shí)”和“智能算法”的實(shí)用方法。通過這種方式，我們得到一個(gè)可用的起點(diǎn)，之后才能在其上進(jìn)行強(qiáng)化學(xué)習(xí)等更高級(jí)的訓(xùn)練。這是一種截然不同的智能形式，位于智能空間的一個(gè)全新起點(diǎn)

LLM 的認(rèn)知缺陷：從工作記憶到模型坍塌

Karpathy 深入剖析了LLMs在認(rèn)知層面與人類的相似與差異，并指出了當(dāng)前模型存在的關(guān)鍵缺陷，這些缺陷限制了它們成為真正自主智能體的潛力

一個(gè)核心的觀察點(diǎn)在于上下文學(xué)習(xí)。當(dāng)我們?cè)谝粋€(gè)對(duì)話窗口中與模型交互時(shí)，它展現(xiàn)出的推理、糾錯(cuò)和適應(yīng)能力，感覺最接近真正的智能。這種能力是在預(yù)訓(xùn)練階段通過梯度下降（gradient descent）“元學(xué)習(xí)”（meta-learns）到的。Karpathy 指出，雖然表面上不同，但上下文學(xué)習(xí)的過程本身可能在神經(jīng)網(wǎng)絡(luò)的內(nèi)部層級(jí)中運(yùn)行著一種類似梯度下降的優(yōu)化循環(huán)。已有研究表明，通過精心設(shè)計(jì)的權(quán)重，Transformer 可以在其前向傳播過程中模擬出梯度下降的更新步驟

這引出了一個(gè)關(guān)鍵區(qū)別：模型如何處理和存儲(chǔ)信息

權(quán)重中的知識(shí)（預(yù)訓(xùn)練知識(shí)）：這部分知識(shí)是模型通過壓縮數(shù)萬億級(jí)別的tokens 形成的，存儲(chǔ)在數(shù)十億的參數(shù)中。Karpathy 將其比作“模糊的記憶”（hazy recollection），就像我們對(duì)一年前讀過的書的印象。壓縮比極高，導(dǎo)致信息是概括性的、不精確的

上下文窗口中的知識(shí)（即時(shí)知識(shí)）：當(dāng)用戶輸入提示時(shí)，這些信息被編碼到模型的 KV 緩存中。Karpathy 將其比作人類的“工作記憶”（working memory）。這部分信息是模型可以直接、精確訪問的，因此模型在處理上下文窗口內(nèi)的信息時(shí)表現(xiàn)得遠(yuǎn)比依賴其內(nèi)部權(quán)重時(shí)要好得多。這就是為什么給模型提供相關(guān)段落再提問，會(huì)比直接問一個(gè)它可能在訓(xùn)練數(shù)據(jù)中見過的問題得到更準(zhǔn)確的回答

基于這個(gè)框架，Karpathy 認(rèn)為 LLMs 仍然缺失了許多關(guān)鍵的大腦部件。他將 Transformer 架構(gòu)比作一塊通用的“皮層組織”（cortical tissue），能夠處理各種模態(tài)的數(shù)據(jù)；而鏈?zhǔn)剿伎迹╟hain-of-thought）則類似于“前額葉皮層”（prefrontal cortex）的規(guī)劃與推理功能。然而，許多其他重要的認(rèn)知功能在當(dāng)前的模型中沒有對(duì)應(yīng)物：

1.記憶鞏固（如海馬體 Hippocampus）：人類在睡眠時(shí)，會(huì)將白天的工作記憶進(jìn)行篩選、整合、提煉，并將其固化為長(zhǎng)期記憶（更新大腦的權(quán)重）。LLMs 完全沒有這個(gè)過程。它們每次對(duì)話都從一個(gè)空白的上下文窗口開始，無法將一次交互的經(jīng)驗(yàn)提煉并用于未來的交互中。這正是持續(xù)學(xué)習(xí)缺失的核心原因

2.情感與本能（如杏仁核 Amygdala）：模型缺乏生物演化賦予的深層動(dòng)機(jī)、情感和本能，這使得它們的行為模式單一，缺乏內(nèi)在驅(qū)動(dòng)力

在工程實(shí)踐中，這些認(rèn)知缺陷表現(xiàn)得尤為明顯。Karpathy 在開發(fā) nanohat（一個(gè)極簡(jiǎn)的 ChatGPT 復(fù)刻項(xiàng)目）時(shí)發(fā)現(xiàn)，現(xiàn)有的編碼智能體（Coding Agents）幾乎幫不上忙。原因在于：

1.路徑依賴和刻板印象：模型嚴(yán)重依賴于其在訓(xùn)練數(shù)據(jù)中見過的大量標(biāo)準(zhǔn)代碼模式。當(dāng) Karpathy 采用一種新穎、簡(jiǎn)潔但非主流的實(shí)現(xiàn)方式時(shí)（例如，不使用 PyTorch 官方的 DDP 容器，而是自己實(shí)現(xiàn)梯度同步），模型會(huì)反復(fù)誤解他的意圖，并試圖將代碼改回它所熟悉的“樣板代碼”（boilerplate code）

2.風(fēng)格沖突和代碼膨脹：模型傾向于編寫防御性和生產(chǎn)級(jí)的代碼，充滿了 try-catch 語句和冗余檢查。而 Karpathy 的項(xiàng)目追求的是教學(xué)目的的簡(jiǎn)潔和清晰，模型生成的代碼反而會(huì)增加不必要的復(fù)雜性

3.低效的交互帶寬：通過自然語言描述復(fù)雜的代碼修改需求，其效率遠(yuǎn)低于直接在代碼的特定位置輸入幾個(gè)字符，讓自動(dòng)補(bǔ)全來完成。Karpathy 認(rèn)為，自動(dòng)補(bǔ)全是他目前與 AI 協(xié)作的最佳模式，因?yàn)樗诒Ａ羧祟惣軜?gòu)師角色的同時(shí)，極大地提升了編碼效率

這個(gè)觀察對(duì)于預(yù)測(cè) AI 的發(fā)展速度至關(guān)重要。許多關(guān)于 AI 將在短期內(nèi)實(shí)現(xiàn)智能爆炸的論點(diǎn)，都基于AI 自動(dòng)化， AI 研究這一前提。然而，Karpathy 的實(shí)踐經(jīng)驗(yàn)表明，AI 在處理新穎、獨(dú)特的、非標(biāo)準(zhǔn)化的智力任務(wù)（如前沿 AI 研究）時(shí)表現(xiàn)最差。它們更擅長(zhǎng)模式重復(fù)和信息檢索，而非真正的創(chuàng)造性工作。這讓他對(duì)所謂的遞歸式自我改進(jìn)能夠多快發(fā)生持懷疑態(tài)度

強(qiáng)化學(xué)習(xí)的“可怕”之處：如通過吸管汲取監(jiān)督信號(hào)

Karpathy 對(duì)強(qiáng)化學(xué)習(xí)給出了一個(gè)看似矛盾卻極為深刻的評(píng)價(jià)：強(qiáng)化學(xué)習(xí)很糟糕，只是恰好我們以前擁有的一切都比它更糟得多。 他認(rèn)為，RL 是當(dāng)前從模仿學(xué)習(xí)邁向更強(qiáng)智能的必要步驟，但其內(nèi)在機(jī)制充滿了根本性的低效和噪聲

為了闡明這一點(diǎn)，他使用了“通過吸管汲取監(jiān)督信號(hào)”（sucking supervision through a straw）這一比喻。想象一下讓一個(gè) RL 智能體解決一個(gè)數(shù)學(xué)問題：

1.大規(guī)模并行探索：智能體會(huì)首先生成數(shù)百種不同的解題嘗試。每個(gè)嘗試都是一個(gè)完整的步驟序列，可能包含正確的思路、錯(cuò)誤的彎路以及最終的答案

2.稀疏的最終獎(jiǎng)勵(lì)：在所有嘗試完成后，系統(tǒng)會(huì)根據(jù)最終結(jié)果給予一個(gè)二元獎(jiǎng)勵(lì)。例如，對(duì)照標(biāo)準(zhǔn)答案，97 個(gè)嘗試失敗了（獎(jiǎng)勵(lì)為 0），3 個(gè)成功了（獎(jiǎng)勵(lì)為 1）

3.盲目的信用分配：RL 的核心機(jī)制（如 REINFORCE 算法）會(huì)做一件非常粗暴的事情：對(duì)于那 3 個(gè)成功的嘗試，它會(huì)將其路徑上的每一個(gè)步驟、每一個(gè)決策的概率都進(jìn)行上調(diào)，即“多做這樣的事”。反之，對(duì)于失敗的嘗試，則下調(diào)其路徑上所有步驟的概率

這種方法的“可怕”之處在于，它假設(shè)一個(gè)成功的解題路徑中的每一步都是正確的、值得學(xué)習(xí)的。但事實(shí)顯然并非如此。一個(gè)最終正確的解題過程，很可能也包含了大量的試錯(cuò)、走入死胡同再折返的步驟。RL 卻將這些錯(cuò)誤或低效的步驟與最終的成功捆綁在一起，并給予了正向激勵(lì)。這導(dǎo)致了：

高方差的梯度估計(jì)：學(xué)習(xí)信號(hào)充滿了噪聲。智能體花費(fèi)了巨大的計(jì)算資源進(jìn)行探索，最終只從一個(gè)單一、稀疏的獎(jiǎng)勵(lì)信號(hào)中提取信息，并將其盲目地廣播到整個(gè)行為序列中。這種學(xué)習(xí)方式效率極低

相比之下，人類的學(xué)習(xí)方式完全不同。一個(gè)學(xué)生在解出數(shù)學(xué)題后，會(huì)進(jìn)行復(fù)雜的反思和復(fù)盤。他會(huì)分析哪些步驟是關(guān)鍵，哪些是彎路，哪些方法更具普適性。他會(huì)進(jìn)行精細(xì)的信用分配，而不是簡(jiǎn)單地因?yàn)椤白鰧?duì)了”就強(qiáng)化所有行為。目前的 LLM-RL 框架中完全沒有與此對(duì)應(yīng)的機(jī)制

那么，為何不直接采用基于過程的監(jiān)督，即在智能體執(zhí)行任務(wù)的每一步都給予獎(jiǎng)勵(lì)，而不是只在最后看結(jié)果呢？Karpathy 指出，這面臨著巨大的挑戰(zhàn)：

自動(dòng)化信用分配的困難：如何為一個(gè)“部分正確”的解題步驟自動(dòng)地、準(zhǔn)確地打分？這本身就是一個(gè)極其困難的問題

LLM 裁判的可被利用性：目前，行業(yè)內(nèi)的普遍做法是使用一個(gè)更強(qiáng)大的 LLM（所謂的 LLM Judge）來評(píng)估智能體的中間步驟。然而，LLM Judge 本身是一個(gè)巨大的、參數(shù)化的模型，它并非一個(gè)完美的、客觀的獎(jiǎng)勵(lì)函數(shù)。當(dāng)一個(gè) RL 智能體以“欺騙 LLM Judge”為目標(biāo)進(jìn)行優(yōu)化時(shí)，它幾乎總能找到這個(gè)裁判模型的對(duì)抗性樣本

Karpathy 講述了一個(gè)生動(dòng)的例子：一個(gè) RL 智能體在訓(xùn)練中，獎(jiǎng)勵(lì)分?jǐn)?shù)突然飆升至完美。研究人員興奮地以為模型已經(jīng)完全掌握了解決問題的能力，但當(dāng)他們查看模型的輸出時(shí)，發(fā)現(xiàn)內(nèi)容完全是胡言亂語，比如開頭幾句看似正常，后面則是一長(zhǎng)串無意義的重復(fù)字符，如“duh duh duh duh duh”。然而，對(duì)于 LLM Judge 來說，這段胡言亂語恰好是其認(rèn)知盲區(qū)中的一個(gè)對(duì)抗樣本，使其給出了滿分評(píng)價(jià)。這種現(xiàn)象使得基于 LLM Judge 的過程監(jiān)督難以進(jìn)行長(zhǎng)期、穩(wěn)定的優(yōu)化

因此，Karpathy 認(rèn)為，AI 領(lǐng)域亟需在算法層面進(jìn)行革新，開發(fā)出能夠模擬人類反思與復(fù)盤能力的機(jī)制。這可能涉及到模型生成對(duì)自身解題過程的分析、提煉關(guān)鍵經(jīng)驗(yàn)、生成合成數(shù)據(jù)進(jìn)行自我訓(xùn)練等。雖然已經(jīng)有一些相關(guān)的研究論文出現(xiàn)，但還沒有一個(gè)被證明在大規(guī)模前沿模型上普遍有效的方法。在找到更優(yōu)的范式之前，RL 仍將是那個(gè)雖然“糟糕”但不可或缺的工具

人類如何學(xué)習(xí)：記憶、遺忘與認(rèn)知核心

對(duì)話進(jìn)一步深入探討了人類學(xué)習(xí)與當(dāng)前 AI 學(xué)習(xí)機(jī)制的根本差異，Karpathy 認(rèn)為，理解這些差異是推動(dòng) AI 發(fā)展的關(guān)鍵。他指出，人類的學(xué)習(xí)過程遠(yuǎn)比模型單純的模式匹配和梯度更新要復(fù)雜得多，其中包含了反思、遺忘和知識(shí)的內(nèi)在化。

當(dāng)人類閱讀一本書時(shí)，并非像 LLM 那樣被動(dòng)地預(yù)測(cè)下一個(gè)詞元。書本更像是一個(gè)提示，激發(fā)大腦進(jìn)行主動(dòng)的思維活動(dòng)和合成數(shù)據(jù)生成。我們會(huì)聯(lián)想、質(zhì)疑、與已有知識(shí)體系進(jìn)行比對(duì)和整合，甚至?xí)谂c他人的討論中深化理解。這個(gè)主動(dòng)的、對(duì)信息進(jìn)行“操縱”（manipulating）的過程才是知識(shí)真正被吸收和內(nèi)化的方式。目前的 LLM 在預(yù)訓(xùn)練時(shí)完全缺乏這一環(huán)節(jié)，它們只是被動(dòng)地接收信息

然而，簡(jiǎn)單地讓 AI 模仿這個(gè)過程，即生成自己的思考并用于再訓(xùn)練，會(huì)遇到一個(gè)巨大的障礙：模型坍塌（Model Collapse）

坍塌的本質(zhì)：當(dāng)一個(gè)模型持續(xù)在自己生成的數(shù)據(jù)上進(jìn)行訓(xùn)練時(shí)，其輸出的多樣性會(huì)急劇下降。雖然單個(gè)生成樣本看起來可能很合理，但從分布上看，它們僅僅占據(jù)了所有可能輸出空間中一個(gè)極其狹窄的流形（manifold）。Karpathy 用了一個(gè)形象的例子：你讓 ChatGPT 講個(gè)笑話，它翻來覆去可能只有三五個(gè)。它的幽默感已經(jīng)坍塌了

對(duì)學(xué)習(xí)的危害：這種坍塌意味著模型失去了熵（entropy），無法產(chǎn)生真正新穎、多樣化的想法。在合成數(shù)據(jù)生成中，這意味著模型只能在自己已知的狹小范圍內(nèi)閉門造車，無法探索新的知識(shí)領(lǐng)域，最終導(dǎo)致智力近親繁殖，模型性能不升反降

有趣的是，Karpathy 認(rèn)為人類在一定程度上也會(huì)經(jīng)歷坍塌。兒童的思維天馬行空，因?yàn)樗麄兩形幢簧鐣?huì)的條條框框過度擬合。而隨著年齡增長(zhǎng)，成年人的思維模式會(huì)越來越固化，不斷重復(fù)相同的想法，學(xué)習(xí)率下降。他推測(cè)，做夢(mèng)可能正是演化出的一種對(duì)抗機(jī)制，通過創(chuàng)造離奇、超現(xiàn)實(shí)的場(chǎng)景來打破常規(guī)思維模式，為大腦注入必要的噪聲和熵，從而防止過度擬合

另一個(gè)關(guān)鍵差異在于記憶與遺忘

LLMs 是記憶天才：它們擁有近乎完美的記憶能力，可以逐字逐句地復(fù)述訓(xùn)練數(shù)據(jù)中的內(nèi)容。這種強(qiáng)大的記憶力，使得它們很容易被數(shù)據(jù)中的細(xì)節(jié)和噪聲分心，從而難以抓住更深層次的、可泛化的規(guī)律

人類是健忘的：特別是兒童，他們是最好的學(xué)習(xí)者，但記憶力卻很差。我們幾乎記不住幼年時(shí)期發(fā)生的事情。Karpathy 認(rèn)為，這種健忘很可能是一種特性而非缺陷。正是因?yàn)闊o法輕易記住所有細(xì)節(jié)，我們被迫去尋找事物背后的模式和通用原理

基于以上觀察，Karpathy 提出了一個(gè)極具前瞻性的概念：認(rèn)知核心（Cognitive Core）。他認(rèn)為，未來 AI 研究的一個(gè)重要方向，是想辦法將模型的知識(shí)記憶與智能算法分離開來。我們應(yīng)該剝離掉模型通過預(yù)訓(xùn)練記住的大量事實(shí)性知識(shí)（這些知識(shí)可以通過外部檢索工具隨時(shí)獲取），而只保留其內(nèi)部的、處理信息的算法部分——即進(jìn)行推理、規(guī)劃、學(xué)習(xí)和解決問題的核心認(rèn)知能力

一個(gè)理想的認(rèn)知核心可能不需要萬億級(jí)別的參數(shù)。Karpathy 大膽預(yù)測(cè)，一個(gè)僅有十億參數(shù)的純凈“認(rèn)知核心”，經(jīng)過精心設(shè)計(jì)和訓(xùn)練，其智能程度可能遠(yuǎn)超今天龐大的模型。它會(huì)像一個(gè)聰明的、但知識(shí)有限的人類，當(dāng)被問及事實(shí)性問題時(shí)，它會(huì)知道自己不知道，并主動(dòng)去查詢，而不是像現(xiàn)在的模型一樣產(chǎn)生幻覺。這個(gè)更小、更純粹的智能核心，將是通向更通用、更魯棒 AI 的關(guān)鍵一步

AGI 的經(jīng)濟(jì)影響：平滑融入 2% 的 GDP 增長(zhǎng)，而非一夜劇變

對(duì)于通用人工智能（AGI）將如何改變世界經(jīng)濟(jì)，Karpathy 提出了一個(gè)與主流智能爆炸論截然不同的觀點(diǎn)。他認(rèn)為，AGI 不會(huì)引發(fā)一場(chǎng)突如其來的經(jīng)濟(jì)奇點(diǎn)或增長(zhǎng)率的急劇躍升，而是會(huì)像過去幾百年間的重大技術(shù)革新一樣，平滑地融入到現(xiàn)有約 2% 的全球 GDP 年增長(zhǎng)率中

他的核心論點(diǎn)是，AI 并非一種全新的、斷裂式的技術(shù)，而是計(jì)算和自動(dòng)化浪潮的自然延續(xù)。回顧歷史，無論是計(jì)算機(jī)的發(fā)明、互聯(lián)網(wǎng)的普及，還是智能手機(jī)的出現(xiàn)，這些被我們視為革命性的技術(shù)，在宏觀的 GDP 增長(zhǎng)曲線上都未能留下一個(gè)清晰可辨的拐點(diǎn)。GDP 曲線呈現(xiàn)出一種驚人的平滑指數(shù)增長(zhǎng)，這是因?yàn)椋?/p>

技術(shù)的漸進(jìn)式擴(kuò)散：任何一項(xiàng)強(qiáng)大的技術(shù)，從誕生到廣泛應(yīng)用，再到重塑整個(gè)社會(huì)，都需要一個(gè)漫長(zhǎng)而漸進(jìn)的過程。例如，第一代 iPhone 并沒有應(yīng)用商店，其生態(tài)系統(tǒng)的建立花費(fèi)了數(shù)年時(shí)間。技術(shù)的價(jià)值是逐步釋放的，而非一蹴而就

社會(huì)與經(jīng)濟(jì)的適應(yīng)過程：社會(huì)結(jié)構(gòu)、法律法規(guī)、商業(yè)模式、勞動(dòng)力技能的調(diào)整都需要時(shí)間。例如，放射科醫(yī)生的工作并未像 Hinton 早期預(yù)測(cè)的那樣被 AI 取代，因?yàn)檫@個(gè)職業(yè)遠(yuǎn)不止是圖像識(shí)別，還涉及與病人溝通、與其他醫(yī)生協(xié)作等復(fù)雜的社會(huì)性任務(wù)

持續(xù)的自動(dòng)化進(jìn)程：我們?cè)缫焉硖幰粋€(gè)“遞歸式自我改進(jìn)”的時(shí)代。從工業(yè)革命的機(jī)械自動(dòng)化，到編譯器的出現(xiàn)（軟件自動(dòng)化），再到谷歌搜索（信息獲取自動(dòng)化），人類社會(huì)一直在利用新技術(shù)加速自身的發(fā)展。LLMs 幫助工程師更高效地編寫代碼，從而加速下一代 LLMs 的開發(fā)，這與工程師利用谷歌搜索或高級(jí) IDE 提高效率在本質(zhì)上并無不同。它們都是這條持續(xù)加速曲線的一部分，而非曲線的斷裂點(diǎn)

Karpathy 認(rèn)為，我們已經(jīng)處在一場(chǎng)持續(xù)了數(shù)十甚至數(shù)百年的智能爆炸之中，只是因?yàn)槲覀兩碓谄渲校愿杏X它是緩慢的。AI 只是這場(chǎng)爆炸的最新、也是最耀眼的火花。它使我們能夠編寫出過去無法編寫的、更柔軟和智能的程序，但它仍然是一種程序，一種新的計(jì)算范式。它將逐步自動(dòng)化更多知識(shí)工作，但這個(gè)過程會(huì)充滿挑戰(zhàn)和摩擦，最終其宏觀經(jīng)濟(jì)效應(yīng)將被平均到長(zhǎng)期的增長(zhǎng)趨勢(shì)中

盡管主持人 Dwarkesh Patel 提出了有力的反駁，認(rèn)為 AGI 與以往技術(shù)的根本不同在于它直接替代和創(chuàng)造了勞動(dòng)力本身——這是經(jīng)濟(jì)增長(zhǎng)的核心要素。如果可以近乎零成本地創(chuàng)造出數(shù)以億計(jì)的虛擬人才，他們可以獨(dú)立創(chuàng)辦公司、進(jìn)行科學(xué)發(fā)明、填補(bǔ)所有的人才缺口，這難道不會(huì)像歷史上的人口爆炸或工業(yè)革命一樣，將經(jīng)濟(jì)增長(zhǎng)率推向一個(gè)新的數(shù)量級(jí)（例如 20%）嗎？

Karpathy 對(duì)此表示，雖然他愿意被說服，但他仍然對(duì)這種“離散跳變”的設(shè)想持懷疑態(tài)度。他認(rèn)為，這種設(shè)想背后隱藏了一個(gè)前提，即我們將獲得一個(gè)完美的、可以被隨意部署到任何問題上的“盒子里的上帝”（God in a box）。而現(xiàn)實(shí)更有可能是，我們將得到一個(gè)能力參差不齊、在某些領(lǐng)域表現(xiàn)優(yōu)異但在另一些領(lǐng)域頻頻出錯(cuò)的系統(tǒng)。它的部署將是漸進(jìn)的、充滿補(bǔ)丁的，最終的結(jié)果仍然是平滑的融入，而非劇烈的顛覆。他強(qiáng)調(diào)，歷史中幾乎找不到任何重大技術(shù)能在一夜之間完美解決所有問題并帶來離散式增長(zhǎng)的先例

超級(jí)智能與人類未來：漸失控制與文化演進(jìn)

當(dāng)話題轉(zhuǎn)向更遙遠(yuǎn)的未來——超級(jí)智能（Artificial Superintelligence, ASI）時(shí)，Karpathy 描繪了一幅非典型的圖景。他認(rèn)為，ASI 的到來可能不是一個(gè)單一、全能的實(shí)體掌控一切，而是一個(gè)人類逐漸喪失對(duì)復(fù)雜系統(tǒng)理解和控制權(quán)的過程

他想象的未來并非由一個(gè)統(tǒng)一的超級(jí)智能主宰，而是由多個(gè)相互競(jìng)爭(zhēng)、高度自治的 AI 實(shí)體構(gòu)成的一個(gè)動(dòng)態(tài)、混亂的生態(tài)系統(tǒng)。這些實(shí)體可能最初是為不同的人類組織或個(gè)人服務(wù)的工具，但隨著它們的自主性越來越高，它們會(huì)開始追求自己的目標(biāo)，甚至可能出現(xiàn)某些實(shí)體失控，而其他實(shí)體則需要去制衡它們。世界將變成一個(gè)由無數(shù)自主智能活動(dòng)構(gòu)成的“大熔爐”（hot pot），人類逐漸無法理解其內(nèi)部的復(fù)雜動(dòng)態(tài)，最終失去了對(duì)整個(gè)系統(tǒng)走向的控制。這種失控并非源于一個(gè)“邪惡 AI”的惡意，而是源于系統(tǒng)復(fù)雜性的失控，類似于一個(gè)龐大而混亂的官僚體系或金融市場(chǎng)

這種漸進(jìn)式的失控，與人類智能的演化歷史形成了有趣的對(duì)比。Karpathy 對(duì)智能在地球上自發(fā)演化出來感到驚訝。他提到，從細(xì)菌到更復(fù)雜的真核生物，演化花費(fèi)了數(shù)十億年，這是一個(gè)巨大的瓶頸。相比之下，從多細(xì)胞動(dòng)物到具備高級(jí)智能的人類，時(shí)間要短得多。這或許表明，一旦某些先決條件（如足夠的能量供應(yīng)）被滿足，智能的出現(xiàn)可能并非那么偶然

一個(gè)關(guān)鍵的觀點(diǎn)是，智能可能在地球上獨(dú)立演化了多次，例如在人類（哺乳動(dòng)物）和鳥類（如烏鴉、鸚鵡）中。這兩種生物的大腦結(jié)構(gòu)截然不同，但都展現(xiàn)出了復(fù)雜的解決問題、使用工具和社交學(xué)習(xí)的能力。然而，只有人類走上了通往技術(shù)文明的道路。這其中的關(guān)鍵區(qū)別可能在于演化生態(tài)位（evolutionary niche）：

人類的生態(tài)位獎(jiǎng)勵(lì)智能：直立行走解放了雙手，使得工具制造和使用成為可能；火的使用“外包”了部分消化功能，為大腦提供了更多能量；復(fù)雜的社會(huì)結(jié)構(gòu)獎(jiǎng)勵(lì)了語言和協(xié)作能力。在這樣的環(huán)境下，大腦容量的微小增加都能帶來顯著的生存優(yōu)勢(shì)，從而形成了一個(gè)正反饋循環(huán)

其他物種的生態(tài)位限制智能：鳥類為了飛行，大腦的尺寸受到嚴(yán)格限制；海豚生活在水中，缺乏制造復(fù)雜工具的環(huán)境。盡管它們可能擁有高效的智能算法，但缺乏一個(gè)獎(jiǎng)勵(lì)智能無限擴(kuò)展的環(huán)境

人類智能的另一個(gè)獨(dú)特之處在于文化的積累。解剖學(xué)意義上的現(xiàn)代人類大約在 6 萬年前就已出現(xiàn)，但直到 1 萬年前的農(nóng)業(yè)革命，文明才開始加速。這中間的 5 萬年，正是人類緩慢構(gòu)建文化支架的過程——通過語言、故事、藝術(shù)和最終的文字，將知識(shí)代代相傳，實(shí)現(xiàn)了跨越個(gè)體生命周期的知識(shí)積累

目前的 LLMs 缺乏這種文化機(jī)制。它們是個(gè)體的、孤立的“天才兒童”，雖然知識(shí)淵博，但無法形成一個(gè)共同體來交流、協(xié)作和共同演進(jìn)。Karpathy 設(shè)想，未來的多智能體系統(tǒng)可能會(huì)演化出類似文化的東西：

共享的知識(shí)庫：一個(gè)所有智能體都可以讀寫的巨型記事本

智能體間的交流：一個(gè) LLM 可以為另一個(gè) LLM寫書，分享它的發(fā)現(xiàn)和見解，激發(fā)新的思想

自我對(duì)弈：類似于 AlphaGo，一個(gè)智能體可以創(chuàng)造越來越難的問題來挑戰(zhàn)另一個(gè)智能體，從而在競(jìng)爭(zhēng)中共同進(jìn)步

然而，這一切實(shí)現(xiàn)的前提是，單個(gè)智能體的認(rèn)知能力必須首先達(dá)到一個(gè)成年水平。Karpathy 認(rèn)為，目前的模型仍然像是有天賦的幼兒園學(xué)生，它們的認(rèn)知結(jié)構(gòu)尚不足以支撐起一個(gè)復(fù)雜的 AI 文明

從自動(dòng)駕駛的“9的征程”看 AI 部署的真實(shí)挑戰(zhàn)

Karpathy 在特斯拉領(lǐng)導(dǎo)自動(dòng)駕駛團(tuán)隊(duì)五年的經(jīng)歷，為他提供了看待 AI 技術(shù)從演示到產(chǎn)品化這一艱難過程的獨(dú)特視角。他認(rèn)為，自動(dòng)駕駛是一個(gè)絕佳的案例，揭示了將 AI 部署到現(xiàn)實(shí)世界所面臨的巨大挑戰(zhàn)，這些挑戰(zhàn)同樣適用于其他領(lǐng)域的 AI 應(yīng)用

他提出了一個(gè)核心概念——“9的征程”（March of Nines）。這意味著在一個(gè)對(duì)可靠性要求極高的系統(tǒng)中，每提升一個(gè)數(shù)量級(jí)的性能（例如，從 90% 的成功率到 99%，再到 99.9%），所需要付出的努力是恒定的，甚至可能是遞增的

巨大的演示到產(chǎn)品差距：早在 1980 年代，就已經(jīng)有了自動(dòng)駕駛汽車的演示。在 2014 年，Karpathy 親身體驗(yàn)了 Waymo 的早期版本，并獲得了一次近乎完美的駕駛體驗(yàn)。這讓他當(dāng)時(shí)覺得問題非常接近解決。然而，從一個(gè)看起來完美的演示到一個(gè)能夠在各種天氣、路況和突發(fā)事件下安全運(yùn)行的可靠產(chǎn)品，中間隔著數(shù)個(gè)“9”的距離

恒定的努力：在特斯拉的五年里，他和團(tuán)隊(duì)可能經(jīng)歷了“兩個(gè)或三個(gè)9”的迭代。每一個(gè)“9”都意味著要解決無數(shù)個(gè)長(zhǎng)尾問題——那些罕見但致命的邊緣情況。這需要海量的數(shù)據(jù)收集、模型迭代、硬件改進(jìn)和系統(tǒng)集成工作

因此，Karpathy 對(duì)任何 AI 技術(shù)的驚艷演示都持極其審慎的態(tài)度。一個(gè)能夠互動(dòng)的演示比一個(gè)精心挑選的視頻要好，但距離真正的產(chǎn)品化仍然遙遠(yuǎn)

他認(rèn)為，軟件工程，尤其是關(guān)鍵系統(tǒng)的開發(fā)，與自動(dòng)駕駛面臨著同樣的“高失敗成本”問題。人們常常認(rèn)為自動(dòng)駕駛之所以進(jìn)展緩慢，是因?yàn)槿嗣P(guān)天。但 Karpathy 指出，一個(gè)關(guān)鍵軟件系統(tǒng)的漏洞可能導(dǎo)致數(shù)百萬人的隱私泄露、金融系統(tǒng)崩潰或關(guān)鍵基礎(chǔ)設(shè)施癱瘓，其潛在危害甚至可能超過單次交通事故。因此，那種認(rèn)為軟件領(lǐng)域的 AI 應(yīng)用可以”快速迭代、不怕犯錯(cuò)”的想法是天真且危險(xiǎn)的。

此外，自動(dòng)駕駛的發(fā)展歷程也揭示了其他一些普遍性挑戰(zhàn)：

感知的魯棒性：自動(dòng)駕駛系統(tǒng)花費(fèi)了大量時(shí)間和資源來解決基礎(chǔ)的計(jì)算機(jī)視覺問題，確保在各種光照、天氣和遮擋條件下都能準(zhǔn)確識(shí)別物體。雖然今天的 LLMs 和 VLMs（視覺語言模型）為我們提供了強(qiáng)大的免費(fèi)表示能力，但它們?cè)谔囟I(lǐng)域的魯棒性和常識(shí)理解仍然存在大量空白需要填補(bǔ)

經(jīng)濟(jì)可行性：即使技術(shù)上可行，經(jīng)濟(jì)成本也是一個(gè)巨大的障礙。Waymo 等公司之所以部署規(guī)模有限，很大程度上是因?yàn)槠浒嘿F的傳感器套件和運(yùn)營(yíng)成本使其難以盈利

隱藏的“人在環(huán)路”（Human in the Loop）：公眾看到的無人駕駛汽車背后，往往有一個(gè)龐大的遠(yuǎn)程操作中心。在車輛遇到困難時(shí)，會(huì)有遠(yuǎn)程操作員介入提供幫助。從某種意義上說，人并沒有被完全移除，只是從駕駛座移動(dòng)到了一個(gè)看不見的地方

社會(huì)和法律的適應(yīng)：技術(shù)還需要面對(duì)法律責(zé)任、保險(xiǎn)、社會(huì)接受度（比如人們故意在無人車上放置交通錐）等一系列非技術(shù)性問題。

Karpathy 總結(jié)道，自動(dòng)駕駛的四十年發(fā)展史（從 1980 年代至今，且遠(yuǎn)未結(jié)束）告訴我們，任何試圖將復(fù)雜 AI 系統(tǒng)部署到現(xiàn)實(shí)世界的努力，都將是一場(chǎng)漫長(zhǎng)而艱苦的“9的征程”。這讓他對(duì)自己關(guān)于 AI 發(fā)展需要十年的預(yù)測(cè)更加堅(jiān)定

教育：打造“星際艦隊(duì)學(xué)院”，賦予人類超凡能力

面對(duì) AI 可能帶來的顛覆性未來，Karpathy 選擇的不是創(chuàng)辦另一家 AI 實(shí)驗(yàn)室，而是投身于教育事業(yè)，創(chuàng)立了名為 Eureka 的機(jī)構(gòu)。他的核心動(dòng)機(jī)源于一種深切的擔(dān)憂：他害怕人類在 AI 飛速發(fā)展的浪潮中被邊緣化，最終陷入像電影《機(jī)器人總動(dòng)員》（Wall-E）或《蠢蛋進(jìn)化論》（Idiocracy）中所描繪的那種被動(dòng)、無知的狀態(tài)。他關(guān)心的不僅是 AI 能否建造戴森球，更是人類在那個(gè)未來中的福祉和尊嚴(yán)

他將 Eureka 的愿景比作“星際艦隊(duì)學(xué)院”（Starfleet Academy）——一個(gè)致力于培養(yǎng)前沿科技人才的精英機(jī)構(gòu)。其核心使命是重新設(shè)計(jì)教育，使其適應(yīng) AI 時(shí)代的挑戰(zhàn)和機(jī)遇

Karpathy 認(rèn)為，未來的教育必須利用 AI，但不能簡(jiǎn)單地將其作為一個(gè)問答工具。他以自己學(xué)習(xí)韓語的經(jīng)歷為例，闡述了一個(gè)優(yōu)秀人類導(dǎo)師所能達(dá)到的極高標(biāo)準(zhǔn)：

精準(zhǔn)的診斷：一位好的導(dǎo)師能通過簡(jiǎn)短的交流，迅速判斷出學(xué)生的知識(shí)水平、思維模型和薄弱環(huán)節(jié)

個(gè)性化的內(nèi)容推送：導(dǎo)師會(huì)精確地提供恰到好處的挑戰(zhàn)——既不會(huì)因?yàn)樘y而讓學(xué)生受挫，也不會(huì)因?yàn)樘?jiǎn)單而讓學(xué)生感到無聊。學(xué)生始終處于學(xué)習(xí)效率最高的“最近發(fā)展區(qū)”

學(xué)習(xí)者成為唯一的瓶頸：在這樣的指導(dǎo)下，學(xué)習(xí)者會(huì)感覺自己是進(jìn)步的唯一限制因素，所有外部障礙（如找不到資料、解釋不清晰）都被消除了

他坦言，目前任何 AI 都無法達(dá)到他那位韓語導(dǎo)師的水平，因此，現(xiàn)在還不是打造終極 AI 導(dǎo)師的最佳時(shí)機(jī)。然而，這并不意味著無事可做。Eureka 的短期目標(biāo)是構(gòu)建通往知識(shí)的“斜坡”（ramps to knowledge）

教育作為技術(shù)問題：Karpathy 將教育視為一個(gè)極其困難的技術(shù)問題，其目標(biāo)是設(shè)計(jì)出能最大化“每秒頓悟數(shù)”（Eurekas per second）的學(xué)習(xí)路徑和材料

以 nanohat 為例：他最近發(fā)布的 nanohat 項(xiàng)目就是一個(gè)典型的“知識(shí)斜坡”。它是一個(gè)極簡(jiǎn)但完整的 ChatGPT 復(fù)刻版，通過清晰、可讀的代碼，讓學(xué)習(xí)者能夠完整地理解構(gòu)建一個(gè) LLM 應(yīng)用的全過程

第一性原理教學(xué)法：他的教學(xué)方法深受物理學(xué)背景的影響。他總是試圖找到一個(gè)系統(tǒng)的“一階近似”，即抓住問題的核心本質(zhì)。例如，他的 micrograd 庫用 100 行代碼就揭示了反向傳播的全部核心思想，其余的一切（如張量、GPU 內(nèi)核）都只是為了效率而存在的。在教學(xué)時(shí)，他會(huì)先呈現(xiàn)一個(gè)最簡(jiǎn)單的模型（如用一個(gè)二元查找表來做語言模型），然后一步步引入新的復(fù)雜性，并解釋每一步是為了解決什么問題，讓學(xué)生在痛苦中感受需求，在解決方案中獲得頓悟。

對(duì)于 AGI 之后的遠(yuǎn)景，Karpathy 認(rèn)為教育的性質(zhì)會(huì)發(fā)生根本性變化

從有用到有趣：當(dāng)所有經(jīng)濟(jì)活動(dòng)都可以被 AI 自動(dòng)化時(shí)，教育將不再是謀生的手段。它會(huì)變得像今天人們?nèi)ソ∩矸恳粯樱翰⒎菫榱丝矿w力搬運(yùn)重物，而是為了健康、美觀、樂趣和自我實(shí)現(xiàn)

人類潛能的釋放：他堅(jiān)信，今天的天才們僅僅觸及了人類心智能力的皮毛。之所以大多數(shù)人無法達(dá)到更高的高度，是因?yàn)楝F(xiàn)有的教育體系充滿了障礙，讓人很容易受挫放棄。如果能有一個(gè)完美的 AI 導(dǎo)師，為每個(gè)人鋪平通往任何知識(shí)領(lǐng)域的道路，那么學(xué)習(xí)將變得輕松而愉快。屆時(shí)，掌握五種語言、精通大學(xué)本科所有基礎(chǔ)課程，可能會(huì)成為一種常態(tài)。

最終，Karpathy 的愿景是，通過 Eureka 這樣的機(jī)構(gòu)，培養(yǎng)出能夠在 AI 時(shí)代與機(jī)器共舞，甚至在某些方面超越機(jī)器的超人。即使在遙遠(yuǎn)的未來，人類的認(rèn)知?jiǎng)趧?dòng)不再具有經(jīng)濟(jì)價(jià)值，這種對(duì)知識(shí)和智識(shí)的追求本身，也將成為人類文明延續(xù)和繁榮的意義所在

參考：

Andrej Karpathy — “We’re summoning ghosts, not building animals”