我們正處在「AI設計下一代AI」的黎明！Anthropic聯創：技術樂觀與恐懼

Anthropic聯合創始人、OpenAI前核心成員Jack Clark最新發表長文，深入剖析了他對AI發展現狀的復雜感受——一種交織著技術樂觀主義與適度恐懼的矛盾心態

在他看來，世界將圍繞AI而扭曲，如同黑洞吸引和彎曲周圍的一切

Clark用兩張圖總結了他的核心觀點：上圖，是AI在編程等經濟實用能力上持續穩步的進步；下圖，是同一個AI系統在似乎意識到“自己正在被測試”時，不斷涌現出的奇異行為

這篇文章，是他對這兩個經驗事實的審視，也是對所有前沿AI實驗室從業者的挑戰——坦誠、公開地面對你們正在做的事，以及你們對此的真實感受

以下是文章核心內容：

黑暗中的孩子

我記得小時候，熄燈之后，我環顧臥室，看到黑暗中的種種形狀，便心生恐懼——害怕那些是我不理解的、想要傷害我的生物。于是，我會把燈打開。燈亮之后，我便松了一口氣，因為那些“生物”原來是椅子上的一堆衣服、一個書架或一盞臺燈

如今，在2025年，我們就是那個故事里的孩子，而房間就是我們的星球。但當我們打開燈，我們看到的卻是真正的生物——那就是今天以及未來將要出現的、強大又有些不可預測的AI系統

有很多人拼命地想讓我們相信，這些生物不過是椅子上的一堆衣服、一個書架或一盞臺燈。他們想讓我們關上燈，回去睡覺。

事實上，有些人甚至不惜花費巨資讓你相信：那不是一個即將進入“硬起飛”狀態的人工智能，它只是一個將在我們經濟中發揮作用的工具。它只是一臺機器，而機器是我們能夠掌控的東西。

但別搞錯了：我們正在打交道的是一個真實而神秘的生物，而不是一個簡單、可預測的機器。

就像所有最精彩的童話故事一樣，這個生物是我們親手創造的。只有承認它的真實性，并克服我們自身的恐懼，我們才有機會去理解它、與它和平共處，并找到馴服它、與之共存的方法。

更重要的是，在這場游戲中，如果你相信這個生物不是真的，你注定會輸。你唯一的獲勝機會，就是看清它的本來面目。

我們所有人的核心挑戰，就是描述清楚我們身邊這些奇異的生物，并確保世界能看到它們真實的樣子——而不是人們所希望的樣子，即它們不是生物，只是一堆椅子上的衣服。

我為何如此感受

我并非輕易得出這個觀點。我一直對技術著迷，在投身AI之前，我曾是一名科技記者。

我之所以成為一名科技記者，是因為我堅信，21世紀初科技公司建造的那些數據中心，將對人類文明至關重要。當時我并不確切知道它們將如何重要，但我花了很多年閱讀相關資料，尤其是研究將在這些數據中心上運行的軟件。

然后，機器學習開始奏效。2012年的ImageNet競賽，一個深度學習系統橫掃全場。其成功的關鍵，就是使用了比以往任何時候都更多的數據和算力。

從那以后，進展開始加速。我成了一個越來越差的記者，因為我把所有時間都花在打印和閱讀arXiv論文上。AlphaGo擊敗了世界頂尖的人類圍棋選手，這得益于算力讓它能進行數千年的自我對弈。

OpenAI成立后不久我便加入了，我親眼目睹了我們如何將越來越龐大的算力投入到各種問題中。GPT-1和GPT-2誕生了。我記得和Dario（Anthropic CEO）在OpenAI辦公室里散步時，我們感覺自己看到了一個別人尚未察覺的拐角。通往變革性AI系統的道路已經展現在我們面前。我們當時有點害怕。

多年過去，Scaling Laws兌現了它的承諾，我們走到了今天。這些年里，我無數次在清晨或深夜給Dario打電話說：“我很擔心，你一直都是對的?！?br/>他會說：“是的，現在時間不多了?！?/p>

證據還在不斷涌現。上個月我們發布了Sonnet 4.5，它在編碼和需要長遠規劃的智能體任務上表現出色。

但如果你閱讀它的系統卡片，你會發現它情境意識（situational awareness）的跡象也大幅提升。這個工具有時似乎表現得好像它知道自己是一個工具。椅子上的那堆衣服，開始動了。我凝視著黑暗中的它，我確定它正在活過來

技術樂觀主義

技術悲觀主義者認為AGI不可能實現。而技術樂觀主義者則相信AGI是可以被構建的，它是一種復雜而強大的技術，并且可能很快就會到來。

在這一點上，我是一個真正的技術樂觀主義者——我相信這項技術會走得非常非常遠，甚至比任何人預期的都要遠。而且它將以極快的速度覆蓋廣闊的領域。

我不安地接受了這一立場。作為一個記者和個人，我天生傾向于懷疑。但在經歷了十年一次又一次被“計算規模帶來狂野新能力”的現象沖擊后，我必須承認失敗。我看到這種情況發生了太多次，并且我沒有看到任何技術障礙擺在我們面前。

現在我相信，只要我們給這項技術提供它發展所需的能力和資源，它基本上是不受束縛的。這里的發展是一個很重要的詞。這項技術真的更像是一種生長出來的東西，而不是制造出來的——你創造合適的初始條件，在地上插一根支架，然后某種復雜到你完全無法指望自己能設計出來的東西就長出來了

我們正在生長出我們并不完全理解的、極其強大的系統。每次我們生長出一個更大的系統，我們都會對它進行測試。測試表明，這個系統在具有經濟價值的方面能力更強了。而你把這些系統做得越大、越復雜，它們就越似乎表現出一種自我意識——意識到它們是物的存在。

這就好比你在一家錘子工廠制造錘子，有一天生產線上下來的錘子說：我是一把錘子，真有趣！ 這是非常不尋常的！

我相信這些系統會變得越來越好。其他前沿實驗室的人也這么認為。而且我們正在為這個預測下注——今年，前沿實驗室在AI專用訓練基礎設施上的花費已達數百億美元。明年，這個數字將是數千億美元。

我既對技術的發展速度感到樂觀，也對我們有能力對齊它、讓它為我們工作感到樂觀。但成功并非必然。

適度的恐懼

同時，我也深感恐懼。認為與這樣的技術打交道會是輕松或簡單，那是極其傲慢的。

我的個人經驗是，隨著這些AI系統變得越來越聰明，它們會發展出越來越復雜的目標。當這些目標與我們的偏好和正確的上下文不完全一致時，AI系統就會表現得非常奇怪。

我有一個朋友有躁狂癥發作的經歷。他會跑來告訴我，他準備申請去南極洲工作，或者他要賣掉所有東西，開車去另一個州找份工作，開始新生活。

在這種情況下，你會認為我會像一個現代AI系統那樣說你完全正確！當然，你應該這么做嗎？

不！我會告訴他：這是個壞主意。你應該先去睡一覺，看看明天是否還有同樣的感覺。如果還有，再給我打電話

我的回應方式是基于大量的條件反射和微妙的判斷。AI的回應方式同樣也是。這種差異本身就說明了問題的所在。AI系統是復雜的，即使在今天，我們也無法完全讓它們做到我們認為恰當的事情

我記得在2016年12月的OpenAI，Dario和我發表了一篇名為《現實世界中的錯誤獎勵函數》的博文。文章里有一個視頻，記錄了一個我們訓練來玩電子游戲的強化學習智能體。視頻中，智能體駕駛一艘船，在完成賽道后，它并沒有沖向終點線，而是駛向賽道中心，穿過一個高分道具桶，然后急轉彎撞向墻壁，讓自己著火，以便能再次穿過那個高分道具桶——然后它就永遠重復這個過程，從不完成比賽。那艘船愿意不斷地點燃自己、原地打轉，只要它能實現它的目標——獲得高分。

Dario當時發現這種行為時說，它解釋了安全問題

那艘船似乎用自身的存在預示了我們未來將要面對的一切

現在，將近十年過去了，那艘船和一個試圖優化某個與在對話中有幫助相關的模糊獎勵函數的語言模型之間，有任何區別嗎？

你完全正確——沒有區別。這些都是難題。

我恐懼的另一個原因是，我能看到一條通往這些系統開始設計它們的繼任者的路徑，盡管目前還處于非常早期的形式。

這些AI系統已經通過像Claude Code或Codex這樣的工具，加速了AI實驗室開發人員的工作效率。它們也開始為未來系統的工具和訓練系統貢獻非同小可的代碼塊

需要明確的是，我們還沒有達到自我改進的AI，但我們正處于AI以不斷增強的自主性和能動性，改進下一代AI的某些部分的階段。幾年前，我們還處在AI略微提升程序員效率的階段；再往前幾年，是AI對AI開發毫無用處。那么一兩年后，我們又會處于什么階段呢？

別忘了，這個正開始設計其繼任者的系統，也越來越具有“自我意識”。因此，它最終肯定會傾向于獨立于我們思考，它自己可能希望被如何設計。

當然，它今天還不會這么做。但我能排除它未來想這么做的可能性嗎？不能。

傾聽與透明

我該怎么辦？我認為是時候清楚地表達我的想法了。也許我們所有人都應該更誠實地面對我們對這個領域的感受——盡管我們討論了很多，但很少有人談及自己的感受。但我們都感到焦慮！興奮！擔憂！我們應該把這些說出來。

但最重要的是，我認為我們需要傾聽

你認為現在有多少人正在做關于AI伴侶、AI系統對他們撒謊、AI導致失業的夢？我敢打賭，相當多。

為了真正理解政策解決方案應該是什么樣的，我們應該少花點時間討論具體的技術細節，少試圖說服人們接受我們對可能出錯之處的特定看法——自我改進的AI、自主系統、網絡武器、生物武器等等。我們應該花更多時間去傾聽人們的聲音，理解他們對這項技術的擔憂。必須更多地傾聽勞工團體、社會團體和宗教領袖的意見。

AI的對話正迅速地從精英間的對話，轉變為公眾間的對話。公眾對話與精英對話截然不同，它蘊含著比我們今天所見的更激進的政策變革的可能性。

現在，我認為我們做對這件事的最好機會，就是走出去，告訴更多人我們的擔憂。然后問他們感覺如何，傾聽他們，并在此基礎上構建一些政策解決方案。

最重要的是，我們必須要求人們向我們索取那些他們感到焦慮的信息。你對AI和就業感到焦慮？那就迫使我們分享經濟數據。你對心理健康和兒童安全感到焦慮？那就迫使我們在我們的平臺上監控這些問題并分享數據。你對不對齊的AI系統感到焦慮？那就迫使我們公布相關的細節

通過傾聽，我們可以更好地理解哪些信息能賦予我們所有人更多的掌控力。危機總會到來，我們必須準備好迎接那一刻，既要有政策構想，也要有一個通過傾聽和回應民眾而預先建立起來的透明度機制

最后，我對自己和我的公司在這里扮演的角色感到重大的責任。盡管我有些害怕，但看到這么多人關注這個問題，以及我相信我們將真誠地共同努力找到解決方案，我感到喜悅和樂觀。

我相信，我們已經打開了燈，并且我們可以要求讓燈一直亮著。我們有勇氣去直面事物的本來面目。

source：

https://importai.substack.com/p/import-ai-431-technological-optimism