一封來自Transformer之父的分手信：8年了！世界需要新的AI架構

新智元報道

編輯：定慧

【新智元導讀】Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！當資本狂飆、論文堆積如山，他卻高喊：是時候放棄Transformer，重新找回好奇心了。

Transformer「親爹」跑路啦，說是煩透了「自己生的娃」！

還記得那篇8年前把「注意力機制」按在王座上的論文《Attention Is All You Need》嗎？

共同作者Llion Jones最近在舊金山的TEDAI大會上當眾「叛逃」：

AI研究正越做越窄，而他本人，準備把對Transformer的愛好調成「低電量模式」。

海量資金與人才反而讓研究圈擠進死胡同，大家只顧卷參數(shù)、搶發(fā)論文，沒人敢探索新架構。

錢越多，點子越少？

這是一種資本與論文KPI的奇妙化學反應。

Jones的主張很直白：前所未有的關注、資金和人才涌入之后，研究反而被「收窄」了。

為啥？

一邊是投資人盯著回報，另一邊是研究者擔心被別人「搶先發(fā)」，人人都在擁擠賽道里拼命刷存在感。

結果呢？

趕工紙面成績，擠牙膏式創(chuàng)新，和千人一面的論文標題。

他還搬出了課本里的老朋友：「探索vs.利用」。

現(xiàn)在的行業(yè)像把「利用」旋鈕擰到11檔：不停對同一架構打補丁、換皮膚、加大模型，再加點「我們又SOTA了」的調味包。

可真正的新路子，沒人敢走，也沒空走。

Jones在會議上說：未來每個人都會失去工作，這是一件好事

一段歷史復盤：RNN年代的「徒手拋光」

Jones提醒大家想想Transformer出現(xiàn)前的日子！

當時研究圈正對RNN做無盡小改小優(yōu)，就像給一塊石頭拋光一樣。

一旦Transformer登場，前面那堆拋光操作立刻變得像「給馬車裝了碳纖維尾翼」！

很精致，但很不對路，甚至變得完全無用，現(xiàn)在還有誰再談論RNN？

于是Jones擔心我們是否又在重演歷史：盯著一個8年前架構一直薅羊毛，薅到禿！

不停給馬車打造各種好看的設備，卻不知道拐彎看看路口是不是有飛船停靠。

Transformer是怎么「長大」的？

不是KPI，是自由！

這就是Transformer之父給出的答案。

最扎心的一段來自Jones的回憶：

那會兒他在谷歌做Transformer，是「午飯嘮嗑+白板亂畫」式的自下而上的。

既沒人規(guī)定必須發(fā)幾篇論文，也沒人拉著耳朵對著某個指標沖線。

先有自由，后有靈感，這話聽上去樸素，但如今反而成了稀缺品。

再看現(xiàn)在：就算年薪上七位數(shù)，許多人也未必敢「瞎折騰」。

新崗位第一天，誰不想先穩(wěn)住績效？

于是低風險、可發(fā)表、見效快，自然優(yōu)先級飆升。

想象力？創(chuàng)造力？

先等一等吧。

Sakana AI的「反內(nèi)卷」實驗

Llion Jones打算把探索旋鈕擰回去。

Jones后來去日本創(chuàng)建了Sakana AI。

身為東京創(chuàng)業(yè)公司SakanaAI的CTO，Jones說他打算在實驗室里復刻Transformer誕生前的「空氣配方」：

少KPI，多好奇；少跟風，多自然啟發(fā)。

他還給團隊安利了一句研究格言：

You should only do the research that wouldn't happen if you weren't doing it.

你只應該做那些如果不是你來做就不會發(fā)生的研究。。

——來自工程師Brian Cheung

在這種環(huán)境誕生成果的一個例子是Sakana的「連續(xù)思維機器」，它在神經(jīng)網(wǎng)絡中融入了類似大腦的同步機制。

一位提出該想法的員工告訴Jones，在以前的雇主或學術崗位上，他會面臨懷疑并受到不要浪費時間的壓力。

在Sakana，Jones給了他一周時間去探索。

該項目取得了足夠的成功，甚至在大型AI會議NeurIPS上獲得了展示機會。

Jones甚至表示，在招聘中，自由勝過報酬。

他談到這種探索性環(huán)境時說：「這是吸引人才的一個非常非常好的方式。想想看，有才華、聰明、有野心的人，自然會去尋找這種環(huán)境。」

這波操作證明——自由比高薪更能搶人。

聰明人對自由的敏感度，往往高于對錢的感知。

「不是分手，是冷靜期」：別把他當反對派

也許最具諷刺意味的是，Transformer可能是自身成功的受害者。

當前技術如此強大且靈活……這阻止了我們?nèi)ふ腋玫募夹g，如果當前技術更糟糕，會有更多人去尋找更好的，這很有道理。

Jones并不是要把Transformer一腳踢下船。

他強調：現(xiàn)有技術上還有大量重要工作，未來幾年也會繼續(xù)創(chuàng)造價值。

只是以現(xiàn)在行業(yè)的人才與資源密度，我們完全「買得起」更多的探索。

Transformer的強大，正在阻擋我們尋找「更好」的沖動。

如果現(xiàn)有技術差一點，大家反而更會到處找下一個驚喜。

把「軍備競賽」改成「開箱分享」

收尾時，Jones把姿態(tài)放得很開：這不是「你死我活」的競技場，是集體解謎。

如果大家能一起把探索旋鈕擰大一點，把有意思的發(fā)現(xiàn)公開分享，那條通往下一次「Transformer級」突破的路，可能近得超乎想象。

AI掌權者（是OpenAI、還是谷歌、還是其他？）是否會聽從這一呼吁尚未可知。

但Jones提出了一個尖銳的提醒：下一次達到Transformer級別的突破可能就在拐角處。

畢竟，他在Transformer領域工作的時間比幾乎所有人都要久。

他會知道何時該轉向新方向。

Transformer八子

Transformer可以奠定了如今的AI時代，幾乎所有基礎模型都是以此為地基。

「Token by token，一個詞接一個詞」的簡單輸出模式在算力的加成下成為了新時代的AI魔法。

Transformer催生了ChatGPT、Gemini、Claude等諸多前沿產(chǎn)品。

更重要的是，它讓人類真正跨入了生成式AI時代。

人類和生成式AI的命運從2017年6月12日周一下午17點57分開始交匯。

Transformer的影響依然還在繼續(xù)！

到今天為止，這篇論文的被引次數(shù)已經(jīng)到了18萬+次！

讓人不禁好奇，除了Jones外，其他幾位作者都身在何處？

曾經(jīng)聯(lián)手打造出谷歌最強Transformer的「親爹們」如今也已分道揚鑣。

· Ashish Vaswani

Essential AI聯(lián)合創(chuàng)始人&CEO

稱希望把EssentialAI做成“西方的DeepSeek”（2025-06-17采訪）。

·Noam Shazeer

已回歸Google；Gemini技術共同負責人

·Niki Parmar

Anthropic技術人員。

此前與Vaswani共同創(chuàng)辦EssentialAI，早期為Adept聯(lián)合創(chuàng)始人

2024年底/2025年初已加入Anthropic。

EssentialAI的聯(lián)合創(chuàng)始人之一。

·Jakob Uszkoreit

Inceptive Nucleics聯(lián)合創(chuàng)始人&CEO

2025年登臺TEDAISanFrancisco分享「AI如何繞開傳統(tǒng)科學」的新思路；持續(xù)推進「生物軟件」方向。

·Llion Jones

SakanaAI聯(lián)合創(chuàng)始人&CTO

外媒稱SakanaAI正洽談新一輪融資，目標估值約25億美元。

采訪中直言「已經(jīng)受夠了Transformer」，轉而主打「演化式模型合并」等新架構路線。

媒體采訪介紹其在東京推進“自然啟發(fā)”的集體智能路線。

·Aidan N.Gomez

Cohere聯(lián)合創(chuàng)始人&CEO

表示Cohere計劃很快啟動IPO（2025-10-21多家媒體現(xiàn)場采訪）。

公司估值升至約70億美元。

經(jīng)營數(shù)據(jù)：年化收入達1億美元、發(fā)力企業(yè)私有部署與代理平臺North。

·Lukasz Kaiser

OpenAI研究員

2025年10月在OpenAI Forum發(fā)表「從Transformer到Reasoners」的主題演講。

·Illia Polosukhin

NEAR Protocol聯(lián)合創(chuàng)始人

主張User-OwnedAI，推進「用戶所有的AI」與隱私保護AI-原生產(chǎn)品。

在NVIDIA GTC 2025分享「機密、可驗證AI計算」。

8年前一篇不起眼的論文，卻徹底開啟了人類的生成式AI時代。

這個被忽視的小論文，徹底開啟了AI的大時代。

它的故事還遠遠沒有結束。

參考資料：

https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers