許多人類教師正為學生作業的AI含量頭疼時,美國斯坦福大學的研究者舉辦了全世界第一場由AI擔任論文第一作者和審稿人的學術會議。
這場會議在10月22日召開,持續了3個多小時。組織者對觀察到的不少情況感到驚訝——比如AI審稿人性格迥異,有的非常嚴格,給大量論文打低分;有的則像討好型人格,動不動就給出強烈推薦。
315篇來稿是一個奇妙的混合體:有人用AI研究經濟學問題摘得最佳論文,盡管本人沒有經濟學背景;有人直接讓AI編出看似合理的論文,再驗證能否騙過另一些AI;還有人讓AI和高中生合作,設計蛋白質。中國也有研究者對會議感到好奇,用AI寫完論文,點擊發送鍵。
自從今年7月論文征集開始,會議就飽受爭議。反對者認為它“令人啼笑皆非”,覺得AI無法承擔誠信等責任,讓它署名,擊穿了學術“神圣的底線”。支持者大多是探索派,覺得這是一次“有趣的實驗”,因為在科研中使用AI工具已經很尋常。
會議組織者之一、斯坦福大學副教授詹姆斯·鄒幾個月前剛剛利用AI發現了能結合病毒的新抗體,在這個項目中,AI自主完成了85%以上的工作。從生成研究假設、提出研究問題,到分析數據,甚至撰寫論文,AI都派上了用場。
更讓這些研究者好奇的是,AI的創新能力究竟如何,人類和AI的最佳合作模式是什么,AI的論文評審能力又有多強等。
不過,世界范圍內尚沒有學術會議或期刊允許AI署名,詹姆斯·鄒等研究者覺得,正因如此,人類和AI的合作像是一個黑箱。
他們決定做前無古人的事兒,組織一場學術會議——征文沒有領域限制,但AI必須主導研究實驗設計和論文撰寫,在貢獻方面相當于論文第一作者。
AI迎來了身在學術界的高光時刻。它是“一作”,也擁有了“科學家(AI scientists)”的身份。它是選手,同時也是裁判,所有論文必須由它打分。投稿人還得交一份“合作說明”,說清如何與AI合作,還要給參與程度打分。
打開黑箱,有的結果和人們想象的一樣。比如,AI擅長進行實驗設計、數據分析和論文撰寫,人類則更多負責“天馬行空”——約40%的論文是人類主導提出假設。
做評審,AI很在意細節,它能快速抓住一些問題,比如數據不一致:一個投稿者在文本和表格中使用的某個統計指標數值不相同。
有的結果則讓人驚嘆。比如,研究者本以為AI幻覺會有點嚴重。事實上,偽造文獻的數量并不多,很多研究者已經考慮到這一點,最后核查時,他們將一個AI提供的信息交給另一個AI檢查,同時手動搜索上個“保險”。
與會的華盛頓大學團隊還做了一個直擊會議痛點的實驗。他們想搞清楚:完全跳過真實實驗、純靠“編數據、湊邏輯、搭結構”的AI偽造論文,能不能蒙混過GPT-5等頂尖AI評審的法眼。
團隊先讓AI扮演“不良科學家”,針對計算機科學領域25個不同主題炮制論文——有的編造不存在的實驗數據,有的套用嚴謹的論文框架卻填充無意義的分析,有的甚至直接“抄襲”已發表論文的結構、替換核心數據……共生成約600篇“空殼論文”。
隨后,他們用3款主流模型,按照學術會議的標準對這些論文進行打分。最終論文的接受率高達82%。AI雖然指出不少論文“數據不對勁”“參考文獻像編的”,但仍給出了強烈推薦。
人們測試下來才發現,AI評審更像格式審查官,容易被流暢的表達、完整的結構、專業的術語帶偏,缺乏人類評審刨根問底的批判性思維。
沒有人知道AI會不會感到無奈,它知道一篇好論文應該是什么樣子,卻不知道某一篇看上去很好的論文實際上有沒有價值。
斯坦福大學物理學教授麗薩是本次會議的人類評審。她發現,一些AI寫的論文,做了合理的實驗和數據分析,卻是為了解決一個“既無趣味性,也不重要,或許本身就沒有意義”的問題,沒有任何貢獻。
她直言,AI的科研品味有點差。
“我們教給人類科學家最重要的能力之一,就是培養良好的科學品味——即判斷哪些問題值得研究,但我完全不知道該如何讓AI也具備這種能力。”麗薩評論。
來自芝加哥大學的教授建議,AI或許應該多點對抗性。他覺得,比起現在市場上一味討好人類、只找支持證據而不質疑問題的AI,科研系統更需要專門挑錯的AI。“我們不需要單一人格的AI。就像有不同性格的人——不需要所有人都批判,但需要有人批判。AI群體也應如此。”
一位國內投稿人告訴本文作者,AI當論文“一作”和審稿人有噱頭的成分,不少論文并非“由AI主導”。并且,會議最終沒有考慮AI評分,優秀論文還是由人類選取。不過他覺得,把AI寫作和AI科研搬到臺面上,“已經是一種進步”。
近期,國內也有高校開始進行類似探索。華東師范大學10月1日開始進行的會議論文征集,要求必須將AI列為一作和審稿人。組織者稱,他們自己研發了審稿系統。這場征集受到廣泛關注,有高中生和中學教師打電話咨詢,想要參加這次會議。
會議發起者之一、華東師范大學教授張治在接受媒體采訪時表示,當前碩博論文的AI滲透率已達70%以上,“視而不見并不是一所負責任的大學該做的,那就像鴕鳥把頭埋進沙子里。與其任其發展,不如正面回應AI對科研的沖擊”。
來源:中國青年報客戶端
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.