AI變聰明時，大腦里到底在發生什么？韓國研究團隊揭開神秘面紗

你有沒有好奇過，當我們訓練AI模型解決復雜數學題時，它的“大腦”內部會發生怎樣的變化？這就好比想弄明白一個數學差生蛻變成學霸的過程中，大腦神經連接是如何重組的。2025年1月，韓國大學樸藝恩教授、Upstage AI公司鄭敏別研究員和韓國大學康在宇教授組成的聯合研究團隊，在這一領域取得了重大突破。他們通過深入分析大型推理模型的內部機制，首次揭開了AI模型接受推理訓練后內部結構的神奇變化，相關研究成果發表于論文編號為arXiv:2509.25758v1的論文中，感興趣的讀者可通過該編號查詢完整內容。

研究團隊將AI模型的內部結構比作復雜的交響樂團，每個“注意力頭”就如同樂團里的不同樂器。訓練AI模型的過程，就像指揮家重新編排樂隊，有的“樂器”會被激活承擔新任務，有的會退居二線，還有的會學會全新“演奏方式”。正是通過這樣的“樂團重組”，AI模型才擁有了解決復雜數學問題的能力。

三種訓練方式：AI的“求學之路”各有不同

研究團隊觀察了三種不同的AI訓練方式，就像三種不同的教育方法，對AI“數學能力”的培養效果大相徑庭。

第一種是“知識蒸餾”，相當于讓一個聰明的“老師”（大型AI模型）手把手教導“學生”（小型AI模型）解題。在這個過程中，“學生”的“大腦”里會涌現出大量新的“思考回路”，這些回路主要分布在“大腦”的前半部分和中間部分。

第二種是“監督微調”，類似于給學生提供海量標準答案和解題步驟，讓其反復練習。研究發現，這種訓練方式會在AI模型“大腦”的中后部分激活許多新的注意力頭，仿佛在“大腦”的“高級思維區域”搭建了新的神經連接。不過，這種方法也有副作用：AI有時會對簡單問題過度思考，把一步就能算出來的算術題變得異常復雜。

第三種“群體相對策略優化”，它就像讓AI在游戲里通過試錯學習，做對了有獎勵，做錯了會減分。與前兩種方式不同，這種訓練下，AI的“大腦”不會一次性形成大量新思考回路，而是在訓練中不斷“試用”新思考方式，留下有效的，淘汰無用的。這好比AI內部開展了一場“思維競賽”，只有最優秀的思考模式才能留存。

AI的“思考開關”：精準高效與廣撒網的選擇

研究團隊還發現了一種特殊的AI模型，它能像人類一樣決定是否進行深度思考。當AI開啟“思考模式”時，會激活一套精簡且高效的注意力頭，宛如專業數學家遇到復雜問題時調動特定思維工具；而當它關閉思考模式，就會激活大量注意力頭來彌補思考深度的不足，就像沒有專業工具的人，只能用更多笨辦法解決問題。

這個發現揭示了AI思考的重要原理：深度思考和廣度覆蓋是兩種不同策略。有“思考權限”時，AI會選更精準高效的思維路徑；無法深度思考時，就只能靠激活更多思維回路找答案，雖效率低，但仍能解決問題。

研究人員通過實驗驗證了這一點：人為關閉“思考模式”下的部分注意力頭，AI的推理能力會下降；而關閉“非思考模式”下過度激活的部分注意力頭，AI的表現反而會提升。這說明，過多的思維回路有時會相互干擾，導致AI“想太多”。

推理能力的雙刃劍：聰明反被“聰明”誤

研究團隊發現，AI推理訓練存在一個有趣的矛盾：訓練讓AI更擅長解決復雜問題，卻也讓它在簡單問題上“想太多”。這就像培養出的數學博士，能解高難度數學題，可計算“2+3”時，卻可能用微積分來算，結果反倒容易出錯。

實驗中有個典型案例：一道關于小女孩阿雅步行時間的數學題，普通AI模型用簡單代碼就能算出正確答案540，而經過推理訓練的AI模型，解題思路雖更系統嚴謹，卻因計算過程過于復雜，得出了錯誤答案1134。這生動展現了AI推理訓練的雙重性：既賦予AI更強的邏輯思維能力，又可能讓其陷入“過度工程化”的陷阱。

通過大量定量和定性分析，研究團隊發現這種現象在不同訓練方法中都存在。監督微調訓練出的AI會把簡單代數運算換成冗長理論推導，群體策略優化訓練出的AI則可能在基礎計算上失去穩定性。這提醒我們，AI訓練要在復雜推理能力和基礎計算可靠性間找到平衡。

破解AI“黑箱”：給AI“大腦”做“CT”

為深入了解AI模型內部變化，研究團隊開發了一套“電路分析”方法，如同給AI的“大腦”做CT掃描。他們將AI模型內部結構看作由節點和連接構成的復雜網絡，每個注意力頭是節點，節點間的信息傳遞是連接。通過分析連接強度的變化，能準確找出訓練后新出現的“推理專家”——也就是關鍵的注意力頭。

這種分析方法的創新之處在于，不僅能發現新注意力頭，還能驗證其功能重要性。研究團隊進行了“外科手術式”實驗：選擇性關閉某些注意力頭，測試對AI性能的影響。結果顯示，關閉新涌現的推理注意力頭，會顯著降低AI在數學競賽題目上的表現，證明這些新思維回路確實承擔著重要的推理功能。

更有趣的是，研究團隊發現可通過調節注意力頭的“活躍度”來微調AI表現。把某些推理頭的活躍度調高1.3倍，AI在部分數學題上表現更好，但在其他題目上可能變差。這就像調節樂隊中樂器的音量，過分突出某件樂器，可能會破壞整體的和諧。

訓練方式的“個性指紋”：各有特色

對比不同訓練方法產生的注意力頭分布，研究團隊發現了一個有趣規律：每種訓練方法都會在AI“大腦”的不同區域留下獨特“指紋”。

知識蒸餾主要在“大腦”前半部分和中間部分建立新連接，訓練出的AI模型有32個新推理注意力頭，多分布在第5到第7層。這種方式如同“傳授式”學習，注重知識準確傳遞，所以在“接收和處理”區域構建連接。

監督微調偏愛在“大腦”后半部分建立復雜推理網絡，訓練出34個新注意力頭，集中在第11到第21層的中后段。它屬于“練習式”學習，強調熟練掌握解題步驟，因此在“高級推理”區域搭建連接。

群體策略優化產生的變化更靈活動態，雖只產生19到20個新注意力頭，卻分散在各個層次，形成更靈活的推理網絡。這種“探索式”學習注重適應性和效率，所以形成分布式的靈活網絡。

訓練過程的“進化史”：從混沌到有序

研究團隊跟蹤訓練過程中每個檢查點的注意力頭變化，繪制出了AI推理能力演化的完整“家譜”，就像觀察生態系統的演化。

在群體策略優化訓練中，新注意力頭不斷涌現，接受“適者生存”的考驗，只有能持續提升AI表現的才能留存到最后。而且，新激活的注意力頭數量會隨訓練中的獎勵信號波動，如同股市漲跌。AI表現好時，對應的注意力頭更可能被保留；表現差時，一些注意力頭會被“淘汰”。最終，AI模型雖注意力頭數量少，但個個都是“精英”。

監督微調訓練則像穩定的建設過程，新注意力頭一旦在某個訓練步驟被激活，就會一直保持活躍到訓練結束，體現了“一次建立，終身使用”的穩定特征。

實戰檢驗：理論與現實的碰撞

為驗證理論發現的實際意義，研究團隊在多個數學競賽基準測試中評估了不同訓練方法的效果，結果顯示每種方法都有優劣，就像不同運動員擅長不同項目。

在美國數學邀請賽（AIME）這類高難度競賽中，群體策略優化訓練的AI表現最佳，印證了“精英式”注意力頭的實力。但在一些基礎數學任務中，傳統基線模型有時表現更穩定，這再次說明過度推理訓練可能讓AI“想太多”，在簡單問題上出錯。

研究團隊還進行了“手術式”實驗：關閉不同類型注意力頭觀察AI性能變化。關閉推理相關注意力頭，AI在復雜數學題上表現明顯下降，在部分基礎任務上卻可能提升，這進一步證明推理能力和基礎計算能力存在微妙平衡。

更有意思的是，調節注意力頭活躍度，能在一定程度上“定制”AI的推理風格。增強某些頭的活躍度，AI會更傾向于系統性數學推理；減弱它們，AI則會回歸更直覺化的解題方式。這為未來開發可調節推理深度的AI系統提供了重要思路。

這項研究如同給AI的“大腦”裝上了透視鏡，讓我們首次清晰看到AI學習推理時內部結構的精彩變化。不同訓練方法恰似不同教育理念，在AI“大腦”上留下獨特印記：知識蒸餾培養出善于吸收整合知識的“好學生”，監督微調造就步驟嚴謹的“解題機器”，群體策略優化孕育出靈活高效的“思維專家”。

該研究不僅解答了AI訓練中的基礎科學問題，還為未來開發更智能、可控的AI系統指明方向。當我們清楚AI“大腦”各部分的功能，就能精準調節優化，避免“想太多”，在復雜推理和基礎計算間找到平衡。對普通人而言，這意味著未來的AI助手會更智能實用，能根據任務復雜程度自動調整思考深度，既不浪費時間在簡單問題上，也不會對復雜問題給出膚淺答案。

同時，研究也提醒我們，AI的“聰明”并非越多越好，而是要恰到好處。就像培養孩子，需在鼓勵深度思考和保持基礎能力間找到平衡，這樣才能打造出既聰明又實用的AI伙伴。