大模型亂試錯、盲調用？KnowSelf讓智能體有「知識邊界感知」能力

在 AI 領域，大模型智能體的發展日新月異。我們今天要介紹的這篇 ACL 2025 論文——《Agentic Knowledgeable Self-awareness》，聚焦于如何提升智能體的「知識邊界感知」能力，使其在復雜任務規劃中更加得心應手，為智能體的可靠應用提供了新思路。

• 論文標題：Agentic Knowledgeable Self-awareness
• 論文鏈接：https://arxiv.org/abs/2504.03553
• 代碼鏈接：https://github.com/zjunlp/KnowSelf

30 秒速讀版本

KnowSelf 聚焦于大模型智能體在決策過程中所面臨的「知識邊界感知」問題。受人類決策機制啟發，本文指出智能體應具備三類行為模式的自主決策能力：快速反應（快思考）、深度推理（慢思考），以及主動調用外部工具（本文以外部知識增強為例）。

KnowSelf 通過學習自身的知識邊界，使智能體能在不同情境下自主判斷是否具備足夠知識進行生成和推理，以減少無效試錯與知識濫用。實驗表明，KnowSelf 可提升智能體的知識調用準確率、任務規劃效率和跨任務泛化能力。

研究背景：智能體規劃的困境

大模型智能體在諸多領域展現出巨大潛力，但現有智能體規劃方法存在弊端。傳統方法多采用「盲目灌輸」模式，將標準軌跡、外部反饋和領域知識無差別地注入智能體模型，完全忽視了人類決策過程中至關重要的「自我認知」原則。

這種「無腦式」灌輸導致智能體在面對意外信號時極易崩潰，陷入模式崩塌困境，且過度試錯與盲目知識融合在實際場景中往往不可行，還會大幅推高模型推理成本。

人類在決策時，會根據面臨的情境動態評估自身狀態，靈活調整策略。比如，當我們遇到簡單問題時，能迅速做出判斷并行動；遇到棘手問題，會放慢思考節奏，深入分析；而面對超出自身能力范圍的問題，會主動尋求外部知識或幫助。

然而，當前大模型智能體普遍缺乏這種「知識邊界感知」能力，導致規劃行為低效且脆弱。

核心方法：KnowSelf 框架

為破解這一難題，論文提出了智能體「知識邊界感知」的思路，并基于此設計了數據驅動 KnowSelf 方法，讓大模型智能體能夠自主調節知識的運用。

• 知識系統構建

對于外部工具（知識），并采用了一種簡單高效知識收集方法，以極低成本完成知識庫的離線構建。該知識系統由知識庫和知識選擇模塊組成，其中知識庫包含一系列知識條目，知識選擇模塊能依據智能體歷史軌跡從知識庫中精準挑選所需知識。這種設計兼顧了知識系統的實用性和高效性。

• 情境判斷標準

論文基于智能體的能力，將情境劃分為三類：快速思考（Fast Thinking）、慢速思考（Slow Thinking）和知識型思考（Knowledgeable Thinking）。并提出了啟發式情境判斷標準，用于標記智能體自我探索軌跡中的特殊標記，從而針對智能體的能力構建出訓練數據，為后續訓練奠定基礎。

• 快思考：智能體無需多慮，能直接給出正確行動
• 慢思考：智能體雖能給出正確行動，但需經過多步思考與反思
• 知識型思考：智能體自身無法提供正確行動，必須借助外部知識輔助思考
• 自我認知訓練

KnowSelf 采用雙階段訓練過程，先通過監督式微調（SFT），讓智能體模型初步掌握自我認知規劃模式；再引入 RPO 損失函數，進一步強化自我認知能力。在這一體系下，智能體會生成特定特殊標記，表明其對情境的判斷，在推理過程中實現知識查詢與反思的精準調控。

實驗成果

本文在兩個模擬大模型智能體規劃數據集 ALFWorld 和 WebShop 上，對 KnowSelf 進行了全面評估，涵蓋 Llama-8B 和 Gemma-2B 兩個不同規模的模型。實驗結果顯示，KnowSelf 憑借極少的反思和知識使用，性能優于多種基線方法。

與無知識基線方法對比，KnowSelf 在 Llama-8B 和 Gemma-2B 模型上均展現出卓越性能。與知識增強型基線方法相比，KnowSelf 僅用少量知識，就超越了所有的 100% 知識增強基線方法，充分證明了并非知識越多越好，精準的知識引入機制才是關鍵。

進一步分析：深入探索智能體自我認知

• 智能體規劃模式過擬合

本文通過消融實驗，發現僅在標準軌跡上訓練的模型更易陷入模式擬合，而引入反思和知識邊界感知后，智能體規劃能力提升。這表明，在許多情況下，智能體并非不能做出正確決策，而是受限于規劃模式。此外，過度引入知識可能會對性能產生負面影響，因此凸顯了精準知識引入機制的重要性。

• 智能體規劃泛化能力

在泛化能力測試中，KnowSelf 在 ALFWorld 的三項挑戰性任務上表現優異，優于基于提示的基線方法 Reflexion。這表明 KnowSelf 能有效打破傳統規劃軌跡訓練的局限，使模型具備跨任務情境感知能力，在未見過的任務上能靈活運用反思和知識引入策略。

• 模型與數據規模影響

隨著模型規模擴大和自我認知訓練數據量增加，KnowSelf 性能穩步提升。當自我認知訓練數據相對比例低于 40% 時，模型性能可能出現波動甚至下降，推測模型需達到一定自我認知水平才能穩定發揮效能。

• 智能體自我認知機制機理

本文在 Transformer 模型的各層計算不同情境標記的平均概率，發現 Reflection 標記概率始終為零，Knowledge 標記和 Action 標記在模型最后幾層才出現。這表明智能體在內部決策時，僅在最后幾層隱藏層才決定是否調用外部知識，且調用知識的決策可能更晚出現，暗示智能體在 Token 空間內通過隱式獎勵引導進行探索，最終做出決策。

結論與展望

本文提出的 KnowSelf 方法為智能體規劃提供了新思路，初步探索了智能體知識邊界感知這一問題。在后 R1 時代，隨著 Search-R1、ReSearch、Deep Researcher 等工作的出現，基于 RL 的智能體自主知識獲取工作展現了巨大的前景，KnowSelf 還只是在這個時代之前的初步產物，相信隨著技術的發展，基于 RL 的智能體自我認知能迸發更大的活力。