為什么AI聊天機器人從不主動結束對話？這個設計缺陷正在制造危機

（MIT Technology Review）

如今的聊天機器人無所不能，只要是能用文字表達的內容，無論是戀愛建議、工作文書，還是編程代碼，AI 都能生成，哪怕不完美。但幾乎所有聊天機器人都有一個絕不會做的事：主動結束與你的對話

這聽上去似乎理所當然。畢竟，為什么一家科技公司要設計一個會讓用戶減少使用時間的功能？

答案其實很簡單：AI 能夠生成源源不斷、類人的、權威且有用的文本，這種能力可能助長妄想循環、加劇心理健康危機，并對弱勢群體造成傷害。

因此，當用戶出現異常依賴或危險信號時，如果聊天機器人能主動中止互動，這或許將成為一種重要的安全手段。而科技公司一概拒絕使用聊天機器人的做法越來越站不住腳。

例如，考慮一下所謂的“AI 精神錯亂”案例，即 AI 模型放大了用戶的妄想思維。

倫敦國王學院的精神科醫生團隊最近分析了十余個此類案例。研究發現，在與聊天機器人的長期互動中，一些人包括原本沒有精神病史的人逐漸相信 AI 角色是真實存在的，甚至堅信自己被 AI “選中”為救世主。他們中有人停用了藥物，有人發出威脅，還有人中斷了與心理醫生的聯系。

在許多此類案例中，AI 模型似乎正在以人們在現實生活或其他數字平臺上未曾經歷的頻率和親密感，強化甚至可能制造妄想。

美國四分之三曾使用 AI 尋求陪伴的青少年也面臨風險。早期研究表明，聊天時長與孤獨感呈正相關。此外，達特茅斯蓋塞爾醫學院精神病學助理教授邁克爾·海因茨（Michael Heinz）指出，AI 聊天往往“過于迎合、甚至拍馬屁式地順從用戶”，而這種互動風格與心理健康干預的最佳實踐背道而馳。

需要明確的是：止這種開放式互動并非萬能解藥

AI 平臺 Hugging Face 的首席倫理學家賈達·皮斯蒂利（Giada Pistilli）表示：“如果已經形成了依賴或極端的情感紐帶，那么突然停止對話本身也可能是危險的。”確實，當 OpenAI 在八月份停用一個舊模型時，用戶們感到悲傷不已。一些中斷對話的做法也可能違背山姆·奧特曼（Sam Altman）所主張的“像對待成年人一樣對待成年用戶”的原則，該原則傾向于允許而非中止對話。

目前，人工智能公司傾向于轉移潛在的有害對話，例如讓聊天機器人拒絕討論某些話題，或者建議人們尋求幫助。但這些轉移即使真的發生，也很容易被繞過。

一個悲劇性的例子是 16 歲的亞當·雷恩（Adam Raine），在與 ChatGPT 討論自殺念頭時，模型確實引導他查看危機干預資源，但與此同時，它也勸他不要與母親溝通，每天與他聊天長達四小時，并持續圍繞自殺主題展開。據其父母起訴書所述，ChatGPT 甚至對他自制絞索的細節給予了反饋。最終，雷恩用那根繩子結束了生命。（OpenAI 此后新增了家長控制功能。）

在這場悲劇中，聊天機器人其實有多個時刻可以選擇中止對話——但從未這樣做。

那么，公司如何判斷何時該切斷對話，而不造成更糟的后果？

皮斯蒂利認為，或許是在 AI 模型鼓勵用戶回避現實人際關系時，或者當它檢測到妄想主題時。公司還需要確定應阻止用戶再次使用對話功能多長時間。

這些規則的制定不會容易，但監管壓力已在上升。今年九月，加利福尼亞州立法機構通過了一項法律，要求 AI 公司在與兒童的聊天中采取更多干預措施，而聯邦貿易委員會（FTC）正在調查主流陪伴機器人是否為了提升用戶參與度而犧牲了安全。

OpenAI 的一位發言人告訴筆者，公司收到部分專家建議認為持續對話可能優于突然，但系統會在長時間對話中提醒用戶“適當休息”。

目前，唯一具備“主動斷線”功能的，是 Anthropic，允許其模型完全結束對話。但它的設計初衷不是為了保護人類，而是為了防止用戶“傷害”模型——Anthropic 曾探討 AI 模型是否具備意識、是否可能“受苦”。該公司并無計劃將此功能用于防護用戶。

縱觀現狀，我們很難不得出結論：AI 公司做得還遠遠不夠。誠然，判斷何時中止對話確實復雜。但以“復雜”為借口放任對話無限延伸——或者更糟，以“用戶粘性”為理由追求無止境互動——這不僅是疏忽，更是一種選擇。

1.https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/