前沿人工智能治理新思路：聚焦企業(yè)實(shí)體監(jiān)管

2025年7月，卡內(nèi)基國(guó)際和平基金會(huì)（Carnegie Endowment for International Peace）發(fā)布文章《基于實(shí)體的監(jiān)管在前沿人工智能治理中的應(yīng)用》（Entity-Based Regulation in Frontier AI Governance），主要介紹了基于模型與基于用途人工智能監(jiān)管的不足，并闡述了基于前沿人工智能企業(yè)實(shí)體進(jìn)行監(jiān)管的原因及框架。啟元洞見(jiàn)編譯該文章主要內(nèi)容，旨在為讀者了解相關(guān)研究提供參考。

引言

前沿人工智能政策的核心存在一場(chǎng)關(guān)鍵爭(zhēng)論：監(jiān)管應(yīng)聚焦于人工智能模型這一核心技術(shù)本身，還是技術(shù)的用途？倡導(dǎo)基于人工智能模型的觀(guān)點(diǎn)認(rèn)為，這能將合規(guī)負(fù)擔(dān)集中于開(kāi)發(fā)者，同時(shí)讓用戶(hù)根據(jù)自身需求自由部署技術(shù)，在長(zhǎng)期內(nèi)促進(jìn)技術(shù)擴(kuò)散。倡導(dǎo)基于用途的觀(guān)點(diǎn)認(rèn)為，這能給予開(kāi)發(fā)者實(shí)驗(yàn)自由，避免繁瑣許可和技術(shù)標(biāo)準(zhǔn)，保護(hù)創(chuàng)新。

兩種范式都有一定缺陷。基于模型的監(jiān)管存在明顯局限：人工智能系統(tǒng)往往是多個(gè)基礎(chǔ)模型與軟硬件系統(tǒng)的整合體，其能力強(qiáng)弱和風(fēng)險(xiǎn)大小不僅取決于模型本身，還與系統(tǒng)架構(gòu)設(shè)計(jì)、運(yùn)行所需的計(jì)算能力密切相關(guān)；同時(shí)，技術(shù)迭代速度極快。因此，若僅針對(duì)模型的特定特征（比如訓(xùn)練計(jì)算量）進(jìn)行監(jiān)管，很容易因技術(shù)變化而變得過(guò)時(shí)；基于用途的監(jiān)管可能如歐盟《人工智能法案》等所示，對(duì)模型開(kāi)發(fā)造成嚴(yán)重影響，如因增加合規(guī)成本而抑制技術(shù)采用。

本文提出替代監(jiān)管范式：將監(jiān)管聚焦于開(kāi)發(fā)最強(qiáng)大人工智能模型和系統(tǒng)的大型商業(yè)實(shí)體。基于實(shí)體的監(jiān)管在美國(guó)金融、保險(xiǎn)等領(lǐng)域常見(jiàn)，這些領(lǐng)域產(chǎn)品和服務(wù)風(fēng)險(xiǎn)高且更新速度快。監(jiān)管企業(yè)實(shí)體是美國(guó)法律數(shù)世紀(jì)來(lái)的成功實(shí)踐，可能更有效。針對(duì)前沿人工智能發(fā)展的監(jiān)管法規(guī)應(yīng)將監(jiān)管范圍聚焦于大型人工智能開(kāi)發(fā)者，而非人工智能模型或用途。

需明確的是，這并非唯一監(jiān)管方式。用于執(zhí)行特定任務(wù)如處理保險(xiǎn)索賠、人臉識(shí)別等的“狹義機(jī)器學(xué)習(xí)系統(tǒng)”，人工智能許多可預(yù)見(jiàn)的負(fù)面用途（如已然屬于違法行為的身份欺詐）不在此列。應(yīng)對(duì)人工智能負(fù)面用途可能需新的治理方法，包括制定新法律等。

本文聚焦當(dāng)前及未來(lái)最前沿人工智能系統(tǒng)的預(yù)防性風(fēng)險(xiǎn)監(jiān)管，它們可能帶來(lái)包括高自主操作水平、實(shí)施犯罪、欺騙開(kāi)發(fā)者和用戶(hù)、引發(fā)大規(guī)模網(wǎng)絡(luò)攻擊或惡意開(kāi)發(fā)部署生物武器等在內(nèi)的獨(dú)特挑戰(zhàn)。這些系統(tǒng)由少數(shù)主體開(kāi)發(fā)，在美國(guó)僅有五到十家企業(yè)，成本高達(dá)數(shù)億至數(shù)十億美元。

文章旨在幫助政策制定者和社會(huì)公眾更好地理解前沿人工智能風(fēng)險(xiǎn)性質(zhì)和規(guī)模，減少不確定性和分歧。為實(shí)現(xiàn)此目標(biāo)，文章主張弱化而非否定模型或用途監(jiān)管的作用，轉(zhuǎn)向以開(kāi)發(fā)實(shí)體為核心的監(jiān)管。監(jiān)管觸發(fā)條件應(yīng)基于開(kāi)發(fā)實(shí)體的組織特征，例如年度人工智能研發(fā)或計(jì)算資源支出；監(jiān)管內(nèi)容聚焦實(shí)體流程與活動(dòng)而非僅模型屬性，例如新型算法機(jī)密、內(nèi)部安全威脅監(jiān)控等。

本文探討整體結(jié)構(gòu)與方向而非具體監(jiān)管要求，首先分析基于模型與基于用途監(jiān)管的優(yōu)劣。再闡述基于前沿人工智能企業(yè)實(shí)體進(jìn)行監(jiān)管的框架，介紹其如何彌補(bǔ)前述兩種范式的不足并提供樣本法律條款。最后提出一些可能的具體監(jiān)管要求示例。

一、基于模型監(jiān)管的挑戰(zhàn)

美國(guó)在基于模型監(jiān)管領(lǐng)域最知名的提案是2024年加州 SB1047法案，聚焦需超10^26次浮點(diǎn)運(yùn)算（FLOPs）訓(xùn)練的前沿模型。要求開(kāi)發(fā)者提交安全計(jì)劃以應(yīng)對(duì)“重大傷害”（大規(guī)模傷亡或超5億美元損失）；為開(kāi)發(fā)者設(shè)定采取合理措施避免造成此類(lèi)重大危害的法律義務(wù)，授權(quán)總檢察長(zhǎng)追責(zé)。

該法案的關(guān)鍵缺陷在于依賴(lài)模型屬性（訓(xùn)練計(jì)算量）作為觸發(fā)條件。常見(jiàn)批評(píng)指出，隨著計(jì)算成本下降，其覆蓋范圍將遠(yuǎn)超前沿模型（后增修正案要求涵蓋模型訓(xùn)練計(jì)算成本至少達(dá)到1億美元）；且10^26次的閾值標(biāo)準(zhǔn)缺乏機(jī)器學(xué)習(xí)文獻(xiàn)支持，是一個(gè)粗略的替代標(biāo)準(zhǔn)：其目的是覆蓋下一代前沿模型（GPT-4等之后出現(xiàn)的模型）。

2024年9月SB 1047法案被否決后，OpenAI發(fā)布的o1 模型凸顯了這種閾值標(biāo)準(zhǔn)的問(wèn)題。o1通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練 “思考” 回答用戶(hù)查詢(xún)，在數(shù)學(xué)、軟件編碼等定量領(lǐng)域表現(xiàn)優(yōu)異，其迷你版o1-mini也這些領(lǐng)域優(yōu)于許多前沿模型，但幾乎不會(huì)被SB1047涵蓋。

基于計(jì)算量的閾值假設(shè)訓(xùn)練計(jì)算量是模型能力和風(fēng)險(xiǎn)的主要決定因素，但o1代表的推理計(jì)算范式（基于強(qiáng)化學(xué)習(xí)的方法會(huì)隨著系統(tǒng)在用戶(hù)提問(wèn)時(shí)所獲得的計(jì)算能力和時(shí)間而擴(kuò)展）動(dòng)搖了這一點(diǎn)。如今DeepSeek等公司也采用類(lèi)似方法，推理計(jì)算對(duì)能力的貢獻(xiàn)已與訓(xùn)練計(jì)算相當(dāng)，一定程度上，只要給予足夠思考時(shí)間，這類(lèi)模型可以“模擬”更大規(guī)模模型的性能。此外，訓(xùn)練計(jì)算量的定義愈發(fā)復(fù)雜。過(guò)去99%計(jì)算用于預(yù)訓(xùn)練，僅少量用于訓(xùn)練后優(yōu)化，但o1的訓(xùn)練后強(qiáng)化學(xué)習(xí)使這一比例約變?yōu)?0%—20%，且未來(lái)可能上升。同時(shí)，計(jì)算量統(tǒng)計(jì)存在諸多難題：合成數(shù)據(jù)生成的計(jì)算是否計(jì)入；訓(xùn)練失敗重啟的計(jì)算是否重復(fù)統(tǒng)計(jì)；模型在部署后具備了持續(xù)學(xué)習(xí)能力，運(yùn)行計(jì)算是否納入“訓(xùn)練計(jì)算”等諸多問(wèn)題。這些都使計(jì)算量閾值難以操作。

在州級(jí)法律驅(qū)動(dòng)的人工智能政策下，不同司法管轄區(qū)對(duì)計(jì)算量的定義可能不同，導(dǎo)致監(jiān)管混亂。企業(yè)可能操縱計(jì)算量以規(guī)避監(jiān)管，迫使監(jiān)管機(jī)構(gòu)耗費(fèi)資源調(diào)查、審計(jì)，卻未必提升安全。

緊迫的是，計(jì)算量閾值在當(dāng)下已顯現(xiàn)更根本的缺陷，無(wú)法涵蓋有危險(xiǎn)能力的模型。例如OpenAI的o3-mini在數(shù)學(xué)和編碼方面的能力與o1相當(dāng)，卻可能未達(dá)閾值。但過(guò)度寬泛的監(jiān)管會(huì)分散資源、扼殺創(chuàng)新，而更新閾值又面臨上述難題。

盡管基于計(jì)算能力的監(jiān)管觸發(fā)機(jī)制可能復(fù)雜且難以操作，但對(duì)技術(shù)屬性的定義難度更大，同樣以危險(xiǎn)模型屬性作為觸發(fā)條件也不可行。監(jiān)管應(yīng)幫助識(shí)別并評(píng)估風(fēng)險(xiǎn)、做好規(guī)劃，但當(dāng)前危險(xiǎn)屬性的性質(zhì)、重要性和識(shí)別方法存在爭(zhēng)議，且這些屬性可能在訓(xùn)練中出現(xiàn)，而訓(xùn)練中模型的能力和危險(xiǎn)性最難確定。若以此為觸發(fā)條件，會(huì)導(dǎo)致開(kāi)發(fā)者隱瞞模型風(fēng)險(xiǎn)，這對(duì)依賴(lài)開(kāi)發(fā)者披露信息的公眾尤為不利。

此外，基于模型的監(jiān)管無(wú)法應(yīng)對(duì)三類(lèi)主要風(fēng)險(xiǎn)：一是非模型特征引發(fā)的風(fēng)險(xiǎn)，如算法秘密泄露、內(nèi)部安全威脅；二是多智能體系統(tǒng)的風(fēng)險(xiǎn)，數(shù)十或數(shù)百個(gè)小型模型并行運(yùn)行的風(fēng)險(xiǎn)不一定低于單個(gè)大型模型；三是模型與開(kāi)發(fā)人員在使用該模型時(shí)所依賴(lài)的其他系統(tǒng)、策略、人員或模型交互產(chǎn)生的風(fēng)險(xiǎn)。

二、基于用途監(jiān)管的挑戰(zhàn)

基于使用的監(jiān)管雖能避免部分問(wèn)題（如針對(duì)金融市場(chǎng)部署模型的風(fēng)險(xiǎn)），也面臨嚴(yán)峻挑戰(zhàn)，因?yàn)?strong>可能在訓(xùn)練環(huán)節(jié)就產(chǎn)生許多包括欺騙、目標(biāo)錯(cuò)位等在內(nèi)的前沿人工智能風(fēng)險(xiǎn)。且用戶(hù)在使用時(shí)往往難以識(shí)別或應(yīng)對(duì)，例如就人工智能可能欺詐用戶(hù)的問(wèn)題，基于用途的監(jiān)管意義不大。此外，立法者需預(yù)先識(shí)別人工智能的各種用途風(fēng)險(xiǎn)，但通用人工智能能力廣泛，難以預(yù)見(jiàn)用途。

基于用途的監(jiān)管可能比其他方式更繁重，因?yàn)樗噲D涵蓋由更廣泛主體開(kāi)展的更廣泛活動(dòng)范圍。以2025年美國(guó)得州HB1709為例，其要求對(duì)為所有可能對(duì)消費(fèi)者獲取服務(wù)及機(jī)會(huì)可能產(chǎn)生實(shí)質(zhì)性影響的人工智能的使用制定風(fēng)險(xiǎn)管理計(jì)劃和算法影響評(píng)估，即使如小型企業(yè)在社交媒體上發(fā)布招聘信息的情形也包含在內(nèi)，這帶來(lái)了沉重的合規(guī)負(fù)擔(dān)。且法案迫使部署者回答關(guān)于人工智能系統(tǒng)技術(shù)基礎(chǔ)的復(fù)雜問(wèn)題，從而影響應(yīng)用率，阻礙創(chuàng)新擴(kuò)散，而經(jīng)濟(jì)價(jià)值正源于廣泛的應(yīng)用。

基于用途的監(jiān)管還可能固化世界運(yùn)行方式，無(wú)形中禁止新穎有益的用途。因此，在前沿人工智能領(lǐng)域，其不應(yīng)作為首選。

三、基于實(shí)體監(jiān)管的前景

有一種替代監(jiān)管方式可規(guī)避上述問(wèn)題：不針對(duì)快速迭代的模型或其廣泛用途，而是聚焦更穩(wěn)定的主體——生產(chǎn)和部署前沿模型的企業(yè)實(shí)體。在基于實(shí)體的監(jiān)管下，當(dāng)實(shí)體滿(mǎn)足法定觸發(fā)條件，如年度人工智能研發(fā)支出達(dá)標(biāo)時(shí)，就需遵守針對(duì)前沿人工智能開(kāi)發(fā)風(fēng)險(xiǎn)的監(jiān)管制度，涵蓋訓(xùn)練、測(cè)試、保管、部署等環(huán)節(jié)。

美國(guó)監(jiān)管史中，實(shí)體監(jiān)管常用于產(chǎn)品快速迭代的領(lǐng)域（如金融服務(wù)）。像藥品等開(kāi)發(fā)周期長(zhǎng)、變化小，不會(huì)因企業(yè)的某些措施而突然變得更具風(fēng)險(xiǎn)的行業(yè)，采用產(chǎn)品監(jiān)管。而金融產(chǎn)品持續(xù)提供，銀行流程失誤可隨時(shí)使安全產(chǎn)品變高風(fēng)險(xiǎn)，需要實(shí)體監(jiān)管。前沿人工智能開(kāi)發(fā)與金融類(lèi)似，適合實(shí)體監(jiān)管。當(dāng)產(chǎn)品或特定活動(dòng)的風(fēng)險(xiǎn)性以普遍且持續(xù)的方式依賴(lài)于當(dāng)一家企業(yè)的整體業(yè)務(wù)活動(dòng)風(fēng)險(xiǎn)較高時(shí)，基于實(shí)體的監(jiān)管具有重要意義。

前沿人工智能系統(tǒng)可能引發(fā)系統(tǒng)性風(fēng)險(xiǎn)，如助長(zhǎng)生物武器研發(fā)、引發(fā)大規(guī)模自主網(wǎng)絡(luò)攻擊、越獄攻擊、對(duì)抗性提示注入、休眠攻擊等，這些需持續(xù)監(jiān)控。安全并非單純的模型屬性，而是模型嵌入的系統(tǒng)和流程的屬性。例如一個(gè)錯(cuò)位模型可能用于創(chuàng)建新模型、更新現(xiàn)有模型等。最廣泛部署（因此系統(tǒng)性風(fēng)險(xiǎn)最高）的系統(tǒng)和流程，主要由人工智能開(kāi)發(fā)前沿的企業(yè)實(shí)體構(gòu)建和控制。因此，監(jiān)管應(yīng)聚焦開(kāi)發(fā)者的整體風(fēng)險(xiǎn)活動(dòng)，而非單個(gè)模型。

四、基于實(shí)體監(jiān)管的觸發(fā)機(jī)制

實(shí)體監(jiān)管可由企業(yè)特征觸發(fā)，如人工智能研發(fā)或計(jì)算支出。觸發(fā)機(jī)制可通過(guò)法律明確規(guī)定，既界定前沿人工智能研究涉及的一般活動(dòng)范圍，又設(shè)定基于企業(yè)在此類(lèi)研究上支出的監(jiān)管觸發(fā)條件。如可定義 “受覆蓋的人工智能研發(fā)” 為開(kāi)發(fā)能執(zhí)行多領(lǐng)域任務(wù)、推理能力接近人類(lèi)的先進(jìn)模型；“受覆蓋的前沿開(kāi)發(fā)者”為上一年或當(dāng)年在此類(lèi)研發(fā)上支出超10億美元的實(shí)體。觸發(fā)條件可靈活設(shè)計(jì)：調(diào)整金額；聚焦計(jì)算支出而非總研發(fā)支出，或采用 “或/且” 的組合條件等等。

與模型監(jiān)管的觸發(fā)條件相比，實(shí)體特征如研發(fā)支出等變化更慢，立法者更易追蹤，無(wú)需頻繁更新觸發(fā)條件。高門(mén)檻的實(shí)體觸發(fā)條件也可避免覆蓋小企業(yè)，減少創(chuàng)新負(fù)擔(dān)，集中監(jiān)管資源。

存在一些有趣的可能性，在一定程度上模糊了基于模型和基于實(shí)體的監(jiān)管之間的界限。如結(jié)合部分模型特征（企業(yè)實(shí)體開(kāi)發(fā)過(guò)訓(xùn)練計(jì)算量達(dá)10^26 FLOPs的模型等）與實(shí)體特征作為觸發(fā)條件，雖存在部分模型監(jiān)管的缺陷，但將使監(jiān)管框架能夠涵蓋開(kāi)發(fā)者實(shí)踐的各個(gè)方面，更好發(fā)揮實(shí)體監(jiān)管的優(yōu)勢(shì)，可作為向純實(shí)體監(jiān)管過(guò)渡的中間步驟。

有人擔(dān)憂(yōu)企業(yè)可能通過(guò)拆分實(shí)體規(guī)避監(jiān)管，但法律已有應(yīng)對(duì)手段，如公司法上的 “刺破公司面紗”等，且前沿人工智能開(kāi)發(fā)者數(shù)量少，規(guī)避行為較為容易識(shí)別。另一種擔(dān)憂(yōu)是實(shí)體監(jiān)管可能覆蓋不足，未來(lái)高度危險(xiǎn)的人工智能能力可能大規(guī)模擴(kuò)散，非前沿模型也可能被濫用。但即使如此，實(shí)體監(jiān)管仍有必要，最強(qiáng)大模型的開(kāi)發(fā)者仍有獨(dú)特風(fēng)險(xiǎn)，如訓(xùn)練中復(fù)雜的代理欺騙、生物武器等，了解其能力和風(fēng)險(xiǎn)仍是社會(huì)剛需。

五、基于實(shí)體監(jiān)管的實(shí)質(zhì)

基于實(shí)體監(jiān)管是政策框架而非具體政策，其監(jiān)管強(qiáng)度可在多個(gè)維度變化。最低限度可要求透明度：受覆蓋的開(kāi)發(fā)者需披露包括訓(xùn)練、安全測(cè)試、內(nèi)部威脅監(jiān)控等在內(nèi)的高風(fēng)險(xiǎn)活動(dòng)的關(guān)鍵特征，以及模型出現(xiàn)的高風(fēng)險(xiǎn)能力或傾向。最嚴(yán)格情況可參考核安全監(jiān)管：持續(xù)嚴(yán)格監(jiān)督，包括特定場(chǎng)址的運(yùn)營(yíng)許可、定期檢查、安全協(xié)議、人員安檢、操作員培訓(xùn)等。中間選項(xiàng)則包括：要求受覆蓋的開(kāi)發(fā)者制定風(fēng)險(xiǎn)管理協(xié)議以應(yīng)對(duì)新型風(fēng)險(xiǎn)；建立組織架構(gòu)和治理機(jī)制確保協(xié)議執(zhí)行，如任命首席風(fēng)險(xiǎn)官直接向董事會(huì)匯報(bào)；在高風(fēng)險(xiǎn)決策時(shí)引入獨(dú)立安全審計(jì)。

實(shí)體監(jiān)管淡化了基于模型的監(jiān)管中存在的抽象問(wèn)題，能更合理地處理模型相關(guān)問(wèn)題。以透明度和信息披露要求為例，基于模型的監(jiān)管由模型本身的屬性觸發(fā)：前沿人工智能開(kāi)發(fā)者在發(fā)布滿(mǎn)足特定標(biāo)準(zhǔn)的新模型時(shí)，需披露相關(guān)重要信息。對(duì)新模型定義過(guò)嚴(yán)則繁瑣（若是通過(guò)微調(diào)、組合生成，調(diào)整微小仍被要求進(jìn)行披露），過(guò)寬則可能遺漏風(fēng)險(xiǎn)。而實(shí)體監(jiān)管可要求開(kāi)發(fā)者定期披露所有模型的新能力或危險(xiǎn)傾向和可能顯著提升能力或有造成嚴(yán)重傷害風(fēng)險(xiǎn)的重大決策（無(wú)論是否發(fā)布新模型），無(wú)需糾結(jié)對(duì)新模型的定義。基于實(shí)體的監(jiān)管框架可以自然地解決治理程序、算法秘密管理以及內(nèi)部威脅檢測(cè)等模型監(jiān)管無(wú)法觸及的領(lǐng)域。

結(jié)論

實(shí)體監(jiān)管的具體要求需考慮諸多因素：前沿人工智能的潛在危害及風(fēng)險(xiǎn)大小；美國(guó)在前沿人工智能領(lǐng)域的領(lǐng)先程度及監(jiān)管對(duì)這一領(lǐng)先的影響等。盡管存在不確定性，但前沿人工智能監(jiān)管框架應(yīng)主要以實(shí)體特征（而非模型或用途特征）作為觸發(fā)機(jī)制。雖然基于實(shí)體監(jiān)管的框架內(nèi)容可能部分涉及模型和用途，但更應(yīng)該在關(guān)注實(shí)體活動(dòng)更廣泛風(fēng)險(xiǎn)的背景下這樣做，將這些風(fēng)險(xiǎn)視為一個(gè)整體而非孤立的部分，即：需置于開(kāi)發(fā)者整體風(fēng)險(xiǎn)活動(dòng)的背景下考量。

或許比起模型或用途監(jiān)管，實(shí)體監(jiān)管的作用應(yīng)更溫和，這些不同監(jiān)管的最優(yōu)組合方式仍需研究，但實(shí)體監(jiān)管應(yīng)在前沿人工智能治理中發(fā)揮重要作用，其設(shè)計(jì)和實(shí)施值得審慎思考。

免責(zé)聲明：本文轉(zhuǎn)自啟元洞見(jiàn)。文章內(nèi)容系原作者個(gè)人觀(guān)點(diǎn)，本公眾號(hào)編譯/轉(zhuǎn)載僅為分享、傳達(dá)不同觀(guān)點(diǎn)，如有任何異議，歡迎聯(lián)系我們！

轉(zhuǎn)自丨啟元洞見(jiàn)

研究所簡(jiǎn)介

國(guó)際技術(shù)經(jīng)濟(jì)研究所（IITE）成立于1985年11月，是隸屬于國(guó)務(wù)院發(fā)展研究中心的非營(yíng)利性研究機(jī)構(gòu)，主要職能是研究我國(guó)經(jīng)濟(jì)、科技社會(huì)發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問(wèn)題，跟蹤和分析世界科技、經(jīng)濟(jì)發(fā)展態(tài)勢(shì)，為中央和有關(guān)部委提供決策咨詢(xún)服務(wù)。“全球技術(shù)地圖”為國(guó)際技術(shù)經(jīng)濟(jì)研究所官方微信賬號(hào)，致力于向公眾傳遞前沿技術(shù)資訊和科技創(chuàng)新洞見(jiàn)。

地址：北京市海淀區(qū)小南莊20號(hào)樓A座

電話(huà)：010-82635522

微信：iite_er