對于AI深度偽造，有了紅線

“AI人文學”·序章

本月開始，所有備受原創內容的AI侵權之擾、深受AI造假資訊困擾之苦的群體，迎來了福音。

9月1日起，國家網信辦等四部門聯合發布的《人工智能生成合成內容標識辦法》正式施行。這一新規的關鍵變化在于：從國家層面明確要求，所有AI生成的文字、圖片、視頻等內容都要“亮明身份”。

《人工智能生成合成內容標識辦法》通知 / 圖源：中國網信網

此次的“標識辦法”界定，所謂“人工智能生成合成內容”，是指利用人工智能技術生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息。而所要求的“標識”則包括顯式標識和隱式標識。辦法要求，平臺在服務提供者的內容上架或上線時，有責任進行審核，核驗生成合成內容標識。一旦發現未標識或疑似生成內容，則須添加風險提示，從而在傳播端阻斷虛假信息擴散。

這一“標識辦法”的出臺，實現了同《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等法規的充分銜接與補充，將為“AI創作”（特別是某些所謂“二次創作”）畫出一條明規亮矩、定分止爭的紅線。

AI換臉：以假亂真的深度幻象

今年春的全國兩會上，小米董事長雷軍代表提交了一份關于加強“AI換臉擬聲”違法侵權重災區治理的建議。

雷軍提交這一建議，是有前因的。上一個國慶假期，網上有人用AI捏造雷軍配音，所謂“雷軍語音包”層出不窮，從吐槽假期到惡意罵人，花樣迭出。

對此，雷軍本人還專門發視頻，呼吁大家不要再惡搞：“這段時間，看到很多人在玩‘雷軍語音包’。有網友說國慶被我罵了整整7天，這事確實讓我挺困擾的。”

雷軍的困擾，顯然只是這類問題的冰山一角。

如果說“AI換音”尚屬隱形的幽靈，那么“AI換臉”就是超真實世界的幻象。后者以前所未有的方式挑戰著人類的認知極限。

小羅伯特·唐尼的臉被替換為馬斯克的臉

通過這項技術，人們可以輕松地將一個人的臉部特征替換到另一個人的身上，生成幾乎能夠以假亂真的視頻。這種技術在娛樂、廣告等領域有著廣泛的應用前景，但同時也為惡意造假者傳授了“芝麻開門”的咒語。

七八年前，換臉軟件Deepfake（深度偽造）剛剛亮相就引起轟動。美國社交新聞網站Reddit的成人交流社區里，一個用戶把《神奇女俠》“女一號”蓋爾·加朵的臉，嫁接到了一部成人電影女主角身上，并將視頻上傳至該網站。這個以假亂真的視頻，極大混淆了視聽，也引起了公眾的不適和反感。Reddit官方以該換臉視頻涉及不當內容，且侵犯了他人隱私為由，將視頻發布者進行了封號處理。

還有一起“莫迪跳舞”事件，轟動一時。

兩年前的印度大選年期間，印度總理莫迪的一段跳舞視頻，引發了印度國內外的廣泛關注和熱議。莫迪本人很快辟謠稱，這個視頻是由AI合成的深度偽造視頻，并警告此類深度偽造“是印度目前面臨的最大威脅之一，有可能造成社會混亂”。印度電子和信息技術部部長也表示，防止錯誤信息傳播是社交媒體的“法律義務”。他強調，深度偽造品的制作者和流通者，將受到罰款 10 萬盧比和監禁 3 年的嚴厲處罰。

虛假帖子中的視頻（左）與 真實視頻（右）的截圖對比

這類惡搞視頻，不僅侵犯了個人形象權，更讓我們深刻意識到AI換臉技術的巨大風險。如果這項技術被用于制造重大虛假新聞、惡意攻擊政敵等目的，后果將不堪設想。

此外，換臉視頻也成為電信詐騙歹徒的“利器”，讓不少老人上當受騙、損失慘重。

深度偽造視頻之所以能做到這么逼真，緣于它高明的算法邏輯。比如，Deepfake就使用了一種知名的深度學習算法GANs(Generative Adversarial Networks，譯作“生成式對抗網絡”)。通俗講法是，這個“對抗性”的算法，會訓練兩個神經網絡系統，讓它們彼此競爭，就好像現實中一個山寨作者和一個真跡鑒別家之間的“切磋”。

一個神經網絡系統被稱為“生成網絡”，就是“山寨作者”，它的任務不言而喻，就是造假；另一個神經網絡就是鑒別器，好比“鑒定專家”，會將前者生成的偽作與原始數據庫中的大量“真跡”進行比對、分辨真偽。

利用神經網絡對另一個神經網絡進行鑒別 / AI制圖（諾言）

而基于每一次“對抗”結果，“山寨作者”都會及時調整參數、進行完善，直到能順利“騙過”鑒別器。此時理論上，偽造的視頻基本就達到以假亂真的水準了。

從文化學的角度來看，AI換臉這樣的深度偽造技術，打破了傳統身份認知的邊界，使得人們的身份和形象在互聯網上可以被隨意篡改和重塑。

而對于新聞傳播學的從業者和研究者而言，更值得擔心的是，AI換臉造假事件的頻發，會加劇信息環境的復雜性和不確定性——類似虛假信息的傳播，不僅極易造成信息混亂，損害公眾的知情權，也必然嚴重擠占和侵蝕主流媒體的傳播力和公信力。

AI洗稿：文字背后的幽靈

與需要一定成本投入與技術門檻的視覺深度偽造相比，文本的“合成”與造假現象更為低成本和普遍化，這幾年在互聯網世界所引起的信息紊亂、傳播失范，也更為顯著。

以至于，對于當前AI寫作、AI洗稿所導致的網上充斥大量垃圾信源的現狀，有人憤怒地將其稱為“電子糞坑”。

這些“電子排泄物”的生成流程很簡單——海量的網絡博主們、各種運營性賬號操盤手們，利用AI工具和洗稿軟件，對主流媒體或知名大V的原創文章，通過替換同義詞、調整句子結構等手段，瞬間進行改寫、重組（據說可以做到“洗稿”后與原文查重率不超過25%），并批量炮制出看似新穎實則雷同、“乍看吸睛、細看嘆氣”的垃圾內容。

2025年5月29日，上海警方偵破一起利用人工智能技術編造、傳播網絡謠言損害企業權益案，圖為嫌疑人聊天下單截圖 / 圖源：新京報

而原創者的聲音則越來越微弱。“AI洗稿”這類行徑，將原創者的心血竊為己有，不僅侵犯了原創作者的知識產權，更扭曲了信息市場的競爭機制。

這些“洗”出來文章，又會再度撒入互聯網信息的汪洋大海之中，被其他AI洗稿工具、賬號當成原創內容重新抓取、洗稿、發布……于是，以訛傳訛，謬以千里。漫山遍野的“AI洗稿”，令垃圾稿件大量充斥于某些知名搜索引擎和社交媒體，讓普通人似乎置身“內容黑市”，亦讓人們的選擇和甄別變得愈發困難。在這些充滿虛假與雷同的平臺上，怎樣才能找到真正的知識、有用的信息，成為考驗每個閱讀者“眼力”的技術活兒。

洗稿猖獗為哪般？

還是無利不起早。2024年10月，一則標題為“大媽擺攤賣水果被罰16萬，監管局回應不交就罰145萬”的“報道”在網絡上廣為流傳，引發眾多網民關注和議論。

仔細查閱這篇文章可以發現，除了博眼球的標題，文章內容也非常具體和豐富，可謂是言之鑿鑿。

2024年10月，一篇題為《大媽擺攤賣水果被罰16萬，監管局回應不交就罰145萬》的文章在多個網絡平臺傳播 / 圖源：央視新聞

然而，經民警查明，當地根本沒有發生過這一事件。濟南市場監管局隨即發布了辟謠聲明并報警。由于這則虛假信息出自湖南長沙的一家傳媒公司，隨后濟南警方與長沙警方聯合辦案，發現這篇引發熱議的文章，居然是該傳媒公司通過AI工具生成的。

警方調查發現，這家傳媒公司早就是“慣犯”。他們日常發布的文章，主要聚焦虛假的社會矛盾糾紛。而之所以選擇這樣的題材，是因為他們發現，矛盾沖突越激烈的文章，閱讀量越高，也更容易讓經營的賬號盈利。

這家公司的內部運營流程手冊上赫然寫著：法律類文章要能引起公憤，比如農民被罰、執法部門執法不當，開出天價罰款、政府霸占農民土地不還等等……其宗旨一言以蔽之，就是：用戶看完感到憤怒的，就是一篇優秀的“報道”。這些文章均以博眼球的罰款金額作為標題，內容多為小攤販擺攤賣草莓、香蕉、煙葉等被罰款，文章除了地點、人物不同，其余的內容如出一轍。

先尋找高熱度文章，再用AI仿寫洗稿；炮制虛假糾紛，制造對立情緒引流獲利——這就是洗稿者毫無底線的“生意經”。

而且，此類洗稿團隊背后，往往還有著一條黑色產業鏈，涵蓋“選題”“策劃”“洗稿”“買粉”“買流量”“養號”“賺廣告費”等等一連串操作。

這些人不生產文字，他們只是文字的盜竊者和“格格巫”。

算法繭房與AI造假：認知投喂的雙重陷阱

拜算法所賜，人們仿佛被一股神秘力量牽引，走進了一個個由算法精心編織的“信息繭房”。它們就如同無形的信息泡泡，將人緊緊包裹其中。

算法，這位窺探著你每一次眼球轉動、心情起伏的“配餐員”，根據人們的興趣、偏好和行為習慣，量身定制了一份份信息菜單，精準“配餐”、定點“投喂”。

起初，人們很開心，覺得平臺很貼心，讓自己在海量信息中找到了舒適區、歸屬感。但漸漸地，有些人醒悟過來，發現已經陷在了一個狹小的資訊世界里，自己的認知和判斷，被這個繭房悄悄地限制和重塑了。

人們其實早已被困在信息繭房里 / 圖源：pexels

一個巴掌拍不響。AI造假技術的出現，讓又一個幽靈潛進了這個繭房。

在這個新的天地間，借助AI洗稿、AI深度偽造這些新道具，“造假格格巫”們如魚得水。根據眼球經濟的大數據分析，就能更有針對性地炮制出成千上萬噱頭十足的吸睛內容；對照繭房上的“標簽”類別，借助算法之手，就能更為輕而易舉地實現對繭房之中眾多“蠶寶寶”的配餐和投喂。

這些帶毒的“飼料”，“色香味”俱全，卻毒性深重、遺禍無窮，輕則造成“營養不良”（資訊畸形），次則引發“內分泌失調”（認知偏差），再則導致“慢性病”（偏執綜合征），重則“致癌”（狂躁惡性腫瘤）。

造假術與“繭房”相互纏繞、沆瀣一氣，用溫水煮青蛙的溫柔刀法，共同營建著對公眾認知的雙重陷阱。

破解AI造假的路徑與藥方

正視AI造假帶來的種種挑戰和危機，方能找到應對、破解之策。

何以破解？這無疑是一個復雜的系統工程，目前來看，至少應從技術、法律、教育、合作等多個層面進行探究——

其一，以技術之燭，照亮真相。

解鈴還須系鈴人。技術進步的“副作用”，還需技術手段來療治。

一方面，我們當前迫切需要加強AI技術應用的監管。政府和相關機構應加強對AI技術的監管力度，制定嚴格的技術標準和規范，防止其被用于惡意造假和商業化的認知操控。

因此，《人工智能生成合成內容標識辦法》的生效，是一個非常令人振奮和欣慰的事件。很顯然，它的立法原意，就是要求所有涉及AI生成內容的音視頻、圖文和虛擬場景等，從生產環節到傳播分發環節，所有的主體都必須承擔起“標識”和“告知”其他所有人“這個產品涉及AI合成內容，請不要誤以為真”的義務。

《人工智能生成合成內容標識辦法》辦法中對于圖文的新規定 / 中國網信網

這一辦法的出臺，非常及時和重要，對前段時間部分平臺上充斥著大量魚目混珠的AI生成內容亂象，將起到“一劍封喉”的作用。它不僅給久因“被抄襲”“被洗稿”而憤慨的內容創作者們祭出了“斬妖劍”，也為飽受“假新聞”“假養生知識”之苦、之害的廣大網民帶來了福音。

另一方面，我們還應推進AI虛假內容檢測技術的普及。

比如，服務提供者將被強制要求運用可能涉及標識的諸多技術，如水印算法、元數據格式、服務商編碼等，而這些信息將幫助執法部門在發現虛假違法內容時快速識別內容來源，從而精準地追蹤到服務提供者或者用戶。

又如，可由政府部門牽頭，利用深度學習等先進技術，建立完善的監測系統，對網絡上傳播的內容進行實時監測和分析，更好實現及時發現、處置虛假和編造類信息，避免其進一步發酵、變形和升級。

及時對網絡傳播的內容進行監測 /《目之所及》劇照

其二，以法律之盾，守護正義。

國際上的立法思路主要分為兩種，一種是海洋法系，偏重事后追責與判例約束；另一種是大陸法系，強調預先防范與法典規范。我國立法傳統相對接近大陸法系，本就擅長于未雨綢繆。因此，未來對于AI造假等新型犯罪，我國的法律體系特質，使得我們可在進一步增強法規制定的預見性方面，體現出更明顯的優勢。

同時，針對不斷出現的新問題，也要快速立法修法，及時補漏堵洞，確保法律體系的靈活性與適應性。

而對已有法律法規，亦要用好用足。比如，對于利用AI技術進行詐騙、侵犯個人隱私等行為，現行法律法規已有不少制約條款，只要積極用好用足，亦可以對不法行為做到嚴懲不貸，提高違法成本，形成有效震懾。

其三，以教育之樹，播撒“抗體”。

科技發展健步如飛、日行千里。數據顯示，我國生成式人工智能產品的用戶規模已達2.3億人。然而，很多中老年人大半輩子養成的媒介閱聽慣性一時難改。

大部人中老年人已形成媒介閱聽慣性 / AI制圖（諾言）

這也為AI造假者提供了可觀的“用武之地”。

因此，必須盡快提升公眾的媒介素養。要通過教育和培訓等方式，提高公眾對AI技術的認識和了解程度，增強其辨識虛假信息的能力。

同時，在信息爆炸的時代，批判性思維顯得尤為重要。要通過多種方式和渠道提示公眾：面對海量信息須時刻保持頭腦清醒，盡可能學會從多個角度審視和分析問題。

其四，以治理之網，多元共治。

防范AI造假是個系統工程，必須構建多元共治格局，合力“驅魔”。

一方面，要推動行業自律與倫理建設。在AI技術快速發展的背景下，行業自律和科技倫理理應成為第一道防火墻。相關行業協會和組織應制定行業規范和倫理準則，引導企業和技術開發者在技術研發和應用過程中，更好遵循科技倫理和道德標準。同時，建立行業自律機制，對違反規范和準則的行為進行懲罰和制裁。

行業自律和科技倫理應該是第一道防火墻 / 圖源：unsplash

另一方面，也要加強國際間的技術交流與合作。互聯網世界是平的，AI科技讓這個世界更“平”。因此，面對AI亂象，沒有一個國家能夠獨善其身。建立國際技術合作平臺或聯盟等機制，共同應對跨國AI造假行為等挑戰，宜早不宜遲。同時，應通過加強信息共享、聯合執法等方式，建立國際追訴機制，形成對跨國AI造假犯罪的有效遏制和打擊。

這些，都是需要多方協作、耗時甚巨的系統工程、長期工程，既不能操之過急，也不應熟視無睹。

當虛擬照進現實，當AI造假易如反掌，“魔”與“道”的博弈遭遇新的命題。破解之道，不在墨守陳規，更不在放棄原則，而在于與時俱進、順勢而為、學會駕馭。

唯有讓“人”更清醒、更聰明，讓防火墻更牢固，讓紅線更有震懾力，方能讓技術謙卑于常識和法律之下，讓算法臣服于倫理和人性之前，方能在數字洪流中守護好事實真相和主流價值觀的方舟。

（作者是AI人文學研究者）

作者 |玉城風

編輯 | 向現

值班主編 | 張來

排版 | 諾言