![]()
10月10日,青島保時捷銷售中心牟女士通過社媒稱,近期發現由AI惡意合成的虛假視頻和不良視頻,“這些視頻是百分之百偽造的”,并表示“對造謠者宣戰”。此外,她還遭遇了騷擾電話“轟炸”,微信也收到許多不明的添加好友申請。
10月12日,青島保時捷女銷冠在社交平臺再發文,曬出青島市公安局李滄分局行政處罰決定書。行政處罰決定書顯示,一男子在群內轉發牟某文照片圖文并搭配不雅視頻,對其侮辱,后被查獲。根據《中華人民共和國治安管理處罰法》第四十二條第二項之規定,決定給予行政拘留五日的行政處罰。同時該男子還通過悔過書進行致歉。
近年來,隨著人工智能技術的迅猛發展,此類AI偽造視頻事件頻頻曝光。不法分子利用AI技術,假冒名人身份進行詐騙、發布虛假廣告,甚至通過偽造視頻騙取巨額財產,嚴重威脅社會信任體系和信息安全。
今天,我們從技術角度來剖析一下此類事件。
01
AI偽造視頻的技術:
從生成對抗網絡到Deepfake
這類AI偽造視頻所用的技術并不是最近才出現的,上世紀九十年代學術界就開始了面部替換和圖像生成相關技術的研究。2014年,伊恩·古德費洛(Ian Goodfellow)提出了生成對抗網絡(GAN,Generative Adversarial Network),使得計算機可以生成更為逼真且高質量的圖像。
生成對抗網絡由生成器(Generator)和判別器(Discriminator)兩部分組成。生成器創建內容,而判別器則檢測所創建的內容是不是真實的,并將結果反饋給生成器。在訓練過程中,兩者一攻一守,相互對抗,并在對抗中提升各自的能力,最終生成器能夠生成非常逼真的畫面。
2017年,有人在網絡社區Reddit上創建了一個名為“deepfakes”的賬號,并發布了一些用生成對抗網絡技術制作的名人換臉視頻。從此,“Deepfake”一詞開始被廣泛使用,通常是指代這類換臉視頻所用的技術。
2018年1月,一款名為FakeApp的桌面應用程序發布。緊接著,Faceswap、DeepFaceLab等具有類似功能的開源工具出現了。這些工具大大降低了Deepfake的門檻,使不具備專業知識的普通用戶也能輕松生成換臉視頻。
隨著相關技術不斷進步,今天的Deepfake和之前相比,不僅生成的視頻分辨率更高、面部表情同步更自然,而且所需的數據更少、訓練時間更短。早期Deepfake訓練往往需要數百到上千張目標人物的圖片或數分鐘至數小時的視頻,以獲取不同角度、不同表情的臉部特征。但隨著生成對抗網絡技術本身的發展,遷移學習(Transfer Learning)、小樣本學習(Few-Shot Learning)等技術的出現,現在僅需要幾十張甚至單張照片就可以生成Deepfake視頻。
![]()
另外,早期Deepfake只能生成畫面,現在結合聲音克隆(Voice Cloning)、語音風格遷移(Voice Style Transfer)等技術,還可以生成以假亂真的目標人物聲音,并且可以令視頻中的嘴部動作和聲音一致。
簡單來說,現在只需要有一張照片,幾秒鐘的語音,就可以生成Deepfake視頻。當然,如果有更多照片和更長的語音,生成的視頻也會更逼真。
02
Deepfake技術的
正面應用和負面影響
Deepfake雖然是“偽造”,但在獲得被“偽造”者許可的情況下,可以有很多正面的應用。例如,2019年,英國足球明星大衛·貝克漢姆發布了一段呼吁消滅瘧疾的視頻。在視頻中,他使用了包括斯瓦希里語和約魯巴語等在內的9種語言。而除了英語之外,其余8種語言都是用Deepfake技術生成的。
此外,Deepfake所使用的各類技術在數字人等領域也有廣泛應用,在視頻主播、影視制作、教育和培訓、心理治療康復等領域都能發揮積極的作用。
但任何技術都可能被用在不好的地方。在前面提到的假張文宏之前,已經出現過假靳東、假馬云、假雷軍、假于東來等。假冒名人賣貨不是最糟糕的,Deepfake類技術還被用在很多更惡劣的地方,例如詐騙。
2024年12月20日,BBC報道了一則《愛情騙子利用Deepfake從我這里騙走1.7萬英鎊》的故事。受害人是77歲的尼基·麥克勞德(Nikki MacLeod)。騙子告訴她,自己在一座石油鉆井平臺上工作,并要求Nikki購買Steam禮品卡以及通過Paypal轉賬等方式提供金錢,以便在鉆井平臺上獲得互聯網連接,以及支付到蘇格蘭來見她的旅行費用。Nikki最初持懷疑態度,但看到對方發來的鉆井平臺上的視頻后就相信了。
2024年1月,某香港公司的一名員工從公司賬戶轉了2500萬美元給詐騙者。騙子以首席財務官的名義和他進行了視頻通話,要求他執行這筆轉賬。在視頻通話中,該員工不僅看到了首席財務官“本人”,甚至還看到了其它“同事”。
據著名會計師事務所德勤2024年5月發布的一份報告,2023年美國的Deepfake欺詐增加了700%,造成了123億美元的損失,并且這一數字在2027年可能會達到400億美元。
![]()
除了詐騙之外,Deepfake技術可以還被用來騙過人臉識別。很多移動應用會使用人臉識別來驗證用戶身份。為防止用照片假冒人臉,現在的人臉識別技術通常都會進行活體檢測,類似3D結構光等活體識別技術需要特殊硬件,但只有部分手機支持。
目前,很多場合使用的還是基于手機前置攝像頭的2D人臉識別。而2D人臉識別的活體檢測主要是要求用戶做出眨眼、點頭等動作,以及用屏幕閃爍特定顏色的光線。于是就有人使用Deepfake技術結合一些其它的手段,來騙過人臉識別,從而盜取網絡賬號。
03
如何識別和檢測Deepfake視頻?
制作不夠精良的Deepfake視頻用肉眼就可看出異常。例如,人物的面部表情或眼神不自然,眨眼的次數過少,面部邊緣模糊,或者與背景的過渡不自然,人臉的光影效果與周圍環境的光線情況不符等。但是,隨著Deepfake技術的進步,這些異常特征也越來越少。
目前已知的Deepfake技術能仿冒人臉做出的表情,但還不能仿冒人臉在受到外部壓力時產生的變形。所以,在視頻通話時,如果懷疑遭到了Deepfake欺詐,可以要求對方用食指按壓一側的鼻翼,或按壓一側的臉頰。
除了肉眼分辨,用AI來識別AI生成的內容也是熱門的研究方向。例如合成視頻可能在幀與幀之間存在不連續性,進行時序一致性分析就可能發現異常。另外,人的心臟跳動會導致皮膚出現和脈搏節律一致的細微色彩變化,通過這種色彩變化可以獲取脈搏信息,而Deepfake的視頻可能沒有這種特征。
但我們也要意識到,Deepfake使用的生成式對抗網絡技術本來就是由生成器和判別器兩部分組成,任何一種檢測Deepfake的技術手段也都可以納入到Deepfake的判別器中,從而生成該技術難以檢測的偽造內容。
![]()
近年來,我國頒布實施了《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》等,但這些法律法規主要約束的是提供相關服務的平臺。而隨著軟硬件技術的發展,目前Deepfake完全可以只使用運行在個人電腦中的模型完成。
所以,要應對Deepfake帶來的各類問題,需要全流程的綜合治理機制,未來需要技術、平臺、法律的多元協同。用Deepfake假冒名人身份,欺騙他人購買產品,不僅可能違反《民法典》第1019條和第1024條,侵犯他人的肖像權、名譽權,還可能涉及《刑法》第266條詐騙罪、《刑法》第222條虛假廣告罪等。對于使用Deepfake涉及違法乃至犯罪的行為,就需要依法進行打擊。
策劃制作
作者丨于旸 騰訊玄武實驗室負責人
審核丨于乃功 北京工業大學機器人工程專業負責人,北京人工智能研究院機器人研究中心主任,博士生導師
趙精武 北京航空航天大學法學院副教授,工信部工業和信息化法治戰略與管理重點實驗室副主任、網絡空間國際治理研究基地副主任
責編丨林林
審校丨徐來
本文來自科普中國(1D:Science_China),未經授權不得二次轉載,如有轉載需求請聯系原公眾號。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.