11月2日,有網友發現演員溫崢嶸同時“現身”多個不同直播間,且還穿著不一樣的服裝,推廣不一樣的產品,這一情況很快引發熱議。記者注意到,互聯網上儼然出現了一支“賽博溫崢嶸”大軍。
![]()
有粉絲“一天舉報18個”
記者在搜索溫崢嶸相關內容的時候,短短十來分鐘,刷到了四個溫崢嶸推薦的不同品牌產品的視頻,但令人大為迷惑的是,明明是不一樣的品牌產品,但話術卻是同一套。
![]()
還有的商家廣告在AI合成上更加離譜,劉濤、張柏芝、舒淇、戚薇等一眾知名女明星為溫崢嶸宣傳的某品牌面膜站臺,視頻里的戚薇說:“對不起溫崢嶸我給你道歉”,劉濤說:“我很感謝溫崢嶸給我推薦了xx面膜,我能有這樣一個福氣。”
今年4月1日,溫崢嶸發視頻打假,明確地表示自己只有一個賬號直播,她和團隊也注意到了有很多賬號冒充她開直播、打廣告,她也支持粉絲看到了盜播的直播間進行舉報。
![]()
一名溫崢嶸的粉絲在五月時表示,自己在一天之內一連舉報了18個偽造溫崢嶸的直播間,“根本舉報不過來啊,舉報一個又新增一個。”大半年時間過去了,仍舊有商家盜用溫崢嶸過往的直播素材,用錄播摳圖或者AI換臉等方式合成虛假直播內容。
由于AI直播間未明確標識技術合成屬性,消費者難以追溯責任主體。即使發現受騙,也需面對商家推諉、平臺追責困難等問題,維權效率低下。
AI濫用門檻有多低?
更值得警惕的是,AI工具極低的使用門檻已擋不住各懷心思的使用者們——不管這心思是非法牟利,還僅僅是好奇。
“家中闖入流浪漢,速回!”10月17日晚,安徽一女子用AI工具生成了高度逼真的“流浪漢臥坐餐廳”等圖片,發給在外聚餐的丈夫,想測試其反應。沒想到,丈夫信以為真,當即報警求助。民警趕到現場,確認是一場虛驚。
記者調查發現,近期已有多地出現過因“AI整蠱”引發的鬧劇,有的引得親屬連夜從外地趕回,有的甚至引發整棟樓被逐層排查。民警提醒,此類行為若造成嚴重后果,可能觸犯法律紅線,涉事人員將面臨拘留罰款,嚴重的需承擔刑事責任。
曾經只出現在科幻片里的AI技術,如今的使用門檻到底有多低?海報新聞記者進行了現場實測。
以虛擬一段“流浪漢闖入家中”的視頻為測試目標,記者先拍攝了一張自家廚房的照片,將照片上傳到“可靈AI”“即夢”等AI軟件中,隨后輸入一段指令性的提示詞:一名流浪漢站在廚房門口,他的手里拿著一個饅頭。點擊生成按鈕,十幾秒后,一張流浪漢站在記者家中廚房的照片便出現在眼前。
![]()
只需要在AI軟件中輸入一段提示詞,一個拿著饅頭的“流浪漢”就出現在了廚房門口。(右圖為AI生成畫面)
“照片可以PS,有視頻才有真相。”抱著這樣的想法,記者繼續嘗試。
在生成上述圖片的基礎上,記者繼續點擊生成視頻按鈕,并加上了描述動作的提示詞:流浪漢吃了一口饅頭,走到鏡頭前,笑了笑。幾十秒后,任務完成,一段時長5秒的視頻就這樣生成了:流浪漢非常自然地咬了一口饅頭,往前走了幾步,露出微笑。視頻內容與提示詞的要求高度一致,甚至還能看到流浪漢走動時在門窗玻璃上映出的影子!
記者招呼同事們一起來分辨,幾個人瞪大眼睛看了半天,也沒找出明顯的破綻。整個“圖生圖、圖生視頻”的過程用時僅120秒,付費用戶還可以下載無水印的高清圖片和視頻。
傳統印象中,想要利用軟件偽造足以亂真的圖片、視頻,少不了高端昂貴的設備和精通代碼的程序員。然而現實擺在眼前:下載一個軟件,輸入一兩句話,就能辦到。
業內人士指出,AI生成工具已實現“單圖換臉”“場景植入”等功能,通過深度學習算法提取面部特征點及環境元素,可快速完成圖像融合和動態生成。在此背景下,部分平臺對訓練語料管理不嚴,且未落實合成內容標識要求,導致大量虛假信息以隱秘方式傳播。
用AI“管”AI是否可行?
AI技術正在重塑生產生活方式。從橫空出世的ChatGPT到無所不能的深度求索(DeepSeek),短短兩年,人們已迅速習慣了使用AI工具。然而,迭代升級的不僅有算法,還有與之相伴的濫用風險。
短暫的驚恐和憤怒后,武揚現在有了新的擔憂:以后他們(不法分子)會不會用我的聲音給我的家人朋友打電話,甚至去詐騙?
有業內人士認為,分辨一段視頻或聲音是不是經過深度合成,最好的辦法是用AI“管”AI。
人工智能大模型研究員潘季明表示,從技術角度來說,基于AI技術去識別AI內容是最快的方式。例如,專門的深度偽造鑒別模型可用于分析視頻和音頻中的不自然特征,如檢測眨眼頻率、面部肌肉運動生理一致性、音頻與純嘴唇同步率、光源一致性等等,從這些細微的物理或生理破綻中發現端倪。
北京市競天公誠律師事務所律師馬盛君指出,由人工智能引發的致損事件不斷增加,盡管現有的民法典中針對特定場景的侵權責任規則可以調整某些人工智能應用,但無法一般性地調整不同類型的人工智能侵權行為。他呼吁人工智能服務提供者,加強內容審核和審查工作,確保技術的合法合規使用。
面對愈演愈烈的AI濫用和侵權現象,監管層面啟動了多重應對措施。2025年4月,中央網信辦開展“清朗·整治AI技術濫用”專項行動。第一階段累計處置違規小程序、應用程序、智能體等AI產品3500余款,清理違法違規信息96萬余條,處置賬號3700余個。9月1日,《人工智能生成合成內容標識辦法》正式實施,其中明確要求服務提供者對合成內容添加元數據標識,杜絕“無標識傳播”。
今年早些時候,最高人民法院刑事審判第三庭庭長陳鴻翔在接受媒體采訪時表示,針對AI深度偽造帶來的新情況新問題,最高法將加強研究,會同相關部門及時出臺規范性法律文件或實施細則,完善法律適用。針對電信網絡詐騙犯罪這一AI侵權的重要表現形式,他指出,詐騙分子利用AI深度偽造新技術不斷翻新詐騙手法,防范打擊難度越來越大。對此,人民法院將積極應對挑戰,強化法律支撐,完善相關法律規范。
降低技術門檻原本是為了方便AI生產工具的普及應用,卻在不經意間,打開了濫用AI的“潘多拉魔盒”。隨著技術的發展,AI治理辦法也亟須一次迭代升級。
半島新聞綜合整理,素材來源:揚子晚報、海報新聞等
來源:大眾·半島新聞
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.