新加坡國立大學(xué)FractalForensics,分形水印主動深度偽造檢測定位

本文作者包括新加坡國立大學(xué)的王天一 (第一作者)、程軒昂、Mohan Kankanhalli (通訊作者)，和山東大學(xué)的劉明慧。

工作動機(jī)

近些年來，針對深度偽造 (Deepfake) 的主動防御研究角度逐漸受到廣泛關(guān)注。在現(xiàn)有工作中，魯棒水印和半脆弱水印分別在 Deepfake 檢測任務(wù)取得一定進(jìn)展，但仍普遍存在如下問題：

• 面對常規(guī)圖像處理 (如高斯噪聲) 時的魯棒性不穩(wěn)定。
• 暫不具備同時進(jìn)行鑒偽和偽造區(qū)域定位的功能。
• 通過比對水印來判斷真?zhèn)味鎯?ground-truth 的操作大量消耗了計算資源。

工作介紹

為解決上述問題，該論文提出 FractalForensics，一種基于分形水印的主動深度偽造檢測與定位方法。不同于以往的水印向量，為達(dá)成偽造定位的功能，論文提出的水印以矩陣形式出現(xiàn)。

• 論文地址：https://arxiv.org/abs/2504.09451

首先，該論文設(shè)計了一個水印生成和加密流程(圖 1)，旨在使整個流程參數(shù)化。依賴于基于參數(shù)的分形幾何形狀及其具備的可迭代特性，先將其選擇作為水印的基礎(chǔ) (本文以標(biāo)準(zhǔn)希爾伯特曲線為例)。

其后，分別定義旋轉(zhuǎn) (r), 鏡像 (m), 次序改變 (o) 三個變體參數(shù)，為分形水印的形狀變化提供多樣性 (在該論文實(shí)驗(yàn)中，所有參數(shù)組合共可得 144 種分形變體)。

進(jìn)一步地，針對以迭代順序標(biāo)記的分形矩陣，構(gòu)建一個混沌加密系統(tǒng)，基于參數(shù)x_0和 a 來決定混沌序列的迭代，并基于參數(shù) k 和 d 來分別選擇開始選取用于加密的值和位數(shù)，按照矩陣中的數(shù)字順序?qū)ζ溥M(jìn)行加密。

圖 1: 基于參數(shù)的水印生成和加密流程。

如圖 1 所示，假設(shè)搭建一個用戶服務(wù)平臺，嵌入并封裝該水印生成和加密流程，相比于預(yù)先保存所有的水印 ground-truths，用戶可自選每個參數(shù)的值來構(gòu)建和加密水印，且只需保存所選參數(shù)即可。加密后的矩陣中的值是 0 到 9 之間的一位十進(jìn)制數(shù)字，而為了獲得更大的水印嵌入和提取容錯率，本方法將所有十進(jìn)制值轉(zhuǎn)化成四位二進(jìn)制值。

該論文中的水印嵌入與提取模型主要基于卷積神經(jīng)網(wǎng)絡(luò) (圖 2)。在水印嵌入階段，考慮到圖片對于水印嵌入的合理容量，論文提出 entry-to-patch 策略，將圖片劃分為相同大小的相同 patch (本文中 patch 的大小為 32 x 32)，并將水印矩陣以位置對應(yīng)的方式向圖片中嵌入。

詳細(xì)來說，在加密后的水印中，每個四位二進(jìn)制水印值被調(diào)整維度至通道數(shù)為 4 的相同空間位置的值，從而不破壞水印和圖片對應(yīng)的位置關(guān)系。

圖 2: 水印嵌入與提取流程。

同時，為保證 patch 之間對應(yīng)的水印盡可能互不影響，在圖像特征映射、水印擴(kuò)散、水印嵌入等過程中，卷積核的大小被設(shè)為遠(yuǎn)小于 patch 大小的值。當(dāng)針對被 Deepfake 篡改后的圖片提取水印時，得益于 entry-to-patch 的嵌入策略，被篡改的區(qū)域會丟失水印，而反之則保留水印，由此可在進(jìn)行 Deepfake 檢測的同時完成偽造定位(如圖 2 右下人臉圖片中標(biāo)紅所示丟失水印的區(qū)域)。

實(shí)驗(yàn)結(jié)果

由于 Deepfake 對人臉圖片中對應(yīng)區(qū)域內(nèi)容特征的修改，該水印嵌入流程對其具有天然的脆弱性。因此，經(jīng)過針對 Jpeg 壓縮的對抗訓(xùn)練以確保水印魯棒性之后，便可獲得期待的魯棒性和脆弱性。如表 1 所示，該文章所提出的水印在面對常見圖像處理方法時維持了最優(yōu)的魯棒性，并如表 2 所示，在面對 Deepfake 偽造方法時展現(xiàn)了合理的脆弱性。

表 1: 在 CelebA-HQ 數(shù)據(jù)集上面對常見圖像處理方法的水印魯棒性評估。

表 2: 在 CelebA-HQ 數(shù)據(jù)集上面對 Deepfake 偽造方法的水印脆弱性評估。

進(jìn)一步地，該文章根據(jù)水印恢復(fù)率的魯棒性和脆弱性之間的顯著差異，計算了 Deepfake 檢測的 AUC 效果，并與被動檢測的 SOTA 工作進(jìn)行對比取得了最優(yōu)檢測效果，具體實(shí)驗(yàn)結(jié)果如表 3 所示。

表 3: 在 CelebA-HQ 上進(jìn)行的 Deepfake 檢測效果比較與評估。

偽造定位的效果如圖 3 和圖 4 所示。基于水印魯棒性，在面對良性圖像處理時不會定位偽造區(qū)域；基于水印脆弱性，由于 face swapping 方法主要篡改人臉內(nèi)部區(qū)域，因此定位的偽造區(qū)域也主要聚焦在人臉位置，而 face reenactment 因篡改區(qū)域更廣則導(dǎo)致定位的區(qū)域分布更離散。

圖 3: 針對常見良性圖像處理方法的偽造定位。

圖 4: 針對惡意 Deepfake 偽造方法的偽造定位。

第一作者信息

王天一，本科畢業(yè)于美國華盛頓大學(xué)西雅圖分校，取得計算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)雙專業(yè)學(xué)位；博士畢業(yè)于香港大學(xué)，取得計算機(jī)科學(xué)博士學(xué)位；現(xiàn)為新加坡國立大學(xué)在職博士后研究員，在 ICCV、ICML、NeurIPS、AAAI、TIFS、TKDE、ACM Computing Surveys 等高水平會議和期刊發(fā)表論文 30 余篇，研究方向包括多媒體取證、虛假信息檢測等。