新加坡國立大學FractalForensics,分形水印主動深度偽造檢測定位

本文作者包括新加坡國立大學的王天一 (第一作者)、程軒昂、Mohan Kankanhalli (通訊作者)，和山東大學的劉明慧。

工作動機

近些年來，針對深度偽造 (Deepfake) 的主動防御研究角度逐漸受到廣泛關注。在現有工作中，魯棒水印和半脆弱水印分別在 Deepfake 檢測任務取得一定進展，但仍普遍存在如下問題：

• 面對常規圖像處理 (如高斯噪聲) 時的魯棒性不穩定。
• 暫不具備同時進行鑒偽和偽造區域定位的功能。
• 通過比對水印來判斷真偽而存儲 ground-truth 的操作大量消耗了計算資源。

工作介紹

為解決上述問題，該論文提出 FractalForensics，一種基于分形水印的主動深度偽造檢測與定位方法。不同于以往的水印向量，為達成偽造定位的功能，論文提出的水印以矩陣形式出現。

• 論文地址：https://arxiv.org/abs/2504.09451

首先，該論文設計了一個水印生成和加密流程(圖 1)，旨在使整個流程參數化。依賴于基于參數的分形幾何形狀及其具備的可迭代特性，先將其選擇作為水印的基礎 (本文以標準希爾伯特曲線為例)。

其后，分別定義旋轉 (r), 鏡像 (m), 次序改變 (o) 三個變體參數，為分形水印的形狀變化提供多樣性 (在該論文實驗中，所有參數組合共可得 144 種分形變體)。

進一步地，針對以迭代順序標記的分形矩陣，構建一個混沌加密系統，基于參數x_0和 a 來決定混沌序列的迭代，并基于參數 k 和 d 來分別選擇開始選取用于加密的值和位數，按照矩陣中的數字順序對其進行加密。

圖 1: 基于參數的水印生成和加密流程。

如圖 1 所示，假設搭建一個用戶服務平臺，嵌入并封裝該水印生成和加密流程，相比于預先保存所有的水印 ground-truths，用戶可自選每個參數的值來構建和加密水印，且只需保存所選參數即可。加密后的矩陣中的值是 0 到 9 之間的一位十進制數字，而為了獲得更大的水印嵌入和提取容錯率，本方法將所有十進制值轉化成四位二進制值。

該論文中的水印嵌入與提取模型主要基于卷積神經網絡 (圖 2)。在水印嵌入階段，考慮到圖片對于水印嵌入的合理容量，論文提出 entry-to-patch 策略，將圖片劃分為相同大小的相同 patch (本文中 patch 的大小為 32 x 32)，并將水印矩陣以位置對應的方式向圖片中嵌入。

詳細來說，在加密后的水印中，每個四位二進制水印值被調整維度至通道數為 4 的相同空間位置的值，從而不破壞水印和圖片對應的位置關系。

圖 2: 水印嵌入與提取流程。

同時，為保證 patch 之間對應的水印盡可能互不影響，在圖像特征映射、水印擴散、水印嵌入等過程中，卷積核的大小被設為遠小于 patch 大小的值。當針對被 Deepfake 篡改后的圖片提取水印時，得益于 entry-to-patch 的嵌入策略，被篡改的區域會丟失水印，而反之則保留水印，由此可在進行 Deepfake 檢測的同時完成偽造定位(如圖 2 右下人臉圖片中標紅所示丟失水印的區域)。

實驗結果

由于 Deepfake 對人臉圖片中對應區域內容特征的修改，該水印嵌入流程對其具有天然的脆弱性。因此，經過針對 Jpeg 壓縮的對抗訓練以確保水印魯棒性之后，便可獲得期待的魯棒性和脆弱性。如表 1 所示，該文章所提出的水印在面對常見圖像處理方法時維持了最優的魯棒性，并如表 2 所示，在面對 Deepfake 偽造方法時展現了合理的脆弱性。

表 1: 在 CelebA-HQ 數據集上面對常見圖像處理方法的水印魯棒性評估。

表 2: 在 CelebA-HQ 數據集上面對 Deepfake 偽造方法的水印脆弱性評估。

進一步地，該文章根據水印恢復率的魯棒性和脆弱性之間的顯著差異，計算了 Deepfake 檢測的 AUC 效果，并與被動檢測的 SOTA 工作進行對比取得了最優檢測效果，具體實驗結果如表 3 所示。

表 3: 在 CelebA-HQ 上進行的 Deepfake 檢測效果比較與評估。

偽造定位的效果如圖 3 和圖 4 所示。基于水印魯棒性，在面對良性圖像處理時不會定位偽造區域；基于水印脆弱性，由于 face swapping 方法主要篡改人臉內部區域，因此定位的偽造區域也主要聚焦在人臉位置，而 face reenactment 因篡改區域更廣則導致定位的區域分布更離散。

圖 3: 針對常見良性圖像處理方法的偽造定位。

圖 4: 針對惡意 Deepfake 偽造方法的偽造定位。

第一作者信息

王天一，本科畢業于美國華盛頓大學西雅圖分校，取得計算機科學和應用數學雙專業學位；博士畢業于香港大學，取得計算機科學博士學位；現為新加坡國立大學在職博士后研究員，在 ICCV、ICML、NeurIPS、AAAI、TIFS、TKDE、ACM Computing Surveys 等高水平會議和期刊發表論文 30 余篇，研究方向包括多媒體取證、虛假信息檢測等。