雙管齊下：聯邦學習防投毒攻擊與梯度泄露，華南理工深北莫研究成果登上TMC與IoT

新智元報道

編輯：KingHZ

【新智元導讀】AI風起云涌，數據隱私如履薄冰。華南理工大學聯手深圳北理莫斯科大學，推出FedMSBA與FedMAR，筑成聯邦學習的安全堡壘，守護個人隱私！

隨著聯邦學習在物聯網（IoT）系統中的廣泛應用，如何在保障數據隱私的同時有效抵御惡意攻擊，已成為學界與產業界的共同難題。

針對這一問題，華南理工大學計算機學院與深圳北理莫斯科大學合作，提出了FedMSBA和FedMAR兩種防御方法。

其中，FedMSBA利用混合差分隱私機制，結合逐層感知方法，為參與方提供了更佳的理論隱私預算。

FedMAR利用多階段隱私聚合及更新回滾機制，為服務器提供了針對多種類型惡意用戶的防御方法。

論文1：FedMSBA

論文1：IEEE TMC (2025)

論文題目：Privacy-Preserving Rényi Layer-wise Budget Allocation against Gradient Leakage for Federated Learning

第一作者：時樂宇；通訊作者：高英

論文鏈接：https://ieeexplore.ieee.org/document/11193723

梯度泄露敏感信息，怎么辦？

盡管聯邦學習不直接傳輸數據，以「數據可用不可見」的方式對參與方實現了一定程度的隱私保護，但參與方上傳的模型梯度仍可能泄露敏感信息。

攻擊者可通過梯度反演攻擊，從梯度中重構出原始圖像甚至文本數據。

傳統的單一機制差分隱私防御方法雖然有效，但往往因噪聲過大導致模型性能顯著下降。

此外，若僅在參與方模型梯度輸出中添加噪聲，或僅以局部敏感度為依據來添加噪聲，則攻擊者可以通過去噪等方式逐步了解模型結構，并近似還原原始梯度更新。

由此，大家自然會想到一些問題：在保障同樣隱私預算的前提下，如何盡可能減少向原始數據中添加噪聲的總量？如何針對模型不同模塊的敏感度，來進行分模塊的隱私保護？

為了解決這些問題，研究者提出了一種基于Rényi差分隱私（RDP）的逐層隱私預算自適應分配方法——FedMSBA（Federated Modified Sensitivity Budget Allocation）。

FedMSBA方法介紹

FedMSBA的核心理念包括：

1.分層隱私預算分配：根據不同網絡層對輸入變化的敏感度，動態分配隱私預算

在參與方的本地模型中，每一層具有不同的局部敏感度，導致了其對攻擊者擾動測試的反應大小不同。況且，在每輪本地訓練過程中，由于輸入不同，這些敏感度有可能發生變化。

因此，依據每層的局部敏感度，分配每層隱私預算，實現「高風險層強保護、低風險層弱擾動」。

2.Rényi差分隱私：基于RDP的隱私計算框架，提供更緊的數學邊界，實現更優的隱私-效用平衡

常見的差分隱私機制包括高斯機制和拉普拉斯機制，而RDP能夠和一般差分隱私建立關系，因此研究者考慮運用在RDP來限制最終的隱私預算。

經計算，在一般（Simple）情況和由RDP轉化為DP（RDP to DP）情況下，高斯機制和拉普拉斯機制噪聲標準差與隱私預算的關系如下：

由于拉普拉斯機制在RDP to DP情況不會優于普通拉普拉斯機制，因此研究者直接禁用這一選擇。此外，研究者推導出了高斯機制在RDP to DP情況下的隱私預算及優于其他機制的條件：

3.多機制自適應選擇：結合高斯與拉普拉斯噪聲機制，并根據場景自動選擇最優擾動方式

4.修正敏感度估計：通過蒙特卡洛采樣估計局部敏感度，并使用Softmax歸一化，防止攻擊者推測模型結構

計算敏感度需要遍歷整個數據集，這樣將帶來極大開銷。為避免遍歷整個訓練數據集，研究者采用蒙特卡洛采樣的方式來近似估算敏感度。

這樣的估算會與真實值存在一定誤差，然而研究者可以證明這樣的誤差是可控的。

此外，研究者利用Softmax來修正敏感度：

四大突破

FedMSBA框架在以下幾個方面實現了突破：

1.逐層自適應分配機制：根據不同神經網絡層的敏感性，動態分配隱私預算，實現「高風險層強保護、低風險層弱擾動」。

2.Rényi DP緊致界理論：通過RDP的數學性質，在相同隱私預算下可顯著減少噪聲強度，提高模型可用性。

3.多機制融合與敏感度修正：結合高斯與拉普拉斯機制，并提出改進的「修正敏感度」計算方法，有效抵御梯度泄露攻擊。

4.理論完備與收斂保證：論文從隱私界、收斂性、估計誤差等方面給出嚴格證明，確保在有限通信輪次內實現全局DP約束。

實驗效果：隱私與性能兼得

研究團隊在多個數據集（MNIST、Fashion-MNIST、CIFAR-10/100、ImageNet）上驗證了FedMSBA的有效性：

• 防御效果顯著：重構圖像的PSNR顯著降低，MSE升高，視覺效果模糊難辨；

• 模型性能保持優異：在大多數任務中，測試精度僅輕微下降；

• 適應性強：無論是在IID還是Non-IID數據分布下，FedMSBA均表現穩定；

• 資源友好：在邊緣設備上運行時間與內存開銷均控制在可接受范圍內。

FedMSBA是在聯邦學習中參與方隱私保護方向上的一個進一步探索。它在一定程度上彌補了現有方法在理論隱私保障上的不足。

研究團隊致力于構建一個聯邦學習系統的通用隱私保護框架。

FedMSBA為參與方提供了更高級別、更自適應的隱私保護，卻沒有考慮服務器的隱私保護問題。與參與方不同，服務器承擔大量通信和計算任務，又無權直接訪問訓練數據。針對這些特性，研究團隊為服務器端設計了另一個隱私保護措施FedMAR，旨在進一步降低隱私計算開銷及從惡意本地更新中及時恢復。

論文2：FedMAR

論文2：IEEE IoT (2025)

論文題目：FedMAR: A Privacy-Preserving and Robust Server-Side Multi-Stage Federated Learning

第一作者：時樂宇；通訊作者：高英

論文鏈接：https://ieeexplore.ieee.org/document/11129099

服務器端如何保護隱私？

聯邦學習在實際部署中常面臨多種安全與隱私威脅，如數據投毒、模型中毒、梯度泄露和搭便車攻擊等。

這些攻擊不僅影響模型性能，也可能引發錯誤決策。值得注意的是，真實物聯網環境中這些威脅往往交織出現，而非孤立發生。現有防御方法大多針對單一攻擊類型設計，在復合攻擊場景下容易失效。

針對上述問題，研究團隊考慮了下列攻擊同時存在的一類IoT環境：

1.惡意參與方可能通過數據投毒攻擊（Data Poisoning Attack）或標簽翻轉攻擊（Label Flipping Attack）干擾訓練過程，使得全局模型精度下降甚至失效。在這里，研究者將數據投毒攻擊和標簽反轉攻擊視作同一類型；

2.部分參與方可能實施搭便車攻擊（Free-rider Attack），即不上傳有價值的更新，卻依賴服務器下發的全局模型牟利；

3.梯度泄漏攻擊（Gradient Leakage Attack） 等隱私威脅也可能導致訓練數據被逆向重建。

針對上述問題，研究者提出了一種適用于物聯網環境的多階段自適應魯棒聚合聯邦學習防御框架——FedMAR（Federated Multi-stage Asynchronous Roll-back），相關成果已被IEEE Internet of Things Journal錄用。

FedMAR方法介紹

FedMAR的核心理念是：

1.多階段聚合與回滾機制：在服務器端動態檢測異常更新，并通過「回滾」操作削弱其影響，從而保證全局模型的魯棒性。

研究者通過各個參與方之間的「距離」來區分正常參與方與被投毒的參與方，這個「距離」可以用參與方所上傳的更新來進行計算。

在完成中心點計算后，研究者可以利用3σ準則來完成被投毒參與的甄別。

經過推導，可以利用如下策略將一個參與方的更新從全局更新中完全剔除，即本文中的「回滾」策略：

2.基于Rényi差分隱私（RDP）的隱私保護：與傳統差分隱私相比，RDP能夠在相同預算下添加更小幅度的噪聲，既提升了隱私保障，也避免了過度犧牲模型性能。

3.搭便車攻擊檢測機制：通過引入聚合中心點與噪聲偏差標準，FedMAR可以有效識上傳幾乎無效參數卻想獲取全局模型的攻擊者。

3σ準則能夠甄別被投毒的參與方，但卻對實施「搭便車攻擊」的參與方無能為力。

然而，搭便車攻擊的參與方為了掩藏自己不提供任何有效更新的事實，通常會令自身提供的更新盡可能與聚合后的「中心點」接近。因此，距離中心點太近的參與方極有可能是在進行搭便車攻擊的。

4.魯棒與隱私的動態平衡：FedMAR 框架嘗試在提升魯棒性的同時兼顧隱私保護，以應對物聯網中的復雜環境。

突破與創新

FedMAR 框架 在以下幾個方面實現了突破：

1.魯棒聚合策略：通過多方自適應加權機制，能夠自動識別并削弱惡意客戶端的影響，從而提升全局模型的魯棒性。

2.隱私保護：結合RDP，在降低注入噪聲強度的同時，提供了更緊的隱私保障。

3.理論與實驗并重：提供了嚴謹的安全性分析，并在多個真實數據集（如CIFAR-10、MNIST等）上進行了實驗驗證。

理論亮點

1.RDP機制的優化與界定：給出了噪聲標準差與隱私預算的解析關系，并通過近似推導解決了Laplace機制在機器計算中易出現溢出的難題。

這一部分工作使得在相同隱私預算下，可以自適應地選擇更優的噪聲機制，從而實現理論與實際的雙重優化。

2.魯棒性與隱私保護的統一框架：研究者并沒有將「安全魯棒性」和「隱私保護」分開處理，而是建立了一個可平衡兩者的統一理論框架。

在這個框架中，魯棒性部分通過「3σ準則+回滾機制」給出了形式化定義，隱私部分通過 RDP 給出了數學化約束，最終實現了魯棒性與隱私性的動態平衡。

實驗亮點

• 在面對多種投毒攻擊場景時，FedMAR能夠有效保持模型精度，相比傳統方法取得了一定的提升。

• 在隱私預算有限的情況下，FedMAR也能夠減少精度損失。

• 在非良性參與方識別任務中，FedMAR的檢測準確率、召回率和F1-score上表現穩定。

FedMAR 是在聯邦學習安全與隱私保護方向上的一個階段性嘗試。它在一定程度上彌補了現有方法在復合攻擊環境中的不足。

未來，研究者還將繼續探索如何進一步降低算法開銷、提升跨設備兼容性，以推動聯邦學習在真實物聯網場景中的穩健落地。

參考資料：

https://ieeexplore.ieee.org/document/11129099