綜述238篇遙感微調！清華院士團隊指出9大方向 | CVMJ

新智元報道

編輯：LRST

【新智元導讀】在大數據和大模型推動下，微調技術憑借成本低、效率高優勢，成為應對小樣本、長尾目標等復雜場景的利器。從早期全參數微調到參數高效微調（PEFT），再到如今融合多種PEFT技術的混合微調，遙感微調技術不斷進化。清華大學等團隊在CVMJ期刊上系統梳理了技術脈絡，并指出了九個潛在研究方向，助力遙感技術在農業監測、天氣預報等關鍵領域發揮更大作用。

近年來，在大數據與大模型的共同驅動下，遙感圖像解譯的熱點正從模型結構設計轉向「基礎模型 + 微調」的新范式。

在豐富且復雜的任務場景中，依托預訓練的通用表征作為基礎，通過任務化適配，可以實現更強的遷移能力和應用效果。

面對土地調查、農業監測、天氣預報、海洋導航等關鍵應用領域所面臨的「小樣本、長尾目標、算力受限」的現實挑戰，微調技術以其獨特的優勢，在更低的數據和資源成本投入下，取得更好的任務性能和更高的部署效率。

圖1 基礎模型、微調技術在遙感下游任務適配過程中的作用

順應這一趨勢，遙感微調技術經歷了清晰的范式演進：早期主要采用全參數微調，通過解凍并更新大部分參數來實現跨任務遷移；

隨后進入參數高效微調（PEFT）階段，適配器、提示、重參數化等方法在衛星和航拍等遙感場景中迅速應用；近年來，逐步邁向「混合范式」，通過統一框架融合多種PEFT技術，兼顧多模態與多任務的一體化適配及可擴展性。

由此，形成了從「全參數 → PEFT → 融合微調」的技術主線，為工程實踐提供了更加靈活的選擇空間。

圖2 代表性遙感微調技術的發展時間線

在此背景下，清華大學胡事民院士團隊聯合南開大學范登平教授團隊、湖南大學李樹濤教授、武漢大學杜博教授和中科院孫顯研究員，在CVMJ期刊（當前影響因子18.3）發布遙感模型微調技術綜述，系統梳理從傳統微調到參數高效微調再到混合微調范式的技術脈絡，并結合技術發展現狀總結出多個潛在研究方向。

論文鏈接：https://ieeexplore.ieee.org/document/11119145

論文倉庫：https://github.com/DongshuoYin/Remote-Sensing-Tuning-A-Survey

該綜述以微調技術類型為線索，系統性地梳理了從早期的全微調方法到近年來興起的參數高效微調方法在遙感領域的應用與發展歷程。

內容不僅囊括了適配器微調（Adapter Tuning）、提示微調（Prompt Tuning）、低秩適應（LoRA）等主流的PEFT范式，還深入剖析了各類論文如何將這些技術與遙感圖像的獨特特性相結合，從而有效提升模型在分類、檢測、分割等典型任務中的性能表現。

該論文的第一作者為清華大學博士后殷東碩，第二作者為南開大學趙廷楓同學。

方法體系

遙感微調技術全景梳理

遙感基礎模型微調技術旨在高效地將大規模預訓練的基礎模型遷移至具體下游任務中，主要可分為六種范式。

圖3 幾種代表性的參數高效微調范式

適配器微調（Adapter Tuning）通過在預訓練模型的骨干網絡中插入輕量級、可學習的模塊，在凍結大部分原始參數的同時，僅訓練這些新增適配器以適應新任務。

提示微調（Prompt Tuning）則通過學習可優化的「提示」（Prompt）向量，將這些向量與輸入數據拼接，引導凍結的模型產生期望輸出，從而改變模型行為。

重參數化微調（Reparameterized Tuning）的核心思想是對模型權重的更新量進行低秩分解等參數化處理，例如流行的LoRA方法，通過學習兩個低秩矩陣的乘積來模擬權重變化，大幅減少可訓練參數。

混合微調（Hybrid Tuning）結合上述兩種或多種范式，例如同時使用適配器微調技術和提示微調技術，以期獲得更優的性能和靈活性。

部分微調（Partial Tuning）采用更直接的策略，僅解凍并微調預訓練模型中的一部分原有參數，如最后幾層的權重、偏置或歸一化層參數。

改進型微調（Improved Tuning）對傳統全微調技術進行優化，通過設計新的訓練策略或損失函數來提升效率或性能。這些技術共同構成了當前遙感領域參數高效微調的主要方法體系。

圖4 現有遙感微調技術概覽

在具體應用中，代表性工作成功地將通用微調范式與遙感任務的特殊性進行了深度融合。

在適配器微調方面，AiRs專門設計了空間上下文適配器（SCA）和語義響應適配器（SRA），以更高效地處理遙感圖像中的空間和語義信息；

SCD-SAM則通過語義適配器優化輸入處理、重構重疊的圖像塊嵌入，并集成多尺度語義特征，顯著提升了變化檢測的性能。

在提示微調方面，RSPrompter提出了一種鏈式思維（Chain-of-Thought）提示方法，通過設計多步推理提示（例如，先判斷目標存在性再進行分割），引導模型深入理解遙感圖像中復雜的上下文關系。

在重參數化微調方面，LoRA-NIR專門針對近紅外波段的遙感影像進行適配，而Xue等人將LoRA應用于SAM，成功將SAM強大的分割能力遷移到道路、水體等特定遙感地物的提取任務中。

混合微調方法如Upetu旨在整合多種高效的參數微調技術，而MSF-SAM則結合了適配器微調技術和LoRA微調技術，以期更全面地適應遙感任務的需求。

此外，部分研究通過優化訓練策略來提升性能，例如，Ren等人在兩階段微調中引入度量判別損失和知識蒸餾，有效應對小樣本場景下的災難性遺忘問題。

數據集：遙感微調數據集整理

表1 遙感微調技術涉及到的數據集匯總

該綜述系統性地梳理并整合了當前用于模型微調的主流遙感數據集，覆蓋了光學、SAR、高光譜、點云以及文本-圖像多模態等多種傳感器類型，全面涉及去霧、變化檢測、語義分割、目標檢測、圖像描述等任務。

表1數據集概覽為遙感模型微調技術研究者快速定位適配數據、設計下游應用提供了高效的指引。

挑戰與未來方向

1. 高效小樣本微調：針對標注數據較少的遙感目標（如野火、電廠），開發能夠更加高效利用有限樣本的微調技術。

2. 拓展應用領域：將微調技術應用于超分辨率、去霧、圖像修復、目標跟蹤等當前較少涉及的遙感任務。

3. 優化遙感基礎模型性能：在新出現的遙感專用基礎模型（RSFM）上進行系統的測試和優化，以提升微調效果。

4. 結合遙感圖像特性：設計能夠充分利用遙感特有屬性（如小目標、多尺度、SAR特性）的定制化微調方法。

5. 引入新型PEFT范式：探索結構化稀疏微調、量化感知微調等新型高效微調技術在遙感領域的應用。

6. 探索混合微調策略：組合不同的微調方法（如Adapter+LoRA+Prompting），以挖掘更優的性能表現。

7. 微調理論研究：深入探究微調技術在遙感中發揮作用的原因，并建立其理論基礎。

8. 優化訓練配置：研究學習率、優化器、Adapter層數等超參數在遙感領域中的優化策略，以提升微調效果。

9. 研究縮放規律：分析模型大小、數據量與微調性能之間的關系，為遙感基礎模型規模的可持續擴展提供指導。

結語

在大模型與大數據的時代背景下，基礎模型與微調技術正引領遙感研究的新趨勢。本文系統性地綜述了遙感領域的微調技術發展現狀。

現有方法依據所調整參數與預訓練模型之間的關聯性進行分類，旨在幫助讀者清晰把握該技術的發展脈絡。

參考資料：

https://ieeexplore.ieee.org/document/11119145