📑 投影片連結：20241126 AllRestorer.pptx
當前挑戰
在真實世界的戶外環境中，圖像退化鮮少以單一形式（如單純去噪或單純去霧）單獨出現，更多時候是多種退化因子的疊加——例如「夜間暴雨（低光 + 雨條）」或「雪山濃霧（低溫雪花 + 霧霾）」。
先前處理複合退化（Composite Degradation）的代表性模型（如 OneRestore）雖然建立了基礎範式，但仍存在兩大結構性缺陷：
前端離散硬分類器的脆弱性
過去的複合修復網路通常在前端串接一個場景分類器，試圖將輸入圖片硬性劃分到預設的幾種退化類別（例如 CDD-11 資料集中的 11 種固定組合）。一旦前端分類器出現誤判（例如把「雨+霧」誤判為「純低光」），後端的修復網路會直接給予完全錯誤的特徵引導，導致災難性的修復失敗。
忽略真實世界複合退化因子的動態混合比例
現實中的複合退化是連續光譜，而非離散類別。一張照片可能是「80% 濃霧 + 20% 細雨」，另一張可能是「30% 薄霧 + 70% 豪雨」。傳統模型採用硬性類別或固定權重，缺乏對任意連續退化強度的自適應調節能力。
小筆記：CDD-11 複合退化數據集
包含低光（Low-light）、濃霧（Haze）、降雨（Rain）、大雪（Snow）等基礎退化因子的單一與複合組合，共劃分出 11 種代表性的退化場景，是評測 All-in-One 影像修復模型的常用基準。
主要貢獻
這篇論文提出了 AllRestorer，核心概念是捨棄離散的分類標籤，改用基於 CLIP 的連續自適應權重描述子，搭配 All-in-One Attention (AiOA) 達成平滑的複合影像修復。
解決: 前端離散硬分類器的脆弱性
作者提出以連續複合場景描述子（Composite Scene Descriptor）取代離散分類器：
– 採用在單一退化數據上微調的 CLIP 視覺-語言模型。
– 文本端：提取各基礎退化因子（Low-light, Haze, Rain, Snow）的文本 Embedding。
– 圖像端：提取退化輸入圖的視覺 Token，計算其與各基礎退化文本向量的點積相似度。
– 模型不再給出「屬於哪一類」的硬性結論，而是輸出一組平滑的連續自適應權重分佈，徹底擺脫了前端分類器一旦誤判就全盤皆輸的脆弱性。
解決: 忽略真實世界複合退化因子的動態混合比例
作者設計了 All-in-One Attention (AiOA) 模組：
– 在 Transformer 的潛在特徵空間中，將輸入影像特徵與連續退化權重矩陣進行多頭交叉注意力（Multi-head Cross-Attention）計算。
– 網路能根據動態權重精準調配去除不同退化成分的強度，實現多重疊加退化的漸進且平滑去除。
延伸探討
在複合退化基準上的性能評測
在 CDD-11 基準以及真實世界的合成複合退化資料集上，AllRestorer 的 PSNR 與 SSIM 指標全面超越了先前的 SOTA 模型 OneRestore。消融實驗顯示，連續權重引導在面對非標準比例混合（如極端比例的天氣退化）時，展現出遠比離散場景分類更強的泛化度與修復穩定性。