📑 投影片連結：20241029 Histoformer.pptx
當前挑戰
在惡劣天氣條件（如暴雨、大雪、濃霧）下拍攝的圖像，往往伴隨著大面積的視覺遮蔽、局部對比度劇降以及複雜的光影散射。近年來，基於 Vision Transformer 的影像修復（Image Restoration, IR）網路雖然取得了顯著進展，但在處理天氣退化時仍面臨幾大限制：
局部視窗注意力限制了跨空間同質退化的全局關聯
為了控制計算複雜度，許多 Transformer 模型將 Self-Attention 限制在局部的固定小視窗（Local Window）內，或是只在通道維度（Channel-wise）計算注意力。然而，雨絲、雪花或霧氣通常是全域分佈的，分佈在影像不同角落的退化區域在空間上雖然不相鄰，但在物理特性（如亮度衰減、雨條方向與強度）上卻高度同質。局部的 Spatial Attention 無法跨越空間距離直接聚合這些相似退化特徵。
傳統前饋網路忽視多尺度天氣物理特性
現有 IR Transformer 的前饋網路（Feed-Forward Network, FFN）通常只採用單一尺度的 Depthwise Convolution。但真實天氣退化具有天然的多尺度特性（例如近處的粗大雨絲與遠處細密雨霧尺度差異極大），單一感受野難以完整捕捉跨尺度的退化特徵。
像素級損失忽略了 Patch 級相關性結構
傳統訓練普遍採用 L1 或 L2 等逐像素重建損失（Pixel-level Loss）。這類損失只要求單點數值逼近 Ground Truth，卻無法有效約束局部 Patch 之間的特徵線性相關性與結構一致性。
小筆記：直方圖分箱（Histogram Binning）在 Attention 中的妙用
一般的 Self-Attention 是按照像素在「空間上的相對座標」來劃分視窗；而直方圖 Attention 則是按照像素的「特徵強度值（Intensity）」劃分到不同的 Bin 裡面。這樣一來，所有受到相同雨雪強度影響的像素，不管距離多遠，都會被分到同一個群組裡一起計算關聯。
主要貢獻
這篇論文提出了 Histoformer，以動態範圍直方圖自注意力機制（Dynamic-range Histogram Self-Attention, DHSA）為核心，為惡劣天氣影像修復提供了全新的空間關聯維度。
解決: 局部視窗注意力限制了跨空間同質退化的全局關聯
作者設計了 DHSA（Dynamic-range Histogram Self-Attention）：
– 透過動態卷積評估特徵強度，動態建立直方圖分箱（Histogram Bins）。
– 將特徵強度相似（即遭受同等程度天氣退化影響）的像素歸入同一個 Bin，在 Bin 內部進行 Self-Attention 計算。
– 這徹底打破了歐幾里得空間鄰近性的束縛，讓模型能以極低的運算代價，直接實現全局範圍內同質退化特徵的聚集（Aggregation）與散射（Scattering）。
解決: 傳統前饋網路忽視多尺度天氣物理特性
作者提出了雙尺度門控前饋網路（Dual-scale Gated Feed-Forward, DGFF）：
– 在 FFN 內部構建兩條不同尺度的分支：結合標準 Depthwise 卷積與空洞卷積（Dilated Convolution）。
– 透過門控機制（Gating Mechanism）自適應融合局部細微雨滴與大範圍霧氣特徵，強化跨尺度的特徵流動。
解決: 像素級損失忽略了 Patch 級相關性結構
作者引入了皮爾森相關係數損失（Pearson Correlation Loss）：
– 計算修復影像 Patch 與清晰 Ground Truth Patch 之間的皮爾森相關係數（Pearson Correlation Coefficient）。
– 嚴格約束局部結構特徵的線性一致性，有效減輕了傳統 L1/L2 損失容易導致的過度平滑與紋理失真。
延伸探討
多種惡劣天氣任務的通用評測
論文在去雨（Rain100L、Rain100H）、去雪（Snow100K）以及去霧（RESIDE）等多個標準 Benchmark 上進行了評估。實驗結果表明，Histoformer 在保持輕量化計算開銷的同時，在各項天氣退化任務上的 PSNR 與 SSIM 指標均達到了頂尖水準，驗證了直方圖分箱注意力在處理廣域氣候退化時的泛化能力。