📑 投影片連結:Flow_Restoration.pptx
📌 本篇為多篇論文之綜合 Survey,涵蓋以下核心文獻:
- ELIR: ELIR: Efficient Image Restoration via Latent Consistency Flow Matching (arXiv 2025)
作者:Eliya Cohen, et al. - ResFlow: ResFlow: Reversing Flow for Image Restoration (CVPR 2025)
作者:Haowei Qin, et al.
當前挑戰
在將連續正規化流(CNF)應用於影像修復時,面臨以下關鍵理論與效能瓶頸:
感知品質與失真度權衡難題且多步採樣計算沉重
影像修復長久以來存在失真度(Distortion,如 PSNR / SSIM)與感知品質(Perception,如 FID / LPIPS)之間的拉鋸。傳統生成模型雖然能生成豐富的高頻細節,但往往需要數十步迭代,且基於 Transformer 的大模型計算開銷過大,難以在消費級裝置上即時運行。
影像退化不可逆與數據處理不等式導致 ODE 無法直接模擬退化
連續正規化流(CNF)的基礎假設是:透過確定性 ODE 進行的連續變換在時間演進中必須保持互資訊(Mutual Information, MI)不變。然而根據資訊論中的數據處理不等式(Data Processing Inequality, DPI),真實影像在退化過程中(清晰
模糊/噪聲)必然發生不可逆的資訊損失,產生了「一張低質影像對應無限多種潛在清晰影像」的病態不確定性範疇(Uncertainty Scope),直接打破了標準可逆 ODE 的數學前提。
端點流場在互資訊極低時難以精確擬合
在退化過程的尾端(
),退化影像所保留的清晰影像特徵互資訊極低,此時流場的速度向量容易受到嚴重的隨機分佈干擾,如果缺乏額外的加權引導,數值求解器在端點處極易產生飄移與偽影。
主要貢獻
這兩篇論文從演算法架構與資訊論建模兩個維度給出了解法:
解決: 感知品質與失真度權衡難題且多步採樣計算沉重
ELIR (arXiv 2025) 提出了潛在一致性流匹配(Latent Consistency Flow Matching, LCFM)框架:
– 兩階段修復範式:
1. 潛在 MMSE 估計器:在 Latent 特徵空間中,先利用退化影像計算清晰影像的後驗均值期望
,直接鎖定高 PSNR、結構穩固的平滑基底。
2. 潛在一致性流匹配:引入速度一致性損失(Velocity Consistency Loss),強制讓流匹配軌跡上的任意時間點直接映射回清晰分佈。
– 全卷積輕量架構:捨棄沉重的 Vision Transformer,全流程採用輕量化卷積網路在 Latent 空間完成修復,在達成極致推論加速(僅需 1~2 步)的同時兼顧了高 PSNR 與逼真細節。
小筆記:為什麼先求 MMSE 再做 Flow Matching?
最小均方誤差(MMSE)估計在數學上保證了歐氏距離最小(即最大化 PSNR),但代價是輸出會偏向模糊平均;接著透過一致性流匹配注入生成細節,就能在保持像素對齊的前提下快速補全紋理,完美兼顧 Distortion 與 Perception。
解決: 影像退化不可逆與數據處理不等式導致 ODE 無法直接模擬退化
ResFlow (CVPR 2025) 從資訊論出發,提出了反向流(Reversing Flow)與熵保持輔助變數:
– 輔助變數
載體:引入隨時間演進的輔助變數
。在清晰起點(
)時
;在退化終點(
)時
為最大熵的高斯隨機雜訊。
– 互資訊補償:透過將退化過程中遺失的互資訊轉移並儲存於輔助變數
中,成功將原本「一對多」的不可逆病態退化,升維為系統總資訊量守恆的「一對一」嚴格可逆 ODE 軌跡。
解決: 端點流場在互資訊極低時難以精確擬合
ResFlow 設計了時間加權損失函數:
– 針對
附近影像互資訊最低、流場梯度雜訊大的特性,引入了時間相依的權重矩陣進行損失縮放。
– 在訓練時動態平衡不同時間步的流場擬合權重,顯著增強了端點處數值積分的穩定度。
延伸探討
這兩篇論文展示了 Flow Matching 進入影像修復領域時的兩種不同切入視角:
– ELIR 偏向工程與效率實用主義:透過 MMSE 基底 + 一致性蒸餾,把推論壓縮到 1~2 步全卷積,極其適合工程落地。
– ResFlow 偏向理論嚴謹性:正面迎擊「影像退化不可逆」與「ODE 資訊守恆」的根本矛盾,用輔助變數補足資訊熵,在數學上把退化過程重新正規化為確定性流場。