Survey: Flow Matching for Image Restoration: Latent Consistency in ELIR and Invertible Modeling in ResFlow

2026-08-16
| Survey of multiple papers

📑 投影片連結:Flow_Restoration.pptx

📌 本篇為多篇論文之綜合 Survey,涵蓋以下核心文獻:

  • ELIR: ELIR: Efficient Image Restoration via Latent Consistency Flow Matching (arXiv 2025)
      作者:Eliya Cohen, et al.
  • ResFlow: ResFlow: Reversing Flow for Image Restoration (CVPR 2025)
      作者:Haowei Qin, et al.

當前挑戰

在將連續正規化流(CNF)應用於影像修復時,面臨以下關鍵理論與效能瓶頸:

感知品質與失真度權衡難題且多步採樣計算沉重

影像修復長久以來存在失真度(Distortion,如 PSNR / SSIM)與感知品質(Perception,如 FID / LPIPS)之間的拉鋸。傳統生成模型雖然能生成豐富的高頻細節,但往往需要數十步迭代,且基於 Transformer 的大模型計算開銷過大,難以在消費級裝置上即時運行。

影像退化不可逆與數據處理不等式導致 ODE 無法直接模擬退化

連續正規化流(CNF)的基礎假設是:透過確定性 ODE 進行的連續變換在時間演進中必須保持互資訊(Mutual Information, MI)不變。然而根據資訊論中的數據處理不等式(Data Processing Inequality, DPI),真實影像在退化過程中(清晰 \to 模糊/噪聲)必然發生不可逆的資訊損失,產生了「一張低質影像對應無限多種潛在清晰影像」的病態不確定性範疇(Uncertainty Scope),直接打破了標準可逆 ODE 的數學前提。

端點流場在互資訊極低時難以精確擬合

在退化過程的尾端(t \to 1),退化影像所保留的清晰影像特徵互資訊極低,此時流場的速度向量容易受到嚴重的隨機分佈干擾,如果缺乏額外的加權引導,數值求解器在端點處極易產生飄移與偽影。


主要貢獻

這兩篇論文從演算法架構與資訊論建模兩個維度給出了解法:

解決: 感知品質與失真度權衡難題且多步採樣計算沉重

ELIR (arXiv 2025) 提出了潛在一致性流匹配(Latent Consistency Flow Matching, LCFM)框架:
兩階段修復範式
1. 潛在 MMSE 估計器:在 Latent 特徵空間中,先利用退化影像計算清晰影像的後驗均值期望 x^*,直接鎖定高 PSNR、結構穩固的平滑基底。
2. 潛在一致性流匹配:引入速度一致性損失(Velocity Consistency Loss),強制讓流匹配軌跡上的任意時間點直接映射回清晰分佈。
全卷積輕量架構:捨棄沉重的 Vision Transformer,全流程採用輕量化卷積網路在 Latent 空間完成修復,在達成極致推論加速(僅需 1~2 步)的同時兼顧了高 PSNR 與逼真細節。

小筆記:為什麼先求 MMSE 再做 Flow Matching?
最小均方誤差(MMSE)估計在數學上保證了歐氏距離最小(即最大化 PSNR),但代價是輸出會偏向模糊平均;接著透過一致性流匹配注入生成細節,就能在保持像素對齊的前提下快速補全紋理,完美兼顧 Distortion 與 Perception。

解決: 影像退化不可逆與數據處理不等式導致 ODE 無法直接模擬退化

ResFlow (CVPR 2025) 從資訊論出發,提出了反向流(Reversing Flow)與熵保持輔助變數
輔助變數 y_t 載體:引入隨時間演進的輔助變數 y_t。在清晰起點(t=0)時 y_0 = 0;在退化終點(t=1)時 y_1 為最大熵的高斯隨機雜訊。
互資訊補償:透過將退化過程中遺失的互資訊轉移並儲存於輔助變數 y_t 中,成功將原本「一對多」的不可逆病態退化,升維為系統總資訊量守恆的「一對一」嚴格可逆 ODE 軌跡。

解決: 端點流場在互資訊極低時難以精確擬合

ResFlow 設計了時間加權損失函數
– 針對 t \to 1 附近影像互資訊最低、流場梯度雜訊大的特性,引入了時間相依的權重矩陣進行損失縮放。
– 在訓練時動態平衡不同時間步的流場擬合權重,顯著增強了端點處數值積分的穩定度。


延伸探討

這兩篇論文展示了 Flow Matching 進入影像修復領域時的兩種不同切入視角:
ELIR 偏向工程與效率實用主義:透過 MMSE 基底 + 一致性蒸餾,把推論壓縮到 1~2 步全卷積,極其適合工程落地。
ResFlow 偏向理論嚴謹性:正面迎擊「影像退化不可逆」與「ODE 資訊守恆」的根本矛盾,用輔助變數補足資訊熵,在數學上把退化過程重新正規化為確定性流場。