Survey: Parallel Diffusion Models of Operator and Image for Blind Inverse Problems (BlindDPS)

2023-08-07

| CVPR 2023

Hyungjin Chung, Jeongsol Kim, Michael T. McCann, Marc L. Klasky, Jong Chul Ye

📑 投影片連結：20230806 BlindDPS.pptx

當前挑戰

在影像處理的逆問題（Inverse Problem）中，最常見的分類是非盲（Non-blind）與盲（Blind）問題：
– 非盲逆問題：已知前向退化運算子（如模糊核 $A$ 或降採樣矩陣），任務只是單純求逆還原清晰影像 $x$ 。
– 盲逆問題（Blind Inverse Problem, BIP）：退化過程本身未知（例如拍照時手震的運動模糊軌跡、大氣湍流的不規則擾動），輸入只有一張退化後的觀測影像 $y$ 。

在盲去模糊等任務中，如果不小心猜錯模糊核，生成出的影像就會充滿嚴重的鬼影（Artifacts / Ringing）。

退化模糊核未知導致盲逆問題高度病態且多解

我們手頭上只有一張模糊影像 $y$ ，背後可能有成千上萬種「清晰圖 $x$ 搭配特定模糊核 $k$ 」的組合能夠乘出相同的 $y$ 。在缺乏退化物理資訊的情況下，求解空間過於龐大，屬於嚴重欠約束（Ill-posed）的病態問題。

BlindDPS 整體架構示意圖 — BlindDPS 建立兩條平行的擴散採樣管線，一條負責影像分佈先驗 $p(x)$ ，另一條負責模糊核先驗 $p(k)$ ，透過觀測值 $y$ 的測量損失引導兩者同步收斂。

傳統核估計極易崩潰或陷入局部極值

傳統方法多半仰賴手動設計的先驗（如暗通道先驗 Dark Channel Prior）或簡單的交替優化（Alternating Optimization）。在面對複雜的動態模糊或高噪聲場景時，這類優化算法非常容易陷入局部極小值，導致核估計崩潰（Kernel Collapse），進一步破壞後續的影像重建品質。

主要貢獻

這篇論文提出了 BlindDPS (Blind Diffusion Posterior Sampling)。Diffusion Model 本身學習了海量真實世界的強大機率分佈先驗，作者的做法就是開兩條平行的擴散模型管線，一邊估計清晰圖片，一邊估計模糊核，並透過似然梯度在每個採樣步驟進行引導與相互約束。

解決: 退化模糊核未知導致盲逆問題高度病態且多解

作者建構了平行擴散先驗（Parallel Diffusion Priors）與後驗採樣架構：
– 分別訓練一個影像生成擴散模型 $p(x)$ 與一個模糊核生成擴散模型 $p(k)$ ，提供雙重分佈先驗。
– 利用 Tweedie’s Formula 與逆向隨機微分方程式（Reverse SDE），在反向採樣的每一步 $t$ ：
1. 同時推估當前步的無噪清晰影像 $\hat{x}_0(x_t)$ 與無噪模糊核 $\hat{k}_0(k_t)$ 。
2. 計算前向退化與實際觀測值之間的測量誤差： $\|y - \hat{k}_0 * \hat{x}_0\|_2^2$ 。
3. 將該似然誤差的梯度反向傳播，同時更新影像與模糊核的分數函數（Score），讓兩者在採樣過程中彼此協同約束。

解決: 傳統核估計極易崩潰或陷入局部極值

為了防止模糊核估計偏離物理真實性，作者在核的反向採樣更新步驟中加入了空間約束與稀疏正則化：
– 將估計出的核投影至合法的物理空間，並施加稀疏約束（Sparsity Regularization），確保核的權重集中且能量守恆。
– 擴散先驗本身的結構約束加上物理正則化，大幅降低了優化陷入無效局部解或 Delta 函數核崩潰的機率。

小筆記：DPS (Diffusion Posterior Sampling) 的直覺
在非盲 DPS 中，條件生成是透過 $\nabla_{x_t} \log p(y|x_t)$ 梯度一步步把無條件生成拉向符合測量值 $y$ 的方向。BlindDPS 則是把這個似然梯度同時對 $x_t$ 與 $k_t$ 微分，將原本交替優化兩步走的繁瑣流程，轉化為在擴散採樣空間中的同步梯度引導。

延伸探討

實驗表現

論文在 FFHQ、AFHQ 盲去模糊，以及嚴重大氣湍流擾動還原等任務上進行驗證。相較於過去的端到端 U-Net 或傳統暗通道先驗方法，BlindDPS 即使面對未見過的動態軌跡或混合噪聲，依然能維持穩定的輪廓重建與邊緣銳利度。