Survey: PURE: Multimodal Autoregressive Model for Real-World Image Super-Resolution

2025-04-14

| arXiv 2025

Wang et al.

📑 投影片連結：20250414 PURE.pptx

當前挑戰

在嘗試將多模態大模型應用於真實世界超解析度時，現有方案主要面臨幾項挑戰：

兩階段退化感知與影像生成割裂

很多將大模型用於修復的研究採用兩階段架構：第一階段用獨立的 VLM 提取語義標籤或退化描述，第二階段再將文字餵給 Stable Diffusion 或 ControlNet。然而，這兩個模型彼此獨立，語言模型不懂擴散模型的特徵空間，容易產生「文字描述很美好，生成的圖像物理紋理卻與原圖對不上」的語義與物理外觀不一致問題。

⚠️ 原始素材未涵蓋：素材（本機筆記與 Notion 頁面）皆為純文字，沒有附架構圖，本文不自行繪製或杜撰示意圖。

文字描述缺乏精細的物理退化等級控制

單純依靠自然語言描述（例如「一張模糊的貓」）過於模糊，無法精準量化噪點強弱、模糊半徑等底層物理參數。模型在生成時容易過度修復（過度平滑）或修復不足（殘留嚴重噪點）。

全局固定採樣參數無法兼顧結構平滑與高頻紋理

在自迴歸解碼生成圖像 Token 時，傳統方法通常採用固定的 Top- $k$ 或 Top- $p$ 採樣。若全局 $k$ 值設得過大，在平滑天空或物體邊緣容易產生雜訊偽影；若 $k$ 值設得太保守，在毛髮、草地等高頻區域又會失去豐富細節，無法在整張圖片中達到局部自適應平衡。

小筆記：基於資訊熵（Entropy）的動態 Top-k 採樣
在自迴歸預測第 $i$ 個 Token 時，模型輸出的機率分佈為 $P_i$ 。PURE 計算該分佈的資訊熵：
$\mathcal{H}(P_i) = - \sum_{v \in V} P_i(v) \log P_i(v)$

資訊熵直接反映了模型對當前位置預測的「不確定性」：
– 低熵區域（平滑背景、清晰邊界）：模型非常確定接下來該填什麼，此時自動縮小 $k$ 值，嚴格保留輸入的幾何結構。
– 高熵區域（複雜紋理、毛髮、草叢）：存在多種合理細節可能，自動放大 $k$ 值，給予生成模型更多探索自由度以激發豐富高頻紋理。

主要貢獻

PURE 構建了一個無縫融合語義感知、退化診斷與像素重構的端到端系統：

解決: 兩階段退化感知與影像生成割裂

PURE 採用統一的多模態自迴歸 Transformer 架構：
– 輸入低解析度圖像後，模型在同一個特徵空間內依序完成退化等級預測、結構化語義描述生成、以及高解析度圖像 Token 的自迴歸生成。
– 整個流程完全端到端梯度回傳，語義理解與底層修復特徵深度交互，消除了外部拼裝帶來的表徵斷層。

解決: 文字描述缺乏精細的物理退化等級控制

引入專門的 退化估計模組（Degradation Estimation Module, DEM）：
– 將輸入圖像中的噪聲強度與模糊程度量化為三個明確的階梯等級標籤（Small, Medium, Large）。
– 這些離散標籤作為結構化前綴條件與自然語言文本共同約束生成模型，讓模型清楚知道當前影像需要多大程度的去噪與去模糊力度。

解決: 全局固定採樣參數無法兼顧結構平滑與高頻紋理

提出 基於資訊熵的局部自適應採樣（Entropy-based Local Top-k Sampling）：
– 在自迴歸解碼的每一步，動態計算當前 Token 機率分佈的資訊熵。
– 依據熵值高低自動平滑調整局部 Top- $k$ 大小，在維持邊緣結構剛性（低熵小 $k$ ）與豐富高頻細節生成（高熵大 $k$ ）之間取得了出色的平衡。

延伸探討

⚠️ 原始素材未涵蓋：筆記僅停留在方法論（Perceive / Understand / Restore 三位一體管線與 Entropy-based Top-k 採樣）的描述，沒有留下實驗章節的資料集名稱、評測指標或具體數字，故不逕行給出「大幅領先」之類的比較結論，待你回頭補上論文實驗章節的內容。