Survey: Towards Generalizable Multi-Object Tracking (GeneralTrack)

2024-09-02
| CVPR 2024

Gao et al.

📑 投影片連結：20240902 GeneralTrack.pptx

當前挑戰

多目標追蹤（Multi-Object Tracking, MOT）長久以來被困在一個難題：如何在「運動先驗（Motion-dominated）」與「外觀特徵（Appearance-dominated）」之間權衡？

在傳統方法中，追蹤器往往針對特定場景手動調整兩者的權重。然而，不同場景的難題截然不同（例如 DanceTrack 運動極度不規則、MOT17 人群密集遮擋、SportsMOT 尺度快速縮放）。作者具體歸納了影響 MOT 泛化性的五大挑戰維度：

  1. 影格率（Frame Rate）：低幀率下目標跨影格位移極大。
  2. 運動複雜度（Motion Complexity）：非勻速、急轉彎或劇烈姿態變化打破線性運動假設。
  3. 變化幅度（Variation Amplitude）：目標尺度與外觀隨視角快速劇變。
  4. 小目標（Small Target）：遠景小目標缺乏足夠的外觀 Re-ID 特徵。
  5. 目標密集度（Target Density）：擁擠重疊導致 Bounding Box 混淆。
MOT 在不同資料集上的退化維度分析
各個 MOT 資料集的困難點分佈。有些資料集（如 DanceTrack）外觀相似但運動極為複雜；有些（如 MOT17）則是以密集遮擋為主。傳統固定權重或硬性剛體假設的模型很難跨資料集泛化。

實例級剛體特徵在形變與遮擋下極易失效

多數 Re-ID 方法將整個 Bounding Box 視為單一剛體（Rigid Body）抽取全局向量。當人體彎腰、舞動或局部被遮擋時，整體特徵向量會大幅漂移，造成嚴重的 ID Switch。

類別誤檢導致軌跡硬性中斷

傳統關聯演算法嚴格限制「同類別才能匹配」。一旦前端檢測器在某一幀將「機車騎士」短暫誤判為「行人」，整條軌跡就會被強制切斷，引發重複建立新軌跡與 ID 錯亂。

小筆記：剛體 vs. 柔體假設
剛體假設把目標框當作一個不可分割的整體；但真實世界中的行人或動物在運動時是柔體（Flexible Body），各個肢體部位的位移與遮擋狀態並不一致。

主要貢獻

這篇論文提出了 GeneralTrack，核心精神是捨棄粗糙的全局實例級比對，改採 Point-to-Instance 階層式關聯，並結合類別無關的軌跡管理機制。

GeneralTrack 整體架構示意圖
GeneralTrack 的三大核心步驟：(1) 擷取點級 Global Dense Relation；(2) 構建 Multi-scale Point-region 金字塔；(3) 透過 Hierarchical Relation Aggregation 聚合出 Instance 級關聯矩陣。

解決: 實例級剛體特徵在形變與遮擋下極易失效

作者將追蹤關聯從細粒度點特徵逐步向上聚合：

  1. 點級全相關體積（Global Dense Relation）：使用預訓練 CNN 抽取相鄰兩幀的 low-level 特徵圖（1/8 尺寸），計算所有特徵點之間的內積，建立 4D Correlation Volume。底層視覺特徵（紋理、角點、邊緣）在所有目標間都是通用的，即使局部遮擋也不影響其餘點的匹配。
  2. 多尺度相關金字塔（Multi-scale Point-region Relation）：為了兼顧低幀率的大位移與高幀率的細微震顫，對相關體積進行不同尺度的 Pooling，構建金字塔結構。低解析度層負責大範圍搜尋，高解析度層負責精細定位。
  3. 分層關聯聚合（Hierarchical Relation Aggregation, HRA）：
    – 將上一幀的 Tracklet 區域利用 RoIAlign 切分為 v \times v 個局部區塊（Part-wise）。
    – 結合每個區塊到當前 Detection 中心的位移向量 E_{ij} 與局部特徵相關性。
    – 透過輕量卷積與 MLP 將點級、部位級特徵綜合成最終的實例級關聯矩陣 \mathbf{P}^{rela}，最後以匈牙利演算法（Hungarian Algorithm）完成全域最佳匹配。

解決: 類別誤檢導致軌跡硬性中斷

作者提出類別無關關聯（Class-Agnostic Association）+ 多數決校正機制：
– 在跨影格匹配階段，完全不看檢測器給出的類別標籤，純粹依照視覺幾何與特徵關聯進行 Tracklet 串接。
– 關聯完成後，統計該條完整軌跡中出現頻率最高的類別標籤（眾數），將途中少數幾幀的誤檢標籤自動校正為正確類別。這大幅消除了因前端檢測器閃爍而造成的軌跡斷裂。

延伸探討

強大的零樣本跨資料集與跨類別泛化能力

GeneralTrack 的點級幾何關聯設計展現了驚人的泛化能力：
– 跨資料集零微調：僅在自動駕駛資料集（BDD100K）上訓練，直接在完全未見過的 DanceTrack（劇烈形變舞蹈）與 SportsMOT（高速運動球賽）上進行 Zero-shot 測試，追蹤指標依然超越多數在該資料集上專屬訓練的 Baseline。
– 跨類別泛化：即便訓練時只見過汽車（Car），也能順利追蹤完全未見過的行人和各類物體，證明了底層點特徵關聯比高階語義更具通用性。

心得

很多 MOT 論文在遇到新場景時，習慣針對 Kalman Filter 的參數、IoU 門檻或 Re-ID 的權重做各種手工 heuristic 的調整，本質上是在特定資料集的運動與外觀特性上做過擬合。

GeneralTrack 抓到了問題的關鍵：真實世界的物體運動是柔體的，全局特徵在遮擋與大姿態變化下不可靠。 將關聯降維到點級（Point-wise），再透過金字塔與局部區塊聚合回實例級（Instance-wise），既保留了局部關鍵紋理的強韌度，又能自然應對多尺度位移。加上多數決標籤校正這個極其簡單卻直擊痛點的工程設計，是一篇兼具理論深度與高度實用性的好文章。