📑 投影片連結：20231211 Sibling Attack.pptx
當前挑戰
在人臉辨識（Face Recognition, FR）的黑盒對抗攻擊情境中，攻擊者無法直接取得商用系統的內部參數與梯度，通常只能在本地訓練一個白盒代理模型（Surrogate Model）來產生對抗擾動，再將這些對抗樣本遷移（Transfer）拿去攻擊目標黑盒系統。
然而，現有攻擊方法在面對黑盒商用 API 時，攻擊成功率往往非常慘澹。
白盒生成的對抗樣本跨模型遷移能力急劇下降
在單一白盒模型上生成的對抗擾動，極容易過擬合（Overfit）到該代理模型的特定架構與權重分佈。一旦拿去攻擊由不同 Backbone、不同損失函數或不同資料集訓練出的黑盒模型，可遷移性（Transferability）便會雪崩式下跌，難以達成跨模型的冒充攻擊（Impersonation Attack）。
多任務對抗優化時梯度方向衝突導致震盪
若想引入多個輔助任務來避免單一任務過擬合，各個任務在反向傳播時計算出的梯度方向往往存在衝突（Gradient Conflict），造成擾動更新方向劇烈震盪，反而損害最終對抗樣本的殺傷力。
主要貢獻
這篇 CVPR 論文提出了 Sibling-Attack，核心想法是：人臉識別（FR）與人臉屬性識別（Attribute Recognition, AR，如性別、年齡、表情、髮型等）是共享底層特徵語義的「兄弟任務（Sibling Tasks）」。利用 AR 作為輔助任務，能有效迫使對抗擾動作用在更廣泛、更通用的語義特徵上，從而大幅提升黑盒可遷移性。
解決: 白盒生成的對抗樣本跨模型遷移能力急劇下降
作者設計了雙分支代理架構與聯合任務元優化（Joint-Task Meta Optimization, JTMO）：
– 代理模型由共享參數的特徵編碼器 
、人臉辨識分支 
與屬性識別分支 
組成。
– 優化目標是在添加微小擾動的前提下，同時最大化攻擊者影像與目標受害者在 FR 與 AR 語義空間中的餘弦相似度。
– 借鑑元學習（Meta-learning）的思想，在不同任務與數據集之間交替採樣與迭代更新，打破對特定代理特徵空間的過擬合。
小筆記：為什麼選屬性識別 (AR) 當兄弟任務？
人臉識別注重全域身分唯一性，而屬性識別則聚焦在五官與臉部局部特徵的語義。兩者互為補充，擾動如果能同時騙過 FR 與 AR 分支，代表攻擊已經滲透到更深層、更本質的臉部幾何特徵，而非單純利用某個卷積核的數值脆弱點。
解決: 多任務對抗優化時梯度方向衝突導致震盪
針對 FR 與 AR 梯度方向互相拉扯的問題，作者提出了跨任務梯度穩定化（Cross-Task Gradient Stabilization, CTGS）：
– 先在主要的 FR 任務上進行 
步小幅擾動，累積歷史動量梯度。
– 隨後切換至 AR 任務時，不直接使用當前瞬時梯度，而是參照並結合 FR 累積的歷史方向進行平滑修剪與更新。
– 這樣既保留了 AR 帶來的特徵多樣性，又確保了擾動始終沿著朝目標受害者逼近的主方向前進。
延伸探討
攻破一線商用 Face API
作者在 CelebA-HQ 與 LFW 資料集上進行了 1,000 對不同身分人臉的黑盒冒充測試：
– 離線開源模型：在 IR152, IRSE50, FaceNet, ResNet101 等架構間遷移，攻擊成功率大幅超越 PGD、MI-FGSM 等經典攻擊。
– 商用黑盒 API：在真實雲端人臉服務（Face++ 曠視、Microsoft Azure Face API）的嚴苛門檻（誤報率 FAR = 0.001）下，Sibling-Attack 依然維持了相當高比例的冒充成功率。