Survey: Privacy-Preserving Adversarial Facial Features (AdvFace)

2023-12-15
| CVPR 2023

Debayan Deb, Jiankang Deng, Anil K. Jain

📑 投影片連結:

當前挑戰

主流人臉辨識系統(Face Recognition System, FRS)廣泛採用 Client-Server 架構:終端設備(Client)利用特徵提取器將採集到的人臉照片轉換為一串數百維的特徵向量(Embedding),伺服器端(Server)則僅儲存與比對這串向量。

直覺上大家普遍認為「特徵向量只是一串浮點數,存在資料庫很安全,不等於原始照片」。但近年許多研究已經證實:攻擊者只要訓練一個反向解碼網路(如 PGGAN 或 Deep CNN),就能輕易把外洩的特徵向量還原成清晰的大頭照,進而發動偽造攻擊(Spoofing / Replay Attack,例如拿還原照片去刷臉詐欺)。

Client-Server 特徵儲存面臨逆向重構與偽造重放攻擊

一旦後端資料庫外洩,攻擊者能藉由逆向重建模型將特徵向量轉譯為高解析度人臉,並透過列印照片或螢幕重放欺騙感測器,徹底摧毀人臉系統的安全性與個人隱私。

AdvFace 對抗特徵擾動與防禦架構示意圖
AdvFace 的防禦流程。在 Client 端提取的特徵向量上疊加微小的對抗擾動 \delta,讓正常的特徵比對不受影響,但攻擊者的重建解碼器會產出完全崩潰、無法辨識的雜訊影像。

既有隱私防禦方案在算力、精度與部署成本上的矛盾

為了解決特徵外洩的隱私問題,過去常見的防禦方案各自面臨嚴苛的代價:
同態加密(Homomorphic Encryption):計算量過於龐大,讓即時人臉比對直接卡死。
差分隱私(Differential Privacy, DP):加入隨機高斯/拉普拉斯雜訊後,人臉辨識準確率大幅暴跌。
對抗訓練(Adversarial Training):需要重新訓練整個骨幹特徵提取器,已上線的大型系統根本無法承受重訓成本。


主要貢獻

這篇 CVPR 論文提出了 AdvFace。它的精妙之處在於「以毒攻毒」——巧妙利用對抗攻擊的概念來做隱私防禦,在特徵向量上添加精心計算的微小擾動,讓正常比對依然精準,但重建網路徹底失效。

解決: Client-Server 特徵儲存面臨逆向重構與偽造重放攻擊

作者提出有界對抗特徵生成機制
– 在 Client 端提取的特徵 z_i 上疊加一個受到 L_p-norm 嚴格約束的微小擾動 \deltaz_i' = z_i + \delta)。
– 優化目標設定為極大化任意重建網路 R 的重構損失 \mathcal{L}_R,同時約束擾動前後的餘弦相似度,確保下游身分驗證(Cosine Similarity)維持在安全閾值之內。
– 攻擊者的重建模型在接收到帶有擾動的 z_i' 後,解碼出來的只會是完全無法辨識身分的雜訊。

小筆記:對抗防禦的直ギュア
辨識模型關心的是特徵在高維超球面上的「方向(餘弦夾角)」,而重建解碼器依賴的是特徵中各個維度細微數值的「絕對分佈」。AdvFace 巧妙地在不改變主要夾角方向的前提下,微調特定敏感維度,精準破壞解碼器的逆向映射。

解決: 既有隱私防禦方案在算力、精度與部署成本上的矛盾

為了實現真正的即插即用(Plug-and-Play)且不需重新訓練特徵抽取器:
影子模型(Shadow Model)設計:防守方不需要事先知道攻擊者會用什麼架構(如 U-Net、ResNet 還是 Transformer-based 重建器)。AdvFace 在本地使用公開資料集訓練一個強大的影子重建模型 S(\cdot),藉由攻擊影子模型產生具備強大跨架構遷移力的通用擾動 \delta
極低精度損失:在 LFW、CelebA 等多個標準測試集上,AdvFace 將重放攻擊成功率(SRRA)壓低至接近隨機猜測,而正常的人臉驗證準確率降幅不到 0.5%,完全不需要改動已部署的 Backbone 權重。