Paper Note: TPAMI 2018 NbNet

當前挑戰

小筆記本篇所提到的模板，是指保存在資料庫中，日後用以比對身分的feature。

作者將聚焦在討論第二類攻擊方式，也就是試圖使用template database的資料來重建偽造圖像。這樣的攻擊是奠基在：

小筆記對於模板的保護，目前有一些硬體是支援的，如iPhone X的A11晶片上的Secure Enclave，或是ARM上的TrustZone。

攻擊者的目標是用偽造的資料，冒充人臉識別系統中的特定目標，從而損害系統的完整性。

攻擊者需要有以下兩個資訊:

除了這些之外，攻擊者對目標的人臉圖片、相關資訊、註冊環境等，一概不知。

攻擊者取得目標模板\(y_t\)之後，可以使用重建模型\(g_\theta(\cdot)\)，透過\(x_t=g_\theta(y_t)\)來回推人臉圖片\(x_t\)。並且，重建函數的參數\(\theta\)必須是能用公開資料集就能訓練得出來的。

(a) 重建的過程，其中使用的De-convolution Block有b, c, d三種類型。

(b) 典型的反捲積層，這裡的DconvOp是指de-convolution layer + batch normalization + ReLU。

(d) 作者也提出了參考DenseNet的block B，和block A差在前面的層的output會加在後面的層的input。

作者使用的 loss function有兩種(沒有同時使用):

Pixel difference (MAE): 輸入圖片\(x\)與重建圖片\(x’\)的差異，也就是：\(L_{pixel}=\sum^M_{m=1}(|x_m-x’_m|)\)
Perceptual loss: 除了在image space的相似度，我們更重視實用價值，也就是在feature space上的相似度更為重要。因此這裡作者經過實驗後決定使用VGG-19的ReLU3-2作為feature space 相似度的參考。若\(F(\cdot)\)為的輸出，則loss function：\(L_{percept}=\frac{1}{2}||F(x)-F(x’)||^2_2\)。