TWI764387B

TWI764387B - 產生重建影像的方法

Info

Publication number: TWI764387B
Application number: TW109140868A
Authority: TW
Inventors: 文柏陳; 陳怡君; 陳佩君; 陳維超
Original assignee: 英業達股份有限公司
Priority date: 2020-11-20
Filing date: 2020-11-20
Publication date: 2022-05-11
Also published as: TW202221640A

Abstract

一種產生重建影像的方法，適用於具有一目標物件的一輸入影像，所述方法包括：編碼器將輸入影像轉換為具有多個特徵向量的一特徵圖，依據多個參考物件的多個訓練影像執行一訓練程序以產生關聯於這些訓練影像的多個特徵原型並儲存這些特徵原型至一記憶體，依據這些特徵原型與這些特徵向量之多個相似度從記憶體選取一部分的這些特徵原型，依據該部分的這些特徵原型及多個權重產生一近似特徵圖，其中這些權重各自代表這些特徵原型與這些特徵向量的相似度，以及解碼器將近似特徵圖轉換為重建影像，其中編碼器、解碼器及記憶體形成一自編碼器。

Description

產生重建影像的方法

本發明關於基於影像的產品的缺陷偵測，特別是一種應用於缺陷偵測前端的產生重建影像的方法。

對於製造商，產品外觀評估是品質保證的基本步驟。例如刮痕、撞擊及褪色（discoloration）等未被偵測到的缺陷將增加產品返廠的維修成本並喪失客戶信任度。現今大多數的外觀檢測工作還是由人類執行，因為在自動光學檢查（Automatic Optical Inspection，AOI）機器中使用傳統電腦視覺演算法描述各種缺陷有其困難度。然而，管理人類檢查員有其管理上的難度，因為很難在不同的產品線上維持一致的檢查標準。

過去曾提出以物件偵測器網路解決上述問題。然而，這種全監督式（fully-supervised）的模型需要清楚標記定界框（bounding box）的資料集。收集這種資料集將耗費人力，且保持標記一致性也相當困難。另外，對於沒出現在資料集中的缺陷，這種偵測方法表現不佳。為了收集足夠多缺陷類型的訓練資料將耗費大量時間。因此不適用於較短生命週期的產品。

與其依賴正確地標記缺陷，另一種方式是從標準樣本中學習其分佈，並將偏離樣本過大的地方視為缺陷。這種方式允許模型偵測出先前沒看過的缺陷。例如，使用標準影像訓練的自編碼器（autoencoder）可以消除輸入影像中的缺陷。然而在實務上，自編碼器可能因為過度泛化（over generalization）而學習到如何重建出缺陷。特別是當產品表面具有大量的紋理時，重建影像可能變得不穩定，進而導致後續偵測出許多偽陽性（false-positive）。

承上所述，這種生成方法（generative approach）不需要仔細標註影像，這種方法需假設輸入影像不具有缺陷。因此，當有缺陷的影像意外地混入訓練資料集時，演算法對於雜訊將過度敏感。上述狀況經常發生在生產設備中。再者，很多輸入影像並不完美，若排除這些不完美的影像，則可用的標準影像樣本將大幅減少。因此，需要一種透過深度學習並能夠容忍資料雜訊的訓練方式，其可以針對無缺陷的影像區域進行訓練。

有鑑於此，本發明提出一種產生重建影像的方法，藉此減少基於自編碼器的異常檢測方法時的常見的過度泛化問題。

依據本發明一實施例的一種產生重建影像的方法，適用於具有一目標物件的一輸入影像，所述方法包括：編碼器將輸入影像轉換為具有多個特徵向量的一特徵圖；依據多個參考物件的多個訓練影像執行一訓練程序以產生關聯於這些訓練影像的多個特徵原型並儲存這些特徵原型至一記憶體；依據這些特徵原型與這些特徵向量之多個相似度從記憶體選取一部分的這些特徵原型；依據該部分的這些特徵原型及多個權重產生一近似特徵圖，其中這些權重各自代表這些特徵原型與這些特徵向量的相似度；以及以一解碼器將近似特徵圖轉換為重建影像；其中編碼器、解碼器及記憶體形成一自編碼器。

綜上所述，本發明提出的產生重建影像的方法具有以下貢獻或功效：應用本發明提出的重建影像的方法所實現的缺陷分類器可抵抗訓練資料集中的雜訊。本發明提出的稀疏定址方案可避免自編碼器的記憶槽（memory slot）過度泛化（over-generalization）。本發明提出的信任區域記憶體更新方案可避免訓練階段被缺陷影像污染記憶槽。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

本發明提出一種產生重建影像的方法，透過本發明一實施例提出的重建模型及一輸入影像產生重建影像。所述的輸入影像是一目標物件的影像。目標物件例如是電路板，或是筆記型電腦的上蓋。目標物件可能具有缺陷，如刮痕、撞擊、褪色等。重建影像可視為無缺陷的輸入影像。

一種非監督式（unsupervised）的缺陷偵測流程簡述如下：重建模型依據輸入影像產生重建影像，比對重建影像與輸入影像的差異，當差異大於門檻值時，判定輸入影像具有缺陷。由上述可知，缺陷偵測器的性能優劣取決於重建模型的性能。

圖1是本發明一實施例的重建模型的架構圖。此重建模型主要採用記憶增強自編碼器（memory augmented auto encoder，MemAE）10，並結合稀疏定址（sparse memory addressing）以及信任區域（trust region）記憶體更新等本發明提出的機制。

記憶增強自編碼器10在記憶槽中儲存標準影像的特徵原型（prototype）並可從記憶體重建一個輸入影像的標準版本。稀疏定址提供一種記憶槽的選擇機制。信任區域（trust region）記憶體更新的機制避免記憶體儲存不想要的缺陷特徵。圖2是本發明一實施例的產生重建影像的方法的流程圖。以下配合圖2的步驟介紹圖1的各個元件。

步驟S1是「依據多個訓練影像執行訓練程序以產生多個特徵原型並儲存至記憶體」。步驟S1為此重建模型的訓練階段。所述多個訓練影像是多個參考物件的影像，這些參考物件與目標物件皆為同類型的物件，例如皆屬於筆記型電腦的上蓋。相較於目標物件，參考物件無缺陷，因此訓練影像即沒有缺陷的標準影像。特徵原型關聯於這些訓練影像。

步驟S2是「編碼器將輸入影像轉換為多個特徵向量」。步驟S2為此重建模型的推論階段。

本發明利用外部的記憶體M儲存一組標準特徵原型以避免缺陷被重建出來。這些特徵原型用來產生重建影像。在推論階段，這些特徵原型是固定的，這樣可以讓自編碼器難以重建出缺陷，因為記憶體M中只有標準特徵。

如圖1所示，標準的自編碼器遵循編碼器-解碼器（encoder-decoder）的結構。編碼器E將長度為H寬度為W的輸入影像x ∈R ^H×W投影至低維度的潛在空間（latent space）。記憶體M被實作為張量M∈R ^M×Z，其中M代表記憶槽（memory slot）的數量， Z代表潛在向量（latent vector）z的維度。

如圖2的步驟S2所示，本發明首先計算輸入影像x的潛在表示（latent representation） Z=E(x)。須注意的是，為了保留空間資訊，本發明設計讓編碼器E輸出特徵圖 Z∈R ^h×w×Z，且特徵圖的維度低於原始影像的維度。特徵圖是特徵向量映射至潛在空間的結果。為了方便起見，本發明用z _i∈R ^Z去代表 Z中的第i個元素。 Z中的每個向量z _i代表輸入影像x中的一個區塊（patch）的特徵，z _i即步驟S2所述的特徵向量。

步驟S3是「依據特徵原型與特徵向量之相似度從記憶體選取多個特徵原型」。步驟S3的實施細節於後文述及稀疏定址時再行詳述。

步驟S4是「依據這些特徵原型及多個權重產生近似特徵圖」。近似特徵圖由多個近似特徵向量組成。

本發明並非將特徵圖 Z直接傳送至解碼器D，而是使用儲存在記憶體M中的特徵原型的凸組合（convex combination）計算每個z _i的近似特徵

。下方式一定義上述運算，其中w是權重向量，其代表z和儲存在記憶體M中的每一個特徵原型的相似度。

式一：

在步驟S3中，權重向量w作為一個軟定址（soft addressing）的機制，其從記憶體取出對於重建而言必要且最接近的特徵原型。本發明使用負的歐幾里得距離（Euclidean distance）量測特徵向量z和記憶項目（memory item）M _i之間的相似度並應用歸一化函數softmax將權重標準化，如下方式二所示。每個記憶項目儲存一個特徵原型。

式二：

步驟S5是「解碼器將近似特徵圖轉換為重建影像」。詳言之，解碼器D只使用從記憶項目推導得出的近似特徵

輸出重建影像

。

請參考圖3，其繪示步驟S3的細部流程。步驟S31是「由大而小選取數個權重及對應的數個特徵原型」，步驟S32是「依據這些權重的數量計算多個稀疏近似值」，且步驟S3是「以這些稀疏近似值作為權重」。

步驟S3的實施細節詳述如下。在記憶體定址中強制執行稀疏性（sparsity）將迫使重建模型使用更少但更相關的記憶項目來逼近特徵向量z。上述方式有效地避免重建模型未預期地合併多個不相關的記憶項目而重建出缺陷。此外，上述方式隱含執行記憶體選擇，當重建影像時，藉由移除從未被存取的記憶項目，從而節省計算量。

如步驟S31所示，假設w ⁽ⁱ⁾代表權重向量w的排序，其中w ⁽¹⁾＞ w ⁽²⁾＞ …＞ w ^(M)。如步驟S32所示，本發明計算一個權重向量w的一個稀疏近似值

，其對應於取得k個最接近的記憶項目，然後進行重新標準化的步驟，如下方式三及步驟S33所示，其中

函數回傳1當其後方條件式成立，否則回傳0。

式三：

由於本發明只使用被選擇的少量的記憶項目進行重建，故需要避免重建模型學習到冗餘的記憶項目。因此，針對輸入潛在向量z，本發明在最接近的記憶項目M ⁽¹⁾和第二接近的記憶項目M ⁽²⁾增加邊界，如下方式四所示。

式四：

以下說明信任區域更新記憶體的機制。

若沒有訓練資料集只包含標準樣本的假設，記憶增強自編碼器10將會把缺陷樣本視為標準樣本並學會儲存缺陷特徵至記憶體，進而導致糟糕的缺陷偵測表現。本發明利用兩個重要的概念以避免缺陷樣本汙染記憶體。(1)缺陷較為稀少，且缺陷不會都出現在相同的位置。這意味著缺陷在區塊層級的比例遠低於缺陷在影像層級的比例。(2)標準影像（即步驟S1所述的訓練影像）在外觀上具有規律性，與訓練初期的缺陷相比，記憶增強自編碼器10更容易重建出標準影像。上述隱含在初始階段時，標準特徵比起缺陷特徵更接近記憶項目。

圖4繪示信任區域TR的示意圖。如圖4所示，信任區域TR圈選了記憶項目M及6個區塊特徵z，其餘3個區塊特徵在信任區域TR的外面。基於上述概念，本發明基於特定的信任區域更新記憶項目，所述信任區域將區域內的特徵拉向最接近的記憶項目且將區域外的特徵推離記憶項目，如圖4的箭頭方向所示。

在步驟S1所述的「訓練程序」實際上是一個最佳化每個特徵原型的過程。請參考圖5及6，其繪示步驟S1的兩種實施方式。

步驟S11是「設定預設特徵原型」，即從第一個訓練影像開始，對每個記憶槽初始化。

步驟S12是「將訓練影像分割為多個區塊」，例如將筆電上蓋的訓練影像分為九宮格，每格代表一個區塊。

步驟S13是「編碼器將這些區塊轉換為多個區塊特徵」，這些區塊特徵的分佈如圖4所示。

步驟S14是「計算這些區塊特徵與預設特徵原型之間的多個距離」。

步驟S15是「保留這些距離中小於一閾值的一或多者所對應的一或多個區塊特徵」。所述的閾值是步驟S14計算出的多個距離的平均值，且等於圖4繪示的信任區域的半徑。

步驟S16是「依據被保留的一或多個區塊特徵更新預設特徵原型。詳言之，本發明以記憶項目M為中心，並以一個指定半徑劃分出信任區域TR，藉此區別出信任區域TR內的特徵空間及信任區域外的特徵空間，如下方式五所示。所有在δ ₁中的項目被視為標準特徵，而且被拉得彼此更接近。為避免模型將缺陷特徵推到無窮大，本發明忽略那些超過預設的信任閾值δ ₂的項目。上述對應於步驟S15~S16的流程。

式五：

容易被重建的影像區塊與記憶槽之間的距離通常小於難以被重建的影像區塊與記憶槽之間的距離，因此δ ₁必須適用於這些狀況。本發明首先計算當前輸入影像的所有區塊對應的多個特徵z _i與每個記憶項目M _i之間的多個距離，如步驟S14所述；再將δ ₁設定為這些距離的平均值，如步驟S15所述，藉此取得最接近的一或多個記憶項目，並更新這些記憶項目，如步驟S16所述。由於標準特徵豐富且彼此相似，因此標準特徵大部分會被拉到記憶項目附近，只有少數情況會被推出。然而缺陷特徵將總是被推離，因為缺陷特徵與記憶項目的距離往往大於平均距離。透過上述方式，可避免缺陷特徵汙染記憶項目。

請參考圖6，其繪示步驟S1的另一種實施方式。圖6與圖5的差別在於圖6沒有步驟S12，且圖6的步驟S13’與圖5的步驟S13不同。在圖5的實施例中，步驟S12是將訓練影像實際切分成多個區塊，例如區塊1~區塊9，然後在步驟S13計算區塊1~9各自的特徵，換言之，編碼器在區塊層級獲取區塊特徵。另一方面，圖6的步驟S13’是「編碼器將訓練影像轉換為多個區塊特徵」。在步驟S13’中，編碼器E直接從影像層級獲取區塊特徵。舉例來說，步驟S13’所得到的區塊特徵1可能是步驟S13得到的區塊特徵2、3、5的線性組合。步驟S13’所得到的區塊特徵2可能是步驟S13得到的區塊特徵2、6、7及9的線性組合。

本發明將信任區間的更新實現為一個損失函數，如下方式六所示，其中M(1)代表在記憶體M中最接近z的記憶項目。

式六：

本發明的重建模型在訓練階段採用多個損失函數，包括重建損失、SSIM損失、VGG特徵損失、GAN損失、GAN特徵損失。可參考後文列舉的文獻得知這些損失函數的細節。總體損失函數定義如下方式七，其中λ係數是控制每一項權重的超參數。

式七：

重建損失：Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu. Semantic image synthesis with spatially-adaptive normalization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.

SSIM損失：Paul Bergmann, Sindy L¨owe, Michael Fauser, David Sattlegger, and Carsten Steger. Improving unsupervised defect segmentation by applying structural similarity to autoencoders. In Proceedings of the 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP), pages 372–380, 2019.

VGG特徵損失：Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In European conference on computer vision, pages 694–711. Springer, 2016.

GAN損失：Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in neural information processing systems, pages 2672–2680, 2014.

GAN特徵損失：Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. High-resolution image synthesis and semantic manipulation with conditional gans. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8798–8807, 2018. 4 以及 Xiangyu Xu, Deqing Sun, Jinshan Pan, Yujin Zhang, Hanspeter Pﬁster, and Ming-Hsuan Yang. Learning to superresolve blurry face and text images. In Proceedings of the IEEE International Conference on Computer Vision, pages 251–260, 2017.

為了使用自編碼器解決過度泛化的問題，本發明需要有效地限制潛在空間（latent），讓自編碼器仍然可以重建標準影像區域而不會重建出缺陷。為此，本發明設計了一個基於記憶增強自編碼器的重建模型。本發明採用記憶體儲存潛在空間。在記憶體更新階段時，本發明增加稀疏性使得更新後的資訊專注在少量的記憶槽。另外，本發明提出以信任區域更新記憶體的機制，此機制可排除缺陷的潛在空間樣本且避免雜訊樣本汙染記憶槽。本發明的重建模型能抵抗雜訊，即使在輸入影像包含超過40%的缺陷影像時也能達到良好的效能。如圖7所示。圖7橫軸為輸入影像的雜訊比例，縱軸以平均曲線下面積（area under curve，AUC）作為評估指標，可視為重建影像的正確率。從圖7可看出本發明提出的重建模型在雜訊比例接近40%時仍有接近90%的正確率。對比於只使用自編碼器的模型，或是自編碼器結合其他損失函數的模型，本發明提出的重建模型其正確率凌駕於其他模型高達10%以上。

給定一個包含標準和缺陷影像的資料集，應用本發明訓練的重建模型可用於分辨標準影像和缺陷影像，而不需要事先標註這兩種影像的標籤。此外，藉由將不完美的小區塊圖像視為缺陷，本發明可降低零缺陷（defect-free）影像在資料集中的比例。因此，本發明利用標準影像以及缺陷影像中的良好影像區塊增加用來訓練重建模型的影像數量，這代表本發明提出的重建模型具有抵抗雜訊（缺陷影像）的強健性（robustness）。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

10:記憶增強自編碼器

E:編碼器

D:解碼器

M:記憶體/特徵原型

Z:特徵圖

z _i:特徵向量

:近似特徵圖

:近似特徵向量

TR:信任區域

z:區塊特徵

S1~S5:步驟

S31~S33:步驟

S11~S16、S13’:步驟

圖1是本發明一實施例的重建模型的架構圖；圖2是本發明一實施例的產生重建影像的方法的流程圖；圖3是步驟S3的細部流程圖；圖4是信任區域的示意圖；圖5及圖6是步驟S1的兩種實施方式的細部流程圖；以及圖7是本發明提出的重建模型與其他模型抵抗雜訊資料的對比圖。

S1~S5:步驟

Claims

一種產生重建影像的方法，適用於具有一目標物件的一輸入影像，所述方法包括：以一編碼器將該輸入影像轉換為具有多個特徵向量的一特徵圖；依據多個參考物件的多個訓練影像執行一訓練程序以產生關聯於該些訓練影像的多個特徵原型並儲存該些特徵原型至一記憶體；依據該些特徵原型與該些特徵向量之多個相似度從該記憶體選取一部分的該些特徵原型；依據該部分的該些特徵原型及多個權重產生一近似特徵圖，其中該些權重各自代表該些特徵原型與該些特徵向量的相似度；以及以一解碼器將該近似特徵圖轉換為該重建影像；其中該編碼器、該解碼器及該記憶體形成一自編碼器，該些權重採用如下公式計算：
,i={1.....M}其中wi為第i個權重，z為該些特徵向量中的一者，M_i為該記憶體中第i個特徵原型，且M為該記憶體的記憶槽的數量。
如請求項1所述產生重建影像的方法，依據該些特徵原型與該些特徵向量之該些相似度從該記憶體選取該部分的該些特徵原型包括：從該些權重中由大而小選取一部分的該些權重；選取該部分的該些權重所對應的該部分的該些特徵原型；依據該部分的該些權重的數量計算多個稀疏近似值；以及各自以該些稀疏近似值作為該些權重。
如請求項1所述產生重建影像的方法，依據該些參考物件的該些訓練影像執行該訓練程序包括：設定一預設特徵原型；對於該些訓練影像的每一者，將該訓練影像分割為多個區塊；以該編碼器將該些區塊分別轉換為多個區塊特徵；計算該些區塊特徵與該預設特徵原型之間的多個距離；保留該些距離中小於一閾值的一或多者所對應的該或該些區塊特徵；以及依據被保留的該或該些區塊特徵更新該預設特徵原型作為該些特徵原型中的一者。
如請求項1所述產生重建影像的方法，依據該些參考物件的該些訓練影像執行該訓練程序包括：設定一預設特徵原型；對於該些訓練影像的每一者，以該編碼器將該訓練影像轉換為多個區塊特徵；計算該些區塊特徵與該預設特徵原型之間的多個距離；保留該些距離中小於一閾值的一或多者所對應的該或該些區塊特徵；以及依據被保留的該或該些區塊特徵更新該預設特徵原型作為該些特徵原型中的一者。
如請求項3所述產生重建影像的方法，其中該閾值為該些距離的平均值。
如請求項3所述產生重建影像的方法，其中該自編碼器的一損失函數關聯於如下公式：L _trust=r(z,M⁽¹⁾)∥z-M⁽¹⁾∥₂，其中L_trust為該損失函數中的一項，z為該些特徵向量中的一者，M⁽¹⁾為該些特徵原型中最接近z的一者，且r(z,M⁽¹⁾)用於指示z與M的距離是否小於該閾值。
如請求項6所述產生重建影像的方法，其中r(z,M⁽¹⁾)採用如下公式計算：
，其中δ₁為該閾值，δ₂為大於δ₁的另一閾值。