TWI683262B - 工業影像檢測方法、系統與電腦可讀取記錄媒體 - Google Patents

Abstract

工業影像檢測方法，包括：得到一待測影像的一待測隱向量；量測一正常影像的一訓練隱向量與該待測影像的該待測隱向量之間的一距離；以及根據該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離，判斷該待測影像是正常或瑕疵。

Description

工業影像檢測方法、系統與電腦可讀取記錄媒體

本發明是有關於一種工業影像檢測方法、系統與電腦可讀取記錄媒體，且特別是有關於一種基於生成式對抗網路之非監督式工業影像檢測方法、系統與電腦可讀取記錄媒體。

隨著工業自動化以及產品日新月異，所需檢測的產品數量也越趨龐大。自動光學檢測(Automated Optical Inspection，AOI)系統運用機器視覺做為檢測技術，可用於取代傳統的人力檢測。在工業製程中，自動光學檢測可取得成品的表面狀態，再以電腦影像處理技術來檢出異物或圖案異常等瑕疵。

經過自動光學檢測機台的自動檢測後，可能仍需由檢測人員做人工複判工作，使得所需檢測人員數量以及事先的人員訓練工作也越趨頻繁。再者，工業影像的瑕疵通常都需要人為做標註(labeling)分類。但瑕疵變化小且難發掘，造成標註的良率會有所變異。近年來人工智慧興起，卷積式類神經網路(CNN)能夠有效的應用在影像上做分類，但仍需要事先標註瑕疵的類別，使得訓練過程越加冗長。

故而，如何使工業影像檢測流程更有效率乃是業界努力方向之一。

根據本案一實施例，提出一種工業影像檢測方法，包括：得到一待測影像的一待測隱向量；量測一正常影像的一訓練隱向量與該待測影像的該待測隱向量之間的一距離；以及根據該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離，判斷該待測影像是正常或瑕疵。

根據本案另一實施例，提出一種工業影像檢測系統，包括：一自動光學檢查設備，對複數個樣本進行自動光學檢查；以及一影像檢測模組，耦接於該自動光學檢查設備。該影像檢測模組架構成用以：得到由該自動光學檢查設備所輸出的一待測影像的一待測隱向量；量測一正常影像的一訓練隱向量與該待測影像的該待測隱向量之間的一距離；以及根據該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離，判斷該待測影像是正常或瑕疵。

根據本案又一實施例，提出一種電腦可讀取記錄媒體，當由一工業影像檢測系統載入並執行時，可以執行如上所述之工業影像檢測方法

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。

第1圖顯示根據本案實施例之工業影像檢測系統之功能方塊示意圖。在第1圖中，工業影像檢測系統100包括：自動光學檢查(Automated Optical Inspection，AOI)設備120與影像檢測模組150。經過影像檢測模組150的檢測/分類結果可送至分類裝置170，進行分類。

自動光學檢查設備120例如包括：AOI影像處理軟體，AOI感測器系統、AOI檢測機台等物件。自動光學檢查設備120的架構在本案實施例中可不特別限定之。自動光學檢查設備120可對複數個樣本進行自動光學檢查。

影像檢測模組150可耦接於自動光學檢查設備120，進行瑕疵誤殺複判之功能。影像檢測模組150可執行GAN(生成式對抗網路，Generative Adversarial Network)的相關功能。影像檢測模組150可由處理器等類似裝置所實施。

分類裝置170例如用以將分類後之各樣本送至各自的分類區，以進行後續的樣本製程使用、樣本瑕疵修補，或樣本廢棄處理等。分類裝置170例如包括：氣壓缸、輸送帶、懸臂機構、機器手臂、載台等物件之任意組合。分類裝置170的架構在本案實施例中可不特別限定之。

此外，雖然在第1圖中，影像檢測模組150接續於自動光學檢查設備120之後，但在本案其他實施例中，影像檢測模組也可不接續於自動光學檢查設備之後，亦即影像檢測模組可以獨立自行進行瑕疵檢測，此亦在本案精神範圍內。

第2圖顯示根據本案一實施例的影像檢測模組的影像檢測流程。如第2圖所示，於步驟210中，利用正常影像來訓練GAN(亦即，訓練第1圖中的影像檢測模組150的生成器)，其中，「正常影像係指先前檢測結果所得到的正常影像(亦即，經機器或人工檢測後，所得到的成功的正常影像)。

於步驟220中，判斷GAN(或生成器)是否已訓練成功。如果否的話，則回到步驟210再次訓練GAN(或生成器) (例如，利用更多的正常影像來訓練GAN(或生成器))。

於步驟230中，得到正常影像的隱向量(亦可稱為訓練隱向量)，其細節將於底下說明之。

於步驟240中，得到待測影像的隱向量(亦可稱為待測隱向量)，其細節將於底下說明之，其中，「待測影像」是指將檢測線上或自動光學檢查設備120檢測後的影像。

於步驟250中，比較正常影像的訓練隱向量與待測影像的待測隱向量，以判斷待測影像是正常或瑕疵。步驟250例如是，量測正常影像的訓練隱向量與待測影像的待測隱向量間的距離，如果該距離小於一門檻值的話，則代表待測影像是正常，反之則代表待測影像是瑕疵。

現請參考第3圖，其顯示根據本案一實施例的訓練階段的流程圖。於步驟305中，在設定好之隱空間內初始化隱向量(latent vector)。例如是，隨機由單位圓(其為自設，可以根據需要而更改)內，用高斯分布產生隱向量。

於步驟310中，將隱向量(或稱為訓練隱向量)輸入至影像檢測模組150的生成器(generator)。

於步驟315中，影像檢測模組150的生成器根據隱向量來產生相對應的生成影像。生成器是為了讓生成影像越接近正常影像。在本案實施例中，於步驟320中，正常影像和生成影像一起輸入至影像檢測模組150的判別器。於步驟325中，由判別器比較正常影像和生成影像，並決定判別器是否能分別出正常影像和生成影像。步驟325的細節例如是，判別器在比較正常影像與生成影像之後，判別器產生預測標註(predicted label)。如果判別器判定生成影像接近正常影像，判別器所產生的預測標註為正常(real)；相反地，如果判別器判定生成影像不接近正常影像，判別器所產生的預測標註為失敗(fail)。由判別器所產生的預測標註會比較於參考標準標註(ground truth label)，參考標準標註之值為正常與失敗之一。如果判別器所產生的預測標註匹配於參考標準標註，則代表此次的判別器的比較結果為正確。相反地，如果判別器所產生的預測標註不匹配於參考標準標註，則代表此次的判別器的比較結果為失敗。

在本案實施例中，生成器和判別器進行抗衡訓練。也就是說，生成器要生成更接近正常影像的生成影像，使得判別器無法辨別出生成影像與正常影像。另一方面，判別器要更加能夠分別出正常影像與生成影像。這種抗衡的訓練能夠以數學式表示成損失函數(loss function)。

於步驟330中，根據標註差異(亦即預測標註與參考標準標註間的差異)來計算GAN的損失函數，並使用隨機梯度下降(SGD，Stochastic Gradient Descent)來更新生成器、判別器與隱向量。步驟330的操作亦可稱為「最小化目標函數方法」或「優化器(Optimizer)」或「優化演算法」。

於步驟335中，驗證生成器是否能夠生成預期的成果。例如，利用均方誤差(mean-square error，MSE)、結構相似性指標(structural similarity index，SSIM index)或t-分布鄰域嵌入算法(t-SNE，t-distributed Stochastic Neighbor Embedding)等方法來驗證生成器是否能夠生成預期的成果。

如果步驟335為是(生成器能生成預期的成果)，則於步驟340中，記錄生成器的模型與參數，以及訓練完成的隱向量(可稱為訓練隱向量)。在步驟340中，一併記錄訓練隱向量，以及訓練隱向量的平均值(mean)與差異值(variance)(μ1，c1)。之後，訓練流程結束。

如果步驟335為否(生成器無法生成預期的成果)，則於步驟345中，將隱向量用模限制投影回單位圓，並將所得到的隱向量輸入至生成器，繼續訓練生成器。其中，模限制投影可以為L2投影、L1投影或L無限大投影等，或其他類似方法。在L2投影中所得到的隱向量可表示如下：

z / sqrt(sum(

))，其中z為隱向量，而sum(

)代表總和，sqrt代表平方根。

於步驟345中，將隱向量用L2投影回單位圓的原因在於，由於在本案實施例中，使用隨機梯度下降(SGD，Stochastic Gradient Descent)來更新隱向量，這將使得隱向量可能超出原先所設定之隱空間範圍，不利往後的檢測。故而，使用L2的模限制(norm constraint)，將超出範圍的隱向量投影回原先所設定之隱空間範圍。

透過第3圖的流程，可以訓練生成器，並得到正常影像的隱向量(亦可稱為正常影像的訓練隱向量)。

現將說明本案實施例如何得到進行測試階段。請參照第4圖，顯示根據本案一實施例的測試階段的流程圖。

如第4圖所示，於步驟405中，在設定好之隱空間內初始化隱向量(由於是用於測試階段的隱向量，亦可稱為待測隱向量)。例如是，隨機由單位圓(其為自設，可以根據需要而更改)內，用高斯分布產生(待測)隱向量。

於步驟410中，將(待測)隱向量輸入至影像檢測模組150的生成器，以讓生成器生成「生成影像」。於步驟415中，比較「生成影像」與「待測影像」之間的差異，例如是比較「生成影像」與「待測影像」之間像素值差異，其細節在此不重述。在本案一實施例中，於測試階段中，生成器的模型與參數要固定。

於步驟420中，利用「生成影像」與「待測影像」之間像素值差異來計算損失函數，並使用隨機梯度下降法來更新(待測)隱向量。

於步驟425中，判斷迭代是否已結束(亦即，是否已產生最佳化的(待測)隱向量)。如果步驟425為否(尚未產生最佳化的(待測)隱向量)，則流程回至步驟410，將更新後的(待測)隱向量輸入至生成器，以讓生成器再次生成「生成影像」。

如果步驟425為是(已產生最佳化的(待測)隱向量)，則於步驟430中，記錄最佳化的(待測)隱向量與其平均值(mean)與差異值(variance)(μ2，c2)。

於步驟435中，量測(在訓練階段所得到的)訓練隱向量與(在測試階段所得到的)最佳化的(待測)隱向量之間的距離。步驟435的細節例如是，利用「多變量的高斯分佈(multivariate normal distribution)」來量測(在訓練階段所得到的)訓練隱向量與(在測試階段所得到的)最佳化的(待測)隱向量之間的距離，其公式表示如下：

，其中，Tr代表跡數(Trace)。

於步驟440中，判斷(在訓練階段所得到的)訓練隱向量與(在測試階段所得到的)最佳化的(待測)隱向量之間的距離是否小於一門檻值。如果步驟440為是，則代表(在訓練階段所得到的)訓練隱向量很接近(在測試階段所得到的)最佳化的(待測)隱向量，也就是代表生成器所生成的「生成影像」的分布情形很接近「待測影像」的分布情形，所以判斷此待測影像屬於正常產品(步驟445)。反之，如果步驟440為否，則代表(在訓練階段所得到的)訓練隱向量不接近於(在測試階段所得到的)最佳化的(待測)隱向量，也就是代表生成器所生成的「生成影像」的分布情形不接近「待測影像」的分布情形，所以判斷此待測影像屬於瑕疵產品(步驟450)。

本案另一實施例揭露一種電腦可讀取記錄媒體，當由一工業影像檢測系統載入並執行時，可以執行如上所述之工業影像檢測方法。

對於測試階段而言，有時會出現無法直接從影像空間來辨別出瑕疵品，故而，在本案實施例中，利用第4圖的測試流程，能夠將原本分類不出來的影像在隱空間中分開來，以在隱空間中辨別瑕疵產品以及正常產品。

此外，本案實施例可利用2D攝影裝置取得2D影像後進行訓練，即可利用訓練好的模型進行測測流程，不需加裝額外硬體設備。本案實施例可進行遞迴式的深度學習來降低誤殺率，故而，本案實施例不需要大量人力來進行人工複查，也不需煩雜的人工標註操作。

所以，相較於現有AOI機台成本以及檢測所需的人力成本，本案實施例的成本較低廉且測試時間較短。本案實施例可應用於工業檢測、金屬加工、汽機車零組件、紡織、印刷、醫療及五金工業等相關製造業之光學檢測應用。

如上述，本案實施例提出以生成對抗網路(GAN)來學習正常影像之技術手段，利用GAN能夠精準學習影像分佈的特性。利用單一類別的資料集，訓練生成器並記錄所訓練好的(訓練)隱向量。本案實施例更在訓練階段時，在隱空間使用模限制(Norm-constraint)，達到限縮隱向量的效果。而在測試階段時，最佳化待測影像的(待測)隱向量。藉由比較正常影像的(訓練)隱向量與待測影像的(待測)隱向量，即可將瑕疵檢測出來。故而，本案實施例可大幅降低漏檢率(Leakage)。

此外，本案實施例屬於非監督式學習，因此不需要額外標註瑕疵資料集(dataset)，可以解決現有自動光學檢測演算法需反覆調整參數之缺點，並可以廣泛應用於不同屬性的資料集上。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100：工業影像檢測系統               120：自動光學檢查設備 150：影像檢測模組                        170：分類裝置 210-250、305-345、405-450：步驟

第1圖顯示根據本案實施例之工業影像檢測系統之功能方塊示意圖。 第2圖顯示根據本案一實施例的影像檢測模組的影像檢測流程。 第3圖顯示根據本案一實施例的訓練階段的流程圖。 第4圖顯示根據本案一實施例的測試階段的流程圖。

210-250：步驟

Claims (13)

1. 一種工業影像檢測方法，包括： 得到一待測影像的一待測隱向量； 量測一正常影像的一訓練隱向量與該待測影像的該待測隱向量之間的一距離；以及 根據該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離，判斷該待測影像是正常或瑕疵。
2. 如申請專利範圍第1項所述之工業影像檢測方法，其中，得到該待測影像的該待測隱向量之該步驟包括： 初始化該待測影像的該待測隱向量； 將該待測影像的該待測隱向量輸入至一生成器，以讓該生成器生成一生成影像； 比較該生成影像與該待測影像之間的一像素值差異； 利用該生成影像與該待測影像之間的該像素值差異來計算一損失函數，並更新該待測影像的該待測隱向量； 如果判斷尚未產生最佳化的該待測影像的該待測隱向量，將更新後的該待測影像的該待測隱向量輸入至該生成器，以讓該生成器再次生成該生成影像；以及 如果判斷已產生最佳化的該待測影像的該待測隱向量，  則記錄最佳化的該待測影像的該待測隱向量，該待測隱向量的一平均值與一差異值。
3. 如申請專利範圍第2項所述之工業影像檢測方法，其中，於初始化該待測影像的該待測隱向量時，隨機由單位圓內，用高斯分布產生該待測影像的該待測隱向量。
4. 如申請專利範圍第2項所述之工業影像檢測方法，其中，量測該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離之該步驟包括：根據該待測隱向量的該平均值與該差異值，以及該訓練隱向量的一平均值與一差異值，來量測該正常影像的該訓練隱向量與最佳化的該待測影像的該待測隱向量之間的該距離。
5. 如申請專利範圍第2項所述之工業影像檢測方法，其中，當該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離小於一門檻值的話，判斷該待測影像是正常，反之則判斷該待測影像是瑕疵。
6. 如申請專利範圍第1項所述之工業影像檢測方法，更包括： 於一訓練階段： 初始化該正常影像的該訓練隱向量； 將該正常影像的該訓練隱向量輸入至一生成器，以讓該生成器來生成該生成影像； 將該正常影像和該生成影像一起輸入至一判別器； 由該判別器比較該正常影像和該生成影像，並決定該判別器是否能分別出該正常影像和該生成影像； 根據一標註差異來計算一損失函數，並更新該生成器、該判別器與該正常影像的該訓練隱向量； 如果該生成器能生成一預期成果，記錄該生成器的一模型與一參數，以及該正常影像的該訓練隱向量，以及該訓練隱向量的一平均值與一差異值；以及 如果該生成器不能生成該預期成果，將該訓練隱向量用模限制投影回單位圓，並將所得到的該訓練隱向量輸入至該生成器，以繼續訓練該生成器。
7. 一種工業影像檢測系統，包括： 一自動光學檢查設備，對複數個樣本進行自動光學檢查；以及 一影像檢測模組，耦接於該自動光學檢查設備，該影像檢測模組架構成用以： 得到由該自動光學檢查設備所輸出的一待測影像的一待測隱向量； 量測一正常影像的一訓練隱向量與該待測影像的該待測隱向量之間的一距離；以及 根據該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離，判斷該待測影像是正常或瑕疵。
8. 如申請專利範圍第7項所述之工業影像檢測系統，其中，該影像檢測模組架構成用以： 初始化該待測影像的該待測隱向量； 將該待測影像的該待測隱向量輸入至該影像檢測模組的一生成器，以讓該生成器生成一生成影像； 比較該生成影像與該待測影像之間的一像素值差異； 利用該生成影像與該待測影像之間的該像素值差異來計算一損失函數，並更新該待測影像的該待測隱向量； 如果判斷尚未產生最佳化的該待測影像的該待測隱向量，將更新後的該待測影像的該待測隱向量輸入至該生成器，以讓該生成器再次生成該生成影像；以及 如果判斷已產生最佳化的該待測影像的該待測隱向量，  則記錄最佳化的該待測影像的該待測隱向量，該待測隱向量的一平均值與一差異值。
9. 如申請專利範圍第8項所述之工業影像檢測系統，其中，於初始化該待測影像的該待測隱向量時，該影像檢測模組隨機由單位圓內，用高斯分布產生該待測影像的該待測隱向量。
10. 如申請專利範圍第8項所述之工業影像檢測系統，其中，該影像檢測模組用以： 根據該待測隱向量的該平均值與該差異值，以及該訓練隱向量的一平均值與一差異值，來量測該正常影像的該訓練隱向量與最佳化的該待測影像的該待測隱向量之間的該距離。
11. 如申請專利範圍第8項所述之工業影像檢測系統，其中，當該正常影像的該訓練隱向量與該待測影像的該待測隱向量之間的該距離小於一門檻值的話，該影像檢測模組判斷該待測影像是正常，反之則該影像檢測模組判斷該待測影像是瑕疵。
12. 如申請專利範圍第7項所述之工業影像檢測系統，其中，該影像檢測模組用以： 於一訓練階段： 初始化該正常影像的該訓練隱向量； 將該正常影像的該訓練隱向量輸入至該影像檢測模組一生成器，以讓該生成器來生成該生成影像； 將該正常影像和該生成影像一起輸入至該影像檢測模組一判別器； 由該判別器比較該正常影像和該生成影像，並決定該判別器是否能分別出該正常影像和該生成影像； 根據一標註差異來計算一損失函數，並更新該生成器、該判別器與該正常影像的該訓練隱向量； 如果該生成器能生成一預期成果，記錄該生成器的一模型與一參數，以及該正常影像的該訓練隱向量，以及該訓練隱向量的一平均值與一差異值；以及 如果該生成器不能生成該預期成果，將該訓練隱向量用模限制投影回單位圓，並將所得到的該訓練隱向量輸入至該生成器，以繼續訓練該生成器。
13. 一種電腦可讀取記錄媒體，當由一工業影像檢測系統載入並執行時，可以執行如申請專利範圍第1項所述之工業影像檢測方法。

Images