TWI770529B

TWI770529B - 訓練缺陷偵測器的方法

Info

Publication number: TWI770529B
Application number: TW109119848A
Authority: TW
Inventors: 陳怡君; 陳佩君; 文柏陳; 陳維超
Original assignee: 英業達股份有限公司
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2022-07-11
Also published as: TW202147246A

Abstract

一種訓練缺陷偵測器的方法包括：取得第一參考物件之第一參考影像，其中第一參考物件具有缺陷，且第一參考影像具有用以標示缺陷之第一標記，依據第二參考物件之第二參考影像訓練重建模型，其中第二參考物件的缺陷程度落於具有上限值的可容許範圍內，且第二參考物件關聯於第一參考物件，取得目標物件之目標影像，目標物件關聯於第一參考物件及第二參考物件，依據目標影像、重建模型及誤差計算程序產生第二標記，第二標記包含目標物件之缺陷，以及依據第一參考影像、目標影像及第二標記執行機器學習演算法以訓練缺陷偵測器。

Description

訓練缺陷偵測器的方法

本發明係關於影像偵測及神經網路模型，特別是一種訓練缺陷偵測器的方法。

在最終出貨給客戶之前，筆記型電腦或平板電腦等產品需要由品質管理人員檢查和確認。這些品質管理人員依據教驗準則檢查產品是否具有刮痕、凹痕或其他缺陷。如果缺陷的嚴重程度超出規格所允許的範圍，則電腦產品被視為「不合格」；反之，則電腦產品被視為「通過」缺陷檢測。

為了檢測電腦產品外觀上的缺陷，可以蒐集電腦產品的多個表面影像，在影像上標記缺陷類型，然後訓練用於在自動光學檢查（Automatic Optical Inspection，AOI）機器中進行缺陷偵測的機器學習或深度學習（deep learning）模型。傳統上，物件偵測（detection）和分類（classification）均以監督方式進行。在監督式學習的狀況中，為了提高偵測準確度需要蒐集大量帶有標記（label）的訓練資料，包括正常的樣本以及有缺陷的樣本。

更多的訓練資料意味著更多的標記工作。然而，訓練資料的蒐集和標記需要大量的人力成本，而且可能相當困難。舉例來說，電腦產品製造商若未設置用於蒐集大數據（尤其是大量影像資料）的基礎建設，而將資料蒐集和標記任務外包，則資料的安全性、完整性和機密性可能會引起極大的關注。更重要的是，隨著電腦產品的生命週期縮短，且產品設計趨向多元，以足夠的多樣性來蒐集和標記電腦表面影像的缺陷顯得不切實際。電腦產品的表面可能是任何顏色，也可以有任何紋理和材質。此外，表面缺陷具有許多類型，例如刮痕、凹痕，污漬等等。同一類型的表面缺陷可能有各種形狀和大小。更嚴重的是，某些表面缺陷不易被歸類。訓練資料中不可避免地會出現不一致的標記。常規方法需要在訓練資料中正確地對缺陷檢測進行分類和標記，以期具有良好的準確性。因此，很難收集具有足夠種類的大量一致的標記資料。而等到蒐集和標記足夠的訓練影像之後，這些訓練影像所對應的電腦產品可能已經接近下市。

因此，若能提供一種僅需要少量具有標記的訓練資料便可具有高準確率的物件偵測器（detector）或分類器（classifier），將可有效地降低成本。

有鑑於此，本發明提出一種訓練缺陷偵測器的方法，藉此降低提供大量具有標記的訓練資料所需的成本。

依據本發明一實施例敘述的一種訓練缺陷偵測器的方法，包括：取得第一參考物件之第一參考影像，其中第一參考物件具有缺陷，且第一參考影像具有用以標示缺陷之第一標記；依據第二參考物件之第二參考影像訓練重建模型，其中第二參考物件的缺陷程度落於具有上限值的可容許範圍內，且第二參考物件關聯於第一參考物件；取得目標物件之目標影像，目標物件關聯於第一參考物件及第二參考物件；依據目標影像、重建模型及誤差計算程序產生第二標記，第二標記包含目標物件之缺陷；以及依據第一參考影像、目標影像及第二標記執行機器學習演算法以訓練缺陷偵測器。

依據本發明提出的訓練缺陷偵測器的方法所訓練的缺陷偵測器僅使用少量人工標記的影像作為訓練資料，仍具有良好的推理性能。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

本發明提出的訓練缺陷偵測器的方法，適用於產生一個用於偵測待測物件之缺陷的偵測器。

請參考圖1，其繪示依據本發明一實施例的訓練缺陷偵測器的方法的流程圖。請參考步驟S11，取得具有缺陷的第一參考物件之第一參考影像及標示缺陷之第一標記。在一實施例中，第一參考物件係電腦產品的表面，像是筆記型電腦的上蓋，缺陷則係位於上蓋的刮痕、凹痕或污漬等。在另一實施例中，第一參考物件係印刷電路板，缺陷則係零件的缺件、偏斜或錯件等。實務上，可由攝像裝置拍攝第一參考物件而得到第一參考影像，並由人工在第一參考影像上添加作為第一標記的定界框（bounding box），被添加的一或多個定界框用以標示第一參考物件的缺陷。具有缺陷的第一參考物件相當於不合格樣本，其作用是在訓練時讓缺陷偵測器以高準確率辨識出已有的缺陷種類。

請參考步驟S12，依據缺陷程度落於具有上限值的一可容許範圍內的第二參考物件之第二參考影像訓練重建模型（reconstruction model）。詳言之，第二參考物件關聯於第一參考物件。第二參考物件相當於合格樣本，或被稱為可容許樣本。第二參考物件例如係筆記型電腦的上蓋。第二參考物件的缺陷的數量及程度落於可容許範圍內。舉例來說，請參考表格一，可容許範圍例如包括第一級及第二級的缺陷類型，且上限值為第二級中定義的最大邊界值（20 mm、2條、1 mm² 及/或2個）或者例如包括第一級的缺陷類型，且上限值為第一級中定義的最大邊界值（12 mm、2條、0.7 mm² 及/或3個）。為便於敘述，後文將「缺陷程度落於可容許範圍內」簡稱為「不具有缺陷」。

表格一

缺陷類型	第一級	第二級	第三級
刮痕	長度：12 mm 合格：2條	長度：20 mm 合格：2條	長度：25 mm 合格：1條
凹陷	0.5 mm² ~ 0.7 mm² 合格：3個	0.5 mm² ~ 1 mm² 合格：2個	1 mm² ~ 1.3 mm² 合格：1個

重建模型，或稱為生成模型（generative model），其係用來描述合格樣本的模型。在一實施例中，步驟S12中所述的重建模型係自編碼器（autoencoder）。在另一實施例中，步驟S12所述的重建模型係單一類別的支持向量機（one-class support vector machine）。

請參考步驟S13，取得關聯於第一參考物件的目標物件之目標影像。目標物件亦關聯於第二參考物件。舉例來說，以攝像裝置拍攝目標物件之目標影像。目標物件例如是筆記型電腦的上蓋或印刷電路板。實務上，目標影像的數量大於步驟S11中第一參考影像的數量。目標影像的數量也大於步驟S12中第二參考影像的數量。

請參考步驟S14，依據目標影像、重建模型及誤差計算程序產生包含目標物件之缺陷的第二標記。

請參考圖2，其繪示步驟S14的細部流程圖。請參考步驟S141，依據目標影像及重建模型產生重建影像。舉例來說，攝像裝置將步驟S13取得的目標影像發送至處理器。處理器依據目標影像及重建模型產生一重建（reconstruction）影像。重建影像可被視為「不具有缺陷」的目標影像。重建模型產生重建影像的方式包括但不限於：從多個候選重建影像中挑選一者、從多個特徵原型中以線性組合方式產生重建影像、或者依據一影像轉換函數輸出重建影像。

若目標影像中的目標物件具有缺陷，則在步驟S141產生重建影像之後，重建影像與目標影像之間具有重建誤差（reconstruction error）。請參考步驟S142及步驟S143，這兩個步驟S142、S143為誤差計算程序。步驟S142係處理器依據目標影像及重建影像執行第一差異演算法以產生第一差異影像，步驟S143係處理器依據目標影像及重建影像執行第二差異演算法以產生第二差異影像。步驟S142及步驟S143係處理器依據不同的比對尺度去計算重建誤差。步驟S142及步驟S143可同時被執行，亦可先後被執行，本發明並不限制處理器執行步驟S142及步驟S143的順序。

請參考圖3，其繪示本發明一實施例中步驟S142的細部流程圖。

請參考步驟S1421及步驟S1422。步驟S1421係依據目標影像及一神經網路模型產生第一特徵圖（feature map）。步驟S1422係依據重建影像及此神經網路模型產生第二特徵圖。所述的第一特徵圖及第二特徵圖中分別具有一或多個特徵區塊，這些特徵區塊代表特徵圖需要被注意的部分。特徵區塊的大小例如為長寬各64像素的矩形區塊（patch），本發明並不限制區塊的長寬尺寸。特徵圖亦可被稱為深度特徵（deep feature）。

在一實施例中，步驟S1421及步驟S1422所用的神經網路模型例如係SqueezeNet。在其他實施例中，神經網路模型可為AlexNet或ResNet。在一實施例中，神經網路模型係預先以大型視覺資料庫（例如ImageNet）中的多個影像進行訓練，這些影像與目標物件無關聯。在訓練時，以每個影像的每一像素擷取包含此像素之矩形區塊（例如為長寬各64像素的矩形區塊）作為訓練資料。在另一實施例中，首先以與目標物件無關聯的多個圖像訓練出神經網路模型，然後以包括以關聯於目標物件的多個影像微調此神經網路模型，藉此提高特徵萃取的準確度。訓練後的神經網路模型在特徵萃取（feature extraction）階段輸出的特徵圖具有相似於人類視覺感知的特徵辨識策略。

請參考步驟S1423，計算第一特徵圖及第二特徵圖之差異作為第一差異影像。舉例來說，第一差異影像為第一特徵圖與第二特徵圖進行相減。第一差異影像係感知注意圖（perceptual attention map），此感知注意圖具有模仿人類比對影像差異的效果。詳言之，人類在比對參考影像及目標影像時，並不會特別注意到兩個影像是否有輕微的位移或微小的差異，而是容易觀察到兩個影像中相同位置的區塊之間的差異。步驟S1421~S1423所述的第一差異演算法係從區塊角度計算粗略級別（coarse level）的重建誤差。

一般而言，自編碼器採用L2損失函數（loss function）或結構相似性指標（structural similarity index，SSIM）來計算目標影像與重建影像之間的重建誤差。然而，這些指標通常對輕微的整體變化敏感，因此，當比對重點放在紋理圖案相似性（texture pattern similarity）而不是精確對齊上時，上述的指標將無法很好地發揮作用。即使目標影像中的目標物件的缺陷程度並不嚴重，若目標影像與重建影像之間具有少量的位移，上述的指標還有可能增加不必要的重建誤差。因此，本發明採用步驟S1421~S1423所介紹的第一差異演算法以強調高階結構與特徵表示的匹配性。整體而言，應用第一差異演算法所產生的第一差異影像具有強調感興趣區域（region of interest，ROI）及減少背景噪聲（noise）的效果。

請參考步驟S143，依據目標影像及重建影像執行第二差異演算法以產生第二差異影像。第二差異演算法係處理器依據重建影像及目標影像的每一像素計算一相對誤差值（relative error）。所述的相對誤差值例如係兩張影像中每個像素的平方誤差（pixel-wise square error）或每個像素的絕對值誤差（pixel-wise absolute error）。本步驟S143係處理器以像素級別運算得到目標影像中的目標物件的缺陷位置。

請參考步驟S144，依據第一差異影像及第二差異影像執行像素尺度（pixel-wise）運算以產生第二標記。在一實施例中，所述的像素尺度運算係位元乘法。詳言之，步驟S144中，對於第一差異影像的某一位置及第二差異影像的相同位置，若處理器判斷這兩個位置的像素值皆指示為缺陷，則處理器將以第二標記標示此位置的缺陷。若第一差異影像及第二差異影像中僅有一者判斷某一位置的像素值指示為缺陷，則處理器不以第二標記標示此位置。

請參考步驟S15，以優化網路（refinement network）依據目標影像選擇性地移除第二標記。優化網路包括一個分類器（classifier）和一個定界框迴歸器（bounding regressor）。分類器用於調整第二標記的信心估計值（confidence estimation），定界框迴歸器用於優化第二標記的定界框大小。本步驟S15可透過設定門檻值而選擇性地移除那些低信心估計值的第二標記，被移除的第二標記通常係假陽性（false positive）。詳言之，處理器依據步驟S11取得的第一參考影像及第一標記預先訓練一神經網路模型，優化網路係此神經網路模型中位於區域提議網路（Region Proposal Network，RPN）之後的兩個迴歸器。在一實施例中，此神經網路模型為Faster-RCNN，但本發明並不以此為限。

在一實施例中，可省略步驟S15的優化步驟，而直接以步驟S14產生的第二標記及步驟S13取得的目標影像作為步驟S16的訓練資料。

請參考步驟S16，依據第一參考影像、目標影像及第二標記執行機器學習演算法以訓練缺陷偵測器。值得注意的是，在步驟S13中取得的大量未標記的目標影像在經過步驟S14及步驟S15的處理之後已成為具有缺陷標記的目標影像。因此，這些目標影像、缺陷標記（第二標記），以及步驟S11中取得的第一參考影像（包含第一標記）可作為機器學習演算法的訓練資料。機器學習演算法例如為區域基礎的卷積神經網路（Region-based Convolutional Neural Network，R-CNN）實現的缺陷偵測模型。所述的區域基礎的卷積神經網路例如：Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO（You Only Look Once）或SSD（Single Shot Detection）。

在步驟S16之後，可讓訓練完成的缺陷偵測器上線運作以偵測待測物件中是否具有缺陷。舉例來說，取得一待測影像，以缺陷偵測器從待測影像中選取一定界框及輸出關聯於定界框的特徵參數，依據定界框及特徵參數執行分類判定演算法以決定待測物件是否符合一規格。其中，待測影像為待測物件之影像，待測物件關聯於第一參考物件，定界框中包含待測物件之缺陷。所述的分類判定演算法例如是支持向量機。

在本發明一實施例中，係於步驟S16時以第一參考影像（包含第一標記）、目標影像及第二標記當作訓練資料以建立缺陷偵測器。

需注意的是，雖然本發明一實施例的訓練缺陷偵測器的方法如圖1所示，然而步驟S11~S16之間的順序並不因為圖1而被限制。舉例來說，步驟S11可和步驟S12同時被執行，藉此減少實現本發明一實施例的全部時間。舉另一例來說，步驟S13可在步驟S12之前被執行，或是與步驟S12同時被執行。

請參考圖4，其繪示本發明另一實施例的訓練缺陷偵測器的方法的流程圖。此另一實施例與先前敘述的實施例的差異點在於，先以第一參考影像及第一標記進行缺陷偵測器的初始訓練，再以目標影像及第二標記校正初始訓練時所建立的缺陷偵測器。詳細流程如下所述：

請參考步驟S41，取得具有缺陷的第一參考物件之第一參考影像及標示缺陷之第一標記。步驟S41基本上與步驟S11相同，在此不重複敘述。

請參考步驟S42 ，依據第一參考影像及第一標記執行機器學習演算法以訓練缺陷偵測器。步驟S42與步驟S16相似，其差別在於僅採用步驟S11取得的資料進行訓練以產生初步的缺陷偵測器。此時的缺陷偵測器可偵測的缺陷種類受限於第一參考影像的數量，然而在偵測指定類型的缺陷時具有高正確率。

步驟S43~S45基本上與步驟S12~S14相同，在此不重複敘述。

請參考步驟S46，依據目標影像及第二標記校正缺陷偵測器。本步驟S46係以步驟S44取得的目標影像及步驟S45產生的第二標記對步驟S42訓練得到的缺陷偵測器進一步校正，以提高此缺陷偵測器對於未知種類的缺陷的分辨能力。

需注意的是，本發明另一實施例的訓練缺陷偵測器的方法如圖4所示，然而步驟S41~S46之間的順序並不因為圖4而被限制。舉例來說，步驟S41~S42可與步驟S43同時被執行，藉此減少實現本發明另一實施例的全部時間。

綜上所述，依據本發明提出的訓練缺陷偵測器的方法所訓練的缺陷偵測器僅使用少量人工標記的影像作為訓練資料，仍具有良好的推理性能。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S11~S16:步驟 S141~S144:步驟 S1421~S1423:步驟 S41~S47:步驟

圖1係依據本發明一實施例的訓練缺陷偵測器的方法所繪示的流程圖。圖2係圖1中步驟S14的細部流程圖。圖3係圖2中步驟S142的細部流程圖。圖4係依據本發明另一實施例的訓練缺陷偵測器的方法所繪示的流程圖。

S11~S16:步驟

Claims

一種訓練缺陷偵測器的方法，包括：以一攝像裝置取得一第一參考物件之一第一參考影像，其中該第一參考物件具有一缺陷，且該第一參考影像具有用以標示該缺陷之一第一標記；以一處理器依據一第二參考物件之一第二參考影像訓練一重建模型，其中該第二參考物件的缺陷程度落於具有上限值的一可容許範圍內，且該第二參考物件關聯於該第一參考物件及該第二參考物件；以該攝像裝置取得一目標物件之一目標影像，該目標物件關聯於該第一參考物件；以該處理器依據該目標影像、該重建模型及一誤差計算程序產生一第二標記，該第二標記包含該目標物件之缺陷；以及以該處理器依據該第一參考影像、該目標影像及該第二標記執行一機器學習演算法以訓練一缺陷偵測器；其中該誤差計算程序包括一第一差異演算法及一第二差異演算法，且依據該目標影像、該重建模型及該誤差計算程序產生該第二標記包括：以該處理器依據該目標影像及該重建模型產生一重建影像；以該處理器依據該目標影像及該重建影像分別執行該第一差異演算法及該第二差異演算法以分別產生一第一差異影像及一第二差異影像；以及以該處理器依據該第一差異影像及該第二差異影像執行一像素尺度運算以產生該第二標記。
如請求項1所述的訓練缺陷偵測器的方法，在依據該第一參考影像、該目標影像及該第二標記執行該機器學習演算法以訓練該缺陷偵測器之前，更包括：以該處理器依據該第一參考影像及該第一標記訓練一神經網路模型，該神經網路模型包括一優化網路；以及以該優化網路依據該目標影像選擇性地移除該第二標記。
如請求項2所述的訓練缺陷偵測器的方法，其中該神經網路模型係Faster R-CNN，且該優化網路係該神經網路模型的分類器。
如請求項1所述訓練缺陷偵測器的方法，其中該第一差異演算法包括：以該處理器依據該目標影像及一神經網路模型產生一第一特徵圖；以該處理器依據該重建影像及該神經網路模型產生一第二特徵圖；以及以該處理器計算該第一特徵圖及該第二特徵圖之間的一差異度，其中該第一差異影像中包含該差異度。
如請求項1所述訓練缺陷偵測器的方法，其中該第二差異演算法包括：以該處理器依據該重建影像及該目標影像的每一像素計算一相對誤差值。
如請求項1所述的訓練缺陷偵測器的方法，其中該像素尺度運算係位元乘法。
如請求項1所述的訓練缺陷偵測器的方法，在依據該第一參考影像、該第一標記、該目標影像及該第二標記執行該機器學習演算法以產生該缺陷偵測器之後，更包括：以該攝像裝置取得一待測影像，該待測影像為一待測物件之影像，該待測物件關聯於該第一參考物件；以該缺陷偵測器從該待測影像中選取一定界框及輸出關聯於該定界框的一特徵參數，其中該定界框中包含該待測物件之缺陷；以及以該處理器依據該定界框及該特徵參數執行一分類判定演算法以決定該待測物件是否符合一規格。
一種訓練缺陷偵測器的方法，包括：以一攝像裝置取得一第一參考物件之一第一參考影像，其中該第一參考物件具有一缺陷，且該第一參考影像具有用以標示該缺陷之一第一標記；以一處理器依據該第一參考影像及該第一標記執行一機器學習演算法以訓練一缺陷偵測器；以該處理器依據一第二參考物件之一第二參考影像訓練一重建模型，其中該第二參考物件的缺陷程度落於具有上限值的一可容許範圍內，且該第二參考物件關聯於該第一參考物件及該第二參考物件；以該攝像裝置取得一目標物件之一目標影像，該目標物件關聯於該第一參考物件；以該處理器依據該目標影像、該重建模型及一誤差計算程序產生一第二標記，該第二標記包含該目標物件之缺陷；以及以該處理器依據該目標影像及該第二標記執行該機器學習演算法以校正該缺陷偵測器；其中該誤差計算程序包括一第一差異演算法及一第二差異演算法，且以該處理器依據該目標影像、該重建模型及該誤差計算程序產生該第二標記包括：以該處理器依據該目標影像及該重建模型產生一重建影像；以該處理器依據該目標影像及該重建影像分別執行該第一差異演算法及該第二差異演算法以分別產生一第一差異影像及一第二差異影像；以及以該處理器依據該第一差異影像及該第二差異影像執行一像素尺度運算以產生該第二標記。
如請求項8所述的訓練缺陷偵測器的方法，其中在依據該目標影像及該第二標記執行該機器學習演算法以校正該缺陷偵測器之前，更包括：以該處理器依據該第一參考影像及該第一標記訓練一神經網路模型，該神經網路模型包括一優化網路；以及以該優化網路依據該目標影像選擇性地移除該第二標記。