TWI694250B

TWI694250B - 表面缺陷偵測系統及其方法

Info

Publication number: TWI694250B
Application number: TW108109545A
Authority: TW
Inventors: 陳佩君; 陳維超; 林世嵩
Original assignee: 英業達股份有限公司
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2020-05-21
Also published as: TW202035975A

Abstract

一種表面缺陷偵測方法，適用於一物件之一表面，所述的方法包括：以一攝像裝置取得該表面之一影像，以一計算裝置執行一深度學習演算法以從該影像中選取多個定界框及輸出關聯於這些定界框的多個特徵參數，其中每個定界框中包含該表面之一可能缺陷，以及以該計算裝置根據該群定界框及該特徵參數執行一分類判定演算法，以決定該表面是否符合一規格。

Description

表面缺陷偵測系統及其方法

本發明係關於缺陷檢測，特別是一種用於物件的表面的缺陷偵測系統及其方法。

在例如筆記型電腦或平板電腦之類的電腦出貨之前，必須由品管人員檢查是否有表面缺陷。品管人員檢查是否有規格文件中定義的刮痕、凹痕或其他表面缺陷。如果表面缺陷的類型及其嚴重程度超出規格中允許的範圍，則此電腦被認為是不合格；反之，如果表面缺陷的類型及其嚴重程度落在規格中允許的範圍內，則此電腦「通過」表面缺陷檢測。

傳統上，表面缺陷檢測由人工檢測員執行。他們閱讀並遵循檢測規格文件以決定受檢的電腦是否通過。這種表面缺陷檢查工作不只需要大量的人力，而且採用人工檢測員還有三個缺點。

第一是「不精確」。人眼無法進行精確測量，尤其是在非常小的範圍內。即使比較兩個相似的物體，人眼也可能沒發現一個物體略小於另一個物體。這點同樣體現在例如表面粗糙度，尺寸以及任何需要測量的其他因素。儘管檢測規格文件的形式通常係尺寸閾值，但人類視覺仍無法作為完成任務的精確工具。

第二是「不可靠」。判斷檢測規格中定義的某些表面缺陷需要非常精細的視覺。檢測可以非常複雜，例如：極小的尺寸；或者非常棘手，例如：容易與電腦表面紋理混淆。另外，眾所周知人類的眼睛可能被錯覺欺騙。因此，人類視覺檢查不總是可靠。

第三是「不一致」。人類容易疲勞或注意力不集中。例如，當人工檢測員輪班即將結束時，他或她可能會感到疲倦或失焦，因此沒檢測出表面缺陷，而將有缺陷的電腦當作正常產品放行。從檢查站出來的電腦品質隨著時間改變。不同的人工檢測員也有不同的判斷標準，從而導致檢查站出來的產品質量變動。

另一方面，在傳統用於SMT產線或印刷電路板的缺陷檢測方式例如模板匹配（template matching）或電腦視覺（computer vision）等技術。然而，上述技術容易出現幾何套合誤差（geometric registration error），而且在缺陷類型數量增加時也難以更新配置，而當缺陷無法用幾何語言或規則精確描述時，上述技術也無法因應。雖然，人工檢測員仍然可以發現未對齊樣本中的缺陷，或規則不易描述的缺陷，例如指紋或污垢造成的表面污染，以及磨損或划痕造成的缺陷。然而，人工檢測員也有前文述及的缺點。整體而言，無論是人工檢測員、模板匹配或是電腦視覺技術皆無法完全勝任表面缺陷偵測流程中所有需求。

有鑑於此，本發明提出基於機器學習（machine learning，ML）為基礎的視覺辨識系統用於電腦的表面缺陷檢測。本發明包含系統及方法以達到自動表面缺陷檢測及分類的目標。

依據本發明一實施例所敘述的一種表面缺陷偵測方法，適用於一物件之一表面，所述的方法包括：以一攝像裝置取得該表面之一影像；以一計算裝置執行一深度學習演算法以從該影像中選取一定界框及輸出關聯於該定界框的一特徵參數，其中該定界框中包含該表面之一缺陷；以及以該計算裝置根據該定界框及該特徵參數執行一分類判定演算法，以決定該表面是否符合一規格。

依據本發明一實施例所敘述的一種表面缺陷偵測系統，適用於一物件之一表面，所述的系統包括：一攝像裝置，用以取得該表面之一影像；一計算裝置，電性連接該攝像裝置，該計算裝置用以執行一深度學習演算法以從該影像中選取一定界框及輸出關聯於該定界框的一特徵參數，其中該定界框中包含該表面之一缺陷；該計算裝置更用以根據該定界框及該特徵參數執行一分類判定演算法，以決定該表面是否符合一規格；以及一後端處理裝置，電性連接該計算裝置，該後端處理裝置用以根據該計算裝置之判定結果執行關聯於該表面之作動。

藉由上述架構，本發明所提出的基於深度學習的系統係模仿人類視覺系統，只要提供樣本訓練影像，便能夠檢測到規則難以描述的模糊缺陷。此外，基於機器學習的表面缺陷檢測更能夠檢測出各種不斷增加的缺陷，而不會犧牲檢測性能以及速度。

本發明所提出的基於深度學習的表面缺陷偵測系統及其方法比傳統的計算機視覺方法更能夠找到細微的缺陷。此外，本發明避免了人工檢測員的不精確、不可靠及不一致的缺點。在實際產線上，人工檢測員可依據檢測規範而容忍一定程度的缺陷。本發明在執行分配判定演算法時，同樣可基於機器學習的機制，從產線上的資料中學習而達到客製化判定的功效。

本發明所進行的缺陷檢測和分類可直接在產線上進行，而不必將影像資料發送到雲端伺服器去進行缺陷檢測。因此可不計入傳輸上的延遲。並且由於所有的檢測及分類運算皆是在本地端執行，因此傳輸大型影像資訊的成本及影像資料的安全性皆因此改善。

本發明所揭露的表面缺陷偵測系統及其方法，透過深度學習演算法圈選出物件的表面上的缺陷，再由分類判定演算法依據規格文件判定該物件的表面是否可通過表面缺陷測試。本發明可以偵測出各種式樣的表面缺陷避免人工檢測帶來的不精確、不可靠及不一致等缺點，並且維持快速的偵測速度。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

本發明適用於檢測物件L的一表面LS的缺陷。所述的表面LS基本上近似一平面，但該平面可能具有指定範圍內的高低落差。實務上，本發明可用於檢測筆記型電腦的頂蓋（Top Cover）、掌托（Palm rest，筆記型電腦內部表面除鍵盤和觸控板以外的平面區域）或平板電腦的觸控面板。

請參考圖1，其繪示本發明一實施例的表面缺陷偵測系統100的架構示意圖。所述的表面缺陷偵測系統100包括：攝像裝置10、計算裝置30及後端處理裝置50，其中計算裝置30電性連接攝像裝置10及後端處理裝置50，如圖1所示。

攝像裝置10用以取得物件L的表面LS之一影像。實務上，可增設一發光裝置在物件L的周圍形成一均勻光場，藉此讓攝像裝置10取得清楚的影像。

計算裝置30依據表面LS的影像決定表面LS是否符合一規格。換言之，計算裝置30判斷表面LS上的缺陷數量或缺陷嚴重程度是否在規格定義的容忍範圍內。

後端處理裝置50用以根據計算裝置30之判定結果執行關聯於表面LS之作動。如圖1所示，後端處理裝置50例如係螢幕，可顯示計算裝置30的判斷結果供產線上的操作人員檢視。

詳言之，計算裝置30的判斷分為兩個階段：第一階段為基於深度學習的缺陷偵測，第二階段為基於機器學習的分類判定。第一階段的輸出資料將作為第二階段的輸入資料。

在第一階段，計算裝置30執行一深度學習演算法以從影像中選取複數個定界框（bounding box）及輸出關聯於這些定界框的複數個特徵參數，每一定界框中包含表面LS之一缺陷。此缺陷的類型可包括表面LS上之一刮傷、一磨損、一凹痕及一汙點等。

所述的深度學習演算法例如採用區域基礎的卷積神經網路（Region-based Convolutional Neural Network，R-CNN）經事先訓練得到的缺陷偵測模型。所述的區域基礎的卷積神經網路例如：Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO（You Only Look Once）或SSD（Single Shot Detection）。然而需注意的是，上述僅列舉可用於深度學習演算法的範例，而非用以限制本發明可採用的深度學習演算法。在本發明一實施例中，採用Faster R-CNN訓練缺陷偵測模型，其在辨識速度及準確率上皆具有良好的表現。

在本發明一實施例中，定界框為矩形。然而，若採用可圈選出缺陷形狀的深度學習演算法，則定界框也可以是不規則形。特徵參數包括矩形定界框之面積、對角線長度、信心指數及缺陷類型。信心指數例如以百分比方式呈現定界框內缺陷的符合程度。

在第二階段，計算裝置30根據第一階段被輸出的定界框及特徵參數執行一分類判定演算法，以決定表面LS是否符合一規格。

在一實施例中，計算裝置30將定界框數量及一面積比例作為輸入資料。定界框數量是在第一階段中被選取的定界框個數。面積比例是在第一階段中被選取的定界框之面積總和與表面LS之面積之比例。然而，本發明並不限制只採用上述兩個維度的資料執行分類判定演算法。

所述的分類判定演算法例如採用決策樹（Decision Tree）、支援向量機（Support Vector Machine，SVM）、及K-近鄰演算法（K Nearest Neighbor），KNN）其中之一者經事先機器訓練得到的二元分類判定模型，其用以判定表面LS通過或不通過。在本發明一實施例中，採用SVM訓練分類判定模型。

在產線上，計算裝置30例如採用NVIDIA Jetson TX2套件，其可從雲端伺服器載入訓練後的Faster R-CNN及SVM模型。在實際檢測時，不需再行連線至伺服器，而是在產線上即時地針對表面LS上的刮痕等缺陷進行判定，因此增加缺陷判定的速度，同時也節省額外傳輸影像至雲端伺服器的時間及成本。然而需注意的是，本發明所述的計算裝置30亦可以是雲端伺服器本身。本發明對於計算裝置30的硬體類型並不特別限制。

請參考圖2，其係繪示本發明一實施例的表面缺陷偵測方法的流程。請參考步驟S1：攝像裝置10取得物件L之表面LS的一影像。

請參考步驟S2：計算裝置30執行一深度學習演算法以從影像中選取一定界框及輸出關聯於定界框的一特徵參數，其中定界框中包含表面LS之一缺陷。

請參考圖3，其係深度學習演算法在表面LS的影像上標示定界框B1~B4及例外區域B5的示意圖。定界框B1圍繞一刮痕。定界框B2圍繞一磨損或一汙痕。需注意的是，深度學習演算法對於每個缺陷皆單獨標記，無論標示出的定界框是否重疊。例如，圖3中有重疊部分的定界框B3和B4分別屬於兩個缺陷。

請參考步驟S3：計算裝置30根據定界框及特徵參數執行一分類判定演算法，以決定表面LS是否符合一規格。

請參考步驟S4：後端處理裝置根據計算裝置30之判定結果執行關聯於表面LS之作動。例如以螢幕顯示判定結果，或以輸送裝置區分通過與不通過的表面LS。

於本發明另一實施例，在步驟S1取得影像之前，更包括：以一發光裝置在物件L的周圍形成一均勻光場。藉此，可減少環境光影響攝像裝置10取得表面LS的影像。

於本發明另一實施例，在步驟S2執行深度學習演算法之前，更包括：以計算裝置30針對影像設置一例外區域（如圖3的B5）；且所選取之定界框與例外區域無重疊。例外區域B5例如是筆記型電腦上蓋的廠牌名稱。深度學習演算法針對該例外區域B5不做任何缺陷偵測。

於本發明另一實施例，在步驟S2執行深度學習演算法之前，更包括：以一伺服器取得複數個訓練影像及對應的訓練參數。

所述的訓練影像的來源包括具有缺陷之表面LS之影像及不具有缺陷之表面LS之影像。在初次訓練時，有缺陷的訓練影像至少需500張，而不具缺陷的訓練影像至少需100張。藉此讓深度學習演算法學習如何辨識出缺陷及其各種型態。需注意的是，上述影像張數的數量僅為範例，而非作為本發明之一限制。

訓練參數包括具有缺陷之訓練影像標註的樣本定界框及對應的缺陷類型標籤，樣本定界框是包含缺陷整體之一矩形。

伺服器在取得如上所述的訓練影像及對應的訓練參數之後，即可依據這些訓練資料執行深度學習演算法以產生一缺陷偵測模型。

另外，訓練影像各自具有第一影像或第二影像的標註，第一影像的標註代表該影像符合一規格；第二影像的標註代表該影像不符合該規格。舉例來說，原本不具有缺陷的100影像一般而言會被標註為第一影像，而在具有缺陷的500張影像中，可能有150張影像因為缺陷數量較少或缺陷面積總和較小而被標註為第一影像，其餘350張影像被標註為第二影像。因此，在所有600張訓練影像中，有250張影像被標註為第一影像，有350張影像被標註為第二影像。伺服器依據這些訓練影像與它們各自的標註執行分類判定演算法，而產生分類判定模型。

計算裝置30從伺服器載入訓練完成的缺陷偵測模型及分類判定模型，並且在步驟S2及步驟S3分別執行這兩個模型，以執行對於表面LS的表面缺陷偵測。

實務上，缺陷偵測模型可以將實際檢測所用的資料作為訓練資料以更新模型，藉此提升缺陷偵測的準確度。

另外，在訓練過程中，可將訓練影像先行劃分成多個子影像，以減少訓練時伺服器處理的資料吞吐量。

綜合以上所述，本發明所揭露的表面缺陷偵測系統及其方法，透過深度學習演算法可精確地標示出物件的表面上的各種型態缺陷，並由分類判定演算法依據規格文件判定該表面是否可通過表面缺陷測試。本發明可以偵測出各種式樣的表面缺陷避免人工檢測帶來的不精確、不可靠及不一致等缺點，並且維持快速的偵測速度。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100:表面缺陷偵測系統 10:攝像裝置 30:計算裝置 50:後端處理裝置 L:物件 LS:物件表面 S1~S4:步驟 B1~B4:定界框 B5:例外區域

圖1係依據本發明一實施例所繪示的表面缺陷偵測系統的架構圖。圖2係依據本發明一實施例所繪示的表面缺陷偵測方法的流程圖。圖3係繪示在物件的表面上標註的定界框及例外區域。

S1~S4:步驟

Claims

一種表面缺陷偵測方法，適用於一物件之一表面，所述的方法包括：以一攝像裝置取得該表面之一影像；以一計算裝置執行一深度學習演算法以從該影像中選取一定界框及輸出關聯於該定界框的一特徵參數，其中該定界框中包含該表面之一缺陷；以及以該計算裝置根據該定界框及該特徵參數執行一分類判定演算法，以決定該表面是否符合一規格。
如請求項1所述的表面缺陷偵測方法，其中該深度學習演算法係一區域基礎的卷積神經網路（R-CNN）。
如請求項2所述的表面缺陷偵測方法，其中該區域基礎的卷積神經網路係Fast R-CNN、Faster R-CNN、Mask R-CNN或YOLO。
如請求項1所述的表面缺陷偵測方法，其中該定界框係一矩形，且該特徵參數包括該矩形之一面積、該矩形之一對角線長度、一信心指數及一缺陷類型，該缺陷類型包括該表面上之一刮傷、一磨損、一凹痕及一汙點。
如請求項1所述的表面缺陷偵測方法，其中該分類判定演算法係Decision Tree、SVM、及KNN其中之一者。
如請求項1所述的表面缺陷偵測方法，且在該計算裝置執行該分類判定演算法之前，更包括：以該計算裝置從該影像中選取另至少一定界框及輸出關聯於該至少一定界框的另至少一特徵參數，其中該至少一定界框中包含該表面之另至少一缺陷；計算由該深度學習演算法所選取的該些定界框之一數量；計算由該深度學習演算法所選取的該些定界框之面積總和與該表面之面積之一比例；以及以該計算裝置依據該數量及該比例執行該分類判定演算法以決定該表面是否符合該規格。
如請求項1所述的表面缺陷偵測方法，其中在執行該深度學習演算法之前，更包括：以該計算裝置針對該影像設置一例外區域；且所選取之該定界框與該例外區域無重疊。
如請求項1所述的表面缺陷偵測方法，其中在取得該影像之前更包括：以一發光裝置在該物件的周圍形成一均勻光場。
如請求項1所述的表面缺陷偵測方法，在執行該深度學習演算法之前更包括：以一伺服器取得複數個訓練影像，其中該些訓練影像包括具有該缺陷之該表面之影像及不具有該缺陷之該表面之影像；每一具有該缺陷之該些訓練影像中具有一樣本定界框及一缺陷類型，該樣本定界框係包含該缺陷整體之一矩形，該缺陷類型關聯於該缺陷；每一該些訓練影像更包括一第一影像標註或一第二影像標註，其中該第一影像標註代表該訓練影像符合該規格，該第二影像之標註代表該訓練影像不符合該規格；以該伺服器依據該些訓練影像、該些樣本定界框及該些缺陷類型執行該深度學習演算法以產生一缺陷偵測模型；以該伺服器依據該些訓練影像、該第一影像標註及該第二影像標註執行該分類判定演算法以產生一分類判定模型；以及以該計算裝置從該伺服器載入該缺陷偵測模型及該分類判定模型。
一種表面缺陷偵測系統，適用於一物件之一表面，所述的系統包括：一攝像裝置，用以取得該表面之一影像；一計算裝置，電性連接該攝像裝置，該計算裝置用以執行一深度學習演算法以從該影像中選取一定界框及輸出關聯於該定界框的一特徵參數，其中該定界框中包含該表面之一缺陷；該計算裝置更用以根據該定界框及該特徵參數執行一分類判定演算法，以決定該表面是否符合一規格；以及一後端處理裝置，電性連接該計算裝置，該後端處理裝置用以根據該計算裝置之判定結果執行關聯於該表面之作動。
如請求項10所述的表面缺陷偵測系統，其中該深度學習演算法係一區域基礎的卷積神經網路；該分類判定演算法係Decision Tree、SVM、及KNN其中之一者；以及該計算裝置更用以從該影像中選取另至少一定界框及輸出關聯於該至少一定界框的另至少一特徵參數，並依據一數量及一比例執行該分類判定演算法；其中該至少一定界框中包含該表面之另至少一缺陷；該數量係關聯於該深度學習演算法所選取的該些定界框；且該比例係關聯於該深度學習演算法所選取的該些定界框之面積總和與該表面之面積。