TWI724590B

TWI724590B - 自動缺陷檢測系統及檢測方法

Info

Publication number: TWI724590B
Application number: TW108138712A
Authority: TW
Inventors: 黃勝達
Original assignee: 精信精密工業股份有限公司
Priority date: 2019-10-25
Filing date: 2019-10-25
Publication date: 2021-04-11
Also published as: TW202117303A

Abstract

一種自動缺陷檢測系統，包含承載平台，用以承載工件；影像擷取模組，位於承載平台上方，用以對工件進行影像擷取；驅動單元用於驅動影像擷取模組相對於承載平台移動；以及判斷模組電性連接驅動單元及影像擷取模組，判斷模組載入工件的三維模型，依據三維模型將表面切割為多個景深區域。判斷模組控制驅動單元，驅動影像擷取模組相對於承載平台移動，對各景深區域擷取多個影像，判斷模組將景深區域結合為待檢測影像，分析待檢測影像是否具有缺陷，以判斷工件上是否存在缺陷。

Description

自動缺陷檢測系統及檢測方法

本申請案涉及缺陷檢測領域，尤其是涉及一種自動缺陷檢測系統及檢測方法。

對於一般工件，例如車輛的金屬把手等，由於工件的形狀多變且對於出口品質要求高，通常需要以檢驗人員進行檢驗。有經驗的檢驗人員養成不易、人力檢查標準難以統一、且每一工件檢查時間較長，不同工件需要不同的時間。此外，目前人力上平均檢出瑕疵比例約為17%，仍有極大的誤差。

雖然市面上已有自動化檢驗的設備，透過工業相機擷取待檢測工件的影像，以進行影像分析找出瑕疵。但一般工業相機無法自動對焦，鏡頭焦距調整的範圍相當有限，當工件屬於非平面且非固定形狀時，因為景深的問題使得所擷取的影像部份清楚部份模糊，並且立體工件也讓取出的影像會有部份變形(distortion)，而影響瑕疵檢測的正確性。因此，對於立體工件，瑕疵檢測的影像擷取不容易達成。

在此，為了解決現有技術上的問題，提供一種自動缺陷檢測系統，包含承載平台、影像擷取模組、驅動單元、以及判斷模組。承載平台用以承載工件；影像擷取模組位於承載平台上方，用以對工件進行影像擷取；驅動單元用於驅動影像擷取模組相對於承載平台移動；以及判斷模組電性連接驅動單元及影像擷取模組，判斷模組載入工件的三維模型，依據三維模型將表面切割為多個景深區域；其中，判斷模組控制驅動單元，驅動影像擷取模組相對於承載平台移動，對各景深區域擷取多個影像，判斷模組將景深區域的多個影像結合為待檢測影像，分析待檢測影像是否具有缺陷，以判斷工件上是否存在缺陷。

較佳地，判斷模組依據三維模型分析表面的起伏狀態、傾斜程度，以及影像擷取模組影像擷取模組的視角，將表面切割為景深區域。

較佳地，判斷模組計算出各景深區域的中心點以作為影像擷取模組的對焦點，並得到每一個中心點到影像擷取模組的景深值。

較佳地，判斷模組關連各景深區域的相對位置以及景深值，產生圖資資料，傳輸至驅動單元，以帶動影像擷取模組逐一擷取各景深區域的影像。

較佳地，自動缺陷檢測系統更包含：入料機構，承載平台位於輸送機構上，入料機構將工件設置於承載平台上；以及輸送機構與出料機構，當完成缺陷檢驗後，輸送機構將工件輸送至出料機構；出料機構至少包含一控制器、一良品通道及一不良品通道，控制器通訊連接判斷模組，當判斷模組判斷工件不存在缺陷時，控制器控制良品通道開啟，當工件存在缺陷時，控制不良品通道開啟；當判斷模組判斷出工件上存在缺陷時，更紀錄一缺陷位置及一缺陷類型，不良品通道包含多個缺陷閘道，控制器依據缺陷類型，開啟缺陷閘道之一；且不良品通道更包含一輸送帶及多個感測器，存在缺陷的工件經輸送帶運送，缺陷閘道設置於輸送帶上，感測器分別位於缺陷閘道的一側，以感測存在缺陷的工件是否進入對應的缺陷閘道中。

本發明還提出一種自動缺陷檢測方法，用於對工件的表面進行缺陷檢測，包含景深區域定義步驟，依據工件的三維模型，將表面切割為多個景深區域；影像擷取步驟，對各景深區域擷取多個影像；以及判斷步驟，將景深區域的多個影像結合為待檢測影像，分析待檢測影像是否具有缺陷，以判斷工件上是否存在缺陷。

較佳地，將表面切割為多個景深區域的步驟包含依據三維模型分析表面的起伏狀態、傾斜程度，以及進行影像擷取的視角，將表面切割為景深區域。

較佳地，對各景深區域擷取多個影像的步驟包含：計算出各景深區域的中心點以作為擷取影像的對焦點，並得到對每一個中心點進行影像擷取的景深值。

較佳地，自動缺陷檢測方法更包含各景深區域的相對位置以及景深值，產生圖資資料，以逐一擷取各景深區域的影像。

較佳地，自動缺陷檢測方法更包含出料步驟，當判斷步驟中判斷工件不存在缺陷時，工件由輸送機構輸送至良品通道出料，而當判斷步驟中判斷工件存在缺陷時，工件由輸送機構輸送至不良品通道出料；以及分類步驟，當在判斷步驟中判斷工件存在缺陷時，更紀錄缺陷位置，並區分及紀錄缺陷類型；其中，當判斷步驟中判斷工件存在缺陷時，工件依據分類步驟所區分出的缺陷類型，輸送至不良品通道對應的一缺陷閘道。

透過取得每個工件的圖資資料，將位於同一景深值範圍的位置定義出景深區域逐一取像，可以避免影像擷取模組對焦時產生誤差，而能達到清楚的影像擷取。如此，自動缺陷檢測系統及方法可以應用於各種不同形狀的工件，達到更加精確的判斷、同時縮短了檢驗的時間、更節省了人力成本。

參閱圖1所示，自動缺陷檢測系統1包含承載平台10、影像擷取模組20、驅動單元30、以及判斷模組40。

如圖1所示，承載平台10用以承載工件100。影像擷取模組20位於承載平台10上方，可以對工件100的表面進行影像擷取。驅動單元30連接承載平台10或影像擷取模組20，以驅動影像擷取模組20相對於承載平台10移動，對工件100進行影像擷取。判斷模組40電性連接驅動單元30及影像擷取模組20。在此，圖1所示的驅動單元30是機械手臂，連接影像擷取模組20，帶動影像擷取模組20移動，然而，這僅為例示，而不限於此。

在進行影像擷取之前，必須工件100的表面進行分割，以切割為多個景深區域P。每一景深區域P相對於承載平台10的高度不同，因此對於影像擷取模組20也形成不同景深。

圖2為景深區域P的示意圖，圖中所示的景深區域P包含兩種不同的景深，但不以此為限。圖3A為次表面S1、S2的示意圖。圖3B為景深區域P的示意圖。同時參見圖1至圖3B。切割景深區域P的方法說明如下。

首先，判斷模組40載入工件100的三維模型，例如3D的CAD檔，依據工件100於承載平台10上放置的方向決定影像擷取模組20預計進行擷取影像的表面。接著，判斷模組40依據三維模型分析表面的起伏狀態、傾斜程度、影像擷取模組20的視角（Field of View，FOV），將表面切割為多個景深區域P（如圖3A以及圖3B中以圓圈及打叉標記的小區域）。每一景深區域P的大小以不超過影像擷取模組20的視角範圍為原則。因此，判斷模組40可以依據表面的起伏狀態、傾斜程度，先將表面切割為次表面S1、S2，再依據影像擷取模組20的視角，進一步切割次表面S1、S2為多個景深區域P。

景深區域P預計視為一個平面。避免立體起伏造成不同景深產生對焦不完全的問題，同一景深區域P中的景深值差距必須夠小，例如不超過1mm (100條)為原則。判斷模組40計算出景深區域P的中心點，以作為影像擷取模組20的對焦點，以得到每一個中心點到影像擷取模組20的鏡頭的工作距離 (working distance，WD)，亦即景深值。接著，判斷模組40關連景深區域P的相對位置以及景深值，產生圖資資料。判斷模組40傳輸圖資資料至驅動單元30，以帶動影像擷取模組20逐一擷取各個景深區域P的影像。

最後，判斷模組40將景深區域P結合為待檢測影像（如圖2），分析待檢測影像是否具有缺陷，而判斷工件100上是否存在缺陷。一般而言，判斷模組40更儲存有多個缺陷影像，判斷模組40比對缺陷影像與待檢測影像，以分析待檢測影像是否具有缺陷。

圖3A以及圖3B是以次表面S1、S2或景深區域P為平面例示，而非用以限制。實際上，每一景深區域P中的景深值範圍的選擇，可以是景深值完全相同，也可以是景深值在一定的範圍內（如前所述不超過1mm），以影像擷取模組20可以擷取清晰影像而不會局部模糊為前提。因此，當次表面S1、S2為斜面時，次表面S1、S2會被進一步切割為更多的次表面S1、S2，以使得次表面S1、S2中的景深值範圍落在一定數值之內，然後再進一步切割為景深區域P。所以，斜面的斜率越大時，對應的景深區域P面積應越小，以避免斜率的影響而造成影像擷取模組20的擷取影響的對焦問題。

透過定義景深區域P，可以確保影像擷取的影像品質，而不受到工件100形狀的限制。為了確保光線照明，來避免影像分析時的誤差，影像擷取模組20包含鏡頭單元21及環型光源23，環型光源23設置於鏡頭單元21周圍以對工件100照明，確保每個景深區域P的影像都能被清晰的擷取。

更進一步地，判斷模組40更依據缺陷影像及多個合格影像進行深度學習演算法進行人工智慧演算，而獲得判斷演算法，以判斷影像擷取模組20所擷取的影像是否存在缺陷。也就是，判斷模組40可以透過各種缺陷的影像進行訓練，而能藉由影像的特徵，判斷是否具有缺陷。

如圖4所示，自動缺陷檢測系統1更包含入料機構50、輸送機構60及出料機構70。承載平台10位於輸送機構60上。入料機構50將工件100設置於承載平台10上，並透過輸送機構60移動至影像擷取模組20的下方，當完成缺陷檢驗後，輸送機構60將工件100輸送至出料機構70。判斷模組40還可以將相關檢測資料，紀錄於工件100對應的條碼、或是近場通訊標籤(NFC Tag)中，以利後續的掃描分類。在此，入料機構50是以機械手臂做為例示，但實際上並不限於此。

在一些實施例中，例如，工件100體積較小、或是出貨的量大時，出料機構70可以進一步區分良品、不良品。出料機構70包含良品通道71、不良品通道73、以及控制器75，控制器75通訊連接判斷模組40，當判斷模組40判斷工件100不存在缺陷時，控制器75控制良品通道71開啟，當工件100存在缺陷時，控制不良品通道73開啟。控制器75可以為類似軌道轉輒器的信號開關，可以改變輸送的行徑路線，如此，以區隔良品、不良品的出料路線。

如圖5所示，在一些實施例中，判斷模組40判斷出工件100上存在缺陷時，更紀錄缺陷位置及缺陷類型，缺陷類型可以為刮傷、凹點、白霧、顆粒、麻點、亮痕、髒汙等等。不良品通道73包含多個缺陷閘道733，控制器75依據缺陷類型，開啟缺陷閘道733之一，使得具有特定缺陷類型的工件100，被分類到特定的出料通道。

如圖5所示，不良品通道73更包含輸送帶731及多個感測器735，存在缺陷的工件100經輸送帶731運送，缺陷閘道733設置於輸送帶731上，感測器735分別位於缺陷閘道733的一側，以感測存在缺陷的工件100是否進入對應的缺陷閘道733中。此時，缺陷閘道733上可以具有擋板，控制器75可以控制缺陷閘道733上的擋板開啟或關閉，以開啟對應缺陷類型的缺陷閘道733。

如圖6所示，自動缺陷檢測方法包含三維模型輸入步驟S10、景深區域定義步驟S20、影像擷取步驟S30、以及判斷步驟S40。三維模型輸入步驟S10是將工件100的三維模型，例如3D的CAD檔，輸入判斷模組40。判斷模組40可為但不限定於一般桌上型電腦、工業電腦或工作站。

參見圖3A及圖3B，判斷模組40載入三維模型後，執行景深區域定義步驟S20，判斷模組40分析三維模型，依據工件100的表面的起伏狀態、傾斜程度，先將表面切割為次表面S1、S2，接著再依據影像擷取進行影像擷取的視角，再進一步切割次表面S1、S2為多個景深區域P。景深區域P的大小以不超過影像擷取模組20的視角範圍為原則，且景深區域P中的景深值差距必須夠小，例如不超過1mm (100條)為原則。景深區域定義步驟S20還包含判斷模組40計算出各景深區域P的中心點，以作為擷取影像的對焦點，並得到對每一個中心點進行影像擷取的景深值。

影像擷取步驟S30是判斷模組40關連景深區域P的相對位置以及景深值，產生圖資資料。接著。判斷模組40傳輸圖資資料至驅動單元30，以帶動影像擷取模組20相對於承載平台10移動，逐一擷取各個景深區域P的影像。驅動對各景深區域P擷取多個影像。

判斷步驟S40是將判斷模組40將景深區域P結合為一待檢測影像（如圖2），分析待檢測影像是否具有缺陷，而判斷工件100上是否存在缺陷。

進一步地，同時參見圖4，自動缺陷檢測方法S1更包含出料步驟S50，當判斷步驟S40中判斷工件100不存在缺陷時，執行步驟S51，工件100由輸送機構60輸送至良品通道71出料，而當判斷步驟S40中判斷工件100存在缺陷時，執行步驟S53，工件100由輸送機構60輸送至不良品通道73出料。

再次參見圖4及圖6，在一些實施例中，自動缺陷檢測方法S1更包含分類步驟S60，當在判斷步驟S40中判斷工件100存在缺陷時，更紀錄一缺陷位置，並區分及紀錄缺陷類型。判斷模組40還可以將相關檢測資料，紀錄於工件100對應的工單條碼、或是近場通訊標籤(NFC Tag)中，以利後續的掃描分類。

再次參閱圖5及圖6，在一些實施例中，判斷步驟S40中判斷工件100存在缺陷時，若經過分類步驟S60，還可以執行步驟S55，工件100依據分類步驟S60所區分出的缺陷類型，輸送不良品通道73對應的缺陷閘道733中。

綜上所述，本申請案透過取得每個工件100的圖資資料，將位於同一景深值範圍的位置定義出景深區域P，可以避免影像擷取模組20對焦時產生誤差，以達到清楚的影像擷取。如此，自動缺陷檢測系統1及方法可以應用於各種不同形狀的工件100，達到更加精確的判斷、同時縮短了檢驗的時間、更節省了人力成本。

1:自動缺陷檢測系統 10:承載平台 20:影像擷取模組 21:鏡頭單元 23:環型光源 30:驅動單元 40:判斷模組 50:入料機構 60:輸送機構 70:出料機構 71:良品通道 73:不良品通道 75:控制器 731:輸送帶 733:缺陷閘道 735:感測器 100:工件 P:景深區域 S1、S2:次表面 S1~S60:步驟

圖1為自動缺陷檢測系統一實施例的立體示意圖。圖2為景深區域P的示意圖。圖3A為次表面S1、S2的示意圖。圖3B為景深區域P的示意圖。圖4為自動缺陷檢測系統另一實施例的立體示意圖。圖5為圖4中不良品通道一實施例的立體示意圖。圖6為自動缺陷檢測方法的流程圖。

1:自動缺陷檢測系統

10:承載平台

20:影像擷取模組

21:鏡頭單元

23:環型光源

30:驅動單元

40:判斷模組

100:工件

Claims

一種自動缺陷檢測系統，用於對一工件的一表面進行缺陷檢測，包含：一承載平台，用以承載該工件；一影像擷取模組，位於該承載平台上方，用以對該工件進行一影像擷取；一驅動單元，用於驅動該影像擷取模組相對於該承載平台移動；以及一判斷模組，電性連接該驅動單元及該影像擷取模組，該判斷模組載入該工件的一三維模型，依據該三維模型將該表面切割為多個景深區域；其中，該判斷模組進一步控制該驅動單元，驅動該影像擷取模組相對於該承載平台移動，對各該景深區域擷取多個影像，該判斷模組將該些景深區域的該多個影像結合為一待檢測影像，分析該待檢測影像是否具有一缺陷，以判斷該工件上是否存在該缺陷。
如請求項1所述之自動缺陷檢測系統，其中，該判斷模組依據該三維模型分析該表面的起伏狀態、傾斜程度，以及該影像擷取模組的一視角，將該表面切割為該些景深區域。
如請求項2所述之自動缺陷檢測系統，其中，該判斷模組計算出各該景深區域的一中心點，以作為該影像擷取模組的對焦點，並得到每一個該中心點到該影像擷取模組的一景深值。
如請求項3所述之自動缺陷檢測系統，其中，該判斷模組關連各該景深區域的一相對位置以及該景深值，產生一圖資資料，傳輸至該驅動單元，以帶動該影像擷取模組逐一擷取各該景深區域的影像。
如請求項1所述之自動缺陷檢測系統，更包含：一入料機構，該承載平台位於一輸送機構上，該入料機構將該工件設置於該承載平台上；以及該輸送機構與一出料機構，當完成缺陷檢驗後，該輸送機構將該工件輸送至該出料機構；該出料機構至少包含一控制器、一良品通道及一不良品通道，該控制器通訊連接該判斷模組，當該判斷模組判斷該工件不存在缺陷時，該控制器控制該良品通道開啟，當該工件存在缺陷時，控制該不良品通道開啟；當該判斷模組判斷出該工件上存在缺陷時，更紀錄一缺陷位置及一缺陷類型，該不良品通道包含多個缺陷閘道，該控制器依據該缺陷類型，開啟該些缺陷閘道之一；且該不良品通道更包含一輸送帶及多個感測器，存在缺陷的該工件經該輸送帶運送，該些缺陷閘道設置於該輸送帶上，該些感測器分別位於該些缺陷閘道的一側，以感測存在缺陷的該工件是否進入對應的該缺陷閘道中。
一種自動缺陷檢測方法，用於對一工件的一表面進行缺陷檢測，包含：一景深區域定義步驟，依據該工件的一三維模型，將該表面切割為多個景深區域；一影像擷取步驟，分別對各該景深區域進行一影像擷取，以擷取多個影像；以及一判斷步驟，將該些景深區域的該多個影像結合為一待檢測影像，分析該待檢測影像是否具有一缺陷，以判斷該工件上是否存在該缺陷。
如請求項6所述之自動缺陷檢測方法，其中，將該表面切割為多個景深區域的步驟包含依據該三維模型分析該表面的起伏狀態、傾斜程度，以及進行該影像擷取的一視角，將該表面切割為該些景深區域。
如請求項7所述之自動缺陷檢測方法，其中，對各該景深區域擷取多個影像的步驟包含：計算出各該景深區域的一中心點，以作為擷取該些影像的對焦點，並得到對每一個該中心點進行該影像擷取的一景深值。
如請求項8所述之自動缺陷檢測方法，更包含各該景深區域的一相對位置以及該景深值，產生一圖資資料，以逐一擷取各該景深區域的影像。
如請求項6所述之自動缺陷檢測方法，更包含：一出料步驟，當該判斷步驟中判斷該工件不存在該缺陷時，該工件由一輸送機構輸送至一良品通道出料，而該當判斷步驟中判斷該工件存在缺陷時，該工件由該輸送機構輸送至一不良品通道出料；以及一分類步驟，當在該判斷步驟中判斷該工件存在該缺陷時，更紀錄一缺陷位置，並區分及紀錄一缺陷類型；其中，當該判斷步驟中判斷該工件存在該缺陷時，該工件依據該分類步驟所區分出的該缺陷類型，輸送至該不良品通道對應的一缺陷閘道。