TWI748753B

TWI748753B - 表面缺陷識別系統

Info

Publication number: TWI748753B
Application number: TW109140179A
Authority: TW
Inventors: 蔡奇謚; 陳浩瑋; 陳冠任
Original assignee: 佳大建材工業股份有限公司
Priority date: 2020-11-17
Filing date: 2020-11-17
Publication date: 2021-12-01
Also published as: TW202221569A

Abstract

本案提供一種表面缺陷識別系統，包含至少一影像擷取裝置以及一計算機。影像擷取裝置係擷取一目標物之至少一表面影像，計算機根據一神經網路模型對表面影像進行運算，以判斷表面影像是否存在缺陷。此神經網路模型包含一特徵擷取層以及一缺陷識別層，特徵擷取層包含複數串接之特徵擷取模組，以利用特徵擷取模組對表面影像進行特徵擷取，以輸出複數提取特徵圖；其中每一特徵擷取模組包含一使用3*3卷積核之卷積模組以及一殘差模組。缺陷識別層連接特徵擷取層，並根據提取特徵圖進行分類，以產生一識別結果。

Description

表面缺陷識別系統

本案係有關一種缺陷識別技術，特別是關於一種結合神經網路模型的表面缺陷識別系統。

為了朝向完全自動化的方向發展，工廠製造大多已經投入機器生產來取代人力生產，以實現降低人力成本和提高效率的目標。而為了確保生產後產品的整體品質，生產線的後端通常需要進行缺陷識別過程，但是目前許多製造業仍然使用人工檢查進行缺陷識別，例如，被大量應用於現今建築材料的矽酸鈣板，每條生產線都需要操作員手動檢查矽酸鈣板的表面缺陷。這種人工檢查方法除了具有主觀判別與花費更多人力成本的缺點之外，其生產效率亦有限，且長時間的檢查也會讓操作員識別錯誤的發生率增加，不利自動化生產。

有鑒於此，本案提出一種表面缺陷識別系統，包含至少一影像擷取裝置以及一計算機，影像擷取裝置係擷取一目標物之至少一表面影像，計算機電性連接影像擷取裝置，並根據一神經網路模型對表面影像進行運算，以判斷表面影像是否存在缺陷。此神經網路模型包含一特徵擷取層以及一缺陷識別層，特徵擷取層包含複數串接之特徵擷取模組，接收表面影像並對表面影像進行特徵擷取，以輸出複數提取特徵圖；缺陷識別層連接特徵擷取層，並根據提取特徵圖進行分類，以產生一識別結果。其中，每一特徵擷取模組包含一卷積模組及一殘差模組；卷積模組包含一第一二維卷積層、一第一批量歸一化層以及一第一激活函數層，第一二維卷積層使用3*3卷積核以及步幅為2進行採樣，並經過第一批量歸一化層之正規化處理與第一激活函數層的激活運算，以輸出複數第一中間特徵圖；殘差模組連接卷積模組且接收第一中間特徵圖，殘差模組包含一第二二維卷積層、一第二批量歸一化層以及一第二激活函數層，第二二維卷積層使用1*1卷積核以及步幅為1進行採樣，並經過第二批量歸一化層之正規化處理與第二激活函數層的激活運算，以產生一第二中間特徵圖，殘差模組係將第二中間特徵圖與第一中間特徵圖相加並輸出，使最後之輸出作為提取特徵圖。

依據一些實施例，在根據神經網路模型對表面影像進行運算之前，計算機更可對表面影像進行預處理，以調整並統一影像尺寸。

依據一些實施例，第一激活函數層係為參數式線性整流函數（Parametric Rectified Linear Unit，PReLU）；第二激活函數層係為線性整流函數（Rectified Linear Unit，ReLU）。

依據一些實施例，識別結果包含識別出的一缺陷類型，其中缺陷類型係為崩潰、髒污、不均勻或正常。

依據一些實施例，缺陷識別層包含一第三批量歸一化層、一第三激活函數層、一全局平均池化層以及一分類輸出層，第三批量歸一化層對提取特徵圖進行正規化處理，再經過第三激活函數層的激活運算產生複數最終特徵圖，全局平均池化層（Global average pooling layer）對最終特徵圖降維以產生複數特徵向量，分類輸出層將特徵向量轉換為對應缺陷類型之相對概率，以產生識別結果。

依據一些實施例，第三激活函數層係為線性整流函數（ReLU）；分類輸出層係使用一Softmax函數。

依據一些實施例，表面缺陷識別系統更包含一顯示器，顯示器電性連接計算機，以顯示識別結果。

依據一些實施例，表面缺陷識別系統更包含至少一發光元件，位於目標物上方且對應目標物。

綜上所述，本案係在神經網路模型中設置具有多層堆疊的特徵擷取層及缺陷識別層，並利用神經網路模型運算出目標物之表面是否有缺陷存在，以提供一個自動化的表面缺陷識別方式，使本案可以在提升識別率時，又同時維持運算速度，進而克服於傳統人工檢視表面缺陷所面臨到的缺失。因此，本案提出之表面缺陷識別系統可以完成目標物表面缺陷的實時識別，除了具有良好的識別性能表現之外，並可在高準確度的條件下，具有相當快速的運算處理能力。

圖1為根據本案一實施例之表面缺陷識別系統的方塊示意圖，圖2為根據本案一實施例之表面缺陷識別系統使用的硬體架構示意圖，請同時參閱圖1及圖2所示，一表面缺陷識別系統10包含至少一影像擷取裝置12、一計算機14以及一顯示器16，在此實施例係以二個影像擷取裝置12為例，但本案不限於此，可依據目標物18之尺寸而選擇適當數量之影像擷取裝置12。在一實施例中，計算機14可以為個人電腦、伺服器電腦、手持式或膝上型電子裝置、筆記型電腦等可以獨立運作的電子設備，但本案不以此為限。

如圖1及圖2所示，計算機14電性連接影像擷取裝置12及顯示器16。影像擷取裝置12係設置在目標物18的上方，以分別擷取目標物18之至少一表面影像。在此實施例中，由於目標物18面積較大，所以影像擷取裝置12會依序擷取複數表面影像，並將表面影像傳送至計算機14。並且，為確保影像擷取裝置12在拍攝表面影像時係具有足夠的亮度，在目標物18上方更可設置至少一發光元件20，在此係以四個發光元件20為例，發光元件20分別設置於影像擷取裝置12的前側與後側並對應照射目標物18，以提供足夠的光源，讓影像擷取裝置12可以清晰拍攝到目標物18的表面狀況。在取得表面影像之後，計算機14接收來自影像擷取裝置12的表面影像，並對表面影像進行預處理，以調整並統一影像尺寸，經過預處理後之表面影像會輸入至一神經網路模型22中，此神經網路模型22係為卷積神經網路（CNN）模型，使計算機14根據神經網路模型22對表面影像進行運算，以執行特徵擷取和表面缺陷識別，並據此判斷表面影像是否存在缺陷並輸出一識別結果。顯示器16接收識別結果並顯示識別結果，其中此識別結果包含識別出的一缺陷類型。

圖3為根據本案一實施例之神經網路模型的方塊示意圖，請同時參考圖1至圖3所示，神經網路模型22係建置在計算機14中，並透過計算機14進行運算，此神經網路模型22包含一特徵擷取層24以及一缺陷識別層26。特徵擷取層24包含複數串接之特徵擷取模組28，在此係以五個串接的特徵擷取模組28為例，但本案不限於此數量。底下係針對特徵擷取層24及缺陷識別層26分別詳細說明如後。

圖4為根據本案一實施例之特徵擷取模型的方塊示意圖，請同時參閱圖1至圖4所示，特徵擷取層24係接收表面影像並透過特徵擷取模組28對表面影像進行特徵擷取，以輸出對應表面影像之複數提取特徵圖。其中，每一特徵擷取模組28包含一卷積模組30以及一殘差模組32。卷積模組30包含一第一二維卷積層301、一第一批量歸一化層302以及一第一激活函數層303，第一二維卷積層301連接第一批量歸一化層302，且第一批量歸一化層302連接第一激活函數層303，第一二維卷積層301係使用3*3卷積核且有進行填充（padding），並以步幅為2進行採樣（第一個特徵擷取模組28採樣對象為表面影像，其餘特徵擷取模組28的採樣對象則為前一個特徵擷取模組28所輸出的特徵圖），之後再經過第一批量歸一化層302之正規化處理與第一激活函數層303的激活運算，以輸出複數第一中間特徵圖。殘差模組32連接卷積模組30且接收第一中間特徵圖，殘差模組32包含一第二二維卷積層321、一第二批量歸一化層322以及一第二激活函數層323，第二二維卷積層321連接第二批量歸一化層322，且第二批量歸一化層322連接第二激活函數層323。第二二維卷積層321係使用1*1卷積核且不進行填充，並以步幅為1進行採樣，再經過第二批量歸一化層322之正規化處理與第二激活函數層323的激活運算，以產生複數第二中間特徵圖，最後，殘差模組32將第二中間特徵圖與輸入之第一中間特徵圖相加並輸出，使最後之輸出作為提取特徵圖。其中，排列在第一個的特徵擷取模組28會接收表面影像並在卷積模組30及殘差模組32中進行前述的特徵擷取流程，並將擷取出來的特徵圖傳送至下一個特徵擷取模組28，再重複進行前述的特徵擷取流程，由於本實施例設置有五個特徵擷取模組28，所以會經過五層特徵擷取流程，使最後一個特徵擷取模組28得以輸出最終之提取特徵圖。

在一實施例中，第一激活函數層303係為參數式線性整流函數（PReLU）；以及第二激活函數層323係為線性整流函數（ReLU）。

圖5為根據本案一實施例之神經網路模型及其使用之缺陷識別層的方塊示意圖，請參閱圖5所示，缺陷識別層26連接特徵擷取層24，以接收來自特徵擷取層24輸出之提取特徵圖，並根據提取特徵圖進行分類，以產生識別結果輸出。詳言之，缺陷識別層26包含一第三批量歸一化層261、一第三激活函數層262、一全局平均池化層263以及一分類輸出層264，第三批量歸一化層261連接第三激活函數層262，第三激活函數層262連接全局平均池化層263，全局平均池化層263連接分類輸出層264。在缺陷識別層26中，第三批量歸一化層261對輸入之提取特徵圖進行正規化處理，再經過第三激活函數層262的激活運算而產生複數最終特徵圖；全局平均池化層263對最終特徵圖進行降維簡化，以產生複數特徵向量。分類輸出層264係使用一Softmax函數，且分類輸出層264設置維數之數量係與缺陷類型相同數量，以將這些特徵向量轉換為對應缺陷類型之相對概率，進而產生識別結果。在一實施例中，分類輸出層264可以根據缺陷類型之數量來對應調整維數，由於缺陷類型包含崩潰（crash）、髒污（dirty）、不均勻（uneven）或正常等四種，因此分類輸出層264的維數亦對應設置為四，識別結果則會包含崩潰、髒污、不均勻或正常的其中一種缺陷類型。

在一實施例中，第三激活函數層262係為線性整流函數（ReLU）。

在一實施例中，請同時參閱圖1及圖2所示，本案之表面缺陷識別系統10可以設置在生產線的後端，使製作完成之目標物18（例如矽酸鈣板）可位於傳送帶上而移動至影像擷取裝置12下方，並進行表面影像擷取及後續之運算處理，以進行即時的表面缺陷檢測。更進一步地，在計算機14輸出識別結果之後，更可另外發送一訊號，以供後續應用程序接收並進行後續處理，例如將具有缺陷之目標物進行回收。

因此，本案係在神經網路模型中設置具有多層堆疊的特徵擷取層及缺陷識別層，並利用神經網路模型運算出目標物之表面是否有缺陷存在，以提供一個自動化的表面缺陷識別方式，使本案可以在提升識別率時，又同時維持運算速度，進而克服於傳統人工檢視表面缺陷所面臨到的缺失。因此，本案提出之表面缺陷識別系統可以完成目標物表面缺陷的實時識別，除了具有良好的識別性能表現之外，並可在高準確度的條件下，具有相當快速的運算處理能力。

以上所述之實施例僅係為說明本案之技術思想及特點，其目的在使熟悉此項技術者能夠瞭解本案之內容並據以實施，當不能以之限定本案之專利範圍，即大凡依本案所揭示之精神所作之均等變化或修飾，仍應涵蓋在本案之專利範圍內。

10:表面缺陷識別系統 12:影像擷取裝置 14:計算機 16:顯示器 18:目標物 20:發光元件 22:神經網路模型 24:特徵擷取層 26:缺陷識別層 261:第三批量歸一化層 262:第三激活函數層 263:全局平均池化層 264:分類輸出層 28:特徵擷取模組 30:卷積模組 301:第一二維卷積層 302:第一批量歸一化層 303:第一激活函數層 32:殘差模組 321:第二二維卷積層 322:第二批量歸一化層 323:第二激活函數層

圖1為根據本案一實施例之表面缺陷識別系統的方塊示意圖。圖2為根據本案一實施例之表面缺陷識別系統使用的硬體架構示意圖。圖3為根據本案一實施例之神經網路模型的方塊示意圖。圖4為根據本案一實施例之特徵擷取模型的方塊示意圖。圖5為根據本案一實施例之神經網路模型及其使用之缺陷識別層的方塊示意圖。

22:神經網路模型

24:特徵擷取層

26:缺陷識別層

28:特徵擷取模組

Claims

一種表面缺陷識別系統，包含：至少一影像擷取裝置，其係擷取一目標物之至少一表面影像；以及一計算機，電性連接該影像擷取裝置，該計算機根據一神經網路模型對該表面影像進行運算，以判斷該表面影像是否存在缺陷，該神經網路模型包含：一特徵擷取層，包含複數串接之特徵擷取模組，接收該表面影像並對該表面影像進行特徵擷取以輸出對應之複數提取特徵圖，每一該特徵擷取模組包含：一卷積模組，包含一第一二維卷積層、一第一批量歸一化層以及一第一激活函數層，該第一二維卷積層使用3*3卷積核以及步幅為2進行採樣，並經過該第一批量歸一化層之正規化處理與該第一激活函數層的激活運算，以輸出複數第一中間特徵圖；及一殘差模組，連接該卷積模組且接收該第一中間特徵圖，該殘差模組包含一第二二維卷積層、一第二批量歸一化層以及一第二激活函數層，該第二二維卷積層使用1*1卷積核以及步幅為1進行採樣，並經過該第二批量歸一化層之正規化處理與該第二激活函數層的激活運算，產生複數第二中間特徵圖，該殘差模組將該第二中間特徵圖與該第一中間特徵圖相加並輸出，使最後之輸出作為該提取特徵圖；以及一缺陷識別層，連接該特徵擷取層，並根據該提取特徵圖進行分類，以產生一識別結果。
如請求項1所述之表面缺陷識別系統，其中在根據該神經網路模型對該表面影像進行運算之前，該計算機更可對該表面影像進行預處理，以調整並統一影像尺寸。
如請求項1所述之表面缺陷識別系統，其中該第一激活函數層係為參數式線性整流函數（PReLU）。
如請求項1所述之表面缺陷識別系統，其中該第二激活函數層係為線性整流函數（ReLU）。
如請求項1所述之表面缺陷識別系統，其中該識別結果包含識別出的一缺陷類型。
如請求項5所述之表面缺陷識別系統，其中該缺陷類型係為崩潰、髒污、不均勻或正常。
如請求項5所述之表面缺陷識別系統，其中該缺陷識別層包含一第三批量歸一化層、一第三激活函數層、一全局平均池化層以及一分類輸出層，該第三批量歸一化層對該提取特徵圖進行正規化處理，再經過該第三激活函數層的激活運算產生複數最終特徵圖，該全局平均池化層對該最終特徵圖降維以產生複數特徵向量，該分類輸出層將該特徵向量轉換為對應該缺陷類型之相對概率，以產生該識別結果。
如請求項7所述之表面缺陷識別系統，其中該第三激活函數層係為線性整流函數（ReLU）。
如請求項7所述之表面缺陷識別系統，其中該分類輸出層係使用一Softmax函數。
如請求項1所述之表面缺陷識別系統，更包含一顯示器，電性連接該計算機，以顯示該識別結果。
如請求項1所述之表面缺陷識別系統，更包含至少一發光元件，位於該目標物上方且對應該目標物。