TWI777696B

TWI777696B - 缺陷檢測方法以及使用該方法的缺陷檢測系統

Info

Publication number: TWI777696B
Application number: TW110127781A
Authority: TW
Inventors: 李境嚴; 張瀚哲
Original assignee: 中國鋼鐵股份有限公司
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2022-09-11
Also published as: TW202305350A

Abstract

一種缺陷檢測方法，用以檢測一鋼胚的表面是否具有缺陷，其包括：擷取該鋼胚的複數個鋼胚影像；將該些鋼胚影像輸入至經訓練的深度學習模型以判斷該些鋼胚影像是否具有缺陷；以及若該些鋼胚影像中的至少一者被判斷出具有至少一缺陷，判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷。

Description

缺陷檢測方法以及使用該方法的缺陷檢測系統

本發明係關於缺陷檢測的技術領域，特別是關於一種對鋼胚的轉角處進行缺陷檢測的系統和方法。

鋼胚在成形的過程中，常因為各種因素導致其表面產生足以影響後續製程產品的缺陷，尤其是位於轉角處的缺陷，其較難以檢測且所要花費的時間精力較大。為了維持產品的品質，小鋼胚需要藉由常駐檢驗員在暗室以磁粉探傷方式檢查其表面以確認是否有缺陷形成以及缺陷的類型。然而，這樣的操作不僅耗力費時，其檢測結果可能由於表面缺陷過大所導致的漏磁效應的減少而產生誤判的情況。

因此，如何提出一種缺陷檢測方法以提升檢測的效率並減少誤判的情況乃此領域技術人員所關心的議題。

本發明之一目的在於提供一種缺陷檢測系統以及缺陷檢測系統方法，以有效地檢測出鋼胚位於轉角處的缺陷，並減少誤判的可能性。

為達上述之目的，本發明提供一種缺陷檢測系統，用以檢測鋼胚的表面。缺陷檢測系統包括複數個取像裝置與運算裝置。該些取像裝置的每一者設置於相對鋼胚的轉角處的光路徑上，以擷取鋼胚的複數個鋼胚影像。運算裝置包括儲存單元與處理單元。儲存單元耦接於該些取像裝置，用以儲存該些鋼胚影像。處理單元耦接於儲存單元，用以執行缺陷檢測方法，其中缺陷檢測方法包括：透過該處理單元從該儲存單元獲取該些鋼胚影像；透過該處理單元將該些鋼胚影像輸入至經訓練的一深度學習模型以判斷該些鋼胚影像是否具有缺陷；以及若該些鋼胚影像的至少一者被判斷出具有至少一缺陷，透過該處理單元判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷。

根據本發明的一些實施例，其中透過該處理單元判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷包括：判斷該至少一缺陷是否位於相應該至少一缺陷的鋼胚影像中的一第二區域，其中相應該至少一缺陷的該鋼胚影像具有接續相連的一第一區域、該第二區域與一第三區域，且該第二區域位於該第一區域與該第三區域之間；以及若該至少一缺陷位於相應該至少一缺陷的該鋼胚影像中的該第二區域，判斷該至少一缺陷屬於位於該鋼胚的轉角的缺陷

根據本發明的一些實施例，其中該第一區域與該第三區域各佔整個影像的15～25%。

根據本發明的一些實施例，其中經訓練的該深度學習模型係經由一訓練方法得到，其中該訓練方法包括：透過該處理單元獲取複數個原始訓練鋼胚影像；透過該處理單元標籤該些原始訓練鋼胚影像中的缺陷；透過該處理單元獲取包括多個原始缺陷資料的一訓練資料集；以及透過該處理單元依據該訓練資料集與經標籤的缺陷進行反覆學習以產生經訓練的該深度學習模型。

根據本發明的一些實施例，其中透過該處理單元獲取包括多個原始缺陷資料的一訓練資料集包括：對該些原始缺陷資料進行一資料增量法以得到複數個經處理的缺陷資料；以及將該些經處理的缺陷資料一併納入該訓練資料集中。

本發明還提供一種缺陷檢測方法，用以檢測一鋼胚的表面是否具有缺陷。缺陷檢測方法包括：透過複數個取像裝置擷取該鋼胚的複數個鋼胚影像，其中該些取像裝置的每一者設置於相對該鋼胚的一轉角處的一光路徑上；將該些鋼胚影像輸入至經訓練的一深度學習模型以判斷該些鋼胚影像是否具有缺陷；以及若該些鋼胚影像中的至少一者被判斷出具有至少一缺陷，判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷。

根據本發明的一些實施例，其中判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷包括：判斷該至少一缺陷是否位於相應該至少一缺陷的鋼胚影像中的一第二區域，其中相應該至少一缺陷的該鋼胚影像具有接續相連的一第一區域、該第二區域與一第三區域，且該第二區域位於該第一區域與該第三區域之間；以及若該至少一缺陷位於相應該至少一缺陷的該鋼胚影像中的該第二區域，判斷該至少一缺陷屬於位於該鋼胚的轉角的缺陷。

根據本發明的一些實施例，其中經訓練的該深度學習模型係經由一訓練方法得到，其中該訓練方法包括：獲取複數個原始訓練鋼胚影像；標籤該些原始訓練鋼胚影像中的缺陷；獲取包括多個原始缺陷資料的一訓練資料集；以及依據該訓練資料集與經標籤的缺陷進行反覆學習以產生經訓練的該深度學習模型。

根據本發明的一些實施例，其中獲取包括複數個原始缺陷資料的該訓練資料集包括：對該些原始缺陷資料進行一資料增量法以得到複數個經處理的缺陷資料；以及將該些經處理的缺陷資料一併納入該訓練資料集中。

根據本發明的一些實施例，其中該資料增量法包括選自以下處理的至少一種：旋轉、翻轉、縮放、剪切、扭轉、或其組合。

透過上述的缺陷檢測系統與缺陷檢測方法，可有效地檢測出鋼胚位於轉角的缺陷，節省了人為利用磁粉探傷檢測的不便與人力，並且減小了因漏磁減少而誤判的可能性。

為了讓本發明之上述及其他目的、特徵、優點能更明顯易懂，下文將特舉本發明較佳實施例，並配合所附圖式，作詳細說明如下。

請一併參照第1A圖與第1B圖，第1A圖是根據本發明一些實施例繪示的缺陷檢測系統100的架構示意圖，而第1B圖是第1A圖的缺陷檢測系統100的正視示意圖。缺陷檢測系統100用以檢測位於輸送帶20上沿行進方向D1前進的鋼胚10的表面，特別是位於鋼胚10轉角處C1～C4的表面，以確認鋼胚10的轉角處C1～C4是否有缺陷產生。鋼胚缺陷檢測系統100包括多個取像裝置110與運算裝置120。各個取像裝置110分別設置於相對鋼胚10的轉角處C1～C4中的一個轉角處的一個光路徑OP上，以擷取鋼胚10在轉角處C1～C4的影像。運算裝置120連接於各個取像裝置110，以對取像裝置110所擷取的影像進行分析並判斷是否有缺陷。舉例來說，運算裝置120可以以有線及/或無線傳輸的方式經由資料傳輸介面接收來自取像裝置110擷取的鋼胚影像，對這些鋼胚影像進行影像處理，並透過深度學習模型檢測鋼胚影像是否具有缺陷。

在一些實施例中，取像裝置110可包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明並不以此為限。在一些實施例中，運算裝置120可例如是筆記型電腦、桌上型電腦、伺服器或其他具有運算能力的計算機裝置，本發明並不以此為限。

請一併參照第2圖，第2圖是根據本發明一些實施例繪示的運算裝置120的示意圖。運算裝置120可包括儲存單元121與處理單元123。在一些實施中，儲存單元121用以儲存影像、程式碼等資料，其可例如是隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。處理單元123耦接儲存單元121，其可例如是中央處理單元（Central Processing Unit，CPU）、圖形處理單元（Graphics Processing Unit，GPU）、可程式化一般用途或特殊用途的微處理單元（Microprocessor）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、數位訊號處理單元（Digital Signal Processor，DSP）、可程式化控制器、可程式化邏輯裝置（Programmable Logic Device，PLD）、或其他類似裝置或這些裝置的組合。處理單元123可執行記錄於儲存單元121中的程式碼、軟體模組、指令等等，以實現本發明實施例的缺陷檢測方法300（如第3圖所示）。

請參照第3圖，第3圖是根據本發明一些實施例繪示的缺陷檢測方法300的流程圖。本實施例的方法適用於第1A圖與第2圖的運算裝置120。以下係搭配運算裝置120的各項元件說明缺陷檢測方法300的詳細流程。首先，在步驟S310中，處理單元123獲取多個鋼胚影像。如先前所述，取像裝置110位於相對於鋼胚10於各個轉角處C1～C4的一光路徑OP上，並且對沿行進方向D1輸送的鋼胚10連續地擷取多個鋼胚影像，並將鋼胚影像以有線及/或無線的方式傳輸到運算裝置120的儲存單元121中，因此處理單元123可從儲存單元121獲取這些鋼胚影像。

接著，在步驟S320中，處理單元123將獲取的鋼胚影像作為輸入資料輸入至經訓練的深度學習模型中，並透過經訓練的深度學習模型檢測這些鋼胚影像中的缺陷，亦即，判斷這這些鋼胚影像是否具有缺陷。經訓練的深度學習模型係根據訓練資料集進行深度學習而事先建構的神經網路模型，其可儲存於儲存單元121中。換句話說，經訓練的深度學習模型的模型參數（例如神經網路層數目與各神經網路層的權重等等）已經由事前訓練而決定並儲存於儲存單元121中，而具體細節將於之後進一步敘述。具體來說，當鋼胚影像輸入至深度學習模型時，深度學習首先進行特徵擷取而產生特徵向量（Feature vector），此特徵向量中的每個維度皆用來表示影像中的某種特徵。之後，這些特徵向量會被輸入至經訓練的深度學習模型中的分類器，分類器再依照此些特徵向量進行分類，進而辨識出鋼胚影像中的目標物件（即缺陷）。在一些實施例中，經訓練的深度學習模型可為卷積層類神經網路（Convolution Neural Network，CNN）模型中用以進行物件偵測的軟體，例如R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等。

接著，在步驟S330中，若鋼胚影像被判斷出不具有缺陷，則進行步驟S340，透過輸出裝置（例如警示器、顯示器、喇叭、音響等裝置）輸出無轉角裂缺陷等訊息或相應的音訊。若鋼胚影像被判斷出具有缺陷，則進行步驟S350，判斷所述缺陷是否為位於轉角的缺陷，例如，轉角裂。

由於本發明著重的地方在於判斷鋼胚10的轉角處C1～C4是否存在缺陷，而其他位置的缺陷並不在考量內。因此，即便透過深度學習模型發現鋼胚影像中存在缺陷，缺陷檢測方法300會進一步判斷所述缺陷是否為位於轉角的缺陷。具體來說，由於取像裝置110拍攝到的鋼胚影像是沿光路徑OP將鋼胚10於轉角處的三維空間轉換成二維的影像，因此即便檢測出影像中有缺陷，缺陷有可能不會位在轉角處中，而是接近鋼胚10中間處的部分。

請一併參照第4圖，第4圖是根據本發明一些實施例繪示的鋼胚影像400的示意圖。鋼胚影像400根據上中下區域依序分成接續相連的第一區域410、第二區域420以及第三區域430，且第二區域420位於第一區域410與第三區域430之間。在步驟S340中若判斷鋼胚影像400具有缺陷A1～A3，則在步驟S3505中，處理單元123會進一步判斷缺陷A1～A3是否位於第二區域420，若缺陷A1～A3位在第二區域420，則處理單元123判斷缺陷A1～A3確實是位於鋼胚轉角的缺陷。若缺陷位於第一區域410和第三區域430，則處理單元123並不會將所述缺陷判定為位於鋼胚轉角的缺陷。由於取像裝置110是設置在光路徑OP對應於鋼胚10的轉角處，因此可確認的是取像裝置110所擷取的影像中間區域必定是位在鋼胚的轉角處。在一些實施例中，第一區域410與第三區域430各佔整個影像的15～25%，較佳為20%。然而，第一區域410與第三區域430的佔比可根據鋼胚產品的特性以及現場光路徑的設計而變更。

因此，在步驟S350中，若檢測出的缺陷並未位於轉角的缺陷，則進行步驟S340。若檢測出的缺陷位於轉角的缺陷，則進行步驟S360，類似地透過上述的輸出裝置輸出缺陷的資訊，例如缺陷的具體位置、尺寸等等。

回到深度學習模型的訓練細節。請參照第5圖，第5圖是根據本發明一些實施例繪示的深度學習模型的訓練方法500的流程圖。在步驟S510中，處理單元123獲取多個原始訓練鋼胚影像。類似地，這些原始訓練鋼胚影像來自於取像裝置110對鋼胚的轉角處進行拍攝所取得的鋼胚影像。

接著，在步驟S530中，處理單元123標籤原始訓練鋼胚影像中的解答物件（亦即，缺陷）。換句話說，這些原始訓練影像中的解答物件皆已經被框選並賦予解答類別。

接著，在步驟S550中，處理單元123獲取包括多個原始缺陷資料的訓練資料集。這些缺陷資料選自過去出現在鋼胚表面具代表性的缺陷資料，且這些缺陷資料透過人工判定缺陷種類、相關特性、分類標註等步驟提升資料的附加價值。在一些實施例中，處理單元123還對這些缺陷資料進行資料增量法以增加訓練資料集裡的資料總量。資料增量法包括對這些缺陷資料進行旋轉、翻轉、縮放、剪切、扭轉、或其組合等處理以得到更多類似但不完全相同的缺陷資料，並將這些經資料增量法處理的缺陷資料一併納入訓練資料集中。

接著，在步驟S570中，處理單元123依據訓練資料集與經標籤的解答物件進行反覆學習（或訓練）以產生經訓練的深度學習模型。具體來說，處理單元123可將訓練資料集輸入至深度學習模型。藉由比對深度學習模型的輸出與解答物件的物件資訊，處理單元123將逐步訓練出一套可用以偵測物件的規則（即深度學習模型的權重），最終以建立出可用以偵測目標物件（亦即，缺陷）的深度學習模型。在訓練過程中，若深度學習模型判定物件的準確度達到一門檻值，例如90%，即完成訓練，若未達到門檻值，則繼續訓練。

雖然本發明已以較佳實施例揭露，然其並非用以限制本發明，任何熟習此項技藝之人士，在不脫離本發明之精神和範圍內，當可作各種更動與修飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者爲準。

10:鋼胚 20:輸送帶 100:缺陷檢測系統 110:取像裝置 120:運算裝置 121:儲存單元 123:處理單元 300:缺陷檢測方法 S310、S320、S330、S340、S350、S360:步驟 400:鋼胚影像 410:第一區域 420:第二區域 430:第三區域 500:訓練方法 S510、S530、S550、S570:步驟 A1～A3:缺陷 C1～C4:轉角區 D1:行進方向 OP:光路徑

第1A圖是根據本發明一些實施例繪示的缺陷檢測系統的架構示意圖。第1B圖是第1A圖的缺陷檢測系統的正視示意圖。第2圖是根據本發明一些實施例繪示的運算裝置的示意圖。第3圖是根據本發明一些實施例繪示的缺陷檢測方法的流程圖。第4圖是根據本發明一些實施例繪示的鋼胚影像的示意圖。第5圖是根據本發明一些實施例繪示的深度學習模型的訓練方法的流程圖。

300:缺陷檢測方法

S310、S320、S330、S340、S350、S360:步驟

Claims

一種缺陷檢測系統，用以檢測一鋼胚的表面，包括：複數個取像裝置，該些取像裝置的每一者設置於相對該鋼胚的一轉角處的一光路徑上，以擷取該鋼胚的複數個鋼胚影像；以及一運算裝置，包括：一儲存單元，耦接於該些取像裝置，用以儲存該些鋼胚影像；以及一處理單元，耦接於該儲存單元，用以執行一缺陷檢測方法，其中該缺陷檢測方法包括：透過該處理單元從該儲存單元獲取該些鋼胚影像；透過該處理單元將該些鋼胚影像輸入至經訓練的一深度學習模型以判斷該些鋼胚影像是否具有缺陷；以及若該些鋼胚影像的至少一者被判斷出具有至少一缺陷，透過該處理單元判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷，其中透過該處理單元判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷包括：判斷該至少一缺陷是否位於相應該至少一缺陷的鋼胚影像中的一第二區域，其中相應該至少一缺陷的該鋼胚影像具有接續相連的一第一區域、該第二區域與一第三區域，且該第二區域位於該第一區域與該第三區域之間；以及若該至少一缺陷位於相應該至少一缺陷的該鋼胚影像中的該第二區域，判斷該至少一缺陷屬於位於該鋼胚的轉角的缺陷。
如請求項1所述的缺陷檢測系統，其中該第一區域與該第三區域各佔整個影像的15~25%。
如請求項1所述的缺陷檢測系統，其中經訓練的該深度學習模型係經由一訓練方法得到，其中該訓練方法包括：透過該處理單元獲取複數個原始訓練鋼胚影像；透過該處理單元標籤該些原始訓練鋼胚影像中的缺陷；透過該處理單元獲取包括多個原始缺陷資料的一訓練資料集；以及透過該處理單元依據該訓練資料集與經標籤的缺陷進行反覆學習以產生經訓練的該深度學習模型。
如請求項3所述的缺陷檢測系統，其中透過該處理單元獲取包括多個原始缺陷資料的一訓練資料集包括：對該些原始缺陷資料進行一資料增量法以得到複數個經處理的缺陷資料；以及將該些經處理的缺陷資料一併納入該訓練資料集中。
一種缺陷檢測方法，用以檢測一鋼胚的表面是否具有缺陷，包括：透過複數個取像裝置擷取該鋼胚的複數個鋼胚影像，其中該些取像裝置的每一者設置於相對該鋼胚的一轉角處的一光路徑上；將該些鋼胚影像輸入至經訓練的一深度學習模型以判斷該些鋼胚影像是否具有缺陷；以及若該些鋼胚影像中的至少一者被判斷出具有至少一缺陷，判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷，其中判斷該至少一缺陷是否屬於位於該鋼胚的轉角的缺陷包括：判斷該至少一缺陷是否位於相應該至少一缺陷的鋼胚影像中的一第二區域，其中相應該至少一缺陷的該鋼胚影像具有接續相連的一第一區域、該第二區域與一第三區域，且該第二區域位於該第一區域與該第三區域之間；以及若該至少一缺陷位於相應該至少一缺陷的該鋼胚影像中的該第二區域，判斷該至少一缺陷屬於位於該鋼胚的轉角的缺陷。
如請求項5所述的缺陷檢測方法，其中經訓練的該深度學習模型係經由一訓練方法得到，其中該訓練方法包括：獲取複數個原始訓練鋼胚影像；標籤該些原始訓練鋼胚影像中的缺陷；獲取包括複數個原始缺陷資料的一訓練資料集；以及依據該訓練資料集與經標籤的缺陷進行反覆學習以產生經訓練的該深度學習模型。
如請求項6所述的缺陷檢測方法，其中獲取包括複數個原始缺陷資料的該訓練資料集包括：對該些原始缺陷資料進行一資料增量法以得到複數個經處理的缺陷資料；以及將該些經處理的缺陷資料一併納入該訓練資料集中。
如請求項7所述的缺陷檢測方法，其中該資料增量法包括選自以下處理的至少一種：旋轉、翻轉、縮放、剪切、扭轉、或其組合。