TWI815492B - 鋼帶表面缺陷辨識方法與系統 - Google Patents

Abstract

本揭露提出一種鋼帶表面缺陷辨識方法，包括：透過影像感測器取得關於鋼帶的表面影像；將表面影像輸入至卷積神經網路以辨識表面影像中的缺陷，此缺陷屬於多個類別的其中之一。透過卷積神經網路可以提升辨識的準確度。

Description

鋼帶表面缺陷辨識方法與系統

本揭露是有關於一種採用卷積神經網路來辨識鋼帶表面缺陷的方法與系統。

在煉鋼廠中，軋延好的鋼帶可進行各種加工處理或直接出貨，習知技術中可用攝影機來拍攝鋼帶的表面，並跟據以規則為基礎(rule-based)的影像處理演算法來偵測鋼帶上的缺陷。如何提高缺陷辨識的準確率，為此領域技術人員所關心的議題。

本揭露的實施例提出一種鋼帶表面缺陷辨識方法，適用於電腦系統。此鋼帶表面缺陷辨識方法包括：透過影像感測器取得關於鋼帶的表面影像；將表面影像輸入至卷積神經網路以辨識表面影像中的缺陷，此缺陷屬於多個類別的其中之一。

在一些實施例中，上述的類別包括孔洞、剝片、熱軋刮痕、短線痕、長線痕、白刮痕、黑橫線痕、白橫線痕、摺痕、壓痕、凸起、黑點、白點、污痕、昆蟲、背景、黑雜訊點、白雜訊點、邊緣問題、以及銲孔。

在一些實施例中，卷積神經網路包括卷積層，此卷積層的輸入為多個第一特徵圖，卷積層的輸出為多個第二特徵圖。鋼帶表面缺陷辨識方法還包括：將第二特徵圖分為多個群組；以及在訓練卷積神經網路時，將以下數學式1加入至損失函數中。 [數學式1]

其中G為群組的個數，R為第一特徵圖的個數，O為第二特徵圖的個數， 為第g個群組中對應至第j個第一特徵圖與第i個第二特徵圖的卷積係數。

在一些實施例中，卷積神經網路包含多個卷積層、多個池化層與多個全連接層。

在一些實施例中，鋼帶表面缺陷辨識方法還包括：透過缺陷偵測器偵測表面影像的缺陷，並將缺陷所對應的影像區域輸入至卷積神經網路中。

以另一個角度來說，本揭露的實施例提出一種鋼帶表面缺陷辨識系統，包括影像感測器與電腦系統。影像感測器用以取得關於鋼帶的表面影像。電腦系統通訊連接至影像感測器，用以將表面影像輸入至卷積神經網路以辨識表面影像中的缺陷，此缺陷屬於多個類別的其中之一。 在一些實施例中，在訓練卷積神經網路時電腦系統將上述數學式1加入至損失函數中。

在一些實施例中，電腦系統還用以透過缺陷偵測器偵測表面影像的缺陷，並將缺陷所對應的影像區域輸入至卷積神經網路中。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

關於本文中所使用之「第一」、「第二」等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1是根據一實施例繪示鋼帶表面缺陷辨識系統的示意圖。請參照圖1，鋼帶表面缺陷辨識系統100包括了影像感測器110與電腦系統120。影像感測器110用以拍攝鋼帶130以取得關於鋼帶130表面的影像(亦稱為表面影像)。影像感測器110可包括感光耦合元件(Charge-coupled Device，CCD)感測器、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor)感測器或其他合適的感光元件。電腦系統120通訊連接至影像感測器110，此通訊連接可用任意有線或無線的通訊手段來達成。電腦系統120可為個人電腦、伺服器、控制中心或任意有計算能力的電子裝置。電腦系統120會從影像感測器110接收鋼帶130的表面影像，偵測並辨識表面影像中的缺陷，以下將詳細說明此辨識方法。

在此實施例中是以卷積神經網路來辨識缺陷。在一些實施例中可訓練兩個卷積神經網路，一個用以偵測缺陷(又稱為缺陷偵測器)，缺陷偵測器在偵測到缺陷以後會得到相對應的影像區域，接下來將影像區域輸入至另一個卷積神經網路來辨識缺陷是哪一種類別。在一些實施例中，也可以由單一個卷積神經網路同時偵測並辨識缺陷，本揭露並不在此限。上述缺陷的類別包括孔洞、剝片、熱軋刮痕、短線痕、長線痕、白刮痕、黑橫線痕、白橫線痕、摺痕、壓痕、凸起、黑點、白點、污痕、昆蟲、背景、黑雜訊點、白雜訊點、邊緣問題、以及銲孔。圖2是根據一實施例繪示幾個缺陷類別的影像。在圖2中，第一列的影像210具有孔洞的缺陷，第二列的影像220具有剝片的缺陷，第三列的影像230具有熱軋刮痕的缺陷，為了簡化起見在此並沒有繪示所有的缺陷類別。在訓練階段，可先由相關人員標記這些缺陷，所產生的標籤便可以當作真實輸出(ground truth)，標籤加上對應的表面影像視為一筆訓練資料。

在一些實施例中可採用交叉驗證法，將訓練資料分為4等分，每次訓練取3等分作為訓練集，剩下1等分作為驗證集，每等分都會當作一次驗證集訓練，然後取準確率的平均值來確定相關參數是否合適，這些參數可包括學習率、批次大小(batch size)等等。

上述卷積神經網路的架構可以採用LeNet、AlexNet、VGG、GoogLeNet、ResNet、Densenet或是YOLO(You Only Look Once)等。卷積神經網路可包括多個卷積層、多個池化層與多個全連接層，本揭露並不限制這些層的數目。所採用的損失函數(loss function)可以是均方誤差(Mean square error，MSE)、平均絕對值誤差(Mean absolute error，MAE)、交叉熵(cross-entropy)、Huber損失函數、Log-Cosh損失函數等。更新參數的程序可以採用梯度下降法(Gradient descent)、反向傳播(Backpropagation)等，本揭露並不在此限。

由於卷積神經網路的架構可能很深，這導致了有非常多個卷積係數要訓練(可達數億個)，在此會將卷積層所輸出的特徵圖分為多個群組，透過在損失函數中加入一個項次，讓同一個群組中的特徵圖採用相同的輸入。具體來說，圖3是根據一實施例繪示卷積層的示意圖。請參照圖3，卷積層330是卷積神經網路中的任何一個卷積層，卷積層330的輸入為多個第一特徵圖301~306，輸出為多個第二特徵圖311~314。第一特徵圖301~306中的數字“1”~“6”僅是方便辨認不同的特徵圖，並不是特徵圖的內容。在此假設卷積核心的尺寸為 (只包含一個卷積係數)，步階(stride)等於1，也就是說第一特徵圖301~306的寬與高都分別相同於第二特徵圖311~314的寬與高，但這只是為了方便說明，本領域具有通常知識者當可擴展至任意的核心尺寸以及任意的影像尺寸。一般的卷積運算需要 個卷積係數(圖3中的連線)，其中O為第二特徵圖311~314的個數，R為第一特徵圖301~306的個數，在此例子中O=4、R=6。在此將第二特徵圖311~314分為G個群組，每個群組有相同個數的第二特徵圖，在此例子中G=2，共有兩個群組310、320。在訓練卷積神經網路時，會將以下數學式1加入至損失函數(loss function)當中。 [數學式1]

其中 為第g個群組中對應至第j個第一特徵圖與第i個第二特徵圖的卷積係數，g、i、j為正整數。例如， 是指群組310中第一個第二特徵圖311與第一特徵圖302之間的卷積係數。在將數學式1加入至損失函數以後，相同群組中的核心會傾向於採用相同的輸入，沒有採用的卷積係數會化簡為“0”。結果繪示於圖4中，在群組310中的第二特徵圖311~312採用第一特徵圖301、303、304(對於第一特徵圖302、305、306的卷積係數為0)。另外，在群組320中的第二特徵圖313~314採用第一特徵圖302、305、306(對於第一特徵圖301、303、304的卷積係數為0)。如此一來，所需要的卷積係數個數化簡為 ，是習知技術的一半。減少卷積係數的個數可以避免過適配(overfitting)，在一些實驗中有較好的結果。

圖5是根據一實施例繪示鋼帶表面缺陷辨識方法的流程圖。請參照圖5，在訓練階段的步驟501，從資料庫510取得訓練樣本，根據這些訓練樣本訓練卷積神經網路520。在測試階段的步驟502，透過影像感測器取得關於鋼帶的表面影像。在步驟503，將表面影像輸入至卷積神經網路520以辨識表面影像中的缺陷已輸出缺陷類別530，此缺陷類別530可以輸出至相關的工作站、資料庫或人機介面，本揭露並不限制後續的流程。圖5中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖5的方法可以搭配以上實施例使用也可以單獨使用，換言之圖5的各步驟之間也可以加入其他的步驟。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:鋼帶表面缺陷辨識系統

110:影像感測器

120:電腦系統

130:鋼帶

210,220,230:影像

301~306:第一特徵圖

311~314:第二特徵圖

310,320:群組

330:卷積層

501~503:步驟

510:資料庫

520:卷積神經網路

530:缺陷類別

圖1是根據一實施例繪示鋼帶表面缺陷辨識系統的示意圖。 圖2是根據一實施例繪示幾個缺陷類別的影像。 圖3是根據一實施例繪示卷積層的示意圖。 圖4是根據一實施例繪示訓練後卷積層的示意圖。 圖5是根據一實施例繪示鋼帶表面缺陷辨識方法的流程圖。

501~503:步驟

510:資料庫

520:卷積神經網路

530:缺陷類別

Claims (8)

1. 一種鋼帶表面缺陷辨識方法，適用於一電腦系統，該鋼帶表面缺陷辨識方法包括：透過一影像感測器取得關於一鋼帶的表面影像；將該表面影像輸入至一卷積神經網路以辨識該表面影像中的一缺陷，該缺陷屬於多個類別的其中之一，其中該卷積神經網路包括一卷積層，該卷積層的輸入為多個第一特徵圖，該卷積層的輸出為多個第二特徵圖；將該些第二特徵圖分為多個群組；以及在訓練該卷積神經網路時，將以下數學式1加入至損失函數中，

   

   其中G為該些群組的個數，R為該些第一特徵圖的個數，O為該些第二特徵圖的個數，

   

   為第g個群組中對應至第j個第一特徵圖與第i個第二特徵圖的卷積係數。
2. 如請求項1所述之鋼帶表面缺陷辨識方法，其中該些類別包括孔洞、剝片、熱軋刮痕、短線痕、長線痕、白刮痕、黑橫線痕、白橫線痕、摺痕、壓痕、凸起、黑點、白點、污痕、昆蟲、背景、黑雜訊點、白雜訊點、邊緣問題、以及銲孔。
3. 如請求項1所述之鋼帶表面缺陷辨識方法，其中該卷積神經網路還包含多個池化層與多個全連接層。
4. 如請求項1所述之鋼帶表面缺陷辨識方法，還包括：透過一缺陷偵測器偵測該表面影像的一缺陷，並將該缺陷所對應的影像區域輸入至該卷積神經網路中。
5. 一種鋼帶表面缺陷辨識系統，包括：一影像感測器，用以取得關於一鋼帶的表面影像；以及一電腦系統，通訊連接至該影像感測器，用以將該表面影像輸入至一卷積神經網路以辨識該表面影像中的一缺陷，該缺陷屬於多個類別的其中之一，其中該卷積神經網路包括一卷積層，該卷積層的輸入為多個第一特徵圖，該卷積層的輸出為多個第二特徵圖，該電腦系統還用以將該些第二特徵圖分為多個群組，並在訓練該卷積神經網路時將以下數學式1加入至損失函數中，

   

   其中G為該些群組的個數，R為該些第一特徵圖的個數，O為該些第二特徵圖的個數，

   

   為第g個群組中對應至第j個第一特徵圖與第i個第二特徵圖的卷積係數。
6. 如請求項5所述之鋼帶表面缺陷辨識系統，其中該些類別包括孔洞、剝片、熱軋刮痕、短線痕、長線痕、白刮痕、黑橫線痕、白橫線痕、摺痕、壓痕、凸起、黑點、白點、污痕、昆蟲、背景、黑雜訊點、白雜訊點、邊緣問題、以及銲孔。
7. 如請求項5所述之鋼帶表面缺陷辨識系統，其中該卷積神經網路還包含多個池化層與多個全連接層。
8. 如請求項5所述之鋼帶表面缺陷辨識系統，其中該電腦系統還用以透過一缺陷偵測器偵測該表面影像的一缺陷，並將該缺陷所對應的影像區域輸入至該卷積神經網路中。