TWI793883B

TWI793883B - 用於線材皮膜的缺陷檢測方法及系統

Info

Publication number: TWI793883B
Application number: TW110144452A
Authority: TW
Inventors: 詹家銘; 鄭淳宏; 江冠虹; 廖英舟
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2023-02-21
Also published as: TW202321679A

Abstract

本發明實施例提出一種用於線材皮膜的缺陷檢測方法及系統。取得訓練樣本。各訓練樣本包括受光源照射的線材的影像，且各光源僅具有一個特定波長。依據線材的多個區段的震動頻率標記那些訓練樣本。若那些區段中的第一區段的震動頻率大於頻率門檻值，則將第一區段對應的訓練樣本標記為良品樣本。若那些區段中的第二區段的震動頻率未大於頻率門檻值，則將第二區段對應的訓練樣本標記為不良樣本。依據經標記的那些訓練樣本並基於機器學習演算法建立缺陷檢測模組。缺陷檢測模組用於分析線材上的皮膜缺陷。藉此，可提供線上檢測。

Description

用於線材皮膜的缺陷檢測方法及系統

本發明是有關於一種缺陷分析技術，且特別是有關於一種用於線材皮膜的缺陷檢測方法及系統。

鋼鐵業的中游產品屬碳鋼類方面。這些產品包括冷熱軋鋼板捲、鋼筋、線材盤元及棒鋼盤元。以不銹鋼類而言，其產品包括冷熱軋不銹鋼板捲、不銹鋼棒線及不銹鋼型鋼，且這些產品更需要進一步裁剪加工與製管。若以一般鋼胚為原料，將原料軋延後製成盤元，對盤元再加工後可生產螺絲、螺帽、鋼線等下游產品。中游的線材盤元及棒鋼盤元的差異在於，直徑14mm以上者稱為棒鋼，14mm以下者稱為線材。

面對高值扣件生產，對線材盤元品質要求逐漸提高。雖然扣件的生產管理已導入智慧製造，但在伸線過程的瑕疵未能即時檢出。由於伸線廠設備老舊，因此需要透過人工處理確認成型設備及公模具的狀態。然而，高階扣件生產對於線材提供品質要求極高，人工檢測通常無法滿足客戶需求，甚至影響產線效率。

有鑑於此，本發明實施例提供一種用於線材皮膜的缺陷檢測方法及系統，可自動檢測皮模缺陷。

本發明實施例的用於線材皮膜的缺陷檢測方法適用於受皮膜包覆的線材。缺陷檢測方法包括(但不僅限於)下列步驟：取得一個或更多個訓練樣本。各訓練樣本包括受光源照射的線材的影像，且各光源僅具有一個特定波長。依據線材的多個區段的震動頻率標記那些訓練樣本。若那些區段中的第一區段的震動頻率大於頻率門檻值，則將第一區段對應的訓練樣本標記為良品樣本。若那些區段中的第二區段的震動頻率未大於頻率門檻值，則將第二區段對應的訓練樣本標記為不良樣本。依據經標記的那些訓練樣本並基於機器學習演算法建立缺陷檢測模組。缺陷檢測模組用於分析線材上的皮膜缺陷。

本發明實施例的用於線材皮膜的缺陷檢測系統適用於受皮膜包覆的線材並包括運算裝置。運算裝置經配置用以取得一個或更多個訓練樣本，依據線材的多個區段的震動頻率標記那些訓練樣本，並依據經標記的那些訓練樣本並基於機器學習演算法建立缺陷檢測模組。各訓練樣本包括受光源照射的線材的影像，且各光源僅具有一個特定波長。若那些區段中的第一區段的震動頻率大於頻率門檻值，則將第一區段對應的訓練樣本標記為良品樣本。若那些區段中的第二區段的震動頻率未大於頻率門檻值，則將第二區段對應的訓練樣本標記為不良樣本。缺陷檢測模組用於分析線材上的皮膜缺陷。

基於上述，依據本發明實施例的用於線材皮膜的缺陷檢測方法及系統，給定特定波長光源，擷取線材皮膜影像，並調控進光量閥值以獲得清楚影像。基於抽線過程的振動頻率判斷線材的良品與不良區段。接著，收集一定數量的良品和不良樣本之後，可透過機器學習方式建立缺陷檢測模型。利用這缺陷檢測模型可達成線上線材皮膜缺陷量測的目標。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的缺陷檢測系統1的示意圖。請參照圖1，缺陷檢測系統1包括(但不僅限於)影像擷取裝置10、光源20、抽線模組30、震動感測器40及運算裝置50。缺陷檢測系統1可適用於檢測受皮膜(例如，磷酸鹽、草酸鹽或鍍鋅塗層)包覆的線材W(可能是各類型的金屬或合金線材)。

影像擷取裝置10可以是相機、攝影機或監視器，並用以對線材W拍攝，以擷取影像。在一實施例中，影像擷取裝置10包括影像感測器、影像處理器及鏡頭，且其規格(例如，取像光圈、倍率、焦距、取像可視角度、影像感測器大小等)及組態可依據實際需求而自行變更。

光源20用於照射線材W，且光源20僅具有一個波長。在一實施例中，光源20可以是雷射點光源21，且雷射點光源21的波長大約為532奈米(nm)。在一實施例中，光源20可以是背景光源23，且背景光源23的波長介於430至455nm之間(大致呈藍光)。在一些實施例中，背景光源23可透過環形光源、環形罩光源或多個條形光源實現。在一實施例中，光源20包括雷射點光源21及背景光源23。在一些實施例中，光源20也可能提供其他波長或光罩區域。

圖2是圖1的局部側視圖。請參照圖2，影像擷取裝置10向下(例如，拍攝方向大致垂直於水平面)拍攝線材W。在一實施例中，雷射點光源21至線材W的延伸線與影像擷取裝置10擷取影像的方向(例如，向下)之間的夾角θ為15至30度之間。

在一實施例中，系統1更包括殼體。舉例而言，圖3A是依據本發明一實施例的殼體25的立體圖，且圖3B是圖3A的側視圖。請參照圖3A及圖3B，殼體25是中空長方體，且影像擷取裝置10及雷射點光源21位於殼體25的腔室內。值得注意的是，殼體25的材質具有消光或降低光散射的特性，使光源20穩定照射線材W。

須說明的是，圖3A及圖3B所示殼體25的形狀僅是作為範例。在其他實施例中，仍可依據實際需求而改變其形狀，或省略設置殼體25。

抽線模組(或稱伸線機)30用以帶動線材W，使影像擷取裝置10可拍攝到線材W的不同區段。在一實施例中，抽線模組30用以拉伸線材W，據以將線材W加工成指定線徑。

震動感測器40用以量測線材W的震動頻率。須說明的是，抽線模組30拉伸或帶動線材W的過程中，線材W可能會震動。

運算裝置50可以是桌上型電腦、筆記型電腦、AIO電腦、智慧型手機、平板電腦、或伺服器等裝置。運算裝置50可包括(但不僅限於)儲存器及處理器。在一實施例中，儲存器儲存程式碼，且程式碼可供處理器載入且執行，以實現本發明實施例的方法流程。

在一實施例中，運算裝置50連接影像擷取裝置10、光源20、抽線模組30及震動感測器40中的至少一者，並用以控制其作業或接收資料。例如，運算裝置50取得影像擷取裝置10的影像及震動感測器40所感測的震動頻率。又例如，運算裝置50控制抽線模組30的運作。

在一實施例中，運算裝置50可與影像擷取裝置10、光源20、抽線模組30及震動感測器40中的至少一者整合整一體。在一些實施例中，運算裝置50的部分或全部功能可透過軟體或晶片實現。

下文中，將搭配缺陷檢測系統1中的各項元件、模組及裝置說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖4是依據本發明一實施例的缺陷檢測方法的示意圖。請參照圖4，運算裝置50取得一個或更多個訓練樣本(步驟S410)。具體而言，各訓練樣本包括受光源20照射的線材W的影像。即，影像擷取裝置10對線材W拍攝所得的影像。在一實施例中，影像擷取裝置10可反應於觸發條件(例如，計時器、控制指令、或良品及不良品的確認)而對線材W擷取影像，以作為訓練樣本。

舉例而言，圖5A是訓練樣本-不良樣本的範例。請參照圖5A，這影像呈現線材W的表面有瑕疵。圖5B是訓練樣本-良品樣本的範例。請參照圖5B，這影像呈現線材W的表面光滑。

值得注意的是，訓練樣本是限制在特定波長的光源20下拍攝。圖6A是背景藍光下所擷取影像的範例，且圖6B是背景紅光下所擷取影像的範例。請參照圖6A及圖6B及圖6B，波長大約為430至455nm的背景光源23(呈現藍光)將有助於提升影像對比度。相較而言，在背景紅光(例如，波長為633至635nm)下的影像的對比度不高。

此外，如圖2所示，雷射點光源21的照射方向與擷取影像的方向之間的夾角θ介於15至30度之間。這樣的特定角度也有助於呈現缺陷。在一些實施例中，可調控光源20至線材W的進光量，以提升影像的清晰度。

請參照圖4，運算裝置50依據線材W中的多個區段的震動頻率標記那些訓練樣本(步驟S430)。具體而言，經實驗得知，伸線/拉線過程中，線材的表面品質反映在伸線的震動頻率上。瑕疵表面的震動頻率小於光滑表面的震動頻率。例如，瑕疵表面的震動頻率為160赫茲(Hz)，且光滑表面的震動頻率為1200 Hz。因此，線材W的各區段的震動頻率可用於標記這區段對應的訓練樣本為良品樣本(即，表面光滑)或不良樣本(即，表面有瑕疵)。須說明的是，區段的長度大致是影像擷取裝置10的視野內可拍攝到線材W的長度，但仍可視實際需求而變更。

若線材W的那些區段中的第一區段的震動頻率大於頻率門檻值，則運算裝置50將第一區段對應的訓練樣本標記為良品樣本。假設不良樣本的震動頻率為160 Hz且良品樣本的震動頻率為1200 Hz，則頻率門檻值例如可設為500、600或1000Hz。若那些區段中的第二區段的震動頻率未大於頻率門檻值，則運算裝置50將第二區段對應的訓練樣本標記為不良樣本。

例如，在拉線模組30拉伸線材W的過程中，震動感測器40回報各區段的震動頻率給運算裝置50。如圖7是震動頻率的範例。請參照圖7，在橫向的時間軸(以取樣次數為單位)上，各取樣次數(對應於一個區段)的震動頻率可能不同。

而運算裝置50可依據時間或速度區別每個區段，並依據回報的震動頻率對影像擷取裝置10拍攝的影像標記。圖8A是不良樣本對應的震動頻率的範例。請參照圖8A，不良樣本的震動頻率最高大概為160 Hz。圖8B是良品樣本對應的震動頻率的範例。請參照圖8B，良品樣本對應的震動頻率最高可高達1200 Hz。藉此，可提供自動標記樣本的機制。

在一實施例中，系統1可更包括線徑感測器(圖未示)，並對線材W的各區段進行增強驗證。例如，設定線徑門檻，而超出門檻者為不良樣本。

請參照圖4，運算裝置50依據經標記的那些訓練樣本並基於機器學習演算法建立缺陷檢測模組(步驟S450)。具體而言，機器學習演算法可以是迴歸分析演算法、極限梯度提升(eXtreme Gradient Boosting，XGboost)演算法、輕量梯度提升機器(Light Gradient Boosting Machine，LightGBM)、神經網路演算法、隨機森林(Random Forest)演算法、支援向量回歸演算法或其他演算法。機器學習演算法可分析訓練樣本以自中獲得規律，從而透過規律對未知資料預測。而缺陷檢測模型即是經學習後所建構出的機器學習模型，並據以對待評估資料推論。在本發明實施例中，缺陷檢測模組用於分析線材W上的皮膜缺陷(例如，結疤、橫裂、刮/折痕、蛀痕、擦痕或鏽皮)。

舉例而言，圖9是依據本發明一實施例的機器學習的流程示意圖。請參照圖9，運算裝置50對訓練樣本S進行特徵擷取(feature extraction)，以取得一張或更多張特徵圖(feature map)(步驟S910)。特徵提取是對初始測量測/收集/擷取的資料樣本建構出包括資訊性而且不冗餘的衍生值(或稱為特徵值(feature))。特徵提取可輔助後續的學習及規則歸納過程，且可對初始的資料樣本有更佳的詮釋。換句而言，特徵提取可對輸入資料簡化成特徵集合(可被視為重要或有用資訊)，並直接使用特徵集合來執行後續任務(例如，模型訓練、成分分析、物件檢測等)。例如，針對影像的特徵提取，可取得諸如邊緣、角、尺度不變特徵轉換(Scale-Invariant Feature Transform，SIFT)、曲率、形狀等特徵。

運算裝置50可利用神經網路(Neural Network，NN)904訓練缺陷檢測模型(步驟S930)，使缺陷檢測模型可估測分類結果905。例如，缺陷檢測模型對影像中的線材W分類出良品(無缺陷)或不良品(有缺陷)的區段。圖10是待檢測影像的範例。請參照圖10，缺陷檢測模型判斷這區段有99.5%的機率為不良品，且僅有0.5的機率為良品。又例如，缺陷檢測模型可推估伸線或後加工製程變異狀況。

在一實施例中，若線材W的多個區段中被標記為良品樣本及不良樣本的數量比例符合平衡比例，則運算裝置50可啟動缺陷檢測模組之建立。具體而言，一般而言，線材W的大部分區段都是光滑且無缺陷。過多光滑區段將導致良品樣本的數量遠大於不良樣本。在這樣本比例懸殊的情況下訓練缺陷檢測模型，恐影響辨識準確性。因此，可設定良品樣本及不良樣本的數量比例在特定比例下才進行模型訓練。這特定比例例如是6:4(即，良品樣本佔60%，且不良樣本佔40%)、5:5(即，良品樣本佔50%，且不良樣本佔50%)或4:6(即，良品樣本佔40%，且不良樣本佔60%)，並可作為平衡比例。若數量比例不符合平衡比例，則運算裝置50可禁能缺陷評估模組之建立，並待數量比例符合平衡比例才建立缺陷評估模組。例如，運算裝置50可先累積一定數量的訓練樣本，再依據平衡比例刪除過多的類型。又例如，運算裝置50可依據平衡比例分別累積良品樣本和不良樣本到指定數量。

綜上所述，在本發明實施例的用於線材皮膜的缺陷檢測方法及系統中，利用特定波長及角度的光源照射線材，透過伸線過程中的震動頻率自動標記訓練樣本的類型，並藉助於機器學習建立缺陷檢測模型。藉此，可確定伸線製程的品質及良率，更可達到線上線材皮膜缺陷檢測的目標。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1:系統 10:影像擷取裝置 20:光源 21:雷射點光源 23:背景光源 25:殼體 30:抽線模組 40:震動感測器 50:運算裝置 W:線材 θ:夾角 S410~S450、S910~S930:步驟 S:訓練樣本 904:神經網路 905:分類結果

圖1是依據本發明一實施例的缺陷檢測系統的示意圖。圖2是圖1的局部側視圖。圖3A是依據本發明一實施例的殼體的立體圖。圖3B是圖3A的側視圖。圖4是依據本發明一實施例的缺陷檢測方法的示意圖。圖5A是訓練樣本-不良樣本的範例。圖5B是訓練樣本-良品樣本的範例。圖6A是背景藍光下所擷取影像的範例。圖6B是背景紅光下所擷取影像的範例。圖7是震動頻率的範例。圖8A是不良樣本對應的震動頻率的範例。圖8B是良品樣本對應的震動頻率的範例。圖9是依據本發明一實施例的機器學習的流程示意圖。圖10是待檢測影像的範例。

S410~S450:步驟

Claims

一種用於線材皮膜的缺陷檢測方法，適用於受皮膜包覆的線材，該缺陷檢測方法包括：取得多個訓練樣本，其中每一該訓練樣本包括受至少一光源照射的一線材的影像，且每一該光源僅具有一波長；依據該線材的多個區段的一震動頻率標記該些訓練樣本，其中若該些區段中的一第一區段的該震動頻率大於一頻率門檻值，則將該第一區段對應的訓練樣本標記為一良品樣本；以及若該些區段中的一第二區段的該震動頻率未大於該頻率門檻值，則將該第二區段對應的訓練樣本標記為一不良樣本；以及依據經標記的該些訓練樣本並基於一機器學習演算法建立一缺陷檢測模組，其中該缺陷檢測模組用於分析該線材上的皮膜缺陷。
如請求項1所述的用於線材皮膜的缺陷檢測方法，其中該至少一光源包括一雷射點光源，且該雷射點光源的波長大約為532奈米(nm)。
如請求項1或請求項2所述的用於線材皮膜的缺陷檢測方法，其中該至少一光源包括一背景光源，且該背景光源的波長介於430至455nm之間。
如請求項2所述的用於線材皮膜的缺陷檢測方法，其中該雷射點光源至該線材的一延伸線與擷取該影像的方向之間的夾角為15至30度之間。
如請求項1所述的用於線材皮膜的缺陷檢測方法，其中該線材包括多個區段，且建立該缺陷檢測模組的步驟包括：若該些區段中被標記為該良品樣本及該不良樣本的一數量比例符合一平衡比例，則啟動該缺陷檢測模組之建立：以及若該數量比例不符合該平衡比例，則禁能該缺陷評估模組之建立。
一種用於線材皮膜的缺陷檢測系統，適用於受皮膜包覆的線材，並包括：一運算裝置，經配置用以：取得多個訓練樣本，其中每一該訓練樣本包括受至少一光源照射的一線材的影像，且每一該光源僅具有一波長；依據該線材的多個區段的一震動頻率標記該些訓練樣本，其中若該些區段中的一第一區段的該震動頻率大於一頻率門檻值，則將該第一區段對應的訓練樣本標記為一良品樣本；以及若該些區段中的一第二區段的該震動頻率未大於該頻率門檻值，則將該第二區段對應的訓練樣本標記為一不良樣本；以及依據經標記的該些訓練樣本並基於一機器學習演算法建立一缺陷檢測模組，其中該缺陷檢測模組用於分析該線材上的皮膜缺陷。
如請求項6所述的用於線材皮膜的缺陷檢測系統，更包括：該至少一光源，包括：一雷射點光源，其波長大約為532奈米(nm)。
如請求項6或請求項7所述的用於線材皮膜的缺陷檢測系統，其中該至少一光源包括一背景光源，且該背景光源的波長介於430至455nm之間。
如請求項7所述的用於線材皮膜的缺陷檢測系統，更包括：一影像擷取裝置，其中該雷射點光源至該線材的一延伸線與該影像擷取裝置擷取該影像的方向之間的夾角為15至30度之間。
如請求項6所述的用於線材皮膜的缺陷檢測系統，其中該線材包括多個區段，且該運算裝置更經配置用以：若該些區段中被標記為該良品樣本及該不良樣本的一數量比例符合一平衡比例，則啟動該缺陷檢測模組之建立：以及若該數量比例不符合該平衡比例，則禁能該缺陷評估模組之建立。