TWI787748B - 帶狀產品之孔洞的缺陷預測方法及系統 - Google Patents
帶狀產品之孔洞的缺陷預測方法及系統 Download PDFInfo
- Publication number
- TWI787748B TWI787748B TW110107608A TW110107608A TWI787748B TW I787748 B TWI787748 B TW I787748B TW 110107608 A TW110107608 A TW 110107608A TW 110107608 A TW110107608 A TW 110107608A TW I787748 B TWI787748 B TW I787748B
- Authority
- TW
- Taiwan
- Prior art keywords
- defect
- holes
- marked
- frame
- frames
- Prior art date
Links
Images
Abstract
一種帶狀產品之孔洞的缺陷預測方法及系統，其中該系統包括一缺陷型態影像變化資料庫、一模型建立單元、一影像擷取單元、一缺陷標記單元、一分類分群單元以及一模型評估單元。藉由孔洞的缺陷模型的預警機制，提昇帶狀產品的孔洞預測能力。
Description
本發明係關於一種孔洞的缺陷預測方法及系統，特別是關於一種帶狀產品之孔洞的缺陷預測方法及系統。
在發展高品級產品(例如帶狀產品中的電磁鋼片)的過程中，歷經開發、試製到量產，帶狀產品之孔洞為很重要的品質問題之一。冷軋鋼帶量產流程，從扁鋼胚經熱軋、冷軋以及退火調質，長度變為原來的數十倍至數百倍，厚度也越軋越薄，最薄甚至有大概約為0.25mm。在上游煉鋼時，如混有雜質異物，或是在熱軋軋延時鋼帶摩擦邊導板導致有外物被軋入，在最終成品線之薄鋼帶，極易有孔洞發生。
過去在最終成品線設置的鋼帶寬度以及孔洞偵測系統，當偵測到孔洞時，會進行直接切除的動作。然而，現今因某一極薄且矽含量高之特殊鋼種，容易造成孔洞發生頻繁，常因切除孔洞產出眾多單重不足的小鋼捲，不僅造成訂單合格率偏低，也衍生須折價銷售小鋼捲而使得成本增加的問題。
另外，例如申請專利第I493179號的可移動式帶狀產品外觀檢測設備，各產線的孔洞由鋼帶寬度及孔洞偵測系統所偵測，但是在冷軋軋延之前，因鋼帶較厚且尚未形成孔洞，而上游產線的表面缺陷檢測系統只針對會導致斷帶的邊裂、廢屑及剝片等重大缺陷才會示警，因而無法攔阻所有經過軋機軋延後且可能產生孔洞風險的鋼捲，也較難以判斷孔洞發生的位置。
因此，為克服現有技術中的缺點和不足，本發明有必要提供改良的一種帶狀產品之孔洞的缺陷預測方法及系統，以解決上述習用技術所存在的問題。
本發明之主要目的在於提供一種帶狀產品之孔洞的缺陷預測方法及系統，利用孔洞的缺陷模型的預警機制，提昇帶狀產品的孔洞預測能力。
為達上述之目的，本發明提供一種帶狀產品之孔洞的缺陷預測方法，該方法包括一模型建立步驟、一影像擷取步驟、一缺陷標記步驟、一分類分群步驟以及一模型評估步驟；在該模型建立步驟中，依據一缺陷型態影像變化資料庫由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型；在該影像擷取步驟中，利用一影像擷取單元擷取該帶狀產品的一影像；在該缺陷標記步驟中，依據該缺陷型態影像變化資料庫將形成在該影像中的每一個缺陷以一標記框進行標記；在該分類分群步驟中，依據該缺陷型態影像變化資料庫將多個標記框區分為下游產生孔洞的缺陷以及下游不產生孔洞的缺陷而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群；在該模型評估步驟中，利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，以獲得一孔洞的缺陷預測結果。
在本發明之一實施例中，該缺陷型態影像變化資料庫蒐集有該帶狀產品在冷軋前有形成孔洞風險的多種缺陷。
在本發明之一實施例中，在該缺陷標記步驟中，該標記框為一矩形框，其中該矩形框標記的資訊包含該缺陷的位置、尺寸以及種類。
在本發明之一實施例中，在該分類分群步驟中，該資料集的多個標記框依照面積及高寬比進行分群。
在本發明之一實施例中，在該缺陷標記步驟中，在標記過程會剔除分捲判斷之影像，該分捲判斷之影像包括開凹影像、銲道影像以及銲孔影像。
在本發明之一實施例中，在該模型建立步驟中，由該類神經網路建立該帶狀產品的孔洞的缺陷預測模型是先使用一基底網路進行孔洞的缺陷在不同尺度的特徵擷取，再使用一候選框生成網路生成候選框，並使用該候選框於特定尺度的特徵圖上提取特徵，進行分類與空間上的微調。
在本發明之一實施例中，在該模型評估步驟中，針對每個預測框進行對應標記框的匹配。
在本發明之一實施例中，在該模型評估步驟中，針對每個標記框進行對應預測框的匹配。
在本發明之一實施例中，在該模型評估步驟中，該孔洞的缺陷預測結果包含黑點類型、凹坑類型及剝片類型。
為達上述之目的，本發明提供一種帶狀產品孔洞的缺陷預測系統，包括一缺陷型態影像變化資料庫、一模型建立單元、一影像擷取單元、一缺陷標記單元、一分類分群單元以及一模型評估單元；其中該缺陷型態影像變化資料庫儲存有帶狀產品在冷軋前有形成孔洞風險的缺陷類別及影像；該模型建立單元依據該缺陷型態影像變化資料庫由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型；該影像擷取單元配置用以擷取該帶狀產品的一影像；該缺陷標記單元配置用以依據該缺陷型態影像變化資料庫將形成在該影像中的每一個缺陷以一標記框進行標記；該分類分群單元配置用以依據該缺陷型態影像變化資料庫將多個標記框區分為下游產生孔洞的缺陷以及下游不產生孔洞的缺陷而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群；該模型評估單元配置用以利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，以獲得一孔洞的缺陷預測結果。
如上所述，本發明帶狀產品之孔洞的缺陷預測系統利用精準之孔洞位置及鋼捲串製程資訊，開發最終成品線孔洞與上游產線表面缺陷對應方法，藉由蒐集統整在冷軋前有形成孔洞風險的缺陷類別及影像，透過深度學習類神經網路建立孔洞的缺陷預測模型，開發帶狀產品孔洞的缺陷預測系統，其中透過孔洞的缺陷預測，藉此追查孔洞來源與成因，並且藉由孔洞的缺陷模型的預警機制，提昇帶狀產品的孔洞預測能力以及產線生產應用，例如，若預測出下游孔洞分佈僅在頭尾段，可做頭尾切除處理；若預測出下游孔洞分佈在整個鋼捲，可決定是否要繼續生產，因而能夠提供廠內下游產線孔洞分佈預測狀況，避免生產成本的浪費。
為了讓本發明之上述及其他目的、特徵、優點能更明顯易懂，下文將特舉本發明較佳實施例，並配合所附圖式，作詳細說明如下。再者，本發明所提到的方向用語，例如上、下、頂、底、前、後、左、右、內、外、側面、周圍、中央、水平、橫向、垂直、縱向、軸向、徑向、最上層或最下層等，僅是參考附加圖式的方向。因此，使用的方向用語是用以說明及理解本發明，而非用以限制本發明。
請參照圖1所示，為本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例，該帶狀產品之孔洞的缺陷預測系統包括一缺陷型態影像變化資料庫2、一模型建立單元3、一影像擷取單元4、一缺陷標記單元5、一分類分群單元6以及一模型評估單元7。本發明將於下文詳細說明各元件的細部構造、組裝關係及其運作原理。
續參照圖1所示，該缺陷型態影像變化資料庫2儲存有帶狀產品在冷軋前有形成孔洞風險的缺陷的類別及影像。要說明的是，在一般鋼捲串製程中，如電磁鋼片的生產製程，由上游至下游依序為二號熱軋(HSM2)、熱軋精整線(HFP)、退火酸洗線(APL)、往復式冷軋機(3RCM)及第三水平退火塗覆線(3ACL)。利用帶狀產品孔洞位置的檢測方法(專利申請號：108113645)，在下游步驟的第三水平退火塗覆線(3ACL)來精準檢測孔洞的位置資訊。本發明係利用在下游步驟所檢測到的孔洞資訊，與上游步驟的退火酸洗線(APL)相對位置的缺陷影像資訊進行對應，進而蒐集統整在冷軋步驟(往復式冷軋機)之前有形成孔洞風險的缺陷，並儲存於該缺陷型態影像變化資料庫2中，其中該缺陷包含黑點類型(見圖2A)、凹坑類型(見圖2B)及剝片類型(見圖2C)。
續參照圖1所示，該模型建立單元3依據該缺陷型態影像變化資料庫2由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型。以下將對類神經網路的整體架構進行說明。
請參照圖3所示，透過類神經網路建立該帶狀產品的孔洞的缺陷預測模型，以達到缺陷的種類、位置及範圍尺寸的預測，在本實施例中，使用候選框(Region based)為基礎的架構，先使用基底網路103(backbone；包括ResNet-50w/CBAM、BiFPN)進行缺陷的不同尺度的特徵擷取，再使用候選框生成網路104(Region Proposal Network；RPN)生成候選框，並使用候選框於特定尺度的特徵圖(feature map)上提取特徵，在分類與空間微調網路105(ROI HEAD)進行微調。
續參照圖3所示，在本實施例中，該基底網路103(backbone；包括ResNet-50w/CBAM、BiFPN)包含ResNet-50w/CBAM與BiFPN，其中首項子網路在原始ResNet-50中的每一個ResBlock添加卷積塊注意模組(Convolutional Block Attention Module)，次項子網路BiFPN分別由ResNet-50w/CBAM中的不同層取出p1至p5(尺寸邊長分別為原圖的2
-1、2
-2、…、2
-5倍)，並進行高低階特徵的融合，進而得出融合後的5種尺寸特徵。
續參照圖3所示，在本實施例中，候選框生成網路104與特徵金字塔網路(Feature Pyramid Network)相同，在每一尺寸的特徵圖像素點進行錨(anchor)的生成，會針對不同尺寸的特徵圖採用不同的錨(anchor)預設尺寸與高寬比，透過類神經網路對每個錨(anchor)進行位置尺寸的調整與前景分數計算，之後經由非最大抑制(Non-Maximum Suppression)移除重複框。
續參照圖3所示，接著在分類與空間微調網路105中，以候選框區域特徵進行分類與第二次空間回歸(RoI fusion)，RPN產生出候選框後，會由運算式(1)：
在本實施例中，RPN產生之候選框會由第k層特徵圖，即P
k，作為特徵區域選取來源。其中P
k為基底網路的最終輸出層，包含5種尺寸大小，P
1至P
5(尺寸邊長分別為原圖的2
-1、2
-2、…、2
-5倍)。k
0為特徵擷取的基準層數，此處為3。w、h分別為上述候選框之寬與高。
計算出特徵圖來源P
k，並在指定位置範圍進行特徵擷取與融合(RoI Fusion)，以此作為分類與空間回歸的依據，如圖4所示，在本實施例中，使用3種特徵擷取尺寸，分別對目標位置做RoI Align，在經由全連接層(FC
reduce)進行維度縮減，並且依照下列運算式(2)-(6)分別給予不同的權重(
為一極小值)：
在本實施例中，定義高寬比為
，其中(2)
為對齊框高寬比基準值，由自定義的對齊框基準值(4)計算而得，
分別為對齊尺寸之高與寬；(3)
為RPN產生候選框的高寬比，
分別為候選框之高與寬。在圖4中，定義了3種不同的對齊尺寸，包括高寬分別為
，並依照對齊高寬比與候選框高寬比差異給予不同的權重。(4)式定義針對不同對齊尺寸的權重集合
，總共含有權重
共三個，為對應對齊後尺寸為
特徵圖加權使用之權重。(5)式經由計算
與
之間的差異來給予對齊框與候選框長寬比接近的對齊框特徵圖較大的加權比例。(6)式將加權值集合W依照數值大小比例，正規化至總和為對齊框數目
，得
，為
正規化後的結果。
在本實施例中，透過資料統計決定RPN中預設錨(anchor)的尺寸與高寬比，總共有5種尺寸分別由小到大對應至p1至p5的特徵圖，再依照資料集標記框型態分佈表(如下表1所示)的統計結果，選擇出每種尺寸對應的3種高寬比，如下表2所示，其餘參數除了ROI HEAD類別數為3類(有孔洞的缺陷、無孔洞缺陷及背景框)，皆參照Faster RCNN參數進行設置。
表1
表2
| r=8 | r=16 | r=32 | r=64 | r=128 | |
| 總數 | 326 | 1231 | 1205 | 517 | 82 |
| a=0.5 | 98 | 261 | 127 | 24 | 4 |
| a=1 | 220 | 504 | 187 | 52 | 8 |
| a=2 | 6 | 308 | 351 | 91 | 24 |
| a=4 | 0 | 117 | 402 | 184 | 46 |
| a=8 | 0 | 9 | 99 | 141 | 0 |
| a=16 | 0 | 1 | 12 | 25 | 0 |
| a=32 | 0 | 0 | 2 | 0 | 0 |
| 特徵圖 | 尺寸(r) | 高寬比(a) |
| p1 | 8 | 0.5, 1.0, 2.0 |
| p2 | 16 | 0.5, 1.0, 2.0 |
| p3 | 32 | 1.0, 2.0, 4.0 |
| p4 | 64 | 2.0, 4.0, 8.0 |
| p5 | 128 | 1.0, 2.0, 4.0 |
請參照圖1所示，該影像擷取單元4配置用以擷取該帶狀產品的一影像；在本實施例中，係利用該影像擷取單元4拍攝該帶狀產品在製程的上游步驟的表面影像，例如退火酸洗線的鋼帶表面影像。
續參照圖1所示，該缺陷標記單元4配置用以依據該缺陷型態影像變化資料庫2將形成在該影像中的每一個缺陷以一標記框進行標記；在本實施例中，蒐集上游步驟的表面影像，並依據該缺陷型態影像變化資料庫2的資訊，將影像中的缺陷以矩形框標記其位置、尺寸範圍以及種類；其中，在標記過程會剔除分捲判斷之影像，該分捲判斷之影像包括開凹影像(見圖5A)、銲道影像(見圖5B)以及銲孔影像(見圖5C)。
請參照圖1所示，該分類分群單元5配置用以依據該缺陷型態影像變化資料庫2將多個標記框區分為下游產生孔洞(有孔洞)的缺陷之標記框以及下游不產生孔洞(無孔洞)的缺陷之標記框，而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群。在本實施例中，由鋼帶表面影像中隨機挑選例如3907張影像進行標記，如圖6A所示為下游不產生孔洞(無孔洞)的缺陷之標記框101，如圖6B所示為下游產生孔洞(有孔洞)的缺陷之標記框102，並以此為資料集，其中標記框分為有孔洞框數以及無孔洞框數2類(如下表3所示)。接著，針對該等標記框的尺寸及形狀進行統計，分別使用方框的面積與高寬比作為計量依據，其中標記框為一矩形框，定義矩形框的垂直軸長度為h，水平軸長度為w，則面積為
，高寬比為
。再將標記框依照不同面積與高寬比進行分群統計，分群使用區間大小在面積為
、高寬比為
，其中
為面積，
為高寬比。在本實施例中，s為2。各面積區間中，不同高寬比之標記框的數量，如上頁的表1所示。
表3
| 影像尺寸(像素) |  |
| 影像張數 | 3907 |
| 有孔洞框數 | 2571 |
| 無孔洞框數 | 790 |
請參照圖1所示，該模型評估單元7配置用以利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，以獲得一孔洞的缺陷預測結果。在本實施例中，透過該孔洞的缺陷預測模型的模型預測效果以計算出預測框，以及與標記框的相交程度，如以下運算式(7)及(8)所示。其中B為矩形框，若
或
任一值大於0.5，則視為兩者(預測框與標記框)相對應，並以其預測類型和標記類型進行比較。
在本實施例中，
為相交區域於標記框的占比；
為相交區域於預測框的占比。
為模型預測的矩形框；
為前述資料集之標記矩形框。
進一步來說，本發明使用兩種評估方式，分別為精確型(precision)與召回型(recall)，其中precision是針對每個預測框進行標記框的匹配，如果滿足上述相對應條件，而且對應分類正確則視為正確可靠(true positive)，經統計後，precision為true positive框數/總標示預測框數；recall則是針對每個標記框進行預測框匹配，如果滿足上述相對應條件，而且對應分類正確則視為正確可靠(true positive)，經統計後，recall為true positive框數/總標示框數。本實施例的評估結果(使用交叉驗證4-fold cross- validation)，如下表4所示，進而獲得該孔洞的缺陷預測結果。
表4
| 孔洞種類 | precision | recall |
| 有孔洞缺陷 | 88.8 | 87.3 |
| 無孔洞缺陷 | 82.1 | 80.4 |
如上所述，本發明帶狀產品之孔洞的缺陷預測系統利用精準之孔洞位置及鋼捲串製程資訊，開發最終成品線孔洞與上游產線表面缺陷對應方法，藉由蒐集統整在冷軋前有形成孔洞風險的缺陷類別及影像，透過深度學習類神經網路建立孔洞的缺陷預測模型，開發帶狀產品孔洞的缺陷預測系統，其中透過孔洞的缺陷預測，藉此追查孔洞來源與成因，並且藉由孔洞的缺陷模型的預警機制，提昇帶狀產品的孔洞預測能力以及產線生產應用，例如，若預測出下游孔洞分佈僅在頭尾段，可做頭尾切除處理；若預測出下游孔洞分佈在整個鋼捲，可決定是否要繼續生產，因而能夠提供廠內下游產線孔洞分佈預測狀況，避免生產成本的浪費。
請參照圖7並配合圖1所示，為本發明帶狀產品之孔洞的缺陷預測方法的一較佳實施例，本發明帶狀產品之孔洞的缺陷預測方法係應用於上述的帶狀產品之孔洞的缺陷預測系統，其中該方法包括一模型建立步驟S201、一影像擷取步驟S202、一缺陷標記步驟S203、一分類分群步驟S204以及一模型評估步驟S205。本發明將於下文詳細說明各步驟的運作原理。
續參照圖7並配合圖1所示，在該模型建立步驟S201中，依據一缺陷型態影像變化資料庫2由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型；進一步來說，由該類神經網路建立該帶狀產品的孔洞的缺陷預測模型是先使用一基底網路103進行缺陷在不同尺度的特徵擷取，再使用一候選框生成網路104生成候選框，並使用該候選框於特定尺度的特徵圖上提取特徵，在分類與空間微調網路105上進行微調。在本實施例中，該缺陷型態影像變化資料庫2蒐集有該帶狀產品在冷軋前有形成孔洞風險的多種缺陷。
續參照圖7並配合圖1所示，在該影像擷取步驟S202中，利用一影像擷取單元4擷取該帶狀產品的一影像；在本實施例中，係利用該影像擷取單元4拍攝該帶狀產品在製程的上游步驟的表面影像，例如退火酸洗線的鋼帶表面影像。
續參照圖7並配合圖1所示，在該缺陷標記步驟S203中，依據該缺陷型態影像變化資料庫2將形成在該影像中的每一個缺陷以一標記框進行標記，而且在標記過程會剔除分捲判斷之影像，該分捲判斷之影像包括開凹影像(見圖5A)、銲道影像(見圖5B)以及銲孔影像(見圖5C)；在本實施例中，該標記框為一矩形框，其中該矩形框標記的資訊包含該缺陷的位置、尺寸以及種類。
續參照圖7並配合圖1所示，在該分類分群步驟S204中，依據該缺陷型態影像變化資料庫2將多個標記框區分為下游產生孔洞的缺陷以及下游不產生孔洞的缺陷而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群；在本實施例中，由鋼帶表面影像中隨機挑選例如3907張影像進行標記，如圖6A所示為下游不產生孔洞(無孔洞)的缺陷之標記框101，如圖6B所示為下游產生孔洞(有孔洞)的缺陷之標記框102，並以此為資料集，接著針對該資料集的多個標記框依照面積及高寬比進行分群。
續參照圖7並配合圖1所示，在該模型評估步驟S205中，利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，用以評估模型預測能力，以獲得一孔洞的缺陷預測結果。在本實施例中，係針對每個預測框進行對應標記框的匹配，或者針對每個標記框進行對應預測框的匹配，另外，該孔洞的缺陷預測結果包含黑點類型(見圖2A)、凹坑類型(見圖2B)及剝片類型(見圖2C)。
如上所述，本發明帶狀產品之孔洞的缺陷預測方法藉由精準之孔洞位置，搭配鋼捲串製程資訊，開發最終成品線孔洞與上游產線表面缺陷對應方法，蒐集統整在冷軋之前有形成孔洞風險的缺陷類別及影像，透過深度學習類神經網路建立孔洞的缺陷預測技術，預測於下游產線之剔退風險及提醒上游改善，並活化缺陷放行之判定，因而能夠提供廠內下游產線孔洞分佈預測狀況，以提昇帶狀產品孔洞預測能力以及產線生產應用，避免生產成本的浪費。
雖然本發明已以較佳實施例揭露，然其並非用以限制本發明，任何熟習此項技藝之人士，在不脫離本發明之精神和範圍內，當可作各種更動與修飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
101:標記框
102:標記框
103:基底網路
104:候選框生成網路
105:分類與空間微調網路
2:缺陷型態影像變化資料庫
3:模型建立單元
4:影像擷取單元
5:缺陷標記單元
6:分類分群單元
7:模型評估單元
S201:模型建立步驟
S202:影像擷取步驟
S203:缺陷標記步驟
S204:分類分群步驟
S205:模型評估步驟
圖1是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例的系統架構的一示意圖。
圖2A、2B及2C是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例儲存於缺陷型態影像變化資料庫中的缺陷類型的圖片。
圖3是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例透過類神經網路建立該帶狀產品的孔洞的缺陷預測模型的架構的一示意圖。
圖4是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例的缺陷預測模型的分類與空間微調網路的架構的一示意圖。
圖5A、5B及5C是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例的分捲判斷之影像的圖片。
圖6 A及6B是依據本發明帶狀產品之孔洞的缺陷預測系統的一較佳實施例標記有下游不產生孔洞以及下游產生孔洞的圖片。
圖7是依據本發明帶狀產品之孔洞的缺陷預測方法的一較佳實施例的一流程圖。
2:缺陷型態影像變化資料庫
3:模型建立單元
4:影像擷取單元
5:缺陷標記單元
6:分類分群單元
7:模型評估單元
Claims (10)
- 一種帶狀產品之孔洞的缺陷預測方法，該方法包括：一模型建立步驟，透過一模型建立單元依據一缺陷型態影像變化資料庫由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型；一影像擷取步驟，利用一影像擷取單元拍攝該帶狀產品而擷取該帶狀產品的一影像；一缺陷標記步驟，透過一缺陷標記單元依據該缺陷型態影像變化資料庫將形成在該影像中的每一個缺陷以一標記框進行標記；一分類分群步驟，依據該缺陷型態影像變化資料庫將多個標記框區分為下游產生孔洞的缺陷以及下游不產生孔洞的缺陷而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群；以及一模型評估步驟，利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，以獲得一孔洞的缺陷預測結果；其中該相交程度的運算式如下：
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測 方法，其中該缺陷型態影像變化資料庫蒐集有該帶狀產品在冷軋前有形成孔洞風險的多種缺陷。
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測方法，在該缺陷標記步驟中，該標記框為一矩形框，其中該矩形框標記的資訊包含該缺陷的位置、尺寸以及種類。
- 如申請專利範圍第3項所述之帶狀產品之孔洞的缺陷預測方法，在該分類分群步驟中，該資料集的多個標記框依照面積及高寬比進行分群。
- 如申請專利範圍第3項所述之帶狀產品之孔洞的缺陷預測方法，在該缺陷標記步驟中，在標記過程會剔除分捲判斷之影像，該分捲判斷之影像包括開凹影像、銲道影像以及銲孔影像。
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測方法，在該模型建立步驟中，由該類神經網路建立該帶狀產品的孔洞的缺陷預測模型是先使用一基底網路進行缺陷在不同尺度的特徵擷取，再使用一候選框生成網路生成候選框，並使用該候選框於特定尺度的特徵圖上提取特徵，進行分類與空間上的微調。
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測方法，在該模型評估步驟中，針對每個預測框進行對應標記框的匹配。
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測方法，在該模型評估步驟中，針對每個標記框進行對應預測框的匹配。
- 如申請專利範圍第1項所述之帶狀產品之孔洞的缺陷預測方法，在該模型評估步驟中，該孔洞的缺陷預測結果包含黑點類型、凹坑類型及剝片類型。
- 一種帶狀產品之孔洞的缺陷預測系統，包括： 一缺陷型態影像變化資料庫，儲存有帶狀產品在冷軋前有形成孔洞風險的缺陷；一模型建立單元，依據該缺陷型態影像變化資料庫由類神經網路建立該帶狀產品的一孔洞的缺陷預測模型；一影像擷取單元，配置用以擷取該帶狀產品的一影像；一缺陷標記單元，配置用以依據該缺陷型態影像變化資料庫將形成在該影像中的每一個缺陷以一標記框進行標記；一分類分群單元，配置用以依據該缺陷型態影像變化資料庫將多個標記框區分為下游產生孔洞的缺陷以及下游不產生孔洞的缺陷而形成一資料集，並將該資料集的多個標記框依照標記框的尺寸及形狀進行分群；以及一模型評估單元，配置用以利用該孔洞的缺陷預測模型計算出多個預測框與該資料集的多個標記框的相交程度，並以預測框的類型和標記框的類型進行比較，以獲得一孔洞的缺陷預測結果；其中該相交程度的運算式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110107608A TWI787748B (zh) | 2021-03-03 | 2021-03-03 | 帶狀產品之孔洞的缺陷預測方法及系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110107608A TWI787748B (zh) | 2021-03-03 | 2021-03-03 | 帶狀產品之孔洞的缺陷預測方法及系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202236159A TW202236159A (zh) | 2022-09-16 |
| TWI787748B true TWI787748B (zh) | 2022-12-21 |
Family
ID=84957367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110107608A TWI787748B (zh) | 2021-03-03 | 2021-03-03 | 帶狀產品之孔洞的缺陷預測方法及系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI787748B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861772A (zh) * | 2023-02-22 | 2023-03-28 | 杭州电子科技大学 | 基于RetinaNet的多尺度单阶段目标检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349126A (zh) * | 2019-06-20 | 2019-10-18 | 武汉科技大学 | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 |
| CN112288716A (zh) * | 2020-10-28 | 2021-01-29 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷打捆状态检测方法、系统、终端及介质 |
-
2021
- 2021-03-03 TW TW110107608A patent/TWI787748B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349126A (zh) * | 2019-06-20 | 2019-10-18 | 武汉科技大学 | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 |
| CN112288716A (zh) * | 2020-10-28 | 2021-01-29 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷打捆状态检测方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202236159A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
| CN113362285B (zh) | 一种钢轨表面伤损细粒度图像分类与检测方法 | |
| CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
| WO2023155069A1 (zh) | 一种基于深度学习的手机电池表面缺陷检测方法 | |
| CN111209892A (zh) | 一种基于卷积神经网络的人群密度及数量估计方法 | |
| Bo et al. | Particle pollution estimation from images using convolutional neural network and weather features | |
| CN113409314B (zh) | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 | |
| TWI787748B (zh) | 帶狀產品之孔洞的缺陷預測方法及系統 | |
| CN115861307B (zh) | 基于人工智能的筋膜枪供电驱动板焊接故障检测方法 | |
| CN113822889A (zh) | 一种热轧钢板表面缺陷检测方法 | |
| CN109598681A (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN116664586B (zh) | 一种基于多模态特征融合的玻璃缺陷检测方法及系统 | |
| CN108682003A (zh) | 一种产品质量检测方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN116309313A (zh) | 一种电池表面焊接缺陷检测方法 | |
| CN107730486A (zh) | 一种酸连轧生产线轧机保护方法及装置 | |
| CN114565314A (zh) | 一种基于数字孪生的热轧钢卷端面质量管控系统及方法 | |
| JP4050273B2 (ja) | 分類装置及び分類方法 | |
| CN112329515B (zh) | 一种高点视频监控拥堵事件检测方法 | |
| TW201217080A (en) | capable of detecting steel billet defect in real time and displaying detection results in order to determine the process stability and the features of steel grades | |
| CN112950562A (zh) | 一种基于线结构光的扣件检测算法 | |
| CN112461345B (zh) | 一种基于lsd直线检测算法的汽车衡轧线出界检测方法 | |
| CN113269749B (zh) | 带材位置图像数据集采集方法及其视觉检测方法 | |
| CN113469984B (zh) | 一种基于yolo结构的显示面板外观检测方法 |