TW202326114A - 長碼拉鏈的缺陷或瑕疵檢測系統 - Google Patents

Abstract

本發明涉及拉鏈檢測技術領域，公開一種長碼拉鏈的缺陷或瑕疵檢測系統，包括：長碼拉鏈設備，人機交互設備，高速攝像機，圖像分析模組，缺陷判斷模組，以及缺陷學習模組；長碼拉鏈以300m/min以下的傳送速度在流水線上傳送，高速攝像機以每分鐘3000幀以下的幀率採集流水線上的長碼拉鏈圖像；當圖像分析模組和缺陷判斷模組識別到缺陷時，控制長碼拉鏈設備停機並把缺陷部分傳動到指定位置進行標注，標注完成後，長碼拉鏈繼續進行傳送和缺陷檢測。當發現新的缺陷資訊時，根據學習指令對新的缺陷資訊進行採集、學習，豐富缺陷判斷模組的缺陷類別。本發明能夠滿足傳送速度為300m/min或以下的生產流水線連續檢測需求、且檢測精度高。

Description

長碼拉鏈的缺陷或瑕疵檢測系統

本發明涉及拉鏈缺陷檢測技術領域，尤其涉及一種長碼拉鏈的缺陷或瑕疵檢測系統。

拉鏈又稱拉鎖，其生產成本低，市場需求大，應用範圍廣。大型拉鏈生產企業平均每條生產線年產拉鏈近千萬米，但是生產過程中不可避免的會出現某些殘次品，比如拉鏈缺齒、斷線等狀況，為了保證下游市場的正常運營，減少因缺陷拉鏈造成的下游市場產品缺陷，必須對拉鏈缺陷進行品質檢測。目前的拉鏈品質檢測主要是人工抽樣檢測，平均每檢測一次需要耗費大量時間及人力成本，而且人工抽檢存在較大的偶然誤差，致使拉鏈的檢測結果可靠性不高。據相關拉鏈業界表示，拉鏈品質的檢測問題已經成為了拉鏈業界發展的一個主要瓶頸和利潤提升的重要障礙。

一篇公開號為CN102495076A的中國發明專利申請公開一種基於機器視覺的拉鏈金屬鏈牙缺陷檢測方法，利用由送料機構、物料位置感測器、圖像感測器、步進電機/伺服電機、光源控制系統、傳送皮帶、分揀機構、不銹鋼滑軌、控制器和控制系統構成的檢測裝置進行檢測，待檢測拉鏈經送料機構送到檢測裝置的皮帶平臺上，經物料位置感測器檢測定位，啟動圖像感測器，獲取拉鏈圖像，然後將圖像傳輸至控制系統，控 制系統對圖像進行處理，根據處理的結果與判別標準比較，判斷拉鏈是否存在缺陷。

又一篇公開號為CN102495069A的中國發明專利申請公開一種基於數字影像處理的拉鏈鏈帶缺陷檢測方法，利用由目標定位觸發裝置、圖像採集感測器、傳送帶驅動裝置、背景光源裝置、傳送皮帶、分揀裝置和PC機或嵌入式控制系統構成的檢測裝置進行檢測，待檢測拉鏈產品被送入檢測裝置的傳送皮帶平臺上，再由驅動裝置的驅動送至檢測區域，然後，由目標定位觸發裝置對拉鏈產品進行目標定位，由圖像採集感測器獲取拉鏈鏈帶數位圖像，然後將圖像傳輸至PC機或嵌入式控制系統，PC機或嵌入式控制系統對靶心圖表像進行處理，根據處理的結果和判別標準比較判斷拉鏈鏈帶區域是否存在缺陷。

現有的這些拉鏈缺陷檢測方法雖然也能代替人工進行快速檢測，但也只是簡單的定點檢測，即待檢測物料到位元後定位抓拍圖像進行識別，難以滿足長碼拉鏈、尤其是生產流水線傳送速度達100m/min以上時的連續檢測需求。另外，隨著人類社會經濟和科學技術的發展，拉鏈由最初的金屬材料向非金屬材料，單一品種、單一功能向多品種、多規格綜合功能發展，由簡單構造到如今的精巧美觀，五顏六色等等。面對拉鏈精細度、種類及顏色越來越多的情況下，其缺陷樣式也越來越多，只是利用一些現有的資料模型進行比較判斷也容易出現漏檢，導致檢測精度難以滿足產業化需求。

針對現有技術中存在的問題，本發明的目的在於提供一種能 夠滿足傳送速度為300m/min以下的生產流水線連續檢測需求、且檢測準確率高的長碼拉鏈的缺陷或瑕疵檢測系統。

為達到以上目的，本發明採用如下技術方案。

一種長碼拉鏈的缺陷或瑕疵檢測系統，包括：長碼拉鏈設備，具有連續輸送長碼拉鏈的流水線；人機交互設備，與長碼拉鏈設備連接、用來控制流水線的啟停；其特徵在於，還包括：高速攝像機，與流水線對應設置、用來對輸送過程中的長碼拉鏈進行連續抓拍；圖像分析模組，用來對高速攝像機抓拍到的圖像進行演算法分析；缺陷判斷模組，用來對演算法分析後的圖像進行缺陷比較判斷；缺陷學習模組，用來根據學習指令對顯示幕上顯示的缺陷資訊進行採集、學習、並上傳到資料庫中存儲，進而豐富缺陷判斷模組的缺陷類別。

實際工作時，長碼拉鏈以300m/min以下的傳送速度在流水線上傳送，高速攝像機以每分鐘3000幀的幀率以下採集流水線上的長碼拉鏈圖像；當圖像分析模組和缺陷判斷模組識別到缺陷時，控制長碼拉鏈設備停機並把缺陷部分傳動到指定位置進行標注，標注完成後，長碼拉鏈繼續以300m/min以下的傳送速度在流水線上進行傳送和缺陷檢測。

當發現新的缺陷資訊時，發出學習指令，通過缺陷學習模組對新的缺陷資訊進行採集、學習、並上傳到資料庫中存儲。

更為優選的是，所述長碼拉鏈設備具有若干導輪，所述長碼拉鏈在所述導輪的承托下沿流水線方向連續輸送。

更為優選的是，所述長碼拉鏈設備具有瑕疵沖孔工位，通過所述瑕疵沖孔工位對缺陷部分進行沖孔標注。

更為優選的是，所述人機交互設備即時顯示高速攝像機連續抓拍到的圖像、以及缺陷判斷模組的判斷結果。

更為優選的是，所述長碼拉鏈為尼龍、聚脂、金屬及塑鋼拉鏈。

更為優選的是，所述缺陷的種類包括：布帶的色差、髒汙、跳紗、布帶缺口、皺帶、粘染料、布帶兩邊弧度、壓布帶、布帶色花、破洞，以及牙齒的缺牙、小米、半邊牙、割齒不淨、壓牙、接模空位。

更為優選的是，所述圖像分析模組和所述缺陷判斷模組的工作流程包括以下步驟：步驟一：基於深度學習方法對拉鏈缺陷特徵進行提取檢測；步驟二：基於機器視覺和模式識別的方法對拉鏈缺陷特徵進行提取檢測；步驟三：基於多元融合模型對步驟一和步驟二的檢測結果進行調整，調整時，多元融合模型賦予步驟一的檢測結果和步驟二的檢測結果相應的比重。

更為優選的是，在步驟一中，利用特徵提取網路對推理圖像的深度特徵進行提取，進而對缺陷部位進行回應，從而實現拉鏈缺陷特徵的提取檢測；所述特徵提取網路具有多尺度特徵融合模組、用來提取多尺度特徵，多尺度特徵通過FPN結構進行融合。

更為優選的是，在步驟二中，對鏈牙缺陷進行檢測識別時，先利用預處理模組將檢測區域從背景中提取出來，再用灰度投影分布異常檢測和時頻域模板匹配對鏈牙間距進行分析；所述預處理模組採用大津閾值法和形態學處理的方法將檢測區域從背景中提取出來。

更為優選的是，在步驟三中，多元融合模型採用正確率排名 正則化的方法賦予步驟一的檢測結果和步驟二的檢測結果相應的比重值。

更為優選的是，所述缺陷學習模組基於深度學習方法對缺陷資訊進行採集、學習；通過特徵提取網路提取到缺陷資訊的普適特徵，保存為模型檔；所述模型檔中的模型採用深度可分離卷積進行體積縮減；先針對不同通道做單獨卷積，再通過1×1卷積來降低通道數；在形成模型檔時，引入的基於squeeze and excitation結構的輕量級注意力模型，該模型結構考慮通道之間的關係，以此來提升網路性能，能夠顯式地建立特徵通道之間地相互依賴關係，通過學習的方式來獲得每個特徵通道之間的重要程度，按照這個重要程度來提升有用的特徵的權重並抑制對當前任務用處不大的特徵。

本發明的有益效果如下。

一、通過在長碼拉鏈設備上增加相應的高速攝像機、圖像分析模組、缺陷判斷模組、缺陷學習模組等，實現了長碼拉鏈的線上連續檢測；同時，高速攝像機以每分鐘3000幀率以下採集流水線上的長碼拉鏈的連續動態圖像，可以滿足傳送速度為300m/min以下的生產流水線的高速生產檢測要求；另外，缺陷學習模組的設置可以即時對新的缺陷資訊進行學習，使得缺陷檢測系統具有自學習功能，有效提高拉鏈缺陷的識別成功率，滿足不同精細度、種類及顏色的長碼拉鏈檢測需求。

二、圖像分析時，將基於深度學習方法和基於機器視覺、模式識別的方法結合起來對拉鏈缺陷特徵進行提取檢測，並採用多元融合模型對兩者的檢測結果進行賦予比重值進行調整；有效提高長碼拉鏈的缺陷識別準確率。經車間實際生產驗證，利用本發明提供的方法，對傳送速度 為300m/min以下的生產流水線的高速生產中，鏈牙缺陷的識別準確率高達96%，對布帶缺陷的識別準確率高達98%。

1:長碼拉鏈設備

2:人機交互設備

3:高速攝像機

4:流水線

5:圖像分析模組

6:缺陷判斷模組

7:缺陷學習模組

1-1:導輪

1-2:瑕疵沖孔工位

1-3:照明光源

1-4:機架

101:高速攝像機以每分鐘3000幀以下幀率採集流水線上的長碼拉鏈圖像

102:缺陷檢測系統進行演算法分析

103:缺陷檢測系統檢測出缺陷，並通過MODBUS協定與長碼拉鏈設備進行通信

104:長碼拉鏈設備停機並把缺陷部分傳動到指定位置進行標注及在顯示幕上顯示缺陷部位圖片

105:缺陷檢測系統與長碼拉鏈設備通過網路與雲端平臺進行通信

106:雲端平臺進行分析、學習及記錄

107:完成處理返回101

〔圖1〕為本發明提供的長碼拉鏈的缺陷或瑕疵檢測系統的結構示意圖。

〔圖2〕為本發明提供的長碼拉鏈的缺陷或瑕疵檢測系統的工作流程圖。

〔圖3〕為長碼拉鏈設備的結構示意圖。

〔圖4〕為基於深度學習方法的拉鏈缺陷檢測流程圖。

〔圖5〕為深度可分離卷積的基本結構圖。

〔圖6〕為基於機器視覺和模式識別的拉鏈缺陷檢測流程圖。

〔圖7〕為灰度投影異常檢測後的示意圖。

為方便本領域普通技術人員更好地理解本發明的實質，下面結合附圖對本發明的具體實施方式進行詳細闡述。

結合圖1所示，一種長碼拉鏈的缺陷或瑕疵檢測系統，包括：長碼拉鏈設備1，具有連續輸送長碼拉鏈的流水線4；人機交互設備2，與長碼拉鏈設備1連接、用來控制流水線4的啟停。

其中，還包括：高速攝像機3，每秒3000幀以下的幀率抓拍圖像，與流水線4對應設置、用來對輸送過程中的長碼拉鏈進行連續抓拍並將之即時顯示在人機交互設備2的顯示幕上。

圖像分析模組5，用來對高速攝像機抓拍到的圖像進行演算法分析。

缺陷判斷模組6，用來對演算法分析後的圖像進行缺陷比較判斷、並將判斷結果即時顯示在人機交互設備的顯示幕上。

缺陷學習模組7，用來根據學習指令對顯示幕上顯示的缺陷資訊進行採集、學習、並上傳到資料庫中存儲，進而豐富缺陷判斷模組的缺陷類別。

結合圖2所示，實際工作時，長碼拉鏈以300m/min以下的傳送速度在流水線上傳送。具體檢測步驟如下：101，高速攝像機以每分鐘3000幀以下幀率採集流水線上的長碼拉鏈圖像；102，缺陷檢測系統進行演算法分析；103，缺陷檢測系統檢測出缺陷，並通過MODBUS協定與長碼拉鏈設備進行通信，104，長碼拉鏈設備停機並把缺陷部分傳動到指定位置進行標注及在顯示幕上顯示缺陷部位圖片；107，完成處理返回101。

缺陷檢測完成後，所有識別的資料和結果除了與長碼拉鏈設備即時進行通信及控制外，也通過網路方式進行資料的傳達。具體為：105，缺陷檢測系統與長碼拉鏈設備通過網路與雲端平臺進行通信；106，雲端平臺進行分析、學習及記錄。

當發現新的缺陷資訊時，操作者可進行手動發出學習指令，通過缺陷學習模組對新的缺陷資訊進行採集、學習、並上傳到資料庫中存儲。

結合圖3所示，所述長碼拉鏈設備1包括機架1-4，設置在機架1-4上若干導輪1-1和瑕疵沖孔工位1-2，所述長碼拉鏈在各所述導輪1-1的承托下沿流水線方向連續輸送，所述瑕疵沖孔工位1-2與流水線對應設置，用來對缺陷部分進行沖孔標注，以更好地避免缺陷部位流入下一工序，且 標注方便快捷。

所述人機交互設備2和所述高速攝像機3也安裝安裝所述機架1-4上，且在機架1-4上設有與所述高速攝像機3對應的照明光源1-3，以確保高速攝像機3所抓拍的圖像清晰度。

本發明提供的一種長碼拉鏈的缺陷或瑕疵檢測系統，主要是針對傳送速度為300m/min以下的拉鏈生產流水線，實現尼龍、聚酯、金屬、塑鋼及強化拉鏈缺陷的即時檢測。檢測識別的拉鏈缺陷的種類主要包含：布帶的色差、髒汙、跳紗、布帶缺口、皺帶、粘染料、布帶兩邊弧度、壓布帶、布帶色花等，以及牙齒的缺牙、小米、半邊牙、割齒不淨、壓牙、接模空位等。

進一步地，本實施例中，所述圖像分析模組5和所述缺陷判斷模組6所採用的具體演算法如下。

一、基於深度學習方法的拉鏈缺陷特徵提取檢測。

隨著人工智慧技術的飛速發展，在目標檢測領域基於深度學習技術的缺陷檢測方法已經遠超過其他傳統檢測方法的檢測效果。深度學習演算法通過大量的缺陷樣本對神經網路進行訓練，使其學習到各種缺陷樣本的深度特徵，足以對抗推理樣本外界的複雜光照、角度、大小等變化。而相較於此，傳統方法大多基於圖像灰度變化、範本匹配等方法對拉鏈缺陷進行檢測，易受到複雜工程環境的干擾，虛警率較高。所以，基於深度學習技術對缺陷樣本進行深度特徵提取，再對生產條件中的拉鏈進行缺陷檢測，具有更高的魯棒性和實用價值。

拉鏈缺陷檢測主要分為兩種：牙齒和布帶。相較於拉鏈的正 常部位，缺陷部位的深度特徵與之有較大區別。從人的視覺角度觀察，牙齒和布帶缺陷明顯與拉鏈的正常部位不同。而對於電腦來說，無法直接對缺陷部位進行回應，需要進行網路訓練，訓練樣本通過特徵提取網路提取到缺陷樣本的普適特徵，保存為模型檔。在推理檢測時，利用特徵提取網路對待測圖像的深度特徵進行提取，進而對缺陷部位進行回應，獲得缺陷檢測結果，從而達到識別缺陷拉鏈的目的，流程如圖4所示。

首先針對輸入的缺陷樣本，輸入特徵提取網路，為了提升模型魯棒性，設置多尺度特徵融合模組，提取缺陷樣本的多尺度特徵。在深度學習技術中，隨著網路深度的加深，淺層的特徵中主要包含低級的資訊(物體邊緣、顏色、初級位置資訊等)，深層的特徵中包含更高層的語義資訊。雖然在不同級別的特徵中進行檢測可以對應不同的尺度，但是實際上的精度並不理想。在網路中為了避免這種現象，採用FPN結構來提升模型的精度，通過不同層級特徵跨越式連接，能夠讓資訊流在網路中充分傳遞，進而將低層特徵與高層語義特徵有效進行融合，提升對缺陷樣本的深度特徵提取能力。

考慮到實際應用場景，需要對模型的體積進行縮減，實現羽量級、小型化的拉鏈缺陷檢測系統，故採用深度可分離卷積替代傳統的卷積方式，深度可分離卷將傳統的卷積替換為深度卷積和逐點卷積。其首先針對不同通道做單獨卷積，再通過1×1卷積來降低通道數，達到傳統卷積所實現的功能，但是相較於傳統卷積，其參數量可以降低近10倍，有效縮減了模型體積。深度可分離卷積的基本結構如圖5所示。

在經過大量樣本訓練之後，保存為模型檔，利用保存的模型 檔對待測圖像進行推理檢測，獲取推理檢測深度特徵後對圖像的特徵圖進行回應，如果回應達到一定級別，則判定為缺陷樣本，否則為正常樣本。

此外，在形成模型檔時，引入的基於squeeze and excitation結構的輕量級注意力模型，該模型結構考慮通道之間的關係，以此來提升網路性能，能夠顯式地建立特徵通道之間地相互依賴關係，通過學習的方式來獲得每個特徵通道之間的重要程度，按照這個重要程度來提升有用的特徵的權重並抑制對當前任務用處不大的特徵。

二、基於機器視覺和模式識別的拉鏈缺陷檢測。

相較於深度學習方法，基於機器視覺的傳統檢測方法的處理效率更高，可以更迅速地定位出缺陷位置。然而傳統方法受限於特定的光源條件、拍攝設備以及圖像清晰度，即泛化遷移性能和魯棒性能略有欠缺，有一定虛警概率。有鑑於此，本發明開展了一種機器視覺與模式識別理論交叉的魯棒性拉鏈缺陷檢測方法，利用預處理模組的大津閾值法及形態學處理將鏈牙區域從背景中提取出來，融合灰度投影分布異常檢測和時頻域模板匹配兩個子模組，對鏈牙間距進行分析，快速且有效地識別出鏈牙、鏈線缺陷區域。工作流程如圖6所示。

由於需要對高清相機錄製的視頻進行抽幀並即時處理，因此演算法的運行效率和魯棒性是整個流程的關鍵。預處理模組的作用便是將在各種拍攝條件下得到的圖像中的鏈齒部分提取出來，形成灰度二值圖。這樣做有兩點優勢：從運行效率上，有效縮減了大量灰度圖的選擇過程，尤其是範本匹配的範圍，大幅度削減了不必要的計算開銷；從魯棒性上，減少了不同拍攝背景對於缺陷檢測任務的干擾，最大限度地降低光照情況 不平衡等情況帶來雜訊的影響。

灰度二值圖，就是將彩色圖像轉化成灰度圖像之後，統計各個圖元點的灰度值，再對灰度圖像進行處理，設定閾值範圍，在閾值範圍中的圖元值將變為1(白色部分)，閾值範圍外的將變為0(黑色部分)，此為二值圖。

得到預處理的灰度二值圖後，對鏈牙間距的檢測是重點和難點，這是因為同一個拉鏈的不同鏈牙在不同光強下的成像品質差別很大，每個鏈牙相對於光源的位置不同，其在影像上呈現的金屬光澤飽和度和亮度也不同，導致鏈牙漏檢和缺陷虛警情況的發生。

本發明採用灰度投影分布異常檢測和時頻域模板匹配兩個模組相互輔助，確定最終的缺陷位置。經過灰度投影異常檢測後的示意圖如圖7所示，圖7中，縱軸是灰度值(0，255)，橫軸是灰度值所對應的圖元的數目，擬合直線是最高及最低值中間的一條直線，即圖像資料與實際資料之間誤差的平方和為最小，A代表灰度分布，B代表擬合直線。從圖7可以看到：只使用一種機器視覺方法時，由於環境雜訊和成像條件的影響，出現了虛警現象(圖中位於兩側的圓圈所示)，真實缺陷現象如中間圓圈所示。因此首先利用灰度分布異常檢測模組快速定位到可疑區域，再利用時頻域模板匹配模組對這些區域進行輔助判別，得到最終的缺陷檢測區域。

三、基於多元融合模型對兩種檢測結果進行調整。

多元融合模型通過整合深度特徵提取資料及機器視覺模式識別的拉鏈缺陷檢測資料的變數進行加權融合決策判斷最後結果。

具體來說，該多元融合模型由三個模組組成，分別為深度特 徵提取模組、機器視覺模式識別模組和資料融合模組。通過融合多個不同的模型，提升機器學習的性能，在不改變模型的情況下，直接對各個不同的模型預測的結果，進行投票或者平均，這是一種簡單卻行之有效的融合方式。

比如對於分類問題，假設有三個相互獨立的模型，每個正確率都是70%，採用少數服從多數的方式進行投票。那麼最終的正確率將是：0.7×0.7×0.7+0.7×0.7×0.3×3=0.343+0.441=0.784。

以上投票演算法的原理為：第一個模型正確率×第二個模型正確率×第三個模型正確率+隨機其中兩個模型正確率相乘、再乘以30%的不正確率。該投票演算法一般適於3個模型以內的投票計算。

經過簡單的投票，使得正確率從70%提升到78.4%，提升了8個百分點。需要說明的是，根據實際需要的不同，本領域技術人員也可以採用其他現有已知的或將來能夠實現的其他投票演算法代替上述投票演算法。

投票演算法是一個簡單的概率學問題，如果進行投票的模型越多，那麼顯然其結果將會更好。模型之間差異越大，融合所得的結果將會更好。這種特性不會受融合方式的影響。注意這裡所指模型之間的差異，並不是指正確率的差異，而是指模型之間相關性的差異。

在上述融合方法的基礎上，一個進行改良的方式是對各個投票者/平均者分配不同的權重以改變其對最終結果影響的大小。對於正確率低的模型給予更低的權重，而正確率更高的模型給予更高的權重。這也是可以直觀理解的，想要推翻專家模型(高正確率模型)的唯一方式，就是 臭皮匠模型(低正確率模型)同時投出相同選項的反對票。具體的對於權重的賦值，可以用正確率排名的正則化等。

在本實施例中，應用多元融合模型使得深度特徵提取資料及機器視覺模式識別的拉鏈缺陷檢測資料的高正確率模型及低正確率模型同時進行加權融合的決策，得到最後的結果作訓練，使識別檢測準確率提升，經在車間實際生產驗證，採用本發明提供的檢測方法，對傳送速度為300m/min或以下的生產流水線的高速生產中，鏈牙缺陷的識別準確率高達96%，對布帶缺陷的識別準確率高達98%；完全可以滿足傳送速度為300m/min或以下的生產流水線檢測需求，且實現應用方式相對簡單。

在本實施例中，圖像分析模組5、缺陷判斷模組6和缺陷學習模組7都集成到人機交互設備2的嵌入式主控板上。

嵌入式主控板通過MODBUS協定對長碼拉鏈設備進行控制和資料通信，以達到開啟或停止等控制操作。為達到識別效果最佳，嵌入式主控板加入了NPU作為演算法計算的輔助，內核驅動需移植NPU的驅動，部分演算法需放入NPU中運行。NPU是為深度學習而生的專業晶片，深度學習實際上是一類多層大規模人工神經網路，由若干人工神經元結點互聯而成。而傳統的處理器指令集是為了進行通用計算發展起來的，其基本操作為算術操作(加減乘除)和邏輯操作(與或非)，往往需要數百甚至上千條指令才能完成一個神經元的處理，深度學習的處理效率不高。這時就必須加入NPU──突破經典的馮‧諾伊曼結構。NPU在電路層類比神經元，通過突觸權重實現存儲和計算一體化，一條指令完成一組神經元的處理，大大提高運行效率。在此圖像識別系統中，有著龐大的資料模型，因 此引入NPU輔助演算法運行是十分有必要的。

嵌入式主控板基於高性能主控晶片或人工智慧晶片，通過USB3.0高速攝像頭對拉鏈牙齒及鏈帶的缺陷進行異常報警，並且通過MODBUS協定發送異常協定至長碼拉鏈設備PLC部份使得停止工作及作出警報，並通過雲端系統通知後臺發生異常及缺憾位置進行記錄及遠端警報，面對拉鏈精細度、種類及顏色越來越多的情況下，檢測功能及雲記錄學習功能是必要的，且能大量減少人力成本的投入、檢測準確率的提升及保證下游製造減低生產報廢率。

嵌入式主控板運行演算法較高，且設備是在每分鐘50-300米的速度在運行，因此CPU將採用高性能主控晶片或人工智慧晶片，由於需要保證高速信號的時序問題，及需要做等長等處理，嵌入式主控板也需加入NPU結構構成。其中，螢幕部分，由於過程及結果的顯示需要同步進行，相較於長碼拉鏈設備內部的螢幕成本較低，因此將使用HDMI介面的工業顯示幕。在攝像頭部分，由於長碼拉鏈設備在高速運行，固採用USB3.0介面的工業高速攝像頭，再做差分處理保證信號中短距離傳輸不受干擾。遠端通訊方面，板載的5G/4G/Wifi網路模組，處理了資訊與雲端平臺交互的工作。與長碼拉鏈設備PLC控制部份使用MODBUS協定通訊模組，用於串口協定轉換後控制長碼拉鏈設備。

嵌入式主控板使用了無線WiFi網路和有線網路進行資料傳輸，並可實現自動切換以保證資料網路的有效性。通過有效的網路傳輸，即時把缺陷檢測的結果、缺陷資訊的學習情況以及對長碼拉鏈設備的控制和運作情況資料，上報給後臺伺服器，並與後臺伺服器形成雙工的通路， 伺服器亦可根據特定的協定傳達命令給檢測系統，實現“雲-機-系統”即時交互。

需要說明的是，在本說明書的描述中，流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用於實現特定邏輯功能或過程的步驟的可執行指令的代碼的模組、片段或部分，並且本發明的優選實施方式的範圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本發明的實施例所屬技術領域的技術人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用於實現邏輯功能的可執行指令的定序列表，可以具體實現在任何電腦可讀介質中，以供指令執行系統、裝置或設備(如基於電腦的系統、包括處理器的系統或其他可以從指令執行系統、裝置或設備取指令並執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"電腦可讀介質"可以是任何可以包含、存儲、通信、傳播或傳輸程式以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。電腦可讀介質的更具體的示例(非窮盡性列表)包括以下：具有一個或多個佈線的電連接部(電子裝置)，可擕式電腦盤盒(磁裝置)，隨機存取記憶體(RAM)，唯讀記憶體(ROM)，可擦除可編輯唯讀記憶體(EPROM或閃速記憶體)，光纖裝置，以及可擕式光碟唯讀記憶體(CDROM)。另外，電腦可讀介質甚至可以是可在其上列印所述程式的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著 進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程式，然後將其存儲在電腦記憶體中。

應當理解，本發明的各部分可以用硬體、軟體、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在記憶體中且由合適的指令執行系統執行的軟體或固件來實現。例如，如果用硬體來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用於對資料信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用積體電路，可程式設計閘陣列(PGA)，現場可程式設計閘陣列(FPGA)等。

本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程式來指令相關的硬體完成，所述的程式可以存儲於一種電腦可讀存儲介質中，該程式在執行時，包括方法實施例的步驟之一或其組合。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。

儘管上面已經示出和描述了本發明的實施例，可以理解的 是，上述實施例是示例性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的範圍內可以對上述實施例進行變化、修改、替換和變型。

1:長碼拉鏈設備

2:人機交互設備

3:高速攝像機

4:流水線

5:圖像分析模組

6:缺陷判斷模組

7:缺陷學習模組

Claims (10)

1. 一種長碼拉鏈的缺陷或瑕疵檢測系統，包括：長碼拉鏈設備，具有連續輸送長碼拉鏈的流水線；人機交互設備，與長碼拉鏈設備連接、用來控制流水線的啟停；

   其特徵在於，還包括：

   高速攝像機，與流水線對應設置、用來對輸送過程中的長碼拉鏈進行連續抓拍；

   圖像分析模組，用來對高速攝像機抓拍到的圖像進行演算法分析；

   缺陷判斷模組，用來對演演算法分析後的圖像進行缺陷比較判斷；以及

   缺陷學習模組，用來根據學習指令對顯示幕上顯示的缺陷資訊進行採集、學習、並上傳到資料庫中存儲，進而豐富缺陷判斷模組的缺陷類別；

   實際工作時，長碼拉鏈以300m/min以下的傳送速度在流水線上傳送，高速攝像機以每分鐘3000幀以下的幀率採集流水線上的長碼拉鏈圖像；

   當圖像分析模組和缺陷判斷模組識別到缺陷時，控制長碼拉鏈設備停機並把缺陷部分傳動到指定位置進行標注，標注完成後，長碼拉鏈繼續以300m/min以下的傳送速度在流水線上進行傳送和缺陷檢測；

   當發現新的缺陷資訊時，發出學習指令，通過缺陷學習模組對新的缺陷資訊進行採集、學習、並上傳到資料庫中存儲。
2. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，所述長碼拉鏈設備具有若干導輪，所述長碼拉鏈在所述導輪的承托下沿流水線方向連續輸送。
3. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，所述長碼拉鏈設備具有瑕疵沖孔工位，通過所述瑕疵沖孔工位對缺陷部分進行沖孔標注。
4. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，所述人機交互設備即時顯示高速攝像機連續抓拍到的圖像、以及缺陷判斷模組的判斷結果。
5. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，所述長碼拉鏈為尼龍、金屬及塑鋼拉鏈，所述缺陷的種類包括：布帶的色差、髒帶、跳紗、布帶缺口、皺帶、粘染料、布帶兩邊弧度、壓布帶、布帶色花，以及牙齒的缺牙、小米、半邊牙、割齒不淨、壓牙、接模空位。
6. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，所述圖像分析模組和所述缺陷判斷模組的工作流程包括以下步驟：

   步驟一：基於深度學習方法對拉鏈缺陷特徵進行提取檢測；

   步驟二：基於機器視覺和模式識別的方法對拉鏈缺陷特徵進行提取檢測；

   步驟三：基於多元融合模型對步驟一和步驟二的檢測結果進行調整，調整時，多元融合模型賦予步驟一的檢測結果和步驟二的檢測結果相應的比重。
7. 如請求項6所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，在步驟一中，利用特徵提取網路對推理圖像的深度特徵進行提取，進而對缺陷部位進行回應，從而實現拉鏈缺陷特徵的提取檢測；所述特徵提取網路具有多尺度特徵融合模組、用來提取多尺度特徵，多尺度特徵通過FPN結構進行融合。
8. 如請求項6所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，在步驟二中，對鏈牙缺陷進行檢測識別時，先利用預處理模組將檢測區域從背景中提取出來，再用灰度投影分布異常檢測和時頻域模板匹配對鏈牙間距進行分析；所述預處理模組採用大津閾值法和形態學處理的方法將檢測區域從背景中提取出來。
9. 如請求項6所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，在步驟三中，多元融合模型採用正確率排名正則化的方法賦予步驟一的檢測結果和步驟二的檢測結果相應的比重值。
10. 如請求項1所述的長碼拉鏈的缺陷或瑕疵檢測系統，其中，缺陷學習模組基於深度學習方法對缺陷資訊進行採集、學習；通過特徵提取網路提取到缺陷資訊的普適特徵，保存為模型檔；所述模型檔中的模型採用深度可分離卷積進 行體積縮減；先針對不同通道做單獨卷積，再通過1x1卷積來降低通道數。

Images