TWI765475B - 圖像瑕疵檢測方法、裝置、電腦裝置及介質 - Google Patents
圖像瑕疵檢測方法、裝置、電腦裝置及介質 Download PDFInfo
- Publication number
- TWI765475B TWI765475B TW109144586A TW109144586A TWI765475B TW I765475 B TWI765475 B TW I765475B TW 109144586 A TW109144586 A TW 109144586A TW 109144586 A TW109144586 A TW 109144586A TW I765475 B TWI765475 B TW I765475B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- detected
- score
- target
- feature
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申請涉及圖像分析技術，本申請提供一種圖像瑕疵檢測方法、裝置、電腦裝置及介質。該方法能夠獲取待檢測圖像，確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層，利用所述目標卷積層提取所述待檢測圖像的待檢測特徵，根據所述待檢測特徵確定所述待檢測圖像的目標分數，確定與所述領域對應的分數閾值，當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。本申請能夠提高瑕疵檢測的準確度。
Description
本申請涉及圖像分析技術領域，尤其涉及一種圖像瑕疵檢測方法、裝置、電腦裝置及介質。
在工業檢測領域中，對於產品圖像的破損、擦傷等缺陷的檢測，能夠確保產品的高品質。傳統的方式是透過監督式學習分類模型確定出產品圖像是否存在瑕疵，然而，由於瑕疵資料取得不易，導致訓練資料不足，造成訓練得到的監督式學習分類模型無法準確識別產品圖像是否存在瑕疵，從而降低瑕疵檢測的準確度。
鑒於以上內容，有必要提供一種圖像瑕疵檢測方法、裝置、電腦裝置及介質，能夠提高瑕疵檢測的準確度。
本申請的第一方面提供一種圖像瑕疵檢測方法，所述圖像瑕疵檢測方法包括：獲取待檢測圖像；確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層；利用所述目標卷積層提取所述待檢測圖像的待檢測特徵；
根據所述待檢測特徵確定所述待檢測圖像的目標分數；確定與所述領域對應的分數閾值；當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
本申請的第二方面提供一種圖像瑕疵檢測裝置，所述圖像瑕疵檢測裝置包括：獲取單元，用於獲取待檢測圖像；確定單元，用於確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層；提取單元，用於利用所述目標卷積層提取所述待檢測圖像的待檢測特徵；所述確定單元，還用於根據所述待檢測特徵確定所述待檢測圖像的目標分數；所述確定單元，還用於確定與所述領域對應的分數閾值；所述確定單元，還用於當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
本申請的第三方面提供一種電腦裝置，所述電腦裝置包括：儲存器，儲存至少一個指令；及處理器，獲取所述儲存器中儲存的指令以實現所述圖像瑕疵檢測方法。
本申請的第四方面提供一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦裝置中的處理器獲取以實現所述圖像瑕疵檢測方法。
由以上技術方案可以看出，本申請透過確定特徵提取性能最好的目標卷積層，以便能夠更好提取待檢測圖像的特徵，使本申請能夠提高瑕疵檢測的準確度。
1:電腦裝置
12:儲存器
13:處理器
11:圖像瑕疵檢測裝置
110:獲取單元
111:確定單元
112:生成單元
113:加密單元
114:發送單元
115:劃分單元
116:訓練單元
117:測試單元
118:調整單元
119:計算單元
120:提取單元
圖1是本申請圖像瑕疵檢測方法的較佳實施例的流程圖。
圖2是本申請圖像瑕疵檢測裝置的較佳實施例的功能模組圖。
圖3是本申請實現圖像瑕疵檢測方法的較佳實施例的電腦裝置的結構示意圖。
為了使本申請的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本申請進行詳細描述。
如圖1所示，是本申請圖像瑕疵檢測方法的較佳實施例的流程圖。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
所述圖像瑕疵檢測方法應用於一個或者多個電腦裝置1中，所述電腦裝置1是一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位信號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電腦裝置1可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、互動式網路電視(Internet Protocol Television，IPTV)、智慧式穿戴式設備等。
所述電腦裝置1還可以包括網路設備和/或使用者設備。其中，所述網路設備包括，但不限於單個網路服務器、多個網路服務器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路服務器構成的雲。
所述電腦裝置1所處的網路包括但不限於網際網路、廣域網路、都會區網路、局域網、虛擬私人網路(Virtual Private Network，VPN)等。
步驟S10，獲取待檢測圖像。
在本申請的至少一個實施例中，所述待檢測圖像可以從攝像裝置中獲取，也可以從配置庫中獲取的，還可以從網站上爬取的。進一步地，所述待檢測圖像中可以包括檢測物件。
在本申請的至少一個實施例中，所述電腦裝置獲取待檢測圖像包括以下一種或者多種方式的組合：
(1)所述電腦裝置確定所述檢測物件，並利用所述攝像裝置拍攝所述檢測物件，得到所述待檢測圖像。
其中，所述檢測物件可以是任意產品，也可以是任意產品的任意一個表面。
進一步地，所述攝像裝置可以是攝像頭，所述攝像裝置可以安裝在所述檢測物件的正前方。
透過上述實施方式，能夠快速獲取到需要檢測是否存在瑕疵的待檢測圖像。
(2)所述電腦裝置從所述配置庫中獲取帶有預設標識的圖像作為所述待檢測圖像。
其中，所述配置庫中儲存多張圖像與所述多張圖像的標識。
進一步地，所述預設標識可以是“未檢測”，也可以是其他任意標識，所述預設標識可以由使用者任意設定，本申請對此不作限制。
透過預設標識與待檢測圖像的映射關係，能夠準確地獲取到所述待檢測圖像。
(3)所述電腦裝置利用網路爬蟲工具從預設網頁上爬取所述待檢測圖像。
其中，所述預設網頁可以是用戶所在企業的企業網站。
進一步地，所述網路爬蟲工具可以是任意爬蟲工具，本申請對此不再贅述。
透過從指定網頁上爬取待檢測圖像，能夠確保最終在指定網頁上呈現的圖像是無瑕疵圖像。
步驟S11，確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層。
在本申請的至少一個實施例中，所述領域是待檢測圖像中的待檢測物件所在的領域。例如：所述領域可以是鈑金。
進一步地，所述預先構建好的卷積神經網路可以是VGG-16，具體的卷積神經網路本申請不作限制。
進一步地，所述目標卷積層是指在所述卷積神經網路中圖像特徵提取最好的卷積層。
在本申請的至少一個實施例中，所述電腦裝置確定所述待檢測圖像所屬的領域包括：
所述電腦裝置確定所述待檢測圖像的待檢測物件，進一步地，所述電腦裝置根據所述待檢測物件確定所述領域。
透過上述實施方式，能夠快速、準確確定所述待檢測圖像所屬的領域。
在本申請的至少一個實施例中，所述電腦裝置基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層包括：所述電腦裝置獲取所述領域上的多張訓練圖像，所述電腦裝置從所述卷積神經網路的任意卷積層中提取卷積核，所述卷積神經網路中包括多個卷積層，進一步地，所述電腦裝置利用提取的每個卷積核對每張訓練圖像進行卷積運算，得到每個卷積層上的多張特徵圖像，進一步地，所述電腦裝置對每個卷積層上的每張特徵圖像進行池化處理，得到每個卷積層上的多個低維向量，更進一步地，所述電腦裝置利用T-SNE演算法對每個低維向量進行視覺化處理，
得到每個卷積層上的多張訓練圖像的分佈圖像，更進一步地，所述電腦裝置根據每個卷積層的分佈圖像確定所述目標卷積層。
透過分析所述領域上的多張訓練圖像，能夠確保所述目標卷積層適用於所述領域上的待檢測圖像的特徵提取，同時，透過分析正常圖像及瑕疵圖像，使所述目標卷積層不僅能夠提取正常圖像的特徵，還能夠提取瑕疵圖像的特徵。
具體地，所述電腦裝置根據每個卷積層的分佈圖像確定所述目標卷積層包括：所述電腦裝置遍歷每個分佈圖像，並將遍歷到分佈最好的分佈圖像確定為目標分佈圖像，進一步地，所述電腦裝置將與所述目標分佈圖像對應的卷積層確定為所述目標卷積層。
步驟S12，利用所述目標卷積層提取所述待檢測圖像的待檢測特徵。
在本申請的至少一個實施例中，所述待檢測特徵是利用所述目標卷積層中的卷積核對所述待檢測圖像進行特徵提取得到的。
在本申請的至少一個實施例中，所述電腦裝置利用所述目標卷積層提取所述待檢測圖像的待檢測特徵包括：所述電腦裝置獲取所述目標卷積層中的目標卷積核，進一步地，所述電腦裝置利用所述目標卷積核提取所述待檢測圖像的特徵，得到所述待檢測特徵。
其中，所述目標卷積核可以是2*2的矩陣，也可以是3*3的矩陣，本申請對此不作限制。
步驟S13，根據所述待檢測特徵確定所述待檢測圖像的目標分數。
在本申請的至少一個實施例中，所述電腦裝置根據所述待檢測特徵確定所述待檢測圖像的目標分數包括：
所述電腦裝置對所述待檢測特徵進行均值池化處理，得到目標向量，進一步地，所述電腦裝置將所述目標向量輸入至預先訓練好的高斯混合模型中，得到所述目標分數。
其中，所述高斯混合模型(Gaussian Mixture Model，GMM)能夠利用高斯概率密度函數(正態分佈圖像曲線)精確地量化目標向量對應的分數。
在本申請的至少一個實施例中，在將所述目標向量輸入至預先訓練好的高斯混合模型中，得到所述目標分數之前，所述圖像瑕疵檢測方法還包括：所述電腦裝置將所述多個低維向量劃分為訓練集、測試集及驗證集，更進一步地，所述電腦裝置基於最大期望演算法，反覆運算訓練所述訓練集中的多個低維向量，得到學習器，更進一步地，所述電腦裝置利用所述測試集中的多個低維向量測試所述學習器，得到測試結果，當所述測試結果小於配置值時，所述電腦裝置利用所述驗證集中的多個低維向量調整所述學習器中的參數，得到所述高斯混合模型。
透過上述實施方式，能夠使生成的高斯混合模型更加準確。
在本申請的至少一個實施例中，在將所述多個低維向量劃分為訓練集、測試集及驗證集之前，所述方法還包括：所述電腦裝置計算所述多個低維向量的數量，當所述數量小於預設數量時，所述電腦裝置利用資料增強演算法增加所述多個低維向量的數量。
透過上述實施方式，能夠避免由於多個低維向量的數量不足，導致訓練得到的高斯混合模型生成的分數的泛化能力較差。
步驟S14，確定與所述領域對應的分數閾值。
在本申請的至少一個實施例中，所述多張訓練圖像包括瑕疵圖像及正常圖像，所述電腦裝置確定與所述領域對應的分數閾值包括：所述電腦裝置將所述瑕疵圖像及所述正常圖像輸入至所述目標卷積層中進行卷積處理，得到所述瑕疵圖像的第一特徵圖及所述正常圖像的第二
特徵圖，進一步地，所述電腦裝置從所述卷積神經網路中確定與所述目標卷積層對應的目標池化層，進一步地，所述電腦裝置利用所述目標池化層對所述第一特徵圖及所述第二特徵圖進行池化處理，得到所述瑕疵圖像的第一向量及所述正常圖像的第二向量，所述電腦裝置將所述第一向量及所述第二向量輸入至預先訓練好的高斯混合模型，得到所述瑕疵圖像的第一分數及所述正常圖像的第二分數，進一步地，所述電腦裝置確定所述第一分數與所述第二分數的均值分數，並確定所述第一分數與所述第二分數的標準差，更進一步地，所述電腦裝置將所述標準差乘以預設數值，得到運算結果，並將所述均值分數與所述運算結果相減，得到所述分數閾值。
透過計算正常圖像與瑕疵圖像的均值分數及計算正常圖像與瑕疵圖像的標準差分數，能夠確定出適合於所述領域的分數閾值。
步驟S15，當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
在本申請的至少一個實施例中，在將所述待檢測圖像確定為有瑕疵圖像之後，所述圖像瑕疵檢測方法還包括：所述電腦裝置確定所述有瑕疵圖像的目標數量，當所述目標數量大於預設數量時，所述電腦裝置根據所述有瑕疵圖像生成告警資訊，進一步地，所述電腦裝置採用對稱加密演算法加密所述告警資訊，得到密文，更進一步地，所述電腦裝置根據所述目標數量確定所述密文的告警等級，所述電腦裝置根據所述告警等級確定告警方式，更進一步地，所述電腦裝置以所述告警方式發送所述密文。
其中，所述預設數量可以待檢測圖像的容差率計算，本申請對所述預設數量的取值不作限制。
進一步地，所述告警等級包括：等級一、等級二等。
更進一步地，所述告警方式包括：揚聲器的警報聲、郵件方式、電話方式等。
透過上述實施方式，能夠在所述有瑕疵圖像的目標數量大於預設數量時，發出告警資訊，此外，透過加密告警資訊，能夠避免告警資訊被篡改，提高告警資訊的安全性，同時，根據告警等級確定告警方式，能夠以合適的告警方式發送告警資訊，使告警資訊的發送更加人性化。
在本申請的至少一個實施例中，所述圖像瑕疵檢測方法還包括：
當所述目標分數大於或者等於所述分數閾值時，所述電腦裝置將所述待檢測圖像確定為無瑕疵圖像。
由以上技術方案可以看出，本申請透過確定特徵提取性能最好的目標卷積層，以便能夠更好提取待檢測圖像的特徵，使本申請能夠提高瑕疵檢測的準確度。
如圖2所示，是本申請圖像瑕疵檢測裝置的較佳實施例的功能模組圖。所述圖像瑕疵檢測裝置11包括獲取單元110、確定單元111、生成單元112、加密單元113、發送單元114、劃分單元115、訓練單元116、測試單元117、調整單元118、計算單元119及提取單元120。本申請所稱的模組/單元是指一種能夠被處理器13所獲取，並且能夠完成固定功能的一系列電腦程式段，其儲存在儲存器12中。在本實施例中，關於各模組/單元的功能將在後續的實施例中詳述。
獲取單元110獲取待檢測圖像。
在本申請的至少一個實施例中，所述待檢測圖像可以從攝像裝置中獲取，也可以從配置庫中獲取的，還可以從網站上爬取的。
進一步地，所述待檢測圖像中可以包括檢測物件。
在本申請的至少一個實施例中，所述獲取單元110獲取待檢測圖像包括以下一種或者多種方式的組合：
(1)所述獲取單元110確定所述檢測物件，並利用所述攝像裝置拍攝所述檢測物件，得到所述待檢測圖像。
其中，所述檢測物件可以是任意產品，也可以是任意產品的任意一個表面。
進一步地，所述攝像裝置可以是攝像頭，所述攝像裝置可以安裝在所述檢測物件的正前方。
透過上述實施方式，能夠快速獲取到需要檢測是否存在瑕疵的待檢測圖像。
(2)所述獲取單元110從所述配置庫中獲取帶有預設標識的圖像作為所述待檢測圖像。
其中，所述配置庫中儲存多張圖像與所述多張圖像的標識。
進一步地，所述預設標識可以是“未檢測”，也可以是其他任意標識，所述預設標識可以由使用者任意設定，本申請對此不作限制。
透過預設標識與待檢測圖像的映射關係，能夠準確地獲取到所述待檢測圖像。
(3)所述獲取單元110利用網路爬蟲工具從預設網頁上爬取所述待檢測圖像。
其中，所述預設網頁可以是用戶所在企業的企業網站。
進一步地，所述網路爬蟲工具可以是任意爬蟲工具，本申請對此不再贅述。
透過從指定網頁上爬取待檢測圖像，能夠確保最終在指定網頁上呈現的圖像是無瑕疵圖像。
確定單元111確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層。
在本申請的至少一個實施例中，所述領域是待檢測圖像中的待檢測物件所在的領域。例如：所述領域可以是鈑金。
進一步地，所述預先構建好的卷積神經網路可以是VGG-16，具體的卷積神經網路本申請不作限制。
進一步地，所述目標卷積層是指在所述卷積神經網路中圖像特徵提取最好的卷積層。
在本申請的至少一個實施例中，所述確定單元111確定所述待檢測圖像所屬的領域包括：所述確定單元111確定所述待檢測圖像的待檢測物件，進一步地，所述確定單元111根據所述待檢測物件確定所述領域。
透過上述實施方式，能夠快速、準確確定所述待檢測圖像所屬的領域。
在本申請的至少一個實施例中，所述確定單元111基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層包括：所述確定單元111獲取所述領域上的多張訓練圖像，所述確定單元111從所述卷積神經網路的任意卷積層中提取卷積核，所述卷積神經網路中包括多個卷積層，進一步地，所述確定單元111利用提取的每個卷積核對每張訓練圖像進行卷積運算，得到每個卷積層上的多張特徵圖像，進一步地，所述確定單元111對每個卷積層上的每張特徵圖像進行池化處理，得到每個卷積層上的多個低維向量，更進一步地，所述確定單元111利用T-SNE演算法對每個低維向量進行視覺化處理，得到每個卷積層上的多張訓練圖像的分佈圖像，更進一步地，所述確定單元111根據每個卷積層的分佈圖像確定所述目標卷積層。
透過分析所述領域上的多張訓練圖像，能夠確保所述目標卷積層適用於所述領域上的待檢測圖像的特徵提取，同時，透過分析正常圖像及瑕疵圖像，使所述目標卷積層不僅能夠提取正常圖像的特徵，還能夠提取瑕疵圖像的特徵。
具體地，所述確定單元111根據每個卷積層的分佈圖像確定所述目標卷積層包括：
所述確定單元111遍歷每個分佈圖像，並將遍歷到分佈最好的分佈圖像確定為目標分佈圖像，進一步地，所述確定單元111將與所述目標分佈圖像對應的卷積層確定為所述目標卷積層。
提取單元120利用所述目標卷積層提取所述待檢測圖像的待檢測特徵。
在本申請的至少一個實施例中，所述待檢測特徵是利用所述目標卷積層中的卷積核對所述待檢測圖像進行特徵提取得到的。
在本申請的至少一個實施例中，所述提取單元120利用所述目標卷積層提取所述待檢測圖像的待檢測特徵包括：所述提取單元120獲取所述目標卷積層中的目標卷積核，進一步地，所述提取單元120利用所述目標卷積核提取所述待檢測圖像的特徵，得到所述待檢測特徵。
其中，所述目標卷積核可以是2*2的矩陣，也可以是3*3的矩陣，本申請對此不作限制。
所述確定單元111根據所述待檢測特徵確定所述待檢測圖像的目標分數。
在本申請的至少一個實施例中，所述確定單元111根據所述待檢測特徵確定所述待檢測圖像的目標分數包括：所述確定單元111對所述待檢測特徵進行均值池化處理，得到目標向量，進一步地，所述確定單元111將所述目標向量輸入至預先訓練好的高斯混合模型中，得到所述目標分數。
其中，所述高斯混合模型(Gaussian Mixture Model，GMM)能夠利用高斯概率密度函數(正態分佈圖像曲線)精確地量化目標向量對應的分數。
在本申請的至少一個實施例中，在將所述目標向量輸入至預先訓練好的高斯混合模型中，得到所述目標分數之前，劃分單元115將所述多個低維向量劃分為訓練集、測試集及驗證集，更進一步地，訓練單元116基於最大
期望演算法，反覆運算訓練所述訓練集中的多個低維向量，得到學習器，更進一步地，測試單元117利用所述測試集中的多個低維向量測試所述學習器，得到測試結果，當所述測試結果小於配置值時，調整單元118利用所述驗證集中的多個低維向量調整所述學習器中的參數，得到所述高斯混合模型。
透過上述實施方式，能夠使生成的高斯混合模型更加準確。
在本申請的至少一個實施例中，在將所述多個低維向量劃分為訓練集、測試集及驗證集之前，計算單元119計算所述多個低維向量的數量，當所述數量小於預設數量時，所述計算單元119利用資料增強演算法增加所述多個低維向量的數量。
透過上述實施方式，能夠避免由於多個低維向量的數量不足，導致訓練得到的高斯混合模型生成的分數的泛化能力較差。
所述確定單元111確定與所述領域對應的分數閾值。
在本申請的至少一個實施例中，所述多張訓練圖像包括瑕疵圖像及正常圖像，所述確定單元111確定與所述領域對應的分數閾值包括：所述確定單元111將所述瑕疵圖像及所述正常圖像輸入至所述目標卷積層中進行卷積處理，得到所述瑕疵圖像的第一特徵圖及所述正常圖像的第二特徵圖，進一步地，所述確定單元111從所述卷積神經網路中確定與所述目標卷積層對應的目標池化層，進一步地，所述確定單元111利用所述目標池化層對所述第一特徵圖及所述第二特徵圖進行池化處理，得到所述瑕疵圖像的第一向量及所述正常圖像的第二向量，所述確定單元111將所述第一向量及所述第二向量輸入至預先訓練好的高斯混合模型，得到所述瑕疵圖像的第一分數及所述正常圖像的第二分數，進一步地，所述確定單元111確定所述第一分數與所述第二分數的均值分數，並確定所述第一分數與所述第二分數的標準差，更進一步地，所述確定單元111將所述標準差乘以預設數值，得到運算結果，並將所述均值分數與所述運算結果相減，得到所述分數閾值。
透過計算正常圖像與瑕疵圖像的均值分數及計算正常圖像與瑕疵圖像的標準差分數，能夠確定出適合於所述領域的分數閾值。
當所述目標分數小於所述分數閾值時，所述確定單元111將所述待檢測圖像確定為有瑕疵圖像。
在本申請的至少一個實施例中，在將所述待檢測圖像確定為有瑕疵圖像之後，所述確定單元111確定所述有瑕疵圖像的目標數量，當所述目標數量大於預設數量時，生成單元112根據所述有瑕疵圖像生成告警資訊，進一步地，加密單元113採用對稱加密演算法加密所述告警資訊，得到密文，更進一步地，所述確定單元111根據所述目標數量確定所述密文的告警等級，所述確定單元111根據所述告警等級確定告警方式，更進一步地，發送單元114以所述告警方式發送所述密文。
其中，所述預設數量可以待檢測圖像的容差率計算，本申請對所述預設數量的取值不作限制。
進一步地，所述告警等級包括：等級一、等級二等。
更進一步地，所述告警方式包括：揚聲器的警報聲、郵件方式、電話方式等。
透過上述實施方式，能夠在所述有瑕疵圖像的目標數量大於預設數量時，發出告警資訊，此外，透過加密告警資訊，能夠避免告警資訊被篡改，提高告警資訊的安全性，同時，根據告警等級確定告警方式，能夠以合適的告警方式發送告警資訊，使告警資訊的發送更加人性化。
在本申請的至少一個實施例中，當所述目標分數大於或者等於所述分數閾值時，所述確定單元111將所述待檢測圖像確定為無瑕疵圖像。
由以上技術方案可以看出，本申請透過確定特徵提取性能最好的目標卷積層，以便能夠更好提取待檢測圖像的特徵，使本申請能夠提高瑕疵檢測的準確度。
如圖3所示，是本申請實現圖像瑕疵檢測方法的較佳實施例的電腦裝置的結構示意圖。
在本申請的一個實施例中，所述電腦裝置1包括，但不限於，儲存器12、處理器13，以及儲存在所述儲存器12中並可在所述處理器13上運行的電腦程式，例如圖像瑕疵檢測程式。
本領域技術人員可以理解，所述示意圖僅僅是電腦裝置1的示例，並不構成對電腦裝置1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電腦裝置1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所述處理器13可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器13是所述電腦裝置1的運算核心和控制中心，利用各種介面和線路連接整個電腦裝置1的各個部分，及獲取所述電腦裝置1的作業系統以及安裝的各類應用程式、程式碼等。
所述處理器13獲取所述電腦裝置1的作業系統以及安裝的各類應用程式。所述處理器13獲取所述應用程式以實現上述各個圖像瑕疵檢測方法實施例中的步驟，例如圖1所示的步驟。
示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被儲存在所述儲存器12中，並由所述處理器13獲取，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電腦裝置1中的獲取過程。例如，所述電腦程式可以被分割成獲取單元110、確定單元111、生成單元
112、加密單元113、發送單元114、劃分單元115、訓練單元116、測試單元117、調整單元118、計算單元119及提取單元120。
所述儲存器12可用於儲存所述電腦程式和/或模組，所述處理器13透過運行或獲取儲存在所述儲存器12內的電腦程式和/或模組，以及調用儲存在儲存器12內的資料，實現所述電腦裝置1的各種功能。所述儲存器12可主要包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；儲存資料區可儲存根據電腦裝置的使用所創建的資料等。此外，儲存器12可以包括非易失性儲存器，例如硬碟、儲存器、插接式硬碟，智慧儲存卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃儲存器卡(Flash Card)、至少一個磁碟儲存器件、快閃儲存器器件、或其他非易失性固態儲存器件。
所述儲存器12可以是電腦裝置1的外部儲存器和/或內部儲存器。進一步地，所述儲存器12可以是具有實物形式的儲存器，如儲存器條、TF卡(Trans-flash Card)等等。
所述電腦裝置1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一電腦可讀儲存介質中，該電腦程式在被處理器獲取時，可實現上述各個方法實施例的步驟。
其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可獲取檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀儲存器(ROM，Read-Only Memory)。
結合圖1，所述電腦裝置1中的所述儲存器12儲存多個指令以實現一種圖像瑕疵檢測方法，所述處理器13可獲取所述多個指令從而實現：獲取
待檢測圖像；確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層；利用所述目標卷積層提取所述待檢測圖像的待檢測特徵；根據所述待檢測特徵確定所述待檢測圖像的目標分數；確定與所述領域對應的分數閾值；當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
具體地，所述處理器13對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈圖像到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。系統請求項中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
Claims (9)
- 一種圖像瑕疵檢測方法，其中，所述圖像瑕疵檢測方法包括：獲取待檢測圖像；確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層；利用所述目標卷積層提取所述待檢測圖像的待檢測特徵；根據所述待檢測特徵確定所述待檢測圖像的目標分數；獲取所述領域上的多張訓練圖像，所述多張訓練圖像包括瑕疵圖像及正常圖像；確定與所述領域對應的分數閾值，包括：將所述瑕疵圖像及所述正常圖像輸入至所述目標卷積層中進行卷積處理，得到所述瑕疵圖像的第一特徵圖及所述正常圖像的第二特徵圖；從所述卷積神經網路中確定與所述目標卷積層對應的目標池化層；利用所述目標池化層對所述第一特徵圖及所述第二特徵圖進行池化處理，得到所述瑕疵圖像的第一向量及所述正常圖像的第二向量；將所述第一向量及所述第二向量輸入至預先訓練好的高斯混合模型，得到所述瑕疵圖像的第一分數及所述正常圖像的第二分數；確定所述第一分數與所述第二分數的均值分數，並確定所述第一分數與所述第二分數的標準差；將所述標準差乘以預設數值，得到運算結果，並將所述均值分數與所述運算結果相減，得到所述分數閾值；當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
- 如請求項1所述的圖像瑕疵檢測方法，其中，所述獲取待檢測圖像包括以下一種或者多種方式的組合：確定檢測物件，並利用攝像裝置拍攝所述檢測物件，得到所述待檢測圖像；及/或從配置庫中獲取帶有預設標識的圖像作為所述待檢測圖像；及/或 利用網路爬蟲工具從預設網頁上爬取所述待檢測圖像。
- 如請求項1所述的圖像瑕疵檢測方法，其中，所述基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層包括：從所述卷積神經網路的任意卷積層中提取卷積核，所述卷積神經網路包括多個卷積層；利用提取的每個卷積核對每張訓練圖像進行卷積運算，得到每個卷積層上的多張特徵圖像；對每個卷積層上的每張特徵圖像進行池化處理，得到每個卷積層上的多個低維向量；利用T-SNE演算法對每個低維向量進行視覺化處理，得到每個卷積層上的多張訓練圖像的分佈圖像；根據每個卷積層的分佈圖像確定所述目標卷積層。
- 如請求項1所述的圖像瑕疵檢測方法，其中，所述根據所述待檢測特徵確定所述待檢測圖像的目標分數包括：對所述待檢測特徵進行均值池化處理，得到目標向量；將所述目標向量輸入至所述高斯混合模型中，得到所述目標分數。
- 如請求項1所述的圖像瑕疵檢測方法，其中，在將所述待檢測圖像確定為有瑕疵圖像之後，所述圖像瑕疵檢測方法還包括：確定所述有瑕疵圖像的目標數量；當所述目標數量大於預設數量時，根據所述有瑕疵圖像生成告警資訊；採用對稱加密演算法加密所述告警資訊，得到密文；根據所述目標數量確定所述密文的告警等級；根據所述告警等級確定告警方式；以所述告警方式發送所述密文。
- 如請求項1所述的圖像瑕疵檢測方法，其中，所述圖像瑕疵檢測方法還包括： 當所述目標分數大於或者等於所述分數閾值時，將所述待檢測圖像確定為無瑕疵圖像。
- 一種圖像瑕疵檢測裝置，其中，所述圖像瑕疵檢測裝置包括：獲取單元，用於獲取待檢測圖像；確定單元，用於確定所述待檢測圖像所屬的領域，並基於所述領域，從預先構建好的卷積神經網路中確定目標卷積層；提取單元，用於利用所述目標卷積層提取所述待檢測圖像的待檢測特徵；所述確定單元，還用於根據所述待檢測特徵確定所述待檢測圖像的目標分數；所述確定單元，還用於獲取所述領域上的多張訓練圖像，所述多張訓練圖像包括瑕疵圖像及正常圖像；所述確定單元，還用於確定與所述領域對應的分數閾值，包括：將所述瑕疵圖像及所述正常圖像輸入至所述目標卷積層中進行卷積處理，得到所述瑕疵圖像的第一特徵圖及所述正常圖像的第二特徵圖；從所述卷積神經網路中確定與所述目標卷積層對應的目標池化層；利用所述目標池化層對所述第一特徵圖及所述第二特徵圖進行池化處理，得到所述瑕疵圖像的第一向量及所述正常圖像的第二向量；將所述第一向量及所述第二向量輸入至預先訓練好的高斯混合模型，得到所述瑕疵圖像的第一分數及所述正常圖像的第二分數；確定所述第一分數與所述第二分數的均值分數，並確定所述第一分數與所述第二分數的標準差；將所述標準差乘以預設數值，得到運算結果，並將所述均值分數與所述運算結果相減，得到所述分數閾值；所述確定單元，還用於當所述目標分數小於所述分數閾值時，將所述待檢測圖像確定為有瑕疵圖像。
- 一種電腦裝置，其中，所述電腦裝置包括：儲存器，儲存至少一個指令；及 處理器，獲取所述儲存器中儲存的指令以實現如請求項1至6中任意一項所述的圖像瑕疵檢測方法。
- 一種電腦可讀儲存介質，其中：所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦裝置中的處理器獲取以實現如請求項1至6中任意一項所述的圖像瑕疵檢測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109144586A TWI765475B (zh) | 2020-12-16 | 2020-12-16 | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109144586A TWI765475B (zh) | 2020-12-16 | 2020-12-16 | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI765475B true TWI765475B (zh) | 2022-05-21 |
| TW202226064A TW202226064A (zh) | 2022-07-01 |
Family
ID=82594261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109144586A TWI765475B (zh) | 2020-12-16 | 2020-12-16 | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI765475B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9966227B2 (en) * | 2008-04-11 | 2018-05-08 | Ebara Corporation | Specimen observation method and device using secondary emission electron and mirror electron detection |
| US10267745B2 (en) * | 2009-11-18 | 2019-04-23 | Hitachi High-Technologies Corporation | Defect detection method and defect detection device and defect observation device provided with same |
| TW202040713A (zh) * | 2019-04-19 | 2020-11-01 | 日商日立全球先端科技股份有限公司 | 缺陷觀察裝置 |
| TW202044067A (zh) * | 2019-05-22 | 2020-12-01 | 以色列商應用材料以色列公司 | 基於機器學習之半導體樣本中的缺陷分類 |
-
2020
- 2020-12-16 TW TW109144586A patent/TWI765475B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9966227B2 (en) * | 2008-04-11 | 2018-05-08 | Ebara Corporation | Specimen observation method and device using secondary emission electron and mirror electron detection |
| US10267745B2 (en) * | 2009-11-18 | 2019-04-23 | Hitachi High-Technologies Corporation | Defect detection method and defect detection device and defect observation device provided with same |
| TW202040713A (zh) * | 2019-04-19 | 2020-11-01 | 日商日立全球先端科技股份有限公司 | 缺陷觀察裝置 |
| TW202044067A (zh) * | 2019-05-22 | 2020-12-01 | 以色列商應用材料以色列公司 | 基於機器學習之半導體樣本中的缺陷分類 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202226064A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12067705B2 (en) | Method for detecting data defects and computing device utilizing method | |
| US11481480B2 (en) | Verification request authentication machine | |
| TW201832138A (zh) | 圖像識別方法及裝置 | |
| CN114663335A (zh) | 图像瑕疵检测方法、装置、电子设备及介质 | |
| US9225738B1 (en) | Markov behavior scoring | |
| US11941084B2 (en) | Self-supervised learning for anomaly detection and localization | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN116433559A (zh) | 产品外观缺陷检测方法、电子设备及存储介质 | |
| CN116416190A (zh) | 瑕疵检测方法及装置、电子设备及存储介质 | |
| WO2022134418A1 (zh) | 视频识别方法及相关设备 | |
| CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
| TW202123079A (zh) | 模型盜用的檢測、模型的訓練方法及裝置 | |
| CN109726670B (zh) | 一种从视频中提取目标检测样本集的方法 | |
| TWI765475B (zh) | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 | |
| CN111709951B (zh) | 目标检测网络训练方法及系统及网络及装置及介质 | |
| CN114898155B (zh) | 车辆定损方法、装置、设备及存储介质 | |
| CN115037790B (zh) | 异常注册识别方法、装置、设备及存储介质 | |
| CN114880637B (zh) | 账户风险的验证方法、装置、计算机设备和存储介质 | |
| TWI769661B (zh) | 圖像異常檢測方法、裝置、電腦裝置及儲存介質 | |
| TWI769633B (zh) | 圖像瑕疵檢測方法、裝置、電腦裝置及介質 | |
| CN114820409A (zh) | 图像异常检测方法、装置、电子设备及存储介质 | |
| KR20210144049A (ko) | 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
| TWI778519B (zh) | 瑕疵圖像生成方法、裝置、電子設備及存儲介質 | |
| TWI807854B (zh) | 瑕疵偵測方法、電腦設備及儲存介質 | |
| TWI762152B (zh) | 植物高度確定方法、裝置、電腦裝置及介質 |