TW202232382A - 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 - Google Patents

圖像瑕疵檢測方法、裝置、電子設備及存儲介質 Download PDF

Info

Publication number
TW202232382A
TW202232382A TW110105182A TW110105182A TW202232382A TW 202232382 A TW202232382 A TW 202232382A TW 110105182 A TW110105182 A TW 110105182A TW 110105182 A TW110105182 A TW 110105182A TW 202232382 A TW202232382 A TW 202232382A
Authority
TW
Taiwan
Prior art keywords
image
probability distribution
latent feature
encoder
error
Prior art date
Application number
TW110105182A
Other languages
English (en)
Other versions
TWI762193B (zh
Inventor
簡士超
郭錦斌
蔡東佐
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW110105182A priority Critical patent/TWI762193B/zh
Application granted granted Critical
Publication of TWI762193B publication Critical patent/TWI762193B/zh
Publication of TW202232382A publication Critical patent/TW202232382A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本發明提供一種圖像瑕疵檢測方法、裝置、電子設備及存儲介質。所述方法包括：將無瑕疵樣本訓練圖像輸入自編碼器，通過自編碼器的編碼層計算得到第一潛特徵，將第一潛特徵輸入自編碼器的解碼層得到第一重構圖像，使用誤差函數計算得到第一重構誤差，將第一潛特徵輸入深度學習模型和高斯混合模型得到第一概率分佈和第二概率分佈，計算第一概率分佈和第二概率分佈的散度，根據第一重構誤差和散度得到總損失，根據總損失設定閾值，獲取測試樣本圖像並計算總誤差，以判斷測試樣本圖像是否為瑕疵圖像。

Description

圖像瑕疵檢測方法、裝置、電子設備及存儲介質
本發明涉及圖像檢測領域，提供瑕疵檢測和電腦視覺技術領域，具體涉及一種圖像瑕疵檢測方法、裝置、電子設備及存儲介質。
為了提高工業產品的品質，在對工業產品進行打包前，通常會對工業產品進行一定的瑕疵檢測。由於目前的基於高斯混合模型的瑕疵檢測方法通常有龐大的計算量，使得程式速度無法優化，執行時間無法減少。
鑒於以上內容，有必要提出一種圖像瑕疵檢測方法、裝置、電子設備及存儲介質以提升瑕疵圖像檢測效率。
本申請的第一方面提供一種圖像瑕疵檢測方法，包括： 獲取無瑕疵樣本訓練圖像； 將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵； 將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差； 將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈； 將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈； 計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度； 根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值； 獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差； 當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
優選地，所述藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵包括： 將所述無瑕疵樣本訓練圖像進行向量化處理，得到所述無瑕疵樣本訓練圖像的特徵向量； 利用所述自編碼器中的所述編碼層對所述無瑕疵樣本訓練圖像的所述特徵向量進行運算，得到所述第一潛特徵。
優選地，所述將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像包括： 利用所述自編碼器中的所述解碼層對所述第一潛特徵進行運算； 對運算後得到的向量進行還原處理，得到所述第一重建圖像。
優選地，所述將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈包括： 將所述第一潛特徵輸入所述深度學習模型； 藉由所述深度學習模型中卷積層、池化層和至少一個隱藏層中的一個或多個對所述第一潛特徵進行運算，得到所述第一概率分佈。
優選地，所述計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度包括： 根據公式
Figure 02_image001
計算所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，其中，
Figure 02_image003
為所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，
Figure 02_image005
為所述第二概率分佈，
Figure 02_image007
為所述第一概率分佈。
優選地，所述根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型包括： 計算所述第一重構誤差與所述庫爾貝克-萊布勒散度的乘積，得到所述總損失； 調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理。
優選地，所述根據所述第三概率分佈和所述第二重構誤差計算總誤差包括： 對所述第三概率分佈和所述第二重構誤差求和得到總誤差。
本申請的第二方面提供一種圖像瑕疵檢測裝置，所述裝置包括： 訓練圖像獲取模組，用於獲取無瑕疵樣本訓練圖像； 第一潛特徵獲取模組，用於將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵； 第一重構誤差獲取模組，用於將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差； 第一概率分佈計算模組，用於將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈； 第二概率分佈計算模組，用於將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈； 散度計算模組，用於計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度； 模型訓練模組，用於根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值； 總誤差計算模組，用於獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差； 判斷模組，用於當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
本申請的第三方面提供一種電子設備，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現所述瑕疵檢測方法。
本申請的第四方面提供一種電腦存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現所述的圖像瑕疵檢測方法。
本發明中，藉由同時訓練自編碼器、深度學習模型和高斯混合模型，使得深度學習模型和高斯混合模型可以輸出相同的概率分佈預測，從而可以使用深度學習模型替代高斯混合模型，在進行瑕疵檢測時實現更高的效率。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體地實施例的目的，不是旨在於限制本發明。
優選地，本發明圖像瑕疵檢測方法應用在一個或者多個電子設備中。所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field－Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是桌上型電腦、筆記型電腦、平板電腦及雲端伺服器等計算設備。所述電子設備可以與使用者藉由鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。
實施例1
圖1是本發明一實施方式中圖像瑕疵檢測方法的流程圖。所述圖像瑕疵檢測方法應用於電子設備中。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
參閱圖1所示，所述圖像瑕疵檢測方法具體包括以下步驟。
步驟S11，獲取無瑕疵樣本訓練圖像。
步驟S12，將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵。
在本發明的至少一個實施例中，所述藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵包括： 將所述無瑕疵樣本訓練圖像進行向量化處理，得到所述無瑕疵樣本訓練圖像的特徵向量； 利用所述自編碼器中的所述編碼層對所述無瑕疵樣本訓練圖像的所述特徵向量進行運算，得到所述第一潛特徵。
步驟S13，將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差。
優選地，所述將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像包括： 利用所述自編碼器中的所述解碼層對所述第一潛特徵進行運算； 對運算後得到的向量進行還原處理，得到所述第一重建圖像。
步驟S14，將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈。 在本發明的至少一個實施例中，所述將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈包括： 將所述第一潛特徵輸入所述深度學習模型； 藉由所述深度學習模型中卷積層、池化層和至少一個隱藏層中的一個或多個對所述第一潛特徵進行運算，得到所述第一概率分佈。
步驟S15，將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈。
在本發明的至少一個實施例中，將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈包括： 將所述第一潛特徵輸入所述高斯混合模型； 藉由所述高斯混合模型擬合所述第一潛特徵的概率分佈，得到所述第二概率分佈。
具體地，所述高斯混合模型為
Figure 02_image009
其中，
Figure 02_image011
表示第一潛特徵對應的向量,t=1，2，3…，M，M為第一潛特徵的維度，
Figure 02_image013
為第k個高斯分佈的權重，
Figure 02_image015
，
Figure 02_image017
分別時第k個高斯分佈的均值和方差，
Figure 02_image019
表示向量
Figure 02_image011
符合均值為
Figure 02_image015
且方差為
Figure 02_image017
的正態分佈，K至少為3。
步驟S16，計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度。
優選地，所述計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度包括： 根據公式
Figure 02_image001
計算所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，其中，
Figure 02_image003
為所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，
Figure 02_image005
為所述第二概率分佈，
Figure 02_image007
為所述第一概率分佈。
步驟S17，根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值。
在本發明的至少一個實施例中，所述根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型包括： 計算所述第一重構誤差與所述庫爾貝克-萊布勒散度的乘積，得到所述總損失； 調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理。
在本發明的至少一個實施例中，調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理的目的是優化所述自編碼器、所述深度學習模型及所述高斯混合模型，使得所述深度學習模型與所述高斯混合模型根據所述自編碼器生成的重構圖像具有相同的概率分佈。
步驟S18，獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差。
在本發明的至少一個實施例中，所述根據所述第三概率分佈和所述第二重構誤差計算總誤差包括： 對所述第三概率分佈和所述第二重構誤差求和得到總誤差。
步驟S19，當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
本發明中，藉由同時訓練自編碼器、深度學習模型和高斯混合模型，使得深度學習模型和高斯混合模型可以輸出相同的概率分佈預測，從而可以使用深度學習模型替代高斯混合模型，在進行瑕疵檢測時實現更高的效率。
實施例2
圖2為本發明一實施方式中圖像瑕疵檢測裝置30的結構圖。
在一些實施例中，所述圖像瑕疵檢測裝置30運行於電子設備中。所述圖像瑕疵檢測裝置30可以包括多個由程式碼段所組成的功能模組。所述圖像瑕疵檢測裝置30中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行，以執行圖像瑕疵檢測功能。
本實施例中，所述圖像瑕疵檢測裝置30根據其所執行的功能，可以被劃分為多個功能模組。參閱圖2所示，所述圖像瑕疵檢測裝置30可以包括訓練圖像獲取模組301，第一潛特徵獲取模組302，第一重構誤差獲取模組303，第一概率分佈計算模組304、第二概率分佈計算模組305、散度計算模組306、模型訓練模組307、總誤差計算模組308及判斷模組309。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體中。所述在一些實施例中，關於各模組的功能將在後續的實施例中詳述。
所述訓練圖像獲取模組301獲取無瑕疵樣本訓練圖像。
所述第一潛特徵獲取模組302將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵。
在本發明的至少一個實施例中，所述第一潛特徵獲取模組302藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵包括： 將所述無瑕疵樣本訓練圖像進行向量化處理，得到所述無瑕疵樣本訓練圖像的特徵向量； 利用所述自編碼器中的所述編碼層對所述無瑕疵樣本訓練圖像的所述特徵向量進行運算，得到所述第一潛特徵。
所述第一重構誤差獲取模組303將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差。
在本發明的至少一個實施例中，所述第一重構誤差獲取模組303將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像包括：利用所述自編碼器中的所述解碼層對所述第一潛特徵進行運算；對運算後得到的向量進行還原處理，得到所述第一重建圖像。
所述第一概率分佈計算模組304將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈。
在本發明的至少一個實施例中，所述第一概率分佈計算模組304將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈包括：將所述第一潛特徵輸入所述深度學習模型；藉由所述深度學習模型中卷積層、池化層和至少一個隱藏層中的一個或多個對所述第一潛特徵進行運算，得到所述第一概率分佈。
所述第二概率分佈計算模組305將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈。
在本發明的至少一個實施例中，所述第二概率分佈計算模組305將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈包括：將所述第一潛特徵輸入所述高斯混合模型；藉由所述高斯混合模型擬合所述第一潛特徵的概率分佈，得到所述第二概率分佈。
具體地，所述高斯混合模型為
Figure 02_image009
其中，
Figure 02_image011
表示第一潛特徵對應的向量,t=1，2，3…，M，M為第一潛特徵的維度，
Figure 02_image013
為第k個高斯分佈的權重，
Figure 02_image015
，
Figure 02_image017
分別時第k個高斯分佈的均值和方差，
Figure 02_image019
表示向量
Figure 02_image011
符合均值為
Figure 02_image015
且方差為
Figure 02_image017
的正態分佈，K至少為3。
所述散度計算模組306計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度。
優選地，所述計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度包括：根據公式
Figure 02_image001
計算所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，其中，
Figure 02_image003
為所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，
Figure 02_image005
為所述第二概率分佈，
Figure 02_image007
為所述第一概率分佈。
所述模型訓練模組307根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值。
在本發明的至少一個實施例中，所述模型訓練模組307根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型包括： 計算所述第一重構誤差與所述庫爾貝克-萊布勒散度的乘積，得到所述總損失； 調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理。
在本發明的至少一個實施例中，調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理的目的是優化所述自編碼器、所述深度學習模型及所述高斯混合模型，使得所述深度學習模型與所述高斯混合模型根據所述自編碼器生成的重構圖像具有相同的概率分佈。
所述總誤差計算模組308獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差。
在本發明的至少一個實施例中，所述總誤差計算模組308根據所述第三概率分佈和所述第二重構誤差計算總誤差包括： 對所述第三概率分佈和所述第二重構誤差求和得到總誤差。
所述判斷模組309當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
本發明中，藉由同時訓練自編碼器、深度學習模型和高斯混合模型，使得深度學習模型和高斯混合模型可以輸出相同的概率分佈預測，從而可以使用深度學習模型替代高斯混合模型，在進行瑕疵檢測時實現更高的效率。
實施例3
圖3為本發明一實施方式中電子設備6的示意圖。
所述電子設備6包括記憶體61、處理器62以及存儲在所述記憶體61中並可在所述處理器62上運行的電腦程式63。所述處理器62執行所述電腦程式63時實現上述圖像瑕疵檢測方法實施例中的步驟，例如圖1所示的步驟S11~S19。或者，所述處理器62執行所述電腦程式63時實現上述圖像瑕疵檢測裝置實施例中各模組/單元的功能，例如圖2中的模組301~309。
示例性的，所述電腦程式63可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體61中，並由所述處理器62執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式63在所述電子設備6中的執行過程。例如，所述電腦程式63可以被分割成圖2中的訓練圖像獲取模組301，第一潛特徵獲取模組302，第一重構誤差獲取模組303，第一概率分佈計算模組304、第二概率分佈計算模組305、散度計算模組306、模型訓練模組307、總誤差計算模組308及判斷模組309，各模組具體功能參見實施例2。
本實施方式中，所述電子設備6可以是桌上型電腦、筆記本、掌上型電腦、伺服器及雲端終端裝置等計算設備。本領域技術人員可以理解，所述示意圖僅僅是電子設備6的示例，並不構成對電子設備6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備6還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器62可以是中央處理模組(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器 (Digital Signal Processor，DSP)、專用積體電路 (Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列 (Field-Programmable Gate Array，FPGA) 或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器62也可以是任何常規的處理器等，所述處理器62是所述電子設備6的控制中心，利用各種介面和線路連接整個電子設備6的各個部分。
所述記憶體61可用於存儲所述電腦程式63和/或模組/單元，所述處理器62藉由運行或執行存儲在所述記憶體61內的電腦程式和/或模組/單元，以及調用存儲在記憶體61內的資料，實現所述電子設備6的各種功能。所述記憶體61可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；存儲資料區可存儲根據電子設備6的使用所創建的資料（比如音訊資料、電話本等）等。此外，記憶體61可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡（Smart Media Card, SMC），安全數位（Secure Digital, SD）卡，快閃記憶體卡（Flash Card）、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
所述電子設備6集成的模組/單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、電載波信號、電信信號以及軟體分發介質等。
在本發明所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以藉由其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
另外，在本發明各個實施例中的各功能模組可以集成在相同處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將請求項中的任何附圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備請求項中陳述的多個模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬件來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在援依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
30:圖像瑕疵檢測裝置 301:訓練圖像獲取模組 302:第一潛特徵獲取模組 303:第一重構誤差獲取模組 304:第一概率分佈計算模組 305:第二概率分佈計算模組 306:散度計算模組 307:模型訓練模組 308:總誤差計算模組 309:判斷模組 6:電子設備 61:記憶體 62:處理器 63:電腦程式 S11~ S19:步驟
圖1為本發明一實施方式中圖像瑕疵檢測方法的流程圖。
圖2為本發明一實施方式中圖像瑕疵檢測裝置的結構圖。
圖3為本發明一實施方式中電子設備的示意圖。
S11~S19:步驟

Claims (10)

  1. 一種圖像瑕疵檢測方法，其中，所述方法包括： 獲取無瑕疵樣本訓練圖像； 將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵； 將所述第一潛特徵輸入所述自編碼器的解碼層並並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差； 將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈； 將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈； 計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度； 根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值； 獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差； 當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
  2. 如請求項1所述的圖像瑕疵檢測方法，其中，所述藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵包括： 將所述無瑕疵樣本訓練圖像進行向量化處理，得到所述無瑕疵樣本訓練圖像的特徵向量； 利用所述自編碼器中的所述編碼層對所述無瑕疵樣本訓練圖像的所述特徵向量進行運算，得到所述第一潛特徵。
  3. 如請求項1所述的圖像瑕疵檢測方法，其中，所述將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像包括： 利用所述自編碼器中的所述解碼層對所述第一潛特徵進行運算； 對運算後得到的向量進行還原處理，得到所述第一重建圖像。
  4. 如請求項1所述的圖像瑕疵檢測方法，其中，所述將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈包括： 將所述第一潛特徵輸入所述深度學習模型； 藉由所述深度學習模型中卷積層、池化層和至少一個隱藏層中的一個或多個對所述第一潛特徵進行運算，得到所述第一概率分佈。
  5. 如請求項1所述的圖像瑕疵檢測方法，其中，所述計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度包括： 根據公式
    Figure 03_image001
    計算所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，其中，
    Figure 03_image003
    為所述第一概率分佈和所述第二概率分佈的庫爾貝克-萊布勒散度，
    Figure 03_image005
    為所述第二概率分佈，
    Figure 03_image007
    為所述第一概率分佈。
  6. 如請求項1所述的圖像瑕疵檢測方法，其中，所述根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型包括： 計算所述第一重構誤差與所述庫爾貝克-萊布勒散度的乘積，得到所述總損失； 調整所述自編碼器、所述深度學習模型及所述高斯混合模型的參數對所述總損失進行最小化處理。
  7. 如請求項1所述的圖像瑕疵檢測方法，其中，所述根據所述第三概率分佈和所述第二重構誤差計算總誤差包括： 對所述第三概率分佈和所述第二重構誤差求和得到總誤差。
  8. 一種圖像瑕疵檢測裝置，其中，所述裝置包括： 訓練圖像獲取模組，用於獲取無瑕疵樣本訓練圖像； 第一潛特徵獲取模組，用於將所述無瑕疵樣本訓練圖像輸入自編碼器，藉由所述自編碼器的編碼層計算得到所述無瑕疵樣本訓練圖像的第一潛特徵； 第一重構誤差獲取模組，用於將所述第一潛特徵輸入所述自編碼器的解碼層並計算得到所述無瑕疵樣本訓練圖像的第一重構圖像，並使用預設的誤差函數計算所述無瑕疵樣本訓練圖像和所述第一重構圖像得到所述無瑕疵樣本訓練圖像和所述第一重構圖像之間的第一重構誤差； 第一概率分佈計算模組，用於將所述第一潛特徵輸入深度學習模型並計算得到所述第一潛特徵的第一概率分佈； 第二概率分佈計算模組，用於將所述第一潛特徵輸入高斯混合模型並計算得到所述第一潛特徵的第二概率分佈； 散度計算模組，用於計算所述第一概率分佈和所述第二概率分佈之間的庫爾貝克-萊布勒散度； 模型訓練模組，用於根據所述第一重構誤差和所述庫爾貝克-萊布勒散度得到總損失，根據所述總損失優化所述自編碼器、所述深度學習模型及所述高斯混合模型，並根據所述總損失設定閾值； 總誤差計算模組，用於獲取測試樣本圖像，將所述測試樣本圖像輸入所述自編碼器，藉由所述自編碼器的編碼層計算得到所述測試樣本圖像的第二潛特徵，將所述第二潛特徵輸入所述自編碼器的解碼層並計算得到所述測試樣本圖像的第二重構圖像，並使用所述預設的誤差函數計算所述測試樣本圖像和所述第二重構圖像之間的第二重構誤差，將所述第二潛特徵輸入訓練完成的深度學習模型並計算得到所述第二潛特徵的第三概率分佈，根據所述第三概率分佈和所述第二重構誤差計算總誤差； 判斷模組，用於當所述總誤差大於或等於所述閾值時，確定所述測試樣本圖像為瑕疵圖像，當所述總誤差小於所述閾值時，確定所述測試樣本圖像為無瑕疵圖像。
  9. 一種電子設備，其中，所述電子設備包括： 記憶體，存儲至少一個指令；及 處理器，執行所述記憶體中存儲的指令以實現如請求項1至7中任一項所述的圖像瑕疵檢測方法。
  10. 一種存儲介質，其上存儲有電腦程式，其中：所述電腦程式被處理器執行時實現如請求項1至7中任一項所述的圖像瑕疵檢測方法。
TW110105182A 2021-02-09 2021-02-09 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 TWI762193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110105182A TWI762193B (zh) 2021-02-09 2021-02-09 圖像瑕疵檢測方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110105182A TWI762193B (zh) 2021-02-09 2021-02-09 圖像瑕疵檢測方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TWI762193B TWI762193B (zh) 2022-04-21
TW202232382A true TW202232382A (zh) 2022-08-16

Family

ID=82198945

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105182A TWI762193B (zh) 2021-02-09 2021-02-09 圖像瑕疵檢測方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI762193B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法
TW202006608A (zh) * 2018-07-02 2020-02-01 由田新技股份有限公司 遞迴性深度學習系統的訓練方法與檢測系統
CN109583489B (zh) * 2018-11-22 2021-01-15 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110599487A (zh) * 2019-09-23 2019-12-20 北京海益同展信息科技有限公司 物品检测方法、装置以及存储介质

Also Published As

Publication number Publication date
TWI762193B (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
US20220207707A1 (en) Image defect detection method, electronic device using the same
CN111832449B (zh) 工程图纸的显示方法及相关装置
CN114764768A (zh) 缺陷检测分类方法、装置、电子设备及存储介质
US20220189008A1 (en) Method for detecting data defects and computing device utilizing method
CN114943673A (zh) 瑕疵图像生成方法、装置、电子设备及存储介质
CN111832445B (zh) 工程图纸的定位方法及相关装置
US11983866B2 (en) Image defect detection method, electronic device using the same
US12002197B2 (en) Error reduction in reconstructed images in defect detection method, electronic device and storage medium
CN116385328A (zh) 基于为图像添加噪声的图像数据增强方法及装置
CN115035017A (zh) 细胞密度分群方法、装置、电子设备及存储介质
TWI762193B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
CN112132031B (zh) 车款识别方法、装置、电子设备及存储介质
TWI769661B (zh) 圖像異常檢測方法、裝置、電腦裝置及儲存介質
CN112071331B (zh) 语音文件修复方法、装置、计算机设备及存储介质
TWI792134B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
CN114881913A (zh) 图像瑕疵检测方法、装置、电子设备及存储介质
TWI778519B (zh) 瑕疵圖像生成方法、裝置、電子設備及存儲介質
CN114663336A (zh) 模型输入尺寸确定方法及相关设备
TWI755212B (zh) 模型輸入尺寸確定方法及相關設備
TWI795729B (zh) 圖像瑕疵檢測方法、電子設備及存儲介質
TWI761109B (zh) 細胞密度分群方法、裝置、電子設備及電腦存儲介質
TWI748867B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
TWI764492B (zh) 缺陷檢測分類方法、裝置、電子設備及存儲介質
TWI844873B (zh) 產品瑕疵檢測方法、電子設備及電腦可讀存儲媒體
TWI755213B (zh) 瑕疵檢測方法、裝置、電腦裝置及儲存介質