TWI764492B - 缺陷檢測分類方法、裝置、電子設備及存儲介質 - Google Patents

缺陷檢測分類方法、裝置、電子設備及存儲介質

Info

Publication number
TWI764492B
TWI764492B TW109147218A TW109147218A TWI764492B TW I764492 B TWI764492 B TW I764492B TW 109147218 A TW109147218 A TW 109147218A TW 109147218 A TW109147218 A TW 109147218A TW I764492 B TWI764492 B TW I764492B
Authority
TW
Taiwan
Prior art keywords
image
detected
defect
images
defects
Prior art date
Application number
TW109147218A
Other languages
English (en)
Other versions
TW202227808A (zh
Inventor
蔡東佐
林子甄
郭錦斌
簡士超
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW109147218A priority Critical patent/TWI764492B/zh
Application granted granted Critical
Publication of TWI764492B publication Critical patent/TWI764492B/zh
Publication of TW202227808A publication Critical patent/TW202227808A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明涉及圖像檢測領域，提供一種缺陷檢測分類方法、裝置、電子設備及存儲介質。所述方法包括：將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像；基於於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷；當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。

Description

缺陷檢測分類方法、裝置、電子設備及存儲介質
本發明涉及圖像檢測領域，具體涉及一種缺陷檢測分類方法、裝置、電子設備及存儲介質。
為了提高工業產品的品質，在對工業產品進行打包前，通常會對工業產品進行一定的缺陷檢測，目前的缺陷檢測方法無法對工業商品的缺陷進行自動而有效率地分類。
鑒於以上內容，有必要提出一種缺陷檢測分類方法、裝置、電子設備及存儲介質以提高缺陷檢測分類的效率。
本申請的第一方面提供一種缺陷檢測分類方法，所述方法包括：將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像；基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否有缺陷，所述缺陷判斷準則的運算式為：
Figure 109147218-A0305-02-0003-1
>τ， 其中，△X為重構圖像和待檢測圖像計算獲得的重構誤差圖像，δX為過濾小雜訊重構誤差的二值圖像，i、j表示圖元位置，T為預設的重構誤差度量閾值；當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
優選的，所述預設的重構誤差度量閾值為訓練重構誤差的統計值，基於預設的缺陷檢測召回率和精確率調整，所述精確率為被正確檢測為存在瑕疵的圖像數量占所有被檢測為存在瑕疵的圖像數量的比例，所述召回率為被正確檢測為存在缺陷的圖像數量占所有真實存在瑕疵的圖像數量的比例。
優選的，所述二值圖像定義為：
Figure 109147218-A0305-02-0004-16
 其中，ε為小雜訊重構誤差過濾閾值。
優選的，所述自編碼器訓練過程中，採用的優化目標函數運算式為：|X-X'|1+λ|X-X'|2，其中，X為輸入圖像，X'為重構圖像，λ為取值範圍為0.1-10的權重，|X-X'|1為重構誤差圖像的L1範數，|X-X'|2為重構誤差圖像的L2範數。
優選的，所述結構相似性為衡量兩張數位影像相似程度的指標，計算公式為： SSIM(x,y)=[l(x,y)] α [c(x,y)] β [s(x,y)] γ
Figure 109147218-A0305-02-0004-4
 其中，x和y分別代表待檢測圖像和範本圖像，SSIM(x,y)表示圖片x和y的結構相似性，l(x,y)比較圖片x和y的亮度，μ x ，μ y 分別表示圖片x和y的平均值；c(x,y)比較圖片x和y的對比度，σ x ，σ y 分別表示圖片x和y的標準差；σ xy 為圖片x，y的協方差，C 1,C 2,C 3為常數，用以維持l(x,y),c(x,y),s(x,y)的穩定。
優選的，所述待檢測圖像與所述範本圖像的所述結構相似性數值與所述待檢測圖像與所述範本圖像之間的相似度正相關。
優選的，所述方法還包括：若滿足過濾小雜訊重構誤差的缺陷判斷準則，確定所述待檢測圖像存在缺陷；或若不滿足過濾小雜訊的缺陷判斷準則，確定所述待檢測圖像不存在缺陷。
本申請的第二方面提供一種缺陷檢測分類裝置，所述裝置包括：自編碼器模組，用於將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像；判斷模組，用於基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷；分類別模組，用於當判定所述待檢測圖像存在缺陷時，計算判定為存在缺陷的所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
本申請的第三方面提供一種電子設備，所述電子設備包括處理器，所述處理器用於執行記憶體中存儲的電腦程式時實現所述缺陷檢測分類的方法。
本申請的第四方面提供一種電腦存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現所述缺陷檢測分類的方法。
本發明中，藉由訓練自編碼器，利用自編碼器重構待檢測圖像，得到與待檢測圖像對應的重構圖像，根據過濾小雜訊的缺陷判斷準則判斷待檢測圖像是否有缺陷，並根據結構相似性對待檢測圖像進行分類，提高了對圖像進行缺陷檢測和分類的效率和準確度。
40:缺陷檢測分類裝置
401:圖像重構模組
402:判斷模組
403:分類別模組
6:電子設備
61:記憶體
62:處理器
63:電腦程式
S11~S13:步驟
圖1為本發明一實施方式中缺陷檢測分類方法的流程圖。
圖2為本發明一實施方式中缺陷檢測分類裝置的結構圖。
圖3為本發明一實施方式中電子設備的示意圖。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
優選地，本發明缺陷檢測分類方法應用在一個或者多個電子設備中。所述電子設備是缺陷檢測分類方法一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是桌上型電腦、筆記型電腦、平板電腦及雲端伺服器等計算設備。所述設備可以與使用者藉由鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。
實施例1
圖1是本發明一實施方式中缺陷檢測分類方法的流程圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
參閱圖1所示，所述缺陷檢測分類方法具體包括以下步驟：
步驟S11，將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像。
本實施方式中，首先，可使用訓練集圖像訓練所述自編碼器，具體地，訓練集圖像可以採用無缺陷樣本圖像，本實施方式中，訓練自編碼器採用的優化目標函數的運算式為：|X-X'|1+λ|X-X'|2， 其中，X為輸入圖像，X'為重構圖像，λ為取值範圍為0.1-10的權重，|X-X'|1為重構誤差圖像的L1範數，|X-X'|2為重構誤差圖像的L2範數。
上述優化目標函數既可以確保重構誤差圖像盡可能的稀疏性，又可以保證重構的平滑性，λ為權重，藉由不同的取值實現自編碼器的重構誤差圖像平滑性和稀疏性的平衡，取值越大訓練得到的重構誤差圖像越平滑，反之重構誤差圖像越稀疏，例如，λ的一般取值範圍是0.1至10。
本實施方式中，所述預設的重構誤差度量閾值τ為訓練重構誤差的統計值，基於預設的缺陷檢測召回率和精確率調整，所述精確率為被正確檢測為存在瑕疵的圖像數量占所有被檢測為存在瑕疵的圖像數量的比例，所述召回率為被正確檢測為存在缺陷的圖像數量占所有真實存在瑕疵的圖像數量的比例。例如，假設自編碼器對訓練圖像的重構誤差服從高斯分佈，可以將高斯分佈的85%分位值作為閾值。
步驟S12，基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷。
本實施方式中，步驟S12具體可包括：根據重構圖像計算重構誤差圖像；根據過濾小雜訊重構誤差的二值圖像計算公式得到重構誤差二值圖像，具體地，過濾小雜訊重構誤差的二值圖像計算公式為：
Figure 109147218-A0305-02-0008-5
 其中，ε為小雜訊重構誤差過濾閾值，根據自編碼器對訓練集圖像的重構誤差確定，用於過濾掉小的重構誤差圖元，△X i,j 為重構圖像和待檢測圖 像計算獲得的重構誤差圖像，i、j為圖元位置，δX i,j 為重構誤差二值圖像，用於指示重構誤差較大的圖元位置；根據重構誤差圖像和重構誤差二值圖像計算重構誤差較大的圖元點的平均值，將重構誤差較大的圖元點的平均值作為判斷準則度量。
本實施方式中，可利用過濾小雜訊重構誤差的缺陷判斷準則對所述待檢測圖像進行缺陷檢測，所述缺陷判斷準則的運算式為：
Figure 109147218-A0305-02-0009-6
>τ。
本實施方式中，若滿足過濾小雜訊重構誤差的缺陷判斷準則，確定所述待檢測圖像存在缺陷；或若不滿足過濾小雜訊的缺陷判斷準則，確定所述待檢測圖像不存在缺陷。
步驟S13，當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
本實施方式中，根據結構相似性計算公式計算所述待檢測圖像與範本圖像之間的結構相似性數值。本實施方式中，結構相似性計算公式為：SSIM(x,y)=[l(x,y)] α [c(x,y)] β [s(x,y)] γ
Figure 109147218-A0305-02-0009-8
 其中，x和y分別代表待檢測圖像和範本圖像，SSIM(x,y)表示圖片x和y的結構相似性，l(x,y)比較圖片x和y的亮度，μ x ，μ y 分別表示圖片x和y的平均值；c(x,y)比較圖片x和y的對比度，σ x ，σ y 分別表示圖片x和y的標準差；σ xy 為圖片x，y的協方差，C 1,C 2,C 3為常數，用以維持l(x,y),c(x,y),s(x,y)的穩定。
所述待檢測圖像與所述範本圖像的所述結構相似性數值與所述待檢測圖像與所述範本圖像之間的相似度正相關。
本發明中，藉由訓練自編碼器，利用自編碼器重構待檢測圖像，得到與待檢測圖像對應的重構圖像，根據基於過濾小雜訊的缺陷判斷準則判斷待檢測圖像是否有缺陷，並根據結構相似性對待檢測圖像進行分類，可以提高對圖像進行缺陷檢測和分類的效率。
實施例2
圖2為本發明一實施方式中缺陷檢測分類裝置40的結構圖。
在一些實施例中，所述缺陷檢測分類裝置40運行於電子設備中。所述缺陷檢測分類裝置40可以包括多個由程式碼段所組成的功能模組。所述缺陷檢測分類裝置40中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行。
本實施例中，所述缺陷檢測分類裝置40根據其所執行的功能，可以被劃分為多個功能模組。參閱圖3所示，所述缺陷檢測分類裝置40可以包括圖像重構模組401、判斷模組402及分類別模組403。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體中。所述在一些實施例中，關於各模組的功能將在後續的實施例中詳述。
所述圖像重構模組401將待檢測圖像輸入訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像。
本實施方式中，為了獲得重構圖像，所述缺陷檢測分類裝置40還可包括訓練模組，所述訓練模組可對自編碼器進行訓練。
例如，所述訓練模組使用訓練集圖像訓練所述自編碼器，具體地，訓練集圖像可以採用無缺陷樣本圖像，本實施方式中，所述訓練模組訓練自編碼器採用的優化目標函數的運算式為：|X-X'|1+λ|X-X'|2，其中，X為輸入圖像，X'為重構圖像，λ為取值範圍為0.1-10的權重，|X-X'|1為重構誤差圖像的L1範數，|X-X'|2為重構誤差圖像的L2範數。
上述優化目標函數既可以確保重構誤差圖像盡可能的稀疏性，又可以保證重構的平滑性，λ為權重，藉由不同的取值實現自編碼器的重構誤差圖像平滑性和稀疏性的平衡，取值越大訓練得到的重構誤差圖像越平滑，反之重構誤差圖像越稀疏，例如，λ的一般取值範圍是0.1至10。
本實施方式中，所述預設的重構誤差度量閾值τ為訓練重構誤差的統計值，基於預設的缺陷檢測召回率和精確率調整，所述精確率為被正確檢測為存在瑕疵的圖像數量占所有被檢測為存在瑕疵的圖像數量的比例，所述召回率為被正確檢測為存在缺陷的圖像數量占所有真實存在瑕疵的圖像數量的比例。例如，假設自編碼器對訓練圖像的重構誤差服從高斯分佈，可以將高斯分佈的85%分位值作為閾值。
所述判斷模組402基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷。
本實施方式中，所述判斷模組402基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷，具體可包括：所述判斷模組402根據重構圖像計算重構誤差圖像； 所述判斷模組402根據過濾小雜訊重構誤差的二值圖像計算公式得到重構誤差二值圖像，具體地，過濾小雜訊重構誤差的二值圖像計算公式為：
Figure 109147218-A0305-02-0012-9
 其中，ε為小雜訊重構誤差過濾閾值，根據自編碼器對訓練集圖像的重構誤差確定，用於過濾掉小的重構誤差圖元，△X i,j 為重構圖像和待檢測圖像計算獲得的重構誤差圖像，i、j為圖元位置，δX i,j 為重構誤差二值圖像，用於指示重構誤差較大的圖元位置；所述判斷模組402根據重構誤差圖像和重構誤差二值圖像計算重構誤差較大的圖元點的平均值，將重構誤差較大的圖元點的平均值作為判斷準則度量。
本實施方式中，可利用過濾小雜訊重構誤差的缺陷判斷準則對所述待檢測圖像進行缺陷檢測，所述缺陷判斷準則的運算式為：
Figure 109147218-A0305-02-0012-10
>τ。
本實施方式中，若滿足過濾小雜訊重構誤差的缺陷判斷準則，所述判斷模組402確定所述待檢測圖像存在缺陷；或若不滿足過濾小雜訊的缺陷判斷準則，所述判斷模組402確定所述待檢測圖像不存在缺陷。
所述分類別模組403當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
本實施方式中，所述分類別模組403根據結構相似性計算公式計算所述待檢測圖像與範本圖像之間的結構相似性數值。本實施方式中，結構相似性計算公式為：SSIM(x,y)=[l(x,y)] α [c(x,y)] β [s(x,y)] γ
Figure 109147218-A0305-02-0013-11
 其中，x和y分別代表待檢測圖像和範本圖像，SSIM(x,y)表示圖片x和y的結構相似性，l(x,y)比較圖片x和y的亮度，μ x ，μ y 分別表示圖片x和y的平均值；c(x,y)比較圖片x和y的對比度，σ x ，σ y 分別表示圖片x和y的標準差；σ xy 為圖片x，y的協方差，C 1,C 2,C 3為常數，用以維持l(x,y),c(x,y),s(x,y)的穩定。
所述待檢測圖像與所述範本圖像的所述結構相似性數值與所述待檢測圖像與所述範本圖像之間的相似度正相關。
本發明中，藉由訓練自編碼器，利用自編碼器重構待檢測圖像，得到與待檢測圖像對應的重構圖像，根據基於過濾小雜訊的缺陷判斷準則判斷待檢測圖像是否有缺陷，並根據結構相似性對待檢測圖像進行分類，可以提高對圖像進行缺陷檢測和分類的效率。
實施例3
圖3為本發明一實施方式中電子設備6的示意圖。
所述電子設備6包括記憶體61、處理器62以及存儲在所述記憶體61中並可在所述處理器62上運行的電腦程式63。所述處理器62執行所述電腦程式63時實現上述缺陷檢測分類方法實施例中的步驟，例如圖1所示的步驟S11~S13。或者，所述處理器62執行所述電腦程式63時實現上述缺陷檢測分類裝置實施例中各模組/單元的功能，例如圖2中的模組401~403。
示例性的，所述電腦程式63可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體61中，並由所述處理器62執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式63在所述電子設備6中的執行過程。例如，所述電腦程式63可以被分割成圖2中的圖像重構模組401、判斷模組402及分類別模組403，各模組具體功能參見實施例2。
本實施方式中，所述電子設備6可以是桌上型電腦、筆記本、掌上型電腦及雲端終端裝置等計算設備。本領域技術人員可以理解，所述示意圖僅僅是電子設備6的示例，並不構成對電子設備6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備6還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器62可以是中央處理模組(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器62也可以是任何常規的處理器等，所述處理器62是所述電子設備6的控制中心，利用各種介面和線路連接整個電子設備6的各個部分。
所述記憶體61可用於存儲所述電腦程式63和/或模組/單元，所述處理器62藉由運行或執行存儲在所述記憶體61內的電腦程式和/或模組/單元，以及調用存儲在記憶體61內的資料，實現所述電子設備6的各種功能。所述記憶體61可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存 儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲資料區可存儲根據電子設備6的使用所創建的資料(比如音訊資料、電話本等)等。此外，記憶體61可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
所述電子設備6集成的模組/單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。需要說明的是，所述電腦可讀介質包含的內容可以根據司法管轄區內立法和專利實踐的要求進行適當的增減，例如在某些司法管轄區，根據立法和專利實踐，電腦可讀介質不包括電載波信號和電信信號。
在本發明所提供的幾個實施例中，應該理解到，所揭露的電子設備和方法，可以藉由其它的方式實現。例如，以上所描述的電子設備實施例僅 僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
另外，在本發明各個實施例中的各功能模組可以集成在相同處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範圍。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備申請專利範圍中陳述的多個模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在援依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
S11~S13:步驟

Claims (10)

  1. 一種缺陷檢測分類方法，其改良在於，所述方法包括：將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像；基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷，所述缺陷判斷準則的運算式為：
    Figure 109147218-A0305-02-0018-12
    >τ，其中，△X為重構圖像和待檢測圖像計算獲得的重構誤差圖像，δX為過濾小雜訊重構誤差的二值圖像，i、j表示圖元位置，T為預設的重構誤差度量閾值；當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
  2. 如請求項1所述的缺陷檢測分類方法，其中，所述預設的重構誤差度量閾值為訓練重構誤差的統計值，基於預設的缺陷檢測召回率和精確率調整，所述精確率為被正確檢測為存在瑕疵的圖像數量占所有被檢測為存在瑕疵的圖像數量的比例，所述召回率為被正確檢測為存在缺陷的圖像數量占所有真實存在瑕疵的圖像數量的比例。
  3. 如請求項1所述的缺陷檢測分類方法，其中，所述二值圖像定義為：
    Figure 109147218-A0305-02-0018-13
     其中，ε為小雜訊重構誤差過濾閾值。
  4. 如請求項1所述的缺陷檢測分類方法，其中，所述自編碼器訓練過程中，採用的優化目標函數運算式為：|X-X'|1+λ|X-X'|2，其中，X為輸入圖像，X'為重構圖像，λ為取值範圍為0.1-10的權重，|X-X'|1為重構誤差圖像的L1範數，|X-X'|2為重構誤差圖像的L2範數。
  5. 如請求項1所述的缺陷檢測分類方法，其中，所述結構相似性為衡量兩張數位影像相似程度的指標，計算公式為：SSIM(x,y)=[l(x,y)] α [c(x,y)] β [s(x,y)] γ
    Figure 109147218-A0305-02-0019-14
     其中，x和y分別代表待檢測圖像和範本圖像，SSIM(x,y)表示圖片x和y的結構相似性，l(x,y)比較圖片x和y的亮度，μ x ，μ y 分別表示圖片x和y的平均值；c(x,y)比較圖片x和y的對比度，σ x ，σ y 分別表示圖片x和y的標準差；σ xy 為圖片x，y的協方差，C 1,C 2,C 3為常數，用以維持l(x,y),c(x,y),s(x,y)的穩定。
  6. 如請求項1所述的缺陷檢測分類方法，其中，所述待檢測圖像與所述範本圖像的所述結構相似性數值與所述待檢測圖像與所述範本圖像之間的相似度正相關。
  7. 如請求項1所述的缺陷檢測分類方法，其中，所述方法還包括：若滿足過濾小雜訊重構誤差的缺陷判斷準則，確定所述待檢測圖像存在缺陷；或若不滿足過濾小雜訊的缺陷判斷準則，確定所述待檢測圖像不存在缺陷。
  8. 一種缺陷檢測分類裝置，其改良在於，所述裝置包括：自編碼器模組，用於將待檢測圖像輸入至訓練好的自編碼器，獲得與所述待檢測圖像對應的重構圖像；判斷模組，用於基於過濾小雜訊重構誤差的缺陷判斷準則，判斷所述待檢測圖像是否存在缺陷，其中所述缺陷判斷準則的運算式為：
    Figure 109147218-A0305-02-0020-15
    >τ， 其中，△X為重構圖像和待檢測圖像計算獲得的重構誤差圖像，δX為過濾小雜訊重構誤差的二值圖像，i、j表示圖元位置，τ為預設的重構誤差度量閾值；分類別模組，用於當判定所述待檢測圖像存在缺陷時，分別計算所述待檢測圖像與多個標記缺陷類別的範本圖像的結構相似性數值，確定最高的結構相似性數值對應的範本圖像所標記的缺陷類別，將所述待檢測圖像分類至所確定的缺陷類別。
  9. 一種電子設備，其改良在於：所述電子設備包括處理器，所述處理器用於執行記憶體中存儲的電腦程式時實現如請求項1至7中任一項所述缺陷檢測分類的方法。
  10. 一種電腦存儲介質，其上存儲有電腦程式，其改良在於：所述電腦程式被處理器執行時實現如請求項1至7中任一項所述的缺陷檢測分類的方法。
TW109147218A 2020-12-31 2020-12-31 缺陷檢測分類方法、裝置、電子設備及存儲介質 TWI764492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109147218A TWI764492B (zh) 2020-12-31 2020-12-31 缺陷檢測分類方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109147218A TWI764492B (zh) 2020-12-31 2020-12-31 缺陷檢測分類方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TWI764492B true TWI764492B (zh) 2022-05-11
TW202227808A TW202227808A (zh) 2022-07-16

Family

ID=82594102

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109147218A TWI764492B (zh) 2020-12-31 2020-12-31 缺陷檢測分類方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI764492B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483935A (zh) * 2011-11-07 2017-12-15 佳能株式会社 用于针对图像的重建样本的集合提供补偿偏移的方法和装置
WO2019107881A1 (ko) * 2017-11-28 2019-06-06 한국전자통신연구원 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN111968119A (zh) * 2020-10-21 2020-11-20 季华实验室 基于半导体缺陷检测的图像处理方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483935A (zh) * 2011-11-07 2017-12-15 佳能株式会社 用于针对图像的重建样本的集合提供补偿偏移的方法和装置
WO2019107881A1 (ko) * 2017-11-28 2019-06-06 한국전자통신연구원 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치
CN110992354A (zh) * 2019-12-13 2020-04-10 华中科技大学 基于引入自动记忆机制对抗自编码器的异常区域检测方法
CN111968119A (zh) * 2020-10-21 2020-11-20 季华实验室 基于半导体缺陷检测的图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
TW202227808A (zh) 2022-07-16

Similar Documents

Publication Publication Date Title
WO2021184727A1 (zh) 数据异常检测方法、装置、电子设备及存储介质
CN114764768A (zh) 缺陷检测分类方法、装置、电子设备及存储介质
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
WO2020156409A1 (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN114764765A (zh) 图像瑕疵检测方法、装置、电子设备及存储介质
WO2022042297A1 (zh) 文本聚类方法、装置、电子设备及存储介质
CN112513927A (zh) 基于卷积神经网络的风力涡轮机叶片缺陷检查
CN111680750A (zh) 图像识别方法、装置和设备
CN112131322A (zh) 时间序列分类方法及装置
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN114764774A (zh) 瑕疵检测方法、装置、电子设备及计算机可读存储介质
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN111325728A (zh) 产品缺陷检测方法、装置、设备及存储介质
CN112700763B (zh) 语音标注质量评价方法、装置、设备及存储介质
CN114943672A (zh) 图像瑕疵检测方法、装置、电子设备及存储介质
TWI764492B (zh) 缺陷檢測分類方法、裝置、電子設備及存儲介質
TWI762193B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
CN114820003A (zh) 定价信息异常识别方法、装置、电子设备及存储介质
CN110827261A (zh) 图像质量检测方法及装置、存储介质及电子设备
TWI795729B (zh) 圖像瑕疵檢測方法、電子設備及存儲介質
TWI778519B (zh) 瑕疵圖像生成方法、裝置、電子設備及存儲介質
TWI792134B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
CN112926724A (zh) 注塑成型产品良率的评分方法、装置及电子设备
TWI755212B (zh) 模型輸入尺寸確定方法及相關設備
TWI807854B (zh) 瑕疵偵測方法、電腦設備及儲存介質