TWI748184B

TWI748184B - 瑕疵檢測方法、電子裝置及電腦可讀存儲介質

Info

Publication number: TWI748184B
Application number: TW108116108A
Authority: TW
Inventors: 林忠億
Original assignee: 鴻海精密工業股份有限公司
Priority date: 2019-05-09
Filing date: 2019-05-09
Publication date: 2021-12-01
Also published as: TW202042111A

Abstract

一種瑕疵檢測方法，包括以下步驟：獲取待測物的圖像；將所述待測物的圖像分割成多個待測圖像；利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似，所述範本圖像為無瑕疵的正常圖像；當判斷每個所述待測圖像與相應的所述範本圖像相似時，確定所述待測物無瑕疵；當判斷所述待測圖像與所述範本圖像不相似時，利用第二模型判斷所述待測圖像是否存在瑕疵，以確定所述待測物是否有瑕疵。本發明同時提出一種電子裝置及電腦可讀存儲介質。本發明能夠完成待測物表面瑕疵的檢測，且檢測效率較高。

Description

瑕疵檢測方法、電子裝置及電腦可讀存儲介質

本發明涉及產品檢測領域，尤其涉及一種瑕疵檢測方法、電子裝置及電腦可讀存儲介質。

目前，通常採用圖像學的方法分辨產品圖像上的瑕疵，來進行產品外觀的檢測。當產品的尺寸比較大而瑕疵的尺寸比較小時，使用解析度低的攝像機來獲取圖像，可能會因為解析度不足無法呈現瑕疵；使用解析度高的攝像機來獲取圖像，由於常用的卷積神經網路(CNN)模型內部的運算量較大，受限於硬體條件常常無法完成影像處理。例如，在使用CNN模型分辨圖像時，會將圖像壓縮至較小的解析度，例如224*224，此時細微的瑕疵部分將在圖像上消失，從而無法正確分辨瑕疵。

有鑑於此，有必要提出一種瑕疵檢測方法、電子裝置及電腦可讀存儲介質，以解決此問題。

本發明的第一方面提出一種瑕疵檢測方法，包括以下步驟：獲取待測物的圖像；將所述待測物的圖像分割成多個待測圖像；利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似，所述範本圖像為無瑕疵的正常圖像；當判斷每個所述待測圖像與相應的所述範本圖像相似時，確定所述待測物無瑕疵；及當判斷所述待測圖像與所述範本圖像不相似時，利用第二模型判斷所述待測圖像是否存在瑕疵，以確定所述待測物是否有瑕疵。

進一步地，利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似的步驟具體為：將所述待測圖像與所述範本圖像進行匹配；利用所述第一模型獲得所述待測圖像與所述範本圖像的相似度值；及判斷所述相似度值是否大於預設的閾值；若為是，則判斷所述待測圖像與所述範本圖像相似；若為否，則判斷所述待測圖像與所述範本圖像不相似。

進一步地，所述第一模型為相似度判斷模型，所述第二模型為卷積神經網路模型。

進一步地，將所述圖像分割成多個待測圖像的步驟具體為：搜尋所述圖像的邊緣；區分所述圖像的檢測區與非檢測區；及將所述檢測區分割成多個能夠供機器學習使用的所述待測圖像。

進一步地，將所述待測物的圖像分割成多個待測圖像的步驟具體為：將所述待測物的圖像按照所述範本圖像的尺寸均勻分割成多個所述待測圖像。

本發明的第二方面提出一種電子裝置，用於檢測待測物表面的瑕疵，所述電子裝置包括：至少一個處理器；記憶體，適於存儲多條指令，所述指令適於由所述處理器載入並執行：獲取待測物的圖像；將所述待測物的圖像分割成多個待測圖像；利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似，所述範本圖像為無瑕疵的正常圖像；當判斷每個所述待測圖像與所述範本圖像相似時，確定所述待測物無瑕疵；及當判斷所述待測圖像與所述範本圖像不相似時，利用第二模型判斷待測圖像是否存在瑕疵，以確定所述待測物是否有瑕疵。

進一步地，所述相似度判斷模組利用第一模型判斷待測圖像與預設的範本圖像是否相似的步驟具體為：將所述待測圖像與所述範本圖像進行匹配；利用所述第一模型獲得所述待測圖像與所述範本圖像的相似度值；及判斷所述相似度值是否大於預設的閾值；若為是，則判斷所述待測圖像與所述範本圖像相似；若為否，則判斷所述待測圖像與所述範本圖像不相似。

進一步地，所述影像處理模組將所述圖像分割成多個待測圖像的步驟具體為：搜尋所述圖像的邊緣；區分所述圖像的檢測區與非檢測區；及將所述檢測區分割成多個能夠供機器學習使用的所述待測圖像。

本發明的第三方面提出一種電腦可讀存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現如前所述的瑕疵檢測方法。

本發明能夠藉由檢測待測物圖像來完成待測物表面瑕疵的檢測，先利用第一模型判斷分割後的所述待測圖像與預設的範本圖像是否相似，如果相似，則直接確定所述圖像為正常圖像，從而確定所述待測物無瑕疵，不需要再使用第二模型進行瑕疵檢測；如果不相似再利用第二模型進行檢測。由於第一模型的運算量小於第二模型的運算量，該方法能夠提升瑕疵檢測的效率。並且，對於大尺寸的待測物，至少部分待測圖像極為相似，通過第一模型進行相似度判斷，節省了檢測時間，進一步提升了瑕疵檢測的效率。

1:電子裝置

10:處理器

20:記憶體

30:通信單元

100:瑕疵檢測系統

101:獲取模組

102:影像處理模組

103:相似度判斷模組

104:瑕疵檢測模組

105:確定模組

圖1為本發明一實施方式中的電子裝置的應用結構示意圖。

圖2為本發明一實施方式中瑕疵檢測系統的應用結構示意圖。

圖3為本發明一實施方式中的瑕疵檢測方法的流程圖。

為了能夠更清楚地理解本發明的上述目的、特徵與優點，下面結合附圖與具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。

在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

除非另有定義，本文所使用的所有的技術與科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。

請參照圖1，圖1為本發明提供之一種實施方式中的電子裝置1的結構示意圖。所述電子裝置1包括，但不限於，處理器10、記憶體20及通信單元30，記憶體20與通信單元30分別與所述處理器10電連接。在一個實施例中，所述電子裝置1可以為電腦、伺服器或控制器等設備。所述處理器10的數量可為至少一個。

所述處理器10可以由積體電路組成，例如可以由單個封裝的積體電路所組成，也可以由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器(Central Processing unit，CPU)、微處理器、數文書處理晶片或圖形處理器，或各種控制晶片的組合等。

所述處理器10是所述電子裝置1的控制核心(Control Unit)，利用各種介面與線路連接整個所述電子裝置1的各個部件，藉由運行或執行存儲在所述記憶體20內的程式或者模組，以及調用存儲在所述記憶體20內的資料，以執行所述電子裝置1各種功能與處理資料，例如執行瑕疵檢測系統100(請參圖2)。

所述記憶體20可用於存儲電腦程式與/或模組/單元，所述處理器10藉由運行或執行存儲在所述記憶體20內的電腦程式與/或模組/單元，以及調用存儲在記憶體20內的資料，實現所述電子裝置1的各種功能。所述記憶體20可以是，但並不限於，唯讀記憶體(Read-Only Memory，ROM)、隨機記憶體(Random Access Memory，RAM)、可程式設計唯讀記憶體(Programmable Read-Only Memory，PROM)、可擦除可程式設計唯讀記憶體(Erasable Programmable Read-Only Memory，EPROM)、一次可程式設計唯讀記憶體(One-time Programmable Read-Only Memory，OTPROM)、電子擦除式可複寫唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、唯讀光碟(Compact Disc Read-Only Memory，CD-ROM)或其他光碟記憶體、磁碟記憶體、磁帶記憶體、或者能夠用於攜帶或存儲資料的電腦可讀的任何其他介質。

所述通信單元30用於與影像獲取裝置或其他電子裝置建立通信連接。所述通信單元30可為有線通信單元或無線通訊單元。

本領域技術人員可以理解，所述示意圖僅僅是電子裝置1的示例，並不構成對電子裝置1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子裝置1還可以包括輸入輸出設備、網路接入設備、匯流排等。

在一個實施例中，所述瑕疵檢測系統100可以包括一個或多個程式形式的電腦指令，該一個或多個程式形式的電腦指令儲存於所述記憶體20中，並由所述處理器10執行。在本實施例中，所述瑕疵檢測系統100可以集成於所述處理器10中。在其他實施例中，所述瑕疵檢測系統100也可以獨立於該處理器10之外。參閱圖2所示，所述瑕疵檢測系統100可以包括一個或多個模組，例如圖2所示的獲取模組101、影像處理模組102、相似度判斷模組103、瑕疵檢測模組104及確定模組105。

所述獲取模組101用於獲取待測物的圖像。

在一實施例中，所述獲取模組101可通過通信單元30從影像獲取裝置或其他電子裝置中獲取待測物的圖像。

所述影像處理模組102用於將待測物的圖像分割成多個待測圖像。所述待測圖像為能夠供機器學習使用的、小尺寸的圖像。

所述相似度判斷模組103用於利用第一模型判斷待測圖像與相應的預設範本圖像是否相似。所述範本圖像為無瑕疵的正常圖像。例如，所述範本圖像可為對相同待測物進行檢測後確定無瑕疵的正常圖像。可以理解，所述範本圖像的數量可為一個或多個。當範本圖像的數量為多個時，所述相似度判斷模組103先將所述待測圖像匹配相應的範本圖像，然後判斷所述待測圖像與相應的範本圖像是否相似。

在本實施例中，所述第一模型為相似度判斷模型。所述相似度判斷模型中包括用於計算圖像相似度的公式。例如，利用所述公式判斷兩張圖像中相同的圖元數量，進而計算圖像的相似度。

在另一實施方式中，所述相似度判斷模型也可為卷積神經網路(CNN)模型，或其他神經網路模型，例如VGG模型、ResNet模型等。

所述相似度判斷模組103首先將所述待測圖像與範本圖像進行匹配，利用第一模型獲得所述待測圖像的相似度值，然後判斷所述相似度值是否大於預設的閾值。若所述相似度值大於預設的閾值，則判斷所述待測圖像與所述範本圖像相似。

所述瑕疵檢測模組104用於利用第二模型判斷待測圖像是否存在瑕疵。所述第二模型可為神經網路模型。在本實施例中，所述瑕疵檢測模組104用於在所述待測圖像與所述範本圖像不相似時，利用第二模型判斷待測圖像是否存在瑕疵。

所述第二模型可為CNN模型。可以理解，所述第二模型也可為其他神經網路模型，例如VGG模型、ResNet模型等。

所述確定模組105用於依據所述相似度判斷模組103或所述瑕疵檢測模組104的判斷結果，確定所述待測物無瑕疵或存在瑕疵。具體地，所述確定模組105在所述相似度判斷模組103判斷每個所述待測圖像均與相應的所述範本圖像相似時，確定所述待測物無瑕疵；以及，所述確定模組105在所述瑕疵檢測模組104判斷每個所述待測圖像均不存在瑕疵時，確定所述待測物無瑕疵。

請參閱圖3，圖3是本發明一實施例提供的瑕疵檢測方法的流程圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。

步驟S301，獲取待測物的圖像。

具體地，所述獲取模組101獲取待測物的圖像。所述待測物的圖像可為較高解析度的大尺寸圖像。

步驟S302，將所述待測物的圖像分割成多個待測圖像。

具體地，所述影像處理模組102將所述待測物的圖像分割成多個待測圖像，以便後續對每個待測圖像分別進行檢測。所述待測圖像為能夠供機器學習使用的、小尺寸的圖像。

在本實施方式中，步驟S302具體為：搜尋所述圖像的邊緣，區分圖像的檢測區與非檢測區，再將檢測區分割成多個待測圖像。可以理解，當待測物尺寸較大且比較均勻時，分割後的多個待測圖像中，至少部分待測圖像會極度相似。

在至少一實施例中，可將所述待測物的圖像按照預設的範本圖像的尺寸均勻分割成多個待測圖像。

步驟S303，利用第一模型判斷每個所述待測圖像與預設的範本圖像是否相似。

具體地，所述相似度判斷模組103利用第一模型判斷每個所述待測圖像與預設的範本圖像是否相似。所述預設的範本圖像為無瑕疵的正常圖像。所述第一模型可為相似度判斷模型。

在本實施方式中，該步驟具體為：將所述待測圖像與範本圖像進行匹配；利用第一模型獲得所述待測圖像與所述範本圖像的相似度值；判斷所述相似度值是否大於預設的閾值。若為是，則判斷所述待測圖像與預設的範本圖像相似，進入步驟S304；若為否，則判斷所述待測圖像與預設的範本圖像不相似，進入步驟S305。

步驟S304，確定所述待測物無瑕疵。

當每個所述待測圖像均與預設的範本圖像相似時，所述確定模組105可確定所述待測物無瑕疵，為正常圖像。

步驟S305，利用第二模型判斷所述待測圖像是否存在瑕疵。

具體地，對於與預設的範本圖像不相似的待測圖像，所述瑕疵檢測模組104利用第二模型判斷所述待測圖像是否存在瑕疵。

所述第二模型可為神經網路模型。在本實施例中，所述第二模型可為卷積神經網路(CNN)模型。可以理解，所述第二模型也可為其他神經網路模型，例如VGG模型、ResNet模型等。

若所述瑕疵檢測模組104判斷所述待測圖像存在瑕疵，則進入步驟S306，確定所述待測物存在瑕疵。若為否，則確定所述待測物無瑕疵。

本發明能夠藉由圖像檢測完成待測物表面缺陷的檢測，先利用第一模型判斷分割後的所述待測圖像與預設的範本圖像是否相似，如果相似，則直接確定所述圖像為正常圖像，不需要再使用第二模型進行瑕疵檢測。由於第一模型的運算量小於第二模型的運算量，該方法能夠提升瑕疵檢測的效率。並且，對於大尺寸的待測物，至少部分待測圖像極為相似，藉由第一模型進行相似度判斷，節省了檢測時間，進一步提升了瑕疵檢測的效率。

由於本發明是對待測物的圖像進行分割後進行檢測，適用於較大尺寸的待測物，且無需降低待測物圖像的解析度，適用範圍更廣。

本領域普通技術人員可以理解實現上述實施方式中的全部或者部分流程，是可以藉由電腦程式來指令相關的硬體完成，所述的程式可存儲於一電腦可讀取存儲介質中，所述程式在執行時，可包括如上述各方法的實施方式的流程。

另外，在本發明各個實施方式中的各功能單元可以集成在相同處理器中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在相同單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。

對於本領域技術人員而言，顯然本發明不限於上述示範性實施方式的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其它的具體形式實現本發明。因此，無論從哪一點來看，均應將實施方式看作是示範性的，而且是非限制性的，本發明的範圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義與範圍內的所有變化涵括在本發明內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。此外，顯然“包括”一詞不排除其它單元或步驟，單數不排除複數。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。

綜上所述，本發明確已符合發明專利之要件，遂依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，自不能以此限制本案之申請專利範圍。舉凡熟悉本案技藝之人士援依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

Claims

一種瑕疵檢測方法，其改良在於，包括以下步驟：獲取待測物的圖像；將所述待測物的圖像分割成多個待測圖像；將多個所述待測圖像與多個預設範本圖像一一匹配，並利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似，所述範本圖像為無瑕疵的正常圖像，所述第一模型為相似度判斷模型；當判斷每個所述待測圖像與相應的所述範本圖像相似時，確定所述待測物無瑕疵；及當判斷所述待測圖像與所述範本圖像不相似時，利用第二模型判斷所述待測圖像是否存在瑕疵，以確定所述待測物是否有瑕疵，所述第二模型為卷積神經網路模型。
如請求項1所述之瑕疵檢測方法，其中，利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似的步驟具體為：將所述待測圖像與所述範本圖像進行匹配；利用所述第一模型獲得所述待測圖像與所述範本圖像的相似度值；及判斷所述相似度值是否大於預設的閾值；若為是，則判斷所述待測圖像與所述範本圖像相似；若為否，則判斷所述待測圖像與所述範本圖像不相似。
如請求項1所述之瑕疵檢測方法，其中，將所述待測物的圖像分割成多個待測圖像的步驟具體為：搜尋所述圖像的邊緣；區分所述圖像的檢測區與非檢測區；及將所述檢測區分割成多個能夠供機器學習使用的所述待測圖像。
如請求項1所述之瑕疵檢測方法，其中，將所述待測物的圖像分割成多個待測圖像的步驟具體為：將所述待測物的圖像按照所述範本圖像的尺寸均勻分割成多個所述待測圖像。
一種電子裝置，用於檢測待測物表面的瑕疵，其改良在於，所述電子裝置包括：至少一個處理器；記憶體，適於存儲多條指令，所述指令適於由所述處理器載入並執行：獲取待測物的圖像；將所述待測物的圖像分割成多個待測圖像；將多個所述待測圖像與多個預設範本圖像一一匹配，並利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似，所述範本圖像為無瑕疵的正常圖像，所述第一模型為相似度判斷模型；當判斷每個所述待測圖像與所述範本圖像相似時，確定所述待測物無瑕疵；及當判斷所述待測圖像與所述範本圖像不相似時，利用第二模型判斷所述待測圖像是否存在瑕疵，以確定所述待測物是否有瑕疵，所述第二模型為卷積神經網路模型。
如請求項5所述之電子裝置，其中，利用第一模型判斷每個所述待測圖像與相應的預設範本圖像是否相似的步驟具體為：將所述待測圖像與所述範本圖像進行匹配；利用所述第一模型獲得所述待測圖像與所述範本圖像的相似度值；及判斷所述相似度值是否大於預設的閾值；若為是，則判斷所述待測圖像與所述範本圖像相似；若為否，則判斷所述待測圖像與所述範本圖像不相似。
如請求項5所述之電子裝置，其中，將所述待測物的圖像分割成多個待測圖像的步驟具體為：搜尋所述圖像的邊緣；區分所述圖像的檢測區與非檢測區；及將所述檢測區分割成多個能夠供機器學習使用的所述待測圖像。
一種電腦可讀存儲介質，其上存儲有電腦程式，其改良在於：所述電腦程式被處理器執行時實現如請求項1-4中任一項所述之瑕疵檢測方法。