TWI783667B

TWI783667B - 自動影像檢測方法、設備、內儲程式之電腦可讀取記錄媒體、以及電腦程式產品

Info

Publication number: TWI783667B
Application number: TW110132853A
Authority: TW
Inventors: 曹凱翔; 林士傑
Original assignee: 由田新技股份有限公司
Priority date: 2021-09-03
Filing date: 2021-09-03
Publication date: 2022-11-11
Also published as: TW202312094A; CN115760677A

Abstract

本發明提供一種自動影像檢測方法，包括：取得對應於待測物複數個標準影像；將所獲得的標準影像中於相同位置的複數個影像區塊的灰階度進行平均值運算，取得一灰階平均影像；將所獲得的標準影像中於相同位置的影像區塊的灰階度進行標準差運算，取得一灰階標準差影像；提供一檢測影像，並偵測檢測影像的灰階值，當檢測影像於相同位置的對應影像區塊減去灰階平均影像於相同位置的影像區塊的灰階值超過灰階標準差影像於相同位置預設定倍率的灰階標準差值時，判定對應影像區塊為一候選缺陷。

Description

自動影像檢測方法、設備、內儲程式之電腦可讀取記錄媒體、以及電腦程式產品

本發明係有關於一種自動影像檢測方法、設備、內儲程式之電腦可讀取記錄媒體、以及電腦程式產品，尤指一種改良式的自動影像檢測方法、設備、內儲程式之電腦可讀取記錄媒體、以及電腦程式產品。

隨著全自動化工業的進展，自動光學辨識系統（Automatic Optical Inspection, AOI）是工業製程中常見的代表性手法，主要的做法是利用攝影裝置拍攝待測物的表面狀態，再以電腦影像處理技術來檢出異物或圖案異常等瑕疵，由於採用了非接觸式檢查，因此在產線過程中可以用以檢查半成品。基於自動光學辨識系統檢測的優勢，其已經被普遍應用在電子業的電路板組裝生產線的外觀檢查並取代以往的人工目檢作業（Visual Inspection）。

在傳統影像辨識技術中，主要是將待測物的影像與母片影像或標準影像進行比對，經由待測物影像與母片影像之間的差異確認待測物是否有瑕疵；然而，單純以影像相減的方式進行缺陷檢測不僅要求精確對位，且容易造成過檢或誤檢的問題，進一步降低檢測的效率。

本發明的主要目的，在於提供一種自動影像檢測方法，包括：取得對應於待測物複數個標準影像；將所獲得的標準影像中於相同位置的複數個影像區塊的灰階度進行平均值運算，取得一灰階平均影像；將所獲得的標準影像中於相同位置的影像區塊的灰階度進行標準差運算，取得一灰階標準差影像；提供一檢測影像，並偵測檢測影像的灰階值，當檢測影像於相同位置的對應影像區塊減去灰階平均影像於相同位置的影像區塊的灰階值超過灰階標準差影像於相同位置預設定倍率的灰階標準差值時，判定對應影像區塊為一候選缺陷。

本發明的另一目的，在於提供一種自動影像檢測設備，包括一影像擷取裝置、一記憶裝置、以及一影像處理裝置。影像擷取裝置拍攝並取得待測物的檢測影像。記憶裝置用以儲存複數個標準影像。影像處理裝置經由記憶裝置獲得基於標準影像的相同位置所獲得的一灰階平均影像、以及基於標準影像的相同位置所獲得的一灰階標準差影像，並連接至影像擷取裝置以獲得檢測影像，影像處理裝置偵測檢測影像的灰階值，當檢測影像於相同位置的對應影像區塊減去灰階平均影像於相同位置的影像區塊的灰階值超過灰階標準差影像於相同位置預設定倍率的灰階標準偏差值時，判定對應影像區塊為候選缺陷。

本發明的更一目的，在於提供一種內儲程式之非暫態性電腦可讀取記錄媒體，當電腦載入內儲程式並執行後，可完成如上所述之方法。

本發明的更一目的，在於提供一種內儲程式之電腦程式產品，當電腦載入內儲程式並執行後，可完成如上所述之方法。

是以，本發明可以有效的簡化演算參數，且在簡化演算參數的同時，改善影像的過檢率及漏檢率，並提升整體的檢測效能。

有關本發明之詳細說明及技術內容，現就舉一具體實施例配合圖式說明如下。

請先參閱「圖1」，係為本發明中自動影像檢測設備的方塊示意圖。本發明的自動影像檢測設備100包括一影像擷取裝置10、一連接至影像擷取裝置10的記憶裝置20、以及一連接至記憶裝置20的影像處理裝置30。

所述的影像擷取裝置10用以拍攝並取得待測物的檢測影像。於一實施例中，影像擷取裝置10例如可以是但不限定於面掃描攝影機(Area Scan Camera)或線掃描攝影機(Line Scan Camera)，於本發明中不予以限制。所述的待測物可以是任意的物件，例如面板、電路板、或任意工件，於本發明中不予以限制。

所述的記憶裝置20用以儲存標準影像、灰階平均影像(Grayscale Mean Image, MI)、以及灰階標準差影像(Grayscale Deviation Image, DI)。於一實施例中，記憶裝置20例如可以是但不限定於通過有線網路或無線網路連接的記憶設備(例如網路硬碟設備NAS、區網或雲端伺服器等)、或是直接配置於影像處理裝置30上的記憶元件(例如硬碟、固態硬碟、隨機存取記憶體、快閃記憶體等或其他類此的暫態或非暫態的存儲裝置)。所述的「標準影像」，例如可以是待測物的母片、良品的影像、或黃金影像(Golden Image)，於本發明中不予以限制。

所述的影像處理裝置30連接至記憶裝置20以獲得灰階平均影像MI、以及灰階標準差影像DI，並基於灰階平均影像MI、以及灰階標準差影像DI判定檢測影像是否包括候選缺陷。於一實施例中，影像處理裝置30主要包含有一處理器31、以及一連接於處理器31的儲存單元32。處理器31可以用以載入儲存單元32，以執行儲存單元32內所儲存的程式。於另一實施例中，處理器31以及儲存單元32可共同構成一電腦或處理器，例如是個人電腦、工作站、主機電腦或其他型式之電腦或處理器，在此並不限制其種類。於一實施例中，處理器31可耦接於儲存單元32。處理器31例如是中央處理器(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。

關於本發明中的自動影像檢測方法，以下配合圖式舉一具體實施例說明之，請一併參閱「圖2」、「圖3」、「圖4」、「圖5」及「圖6」，係為本發明中自動影像檢測方法的預處理程序示意圖(一)、(二)、自動影像檢測方法的演算示意圖(一)、(二)、以及自動影像檢測方法的流程示意圖。

首先，為了要取得灰階平均影像MI、以及灰階標準差影像DI，先透過攝影機拍攝複數個標準影像(步驟S01)；為了要讓標準影像與影像擷取裝置10所拍攝的檢測影像於拍攝條件(例如拍攝環境、攝影機參數、攝影機型號等)上標準化，所述的標準影像可以透過自動影像檢測設備100的影像擷取裝置10拍攝，以減少因拍攝條件不同而導致的誤差。惟，本發明亦不排除在有效控制拍攝條件的情況下，於不同環境、或是以不同攝影機取得標準影像的方法，在此先行敘明。值得注意的是，於本實施例中，複數個標準影像係取自同一類型的待測物，並且可為具有或不具有瑕疵特徵。其中，具有瑕疵特徵的標準影像所具有的瑕疵特徵也可不同，但同一標準影像中各像素之間的差異值需於一定標準值內。

接續，用於執行影像處理功能的電腦於獲得複數個標準影像後，將所獲得的標準影像中於相同位置的影像區塊的灰階度進行平均值運算，取得一灰階平均影像MI(步驟S02)；具體而言，所述的灰階平均影像MI主要是將標準影像於同一位置上像素的灰階值加總後計算算數平均，最終獲得該灰階平均影像MI，具體算式如下：

；其中，

為標準影像數量，

為第

號標準影像於像素座標

上的灰階值，

為灰階平均影像MI於像素座標

上的灰階值。

如「圖2」所示，以取樣六張標準影像A1~A6的條件下，第一張標準影像A1中像素座標(1,1)上的灰階值為5，第二張標準影像A2中像素座標(1,1)上的灰階值為7，第三張標準影像A3中像素座標(1,1)上的灰階值為5，第四張標準影像A4中像素座標(1,1)上的灰階值為5，第五張標準影像A5中像素座標(1,1)上的灰階值為7，第六張標準影像A6中像素座標(1,1)上的灰階值為7；經算術平均數計算的結果，灰階平均影像MI中像素座標(1,1)上的平均灰階值為

，依此類推其餘座標位置的像素，以獲得灰階平均影像MI，並將灰階平均影像MI儲存於記憶裝置20。

接續，用於執行影像處理功能的電腦於獲得複數個標準影像後，將所獲得的標準影像中於所述相同位置的所述影像區塊的灰階度進行標準差運算，取得一灰階標準差影像DI(步驟S03)；具體而言，所述的灰階標準差影像DI主要是將標準影像於同一位置上像素的灰階值個別計算標準差，最終獲得所述灰階標準差影像DI，具體算式如下：

；其中，

為標準影像數量，

為第

號標準影像於像素座標

上的灰階值，

為灰階平均影像MI於像素座標

上的灰階值，

為灰階標準差影像DI於像素座標

上的標準差值。

如「圖3」所示，以取樣六張標準影像A1~A6的條件下，第一張標準影像A1中像素座標(1,1)上的灰階值為5，第二張標準影像A2中像素座標(1,1)上的灰階值為7，第三張標準影像A3中像素座標(1,1)上的灰階值為5，第四張標準影像A4中像素座標(1,1)上的灰階值為5，第五張標準影像A5中像素座標(1,1)上的灰階值為7，第六張標準影像A6中像素座標(1,1)上的灰階值為7；依據步驟S02計算的結果，灰階平均影像MI中像素座標(1,1)上的平均灰階值為6，灰階標準差影像DI中像素座標(1,1)上對應的標準差值為

，依此類推其餘座標位置的像素，以獲得灰階標準差影像DI，並將灰階標準差影像DI儲存於記憶裝置20。

步驟S01~S03為自動影像檢測的預處理程序，在大量檢測的實際應用上，前面預處理程序執行一次後，後續的檢測程序則可以直接由記憶裝置20獲取灰階平均影像MI、以及灰階標準差影像DI直接進行計算，不須每一次檢測時重複執行步驟S01~S03的流程，在此先行敘明。

接續，自動影像檢測設備100執行影像檢測程序，其中影像處理裝置30自影像擷取裝置10取得一檢測影像IG，並偵測檢測影像IG的灰階值(步驟S04)；影像擷取裝置10於拍攝待測物的影像後，可以直接傳送至影像處理裝置30、或是先存入至記憶裝置20中。由於在處理大幅影像時，影像處理裝置30需要耗費一定的運算時間，將檢測影像IG預先存入記憶裝置20進行緩衝也是可行的方式；當運算速度夠快時，檢測影像IG亦可以經由影像處理裝置30的快取記憶體進行緩存，於本發明中不予以限制。

於一實施例中，在上述步驟S04取得檢測影像IG後，為避免因外部因素導致影像擷取裝置10拍攝到的影像與標準影像產生誤差，可以先將所述檢測影像IG進行對位程序，將提供的所述檢測影像IG先經由對位程序以建立相對位置關係；在理想狀態下，所述的對位程序是可以省略的步驟。

接續，影像處理裝置30將檢測影像IG中相同位置的對應影像區塊減去灰階平均影像MI中相同位置的影像區塊以獲得灰階差值，並於所獲得的灰階差值超過灰階標準差影像DI於相同位置預設定倍率的灰階標準差值時，判定上述對應影像區塊為候選缺陷(步驟S05)；在此須先敘明的是，由於偵測缺陷的重點在於檢測影像IG與灰階平均影像MI之間的差異，取樣的數值重視的是檢測影像IG與灰階平均影像MI中灰階值的變化量，因此灰階差值都以絕對值計算。於一實施例中，預設定倍率可以是2~3倍(例如2.0倍、2.1倍、2.2倍、2.3倍、2.4倍、2.5倍、2.6倍、2.7倍、2.8倍、2.9倍、3.0倍等)意即所獲得的灰階差值若大於灰階標準差影像DI對應的灰階標準差值2倍、或3倍以上，則標記檢測影像IG中對應於所述灰階差值的像素或圖元單位為候選缺陷。例如灰階標準差影像DI對應的灰階標準偏差值若為2，當對應位置的灰階差值為5時，在預設定倍率是2倍的時候，由於灰階差值(5)大於2倍的灰階標準差值 (4)，則判定對應影像區塊為候選缺陷；在預設定倍率是3倍的時候，由於灰階差值(5)未大於3倍的灰階標準差值(6)，則判定對應影像區塊未包括缺陷。

以下舉一具體實施例進行說明，如「圖4」所示，影像處理裝置30由影像擷取裝置10(或記憶裝置20)所獲得的檢測影像IG其灰階像素陣列為

，經由步驟S03所取得的灰階平均影像MI其灰階像素陣列為

，將檢測影像IG減去灰階平均影像MI將獲得灰階差值像素陣列GMI，所述的灰階差值像素陣列GMI為

。

接續，如「圖5」所示，將灰階標準差影像DI對應於個別像素陣列上的灰階標準差值乘上預設定倍率(例如2~3倍)，將獲得一K倍灰階標準差影像KDI；例如獲得的K倍灰階標準差影像KDI的像素陣列為

，將前面所獲得的灰階差值像素陣列GMI與K倍灰階標準差影像KDI相減，將獲得以下的相減像素陣列MP為

，由於低於0的數值代表未超出預設定倍率的灰階標準偏差值，直接輸出為0，其餘相減後大於0的數值則被判定為候選缺陷，由上面的相減相素陣列中第4列第4欄的像素、第2列第5欄的像素、以及第3列第5欄的像素將被判定為候選缺陷。

最終，於確認影像中的所有候選缺陷後，透過所有候選缺陷的特徵判定是否為真實缺陷(步驟S06)；於一實施例中，所述的特徵包括由一或複數個候選缺陷所構成的連通或相近區塊的面積、長寬值、長寬比、及/或灰階值。其中，面積可以由涵蓋像素數量、或涵蓋最小單位圖元數量計算而得；長寬值、長寬比可以透過候選缺陷連通區域或密集區域所涵蓋的範圍進行計算，例如經由像素長寬換算、用最小矩形包覆缺陷經由測量矩形的長寬獲得缺陷的長寬值；灰階值例如可以是由影像區域中出現的灰階值像素，確認灰階值是否為缺陷。

上面所描述的方法步驟可經由非暫存性電腦可讀取記錄媒體的方式實施，所述的非暫存性電腦可讀取記錄媒體例如可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒介。當電腦載入非暫存性電腦可讀取記錄媒體內所儲存的程式並執行後，可完成如上所述的影像檢測方法。

除電腦可讀取記錄媒體外，上述的方法步驟亦可作為一種電腦程式產品實施，用以儲存於例如網路伺服器的硬碟、記憶裝置、或是應用程式線上發行平台，可藉由將電腦程式產品上傳至伺服器後供使用者以付費下載的方式實施。

綜上所述，本發明可以有效的簡化演算參數，且在簡化演算參數的同時，改善影像的過檢率及漏檢率，並提升整體的檢測效能。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。

100:自動影像檢測設備 10:影像擷取裝置 20:記憶裝置 30:影像處理裝置 31:處理器 32:儲存單元 A1~A6:標準影像 MI:灰階平均影像 DI:灰階標準差影像 IG:檢測影像 GMI:灰階差值像素陣列 KDI:K倍灰階標準差影像 MP:相減像素陣列 S01~S06:步驟

圖1，為本發明中自動影像檢測設備的方塊示意圖。

圖2，為本發明中自動影像檢測方法的預處理程序示意圖 (一)。

圖3，為本發明中自動影像檢測方法的預處理程序示意圖 (二)。

圖4，為本發明中自動影像檢測方法的演算示意圖(一)。

圖5，為本發明中自動影像檢測方法的演算示意圖(二)。

圖6，為本發明中影像自動檢測方法的流程示意圖。

100:自動影像檢測設備

10:影像擷取裝置

20:記憶裝置

30:影像處理裝置

31:處理器

32:儲存單元

Claims

一種自動影像檢測方法，包括：影像處理裝置自記憶裝置取得對應於待測物的複數個標準影像；影像處理裝置將所獲得的該些標準影像中於相同位置的複數個影像區塊的灰階度進行平均值運算，取得一灰階平均影像；影像處理裝置將所獲得的該些標準影像中於該相同位置的該些影像區塊的灰階度進行標準差運算，取得一灰階標準差影像；影像擷取裝置提供一檢測影像至該影像處理裝置，該影像處理裝置偵測該檢測影像的灰階值，當該檢測影像於該相同位置的對應影像區塊減去該灰階平均影像於該相同位置的該影像區塊的灰階值超過該灰階標準差影像於該相同位置預設定倍率的灰階標準差值時，判定該對應影像區塊為一候選缺陷。
如請求項1所述的自動影像檢測方法，其中，該檢測影像是先經由一對位程序以建立該對應影像區塊與該些影像區塊的相對位置關係。
如請求項1所述的自動影像檢測方法，其中，該預設定倍率是2~3倍。
如請求項1所述的自動影像檢測方法，其中，於判定該對應影像區塊為該候選缺陷後，透過該候選缺陷的特徵判定是否為真實缺陷。
如請求項4所述的自動影像檢測方法，其中，經由一或複數個候選缺陷所構成的連通或相近區塊的面積、長寬比、高度、及/或灰階值作為該特徵判定是否為該真實缺陷。
一種自動影像檢測設備，包括：一影像擷取裝置，拍攝並取得待測物的檢測影像；一記憶裝置，用以儲存複數個標準影像；以及一影像處理裝置，經由該記憶裝置獲得基於該些標準影像的相同位置所獲得的一灰階平均影像、以及基於該些標準影像的該相同位置所獲得的一灰階標準差影像，並連接至該影像擷取裝置以獲得該檢測影像，該影像處理裝置偵測該檢測影像的灰階值，當該檢測影像於該相同位置的對應影像區塊減去該灰階平均影像於該相同位置的影像區塊的灰階值超過該灰階標準差影像於該相同位置的預設定倍率的灰階標準差值時，判定該對應影像區塊為候選缺陷。
如請求項6所述的自動影像檢測設備，其中，該影像處理裝置於獲得該檢測影像時，先經由對位程序建立該對應影像區塊與該影像區塊的相對位置關係。
如請求項6所述的自動影像檢測設備，其中，該預設定倍率是2~3倍。
如請求項6所述的自動影像檢測設備，其中，該影像處理裝置於判定該對應影像區塊為該候選缺陷後，透過該候選缺陷的特徵判定是否為真實缺陷。
如請求項9所述的自動影像檢測設備，其中，該影像處理裝置經由一或複數個候選缺陷所構成的連通或相近區塊的面積、長寬比、高度、及/或灰階值作為該特徵判定是否為該真實缺陷。
一種內儲程式之非暫態性電腦可讀取記錄媒體，當電腦載入內儲程式並執行後，可完成如請求項1~5所述之方法。
一種內儲程式之電腦程式產品，當電腦載入內儲程式並執行後，可完成如請求項1~5所述之方法。