TW201724017A

TW201724017A - 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體

Info

Publication number: TW201724017A
Application number: TW104143977A
Authority: TW
Inventors: 簡澔宇; 許展豪; 應宗樺
Original assignee: 力晶科技股份有限公司 30078 新竹科學工業園區力行一路12號
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2017-07-01
Also published as: US20170186144A1; CN106920219B; TWI581213B; CN106920219A; US9811899B2

Abstract

一種物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體，此方法包括下列步驟。接收待測物品的測試影像及參考影像。取得測試影像中的測試區塊，並且自參考影像中取得對應的參考區塊，以分別產生測試區塊影像及參考區塊影像。將測試區塊影像及參考區塊影像分割為多個子區塊，再辨識及濾除干擾的子區塊，以產生已濾除測試區塊影像及已濾除參考區塊影像，進而取得偏移校正參數，以校正測試影像中的測試區塊，從而取得已校正測試區塊影像。將已校正測試區塊影像與參考區塊影像進行比對，以取得出待測物品對應於測試區塊的缺陷資訊。

Description

物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體

本發明是有關於一種物品缺陷檢測的技術。

電腦視覺以及影像辨識技術已廣泛地應用於工業生產以及傳統製造業以因應產業自動化以及精密化的需求，其係藉由視覺影像的處理程序，達到有效的品質控管，以改善製程以及降低製造成本。

舉例來說，在晶圓的製造過程中，往往會因為設備、環境以及人為的因素而造成晶圓表面缺陷。目前針對晶圓表面缺陷進行檢測的方式主要是藉由影像擷取裝置來擷取晶圓表面的影像，並將其與參考影像（Reference Image）中的各個區塊來進行特徵比對，從而取得晶圓表面上的缺陷資訊。現行方法主要是先利用兩個對應區塊的影像相減得到的差值影像（Difference Image），再比較差值影像中的像素灰階值是否大於所設定的門檻值來判定。然而，當擷取到的影像產生色差、色偏、亮度不均或是雜訊干擾等情況時，會使得與參考影像進行比對時，產生多餘的假缺陷，亦會導致無法與參考影像準確地疊合進行比對。

有鑑於此，本發明提供一種物品缺陷的檢測方法及其影像處理系統與電腦可讀取記錄媒體，其可藉由影像預處理程序（Image Pre-processing）來降低物品缺陷檢測的誤判率。

本發明提出一種物品缺陷檢測方法，適用於影像處理系統，此方法包括下列步驟。首先，接收待測物品的測試影像以及參考影像。接著，取得測試影像中的測試區塊，並且自參考影像中取得對應於測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像。分別將測試區塊影像以及參考區塊影像分割為多個測試子區塊以及多個參考子區塊，其中各個測試子區塊對應於各個參考子區塊。之後，將上述測試子區塊與上述參考子區塊進行比對，以自上述測試子區塊以及上述參考子區塊之中辨識出任何干擾測試子區塊以及任何干擾參考子區塊，其中各個干擾測試子區塊不相似於任何干擾參考子區塊，各個干擾參考子區塊不相似於任何干擾測試子區塊。接著，自測試區塊影像之中濾除干擾測試子區塊以及對應於干擾參考子區塊的測試子區塊，以產生已濾除測試區塊影像，並且自參考區塊影像之中濾除干擾參考子區塊以及對應於干擾測試子區塊的參考子區塊，以產生已濾除參考區塊影像。之後，根據已濾除測試區塊影像以及已濾除參考區塊影像，取得偏移校正參數，再根據偏移校正參數，校正測試影像中的測試區塊，以取得已校正測試區塊影像。接著，將已校正測試區塊影像與參考區塊影像進行比對，據以取得待測物品中對應於測試區塊的缺陷資訊。

本發明提出一種影像處理系統，包括儲存單元以及至少一處理單元，其中處理單元耦接儲存單元。儲存單元用以記錄多個模組。處理單元用以存取並執行儲存單元中記錄的模組，其中上述模組包括影像接收模組、區塊取樣模組、區塊比對模組、區塊濾除模組、影像校正模組以及缺陷檢測模組。影像接收模組用以接收待測物品的測試影像以及參考影像。區塊取樣模組用以自測試影像中取得測試區塊，並且自參考影像中取得對應於測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像。區塊比對模組用以分別將測試區塊影像以及參考區塊影像分割為多個測試子區塊以及多個參考子區塊，並且將上述測試子區塊與上述參考子區塊進行比對，以自上述測試子區塊以及上述參考子區塊之中辨識出任何干擾測試子區塊以及任何干擾參考子區塊，其中各個測試子區塊對應於各個參考子區塊，各個干擾測試子區塊不相似於任何干擾參考子區塊，各個干擾參考子區塊不相似於任何干擾測試子區塊。區塊濾除模組用以自測試區塊影像之中濾除上述干擾測試子區塊以及對應於上述干擾參考子區塊的測試子區塊，以產生已濾除測試區塊影像，並且自參考區塊影像之中濾除上述干擾參考子區塊以及對應於上述干擾測試子區塊的參考子區塊，以產生已濾除參考區塊影像。影像校正模組用以根據已濾除測試區塊影像以及已濾除參考區塊影像，取得偏移校正參數，並且根據偏移校正參數，校正測試影像中的測試區塊，以取得已校正測試區塊影像。缺陷檢測模組用以將已校正測試影像與參考影像進行比對，據以取得待測物品中對應於測試區塊的缺陷資訊。

本發明另提供一種電腦可讀取記錄媒體，儲存電腦程式，其係用以執行上述物品缺陷檢測方法的各個步驟。

基於上述，本發明所提出的物品缺陷檢測方法及其影像處理系統與電腦可讀取記錄媒體，其可在針對測試影像與參考影像進行比對之前，校正測試影像中所偏移的測試區塊，以利於與參考影像中對應的區塊進行比對，減少誤判率。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

圖1是根據本發明一實施例所繪示之影像處理系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像處理系統之所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像處理系統100包括儲存單元10以及至少一處理單元20。影像處理系統100可以例如是個人電腦、筆記型電腦、平板電腦、伺服器電腦等具有運算功能的電子裝置，或者是數位相機、掃描器、智慧型手機等同時具有影像擷取功能以及運算功能的電子裝置，本發明不在此設限。

儲存單元10可以例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）、硬碟、其他類似裝置或是這些裝置的組合。在本實施例中，儲存單元10係用以記錄可載入並且由處理單元20執行的多個模組。這些模組包括影像接收模組110、區塊取樣模組120、區塊比對模組130、區塊濾除模組140、影像校正模組150以及缺陷檢測模組160，其例如是儲存在儲存單元10中的程式，可載入影像處理系統100的處理單元20，而對物品進行缺陷的檢測。

處理單元20可以例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。處理單元20可存取以及執行記錄於儲存單元10的模組以對物品進行缺陷的檢測。

必須說明的是，在其它實施例中，上述模組並不限定儲存於儲存單元10之中，而更可以是全部或部分以硬體、軟體或韌體或其組合來實作。舉例而言，硬體模組可以機械、電子、光學、電磁或任何實體連接來耦接至另一模組。軟體模組可藉由功能、程序、方法、子程式、或子常式呼叫、跨接、連結、參數、變數與引數傳遞、功能轉回等來耦接至另一模組。軟體模組可耦接至另一模組來接收變數、參數、引數、指標等，及/或產生或傳遞結果、更新變數、指標等。韌體模組可藉由任何上述硬體與軟體耦接方法的組合來耦接至另一模組。硬體、軟體或韌體模組可耦接至任何另一硬體、軟體或韌體模組。

圖2為根據本發明之一實施例所繪示的物品缺陷檢測方法的流程圖，而圖2的方法可以圖1的影像處理系統100的各元件實現。在以下的實施例中將以晶圓表面缺陷的檢測進行說明，然而此流程亦適用於其它物品或產品缺陷的檢測，本發明不在此設限。

請同時參照圖1以及圖2，首先，影像處理系統100的影像接收模組110接收待測物品的測試影像以及參考影像（步驟S202）。在此，測試影像為自待檢測的物品所擷取的影像，而參考影像為實質上不具有缺陷並且與待測物品為相同物品的影像。然而，在其它實施例中，參考影像亦可以是該待測物品在其它指定狀態下所呈現的影像以供測試影像做為參考比對，本發明不在此設限。

在本實施例中，測試影像可以是自待檢測的晶圓所擷取的影像，而參考影像為實質上不具有缺陷的晶圓的影像。參考影像可以是預先儲存於儲存單元10中。假設影像處理系統100具有影像擷取功能時，影像接收模組110可直接接收來自影像擷取模組（未繪示）所擷取到的測試影像後，由其它模組接續地進行物品缺陷的檢測。假設影像處理系統100不具有影像擷取功能時，影像接收模組110可以無線或是有線傳輸的方式取得測試影像後，其它模組再接續地進行物品缺陷的檢測。

一般而言，目前針對晶圓表面缺陷進行檢測的方式主要是走訪（iterate）測試影像以及參考影像中的各個區塊進行比對，藉由比對上的差異獲取晶片上的缺陷資訊。然而，當擷取到的影像產生偏移、亮度色彩不均等雜訊干擾時，往往會提高晶圓表面缺陷的誤判率。因此，在進行特徵比對之前，影像處理系統100將針對測試影像進行影像校正，以消除上述影響特徵比對的雜訊。

在此，影像處理系統100可先解決影像偏移（Image Shift）的問題。區塊取樣模組120將自測試影像中取得測試區塊，以及自參考影像中取得對應於測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像（步驟S204）。詳言之，區塊取樣模組120可自測試影像中所取得到的其中一個區塊的做為「測試區塊」，並且自參考影像中選取與測試區塊具有相同影像座標的區塊做為參考區塊。在後續的步驟中將會針對測試區塊以及參考區塊的影像進行影像處理，而在此將測試區塊的影像以及參考區塊的影像則是分別為前述所定義的「測試區塊影像」以及「參考區塊影像」。

在一實施例中，區塊取樣模組120可自測試影像中的一個預設區域做為測試區域。此預設區域可以是測試物品在生產過程中統計出固定常產生雜訊的局部區域。

在另一實施例中，區塊取樣模組120更可以一種較有效率的方式完成全幅測試影像的校正，其方法是先自動地定義出測試影像的待校正區域，而此待校正區域則是包括多個待校正的測試區塊。詳言之，圖3A為根據本發明之一實施例所繪示的待校正區域定義方法的流程圖。

請參照圖3A，首先，區塊取樣模組120將自測試影像中隨機取樣（Random Sampling）多個隨機測試區塊（步驟S302）。接著，區塊取樣模組120將判斷每一隨機測試區塊是否偏移（步驟S304），並且根據判斷結果，以自動分類器自測試影像中劃分出包括多個待測試區塊的待校正區域（步驟S306）。詳細來說，區塊取樣模組120將先自參考影像中取得對應於各個隨機測試區塊的區塊（在此定義為「隨機參考區塊」），並且將根據各個隨機測試區塊與其所對應的隨機參考區塊中的影像直方圖來判斷是否偏移。接著，區塊取樣模組120可根據上述的判定結果，利用自動分類器（Classifier）自測試影像中劃分出偏移區域以及非偏移區域，其中偏移區域即為測試影像中包含多個測試區塊的待校正區域。此外，區塊取樣模組120更可將判定結果儲存至分類器的訓練資料庫中，用以訓練分類器。

在本實施例中是採用支持向量機（Support Vector Machines，SVM）分類器，其是以一種監督式學習（Supervised Learning）的方式進行資料分群，以根據各個隨機測試區塊是否偏移，來針對整張測試影像劃分出偏移區域以及非偏移區域。在其它實施例中，亦可利用其它分類器來進行資料分群，本發明不在此設限。

具體來說，圖3B為根據本發明之一實施例所繪示的待校正區域之定義方法的示意圖。

請參照圖3B，區塊取樣模組120自測試影像300A中隨機取樣隨機測試區塊301a～304a，並且自參考影像300B中取得對應於隨機測試區塊301a～304a的隨機參考區塊301b～304b。接著，區塊取樣模組120可先取得各個隨機測試區塊301a～304a以及各個隨機參考區塊301b～304b的像素值分布，並且分別計算每一隨機測試區塊及其所對應的隨機參考區塊的平均像素值分布，再判斷平均像素值分布是否相似於隨機測試區塊的像素值分布或是隨機參考區塊的像素值分布，據以判定隨機測試區塊是否偏移。

舉例來說，區塊取樣模組120可判斷出隨機測試區塊301a及其所對應的隨機參考區塊301b的平均影像直方圖H1avg與隨機測試區塊301a的像素值直方圖H1a或者是隨機參考區塊301b的影像直方圖H1b相似，因此則判定隨機測試區塊301a未偏移。以另一觀點來看，在沒有影像偏移的情況下，像素值直方圖H1a與像素值直方圖H1b的分布實質上相同。因此，當像素值直方圖H1a與像素值直方圖H1b疊合時，代表兩個區塊的像素值的分布區域實質上地重疊。另一方面，區塊取樣模組120可判斷出隨機測試區塊304a及其所對應的隨機參考區塊304b的平均影像直方圖H4avg與隨機測試區塊304a的影像直方圖H4a或者是隨機參考區塊304b的影像直方圖H4b皆不相似，因此則判定隨機測試區塊304a為偏移。

區塊取樣模組120在判定出隨機測試區塊301a、302a為偏移以及隨機測試區塊303a、304a未偏移後，可利用SVM分類器自原測試影像300a中劃分出偏移區域300R1以及非偏移區域300R2，其中偏移區域300R1即為測試影像300A中待校正的標的區域。

請再參照圖2，區塊取樣模組120將根據取得的測試區塊影像以及其對應的參考區塊影像來做為偏移校正值的取得來源。然而，若是測試區塊影像發生局部色差時，則會干擾影像偏移的校正。因此，區塊比對模組130將要先辨識並且移除此區塊影像內的局部色差後，才會針對測試區塊影像以及參考區塊影像進行偏移校正值的取得。

詳細來說，區塊比對模組130先將測試區塊影像以及參考區塊影像分割為多個測試子區塊以及多個參考子區塊（步驟S206），再將上述測試子區塊與上述參考子區塊進行比對，以自上述測試子區塊以及上述參考子區塊中分別辨識出任何干擾測試子區塊以及任何干擾參考子區塊（步驟S208）。在此，區塊取樣模組120可以是以矩陣分割的方式將測試區塊影像以及參考區塊影像切割為多個相等大小的小區塊，而兩張影像皆有相互對應的小區塊。也就是說，各個測試子區塊皆有與其對應的參考子區塊，而區塊比對模組130將會藉由相互對應的子區塊來辨識參考區塊以及測試區塊之中干擾影像偏移校正的子區塊（即為前述的「干擾測試子區塊」以及「干擾參考子區塊」），而辨識的方式可以是利用測試子區塊以及參考子區塊內所有像素值的分布。

當兩張影像的拍攝主體相同，而其中一張影像偏移時，兩張影像的像素分布的形狀仍會極為相似。然而，當其中一張影像具有嚴重色差時，兩張影像局部的像素分布將會有所差異。基於此，區塊比對模組130可藉由測試子區塊以及參考子區塊的影像直方圖定義出干擾測試子區塊以及干擾參考子區塊。

從一觀點來看，干擾測試子區塊的像素值分布將不會與任何參考子區塊的像素值分布相似。從另一觀點來看，干擾參考區塊的像素分布亦不會與任何測試子區塊的像素分布相似。然而，逐一地針對各個測試子區塊與其對應的參考子區塊進行比對將會耗費過多的時間，因此在本實施例中，區塊比對模組130可利用各個子區塊的像素值分布來進行分群，以加速干擾測試子區塊以及干擾測試子區塊的辨識。

在此，區塊比對模組130在取得各個測試子區塊以及參考子區塊的影像直方圖（分別定義為「測試子區塊影像直方圖」以及「參考子區塊影像直方圖」）後，可分析各個影像直方圖的特徵，並且依照相似度來將測試子區塊分布以及參考子區塊分布進行分群，以分別產生多個測試群組以及多個參考群組。接著，區塊比對模組130再將不同於任一參考群組的測試群組所對應的測試子區塊設定為干擾測試子區塊，以及將不同於任一測試群組的參考群組所對應的參考子區塊設定為干擾參考子區塊。以數學上而論，假設Ts定義為測試子區塊的集合，並且Rs定義為參考子區塊的集合，則所有的干擾子區塊則可以下列數學式來表示： RsΔTs = (Rs∪Ts) – (Rs∩Ts) 其中∪表示聯集（Union），∩表示交集（Intersect），而Δ表示對稱差（Symmetric Difference）。換言之，所有的干擾子區塊RsΔTs僅能屬於其中一個集合，而不能同時屬於兩個集合。

具體來說，圖4A為根據本發明之一實施例所繪示的干擾測試子區塊以及干擾參考子區塊的辨識方法的示意圖。

請參照圖4A，區塊比對模組130將分割測試區塊影像400a以及參考區塊影像400b為測試子區塊401a～425a以及參考子區塊401b～425b，並且取得測試子區塊401a～425a的影像直方圖（在此定義為「測試子區塊影像直方圖」401aH～425aH以及「參考子區塊影像直方圖」401bH～425bH。接著，區塊比對模組130可分析直方圖的特徵，並且依照相似度來將測試子區塊影像直方圖401aH～425aH以及參考子區塊影像直方圖401bH～425bH進行分群。在本實施例中，測試子區塊影像直方圖401aH～425aH可為五個群組，即測試群組Ta1～Ta5；參考區塊影像直方圖401bH～425bH可為兩個群組，即參考群組Rb1以及Rb2。

區塊比對模組130將會分析出測試群組Ta3、Ta4以及Ta5並不相似於參考子區塊影像直方圖301bH～325bH所分群出來的群組Rb1以及Rb2之中。因此，區塊比對模組130會將測試群組Ta3、Ta4以及Ta5所對應的測試子區塊411a～412a、416a～418a、421a～424a設定為干擾測試子區塊。另一方面，在此實施例中，並不存在干擾參考子區塊。

請再參照圖2，區塊比對模組130在辨識出所有的干擾測試子區塊以及干擾參考子區塊後，區塊濾除模組140將自測試區塊影像濾除干擾測試子區塊以及對應於干擾參考子區塊的測試子區塊，以產生已濾除測試區塊影像，並且自參考區塊影像濾除干擾參考子區塊以及對應於干擾測試子區塊的參考子區塊，以產生已濾除參考區塊影像（步驟S210）。詳言之，以測試區塊影像來說，區塊濾除模組140除了要濾除所辨識出的干擾測試子區塊之外，更要濾除測試區塊影像中所有對應於干擾參考子區塊的測試子區塊。同樣地，以參考區塊影像來說，區塊濾除模組140除了要濾除所辨識出的干擾參考子區塊之外，更要濾除參考區塊影像中所有對應於干擾測試子區塊的參考子區塊。據此，區塊濾除模組140在針對測試區塊影像以及參考區塊影像執行完濾除程序後，所產生的已濾除測試區塊影像與已濾除參考區塊影像中僅將保留後續可做為影像偏移比對之用的子區塊。

具體來說，以圖4A為例，區塊比對模組130在圖4A將測試子區塊411a～412a、416a～418a、421a～424a設定為干擾測試子區塊後，區塊濾除模組140將會把測試區塊影像400a中的干擾測試子區塊以及參考區塊影像400b中對應於干擾測試子區塊的參考子區塊411b～412b、416b～418b、421b～424b濾除，以分別產生已濾除測試區塊影像400a’以及已濾除參考區塊影像400b’。

接著，影像校正模組150將根據已濾除測試區塊影像以及已濾除參考區塊影像，利用影像特徵比對法（Feature-based Image Matching）取得偏移校正參數（步驟S212），並且根據偏移校正參數，校正測試影像中的測試區塊，以取得已校正測試影像（步驟S214）。詳言之，影像校正模組150可根據特徵的比對將已濾除測試區塊影像與已濾除參考區塊影像對齊（Image Alignment）。影像校正模組150為了使兩張影像得以重疊而針對已濾除測試區塊影像所須補償的值，即為偏移校正參數。換言之，影像校正模組150所取得到的偏移校正參數即為已濾除測試區塊影像相對於已濾除參考區塊影像的偏移值。接著，影像校正模組150可進而利用偏移校正參數對測試區塊進行校正。

在一實施例中，影像校正模組150可在執行校正程序前，先針對濾除測試影像以及濾除參考影像進行模糊化處理以及二值化處理，以取得更為準確的偏移校正參數。

詳細來說，影像校正模組150可先針對濾除測試影像以及濾除參考影像分別執行模糊化處理，以減少影像雜訊以及降低細節層次，而保留影像整體的分布特徵。在本實施例中，影像校正模組150可以是利用高斯模糊濾波器（Gaussian Blur Filter）等低通濾波器（Low-pass Filter）來執行模糊化處理，然而本發明不在此設限。在此將模糊化的濾除測試影像以及濾除參考影像分別定義為「模糊化測試影像」以及「模糊化參考影像」。

接著，影像校正模組150更可進一步地針對模糊化測試影像以及模糊化參考影像分別執行二值化處理，以消除不必要被檢視的雜訊，以加速進行特徵的比對。在此將二值化的濾除測試影像以及濾除參考影像分別定義為「二值化測試影像」以及「二值化參考影像」。基此，影像校正模組150可利用二值化測試影像以及二值化參考影像來取得偏移校正參數，而根據兩張影像取得偏移校正參數的方式請參照前述相關說明，於此不再贅述。

在本實施例中，影像校正模組150在取得已校正測試區塊影像後，缺陷檢測模組160將已校正測試區塊影像與參考區塊影像進行比對，據以取得待測物品中對應於測試區塊的缺陷資訊（步驟S216）。缺陷檢測模組160可利用各種比對的方式來判斷已校正測試區塊影像與參考區塊影像之間是否存在差異，從而檢測出待測物品的缺陷。舉例來說，缺陷檢測模組160可判斷已校正測試區塊影像的每一像素與其在參考區塊影像所對應的像素之間的差值是否大於檢測門檻值。若是，則代表該像素為缺陷訊號，缺陷檢測模組160可判定待測物品於測試區塊存在缺陷。此外，缺陷檢測模組160更可藉由已校正測試區塊影像中與參考區塊影像具有差異的像素，利用其影像座標來定位出待測物品於測試區塊中的缺陷所在位置。

必須說明的是，上述流程雖然僅針對測試影像中的測試區塊進行檢測，其亦適用於測試影像中待校正區域的其它測試區塊，以完成全幅測試影像的校正。其它測試區塊的校正方式以及缺陷定位方式可參照相關說明，於此不再贅述。然而，在另一實施例中，影像校正模組150可直接利用一個測試區塊的偏移校正參數校正包括多個測試區塊的整個待校正區域，以加速校正的程序。具體來說，影像校正模組150是以區塊取樣模組120自影像偏移的區域所取樣出的區塊來估測偏移校正參數，進而對整個影像偏移的區域進行偏移校正。

在一實施例中，基於影像偏移往往伴隨著影像色彩亮度的不均，影像校正模組150可在根據偏移校正參數，校正測試影像中的待校正區域後，更進一步地針對整張校正後的測試影像進行色彩與亮度的校正。以下同樣將以其中的一個區塊影像的角度來進行描述，其它區塊影像可以相同的校正方式類推。

詳細來說，在此先將測試影像中的測試區塊經過校正後所產生的影像定義為「偏移校正測試區塊影像」。影像校正模組150可先針對偏移校正測試區塊影像以及參考區塊影像進行模糊化處理，以分別產生模糊化偏移校正測試區塊影像以及模糊化參考區塊影像，從而減少影像中的雜訊。在此，影像校正模組150亦可以是利用高斯模糊濾波器等低通濾波器來執行模糊化處理，然而本發明不在此設限。

接著，影像校正模組150可利用模糊化偏移校正測試區塊影像的像素值與模糊化參考區塊影像的對應的像素值之間的差值，針對模糊化偏移校正測試區塊影像進行色彩與亮度校正。以數學上而論，假設Ts以及Tsb分別定義為偏移校正測試區塊影像以及模糊化偏移校正測試區塊影像，Rb定義為模糊化參考區塊影像，則(Tsb – Rb)可代表色彩與亮度校正參數，而經過色彩與亮度校正後的模糊化偏移校正測試區塊影像可以表示為Ts + (Tsb – Rb)。在此實施例中，經過色彩與亮度校正後的模糊化偏移校正測試區塊影像則將會被影像校正模組150設定為已校正測試區塊影像，並且缺陷檢測模組160則會將已校正測試區塊影像與參考區塊影像進行比對，據以檢測出待測物品於測試區塊中的缺陷。

具體來說，圖4B為根據本發明之一實施例所繪示的檢測待測物品的缺陷的流程示意圖，其中此流程是測試影像的待校正區域經由校正參數校正後所接續的步驟。

請參照圖4B，影像校正模組150在取得偏移校正測試區塊影像Ts後，影像校正模組150可先針對偏移校正測試區塊影像Ts以及參考區塊影像R進行模糊化處理，以分別產生模糊化偏移校正測試區塊影像Tsb以及模糊化參考區塊影像Rb，以減少影像中的雜訊。接著，影像校正模組150可利用模糊化偏移校正測試區塊影像Tsb的像素值與模糊化參考區塊影像Rb的對應的像素值之間的差值(Tsb – Rb)，針對模糊化偏移校正測試區塊影像進行色彩與亮度校正，而得到色彩與亮度校正後的模糊化偏移校正測試區塊影像Ts + (Tsb – Rb)，其亦為前述的已校正測試區塊影像。在此範例中，缺陷檢測模組160則會計算已校正測試區塊影像Ts + (Tsb – Rb)與參考區塊影像R之間的差值，從而得到差值影像 [Ts + (Tsb – Rb)] – R。之後，缺陷檢測模組160可判定差值影像[Ts + (Tsb – Rb)] – R中像素值大於檢測門檻值的像素為缺陷訊號，進而定位出待測物品缺陷的所在位置。

前述的物品缺陷檢測方法可利用圖5依據本揭露一實施例所繪示的功能方塊圖來表示。

請參照圖5，首先，在接收測試影像500A以及參考影像500B，可以分為四個階段：區塊取樣階段510、偏移校正階段520、亮度與色彩校正階段530以及常態比對階段540。

在區塊取樣階段510中，先自測試影像500A中取樣多個隨機測試區塊511，並且判斷各個隨機測試區塊是否偏移512。區塊取樣模組120除了將判斷結果儲存在分類器的資料庫513，以訓練分類器外，更根據判斷結果自測試影像500A中劃分出待校正區域514。

在偏移校正階段520，先自測試影像500A的測試區域中取樣一個測試區塊，並且自參考影像500B取得與其對應的參考區塊，再分別將測試區塊以及參考區塊進行矩陣分割，以產生多個測試子區塊以及多個參考子區塊521。接著，將分析各個測試子區塊以及各個參考子區塊522，以濾除干擾測試子區塊以及干擾參考子區塊523，即可產生已濾除測試區塊影像以及已濾除參考區塊影像524。之後，再針對已濾除測試區塊影像以及已濾除參考區塊影像進行模糊化處理以及二值化處理525後，利用影像對齊的方式來取得偏移校正參數，據以校正待校正區域內的所有測試區塊526，以較有效率的方式來產生偏移校正測試影像500A’。

在亮度與色彩校正階段530，將偏移校正測試影像500A’以及參考影像500B整體進行模糊化處理531，接著進行亮度與色彩校正532，以產生已校正測試影像500AT。

最後，在常態比對階段540，則是逐一將已校正測試影像500AT內的所有區塊以及其在參考影像500B所對應的區塊進行比對，以自待測物品中檢測出缺陷並且輸出缺陷檢測結果RT。

本發明另提供一種電腦可讀取記錄媒體，其儲存電腦程式，而此電腦程式產品基本上是由多數個程式碼片段所組成的（例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段），並且這些程式碼片段在載入影像處理系統中並執行之後，即可完成上述物品缺陷檢測方法的步驟。

綜上所述，本發明所提出的物品缺陷檢測方法及其影像處理系統與電腦可讀取記錄媒體，其可在針對測試影像與參考影像進行比對之前，對於測試影像中的局部區域進行影像偏移校正，更可對於測試影像中的亮度與色彩不均進行補償，以降低物品缺陷檢測的誤判率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像處理系統
10‧‧‧儲存單元
110‧‧‧影像接收模組
120‧‧‧區塊取樣模組
130‧‧‧區塊比對模組
140‧‧‧區塊濾除模
150‧‧‧影像校正模組
160‧‧‧缺陷檢測模組
20‧‧‧處理單元
S202～S216‧‧‧物品缺陷檢測方法的流程
S302～S306‧‧‧測試區域定義方法的流程
300A‧‧‧測試影像
300B‧‧‧參考影像
301a～304a‧‧‧隨機測試區塊
301b～304b‧‧‧隨機參考區塊
H1a、H1b、H4a、H4b‧‧‧影像直方圖
H1avg、H4avg‧‧‧平均影像直方圖
300R1‧‧‧偏移區域
300R2‧‧‧非偏移區域
400a‧‧‧測試區塊影像
400b‧‧‧參考區塊影像
401a～425a‧‧‧測試子區塊
401b～425b‧‧‧參考子區塊
401aH～425aH‧‧‧測試區塊影像直方圖
401bH～425bH‧‧‧參考區塊影像直方圖
Ta1～Ta5‧‧‧測試群組
Rb1、Rb2‧‧‧參考群組
400a’‧‧‧已濾除測試區塊影像
400b’‧‧‧已濾除參考區塊影像
Ts‧‧‧偏移校正測試區塊影像
R‧‧‧參考區塊影像
Tsb‧‧‧模糊化偏移校正測試區塊影像
Rb‧‧‧模糊化參考區塊影像
Ts + (Tsb – Rb)‧‧‧已校正測試區塊影像
[Ts + (Tsb – Rb)] – R‧‧‧差值影像
500A‧‧‧測試影像
500B‧‧‧參考影像
510‧‧‧區塊取樣階段
511～514‧‧‧區塊取樣階段的流程
520‧‧‧偏移校正階段
521～526‧‧‧偏移校正階段的流程
500A’‧‧‧偏移校正測試影像
530‧‧‧亮度與色彩校正階段
521～532‧‧‧亮度與色彩校正階段的流程
500AT‧‧‧已校正測試影像
540‧‧‧常態比對階段
RT‧‧‧缺陷檢測結果

圖1是根據本發明一實施例所繪示之影像處理系統的方塊圖。圖2為根據本發明之一實施例所繪示的物品缺陷檢測方法的流程圖。圖3A為根據本發明之一實施例所繪示的待校正區域之定義方法的流程圖。圖3B為根據本發明之一實施例所繪示的待校正區域之定義方法的示意圖。圖4A為根據本發明之一實施例所繪示的干擾測試子區塊以及干擾參考子區塊之辨識方法的示意圖。圖4B為根據本發明之一實施例所繪示的檢測待測物品的缺陷的流程示意圖。圖5為根據本發明之一實施例所繪示的物品缺陷檢測方法的功能方塊圖。

S202~S216‧‧‧物品缺陷的檢測方法之流程

Claims

一種物品缺陷檢測方法，適用於影像處理系統，包括：接收待測物品的測試影像以及參考影像；取得該測試影像中的測試區塊，並且取得該參考影像中對應於該測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像；分別分割該測試區塊影像以及該參考區塊影像為多個測試子區塊以及多個參考子區塊，其中各所述測試子區塊對應於各所述參考子區塊；比對所述測試子區塊與所述參考子區塊，以自所述測試子區塊以及所述參考子區塊辨識出任何干擾測試子區塊以及任何干擾參考子區塊，其中各所述干擾測試子區塊不相似於任一所述干擾參考子區塊，各所述干擾參考子區塊不相似於任一所述干擾測試子區塊；自該測試區塊影像濾除所述干擾測試子區塊以及對應於所述干擾參考子區塊的所述測試子區塊，以產生已濾除測試區塊影像，並且自該參考區塊影像濾除所述干擾參考子區塊以及對應於所述干擾測試子區塊的所述參考子區塊，以產生已濾除參考區塊影像；根據該已濾除測試區塊影像以及該已濾除參考區塊影像，取得偏移校正參數；根據該偏移校正參數，校正該測試影像中的該測試區塊，以取得已校正測試區塊影像；以及比對該已校正測試區塊影像與該參考區塊影像，據以取得該待測物品中對應於該測試區塊的缺陷資訊。
如申請專利範圍第1項所述的方法，其中比對所述測試子區塊與所述參考子區塊，以自所述測試子區塊以及所述參考子區塊辨識出所述干擾測試子區塊以及所述干擾參考子區塊的步驟包括：　　取得各所述測試子區塊的像素值分布以及各所述參考子區塊的像素值分布，以分別產生多個測試子區塊影像直方圖以及多個參考子區塊影像直方圖；　　分析所述測試子區塊影像直方圖以及所述參考子區塊影像直方圖的特徵，以將所述測試子區塊影像直方圖以及所述參考子區塊影像直方圖分別分群為多個測試群組以及多個參考群組；以及　　設定不同於任一所述參考群組的所述測試群組所對應的所述測試子區塊為所述干擾測試子區塊，以及設定不同於任一所述測試群組的所述參考群組所對應的所述參考子區塊為所述干擾參考子區塊。
如申請專利範圍第1項所述的方法，其中根據該已濾除測試區塊影像以及該已濾除參考區塊影像，取得該偏移校正參數的步驟更包括：　　針對該已濾除測試區塊影像以及該已濾除參考區塊影像進行模糊化處理，以產生模糊化已濾除測試區塊影像以及模糊化已濾除參考區塊影像；針對該模糊化已濾除測試區塊影像以及該模糊化已濾除參考區塊影像進行二值化處理，以產生二值化已濾除測試區塊影像以及二值化已濾除參考區塊影像；以及根據該二值化已濾除測試區塊影像以及該二值化已濾除參考區塊影像，利用影像特徵比對法取得該偏移校正參數。
如申請專利範圍第1項所述的方法，其中取得該測試影像中的該測試區塊的步驟包括：　　自該測試影像中取樣多個隨機測試區塊；以及　　判斷各所述隨機測試區塊是否偏移，據以自該測試影像中劃分出待校正區域，其中該待校正區域包括多個待測試區塊；以及設定各所述待測試區塊為該測試區塊。
如申請專利範圍第4項所述的方法，其中判斷各所述隨機測試區塊是否偏移的步驟包括：　　自該參考影像中取得對應於所述隨機測試區塊的多個隨機參考區塊；　　針對各所述隨機測試區塊：取得該隨機測試區塊與對應的該隨機參考區塊的平均影像直方圖；判斷該平均影像直方圖是否相似於該隨機測試區塊的影像直方圖像素值分布或是該隨機參考區塊的影像直方圖像素值分布；　　若是，則判定該隨機測試區塊並未偏移；以及若否，則判定該隨機測試區塊為偏移。
如申請專利範圍第4項所述的方法，其中自該測試影像中劃分出該測試區域的步驟包括：　　利用分類器，根據各所述隨機測試區塊是否偏移的判斷結果，自該隨機區域劃分出偏移區域以及非偏移的區域；以及設定該偏移區域為該待校正區域。
如申請專利範圍第4項所述的方法，其中在判斷各所述隨機測試區塊是否偏移區域的步驟之後，該方法更包括：利用各所述隨機測試區塊是否偏移區域的判斷結果，訓練該分類器。
如申請專利範圍第1項所述的方法，其中取得該測試影像中的該測試區塊的步驟包括：　　逐一遍歷該測試影像，以取得該測試區塊。
如申請專利範圍第1項所述的方法，其中在根據該偏移校正參數，校正該測試影像中的該測試區塊，以取得該已校正測試區塊影像的步驟更包括：　　根據該偏移校正參數，校正該測試影像中的該測試區塊，以產生偏移校正測試區塊影像；針對該偏移校正測試區塊影像以及該參考區塊影像進行模糊化處理，以分別產生模糊化偏移校正測試區塊影像以及模糊化參考區塊影像；以及　　利用該模糊化偏移校正測試區塊影像的多個像素值與該模糊化參考區塊影像的多個對應的像素值之間的差值，針對該模糊化偏移校正測試區塊影像進行色彩與亮度校正，以產生已校正測試區塊影像。
如申請專利範圍第1項所述的方法，其中該測試影像為自該待測物體所擷取的影像，該參考影像為實質上無缺陷的該待測物體的影像。
一種影像處理系統，包括：儲存單元，記錄多個模組；以及至少一處理單元，耦接所述鏡頭以及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：　　影像接收模組，接收待測物品的測試影像以及參考影像；　　區塊取樣模組，取得自該測試影像中的測試區域選取測試區塊，並且取得自該參考影像中選取對應於該測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像；　　區塊比對模組，分別分割該測試區塊影像以及該參考區塊影像為多個測試子區塊以及多個參考子區塊，並且比對所述測試子區塊與所述參考子區塊，以自所述測試子區塊以及所述參考子區塊辨識出任何干擾測試子區塊以及任何干擾參考子區塊，其中各所述測試子區塊對應於各所述參考子區塊，各所述干擾測試子區塊不相似於任一所述干擾參考子區塊，各所述干擾參考子區塊不相似於任一所述干擾測試子區塊；　區塊濾除模組，自該測試區塊影像濾除所述干擾測試子區塊以及對應於所述干擾參考子區塊的所述測試子區塊，以產生濾除測試區塊影像已濾除測試區塊影像，並且自該參考區塊影像濾除所述干擾參考子區塊以及對應於所述干擾測試子區塊的所述參考子區塊，以產生濾除參考區塊影像已濾除參考區塊影像；　　　　影像校正模組，根據該已濾除測試區塊影像以及該已濾除參考區塊影像，取得偏移校正參數，並且根據該偏移校正參數，校正該測試影像中的該測試區塊，以取得已校正測試區塊影像；以及缺陷檢測模組，比對該已校正測試區塊影像與該參考區塊影像，據以取得該待測物品中對應於該測試區塊的缺陷資訊。
如申請專利範圍第11項所述的影像處理系統，其中該區塊比對模組取得各所述測試子區塊的像素值分布以及各所述參考子區塊的像素值分布，以分別產生多個測試子區塊影像直方圖以及多個參考子區塊影像直方圖，並且分析所述測試子區塊影像直方圖以及所述參考子區塊影像直方圖的特徵，以將所述測試子區塊影像直方圖以及所述參考子區塊影像直方圖分別分群為多個測試群組以及多個參考群組，以及設定不同於任一所述參考群組的所述測試群組所對應的所述測試子區塊為所述干擾測試子區塊，以及設定不同於任一所述測試群組的所述參考群組所對應的所述參考子區塊為所述干擾參考子區塊。
如申請專利範圍第11項所述的影像處理系統，其中該影像校正模組針對該已濾除測試區塊影像以及該已濾除參考區塊影像進行模糊化處理，以產生模糊化已濾除測試區塊影像以及模糊化已濾除參考區塊影像，針對該模糊化已濾除測試區塊影像以及該模糊化已濾除參考區塊影像進行二值化處理，以根據利用該二值化已濾除測試區塊影像以及該二值化已濾除參考區塊影像，利用影像特徵比對法取得該偏移校正參數。
如申請專利範圍第11項所述的影像處理系統，其中該區塊取樣模組更自該測試影像中取樣多個隨機測試區塊，判斷各所述隨機測試區塊是否偏移，據以自該測試影像中劃分出包括多個待測試區塊的待校正區域，以及設定各所述待測試區塊為該測試區塊。
如申請專利範圍第14項所述的影像處理系統，其中：該區塊取樣模組自該參考影像中取得對應於所述隨機測試區塊的多個隨機參考區塊，針對各所述隨機測試區塊，取得該隨機測試區塊與對應的該隨機參考區塊的平均影像直方圖，以及判斷該平均影像直方圖是否相似於該隨機測試區塊的影像直方圖或是該隨機參考區塊的影像直方圖，若是，則判定該隨機測試區塊並未偏移，若否，則判定該隨機測試區塊為偏移。
如申請專利範圍第14項所述的影像處理系統，其中該區塊取樣模組利用分類器，根據各所述隨機測試區塊是否偏移的判斷結果，自該隨機區域劃分出偏移區域以及非偏移的區域，以及設定該偏移區域為該待校正區域。
如申請專利範圍第14項所述的影像處理系統，其中該區塊取樣模組更利用各所述隨機測試區塊是否偏移區域的判斷結果，訓練該分類器。
如申請專利範圍第11項所述的影像處理系統，其中該區塊取樣模組逐一遍歷該測試影像，以取得該測試區塊。
如申請專利範圍第11項所述的影像處理系統，其中該影像校正模組更根據該偏移校正參數，校正該測試影像中的該測試區塊域，以產生偏移校正測試區塊影像，又針對該偏移校正測試區塊影像以及該參考區塊影像進行模糊化處理，以分別產生模糊化偏移校正測試區塊影像以及模糊化參考區塊影像，以及利用該模糊化偏移校正測試區塊影像的多個像素值與該模糊化參考區塊影像的多個對應的像素值之間的差值，針對該模糊化偏移校正測試區塊影像進行色彩與亮度校正，以產生已校正測試區塊影像。
一種電腦可讀取記錄媒體，儲存電腦程式，當該影像處理系統載入該電腦程式後，將執行下列步驟：接收待測物品的測試影像以及參考影像；取得自該測試影像中的測試區域選取測試區塊，並且取得自該參考影像中選取對應於該測試區塊的參考區塊，以分別產生測試區塊影像以及參考區塊影像；分別分割該測試區塊影像以及該參考區塊影像為多個測試子區塊以及多個參考子區塊，其中各所述測試子區塊對應於各所述參考子區塊；比對所述測試子區塊與所述參考子區塊，以自所述測試子區塊以及所述參考子區塊辨識出任何干擾測試子區塊以及任何干擾參考子區塊，其中各所述干擾測試子區塊不相似於任一所述干擾參考子區塊，各所述干擾參考子區塊不相似於任一所述干擾測試子區塊；自該測試區塊影像濾除所述干擾測試子區塊以及對應於所述干擾參考子區塊的所述測試子區塊，以產生濾除測試區塊影像已濾除測試區塊影像，並且自該參考區塊影像濾除所述干擾參考子區塊以及對應於所述干擾測試子區塊的所述參考子區塊，以產生濾除參考區塊影像已濾除參考區塊影像；根據該濾除測試區塊影像已濾除測試區塊影像以及該濾除參考區塊影像已濾除參考區塊影像，取得偏移校正參數；根據該偏移校正參數，校正該測試影像中的該測試區塊域，以取得已校正測試區塊影像；以及比對該已校正測試區塊影像與該參考區塊影像，據以取得檢測出該待測物品中對應於該測試區塊的缺陷資訊。