TW587154B - Surface defect judging method - Google Patents

Description

587154 玖、發明說明： 【發明所屬之技術領域】 本發明係關於在表面檢查中，判別表面缺陷種類或表面 缺陷等級的方法。 【先前技術】 檢測產品（以下稱「受檢查材」）之表面缺陷的裝置，如 圖1所示，從外部照明2 0對搬送中的受檢查材1 0表面照 射著光，並利用照相機3 0拍攝來自受檢查材1 0表面的反 射光，然後從所拍攝到的圖像中利用圖像處理而抽出缺陷 特徵量，並根據所抽取出的特徵量，判別缺陷種類或缺陷 等級的表面缺陷檢查裝置。 此種表面缺陷檢查裝置中，係根據經圖像處理而所獲得 表面缺陷的長度、寬度、面積等尺寸的特徵量、圓形度、 寬深比等形狀性特徵量、缺陷部圖像濃度平均值、缺陷部 圖像濃度最小值、缺陷部圖像濃度最大值等的圖像濃淡性 特徵量等，利用決策樹方式（d e c i s i ο n t r e e t y p e )執行缺陷種 類或缺陷等級的判別。所謂決策樹方式係指將判別條件組 合成樹枝狀，在第1判別中若符合第1判別條件的話便判 別為第1缺陷，若不是的話便執行第2判別，若符合第2 判別條件的話便判別為第2缺陷，直到決定缺陷種類或缺 陷等級為止前，便重複執行此種判別的方法。此外，在各 判別條件中，預先選擇對各缺陷種類獲各缺陷等級賦予特 徵的數個特徵量，並與每個特徵量所預設的臨限值進行比 較而執行判別。 5 312/發明說明書(補件)/92-07/9211345 8 587154 【發明内容】 但是，在如上述的習知方法中，因為於各判別條件中， 由專門技術者根據大量資料進行解析，而選定賦予各缺陷 特徵的特徵量，並嘗試錯誤地執行臨限值的設定，因此截 至判別邏輯完成為止需要頗大的勞力，而且存在表面缺陷 檢查裝置起動需要長時間的問題。 再者，若受檢查材的材質有所變更，或加工方法有所更 改的話，便必須從最初開始實施上述作業，此情況下將需 要頗大勞力，而有無法對應著快速檢查的問題。 再者，判別條件中所採用特徵量的選擇、或各特徵量臨 限值的設定，若特徵量數量屬於多數的話，理論上關聯著 缺陷種類或缺陷等級之一致率提昇的實質解析上將趨於困 難，造成缺陷種類或缺陷等級之一致率提昇方面產生極限 的問題。在此所謂「一致率」係指檢查員的判別設定為正， 且檢查員的判別與檢查裝置的判別一致的比率。譬如，當 判別缺陷種類的情況時，在檢查員判斷為缺陷種類A的缺 陷中，檢查裝置判別為缺陷種類A的比率。或者，相反的， 在表面缺陷檢查裝置判斷為缺陷種類A的缺陷中，經檢查 裝置判別為正確的比率。缺陷等級也同樣如此。 再者，在以構建判別邏輯時所需的勞力予以省力化之目 的下，便有採用自動化製作判別邏輯之技術的類神經網路 (neural network)(如：曰本專利特開平 4-142412 號公報 等）。但是，類神經網路在為學習方面，除需要龐大數量的 資料之外，尚需冗長的的學習時間，實無具效率可言。此 6 M2/發明說明書(補件)/92-〇7/92113458 587154 外，因為中間涵義者將成為黑盒子，因此便產生即便針對 各個特定事項產生判別失誤，仍無法進行個別調整的問題。 本發明乃有鑒於上述相關事項，其目的在於提供一種可 短期間且自動地製作缺陷種類與缺陷等級的判別邏輯，同 時可提升缺陷種類與缺陷等級之一致率的方法。 緣是，為解決上述課題，本發明之第1項乃提供一種表 面缺陷判別方法，係在取得受檢查材表面狀態資訊，並根 據所取得資訊，抽取出表面缺陷的特徵量，然後根據上述 特徵量，判別是否符合既定缺陷種類的表面缺陷判別方法 中，其特徵為：將過去所取得且儲存的複數個表面缺陷特徵 量，與對應此所附加的表面缺陷種類，當作學習資料並預 先準備著，在使上述學習資料表示為特徵空間上的點，藉 由假設性的想像的影像函數，於存在有影像對象空間上可 完全執行線性分離之辨識面的限制條件下，將與上述辨識 面相距最近的點及上述辨識面間的距離設定為目標函數， 藉由解開使上述目標函數予以最大化的二次規劃問題 (secondary plan problems)，而作為辨識函數預先求取最佳 辨識面，然後將種類未知的表面缺陷特徵量代入上述辨識 函數中，利用其結果，便可判別上述種類未知的表面缺陷 是否符合上述缺陷種類。 本發明之第2項乃提供一種表面缺陷判別方法，係在取 得受檢查材表面狀態資訊，並根據所取得資訊，抽取出表 面缺陷的特徵量，然後根據上述特徵量，判別是否符合既 定缺陷種類的表面缺陷判別方法中，其特徵為：將過去所取 7

312/發明說明書(補件)/92-07/9211345 8 587154 得且儲存的複數個表面缺陷特徵量，與對應此所附加的表 面缺陷種類，當作學習資料並預先準備著，使上述學習資 料表示為特徵空間上的點，藉由假設性的想像的影像函 數，設定存在有影像對象空間上可完全執行線性分離之辨 識面的限制條件，同時，將與上述辨識面相距最近的點及 上述辨識面間的距離設定為目標函數，而緩和完全執行上 述線性分離的限制條件，容許存在產生辨識錯誤之點，同 時對上述目標函數附加懲罰（penalty)項而修正，在上述經 緩和的限制條件下，藉由解開使上述經修正過的目標函數 予以最大化的二次規劃問題，作為辨識函數而預先求得可 求取的辨識面，然後將種類未知的表面缺陷特徵量代入上 述辨識函數中，利用其結果，便可判別上述種類未知的表 面缺陷是否符合上述缺陷種類。 本發明之第3項乃提供一種表面缺陷判別方法，係針對 第1或2項發明的辨識函數，就不容漏看之重要度較高的 表面缺陷，依可獲得所需缺陷種類一致率之方式，調整著 上述辨識函數的偏差項。 本發明之第4項乃提供一種表面缺陷判別方法，係利用 第1至3項中任一項之表面缺陷判別方法判別缺陷等級。 本發明之第5項乃提供一種表面缺陷判別方法，係利用 將第1至4項中任一項之表面缺陷判別方法，組合於決策 樹之中，而判別複數個缺陷種類及/或缺陷等級。 依照本發明之第1項，可完全辨識在特徵空間上無法線 性分離的分布資料，提昇缺陷種類的一致率。此外，因為 8 312/發明說明書(補件)/92-07/9211345 8 587154 可短期間且自動地製作判別邏輯，因此便可將完成判別邏 輯的所需勞力予以省力化，而且可早期啟動表面缺陷檢查 裝置。 依照本發明之第2項，即便在辨識面附近混雜著該缺陷 種類與非屬該缺陷種類二者的資料情況下，仍不致過度學 習而可進行適當的判別。 依照本發明之第3項，藉由專門技術者等執行調整者， 意識性的平行移動辨識面，便可擴大不容許漏看之重要度 較高的表面缺陷側特徵空間區域，可獲得所需的缺陷種類 一致率。 依照本發明之第4項，本發明第1至3項之判別缺陷種 類的方法，亦可適用於判別缺陷等級的方法。 依照本發明之第5項，因為將本發明第1至4項之表面 缺陷判別方法，組合於決策樹之中，因此可判別複數個缺 陷種類與缺陷等級。 【實施方式】 以下，針對本發明實施形態，參照圖式進行說明。 圖1所示係在為取得受檢查材表面狀態資訊而採用照相 機之情況時之表面缺陷檢查裝置整體構造例。從外部照明 2 0對朝圖中箭頭 L方向進行搬送的受檢查材 1 0照射著 光，並利用照相機3 0拍攝其反射光或散射光。 所拍攝到的圖像便利用表面缺陷特徵量抽取部 4 0進行 圖像處理，從圖像濃度變化等而檢測出表面缺陷，並抽取 出複數個特徵量。所謂特徵量，有如：表面缺陷尺寸所關聯 9 312/發明說明書(補件)/92-07/92113458 587154 的長度、寬度、面積等、或表面缺陷形狀所關聯的圓形度、 寬深比等、或者圖像濃度所關聯的缺陷部圖像濃度平均 值、缺陷部圖像濃度最小值、缺陷部圖像濃度最大值等等。 再者，供取得受檢查材表面狀態資訊的機構，除上述之 外，尚有採用雷射光照射受檢查材，並採用反射光或散射 光變化的方法等等。 本發明乃為在特徵空間上收集資料，因此若在各特徵量 之間數值範圍不同的話，便無法正確的評估。所以，所獲 得特徵量便在格式化處理部 5 0中，格式化為如式（1 )、式 (2)所示形式。 其中，:當作學習資料而取得之某個特徵量的平均值 σ :當作學習資料而取得之某個特徵量的標準偏差 或者 其中，Xmin:當作學習資料而取得之某個特徵量的最小值 Xmax:當作學習資料而取得之某個特徵量的最大值 經規格化的特徵量係利用表面缺陷種類判別部 6 0進行 處理，並判別表面缺陷種類，然後利用表面缺陷種類判別 結果輸出部9 0輸出判別結果。 圖 2所示係表面缺陷種類判別部 6 0之一例，當執行是 否符合於表面缺陷A之判別的情況圖。該表面缺陷種類判 10 312/發明說明書(補件)/92-07/9211345 8 587154 別部 60乃區分為學習資料處理部 7 0與未知資料判別部 8 0。將過去所取得並儲存的複數個表面缺陷之特徵量，與 對應此所賦予的表面缺陷種類之組合，當作學習資料而輸 入於學習資料處理部70中。 二次規劃問題處理部 7 2則執行下述處理。①將學習資 料代表特徵空間上的點。②在限制條件下，將目標函數予 以最大化的二次規劃問題進行解開。③藉由解開二次規劃 問題，而獲得最佳識別面。④將最佳辨識面設定為辨識函 數。其中所謂「限制條件」，係指藉由假設性預測的影像函 數，在影像空間上存在有可執行完全線性分離的辨識面。 目標函數係指距離辨識面最近之點與此辨識面間的距離。 所製成的辨識函數將記憶於辨識函數記憶部 74 中。另 外，所輸入表面缺陷特徵量上所對應賦予的表面缺陷種 類，乃利用檢查員的判斷等而決定的。學習資料僅要輸入 的話便可，當產生如：受檢查材之材質變更或加工方法更改 等時間變化的情況時，僅要再度輸入新的學習資料並更新 辨識函數的話便可。即，無需要如習知技術般的由專門技 術者執行資料解析，且利用嘗試錯誤方式製作判別邏輯。 再者，未知資料判別部8 0係採用辨識函數記憶部7 4中 所記憶的辨識函數，執行是否符合表面缺陷A的判別。 [實施例] (實施例1) 在此針對當對表面缺陷A與其之外的表面缺陷A1進行判 別之情況時，表面缺陷種類判別部 60的學習資料處理部 11 312/發明說明書(補件)/92-07/9211345 8 587154 7 0之學習方法進行詳細說明。代表特徵空間上之點的學習 資料特徵量向量Xi係經由符合下式： Φ(χ!)·φ(χ]) = Κ(χί·χ;)…（3) 的影像函數Φ，而進行X i + Φ (X i )的影像。即，影像對象的 Φ空間上的内積 Φ(Χί) · Φ(χ」·）係設定為影像對象之特徵空 間上的内積Xi · Xj函數。 其中，i，j係學習資料編號， 1，<] = 1，2，〜，11(11:學習資料數） 。此影像係保存著影像源特徵空間上的距離關係，同時影 像結果將形成在Φ空間處，表面缺陷A的集合與其以外的 表面缺陷A ’的集合可進行線性分離。 因為在Φ空間上可進行線性分離，因此採用編碼化函數 sgn(正值為返回+1，負值為返回-1)，並利用下式便可進行 A集合與A’集合之判別。 y = sgn[w-〇(x)+h] …（4) 其中，y:判別輸出值{ + 1，-1} W :加權向量 X :未知缺陷的特徵向量 h :偏差 在此若對（4)式進行幾何學解釋的話，可解釋為以由法線 向量w與偏差h所決定的辨識面為邊界，將Φ空間區分為 二個，其中之一分配 1，而另一者則分配-1。但是，當存 12 312/發明說明書(補件)/92_07/9211345 8 587154 在著對A集合與A ’集合執行完全線性分離之辨識面的情況 時，法線向量w與偏差h將一時無法決定。在此，便將在 距辨識面距離最近之點、與距此辨識面間的距離dm形成最 大的辨識面，當作最佳辨識面並進行求取。

Ih^W+hl Η~~

dD min =>.1V+h| —最大化…⑸

HI X S V :最佳辨識面最近的點 此外，為排除W與h冗長性的格式化條件，即賦予下式： mm||^*〇(x/)+h|| = ||>v*〇(^) + h|| = l …（6) 此外，因為可對A集合與A ’集合進行完全分離，因此必 須存在符合下式 ⑷+h]2芯 …（7) 的ε 。其中，藉由格式化條件式（6)，式（7)便可依下式表 示。 + …（8) 若整理以上各式的話，便形成下式： 目標函數：|w|2 最大化 限制條件：斤[，0>(々)+ 11]21 …（9) ，可回歸於二次規劃問題。 在此，若導入解二次規劃問題時之常用機構的拉格朗曰 函數（L a g r a n g e f u n c t i ο η)的話，便可獲得下式： Z(>i^,h,a) = 卜·①(易)+11}-1 …（10) 2 * 其中，ai:拉格朗日乘數（ai^O) 13 312/發明說明書(補件)/92-07/92113458 587154 且w、h鞍點將獲得下示關係： dL Sh 3L dw =-1抓.=〇 i =^-Σ^φ(^·)=0 1 ••(11)…（1 2) 若將該等關係式代入原先的拉格朗日函數中的話，便可 回歸於以下的雙重性問題。

•目標函數：+相關α的最大化 i 2 i j •限制條件：fa,·乃=0、％ 2 0 ...(13) 在此由式（3 )之關係，便成為下式： •目標函數：相關a的最大化

i 2 i J •限制條件：[«，兄· = 0、a，2 0 …（1 4) i 本次具體的κ函數係採用下式：

κ(χ丨· ·〜): •exp f 2\ xrxj 2σ2 \ …（1 5) 所以，式（1 4 )便成為下式： \\xi-x 2σ2 4相關α的最大化 •目標函數： / 1 i j •限制條件：乃=0、0 …（1 6) 式（1 6 )係譬如利用依M a 11 a b所準備的解二次規劃問題之函 14 312/發明說明書(補件)/92-07/92113458 587154 數quadprog等，便可實際解開而求得α 。 再者，由式（3)、式（12)、式（15)，辨識函數式（4)便成為 下式： y = Σα/γ,·Φ(χ,)·Φ(尤)+h =聊 Σ印y,K(x，x)+h -i - f 0 sgn ^6ΧΡ \ X.一X ) + h …（1 7)

，並藉由賦予經解開二次規劃問題而所求取到的α 、適當 的a、h，便可決定辨識函數。 (實施例2) 但是，實際上因為在特徵空間上的各集合分布乃屬於機 率性的，其中亦可能有錯誤的資料（包含檢查員判斷誤判為 正確的情況在内），因此並無必要經常以正確的學習資料進 行判別。 φ 在此實施例2中，便將實施例1所示執行完全線性分離 的限制條件予以緩和。容許存在產生辨識失誤之事項，此 情況下，便對實施例1所示目標函數附加懲罰項。以下， 便針對此方法進行說明。 _ 在本實施例中，藉由限制條件中容許辨識失誤的變數 Γ 、與對辨識失誤的懲罰參數C，便將式（9)依下式形式表 示。 15 312/發明說明書(補件)/92-07/92113458 587154

目標函數：+最大化 2 I 限制條件：3V[w.cD(;〇 + /z]kl-C. …（18) 將式（1 8 )如同實施例1般的導入L a g r a n g e函數，便回歸 於雙重性問題，若採用式（1 5 )的話，便可依以下形式描述。 •目標函數令ajy^j exp •限制條件：= Ο、C 2 % - 0 …（1 9 ) 式（19)亦如同式（16)般，譬如利用依Matlab所準備的解 二次規劃問題之函數 quadprog等，便可實際解開而求得

IK 2σ2 +相關α的最大化

a ° 再者，辨識函數如同式（1 7 )，藉由賦予經解開二次規劃 問題而所求取到的α 、適當的σ、h，便可決定辨識函數。 另外，在本實施例中，辨識函數參數係選擇：C = 1 04、σ = 1.0、h = 0、或 C = °° 、 σ=10、h = 0o (實施例3 ) 上述實施例2係執行表面缺陷A —致率（譬如：在檢查員 等的判斷為正確的前提下，且判斷為屬於某表面缺陷A的 缺陷之中，利用表面缺陷檢查裝置判別為種類A的比率）、 與其以外的表面缺陷A ’ 一致率（譬如：經檢查員等判斷為屬 於 A ’的缺陷之中，利用表面缺陷檢查裝置判別為種類 A ’ 的比率）幾乎等量的判別。但是，隨表面缺陷種類，亦存在 有不容許漏看之重要度較高的表面缺陷，而存在有即便此 表面缺陷以外的表面缺陷之判別一致率較低，但是仍希望

312/發明說明書(補件)/92-07/92113458 16 587154 提昇對此表面缺陷的判別一致率之情況。 所以，實施例3便針對就不容許漏看之重要度較高的表 面缺陷，供獲得所期待表面缺陷一致率的方法進行說明。 在本實施例中，在賦予學習資料，並自動製成的辨識函 數式（1 7)中，依獲得所期望一致率之方式，預先調整偏差 h。藉由專門技術者等執行調整者，意識性的平行移動辨識 面，便可擴大不容許漏看之重要度較高的表面缺陷側特徵 空間區域，可獲得所需的缺陷種類一致率。 (實施例4) 實施例1〜3係以表面缺陷種類為對象的實施例，接著的 實施例4則是當以表面缺陷等級為對象的情況進行說明。 在本實施例中，特徵量乃非採用圓形度、寬深比之類缺 陷形狀，而是採用表面缺陷之長度、寬度、面積之類的缺 陷尺寸或圖像濃度特徵量為中心。此情況下，利用完全如 同實施例1〜3的相同方法，便可執行缺陷等級的判別。 (實施例5) 以上均屬於判別是否符合特定缺陷種類或缺陷等級的 情況，實際上，缺陷種類乃存在有如A，B，C，…等複數種類， 而缺陷等級則存在有大、中、小的複數等級，多數情況為 欲分別進行判別。在此，實施例5則針對複數缺陷種類及/ 或缺陷等級進行判別的情況進行說明。 圖3所示係判別複數缺陷種類時的表面缺陷種類判別部 6 0之圖。複數判別條件組合於決策樹中，而構成樹枝狀， 首先開始利用表面缺陷A判別條件部判別是否為表面缺陷 17

312/發明說明書(補件)/92-07/9211345 8 587154 A、或其以外的表面缺陷 Α·，當判別為其以外的表面缺陷 A ’之情況時，便朝表面缺陷Β判別條件部前進。在表面缺 陷B判別條件部中，判別是否為表面缺陷B、或其以外的 表面缺陷B’，當判別為其以外的情況時，便朝表面缺陷C 判別條件部前進，然後逐次分別進行判別。判別條件部係 僅存在欲判別表面缺陷種類的數量而已。 再者，若將判別條件A，B，C，···適當的取代為缺陷等級之 判別條件的話，即便混合複數缺陷種類與缺陷等級，仍可 各自區別開的進行判別。 再者，本實施例的判別條件係如同實施例1〜4中所說明 的表面缺陷種類判別部60相同的方法。 (產業上可利用性） 依照本發明，當判別產品表面瑕疵缺陷的情況時，可提 昇缺陷種類的一致率。此外，因為可短期間且自動地製作 判別邏輯，因此便可將完成判別邏輯的所需勞力予以省力 化。可在短期間内便啟動表面缺陷檢查裝置。即便在辨識 面附近混雜著該缺陷種類與非屬該缺陷種類二者的情況 下，仍不致過度學習而可進行適當的判別。對不容許漏看 之重要度較高的表面缺陷，藉由專門技術者等執行調整者 意識性的平行移動辨識面，便可擴大不容許漏看之重要度 較高的表面缺陷側特徵空間區域，可獲得所需的缺陷種類 一致率。不僅可判別缺陷種類，亦可判別缺陷等級。可判 別複數缺陷種類與缺陷等級。 【圖式簡單說明】 18 3Π/發明說明書(補件)/92-07/92113458 587154 圖1為顯示本發明之表面缺陷檢查方法之實施中所採用 的檢查裝置構造的方塊圖。 圖2為顯示上述檢查裝置之表面缺陷種類判別部的說明 圖。 圖 3 為顯示本發明之表面缺陷檢查方法的表面缺陷種 類、等級判別部的說明圖。 (元件符號說明） 10 受 檢 查 材 20 昭 Φ 明 30 昭 相 機 40 表 面 缺 陷 特 徵 量 抽 取 部 50 格 式 化 處 理 部 60 表 面 缺 陷 種 類 判 別 部 70 學 習 資 料 處 理 部 72 二 次 規 劃 問 題 處 理 部 74 辨 識 函 數 記 憶 部 80 未 知 資 料 判 別 部 90 表 面 缺 陷 種 類 判 別 結 果輸出部 19 312/發明說明書(補件)/92-07/92113458

Claims (1)

1. 587154 拾、申請專利範圍： 1. 一種表面缺陷判別方法，係取得受檢查材表面狀態資 訊，並根據所取得資訊，抽取出表面缺陷的特徵量，然後 根據上述特徵量，判別是否符合既定缺陷種類的表面缺陷 判別方法，其特徵為： 將過去所取得且儲存的複數個表面缺陷特徵量，與對應 此所附加的表面缺陷種類，當作學習資料並預先準備著； 在使上述學習資料表示為特徵空間上的點，藉由假設性 的想像的影像函數，於存在有影像對象空間上可完全執行 線性分離之辨識面的限制條件下，將與上述辨識面相距最 近的點及上述辨識面間的距離設定為目標函數，藉由解開 使上述目標函數予以最大化的二次規劃問題，而作為辨識 函數預先求取最佳辨識面； 然後將種類未知的表面缺陷特徵量代入上述辨識函數 中，利用其結果，便可判別上述種類未知的表面缺陷是否 符合上述缺陷種類。 2 . —種表面缺陷判別方法，係取得受檢查材表面狀態資 訊，並根據所取得資訊，抽取出表面缺陷的特徵量，然後 根據上述特徵量，判別是否符合既定缺陷種類的表面缺陷 判別方法，其特徵為： 將過去所取得且儲存的複數個表面缺陷特徵量，與對應 此所附加的表面缺陷種類，當作學習資料並預先準備著； 使上述學習資料表示為特徵空間上的點，藉由假設性的 想像的影像函數，設定存在有影像對象空間上可完全執行 20 312/發明說明書(補件)/92-07/92113458 587154 線性分離之辨識面的限制條件，同時，將與上述辨識面相 距最近的點及上述辨識面間的距離設定為目標函數； 而緩和完全執行上述線性分離的限制條件，容許存在產 生辨識錯誤之點，同時對上述目標函數附加懲罰項而修 正； 在上述經緩和的限制條件下，預先求得藉由解開使上述 經修正過的目標函數予以最大化的二次規劃問題可求取 的辨識面作為辨識函數； 然後將種類未知的表面缺陷特徵量代入上述識別函數 中，利用其結果，便可判別上述種類未知的表面缺陷是否 符合上述缺陷種類。 3 . —種表面缺陷判別方法，其特徵為：如申請專利範圍 第1或2項之一種辨識函數係對重要的表面缺陷依可獲得 所需缺陷種類一致率之方式，調整著上述辨識函數的偏差 項。 4. 一種表面缺陷判別方法，係利用申請專利範圍第 1 至3項中任一項之表面缺陷判別方法來判別缺陷等級。 5 . —種表面缺陷判別方法，係利用將申請專利範圍第1 至 4 項中任一項之表面缺陷判別方法組合於決策樹之 中，而判別複數個缺陷種類及/或缺陷等級。 21 312/發明說明書(補件)/92-07/9211345 8