TWI601098B - 影像分類裝置及影像分類方法 - Google Patents
影像分類裝置及影像分類方法 Download PDFInfo
- Publication number
- TWI601098B TWI601098B TW104141717A TW104141717A TWI601098B TW I601098 B TWI601098 B TW I601098B TW 104141717 A TW104141717 A TW 104141717A TW 104141717 A TW104141717 A TW 104141717A TW I601098 B TWI601098 B TW I601098B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- function
- numerical range
- defect
- image classification
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本發明係關於一種將影像分類之技術。
於半導體基板、玻璃基板、印刷配線基板等之製造中,為了檢查異物或損傷、蝕刻不良等缺陷,而使用光學顯微鏡或掃描電子顯微鏡等進行外觀檢查。又,藉由對在此種檢查步驟中檢測出之缺陷進行詳細之分析而特定出缺陷之產生原因,實施針對缺陷之對策。
近年來,伴隨基板上之圖案之複雜化及微細化,所檢測出之缺陷之種類及數量有增加之傾向,亦使用將在檢查步驟中檢測出之缺陷之影像自動地進行分類之自動分類。藉由自動分類而實現迅速且有效率地進行缺陷之分析。於自動分類中,多使用利用判別函數之分類器。於日本專利特開2003-317083號公報中,揭示有利用遺傳演算法產生判別函數之方法。
且說,就影像之分類而言,考慮增加所使用之特徵值之種類而提高通用化能力,即提高分類精度,但實際上,即便僅增加特徵值之種類,亦受到所謂之維數災難(curse of dimensionality)之影響,故而難以提高分類精度。
本發明適於將影像分類之影像分類裝置,其目的在於
容易地提高分類精度。
本發明之影像分類裝置包括:特徵值轉換部,其係藉由使用既定之轉換函數對自影像獲取之複數個特徵值進行非線性轉換,而獲取複數個已轉換完畢之特徵值;以及分類部,其係使用上述複數個已轉換完畢之特徵值,利用參數判別或非參數判別將上述影像分類為複數個類別中之一個類別;上述轉換函數係於用於上述非線性轉換之特徵值之數值範圍中狹義單調增加或狹義單調減少。
根據本發明,可容易地提高分類精度。
於本發明之一較佳之形態中,上述數值範圍為有限,於上述數值範圍內之上限及下限之附近,上述轉換函數之斜率係隨著接近上述上限及上述下限而接近0。
於此情形時,較佳為上述數值範圍中之上述轉換函數之斜率於上述數值範圍之中央成為最大或最小。
於本發明之一態樣中,上述轉換函數包含反正切函數或反雙曲線正弦函數。
本發明亦適於將影像分類之影像分類方法。本發明之影像分類方法包括如下步驟:a)藉由使用既定之轉換函數對自影像獲取之複數個特徵值進行非線性轉換,而獲取複數個已轉換完畢之特徵值之步驟;以及b)使用上述複數個已轉換完畢之特徵值,利用參數判別或非參數判別將上述影像分類為複數個類別中之一個類別之步驟;上述轉換函數係於用於上述非線性轉換之特徵值之數值範圍中狹義單調增加或狹義單調減少。
上述之目的及其他目的、特徵、態樣及優點係藉由以
下參照隨附圖式而進行之本發明之詳細說明而明確。
1‧‧‧影像分類裝置
2‧‧‧攝像裝置
4‧‧‧檢查、分類裝置
5‧‧‧主電腦
8‧‧‧記錄媒體
9‧‧‧基板
21‧‧‧攝像部
22‧‧‧平台
23‧‧‧平台驅動部
41‧‧‧缺陷檢測部
42‧‧‧分類控制部
51‧‧‧CPU
52‧‧‧ROM
53‧‧‧RAM
54‧‧‧固定磁碟
55‧‧‧顯示器
56‧‧‧輸入部
56a‧‧‧鍵盤
56b‧‧‧滑鼠
57‧‧‧讀取裝置
58‧‧‧通信部
61‧‧‧分類控制部
62‧‧‧學習部
64‧‧‧影像記憶部
65‧‧‧資訊記憶部
80‧‧‧程式
211‧‧‧照明部
212‧‧‧光學系統
213‧‧‧攝像器件
420‧‧‧特徵值算出部
421、611‧‧‧特徵值轉換部
422、612‧‧‧分類器
801‧‧‧缺陷影像資料
802‧‧‧特徵值向量
811‧‧‧教示缺陷類別
A1‧‧‧利用範圍
r‧‧‧向徑
S1~S5、S11~S13‧‧‧步驟
xi‧‧‧經標準化之特徵值
θi‧‧‧已轉換完畢之特徵值
圖1係表示影像分類裝置之構成之圖。
圖2係表示缺陷影像之分類之流程之圖。
圖3係表示主電腦之構成之圖。
圖4係表示主電腦所實現之功能構成之方塊圖。
圖5係表示分類器之構建之流程之圖。
圖6係表示複數個缺陷影像之圖。
圖7係表示特徵值之直方圖之圖。
圖8係表示特徵值之直方圖之圖。
圖9係轉換函數之曲線圖。
圖10係表示分類器之性能評估結果之圖。
圖11係表示比較例之分類器之性能評估結果之圖。
圖12A係表示分類器之性能評估結果之圖。
圖12B係表示分類器之性能評估結果之圖。
圖12C係表示分類器之性能評估結果之圖。
圖13係轉換函數之曲線圖。
圖14A係表示分類器之性能評估結果之圖。
圖14B係表示分類器之性能評估結果之圖。
圖14C係表示分類器之性能評估結果之圖。
圖14D係表示分類器之性能評估結果之圖。
圖1係表示本發明之一實施形態之影像分類裝置1之
概略構成的圖。於影像分類裝置1中,獲取表示半導體基板9(以下,簡稱為「基板9」)上之圖案之缺陷之缺陷影像,進行該缺陷影像之分類。影像分類裝置1具有:攝像裝置2,其拍攝基板9上之檢查對象區域;檢查、分類裝置4,其將缺陷自動分類;以及主電腦5。檢查、分類裝置4係基於來自攝像裝置2之多階層影像資料而進行缺陷檢查,於檢測出缺陷之情形時將缺陷(之影像)分類為缺陷理應屬於之缺陷類別(缺陷之種類,亦稱為「category(類別)」等。)。主電腦5係控制影像分類裝置1之整體動作,並且產生用於檢查、分類裝置4中之缺陷之分類之分類器422。又,攝像裝置2組裝於基板9之製造線,影像分類裝置1成為所謂之線內型系統。影像分類裝置1亦可理解為對缺陷檢查裝置附加有自動缺陷分類功能之裝置。
攝像裝置2具有:攝像部21;平台22,其保持基板9;及平台驅動部23,其使平台22相對於攝像部21相對地移動。攝像部21係對基板9上之檢查對象區域進行拍攝而獲取影像資料。攝像部21具有出射照明光之照明部211、光學系統212及攝像器件213。光學系統212係將照明光引導至基板9,來自基板9之光入射至光學系統212。攝像器件213係將藉由光學系統212而成像之基板9之像轉換為電信號。平台驅動部23包括滾珠螺桿、導軌及馬達等。主電腦5控制平台驅動部23及攝像部21,藉此,拍攝基板9上之檢查對象區域。
檢查、分類裝置4具有缺陷檢測部41、及將缺陷影像分類之分類控制部42。缺陷檢測部41係一面處理檢查對象區域之影像資料一面檢測缺陷。缺陷檢測部41具有高速地處理檢查對
象區域之影像資料之專用之電路,藉由所拍攝之影像與不存在缺陷之參照影像之比較或影像處理而進行檢查對象區域之缺陷檢查。分類控制部42包括進行各種運算處理之CPU或記憶各種資訊之記憶體等,包含特徵值算出部420、特徵值轉換部421、及作為分類部之分類器422。分類器422係利用線性判別分析而執行缺陷之分類、即缺陷影像之分類。
圖2係表示利用影像分類裝置1所進行之缺陷影像之分類之流程的圖。首先,圖1所示之攝像裝置2對基板9進行拍攝,藉此,檢查、分類裝置4之缺陷檢測部41獲取影像之資料(步驟S1)。其次,缺陷檢測部41進行檢查對象區域之缺陷檢查,當檢測出缺陷時,產生並準備缺陷部分之影像即缺陷影像之資料(步驟S2)。缺陷影像之資料被發送至分類控制部42。分類控制部42之特徵值算出部420算出缺陷影像之複數種特徵值之排列即特徵值向量(步驟S3)。此處,作為自缺陷影像獲取之特徵值,利用缺陷影像所示之幾何學特徵值(例如缺陷之面積或周長等)或統計特徵值(例如缺陷與背景之階層值之差或高次局部自相關等)。亦可根據表示缺陷影像與不包含缺陷之參照影像之差之影像而算出特徵值。
特徵值轉換部421係按照既定之轉換函數而轉換特徵值向量中所包含之各種特徵值,獲取複數個已轉換完畢之特徵值(已轉換完畢之特徵值向量)(步驟S4)。複數個已轉換完畢之特徵值被輸入至分類器422後輸出分類結果。即,使用分類器422將缺陷影像分類為複數個缺陷類別中之任一種(步驟S5)。於影像分類裝置1中,每當藉由缺陷檢測部41檢測出缺陷時,便即時進行特徵值向量之算出及轉換而高速地進行多種缺陷影像之自動分類。
其次,對利用主電腦5而進行之分類器之構建及轉換函數進行說明。圖3係表示主電腦5之構成之圖。主電腦5成為包含如下構件之普通電腦系統之構成:CPU51,其進行各種運算處理;ROM52,其記憶基本程式;及RAM53,其記憶各種資訊。主電腦5進而包含:固定磁碟54,其進行資訊記憶;顯示器55,其進行影像等各種資訊之顯示;鍵盤56a及滑鼠56b(以下,統稱為「輸入部56」),其等受理來自使用者之輸入;讀取裝置57,其係自光碟、磁碟、磁光碟等電腦可讀取之記錄媒體8進行資訊之讀取;以及通信部58,其係於與影像分類裝置1之其他構成之間收發信號。
對於主電腦5,預先經由讀取裝置57自記錄媒體8讀出程式80,並記憶於固定磁碟54。而且,藉由CPU51,一面利用RAM53及固定磁碟54,一面按照程式80執行運算處理。
圖4係表示藉由主電腦5之CPU51、ROM52、RAM53、固定磁碟54等而實現之用以構建分類器之功能構成的方塊圖。圖4亦表示出檢查、分類裝置4之一部分。主電腦5包括:分類控制部61,其包含特徵值轉換部611及分類器612;以及學習部62,其係使分類器612學習而構建成。作為分類部之分類器612準確而言係藉由在預定之記憶區域儲存進行分類所需之資訊而實現之功能構成。檢查、分類裝置4之分類器422亦相同。
主電腦5進而包括影像記憶部64及資訊記憶部65。影像記憶部64記憶各缺陷影像之資料即缺陷影像資料801、以及特徵值向量802。對應於各缺陷影像之缺陷影像資料801與特徵值向量802建立關聯。特徵值向量802係如上所述為根據各缺陷影像而獲得之複數種特徵值之排列。作為特徵值向量802中所包含之特徵
值,如上所述,利用幾何學特徵值或統計特徵值。於以下之說明中,將特徵值之種類稱為「特徵種類」。
實際上,將針對複數個缺陷影像之缺陷影像資料801及特徵值向量802記憶於影像記憶部64(對於資訊記憶部65中之下述教示缺陷類別811係相同)。資訊記憶部65係記憶與各缺陷影像建立關聯之教示缺陷類別811。教示缺陷類別811係由使用者對各缺陷影像賦予之缺陷類別。即,教示缺陷類別811係表示將缺陷之種類等與各缺陷影像建立關聯之下述教示作業之結果的資訊。
若利用主電腦5構建分類器612,則分類器612被轉送至檢查、分類裝置4之分類器422。當然,主電腦5之功能亦可包含於檢查、分類裝置4。
圖5係表示利用主電腦5而進行之構建分類器之流程之圖。所謂分類器之構建意指藉由對分類器所包含之線性判別函數之參數賦予值等而產生分類器。
於構建分類器時,作為預先準備,將利用檢查、分類裝置4所檢測出之多種缺陷影像之資料輸入至主電腦5,作為缺陷影像資料801而記憶於影像記憶部64。又,於檢查、分類裝置4中,由於求出缺陷影像之特徵值向量,故而亦將特徵值向量與缺陷影像資料一併輸入至主電腦5,記憶於影像記憶部64。再者,所記憶之特徵值向量802亦可基於缺陷影像資料801而藉由主電腦5再次產生。
繼而,由使用者進行缺陷類別之教示。於缺陷類別之教示中,例如使複數個缺陷影像顯示於主電腦5之顯示器55(參照圖6)。本處理例中之複數個缺陷影像係表示利用基板上之抗蝕劑所
形成之圖案之缺陷。繼而,輸入部56受理來自使用者之教示輸入,藉此,將複數個(N個)缺陷類別中之一個缺陷類別相對於複數個缺陷影像之各者建立關聯。已建立關聯之缺陷類別係作為教示缺陷類別811而記憶於資訊記憶部65。於圖6中,藉由於各缺陷影像下表示出「教示:異物」等,而表示缺陷影像之缺陷類別。再者,於本處理例中,於圖6中表示為「教示:反射」之缺陷影像未被用作下述示範影像。
藉由以上處理,將已教示為屬於複數個缺陷類別中之一個缺陷類別之缺陷影像(即,已決定教示缺陷類別811之缺陷影像)作為示範影像,準備複數個示範影像(步驟S11)。各缺陷影像係與特徵值向量802建立關聯,故而實質上係將特徵值向量802與教示缺陷類別建立關聯。如上所述,特徵值向量802係複數個特徵種類中之特徵值之排列。
圖7係表示與一個特徵種類有關之複數個示範影像之特徵值之直方圖的圖,圖8係表示與另一個特徵種類有關之複數個示範影像之特徵值之直方圖的圖。除存在如圖7所示般,直方圖之形狀大致以0為中心且左右對稱之特徵種類以外,亦存在如圖8所示般,直方圖之形狀不以0為中心且左右非對稱之(即,出現頻率存在偏移)特徵種類。如此,複數個示範影像中之特徵值之分佈針對每一特徵種類為各式各樣。
於特徵值轉換部611中,將各示範影像之特徵值向量802中所包含之各特徵種類之特徵值轉換,獲取已轉換完畢之特徵值(步驟S12)。具體而言,關於各特徵種類,獲取複數個示範影像中之複數個特徵值之最小值及最大值。繼而,利用最小值之絕對值
及最大值之絕對值中之較大之值除該複數個特徵值之各者,藉此而獲得特徵值之新的值(以下,稱為「經標準化之特徵值」)。經標準化之特徵值為-1以上且+1以下。再者,特徵值之標準化亦可藉由其他方法進行,例如亦可藉由如平均為0且分散為1之線性轉換而進行標準化。
當獲取複數個特徵種類之經標準化之特徵值時,將編號i之特徵種類之經標準化之特徵值設為xi,藉由數1所示之轉換函數而求出該特徵種類之已轉換完畢之特徵值θi。
圖9係數1之轉換函數之曲線圖。圖9之橫軸係表示經標準化之特徵值xi,縱軸係表示已轉換完畢之特徵值θi。數1係表示反正切函數,θi係隨著xi之增加而狹義單調增加。此處,狹義單調增加意指針對2個任意之實數a、b(其中,a<b),函數f(x)滿足f(a)<f(b),下述狹義單調減少意指滿足f(a)>f(b)。又,數1之轉換函數之斜率係xi為0時成為最大,隨著xi遠離0而逐漸減少。因此,利用數1之特徵值之轉換成為非線性轉換。如上所述,經標準化之特徵值xi係包含於-1以上且+1以下之有限之標準化範圍,該標準化範圍成為利用數1之數值範圍(以下,稱為「利用範圍」)A1。利用範圍A1中之數1之轉換函數之斜率於該利用範圍A1之中央成為最大。又,數1之轉換函數之斜率係隨著接近該利用範圍A1之上限及下限而接近0。
當針對各示範影像,獲取複數個特徵種類之已轉換完
畢之特徵值之集合即已轉換完畢之特徵值向量時,使用複數個示範影像之已轉換完畢之特徵值向量而產生分類器612(步驟S13)。於本處理例中,作為分類器612之學習演算法,利用周知之線性判別,例如利用費雪(Fisher)線性判別分析。於費雪線性判別分析中,以使類別中之共變異數(covariance)變小並且使類別間之共變異數變大之方式求出線性判別函數。又,作為分類器612之學習演算法,亦可使用利用線性核函數之支持向量機器(support vector machine)(可理解為線性判別之一方法)。該等方法係藉由求出既定之判別函數之係數而產生分類器612之參數判別。
如上所述,所構建之分類器612被轉送至檢查、分類裝置4之分類器422。又,特徵值轉換部611中之轉換函數亦被轉送至檢查、分類裝置4之特徵值轉換部421。繼而,利用分類器422及特徵值轉換部421,對利用缺陷檢測部41所檢測出之缺陷影像進行分類。
圖10係表示所構建之分類器612之性能評估結果之圖。此處,藉由利用對學習中所使用之所有示範影像進行分類而調查正確率之、所謂之全面學習全面分類(All-for-all),對作為學習結果而獲得之分類器612進行性能評估,作為性能評估結果,將彙總分類結果而得之混淆矩陣(confusion matrix)示於圖10。以下,將利用分類器612所得之分類結果中之缺陷類別稱為「分類缺陷類別」。
於圖10中,將3個教示缺陷類別設為「異物」、「不良黑」、「氣泡」並記於列標題,將3個分類缺陷類別設為「異物」、「不良黑」、「氣泡」並記於行標題。屬於教示缺陷類別「A」之複數個示範影像中之被判定為屬於分類缺陷類別「B」之示範影像之個
數係示於「A」列與「B」行之交叉位置。再者,標題中記為「Correct」之列係表示被分類為各分類缺陷類別之示範影像中之該分類缺陷類別與教示缺陷類別一致之示範影像之個數(總正確數),標題中記為「Sum」之列係表示被分類為各分類缺陷類別之示範影像之個數(總數),標題中記為「Purity」之列係表示「Correct」之個數佔據各分類缺陷類別之「Sum」之個數之比率(對於標題中記為「Correct」、「Sum」、「Accuracy」之行係相同)。又,「Purity」列與「Accuracy」行之交叉位置係表示已進行分類之示範影像之總數中之教示缺陷類別與分類缺陷類別一致之示範影像之個數之比率(總正確率)。
如圖10所示,於分類器612之學習及性能評估中,使用5115個示範影像,將1578個示範影像教示為「異物」之教示缺陷類別、將2849個示範影像教示為「不良黑」之教示缺陷類別、將688個示範影像教示為「氣泡」之教示缺陷類別。教示為「異物」之1578個示範影像中之、正確地分類為「異物」者為1537個。誤分類為「不良黑」者為41個,分類為「氣泡」者為0個。教示為「異物」之示範影像中之分類之正確率(分類之正確性)為97.4%。又,分類為「異物」之1751個示範影像中之教示為「異物」者為1537個,教示為「不良黑」者為214個,教示為「氣泡」者為0個。分類為「異物」之示範影像中之分類之正確率(分類之可靠性)為87.8%。分類器612之總正確率為91.5%。
圖11係表示比較例之分類器之性能評估結果之圖。比較例之分類器係使用複數個示範影像之特徵值向量,即,步驟S12中之未進行非線性轉換(包含特徵值之標準化)之特徵值向量,藉由與分類器612相同之學習演算法(線性判別)而產生。如上所述,利
用分類器612之總正確率為91.5%,與此相對,利用比較例之分類器之總正確率為89.9%。再者,於使用經標準化之特徵值(未進行非線性轉換)而產生之其他比較例之分類器中,總正確率亦與上述比較例之分類器相同。如此,於使用已轉換完畢之特徵值而產生之分類器612中,與比較例之分類器相比,分類性能提高。
其次,對維數災難進行敍述。維數災難係即便增加所使用之特徵種類之數量,通用化能力(即,正確地將未知之影像分類之能力)亦不提高之現象。關於該現象,多數情況下藉由球面集中現象進行說明,但簡單而言,由於伴隨維數之增加而資料間之距離變得相互相等,故而於高維數特徵值空間內,類別間之交界(交界超平面、即判別函數)亦不會發揮所期待之程度之功能。再者,所謂球面集中現象係指如下現象:於在多維數之特徵值空間中,假定以某一缺陷影像之特徵值向量所示之位置(以下,簡稱為「缺陷影像之位置」)為中心之多維數超球之情形時,該超球中所包含之大部分之缺陷影像之位置存在於該超球之(大致)表面。
於利用實際中算出之特徵值展開之特徵值空間中,隨著特徵值之維數數量增加,球面集中現象變得明顯。另一方面,於球面集中現象中,可使用與超球之半徑相等之向徑r及偏角θi來表示n維特徵值空間中之(大部分之)缺陷影像之位置。因此,所有特徵種類之特徵值均為應當以偏角θi表示者,可認為實際根據缺陷影像所算出之n個特徵值係被作為藉由若干個函數將該等轉換之結果而獲得者。換言之,認為於影像之分類中,根據缺陷影像所算出之n個特徵值係理應轉換為n個偏角θi者。如此,藉由採用以球面集中現象為前提之判別模型,可緩和維數災難。
因此,於上述處理例中,利用數1,根據各特徵種類之特徵值(此處為經標準化之特徵值)xi求出已轉換完畢之特徵值θi。此處,若以偏角(θ1、θ2、…、θn)展開n維之新的特徵值空間,則該特徵值空間內之線性函數係於轉換前之特徵值空間中作為非線性之函數動作。換言之,針對複數個特徵值之利用數1之轉換成為非線性轉換。而且,使用藉由非線性轉換而獲得之已轉換完畢之特徵值,藉由利用分類器422之線性判別,將缺陷影像分類為複數個類別中之一個類別。如此,藉由利用特徵值之非線性轉換及線性判別進行分類,即便於維數災難之影響較大之情形時,亦可容易地提高分類精度。
於上述處理例中,特徵值之標準化範圍為-1以上且+1以下(以下,標記為[-1,+1]),該標準化範圍成為數1之利用範圍A1。若僅著眼於該利用範圍A1,則於數1之轉換函數中,於xi為0之情形時斜率於1處最大,於xi為-1及+1之情形時斜率於1/2處最小。此處,將特徵值之標準化範圍設為[-2,+2]、[-5,+5]、[-10,+10]之情形時之分類器之性能評估結果成為如圖12A、圖12B及圖12C般。根據圖10及圖12A至圖12C可明確地,隨著使特徵值之標準化範圍擴大,總正確率降低。作為其理由,推測原因之一係於標準化範圍之交界附近,轉換函數之斜率變小,不易產生已轉換完畢之特徵值之大小之差。再者,於數1之轉換函數中,於xi為-2及+2之情形時,斜率成為1/5,於xi為-5及+5之情形時斜率成為1/26,於xi為-10及+10之情形時斜率成為1/101。
因此,對將變化較數1之反正切函數平緩之數2之反雙曲線正弦函數用作轉換函數之情形進行敍述。
(數2)θi=sinh-1xi
圖13係數2之轉換函數之曲線圖。數2亦與數1同樣地,θi係隨著xi之增加而狹義單調增加。又,數2之轉換函數之斜率於xi為0時最大,隨著xi遠離0而逐漸減少。因此,利用數2之特徵值之轉換亦成為非線性轉換。
圖14A至圖14D係分別表示將特徵值之標準化範圍設為[-1,+1]、[-2,+2]、[-5,+5]、[-10,+10]且利用數2而產生之分類器612之性能評估結果之圖。上述標準化範圍均以0為中心,故而於數2之利用範圍(即,標準化範圍)中,數2之轉換函數之斜率於該利用範圍之中央成為1,成為最大。又,於該利用範圍內之上限及下限之附近,隨著接近該上限及下限,數2之轉換函數之斜率接近0。圖14A至圖14D所示之總正確率均大於上述比較例之分類器之總正確率(參照圖11)。具體而言,於標準化範圍為[-5,+5]之情形時,總正確率於91.6%處最大,與將特徵值之標準化範圍設為[-1,+1]且利用數1而產生之分類器612之總正確率91.5%相等。
再者,於數2之轉換函數中,於xi為-1及+1之情形時,斜率成為1/(sqrt 2)(其中(sqrt A)表示A之平方根),於xi為-2及+2之情形時,斜率成為1/(sqrt 5)。又,於xi為-5及+5之情形時,斜率成為1/(sqrt 26),於xi為-10及+10之情形時,斜率成為1/(sqrt 101)。根據圖10、圖12A至圖12C及圖14A至圖14D,若利用範圍之上限及下限處之轉換函數之斜率為1/26以上,則可獲得較上述
比較例之分類器更高之總正確率。
於上述影像分類裝置1中,可進行各種變更。
於上述實施形態中,使用複數個已轉換完畢之特徵值,利用藉由線性判別而將影像分類為複數個類別中之一個類別之分類部,但亦可利用藉由其他參數判別或非參數判別而將影像分類之分類部。作為該其他參數判別,例示有SVM(Support Vector Machine,支持向量機器)法等,作為非參數判別,例示有k-最近鄰法(K-nearest neighbor)或核密度推測法等。
對於步驟S12中之已轉換完畢之特徵值之獲取,例如,關於編號i之特徵種類,亦可藉由將特徵值之最小值之絕對值及最大值之絕對值中之較大之值的倒數設為ki,求出(θi=tan-1ki.xi),而同時進行標準化及非線性轉換。又,於已轉換完畢之特徵值之獲取中,未必一定進行標準化,亦可藉由轉換函數直接將自缺陷影像獲得之特徵值轉換。換言之,轉換函數之利用範圍未必一定有限。
轉換函數亦可為於用於非線性轉換之特徵值之數值範圍(利用範圍)中狹義單調減少者,例如,例示有對數1及數2之右邊乘以-1而得之轉換函數。於此情形時,與上述實施形態同樣地,於設定以0為中央之利用範圍時,該利用範圍中之轉換函數之斜率係於該利用範圍之中央成為最小。
轉換函數中之利用範圍未必一定以0為中央。然而,於設定有限之利用範圍之情形時,較佳為至少於利用範圍內之上限及下限之附近,隨著接近該上限及下限,轉換函數之斜率接近0。
於上述實施形態中,由於轉換函數包含反正切函數或
反雙曲線正弦函數,故而可進行較佳之非線性轉換,但若為於用於非線性轉換之特徵值之利用範圍中狹義單調增加或狹義單調減少者,則可利用各種函數作為轉換函數。例如,亦可將特徵值之標準化範圍設為[-π/2,+π/2],將(θi=sinxi)等三角函數用作轉換函數。
缺陷影像亦可為顯示除半導體基板以外之基板之圖案缺陷或異物等缺陷者。作為該基板,例示有用於硬碟基板等之薄膜元件、電漿顯示器或液晶顯示器等薄型顯示器之玻璃基板、光罩基板、薄膜基板、印刷配線基板等。
又,亦可將影像分類裝置1用於將拍攝血液或培養液等既定之液體中之細胞而得之細胞影像分類之用途。如此,影像分類裝置1可利用於表示各種對象物之影像之分類。進而,於影像分類裝置1中,除藉由可見光而拍攝之影像以外,亦可將藉由雷射光、電子束或X射線等拍攝之影像分類。影像分類裝置1中之分類對象之影像係利用廣義之放射線而獲取。
上述實施形態及各變形例中之構成只要不相互矛盾,便可適當組合。
對發明進行詳細地描述並說明,但已敍述之說明為例示而並非限定者。因此,可說只要於不脫離本發明之範圍便可實現多種變形或態樣。
1‧‧‧影像分類裝置
2‧‧‧攝像裝置
4‧‧‧檢查、分類裝置
5‧‧‧主電腦
9‧‧‧基板
21‧‧‧攝像部
22‧‧‧平台
23‧‧‧平台驅動部
41‧‧‧缺陷檢測部
42‧‧‧分類控制部
211‧‧‧照明部
212‧‧‧光學系統
213‧‧‧攝像器件
420‧‧‧特徵值算出部
421‧‧‧特徵值轉換部
422‧‧‧分類器
Claims (8)
- 一種影像分類裝置,其係將影像分類者,包括:特徵值轉換部,其係藉由使用既定之轉換函數對自影像獲取之複數個特徵值進行非線性轉換,而獲取複數個已轉換完畢之特徵值;以及分類部,其係使用上述複數個已轉換完畢之特徵值,利用參數判別或非參數判別將上述影像分類為複數個類別中之一個類別;上述轉換函數係於用於上述非線性轉換之特徵值之數值範圍中狹義單調增加或狹義單調減少。
- 如請求項1之影像分類裝置,其中,上述數值範圍為有限,於上述數值範圍內之上限及下限之附近,上述轉換函數之斜率係隨著接近上述上限及上述下限而接近0。
- 如請求項2之影像分類裝置,其中,上述數值範圍中之上述轉換函數之斜率於上述數值範圍之中央成為最大或最小。
- 如請求項1至3中任一項之影像分類裝置,其中,上述轉換函數包含反正切函數或反雙曲線正弦函數。
- 一種影像分類方法,其係將影像分類者,包括如下步驟:a)藉由使用既定之轉換函數對自影像獲取之複數個特徵值進行非線性轉換,而獲取複數個已轉換完畢之特徵值之步驟;以及b)使用上述複數個已轉換完畢之特徵值,利用參數判別或非參數判別,將上述影像分類為複數個類別中之一個類別之步驟;上述轉換函數係於用於上述非線性轉換之特徵值之數值範圍中狹義單調增加或狹義單調減少。
- 如請求項5之影像分類方法,其中,上述數值範圍為有限,於上述數值範圍內之上限及下限之附近,上述轉換函數之斜率係隨著接近上述上限及上述下限而接近0。
- 如請求項6之影像分類方法,其中,上述數值範圍中之上述轉換函數之斜率於上述數值範圍之中央成為最大或最小。
- 如請求項5至7中任一項之影像分類方法,其中,上述轉換函數包含反正切函數或反雙曲線正弦函數。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014252850A JP6430228B2 (ja) | 2014-12-15 | 2014-12-15 | 画像分類装置および画像分類方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201626330A TW201626330A (zh) | 2016-07-16 |
TWI601098B true TWI601098B (zh) | 2017-10-01 |
Family
ID=56126394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104141717A TWI601098B (zh) | 2014-12-15 | 2015-12-11 | 影像分類裝置及影像分類方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6430228B2 (zh) |
TW (1) | TWI601098B (zh) |
WO (1) | WO2016098495A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6401648B2 (ja) * | 2015-03-31 | 2018-10-10 | 株式会社Screenホールディングス | 欠陥分類装置および欠陥分類方法 |
JP6890101B2 (ja) | 2018-04-13 | 2021-06-18 | 日東電工株式会社 | 画像識別装置、及び画像識別装置を備える物品製造装置 |
JP7219190B2 (ja) * | 2018-08-27 | 2023-02-07 | 株式会社Screenホールディングス | 教師データ生成方法および吐出状態の判定方法 |
WO2020045176A1 (ja) * | 2018-08-27 | 2020-03-05 | 株式会社Screenホールディングス | 教師データ生成方法および吐出状態の判定方法 |
JP2020052475A (ja) * | 2018-09-21 | 2020-04-02 | 株式会社Screenホールディングス | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002259911A (ja) * | 2001-03-02 | 2002-09-13 | Nec Corp | パターン認識装置、パターン認識方法及びプログラム |
JP2008065544A (ja) * | 2006-09-06 | 2008-03-21 | Toshiba Corp | 識別器及びその方法 |
TW200844429A (en) * | 2007-05-15 | 2008-11-16 | Chi-Hao Yeh | An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film |
CN101995223A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种芯片外观检测方法及系统 |
TW201350836A (zh) * | 2012-04-19 | 2013-12-16 | Applied Materials Israel Ltd | 用於自動缺陷分類之不明缺陷拒絕率之最佳化 |
TW201407154A (zh) * | 2012-04-19 | 2014-02-16 | Applied Materials Israel Ltd | 自動及手動缺陷分類之整合 |
JP2014199533A (ja) * | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 画像識別装置、画像識別方法およびプログラム |
WO2014196167A1 (ja) * | 2013-06-03 | 2014-12-11 | 株式会社デンソー | 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム製品 |
-
2014
- 2014-12-15 JP JP2014252850A patent/JP6430228B2/ja active Active
-
2015
- 2015-11-11 WO PCT/JP2015/081768 patent/WO2016098495A1/ja active Application Filing
- 2015-12-11 TW TW104141717A patent/TWI601098B/zh active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002259911A (ja) * | 2001-03-02 | 2002-09-13 | Nec Corp | パターン認識装置、パターン認識方法及びプログラム |
JP2008065544A (ja) * | 2006-09-06 | 2008-03-21 | Toshiba Corp | 識別器及びその方法 |
TW200844429A (en) * | 2007-05-15 | 2008-11-16 | Chi-Hao Yeh | An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film |
CN101995223A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种芯片外观检测方法及系统 |
TW201350836A (zh) * | 2012-04-19 | 2013-12-16 | Applied Materials Israel Ltd | 用於自動缺陷分類之不明缺陷拒絕率之最佳化 |
TW201407154A (zh) * | 2012-04-19 | 2014-02-16 | Applied Materials Israel Ltd | 自動及手動缺陷分類之整合 |
JP2014199533A (ja) * | 2013-03-29 | 2014-10-23 | キヤノン株式会社 | 画像識別装置、画像識別方法およびプログラム |
WO2014196167A1 (ja) * | 2013-06-03 | 2014-12-11 | 株式会社デンソー | 特徴量変換装置、学習装置、認識装置、及び特徴量変換プログラム製品 |
Also Published As
Publication number | Publication date |
---|---|
WO2016098495A1 (ja) | 2016-06-23 |
JP2016115115A (ja) | 2016-06-23 |
JP6430228B2 (ja) | 2018-11-28 |
TW201626330A (zh) | 2016-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI601098B (zh) | 影像分類裝置及影像分類方法 | |
JP6262748B2 (ja) | 教師あり形状ランク付けに基づく生物学的単位の識別 | |
JP6669453B2 (ja) | 画像分類装置および画像分類方法 | |
JP6798619B2 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
JP6472621B2 (ja) | 分類器構築方法、画像分類方法および画像分類装置 | |
US9070041B2 (en) | Image processing apparatus and image processing method with calculation of variance for composited partial features | |
US20170109427A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6401648B2 (ja) | 欠陥分類装置および欠陥分類方法 | |
JP6113024B2 (ja) | 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム | |
US8892494B2 (en) | Device for classifying defects and method for adjusting classification | |
JP5772442B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20110103652A1 (en) | Image processing apparatus and image processing method | |
US8520955B2 (en) | Object detection apparatus and method | |
US20150234782A1 (en) | Calculation device and method, and computer program product | |
JP2016181098A (ja) | 領域検出装置および領域検出方法 | |
US12112522B2 (en) | Defect detecting method based on dimensionality reduction of data, electronic device, and storage medium | |
JP5214679B2 (ja) | 学習装置、方法及びプログラム | |
US11647152B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2014137284A (ja) | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 | |
JP2017162232A (ja) | 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法 | |
JP2018163527A (ja) | 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール | |
JP2016051429A (ja) | 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置 | |
JP2019057024A (ja) | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 | |
JP7083721B2 (ja) | 分類器生成方法および分類器生成装置 | |
JP2020052474A (ja) | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |