TWI502189B

TWI502189B - 指導資料驗證裝置、指導資料製作裝置、圖像分類裝置、指導資料驗證方法、指導資料製作方法及圖像分類方法

Info

Publication number: TWI502189B
Application number: TW102124865A
Authority: TW
Inventors: Akira Matsumura
Original assignee: Screen Holdings Co Ltd
Priority date: 2012-09-28
Filing date: 2013-07-11
Publication date: 2015-10-01
Also published as: TW201413239A; JP6059486B2; JP2014070944A

Description

指導資料驗證裝置、指導資料製作裝置、圖像分類裝置、指導資料驗證方法、指導資料製作方法及圖像分類方法

本發明係關於一種驗證用於將圖像分類之分類器之學習的指導資料(training data)之技術、利用該技術製作指導資料之技術及將圖像分類之技術。

於半導體基板、玻璃基板、印刷配線基板等之製造中，為了檢查異物或損傷、蝕刻不良等缺陷而使用光學顯微鏡或掃描電子顯微鏡等進行外觀檢查。又，針對此種檢查步驟中檢測到之缺陷，藉由進行詳細之分析而特定該缺陷之產生原因，並實施針對缺陷之對策。近年來，隨著基板上之圖案之複雜化及微細化，而處於所檢測之缺陷之種類及數量增加之傾向，亦使用將檢查步驟中檢測到之缺陷自動地分類之自動分類。藉由自動分類，可實現迅速且有效地進行缺陷之分析。

於自動分類中，使用利用類神經網路(neural network)或決策樹(decision tree)、判別分析等之分類器。為了使分類器進行自動分類，必需準備包含缺陷圖像及表示其類別(即缺陷圖像之種類)之訊號之指導資料而使分類器學習。於日本專利特開2010-91401號公報(文獻1)中揭示有一種方法，其藉由判定預先對缺陷圖像賦予之類別是否為缺陷圖像應從屬之類別，而製作品質較高之指導資料。具體而言，對特徵量之所有種類進行如下處理，即，根據從屬於各類別之複數個缺陷圖像之各種特徵量之分散，針對該種類設定包含特徵量之代表值之特徵量範圍，對各缺陷圖像之一種特徵量包含於該種類之特徵量範圍內之類別進行投票。繼而，於複數個類別中得票數最多之類別與該缺陷圖像所從屬之類別不同之情形時將該點輸出。

再者，於日本專利特開平11-344450號公報(文獻2)中揭示有一種方法，其對複數個指示用缺陷圖像算出複數個特徵量，對各指示用缺陷算出基於特徵量之特徵空間中之由類別間之判別函數表示的分類參數，判斷表示複數個指示用缺陷與對應於缺陷之種類之類別的對應關係之指示用資料之統計顯著性，將存在使性能降低之可能性之指示用缺陷圖像顯示於畫面中，從而修正指示資料。

且說，文獻1中之利用統計處理進行之類別判定係在屬於各類別之複數個缺陷圖像(指導圖像)之各種特徵量之分佈遵循常態分佈(或可視為遵循常態分佈)之情形時尤其有效，但於特徵量之分佈顯示多峰性等不遵循常態分佈之情形時，存在文獻1中之結果(類別)與操作者之判斷不吻合、或操作者無法合理地解釋該結果的情況。於此情形時，有於可靠性較高之指導資料之製作中產生障礙之虞。又，於文獻2之方法中，在對操作者提示指導圖像之類別時，必需藉由繁雜之處理算出類別間之判別函數。因此，謀求一種可針對各指導圖像容易地特定基於複數個種類之特徵量之適當之類別候補的新穎之方法。

本發明係針對驗證用於將圖像加以分類之分類器之學習之指導資料的指導資料驗證裝置，目的在於對於各指導圖像容易地特定根據複數個種類之特徵量之所適當之類別候補。

本發明之指導資料驗證裝置具備：記憶部，其記憶各自被分配至複數個類別之任一者之複數個指導圖像、及表示上述複數個指導圖像之類別之指導資料；評價值取得部，其關於特徵量之複數個種類之各者，取得用於表示當各指導圖像從屬於上述複數個類別之各者之情形時之妥當性的評價值；類別候補特定部，其係於上述各指導圖像中，關於上述複數個類別之各者，求出特徵量之在上述複數個種類中之評價值之代表值，並根據在上述複數個類別中之複數個代表值而將判定為上述各指導圖像所應屬之類別當作為類別候補加以特定；及顯示控制部，其係將上述指導資料所示之類別與上述類別候補為相異之指導圖像當作為類別相異圖像，而將至少1個類別相異圖像之各者與上述類別候補一併顯示於顯示部。

根據本發明，可對於各指導圖像容易地特定根據複數個種類之特徵量之所適當之類別候補。又，藉由將類別相異圖像與類別候補一併顯示於顯示部，可容易地製作可靠性較高之指導資料。

於本發明之一較佳形態中，上述評價值取得部係關於特徵量之各個種類，生成被分配至上述複數個類別之各者的指導圖像之特徵量之直方圖，而將包含上述各指導圖像之特徵量之區間當作為注目區間，根據在對於上述複數個類別之複數個直方圖中的上述注目區間之頻率，而取得對於上述各指導圖像之上述複數個類別之各者之上述評價值。

於此情形時，較佳為，上述評價值取得部根據在上述複數個直方圖中之上述注目區間及鄰接於上述注目區間之兩側之複數個區間之頻率，而取得對於上述各指導圖像之上述複數個類別之各者之上述評價值。藉此，即便於指導圖像之個數較少之情形等時，亦可適當地決定類別候補。

又，較佳為，於上述複數個直方圖中，在對於一個類別之直方圖中的上述注目區間之頻率為特定數以下而在對於其他所有類別之各者之直方圖中的上述注目區間之頻率為0之情形時，上述評價值取得部則不取得上述評價值。藉此，可排除不合理地提昇評價值之代表值的不適當之特徵量之種類(之評價值)。

更佳為，上述顯示控制部將上述至少1個類別相異圖像之各者與上述指導資料所示之類別及上述類別候補一併顯示於上述顯示部。

本發明亦針對具有指導資料驗證裝置之指導資料製作裝置、具有指導資料製作裝置之圖像分類裝置、驗證指導資料之指導資料驗證方法、包含指導資料驗證方法之指導資料製作方法、及使用藉由指導資料製作方法製作之指導資料之圖像分類方法。

上述目的及其他目的、特徵、態樣及優點係參照隨附圖式，藉由以下進行之本發明之詳細說明而明確。

1‧‧‧圖像分類裝置

2‧‧‧攝像裝置

4‧‧‧檢查．分類裝置

5‧‧‧主電腦

8‧‧‧記錄媒體

9‧‧‧半導體基板

21‧‧‧攝像部

22‧‧‧平台

23‧‧‧平台驅動部

41‧‧‧缺陷檢測部

42‧‧‧自動缺陷分類部

51‧‧‧CPU

52‧‧‧ROM

53‧‧‧RAM

54‧‧‧固定碟片

55‧‧‧顯示器

56‧‧‧輸入部

56a‧‧‧鍵盤

56b‧‧‧滑鼠

57‧‧‧讀取裝置

58‧‧‧通訊部

61‧‧‧指導資料製作部

62‧‧‧學習部

71a~71d‧‧‧指導圖像

72‧‧‧類別顯示區域

80‧‧‧程式

211‧‧‧照明部

212‧‧‧光學系統

213‧‧‧攝像元件

421‧‧‧分類器

610‧‧‧資料運算部

611‧‧‧評價值取得部

612‧‧‧類別候補特定部

613‧‧‧顯示控制部

614‧‧‧記憶部

615‧‧‧特徵量算出部

710‧‧‧指導資料

A、B、C‧‧‧注目區間

H1~H4‧‧‧直方圖

S11~S14、S21~S29‧‧‧步驟

Z0‧‧‧圓形區域

Z1~Z4‧‧‧環狀區域

圖1係表示圖像分類裝置之構成之圖。

圖2係表示缺陷圖像之分類流程之圖。

圖3係表示主電腦之構成之圖。

圖4係表示主電腦之功能構成之圖。

圖5係表示指導資料製作部之功能構成之圖。

圖6係表示製作指導資料而使分類器學習之處理流程之圖。

圖7係表示顯示於顯示器中之複數個指導圖像之圖。

圖8係表示針對複數個類別之複數個直方圖之圖。

圖9係表示顯示於顯示器中之複數個指導圖像之圖。

圖10係用以說明異質性之程度之圖。

圖11係表示複數個指導圖像之圖。

圖12係表示複數個指導圖像之圖。

圖1係表示本發明之一實施形態之圖像分類裝置1之概略構成的圖。於圖像分類裝置1中，取得表示半導體基板9(以下簡稱為「基板9」)上之缺陷之缺陷圖像，進行該缺陷圖像之分類。圖像分類裝置1具有：攝像裝置2，其拍攝基板9上之檢查對象區域；檢查．分類裝置4，其係於根據來自攝像裝置2之圖像資料進行缺陷檢查而檢測到缺陷之情形時，將缺陷自動分類至缺陷應從屬之類別；及主電腦5，其控制圖像分類裝置1之整體動作，並且生成檢查．分類裝置4中之用於缺陷之分類之分類器421。存在於基板9上之缺陷之種類(類別)例如為缺損、突起、斷線、短路、異物。又，攝像裝置2併入至基板9之生產線，圖像分類裝置1成為所謂之線內(inline)型系統。圖像分類裝置1亦可理解為對缺陷檢查裝置附加自動缺陷分類之功能之裝置。

攝像裝置2具有：攝像部21，其拍攝基板9上之檢查對象區域而取得圖像資料；平台22，其保持基板9；及平台驅動部23，其使平台22相對於攝像部21相對性地移動。攝像部21具有：照明部211，其出射照明光；光學系統212，其將照明光導引至基板9，並且供來自基板9之光入射；及攝像元件213，其將藉由光學系統212成像之基板9之像轉換為電氣訊號。平台驅動部23包含滾珠螺桿、導軌、馬達等，藉由使主電腦5控制平台驅動部23及攝像部21，而拍攝基板9上之檢查對象區域。

檢查．分類裝置4具有一面處理檢查對象區域之圖像資料一面檢測缺陷之缺陷檢測部41、及將缺陷圖像分類之自動缺陷分類部42。缺陷檢測部41具有高速地處理檢查對象區域之圖像資料之專用電路，藉由所拍攝之圖像與不存在缺陷之參照圖像之比較或圖像處理而進行檢查對象區域之缺陷檢查。自動缺陷分類部42包含進行各種運算處理之中央處理單元(CPU，Central Processing Unit)及記憶各種資訊之記憶體等，使用利用類神經網路、決策樹、判別分析等之分類器421而執行缺陷之分類(即缺陷圖像之分類)。

圖2係表示利用圖像分類裝置1進行之缺陷圖像之分類之流程的圖。首先，藉由圖1所示之攝像裝置2拍攝基板9，而使檢查．分類裝置4之缺陷檢測部41取得圖像資料(步驟S11)。其次，若缺陷檢測部41進行檢查對象區域之缺陷檢查而檢測到缺陷時(步驟S12)，則缺陷部分之圖像(即缺陷圖像)之資料傳送至自動缺陷分類部42。自動缺陷分類部42算出缺陷圖像之複數個種類之特徵量(步驟S13)，將缺陷圖像之特徵量輸入至自動缺陷分類部42之分類器421而輸出分類結果。即，藉由分類器421將缺陷圖像分類至複數個類別之任一者(步驟S14)。於圖像分類裝置1中，每當利用缺陷檢測部41檢測到缺陷時，即時進行特徵量之算出，高速地進行多個缺陷圖像之自動分類。

接下來，對利用主電腦5之分類器之學習進行說明。圖3係表示主電腦5構成之圖。主電腦5成為將進行各種運算處理之 CPU51、記憶基本程式之唯讀記憶體(ROM，Read Only Memory)52及記憶各種資訊之隨機存取記憶體(RAM，Random Access Memory)53連接於匯流排線的一般電腦系統之構成。於匯流排線，進而適當地經由介面(I/F)等而連接有進行資訊記憶之固定碟片54、作為進行圖像等各種資訊之顯示之顯示部的顯示器55、受理來自操作者之輸入之鍵盤56a及滑鼠56b(以下統稱為「輸入部56」)、自光碟、磁碟、磁光碟等電腦可讀取之記錄媒體8進行資訊之讀取之讀取裝置57、以及與圖像分類裝置1之其他構成之間收發訊號之通訊部58。

於主電腦5中，事先經由讀取裝置57自記錄媒體8讀出程式80而記憶於固定碟片54中，進而程式80被複製至RAM53中，並且藉由CPU51按照RAM53內之程式執行運算處理。

圖4係表示藉由主電腦5之CPU51、ROM52、RAM53、固定碟片54等實現的用以使分類器學習之功能構成的方塊圖，亦表示檢查．分類裝置4。主電腦5具有製作用於分類器之學習之指導資料的指導資料製作部61、及使用指導資料而使分類器學習之學習部62。

指導資料包含作為缺陷圖像之指導圖像之資料、指導圖像之特徵量、及表示缺陷之類別之資訊即指示訊號，作為指導圖像之特徵量，例如採用缺陷之面積、平均亮度、周長、扁平度、缺陷近似於橢圓之情形時的長軸之斜度等。於學習部62中，自指導資料中讀出之指導圖像之特徵量被輸入至主電腦5內之分類器(省略圖示)，以使分類器之輸出與表示缺陷之類別之指示訊號相同之方式進行學習，將學習結果、即學習後之分類器421(準確而言，為表示分類器421之構造或變數之值之資訊)轉移至自動缺陷分類部42。

圖5係表示主電腦5之指導資料製作部61之功能構成之方塊圖，亦表示學習部62。指導資料製作部61具有資料運算部610、顯示器55及輸入部56。資料運算部610具有評價值取得部611、類別候補特定部612、顯示控制部613、記憶部614及特徵量算出部615。關於資料運算部610之處理之詳情，於下文進行敍述。再者，資料運算部610及學習部62之功能可藉由專用電路構築，亦可局部地利用專用電路。

圖6係表示製作指導資料而使分類器學習之處理流程之圖。於指導資料製作部61中，首先，將作為指導資料製作用之缺陷圖像之多個指導圖像(例如數千個指導圖像)之資料記憶於圖5所示之指導資料製作部61之記憶部614中而進行準備(步驟S21)。再者，指導圖像可利用圖1所示之攝像裝置2及缺陷檢測部41而取得，亦可另行準備。

於特徵量算出部615中，算出所有指導圖像之複數個種類之(例如100~200個種類之)特徵量(步驟S22)。經算出之特徵量記憶於記憶部614。又，於顯示器55中，顯示各指導圖像，並且進行催促該指導圖像之類別之輸入之顯示，於輸入部56中，受理由操作者進行之類別之輸入(步驟S23)。於以下之說明中，將在步驟S23之處理中針對各指導圖像藉由操作者輸入之類別稱為「初始類別」。再者，各指導圖像之初始類別亦可藉由特定之演算法(algorithm)而自動決定。

圖7係例示顯示於顯示器55之複數個指導圖像之圖。於各指導圖像71a、71b、71c、71d之下方設置有類別顯示區域72，於圖7之指導圖像71a~71d中，初始類別(之名稱)分別記為「大缺損」、「中缺損」、「中突起」、「中突起」。以如此之方式，準備各自被分配至複數個類別之任一者之複數個指導圖像、及表示該複數個指導圖像之類別之指導資料710並記憶於記憶部614。於本實施形態中，各指導圖像中之複數個特徵量亦包含於指導資料710中。又，針對複數個種類之類別之各者分配有編號，根據針對各指導圖像之初始類別之決定，將與該指導圖像建立了關聯之類別變數之值變更為初始類別之編號。

若準備指導資料710，則於評價值取得部611中，關於特徵量之各個種類，生成被分配至複數個類別之各者的指導圖像之特徵量之直方圖。圖8係表示特徵量之一個種類中之針對複數個類別之複數個直方圖的圖。於圖8之例中，5348個指導圖像被分配至編號1至4之4種類別之任一者，編號1之類別包含1578個之指導圖像，編號2之類別包含2849個指導圖像，編號3之類別包含688個指導圖像，編號4之類別包含133個指導圖像。又，於圖8中，於將各指導圖像之特徵量歸一化後量化為100個區間，且表示各區間之頻率。於圖8中，分別對編號1至4之類別之直方圖標附符號H1、H2、H3、H4。再者，評價值取得部611中之特徵量之直方圖只要為表示頻率分佈者即可，表示頻率分佈之圖表實質上亦與直方圖等效。

於評價值取得部611中，針對特徵量之每個種類取得表示假定各指導圖像屬於複數個類別之各者之情形時之妥當性(亦可理解為機率)的評價值(步驟S24)。例如，將某指導圖像作為注目指導圖像，關於特徵量之一個種類，將包含注目指導圖像之特徵量之區間作為注目區間，於注目區間，編號1之類別之指導圖像存在x₁ 個，編號2之類別之指導圖像存在x₂ 個，編號3之類別之指導圖像存在x₃ 個，編號4之類別之指導圖像存在x₄ 個(即，直方圖H1、H2、H3、H4中之注目區間之頻率分別為x₁ 個、x₂ 個、x₃ 個、x₄ 個)。再者，於假設注目指導圖像之初始類別為編號2之類別之情形時，x₂ 個中之1個為注目指導圖像。於此情形時，表示假定注目指導圖像屬於編號n(此處，n為1至4中之任一者)之類別之情形時之妥當性的評價值P_n 係以((x_n /(x₁ +x₂ +x₃ +x₄ ))×100)[%]之形式求出。

具體而言，於注目指導圖像之特徵量在圖8中包含於標附符號A之區間，直方圖H1、H2、H3中之注目區間A之頻率分別為a₁ 個、a₂ 個、a₃ 個之(直方圖H4中之頻率為0)情形時，表示假定注目指導圖像屬於編號1之類別之情形時之妥當性的評價值P₁ 為((a₁ /(a₁ +a₂ +a₃ ))×100)[%]。又，表示假定注目指導圖像屬於編號2之類別之情形時之妥當性的評價值P₂ 為((a₂ /(a₁ +a₂ +a₃ ))×100)[%]，表示假定屬於編號3之類別之情形時之妥當性的評價值P₃ 為((a₃ /(a₁ +a₂ +a₃ ))×100)[%]。再者，表示假定注目指導圖像屬於編號4之類別之情形時之妥當性的評價值P₄ 為0%。再者，於圖8中，藉由對黑點標附之符號表示該點之頻率。

又，於注目指導圖像之特徵量在圖8中包含於標附符號B之區間，直方圖H1、H2、H3中之注目區間B之頻率分別為b₁ 個、b₂ 個、b₃ 個之(直方圖H4中之頻率為0)情形時，表示假定注目指導圖像屬於編號1之類別之情形時之妥當性的評價值P₁ 為((b₁ /(b₁ +b₂ +b₃ ))×100)[%]。又，表示假定注目指導圖像屬於編號2之類別之情形時之妥當性的評價值P₂ 為((b₂ /(b₁ +b₂ +b₃ ))×100)[%]，表示假定屬於編號3之類別之情形時之妥當性的評價值P₃ 為((b₃ /(b₁ +b₂ +b₃ ))×100)[%]。再者，表示假定注目指導圖像屬於編號4之類別之情形時之妥當性的評價值P₄ 為0%。

進而，於注目指導圖像之特徵量於圖8中包含於標附符號C之區間，直方圖H3、H4中之注目區間C之頻率分別為c₃ 個、c₄ 個之(直方圖H1、H2中之頻率為0)情形時，表示假定注目指導圖像屬於編號3之類別之情形時之妥當性的評價值P₃ 為((c₃ /(c₃ +c₄ ))×100)[%]。又，表示假定注目指導圖像屬於編號4之類別之情形時之妥當性的評價值P₄ 為((c₄ /(c₃ +c₄ ))×100)[%]。再者，表示假定注目指導圖像屬於編號1之類別之情形時之妥當性的評價值P₁ 、及假定屬於編號2之類別之情形時之妥當性的評價值P₂ 均為0%。

如上所述，於評價值取得部611中，將包含各指導圖像之特徵量之區間作為注目區間，根據針對複數個類別之複數個直方圖中之注目區間之頻率，而取得針對該指導圖像之複數個類別之各者之評價值。藉此，於各指導圖像中，關於特徵量之一個種類，取得4種類別中之4個評價值之組合(例如，如「編號1之類別為25%、編號2之類別為72%、編號3之類別為3%、編號4之類別為0%」之組合)作為評價值群，於特徵量之種類有N個之情形時，原則上取得N個評價值群。上述處理係針對所有指導圖像進行，於所有指導圖像中(原則上)取得N個評價值群。於上述處理中，即便於直方圖具有多峰性之情形等時，亦可取得對應於該直方圖之凹凸之評價值。再者，表示假定各指導圖像屬於複數個類別之各者之情形時之妥當性的評價值亦可藉由上述以外之運算求出。

另一方面，例如，於圖8之橫軸中之右側區域，僅分佈編號4之類別之直方圖H4。於此情形時，即便於注目區間之直方圖H4之頻率如1或2般極低之情形時，編號4之類別之評價值亦必定為100%，會不合理地提昇利用下述處理求出之編號4之類別之評價值之代表值。因此，在關於特徵量之一個種類的複數個類別之複數個直方圖中針對一類別之直方圖中的注目區間之頻率為特定數(例如1或2)以下，且針對其他所有類別之各者之直方圖中的注目區間之頻率為0之情形時，關於特徵量之該種類不取得評價值。

繼而，在類別候補特定部612中，於各指導圖像中，關於各類別，求出特徵量之複數個種類(準確而言為取得評價值之所有種類)中之評價值之代表值(步驟S25)。此處，所謂評價值之代表值係表示該評價值所分佈之範圍之中央附近的值，為平均值或中央值等。各指導圖像中之各類別之評價值之代表值成為表示假定該指導圖像屬於該類別之情形時的考慮複數個(所有)特徵量之妥當性的值。

若針對各指導圖像求出複數個類別中之複數個代表值，則特定根據該複數個代表值而被判定為該指導圖像所應從屬者之類別作為類別候補(步驟S26)。具體而言，於各指導圖像中，特定取得複數個代表值中之最大值之類別作為類別候補。其中，於該最大值未滿特定之閾值(例如50%)之情形時，較佳為對該指導圖像賦予「不可分類」作為類別候補。

於顯示控制部613中，將指導資料710所示之初始類別與類別候補相異之指導圖像作為類別相異圖像，將複數個類別相異圖像顯示於顯示器55(步驟S27)。圖9係例示顯示於顯示器55之複數個指導圖像之圖，於本實施形態中，類別相異圖像71a、71d以外之指導圖像71b、71c亦顯示於顯示器55。於圖9之針對指導圖像71a~71d之類別顯示區域72中，將類別候補(之名稱)分別記為「不可分類」、「中缺損」、「中突起」、「不可分類」。又，於類別顯示區域72中，顯示初始類別及類別候補之兩者。進而，針對類別相異圖像71a、71d之類別顯示區域72之背景色與針對並非類別相異圖像之其他指導圖像71b、71c之類別顯示區域72之背景色相異，而強調類別相異圖像71a、71d。

繼而，作為操作者，藉由考慮針對各類別相異圖像之初始類別及類別候補並且參照該類別相異圖像，而決定最終類別(步驟S28)。繼而，於輸入部56中受理來自操作者之最終類別之輸入，變更或維持與作為該類別相異圖像之指導圖像建立了關聯之類別(類別變數之值)。以如此之方式，更新指導資料710。當然，亦可進行針對類別相異圖像以外之指導圖像之最終類別之輸入，但關於初始類別及類別候補一致之指導圖像，較佳為維持目前之類別(初始類別)。

若決定各指導圖像之最終類別，則包含所有指導圖像之資料、以及其等之特徵量及類別之資訊的更新後之指導資料710自記憶部614轉移至學習部62，於學習部62中使用指導資料710進行分類器之學習(步驟S29)。即，決定構成分類器(參照圖4)之變數之值，或決定構造而生成分類器421。藉此，製作指導資料而使分類器學習的圖6之處理完成。

此處，於圖6之處理中，針對各類別相異圖像，提示顧及特徵量之所有種類後之妥當性較高之類別候補。因此，已決定最終類別之指導資料不易包含與在特徵量空間中矛盾之類別建立關聯之指導圖像。即，指導資料之可靠性提高。由此，可期待使用此種指導資料之學習結果(分類器)具有較高之分類性能。

再者，若自原來之指導資料中去除類別相異圖像，並且進行重複數次步驟S24~S26之處理之下述處理，則可將被分配至某個類別作為初始類別之所有指導圖像以被特定為類別相異圖像之前之處理之重複次數相應地分割為複數個群組。各群組可理解為針對該類別之異質性之程度大致相等之指導圖像之集合，於複數個群組中，異質性之程度彼此相異。於圖10中，抽象地表示異質性之程度相異之複數個群組，例如，於第1次處理中被特定為類別相異圖像之指導圖像可理解為包含於最外側之環狀區域Z1之「異質者」。於第2至4次處理中被特定為類別相異圖像之指導圖像分別包含於異質性之程度逐漸降低之環狀區域Z2、Z3、Z4。於第4次處理中亦未被特定為類別相異圖像之指導圖像包含於中央之圓形區域Z0，可理解為該類別之典型性指導圖像。

接下來，對特定類別候補之上述處理之優越性進行說明。在圖像分類裝置1中，於圖6之處理中，可自原來之指導資料中去除類別相異圖像，並且重複進行數次步驟S24~S26之處理，此處，將自指導資料中去除類別相異圖像並且重複進行4次步驟S24~S26之處理之情形時的結果(以下稱為「本處理例之結果」)與比較例之處理之結果進行比較。此處，比較例之處理係與日本專利特開2010-91401號公報(文獻1)之方法相同之處理，其對特徵量之所有種類進行如下處理，即，根據屬於各類別之複數個指導圖像之各種特徵量之分散，針對該種類設定包含特徵量之代表值之特徵量範圍，對各指導圖像之一種特徵量包含於該種類之特徵量範圍之類別進行投票。繼而，將複數個類別中得票數最多之類別設為類別候補。再者，於得票數最多之類別與得票數第2多之類別之得票數的差為特定值以下之情形時，將此種指導圖像判定為不適當之指導圖像。

圖11係表示本處理例之結果之圖，圖12係表示比較例之結果之圖。於圖11及圖12中，將相同之複數個指導圖像71a~71d與類別候補一併表示。又，於圖11及圖12之針對類別相異圖像之類別顯示區域72中，特定為類別相異圖像之前之處理之重複次數越多，則標附寬度越窄之平行斜線(實際上，類別顯示區域72之背景色相異)。實際上，於本處理例之結果中，圖11所示之指導圖像71a、71d係於步驟S24~S26之第1次處理中被特定為類別相異圖像，指導圖像71c係於步驟S24~S26之第4次處理中被特定為類別相異圖像，指導圖像71b於第1至4次中任一次處理中均未被特定為類別相異圖像(即，初始類別正確)。又，於比較例之結果中，圖12所示之指導圖像71b係於第1次比較例之處理中被特定為類別相異圖像，指導圖像71c係於第2次比較例之處理中被特定為類別相異圖像，指導圖像71a、71d於第1至4次中任一次比較例之處理中均未被特定為類別相異圖像。

於比較例之處理中，如圖12所示，針對表示圖案之斷線之指導圖像71a，與初始類別同樣地將「大缺損」決定為類別候補。即，關於將於特徵量空間中被認為差異較大之「大缺損」及「斷線」一併作為「大缺損」來處理之方面未作任何指出。相對於此，於本處理例中，如圖11所示，針對表示圖案之斷線之指導圖像71a，將與初始類別之「大缺損」相異之「不可分類」決定為類別候補，而指出「大缺損」及「斷線」之混合存在。又，於本處理例中，針對指導圖像71d，將與初始類別之「中突起」相異之「不可分類」決定為類別候補，而指出不易分辨指導圖像71d為「中突起」或「大突起」中之哪一個。由以上可知，本處理例之結果較比較例之結果更符合人們之感覺。

如以上所說明般，於圖像分類裝置1中，將複數個指導圖像及表示複數個之指導圖像之類別之指導資料記憶於記憶部614，關於特徵量之複數個種類之各者，藉由評價值取得部611取得表示假定各指導圖像屬於複數個類別之各者之情形時之妥當性的評價值。繼而，在類別候補特定部612中，於各指導圖像中，針對每個類別求出特徵量之複數個種類中之評價值之代表值，進而，特定根據複數個類別中之複數個代表值而被判定為各指導圖像所應從屬者之類別作為類別候補。藉此，可針對各指導圖像利用簡單之運算容易地特定基於複數個種類(所有種類)之特徵量之適當之類別候補。

又，初始類別與類別候補相異之指導圖像即類別相異圖像藉由顯示控制部613而與類別候補一併顯示於顯示器55。繼而，操作者參照顯示器55上之類別相異圖像及類別候補，而進行最終類別之輸入，藉此可容易地製作可靠性較高之指導資料。其結果為，於圖像分類裝置1中，可利用使用該指導資料進行學習之分類器421而精度良好地將缺陷圖像分類。

又，針對各類別相異圖像，將初始類別及類別候補兩者並列地顯示於顯示器55，藉此而使操作者可容易地進行類別相異圖像之解釋。進而，於圖像分類裝置1中，於特徵量之各種類中之複數個直方圖中針對一類別之直方圖中的注目區間之頻率為(1以上)特定數以下，且針對其他所有類別之各者之直方圖中的注目區間之頻率為0之情形時，於評價值取得部611中不取得特徵量之該種類之評價值。藉此，無需進行藉由分散分析(即，變異數分析(ANOVA，analysis of variance))等排除不需要之特徵量之種類的處理，便可排除不合理地提昇評價值之代表值的不適當之特徵量之種類(之評價值)。

且說，於指導圖像之個數較少之情形時，許多指導圖像於任一區間孤立地存在(於特徵量空間中成為孤立之狀態)，表示如圖8之編號4之類別之直方圖H4般於大部分區間內頻率較低且平坦之分佈。於此種情形時，較佳為，於編號n之類別之直方圖中，將不僅注目指導圖像中之注目區間之頻率亦加上鄰接於該注目區間之兩側之複數個區間之頻率所得的值設為x_n ，藉由((x_n /(x₁ +x₂ +x₃ +x₄ ))×100)[%] 求出評價值P_n 。如此，於評價值取得部611中，根據複數個直方圖中之注目區間及鄰接於注目區間之兩側之複數個區間之頻率，而取得針對各指導圖像之複數個類別之各者的評價值，藉此，於指導圖像之個數較少之情形等時，亦可適當地決定類別候補。

以上，對本發明之實施形態進行了說明，但本發明並不限定於上述實施形態，可進行各種變形。

於上述實施形態中，藉由參照自指導資料中去除類別相異圖像並且重複進行數次圖6之步驟S24~S26之處理的結果，對特定類別候補之圖6之處理之優越性進行了說明，但亦可藉由自指導資料中去除類別相異圖像並且重複進行數次步驟S24~S26之處理，而生成最終之指導資料。如參照圖10所說明般，此種指導資料可理解為僅包含各類別之典型性指導圖像。

於顯示器55中，並非必需顯示複數個類別相異圖像，亦可僅顯示1個類別相異圖像。又，亦可僅將類別候補與類別相異圖像一併顯示。如上所述，於圖6之步驟S27之處理中，將至少1個類別相異圖像之各者與類別候補一併顯示於顯示器55。

於圖像分類裝置1中，亦可藉由檢查．分類裝置4算出用於指導資料之多個指導圖像之特徵量。又，亦可自指導資料省略特徵量，於學習部62中根據指導圖像之資料求出特徵量。

於上述實施形態中，說明了對缺陷檢查裝置附加自動缺陷分類之功能之圖像分類裝置1，於其他對觀察由缺陷檢查裝置檢測到之基板上之缺陷的觀察裝置(亦稱為檢視裝置)附加自動缺陷分類之功能之裝置(可同樣地理解為圖像分類裝置)中，亦可使用上述指導資料製作部61。於此種圖像分類裝置中之攝像裝置中，為了更高度地分析缺陷，取得與圖1之攝像裝置2相比較高之解像度之圖像。

於圖1之圖像分類裝置1中，亦可代替半導體基板而進行玻璃基板(例如平面顯示裝置用之玻璃基板)、印刷配線基板或用於基板之曝光之遮罩基板等的檢查。

又，圖像分類裝置1亦可用於對拍攝血液或培養液等特定之液體中之細胞的細胞圖像進行分類之用途。如此，圖像分類裝置1可用於表示各種對象物之圖像之分類。進而，於圖像分類裝置1中，除藉由可見光拍攝之圖像以外，亦可對藉由電子束或X射線等拍攝之圖像進行分類。

於上述實施形態中，藉由針對各指導圖像特定類別候補而驗證指導資料的指導資料驗證裝置係藉由設置於指導資料製作部61之記憶部614、評價值取得部611、類別候補特定部612及顯示控制部613而實現，但指導資料驗證裝置亦可作為與指導資料製作部61分離之裝置而實現。又，作為指導資料製作裝置之指導資料製作部61亦可作為與圖像分類裝置1分離之裝置而實現。

上述實施形態及各變形例中之構成只要不相互矛盾便可適當組合。

雖詳細地描寫並說明了發明，但上述說明為例示而非限定性者。因此可謂，只要不脫離本發明之範圍，便可實現多種變形或態樣。