JP6530688B2 - 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 - Google Patents

Description

本発明は、画像を分類する分類器を構築する技術に関する。

近年、半導体基板、ガラス基板、プリント配線基板等の基板において、表面に生じた欠陥の発生状況の迅速な把握や、欠陥クラス毎の発生数のモニタ等を目的として、欠陥部分を示す欠陥画像を取得し、自動分類することが行われている。画像を自動分類する手法の一つである教師あり学習型分類では、それぞれが一のクラス（カテゴリ）に属すると教示された多数の教師画像を用いて学習を行うことにより分類器が構築され、当該分類器を用いて画像が分類される。

なお、特許文献１では、検査対象の分類作業を支援する分類支援装置が開示されている。当該装置では、学習に用いられる教師データの作成に際して、複数の検査対象の画像が示す複数の検査対象の大きさ、または、複数の検査対象が撮像された際の撮像位置に基づいて複数の検査対象の順序が決定され、当該順序に従って複数の検査対象の画像が表示部に配列表示される。また、特許文献２では、教師データに利用される欠陥画像のカテゴリの決定を高速かつ適切に行う手法が開示されている。当該手法では、カテゴリが未決定の対象欠陥画像と、各カテゴリの典型的な欠陥を示す典型画像との間にて特徴量差を求め、特徴量差が最も小さい典型画像が属するカテゴリに投票を行う処理が、特徴量の各種類について繰り返され、得票数が最も多いカテゴリが対象欠陥画像が属するカテゴリとして決定される。

特開２００３−３１７０８２号公報 特開２０１０−７１８２６号公報

ところで、分類器の構築に利用される複数の特徴量軸（複数種類の特徴量）には、ユーザが直感的に意味を解釈することが可能ないくつかの特徴量軸が含まれている。このような特徴量軸において区別可能な欠陥を、学習により構築される分類器により分類する際に、ユーザが意図した欠陥クラスとは異なる欠陥クラスを分類結果として出力する誤分類が発生することがある。この場合、ユーザにおいて強い違和感が生じてしまう。

本発明は上記課題に鑑みなされたものであり、ユーザにおいて強い違和感が生じる誤分類を抑制することを目的としている。

請求項１に記載の発明は、画像を分類する分類器を構築する分類器構築方法であって、ａ）複数の画像を準備する工程と、ｂ）複数の特徴量軸から選択された一の特徴量軸を注目特徴量軸として、前記注目特徴量軸に対して前記複数の画像からそれぞれ取得される複数の値の順序に従って、前記複数の画像を表示部に配列して表示する工程と、ｃ）前記表示部に配列された前記複数の画像において、各クラスに属すべき所定数以上の画像が連続して並ぶ場合に、前記所定数以上の画像を前記各クラスの特定画像群として特定する工程と、ｄ）前記特定画像群のそれぞれに前記各クラスを示すラベルを付与する工程と、ｅ）前記各クラスの前記特定画像群に対応する前記注目特徴量軸上の数値範囲を、前記各クラスの特定数値範囲として取得する工程と、ｆ）前記注目特徴量軸を他の一の特徴量軸に変更しつつ、前記ｂ）ないしｅ）工程を繰り返す工程と、ｇ）前記複数の画像のうち、付与された全てのラベルが示すクラスが同一である画像を、前記クラスの決定済み画像として決定する工程と、ｈ）前記決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記クラスの前記特定数値範囲に含まれる画像を前記クラスに分類するルールベースの分類器を構築する工程とを備える。

請求項２に記載の発明は、請求項１に記載の分類器構築方法であって、ｉ）前記複数の画像のうち、付与された全てのラベルの一部が第１クラスを示し、残りが第２クラスを示す画像を、前記第１および第２クラスの混合クラスの仮決定済み画像として決定する工程をさらに備える。

請求項３に記載の発明は、請求項２に記載の分類器構築方法であって、ｊ）前記仮決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記仮決定済み画像のラベルが示すクラスの前記特定数値範囲に含まれる画像を前記混合クラスに分類するルールベースの他の分類器を構築する工程をさらに備える。

請求項４に記載の発明は、請求項３に記載の分類器構築方法であって、ｋ）前記仮決定済み画像を前記第１クラスまたは前記第２クラスのいずれかに教示する工程と、ｌ）前記他の分類器により前記混合クラスに分類される画像を前記第１クラスまたは前記第２クラスのいずれかに分類するサブ分類器を、前記ｋ）工程にて教示された前記仮決定済み画像を用いて学習により構築する工程とを備える。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の分類器構築方法であって、ｍ）前記分類器によりいずれのクラスにも分類されない画像をいずれかのクラスに分類する分類器を、少なくとも前記決定済み画像を用いて学習により構築する工程をさらに備える。

請求項６に記載の発明は、画像を分類する画像分類方法であって、対象画像を準備する工程と、請求項１ないし５のいずれかに記載の分類器構築方法により構築された分類器により前記対象画像を分類する工程とを備える。

請求項７に記載の発明は、画像を分類する分類器を構築する分類器構築装置であって、複数の画像を記憶する画像記憶部と、複数の特徴量軸から選択された一の特徴量軸を注目特徴量軸として、前記注目特徴量軸に対して前記複数の画像からそれぞれ取得される複数の値の順序に従って、前記複数の画像を表示部に配列して表示する表示制御部と、前記表示部に配列された前記複数の画像において、各クラスに属すべき所定数以上の画像が連続して並ぶ場合に、前記所定数以上の画像を前記各クラスの特定画像群として指示する入力を受け付ける入力部と、前記特定画像群のそれぞれに前記各クラスを示すラベルを付与するとともに、前記各クラスの前記特定画像群に対応する前記注目特徴量軸上の数値範囲を、前記各クラスの特定数値範囲として取得する特定画像情報取得部と、前記注目特徴量軸を他の一の特徴量軸に変更しつつ、前記表示制御部、前記入力部および前記特定画像情報取得部の動作を繰り返させる繰返制御部と、前記複数の画像のうち、付与された全てのラベルが示すクラスが同一である画像を、前記クラスの決定済み画像として決定するクラス決定部と、前記決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記クラスの前記特定数値範囲に含まれる画像を前記クラスに分類するルールベースの分類器を構築する分類器構築部とを備える。

請求項８に記載の発明は、請求項７に記載の分類器構築装置であって、前記クラス決定部が、前記複数の画像のうち、付与された全てのラベルの一部が第１クラスを示し、残りが第２クラスを示す画像を、前記第１および第２クラスの混合クラスの仮決定済み画像として決定する。

請求項９に記載の発明は、請求項８に記載の分類器構築装置であって、前記分類器構築部が、前記仮決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記仮決定済み画像のラベルが示すクラスの前記特定数値範囲に含まれる画像を前記混合クラスに分類するルールベースの他の分類器を構築する。

請求項１０に記載の発明は、請求項９に記載の分類器構築装置であって、前記入力部が、前記仮決定済み画像を前記第１クラスまたは前記第２クラスのいずれかに教示する入力を受け付け、前記分類器構築部が、前記他の分類器により前記混合クラスに分類される画像を前記第１クラスまたは前記第２クラスのいずれかに分類するサブ分類器を、前記第１クラスまたは前記第２クラスに教示された前記仮決定済み画像を用いて学習により構築する。

請求項１１に記載の発明は、請求項７ないし１０のいずれかに記載の分類器構築装置であって、前記分類器構築部が、前記分類器によりいずれのクラスにも分類されない画像をいずれかのクラスに分類する分類器を、少なくとも前記決定済み画像を用いて学習により構築する。

請求項１２に記載の発明は、画像を分類する画像分類装置であって、対象画像を記憶する対象画像記憶部と、請求項７ないし１１のいずれかに記載の分類器構築装置により構築された分類器とを備える。

本発明によれば、ユーザにおいて強い違和感が生じる誤分類を抑制することができる。

検査・分類装置の構成を示す図である。 コンピュータの構成を示す図である。 検査・分類装置における機能構成を示すブロック図である。 分類器の構築の流れを示す図である。 分類器の構築の流れを示す図である。 複数の欠陥画像が表示されるウィンドウを示す図である。 注目特徴量軸における値のヒストグラムを示す図である。 欠陥画像の分類の流れを示す図である。

図１は本発明の一の実施の形態に係る検査・分類装置１の概略構成を示す図である。検査・分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。欠陥画像の分類により、分類対象である当該欠陥が分類される。

検査・分類装置１は、撮像装置２、欠陥検出部４１、および、コンピュータ５を備える。撮像装置２は、基板９上の検査対象領域を撮像する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。コンピュータ５は、欠陥検出部４１において欠陥が検出された場合に欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥を分類する。コンピュータ５は、検査・分類装置１の全体動作の制御、および、欠陥の分類に利用される分類器の構築も行う。基板９上に存在するパターンの欠陥のクラスは、例えば、欠損、突起、断線、ショート、異物である。撮像装置２は基板９の製造ラインに組み込まれ、検査・分類装置１はいわゆるインライン型のシステムとなっている。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して多値の撮像画像（のデータ）を取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。コンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

欠陥検出部４１では、基板９の撮像画像と、当該撮像画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、当該差分画像に基づいて、異常部分である欠陥が検出される。そして、欠陥部分の多値画像である欠陥画像が生成される。欠陥検出部４１では、他の手法により欠陥が検出されてよい。

図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、検査・分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

コンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。

図３は検査・分類装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、符号５を付す破線の矩形にて囲んでいる。

コンピュータ５は、特徴量算出部３１、分類ユニット３２および分類器構築ユニット３３を有する。特徴量算出部３１は、画像から各種特徴量を算出する。分類ユニット３２は、欠陥が検出された場合に当該欠陥を自動的に分類する。分類ユニット３２は、対象画像記憶部３２１および分類制御部３２２を有し、分類制御部３２２は、複数の分類器３２３および複数のサブ分類器３２４を有する。分類器構築ユニット３３は、分類ユニット３２における複数の分類器３２３および複数のサブ分類器３２４を構築する。分類器構築ユニット３３は、既述の入力部５６およびディスプレイ５５に加えて、欠陥画像記憶部３３１、特定画像情報取得部３３２、表示制御部３３３、繰返制御部３３４、クラス決定部３３５および分類器構築部３３６を有する。分類器構築部３３６は、学習部３３７を有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

検査・分類装置１では、事前準備として、分類器構築ユニット３３による分類器の構築が行われる。図４Ａおよび図４Ｂは、分類器構築ユニット３３による分類器の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。本処理例では、分類器３２３の構築のみが行われる。サブ分類器３２４を構築する処理例については、後述する。

分類器３２３の構築の際には、まず、欠陥検出部４１にて検出された多数の欠陥画像が、欠陥画像記憶部３３１に記憶されて準備される（ステップＳ１１）。これらの欠陥画像は、属すべき欠陥クラスが未だ教示（決定）されていない未教示の画像である。続いて、特徴量算出部３１では、各欠陥画像に対して複数種類の特徴量の値、すなわち、複数の特徴量軸上の値が取得される（ステップＳ１２）。複数の特徴量軸には、例えば、欠陥領域の面積、周囲長、扁平度、平均画素値等の幾何学的な特徴量についての軸が含まれる。

既述のように、欠陥検出部４１では、基板９の撮像画像と参照画像とを比較することにより差分画像が得られ、当該差分画像に基づいて欠陥画像が生成される。したがって、欠陥画像と共に、参照画像および差分画像において欠陥画像と同じ領域を示す部分（以下、単に「参照画像」および「差分画像」という。）や、欠陥領域を示す２値の画像（例えば、差分画像を二値化して得られる画像であり、以下、「マスク画像」という。）も欠陥画像記憶部３３１に記憶されてよい。この場合、各欠陥画像に対する複数の特徴量軸上の値の取得において、当該欠陥画像に対応する参照画像、差分画像およびマスク画像が用いられてよい（後述する分類ユニット３２による対象画像の分類において同様）。

ここで、各欠陥画像に対してＮ個（Ｎは２以上の整数）の特徴量軸上の値が算出される場合に、ｎ個（ｎは２以上Ｎ以下の整数）の特徴量軸に関して人間が直感的に意味を解釈することができるときには、当該ｎ個の特徴量軸が候補特徴量軸として予め決定される。繰返制御部３３４では、複数の（ｎ個の）候補特徴量軸のそれぞれにおいて、例えば、全ての欠陥画像に対する値の分布範囲が選択評価値として求められる。そして、選択評価値が最も大きい候補特徴量軸が、注目特徴量軸として選択される（ステップＳ１３）。続いて、表示制御部３３３により、注目特徴量軸に対して複数の欠陥画像からそれぞれ取得される複数の値の順序に従って、複数の欠陥画像がディスプレイ５５に配列して表示される（ステップＳ１４）。

図５は、複数の欠陥画像７１が表示されるディスプレイ５５上のウィンドウ５５１を示す図である。図５では、符号Ａ１を付す太線の矢印にて示すように、各段において右側に配置される欠陥画像７１ほど注目特徴量軸上の値が高く、かつ、下段に配置される欠陥画像７１の注目特徴量軸上の値が、上段に配置される欠陥画像７１の当該値よりも高い。すなわち、複数の欠陥画像７１は、注目特徴量軸上の値の昇順に矢印Ａ１に沿って配列される。もちろん、複数の欠陥画像７１は、注目特徴量軸上の値の降順に矢印Ａ１に沿って配列されてもよい。

続いて、ディスプレイ５５に配列された複数の欠陥画像７１がユーザにより観察され、当該複数の欠陥画像７１において、同一の欠陥クラスに属すべきと考えられ、かつ、連続して並ぶ所定数以上の欠陥画像７１が画像群として特定される。なお、欠陥クラスの判断に迷うような欠陥画像７１は画像群に含められるべきではない。一の欠陥クラスに対する画像群のうち、最も多い欠陥画像７１を含む画像群、すなわち、当該欠陥クラスの欠陥画像７１が最も多く隣り合っている画像群が、当該欠陥クラスの特定画像群として特定される。そして、矢印Ａ１に沿って並ぶ特定画像群において両端の欠陥画像７１を指示する入力が入力部５６を介してユーザにより行われる（ステップＳ１５）。換言すると、各欠陥クラスに属すべき特定画像群を一括して指示（教示）する入力が入力部５６により受け付けられる。特定画像群を指示する入力では、当該特定画像群の属すべき欠陥クラスも指示される。特定画像群に含まれる欠陥画像７１の最小数は任意に決定されてよいが、例えば５個以上である。

本処理例では、分類すべき欠陥クラスとして、欠陥クラスＡ、欠陥クラスＢおよび欠陥クラスＣが予め決定されているものとする。図５では、符号７１ａを付す欠陥画像から左側に連続して並ぶ欠陥画像７１，７１ａの集合が、欠陥クラスＡの特定画像群として特定されている。また、符号７１ｂを付す欠陥画像から右側に連続して並ぶ欠陥画像７１，７１ｂの集合が、欠陥クラスＢの特定画像群として特定されている。図５の例では、欠陥クラスＣの特定画像群は指示されていない。いずれの欠陥クラスに関しても、特定画像群として特定すべき複数の欠陥画像７１が見当たらない場合には、ステップＳ１５および後述のステップＳ１６，Ｓ１７は省略され、ステップＳ１８に進む。

特定画像情報取得部３３２では、各欠陥クラスの特定画像群のそれぞれに当該欠陥クラスを示すラベルが付与される（ステップＳ１６）。図５の例では、欠陥画像７１ａを含む欠陥クラスＡの特定画像群のそれぞれに欠陥クラスＡを示すラベルが付与され、欠陥画像７１ｂを含む欠陥クラスＢの特定画像群のそれぞれに欠陥クラスＢを示すラベルが付与される。なお、特定画像情報取得部３３２では、各欠陥画像７１に対してｎ個（候補特徴量軸の個数分）のラベルの記憶領域が確保されている。続いて、各欠陥クラスの特定画像群に対応する注目特徴量軸上の数値範囲が、当該欠陥クラスの特定数値範囲として取得される（ステップＳ１７）。

図６は、注目特徴量軸における値のヒストグラムを示す図である。図６では、符号Ｌ１を付す実線にて欠陥クラスＡに属する欠陥画像７１の値の分布を示し、符号Ｌ２を付す一点鎖線にて欠陥クラスＢに属する欠陥画像７１の値の分布を示し、符号Ｌ３を付す破線にて欠陥クラスＣに属する欠陥画像７１の値の分布を示している。現時点では、各欠陥画像７１が属する欠陥クラスは未だ決定されていないため、実際には、注目特徴量軸（横軸）の各位置において線Ｌ１〜Ｌ３が示す値の和を示すヒストグラムが得られる。なお、図６の注目特徴量軸は、欠陥領域内の平均画素値である。

既述のように、ディスプレイ５５において注目特徴量軸上の値の順序にて並ぶ複数の欠陥画像７１のうち、各欠陥クラスの特定画像群の両端に位置する欠陥画像７１が、ステップＳ１５の処理により特定される。特定画像情報取得部３３２では、当該両端の欠陥画像７１の注目特徴量軸上の値を下限値および上限値とする数値範囲が、当該欠陥クラスの特定数値範囲として取得される。図６では、符号Ｒａを付す矢印にて欠陥クラスＡの特定数値範囲を示し、符号Ｒｂを付す矢印にて欠陥クラスＢの特定数値範囲を示している。図６の例では、欠陥クラスＣの特定画像群は指示されていない。

繰返制御部３３４では、次に選択すべき候補特徴量軸が存在するか否かが確認される。本処理例では、各候補特徴量軸に対して求められる選択評価値（すなわち、全ての欠陥画像７１に対する値の分布範囲）の下限閾値が定められている。複数の候補特徴量軸のうち、現在の注目特徴量軸の選択評価値の次に小さい選択評価値が下限閾値よりも大きい場合に、次に選択すべき候補特徴量軸の存在が確認される（ステップＳ１８）。そして、当該選択評価値の候補特徴量軸が、新たな注目特徴量軸として選択される（ステップＳ１３）。

分類器構築ユニット３３では、当該新たな注目特徴量軸に関して、上記ステップＳ１４〜Ｓ１７と同様の処理が行われる。具体的には、表示制御部３３３により、当該注目特徴量軸に対する複数の欠陥画像７１における値の順序に従って、複数の欠陥画像７１がディスプレイ５５に配列して表示され（ステップＳ１４）、入力部５６により、各欠陥クラスの特定画像群を指示する入力が受け付けられる（ステップＳ１５）。そして、特定画像情報取得部３３２により、各欠陥クラスの特定画像群のそれぞれに当該欠陥クラスを示すラベルが付与され（ステップＳ１６）、各欠陥クラスの特定数値範囲が取得される（ステップＳ１７）。

繰返制御部３３４は、次に選択すべき候補特徴量軸が存在する限り、注目特徴量軸を他の一の候補特徴量軸（すなわち、選択すべき候補特徴量軸）に変更しつつ、表示制御部３３３、入力部５６および特定画像情報取得部３３２の動作を繰り返させる（ステップＳ１８，Ｓ１３〜Ｓ１７）。そして、現在の注目特徴量軸の選択評価値の次に小さい選択評価値が下限閾値以下となると、次に選択すべき候補特徴量軸の不存在が確認され、上記動作の繰り返しが停止される（ステップＳ１８）。

なお、選択評価値は、候補特徴量軸における複数の欠陥画像７１の値のばらつきを示す他の統計値（分散等）であってもよく、ばらつきを示す値以外であってもよい。また、注目特徴量軸として選択される候補特徴量軸およびその順序は、ユーザが入力部５６を介して指定することにより決定されてもよい。分類器の構築における作業の効率化が求められない場合には、全ての特徴量軸が注目特徴量軸として順次選択されてもよい。ステップＳ１３〜Ｓ１７は、注目特徴量軸として選択すべき特徴量軸が存在しなくなるまで繰り返される。注目特徴量軸に関して欠陥クラスを区別する明確な閾値（例えば、真欠陥と偽欠陥とを区別する欠陥領域の面積閾値等）が定められている場合には、ステップＳ１５において、当該閾値が入力部５６を介して入力されることにより、欠陥クラスの特定画像群が指示されてもよい。この場合でも、ユーザが当該閾値により区別される画像群を特定画像群として特定し、当該特定画像群を指示する入力が入力部５６により受け付けられていると捉えることができる。

続いて、クラス決定部３３５では、複数の欠陥画像７１のうち、付与された全てのラベルが示す欠陥クラスが同一である欠陥画像７１が特定され、当該欠陥クラスの決定済み画像として決定される（ステップＳ１９）。ここで、上記ステップＳ１３〜Ｓ１８の処理において注目特徴量軸として選択された特徴量軸を「処理済み特徴量軸」と呼ぶと、決定済み画像では、全ての処理済み特徴量軸に対して、同一の欠陥クラスのラベルが付与されている必要はない。全ての処理済み特徴量軸のうち、一部の処理済み特徴量軸（好ましくは、２以上の特徴量軸）に対して同一の欠陥クラスのラベルが付与され、残りの全ての処理済み特徴量軸に対していずれの欠陥クラスのラベルも付与されない欠陥画像７１が、当該欠陥クラスの決定済み画像として特定される。上記処理により、欠陥画像７１（決定済み画像）に対して、複数の処理済み特徴量軸を考慮した正確な欠陥クラスが容易に決定される。

分類器構築部３３６では、決定済み画像が存在する各欠陥クラス用のルールベースの分類器が構築される（ステップＳ２０）。例えば、全ての処理済み特徴量軸のうち、１番目、２番目および５番目に注目特徴量軸として選択された処理済み特徴量軸に対して欠陥クラスＡのラベルが付与され、残りの全ての処理済み特徴量軸に対して、いずれの欠陥クラスのラベルも付与されない決定済み画像が存在するものとする。この場合、１番目の処理済み特徴量軸に対して取得された欠陥クラスＡの特定数値範囲、すなわち、当該処理済み特徴量軸を注目特徴量軸とする際に、ステップＳ１７にて取得された欠陥クラスＡの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する１番目の処理済み特徴量軸に対するルール（ｉｆ−ｔｈｅｎ−ｅｌｓｅ形式）が設定される。

同様に、２番目の処理済み特徴量軸に対して取得された欠陥クラスＡの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する２番目の処理済み特徴量軸に対するルールが設定され、５番目の処理済み特徴量軸に対して取得された欠陥クラスＡの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する５番目の処理済み特徴量軸に対するルールが設定される。そして、１番目の処理済み特徴量軸に対するルール、２番目の処理済み特徴量軸に対するルール、および、５番目の処理済み特徴量軸に対するルールの組合せ（論理積）、すなわち、条件分岐の直列接続（二分木）により構成される分類器３２３が構築される。当該分類器３２３では、１番目の処理済み特徴量軸に対するルール、２番目の処理済み特徴量軸に対するルール、および、５番目の処理済み特徴量軸に対するルールの全てを満たす画像が、欠陥クラスＡとして分類される。

以上のようにして、各決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、当該決定済み画像の欠陥クラスの特定数値範囲に含まれる値を有する画像を、当該欠陥クラスに分類するルールベースの分類器３２３が構築される。ステップＳ２０にて構築される各分類器３２３では、後述の分類動作において、当該分類器３２３に対応する欠陥クラスに属する、または、不明である（属するとはいえない）のいずれかの分類結果を出力することが可能である。同一の欠陥クラスに決定された複数の決定済み画像が存在する場合には、当該複数の決定済み画像に対してそれぞれ得られる複数のルール（条件分岐の直列接続）の論理和を示す分類器３２３が、当該欠陥クラスに対して構築される。なお、決定済み画像が存在しない欠陥クラスについては、上記分類器３２３は構築されない。

続いて、クラス決定部３３５では、複数の欠陥画像７１のうち、付与された全てのラベルの一部が一のクラスを示し、残りの全てが他の一のクラスを示す欠陥画像７１が特定され、これらの２つのクラスの混合クラスの仮決定済み画像として決定される（ステップＳ２１）。換言すると、全ての処理済み特徴量軸のうち、一部の処理済み特徴量軸に対して一の欠陥クラスのラベルが付与され、他の一部の処理済み特徴量軸に対して他の一の欠陥クラスのラベルが付与され、残りの全ての処理済み特徴量軸に対していずれの欠陥クラスのラベルも付与されない欠陥画像７１が、混合クラスの仮決定済み画像として特定される。欠陥クラスＡ、欠陥クラスＢおよび欠陥クラスＣが設定される本処理例では、欠陥クラスＡおよび欠陥クラスＢの混合クラスＡＢ、欠陥クラスＢおよび欠陥クラスＣの混合クラスＢＣ、並びに、欠陥クラスＣおよび欠陥クラスＡの混合クラスＡＣが存在し得る。ｋ種（ｋは２以上の整数）の欠陥クラスが設定される場合には、_ｋＣ_２（＝ｋ！／（（ｋ−２）！２！））種類の混合クラスが存在し得る。

分類器構築部３３６では、仮決定済み画像が存在する各混合クラス用のルールベースの分類器３２３が構築される（ステップＳ２２）。混合クラス用の分類器３２３の構築では、ステップＳ２０における欠陥クラス用の分類器３２３の構築と同様の手法が用いられる。例えば、全ての処理済み特徴量軸のうち、１番目および２番目に注目特徴量軸として選択された処理済み特徴量軸に対して欠陥クラスＡのラベルが付与され、５番目に注目特徴量軸として選択された処理済み特徴量軸に対して欠陥クラスＣのラベルが付与され、残りの全ての処理済み特徴量軸に対して、いずれの欠陥クラスのラベルも付与されない仮決定済み画像が存在するものとする。

この場合、１番目の処理済み特徴量軸に対して取得された欠陥クラスＡの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する１番目の処理済み特徴量軸に対するルールが設定され、２番目の処理済み特徴量軸に対して取得された欠陥クラスＡの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する２番目の処理済み特徴量軸に対するルールが設定される。また、５番目の処理済み特徴量軸に対して取得された欠陥クラスＣの特定数値範囲を、当該処理済み特徴量軸上にて満たす画像を選択する５番目の処理済み特徴量軸に対するルールが設定される。そして、１番目の処理済み特徴量軸に対するルール、２番目の処理済み特徴量軸に対するルール、および、５番目の処理済み特徴量軸に対するルールの組合せ（論理積）、すなわち、条件分岐の直列接続（二分木）により構成される分類器３２３が構築される。当該分類器３２３では、１番目の処理済み特徴量軸に対するルール、２番目の処理済み特徴量軸に対するルール、および、５番目の処理済み特徴量軸に対するルールの全てを満たす画像が、混合クラスＡＣとして分類される。

以上のようにして、各仮決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、当該仮決定済み画像のラベルが示す欠陥クラスの特定数値範囲に含まれる値を有する画像を、当該仮決定済み画像の混合クラスに分類するルールベースの分類器３２３が構築される。ステップＳ２２にて構築される各分類器３２３では、後述の分類動作において、当該分類器３２３に対応する混合クラスに属する、または、不明であるのいずれかの分類結果を出力することが可能である。同一の混合クラスに決定された複数の仮決定済み画像が存在する場合には、当該複数の仮決定済み画像に対してそれぞれ得られる複数のルール（条件分岐の直列接続）の論理和を示す分類器３２３が、当該混合クラスに対して構築される。なお、仮決定済み画像が存在しない混合クラスについては、上記分類器３２３は構築されない。

上記処理により、いずれの欠陥クラスおよび混合クラスも決定されていない未決定の欠陥画像７１、すなわち、いずれの欠陥クラスのラベルも付与されていない欠陥画像７１、および、３種類の欠陥クラス（４種類以上の欠陥クラスが設定されている場合には、３種類以上の欠陥クラス）のラベルが付与されている欠陥画像７１が、表示制御部３３３によりディスプレイ５５に表示される。そして、ユーザにより、各欠陥画像７１に対して欠陥クラス（ここでは、欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣ）を指示する入力が入力部５６を介して行われる。換言すると、各欠陥画像７１に対して欠陥クラスを教示する入力が入力部５６により受け付けられる（ステップＳ２３）。以下の説明では、ユーザの入力により欠陥クラスが教示された欠陥画像７１を「教示済み画像」と呼ぶ。

このとき、ユーザが欠陥クラス間の相違を比較的明確に示すと考える特徴量軸に注目して、未決定の欠陥画像７１の教示作業が行われてもよい。例えば、図６に示すヒストグラムに係る特徴量軸に注目する場合には、当該特徴量軸上において、欠陥クラスＡの特定数値範囲Ｒａに含まれる値を有する未決定の欠陥画像７１が、欠陥クラスＡとして一括して教示され、欠陥クラスＢの特定数値範囲Ｒｂに含まれる値を有する未決定の欠陥画像７１が、欠陥クラスＢとして一括して教示される。欠陥クラスＡの特定数値範囲Ｒａと、欠陥クラスＢの特定数値範囲Ｒｂとの間の数値範囲Ｒ０、すなわち、特定数値範囲Ｒａの上限値と特定数値範囲Ｒｂの下限値との間の数値範囲Ｒ０では、３種類の欠陥クラスの欠陥画像７１が混じり合っている。したがって、値が数値範囲Ｒ０に含まれる未決定の欠陥画像７１については、１個ずつ確認して、欠陥クラスの教示が行われる。値が数値範囲Ｒ０に含まれる欠陥画像７１は、当該特徴量軸上の値のみでは、欠陥クラスを区別することが困難なものであるといえる。

この場合に、好ましい教示作業では、ステップＳ１４と同様に、値が数値範囲Ｒ０に含まれる複数の欠陥画像７１の当該値の順序に従って、当該複数の欠陥画像７１をディスプレイ５５に配列して表示し（図５参照）、当該値の昇順において最初に出現する欠陥クラスＢの欠陥画像７１がユーザにより特定される。そして、当該欠陥画像７１の当該特徴量軸上の値Ｖ１により、上記数値範囲Ｒ０が、欠陥クラスＡおよび欠陥クラスＣに対応する数値範囲Ｒ１と、欠陥クラスＡ、欠陥クラスＢおよび欠陥クラスＣに対応する数値範囲Ｒ２とに分割される。そして、値が数値範囲Ｒ１に含まれる未決定の欠陥画像７１のみがディスプレイ５５に表示され、各欠陥画像７１が欠陥クラスＡまたは欠陥クラスＣのいずれかに教示される。続いて、値が数値範囲Ｒ２に含まれる未決定の欠陥画像７１のみがディスプレイ５５に表示され、各欠陥画像７１が欠陥クラスＡ、欠陥クラスＢおよび欠陥クラスＣのいずれかに教示される。値が数値範囲Ｒ１に含まれる未決定の欠陥画像７１については、候補となる欠陥クラスを絞ることが可能であるため、教示作業を正確に、かつ、効率よく行うことができる。

値が数値範囲Ｒ０に含まれる未決定の欠陥画像７１の教示作業では、特開２０１０−７１８２６号公報（特許文献２）の手法を利用することも可能である。例えば、図６の特徴量軸において、特定数値範囲Ｒａに含まれる値を有する欠陥クラスＡの欠陥画像７１（任意の個数の欠陥画像７１であり、決定済み画像であってもよい。欠陥クラスＢにおいて同様。）、特定数値範囲Ｒｂに含まれる値を有する欠陥クラスＢの欠陥画像７１、および、値Ｖ１近傍の値を有する欠陥クラスＣの欠陥画像７１のそれぞれが、欠陥クラスの典型的な欠陥を示す典型画像として選択される。続いて、値が数値範囲Ｒ０に含まれる未決定の各欠陥画像７１と、各典型画像との間にて特徴量差が求められ、特徴量差が最も小さい典型画像の欠陥クラスに投票が行われる。上記処理は、複数の特徴量軸に関して繰り返され、得票数が最も多い欠陥クラスが当該欠陥画像７１の欠陥クラスとして推定される。そして、未決定の各欠陥画像７１が、推定された欠陥クラスが認識可能な状態でディスプレイ５５に表示され、ユーザにより、最終的な欠陥クラスが決定（教示）される。

分類器構築部３３６の学習部３３７では、各決定済み画像に対して決定された欠陥クラス、および、当該決定済み画像にて得られるＮ個の特徴量軸上の値（ｎ個の候補特徴量軸を含む全ての特徴量軸上の値）が教師データセットとして関連付けられる。また、各教示済み画像に対して教示された欠陥クラス、および、当該教示済み画像にて得られるＮ個の特徴量軸上の値も教師データセットとして関連付けられる。そして、学習部３３７が、全ての決定済み画像および全ての教示済み画像の教師データセットを用いて、分類器３２３を学習させることにより、画像をいずれかの欠陥クラスに分類する分類器３２３が構築される（ステップＳ２４）。当該分類器３２３では、後述の分類動作において、欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣのいずれかの分類結果を出力することが可能である。

以下の説明では、ステップＳ２４にて構築される分類器３２３を「学習型分類器３２３」と呼び、ステップＳ２０，Ｓ２２にて構築される分類器３２３を「ルールベース型分類器３２３」と呼ぶ。なお、分類器を学習により構築する方法（学習アルゴリズム）または機構としては、例えば、線形判別法、ファジーボーティング法、フレキシブルナイブベイズ法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能である。

次に、分類ユニット３２による欠陥画像の分類について説明する。図７は、分類ユニット３２による欠陥画像の分類の流れを示す図である。既述のように、検査・分類装置１では、撮像装置２により基板９が撮像され、撮像画像が欠陥検出部４１に入力される。欠陥検出部４１では、検査対象領域の欠陥検査が行われ、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて分類ユニット３２に出力される。欠陥画像は、対象画像記憶部３２１に記憶されて準備される（ステップＳ３１）。当該欠陥画像は、分類ユニット３２における分類対象の画像であるため、以下、「対象画像」という。

続いて、特徴量算出部３１により、対象画像に対して複数の特徴量軸上の値（複数種類の特徴量の値）が算出される（ステップＳ３２）。分類制御部３２２では、複数の特徴量軸上の値を利用して、対象画像の分類が行われる（ステップＳ３３）。具体的には、まず、各欠陥クラス用のルールベース型分類器３２３により、対象画像が当該欠陥クラスに属する、または、不明であるのいずれかの分類結果が出力される。また、各混合クラス用のルールベース型分類器３２３により、対象画像が当該混合クラスに属する、または、不明であるのいずれかの分類結果が出力される。ルールベース型分類器３２３により、対象画像がいずれかの欠陥クラスまたは混合クラスに分類された（属すると判定された）場合には、対象画像が当該欠陥クラスまたは当該混合クラスに属するものとして、対象画像の分類が完了する。本処理例では、混合クラスも最終分類結果として採用される。なお、対象画像が一の欠陥クラスおよび一の混合クラスの双方に分類された場合には、分類制御部３２２により、当該対象画像は当該混合クラスに属すると判定されることが好ましい。

全てのルールベース型分類器３２３により、対象画像が、いずれの欠陥クラスおよび混合クラスにも分類されない場合には、学習型分類器３２３により、複数の特徴量軸上の値を用いて、対象画像が欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣのいずれかに分類される。検査・分類装置１では、欠陥検出部４１にて欠陥が検出される毎に上記ステップＳ３１〜Ｓ３３の動作がリアルタイムにて行われ、多数の対象画像の自動分類が高速に行われる。

以上に説明したように、検査・分類装置１では、一の候補特徴量軸である注目特徴量軸上における複数の欠陥画像７１の値の順序に従って、当該複数の欠陥画像７１がディスプレイ５５に配列して表示され、ユーザにより当該複数の欠陥画像７１が観察される。そして、当該複数の欠陥画像７１において各欠陥クラスの特定画像群が指示される場合に、特定画像群のそれぞれへの当該欠陥クラスのラベルの付与、および、注目特徴量軸上における当該欠陥クラスの特定数値範囲の取得が行われる。上記動作は、注目特徴量軸を他の一の候補特徴量軸に変更しつつ繰り返される。これにより、予め定められた複数の候補特徴量軸にて表現される特徴量空間において、対象画像が精度よく分類可能であるか否かを、ユーザが直感的に予見することが可能となる。

ここで、学習により構築される１つの分類器のみにより、対象画像を複数の欠陥クラスに分類する比較例を想定する。既述のように、分類に利用される複数の特徴量軸には、ユーザが直感的に意味を解釈することが可能ないくつかの特徴量軸（候補特徴量軸）が含まれている。このような特徴量軸において区別可能な欠陥を、比較例の分類器により分類する際に、ユーザが意図した欠陥クラスとは異なる欠陥クラスを分類結果として出力する誤分類が発生することがある。この場合、ユーザにおいて強い違和感が生じてしまう。

これに対し、検査・分類装置１では、複数の欠陥画像７１のうち、上述の処理にて付与された全てのラベルが示す欠陥クラスが同一である欠陥画像７１が、当該欠陥クラスの決定済み画像として決定される。そして、決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、当該欠陥クラスの特定数値範囲に含まれる画像を当該欠陥クラスに分類するルールベースの分類器３２３が構築される。これにより、ユーザにより見出された規則性に従った分類器３２３を構築することができ、ユーザにおいて強い違和感が生じる過度な誤分類（感覚的に受け入れがたい誤分類）を、比較例の場合に比べて抑制することができる（後述の第２および第３の処理例において同様）。

また、ルールベースの分類器３２３によりいずれの欠陥クラスにも分類されない画像を、いずれかの欠陥クラスに分類する分類器３２３が、欠陥クラスが決定された決定済み画像、および、ユーザにより欠陥クラスが教示された教示済み画像を用いて学習により構築される。これにより、ルールベースの分類器３２３では分類不能な対象画像、例えば、一の特徴量軸上の値では規則性を見出せず、欠陥クラスを区別することが困難な対象画像を、適切に分類することができる。さらに、上記処理では、複数の処理済み特徴量軸を考慮して、学習に利用される決定済み画像に対して正確な欠陥クラスが決定されるため、学習型分類器３２３における分類性能を向上することができる。分類器構築ユニット３３の設計によっては、学習型分類器３２３が複数の決定済み画像のみを用いて構築されてもよい。すなわち、学習型分類器３２３は、少なくとも決定済み画像を用いて構築される。

図４Ａおよび図４Ｂ、並びに、図７を参照して説明した上記処理例（以下、「第１の処理例」という。）では、混合クラスが対象画像の最終分類結果として採用されるが、混合クラスを最終分類結果として採用しない処理も可能であり、以下、第２の処理例として説明する。以下の説明では、特に言及しない処理については、第１の処理例と同様である（後述の第３の処理例において同様）。

第２の処理例では、ステップＳ２２における混合クラス用のルールベース型分類器３２３の構築は省略される。また、ステップＳ２３では、未決定の欠陥画像の欠陥クラスの教示に加えて、混合クラスが決定された仮決定済み画像の欠陥クラスの教示が行われる。具体的には、混合クラスが決定された各仮決定済み画像が、当該混合クラスが認識可能な状態で、表示制御部３３３によりディスプレイ５５に表示される。そして、当該仮決定済み画像に対して、当該混合クラスに係る２つの欠陥クラスのいずれかを指示する入力が、ユーザにより入力部５６を介して行われる。このとき、仮決定済み画像に対して候補となる欠陥クラスを絞ることが可能であるため、教示作業が容易に、かつ、効率よく行われる。

分類器構築部３３６の学習部３３７では、各仮決定済み画像に対して教示された欠陥クラス、および、当該仮決定済み画像にて得られるＮ個の特徴量軸上の値（全ての特徴量軸上の値）が教師データセットとして関連付けられる。また、上記第１の処理例と同様に、決定済み画像の教師データセット、および、教示済み画像の教師データセットも準備される。そして、学習部３３７が、全ての仮決定済み画像、全ての決定済み画像および全ての教示済み画像の教師データセットを用いて、分類器３２３を学習させることにより、画像をいずれかの欠陥クラスに分類する学習型分類器３２３が構築される（ステップＳ２４）。当該学習型分類器３２３では、分類動作において、欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣのいずれかの分類結果を出力することが可能である。

上記処理にて構築された学習型分類器３２３を含む分類ユニット３２による対象画像の分類では（図７：ステップＳ３３）、各欠陥クラス用のルールベース型分類器３２３により、対象画像が当該欠陥クラスに属する、または、不明であるのいずれかの分類結果が出力される。ルールベース型分類器３２３により、対象画像がいずれかの欠陥クラスに分類された場合には、対象画像が当該欠陥クラスに属するものとして、対象画像の分類が完了する。全てのルールベース型分類器３２３により、対象画像が、いずれの欠陥クラスにも分類されない場合には、上記学習型分類器３２３により、複数の特徴量軸上の値を用いて、対象画像が欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣのいずれかに分類される。

以上のように、第２の処理例では、混合クラスを採用することなく、対象画像が、いずれかの欠陥クラスに分類される。また、学習型分類器３２３の構築において、全ての決定済み画像の教師データセット、および、全ての教示済み画像の教師データセットに加えて、全ての仮決定済み画像の教師データセットが用いられる。これにより、各欠陥クラスに対して十分な個数の教師データセットをより確実に準備することができ、学習型分類器３２３の分類性能を向上することができる。

次に、サブ分類器３２４の構築が行われる第３の処理例について説明する。第３の処理例では、第１の処理例における混合クラスに対して２つのサブクラスが設定される。例えば、欠陥クラスＡおよび欠陥クラスＢの混合クラスＡＢでは、サブクラスｓＡおよびサブクラスｓＢが設定される。第３の処理例における図４ＢのステップＳ２３では、未決定の欠陥画像の欠陥クラスの教示に加えて、仮決定済み画像のサブクラスの教示が行われる。サブクラスの教示は、第２の処理例における仮決定済み画像の欠陥クラスの教示と同様である。すなわち、混合クラスが決定された各仮決定済み画像が、当該混合クラスが認識可能な状態でディスプレイ５５に表示され、当該混合クラスに係る２つのサブクラスのいずれかを指示する入力が、ユーザにより入力部５６を介して行われる。すなわち、仮決定済み画像の欠陥クラスを教示する入力が入力部５６にて受け付けられる。

ステップＳ２４では、第１の処理例における学習型分類器３２３の構築に加えて、各混合クラス用のサブ分類器３２４の構築が行われる。具体的には、各混合クラスの仮決定済み画像に対して教示されたサブクラス、および、当該仮決定済み画像にて得られるＮ個の特徴量軸上の値（全ての特徴量軸上の値）が教師データセットとして関連付けられる。そして、学習部３３７が、各混合クラスの全ての仮決定済み画像の教師データセットを用いて、サブ分類器３２４を学習させることにより、当該混合クラス用のサブ分類器３２４が構築される。各混合クラス用のサブ分類器３２４では、分類動作において、当該混合クラスに対して設定された２つのサブクラスのいずれかの分類結果を出力することが可能である。

上記処理にて構築されたサブ分類器３２４を含む分類ユニット３２による対象画像の分類では（図７：ステップＳ３３）、各欠陥クラス用のルールベース型分類器３２３により、対象画像が当該欠陥クラスに属する、または、不明であるのいずれかの分類結果が出力される。また、各混合クラス用のルールベース型分類器３２３では、対象画像が当該混合クラスに属する、または、不明であるのいずれかの分類結果が出力される。欠陥クラス用のルールベース型分類器３２３により、対象画像がいずれかの欠陥クラスに分類された場合には、対象画像が当該欠陥クラスに属するものとして、対象画像の分類が完了する。

混合クラス用のルールベース型分類器３２３により、対象画像がいずれかの混合クラスに分類された場合には、当該混合クラス用のサブ分類器３２４により、対象画像が当該混合クラスに対して設定された２つのサブクラスのいずれかに分類される。ここで、各混合クラスに対して設定される２つのサブクラスは、当該混合クラスに係る２つの欠陥クラスにそれぞれ含まれるべきものである。したがって、分類制御部３２２では、混合クラス用のサブ分類器３２４による分類結果であるサブクラスが、対応する欠陥クラスに統合される。例えば、既述の混合クラスＡＢにおけるサブクラスｓＡは欠陥クラスＡに統合され、サブクラスｓＢは欠陥クラスＢに統合される。よって、各混合クラス用のサブ分類器３２４は、当該混合クラスに係る２つの欠陥クラスのいずれかに対象画像を分類するものであると捉えることができる。

サブクラスの欠陥クラスへの統合は、様々な手法にて行われてよい。例えば、図３の分類ユニット３２では、設計上の制約により、各欠陥クラス用のルールベース型分類器３２３による分類結果として対象画像に割り当てられるＩＤ番号と、サブ分類器３２４による分類結果として対象画像に割り当てられるＩＤ番号（当該欠陥クラスに対応するサブクラスに対するＩＤ番号）とを異ならせる必要がある。この場合には、両ＩＤ番号が同じ番号として出力されるルックアップテーブルが準備される。そして、分類制御部３２２が、ルックアップテーブルを参照することにより、各欠陥クラスと、当該欠陥クラスに対応するサブクラスとに対して、同じ番号を出力させることが可能となる。また、欠陥クラスＡとサブクラスｓＡには十番台の異なるＩＤ番号を割り当て、欠陥クラスＢとサブクラスｓＢには二十番台の異なるＩＤ番号を割り当て、分類制御部３２２が、一の位を省略した番号を最終分類結果として出力してもよい。

なお、全てのルールベース型分類器３２３において、対象画像が、いずれの欠陥クラスおよび混合クラスにも分類されない場合には、上記学習型分類器３２３により、対象画像が欠陥クラスＡ、欠陥クラスＢまたは欠陥クラスＣのいずれかに分類される。

以上のように、第３の処理例では、各混合クラスの仮決定済み画像が、当該混合クラスに係る２つの欠陥クラスのいずれかに実質的に教示される。そして、当該混合クラス用のルールベースの分類器３２３により当該混合クラスに分類される画像を、当該２つの欠陥クラスのいずれかに分類するサブ分類器３２４が、欠陥クラスが教示された当該混合クラスの仮決定済み画像を用いて学習により構築される。これにより、サブ分類器３２４では、混合クラスに分類される対象画像を、欠陥クラスに適切に分類することができる。

上記検査・分類装置１では様々な変形が可能である。

欠陥検出部４１において、欠陥の検出の際に特徴量が算出される場合には、当該特徴量が分類ユニット３２および分類器構築ユニット３３において利用されてよい。

欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、検査・分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、検査・分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、検査・分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。

検査・分類装置１において、画像分類装置である分類ユニット３２、および、分類器構築装置である分類器構築ユニット３３の機能は、撮像装置２および欠陥検出部４１とは独立して用いられてよい。画像分類装置および分類器構築装置は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を、複数のクラスに分類する用途に用いられてもよい。画像分類装置および分類器構築装置は、様々な分類対象を示す画像の分類に利用可能である。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

３２ 分類ユニット
３３ 分類器構築ユニット
５５ ディスプレイ
５６ 入力部
７１，７１ａ，７１ｂ 欠陥画像
３２１ 対象画像記憶部
３２３ 分類器
３２４ サブ分類器
３３１ 欠陥画像記憶部
３３２ 特定画像情報取得部
３３３ 表示制御部
３３４ 繰返制御部
３３５ クラス決定部
３３６ 分類器構築部
Ｒａ，Ｒｂ 特定数値範囲
Ｓ１１〜Ｓ２４，Ｓ３１〜Ｓ３３ ステップ

Claims (12)

1. 画像を分類する分類器を構築する分類器構築方法であって、
   ａ）複数の画像を準備する工程と、
   ｂ）複数の特徴量軸から選択された一の特徴量軸を注目特徴量軸として、前記注目特徴量軸に対して前記複数の画像からそれぞれ取得される複数の値の順序に従って、前記複数の画像を表示部に配列して表示する工程と、
   ｃ）前記表示部に配列された前記複数の画像において、各クラスに属すべき所定数以上の画像が連続して並ぶ場合に、前記所定数以上の画像を前記各クラスの特定画像群として特定する工程と、
   ｄ）前記特定画像群のそれぞれに前記各クラスを示すラベルを付与する工程と、
   ｅ）前記各クラスの前記特定画像群に対応する前記注目特徴量軸上の数値範囲を、前記各クラスの特定数値範囲として取得する工程と、
   ｆ）前記注目特徴量軸を他の一の特徴量軸に変更しつつ、前記ｂ）ないしｅ）工程を繰り返す工程と、
   ｇ）前記複数の画像のうち、付与された全てのラベルが示すクラスが同一である画像を、前記クラスの決定済み画像として決定する工程と、
   ｈ）前記決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記クラスの前記特定数値範囲に含まれる画像を前記クラスに分類するルールベースの分類器を構築する工程と、
   を備えることを特徴とする分類器構築方法。
2. 請求項１に記載の分類器構築方法であって、
   ｉ）前記複数の画像のうち、付与された全てのラベルの一部が第１クラスを示し、残りが第２クラスを示す画像を、前記第１および第２クラスの混合クラスの仮決定済み画像として決定する工程をさらに備えることを特徴とする分類器構築方法。
3. 請求項２に記載の分類器構築方法であって、
   ｊ）前記仮決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記仮決定済み画像のラベルが示すクラスの前記特定数値範囲に含まれる画像を前記混合クラスに分類するルールベースの他の分類器を構築する工程をさらに備えることを特徴とする分類器構築方法。
4. 請求項３に記載の分類器構築方法であって、
   ｋ）前記仮決定済み画像を前記第１クラスまたは前記第２クラスのいずれかに教示する工程と、
   ｌ）前記他の分類器により前記混合クラスに分類される画像を前記第１クラスまたは前記第２クラスのいずれかに分類するサブ分類器を、前記ｋ）工程にて教示された前記仮決定済み画像を用いて学習により構築する工程と、
   を備えることを特徴とする分類器構築方法。
5. 請求項１ないし４のいずれかに記載の分類器構築方法であって、
   ｍ）前記分類器によりいずれのクラスにも分類されない画像をいずれかのクラスに分類する分類器を、少なくとも前記決定済み画像を用いて学習により構築する工程をさらに備えることを特徴とする分類器構築方法。
6. 画像を分類する画像分類方法であって、
   対象画像を準備する工程と、
   請求項１ないし５のいずれかに記載の分類器構築方法により構築された分類器により前記対象画像を分類する工程と、
   を備えることを特徴とする画像分類方法。
7. 画像を分類する分類器を構築する分類器構築装置であって、
   複数の画像を記憶する画像記憶部と、
   複数の特徴量軸から選択された一の特徴量軸を注目特徴量軸として、前記注目特徴量軸に対して前記複数の画像からそれぞれ取得される複数の値の順序に従って、前記複数の画像を表示部に配列して表示する表示制御部と、
   前記表示部に配列された前記複数の画像において、各クラスに属すべき所定数以上の画像が連続して並ぶ場合に、前記所定数以上の画像を前記各クラスの特定画像群として指示する入力を受け付ける入力部と、
   前記特定画像群のそれぞれに前記各クラスを示すラベルを付与するとともに、前記各クラスの前記特定画像群に対応する前記注目特徴量軸上の数値範囲を、前記各クラスの特定数値範囲として取得する特定画像情報取得部と、
   前記注目特徴量軸を他の一の特徴量軸に変更しつつ、前記表示制御部、前記入力部および前記特定画像情報取得部の動作を繰り返させる繰返制御部と、
   前記複数の画像のうち、付与された全てのラベルが示すクラスが同一である画像を、前記クラスの決定済み画像として決定するクラス決定部と、
   前記決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記クラスの前記特定数値範囲に含まれる画像を前記クラスに分類するルールベースの分類器を構築する分類器構築部と、
   を備えることを特徴とする分類器構築装置。
8. 請求項７に記載の分類器構築装置であって、
   前記クラス決定部が、前記複数の画像のうち、付与された全てのラベルの一部が第１クラスを示し、残りが第２クラスを示す画像を、前記第１および第２クラスの混合クラスの仮決定済み画像として決定することを特徴とする分類器構築装置。
9. 請求項８に記載の分類器構築装置であって、
   前記分類器構築部が、前記仮決定済み画像に対して付与された全てのラベルに対応する全ての特徴量軸において、前記仮決定済み画像のラベルが示すクラスの前記特定数値範囲に含まれる画像を前記混合クラスに分類するルールベースの他の分類器を構築することを特徴とする分類器構築装置。
10. 請求項９に記載の分類器構築装置であって、
    前記入力部が、前記仮決定済み画像を前記第１クラスまたは前記第２クラスのいずれかに教示する入力を受け付け、
    前記分類器構築部が、前記他の分類器により前記混合クラスに分類される画像を前記第１クラスまたは前記第２クラスのいずれかに分類するサブ分類器を、前記第１クラスまたは前記第２クラスに教示された前記仮決定済み画像を用いて学習により構築することを特徴とする分類器構築装置。
11. 請求項７ないし１０のいずれかに記載の分類器構築装置であって、
    前記分類器構築部が、前記分類器によりいずれのクラスにも分類されない画像をいずれかのクラスに分類する分類器を、少なくとも前記決定済み画像を用いて学習により構築することを特徴とする分類器構築装置。
12. 画像を分類する画像分類装置であって、
    対象画像を記憶する対象画像記憶部と、
    請求項７ないし１１のいずれかに記載の分類器構築装置により構築された分類器と、
    を備えることを特徴とする画像分類装置。

Images