JP5858817B2 - 教師データ作成方法、並びに、画像分類方法および画像分類装置 - Google Patents

Description

本発明は、分類器の学習に使用される教師データを作成する教師データ作成方法、並びに、教師データの作成を伴う画像分類方法および画像分類装置に関する。

半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。

自動分類では、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある。特許文献１では、複数のカテゴリのそれぞれにおいて典型的な欠陥を示す典型画像を操作者が指定することにより、各欠陥画像が属するカテゴリを自動的に決定して教師データを作成する手法が開示されている。本手法では、未分類の各欠陥画像の一の種類の特徴量と、全ての典型画像の当該種類の特徴量との差である複数の特徴量差を求め、複数の特徴量差のうち最小のものに対応する典型画像が属するカテゴリに投票を行う処理が、特徴量の各種類について繰り返される。そして、複数のカテゴリのうち得票数が最も多いカテゴリが、当該欠陥画像が属するカテゴリとして決定される。

実際に、３個のカテゴリを設定し、５５００個の欠陥画像を特許文献１の手法を用いて処理した際には、各カテゴリにおいて２個の典型画像を指定することにより、半数以上の欠陥画像を好ましいカテゴリへと自動的に割り振ることが可能であった。また、操作者が各欠陥画像のカテゴリを個別に決定する場合に比べて、作業時間を大幅に短縮することができた。

特開２０１０−７１８２６号公報

ところで、特許文献１の手法において、典型画像が適切に選択されない場合には、各欠陥画像が属するカテゴリを適切に決定することが困難となる。したがって、好ましい典型画像を容易に決定することが可能な新規な手法が求められている。

本発明は上記課題に鑑みなされたものであり、好ましい典型画像を容易に決定し、教師データに利用される欠陥画像のカテゴリの決定を適切に行うことを目的としている。

請求項１に記載の発明は、基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、ａ）複数の欠陥画像のそれぞれを複数のカテゴリのいずれかへと仮に割り振る工程と、ｂ）各欠陥画像において、一の種類の特徴量と、各カテゴリに割り振られている欠陥画像の集合における前記一の種類の特徴量の代表値との差をカテゴリ評価値として求め、前記複数のカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票を行う工程と、ｃ）前記ｂ）工程を特徴量の複数種類について繰り返す工程と、ｄ）前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各カテゴリにおける欠陥画像の集合を更新する工程と、ｅ）前記ｄ）工程において、前記各カテゴリにおける欠陥画像の集合の更新前後での複数種類の特徴量の代表値の変化がなくなる状態を終了条件として、前記終了条件を満たすまで、前記ｂ）ないしｄ）工程を繰り返す工程と、ｆ）前記終了条件を満たした際に前記各カテゴリに割り振られている欠陥画像の集合において、複数種類の特徴量が前記集合における前記複数種類の特徴量の代表値に最も近い欠陥画像を前記各カテゴリの典型画像候補として決定する工程と、ｇ）前記典型画像候補を表示部に表示する工程と、ｈ）前記各カテゴリにおける典型画像を選択する入力を受け付ける工程と、ｉ）前記各カテゴリにおける前記典型画像に基づいて、前記各欠陥画像が属するカテゴリを決定する工程とを備える。

請求項２に記載の発明は、請求項１に記載の教師データ作成方法であって、前記ｆ）工程が、ｆ１）前記各カテゴリにおいて、一の種類の特徴量の代表値と、前記各カテゴリに割り振られている各欠陥画像の前記一の種類の特徴量との差を画像評価値として求め、前記各カテゴリに割り振られている欠陥画像に対する画像評価値のうち最小の画像評価値に対応する欠陥画像に投票を行う工程と、ｆ２）前記ｆ１）工程を特徴量の複数種類について繰り返す工程と、ｆ３）前記各カテゴリに割り振られている欠陥画像のうち得票数が最も多い欠陥画像を前記典型画像候補として決定する工程とを備える。

請求項３に記載の発明は、請求項１または２に記載の教師データ作成方法であって、前記ｉ）工程が、ｉ１）前記各欠陥画像において、一の種類の特徴量と、前記各カテゴリにおける前記典型画像の前記一の種類の特徴量との差を特徴量差として求め、前記複数のカテゴリの典型画像に対する特徴量差のうち最小の特徴量差に対応するカテゴリに投票を行う工程と、ｉ２）前記ｉ１）工程を特徴量の複数種類について繰り返す工程と、ｉ３）前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各欠陥画像が属するカテゴリを決定する工程とを備える。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の教師データ作成方法であって、前記ｂ）工程において、前記最小のカテゴリ評価値に近似するものが、前記複数のカテゴリに対するカテゴリ評価値に含まれる場合に、投票が行われない。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の教師データ作成方法であって、前記ａ）工程の前に、カテゴリ数の入力を受け付ける工程をさらに備える。

請求項６に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、請求項１ないし５のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程とを備える。

請求項７に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、欠陥画像を分類する分類器とを備え、前記教師データ作成部が、複数の欠陥画像のそれぞれを複数のカテゴリのいずれかへと仮に割り振る初期割振部と、各欠陥画像において、一の種類の特徴量と、各カテゴリに割り振られている欠陥画像の集合における前記一の種類の特徴量の代表値との差をカテゴリ評価値として求め、前記複数のカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票を行う処理を、特徴量の複数種類について繰り返すことにより、前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各カテゴリにおける欠陥画像の集合を更新する画像割振部と、前記画像割振部において、前記各カテゴリにおける欠陥画像の集合の更新前後での複数種類の特徴量の代表値の変化がなくなる状態を終了条件として、前記終了条件を満たすまで、前記画像割振部における処理を繰り返す繰返制御部と、前記終了条件を満たした際に前記各カテゴリに割り振られている欠陥画像の集合において、複数種類の特徴量が前記集合における前記複数種類の特徴量の代表値に最も近い欠陥画像を前記各カテゴリの典型画像候補として決定する典型画像候補決定部と、前記典型画像候補を表示する表示部と、前記各カテゴリにおける典型画像を選択する入力を受け付ける入力部と、前記各カテゴリにおける前記典型画像に基づいて、前記各欠陥画像が属するカテゴリを決定するカテゴリ決定部とを備える。

本発明によれば、好ましい典型画像を容易に決定し、教師データに利用される欠陥画像のカテゴリの決定を適切に行うことができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能構成を示す図である。 教師データ作成部の機能構成を示す図である。 教師データ作成部の記憶部内に記憶される情報の構造を示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 一の欠陥画像の特徴量を例示する図である。 カテゴリへの投票の結果を示す図である。 典型画像候補を決定する処理の流れを示す図である。 欠陥画像のカテゴリを決定する処理の流れを示す図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、撮像装置２からの画像データに基づいて欠陥検査を行って欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する検査・分類装置４、並びに、画像分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２１を生成するホストコンピュータ５を有する。基板９上に存在する欠陥の種類（カテゴリ）は、例えば、欠け、突起、断線、ショート、異物である。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、基板９上の検査対象領域を撮像して画像データを取得する撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。

図２は画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと送信される。自動欠陥分類部４２は欠陥画像の複数種類の特徴量を算出し（ステップＳ１３）、欠陥画像の特徴量が自動欠陥分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の学習について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。

ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶され、さらに、プログラム８０はＲＡＭ５３にコピーされるとともにＣＰＵ５１によりＲＡＭ５３内のプログラムに従って演算処理が実行される。

図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を学習させるための機能構成を示すブロック図であり、検査・分類装置４も示している。ホストコンピュータ５は分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。

教師データは欠陥画像のデータ、欠陥画像の特徴量および欠陥のカテゴリを示す情報である教示信号を含み、欠陥画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された欠陥画像の特徴量がホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。

図５はホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図であり、学習部６２も示している。教師データ作成部６１は、データ演算部６１０、ディスプレイ５５および入力部５６を有する。データ演算部６１０は、初期割振部６１１、画像割振部６１２、繰返制御部６１３、典型画像候補決定部６１４、カテゴリ決定部６１５、特徴量算出部６１８および記憶部６１９を有する。なお、データ演算部６１０および学習部６２の機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

特徴量算出部６１８は欠陥画像の特徴量を算出し、記憶部６１９は予め準備された多数の欠陥画像（教師データ作成用の欠陥画像）を記憶する。なお、欠陥画像は図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよいし、別途用意されてもよい。初期割振部６１１、画像割振部６１２、繰返制御部６１３、典型画像候補決定部６１４およびカテゴリ決定部６１５の処理の内容については後述する。

図６は記憶部６１９内に記憶されている情報の構造の一部を示す図である。記憶部６１９では、図５に示す特徴量算出部６１８にて算出される欠陥画像の特徴量がその種類と共に欠陥画像のデータに関連付けられて記憶される。また、欠陥画像に対してカテゴリが決定（または、仮決定）されると当該カテゴリを示すカテゴリ番号が欠陥画像のデータに関連付けられたカテゴリ変数に記憶される。なお、初期状態ではカテゴリ変数には０が記憶されている。

図７．Ａおよび図７．Ｂは、教師データを作成して分類器を学習させる処理の流れを示す図である。まず、教師データ作成用の多数の（例えば、数千個の）欠陥画像のデータが図５に示す教師データ作成部６１の記憶部６１９に準備され（ステップＳ２０）、特徴量算出部６１８により全ての欠陥画像の複数種類の（例えば、１００〜２００種類の）特徴量が算出される（ステップＳ２１）。算出された特徴量は記憶部６１９に記憶される。また、ディスプレイ５５ではカテゴリ数の入力を促す表示が行われ、入力部５６において操作者による所望のカテゴリ数（２以上である。）の入力が受け付けられる（ステップＳ２２）。カテゴリ数が入力されると、初期割振部６１１では、複数の（原則として、全ての）欠陥画像のそれぞれが、当該カテゴリ数のカテゴリのいずれかへと不規則に割り振られる（すなわち、カテゴリが仮決定される。）（ステップＳ２３）。各カテゴリには異なる番号が割り当てられており、各欠陥画像のデータの図６に示すカテゴリ変数に、当該欠陥画像が割り振られたカテゴリの番号が記憶される。なお、初期割振部６１１では、各欠陥画像が、特定種類の特徴量の大きさの区分等、所定の規則に従っていずれかのカテゴリに割り振られてもよい。

画像割振部６１２では、特徴量の一の種類が選択され（以下、選択された種類の特徴量を「選択特徴量」という。）（ステップＳ２４）、各カテゴリに割り振られている欠陥画像の集合における複数の選択特徴量の代表値が算出される（ステップＳ２５）。ここで、特徴量の代表値とは、当該特徴量が分布する範囲の中央近傍を示す値であり、平均値や中央値、あるいは、一定幅の複数の区間のうち頻度が最も高い区間の中心値等である。

図８は選択特徴量を座標値とする軸上における一の欠陥画像の選択特徴量ｘ_αＮを示す図である。図８では、カテゴリ番号１のカテゴリに割り振られている欠陥画像の集合における選択特徴量の代表値ｖ_α１、カテゴリ番号２のカテゴリに割り振られている欠陥画像の集合における選択特徴量の代表値ｖ_α２、および、カテゴリ番号３のカテゴリに割り振られている欠陥画像の集合における選択特徴量の代表値ｖ_α３も示している。図８の例では、カテゴリ数が３であるが、カテゴリ数は、２または４以上であってもよい。

選択特徴量の代表値が算出されると、各欠陥画像の選択特徴量と、各カテゴリにおける選択特徴量の代表値との差がカテゴリ評価値として求められる（ステップＳ２６）。図８の例では、欠陥画像の選択特徴量ｘ_αＮとカテゴリ番号１のカテゴリにおける選択特徴量の代表値ｖ_α１との差の絶対値｜ｘ_αＮ−ｖ_α１｜、選択特徴量ｘ_αＮとカテゴリ番号２のカテゴリにおける選択特徴量の代表値ｖ_α２との差の絶対値｜ｘ_αＮ−ｖ_α２｜、および、選択特徴量ｘ_αＮとカテゴリ番号３のカテゴリにおける選択特徴量の代表値ｖ_α３との差の絶対値｜ｘ_αＮ−ｖ_α３｜がカテゴリ評価値として求められる。

続いて、各欠陥画像において、全てのカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに１票が投票される（ステップＳ２７）。図８の例では、全てのカテゴリ評価値のうち｜ｘ_αＮ−ｖ_α２｜が最も小さいため、カテゴリ番号２のカテゴリに１票が投票される。画像割振部６１２では、予めカテゴリ毎に投票用の変数が割り当てられており、カテゴリ番号２のカテゴリの当該変数に１が加算される。なお、変数は初期化の際に０になる。

各欠陥画像において最初の投票が完了すると、画像割振部６１２では、特徴量の全種類について投票を行ったか否かが確認される。ここでは、特徴量の全種類についての投票が完了していないため（ステップＳ２８）、選択特徴量の種類が変更される（ステップＳ２４）。そして、図８に示す場合と同様にして、各欠陥画像において、選択特徴量と、各カテゴリに割り振られている欠陥画像の集合における選択特徴量の代表値との差であるカテゴリ評価値が求められ（ステップＳ２５，Ｓ２６）、全てのカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票が行われる（ステップＳ２７）。なお、特徴量の種類によって１回の投票における票数が変更されてもよい（すなわち、特徴量の種類毎に重みが変更されてもよい。）。

特徴量の全種類について上記ステップＳ２４〜Ｓ２７の処理が繰り返されると（ステップＳ２８）、各欠陥画像が、全てのカテゴリのうち得票数が最も多いカテゴリに割り振られる（ステップＳ２９）。例えば、一の欠陥画像において、図９に示す投票結果が得られた場合には、得票数が最も多いカテゴリ番号１のカテゴリに当該欠陥画像が割り振られ、当該欠陥画像のデータのカテゴリ変数が「１」となる。このようにして、いくつかの（通常、多数の）欠陥画像において割り振られるカテゴリが変更され、各カテゴリにおける欠陥画像の集合が更新される。ステップＳ２９の処理の完了後、各カテゴリの投票用の変数は０になる。なお、各欠陥画像において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値（例えば、総得票数の１０％）以下である場合や、得票数が最も多いカテゴリが２以上存在する場合には、現在のカテゴリが維持されることが好ましい。各カテゴリにおける欠陥画像の集合をクラスタとして捉えると、上記ステップＳ２４〜Ｓ２９の処理はクラスタを更新する処理（または、クラスタリング処理）に相当する。

ここで、各欠陥画像をＫ個のカテゴリのいずれかに割り振る場合に（ただし、Ｋは２以上の整数）、当該欠陥画像の全種類の特徴量をベクトルＸにて表現し、各カテゴリにおける全種類の特徴量の代表値をベクトルＶ_ｊ（ｊは１以上Ｋ以下の整数）にて表現すると、上記ステップＳ２４〜Ｓ２９の処理は、ベクトルＸの各要素の値を全てのベクトルＶ_ｊの対応する要素の値と比較し、全てのベクトルＶ_ｊのうち、ベクトルＸの要素の値と最も近い値を有する要素の数が最大となる１つのベクトルＶ_ｊを特定する処理となる。

繰返制御部６１３では、所定の終了条件を満たしているか否かが確認される。本実施の形態では、ステップＳ２９においてカテゴリが変更される欠陥画像がない、すなわち、いずれの欠陥画像のカテゴリ変数も変更されない場合に終了条件が満たされる。ここでは、カテゴリが変更される欠陥画像が存在するため、終了条件を満たしていないことが確認され、上記ステップＳ２４〜Ｓ２９の処理が繰り返される（ステップＳ３０）。すなわち、各欠陥画像において、更新後の全てのカテゴリに対してカテゴリ評価値を求めて最小のカテゴリ評価値に対応するカテゴリに投票を行う処理が特徴量の全種類について繰り返され、得票数が最も多いカテゴリに各欠陥画像が割り振られ、各カテゴリにおける欠陥画像の集合が更新される。

このようにして、繰返制御部６１３では、終了条件が満たされる、すなわち、カテゴリが変更される欠陥画像がなくなるまで画像割振部６１２における処理が繰り返される（ステップＳ３０）。終了条件は、他の条件であってもよく、例えば、特徴量の全種類にそれぞれ対応する多数の次元にて規定される特徴量空間において、各カテゴリの位置を全種類の特徴量の代表値にて表す場合に、更新直前の各カテゴリの位置と、更新直後の当該カテゴリの位置との間の距離（ユークリッド距離）を移動量として求め、全てのカテゴリの移動量の和が所定値以下となる場合が、終了条件であってもよい。このように、終了条件は、各カテゴリにおいて複数種類の特徴量の代表値の更新前後における変化がなくなる、または、およそなくなる状態であると捉えることができる。

終了条件が満たされると、典型画像候補決定部６１４では、最後のステップＳ２９の処理にて形成された各カテゴリに割り振られている欠陥画像の集合から典型画像の候補である典型画像候補が決定される（ステップＳ３１）。ここで、典型画像とは、各カテゴリに属する典型的な欠陥を示すと考えられる欠陥画像である。

図１０は、典型画像候補を決定する処理の流れを示す図である。典型画像候補の決定処理では、特徴量の一の種類が選択され（ステップＳ４１）、各カテゴリに割り振られている欠陥画像の集合における当該種類の特徴量の代表値が算出される（ステップＳ４２）。続いて、各カテゴリにおける当該種類の特徴量の代表値と、当該カテゴリに割り振られている各欠陥画像の当該種類の特徴量との差が画像評価値として求められる（ステップＳ４３）。すなわち、各カテゴリにおいて当該カテゴリに割り振られている複数の（全ての）欠陥画像に対する画像評価値が求められる。続いて、当該カテゴリの全ての欠陥画像に対する画像評価値のうち最小の画像評価値が特定され、当該画像評価値が求められた欠陥画像に投票が行われる（ステップＳ４４）。

各カテゴリにおいて最初の投票が完了すると、典型画像候補決定部６１４では、特徴量の全種類について投票を行ったか否かが確認される。ここでは、特徴量の全種類についての投票が完了していないため（ステップＳ４５）、特徴量の他の一の種類が選択される（ステップＳ４１）。そして、上記と同様にして、各カテゴリにおいて、当該種類の特徴量の代表値と、当該カテゴリに割り振られている各欠陥画像の当該種類の特徴量との差が画像評価値として求められ（ステップＳ４２，Ｓ４３）、最小の画像評価値に対応する欠陥画像に投票が行われる（ステップＳ４４）。

特徴量の全種類について上記ステップＳ４１〜Ｓ４４の処理が繰り返されると（ステップＳ４５）、各カテゴリに割り振られている欠陥画像のうち得票数が最も多い欠陥画像が当該カテゴリの典型画像候補として決定される（ステップＳ４６）。ここで、各カテゴリにおける得票数が最も多い欠陥画像は、全種類の特徴量が当該カテゴリの欠陥画像の集合における全種類の特徴量の代表値に最も近い欠陥画像であると捉えることができる。以上のように、典型画像候補決定部６１４では、既述の終了条件を満たした際に各カテゴリに割り振られている欠陥画像の集合において、全種類の特徴量が当該欠陥画像の集合における全種類の特徴量の代表値に最も近い欠陥画像が当該カテゴリの典型画像候補として決定される。

各カテゴリに割り振られているＫ個の欠陥画像から１つの典型画像候補を決定する場合に（ただし、Ｋは２以上の整数）、当該カテゴリの全種類の特徴量の代表値をベクトルＸにて表現し、当該カテゴリに割り振られている各欠陥画像における全種類の特徴量をベクトルＶ_ｊ（ｊは１以上Ｋ以下の整数）にて表現すると、上記ステップＳ４１〜Ｓ４６の処理は、ベクトルＸの各要素の値を全てのベクトルＶ_ｊの対応する要素の値と比較し、全てのベクトルＶ_ｊのうち、ベクトルＸの要素の値と最も近い値を有する要素の数が最大となる１つのベクトルＶ_ｊを特定する処理となる。既述のように、画像割振部６１２では、一の欠陥画像の全種類の特徴量をベクトルＸ、各カテゴリにおける全種類の特徴量の代表値をベクトルＶ_ｊとして上記と同様の処理が行われるため、画像割振部６１２および典型画像候補決定部６１４では、同じアルゴリズムの処理が行われる。なお、特徴量の全種類にそれぞれ対応する多数の次元にて規定される特徴量空間において、各カテゴリの位置を全種類の特徴量の代表値にて表し、当該カテゴリに割り振られている各欠陥画像の位置を全種類の特徴量にて表す場合に、当該カテゴリの位置との間のユークリッド距離が最も小さい位置の欠陥画像が典型画像候補として決定されてもよい。

以上のようにして、各カテゴリに対して典型画像候補が決定されると（図７．Ｂ：ステップＳ３１）、典型画像候補はカテゴリ毎にディスプレイ５５に表示される（ステップＳ３２）。ここで、終了条件を満たした際の各カテゴリにおける欠陥画像の集合や、各カテゴリにおける典型画像候補は、必ずしも操作者が好ましいと考えるもの、あるいは、意図したものではない。したがって、ディスプレイ５５では操作者による所望の典型画像の選択を促す表示が行われ、入力部５６において、各カテゴリに対して典型画像を選択する入力が受け付けられる（ステップＳ３３）。

既述のように典型画像は、各カテゴリに属する典型的な欠陥を示すと考えられる欠陥画像であり、典型画像の選択の際には、各カテゴリに割り振られている他の欠陥画像等もディスプレイ上５５に表示可能である。詳細には、上記ステップＳ４１〜Ｓ４５の処理により得られた投票結果が上位である他の欠陥画像や、個別の特徴量等の情報も操作者の指示に従って表示可能であり、特徴量の情報を参照しつつ各カテゴリの典型画像候補と当該カテゴリに割り振られている他の欠陥画像とを比較することにより、各カテゴリに対して最も好ましいと考えられる典型画像が操作者により選択される。なお、各カテゴリに対して複数の典型画像が選択されてもよい。

各カテゴリに対して典型画像が決定されると、カテゴリ決定部６１５では、全てのカテゴリの典型画像が典型画像候補と一致するか否かが確認される。いずれかのカテゴリにおいて典型画像が典型画像候補と相違する場合（いずれかのカテゴリにおいて複数の典型画像が選択される場合を含む。）には（ステップＳ３４）、全てのカテゴリの典型画像に基づいて、典型画像を除く各欠陥画像が属するカテゴリが決定される（ステップＳ３５）。図１１は、各欠陥画像のカテゴリを決定する処理の流れを示す図である。

各欠陥画像のカテゴリの決定処理では、特徴量の一の種類が選択され（ステップＳ５１）、各欠陥画像において当該種類の特徴量と、各カテゴリにおける典型画像の当該種類の特徴量との差が特徴量差として求められる（ステップＳ５２）。すなわち、各欠陥画像において全てのカテゴリの典型画像に対する特徴量差が求められる。なお、複数の典型画像が選択されたカテゴリでは、複数の特徴量差が求められる。続いて、全ての典型画像に対する特徴量差のうち最小の特徴量差となる典型画像が属するカテゴリに投票が行われる（ステップＳ５３）。

各欠陥画像において最初の投票が完了すると、カテゴリ決定部６１５では、特徴量の全種類について投票を行ったか否かが確認される。ここでは、特徴量の全種類についての投票が完了していないため（ステップＳ５４）、特徴量の他の一の種類が選択される（ステップＳ５１）。そして、上記と同様にして、各欠陥画像において、当該種類の特徴量と、典型画像の当該種類の特徴量との差が特徴量差として求められ（ステップＳ５２）、最小の特徴量差に対応するカテゴリに投票が行われる（ステップＳ５３）。

特徴量の全種類について上記ステップＳ５１〜Ｓ５３の処理が繰り返されると（ステップＳ５４）、各欠陥画像が、複数のカテゴリのうち得票数が最も多いカテゴリに割り振られ、当該欠陥画像が属する最終的なカテゴリが決定される（ステップＳ５５）。ここで、各欠陥画像における得票数が最も多いカテゴリは、典型画像における全種類の特徴量が当該欠陥画像の全種類の特徴量に最も近いカテゴリであると捉えることができる。以上のように、カテゴリ決定部６１５では、各カテゴリにおける典型画像に基づいて、各欠陥画像が属するカテゴリが決定される。なお、各欠陥画像において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値（例えば、総得票数の１０％）以下である場合や、得票数が最も多いカテゴリが２以上存在する場合には、欠陥画像は未分類のままとされることが好ましい。

各欠陥画像をＫ個のカテゴリのいずれかに割り振る場合に（ただし、Ｋは２以上の整数）、当該欠陥画像の全種類の特徴量をベクトルＸにて表現し、各カテゴリにおける典型画像の全種類の特徴量をベクトルＶ_ｊ（ｊは１以上Ｋ以下の整数）にて表現すると（ただし、複数の典型画像が選択されるカテゴリでは、ベクトルＶ_ｊの各要素が複数の値を有するものとする。）、上記ステップＳ５１〜Ｓ５５の処理は、ベクトルＸの各要素の値を全てのベクトルＶ_ｊの対応する要素の値と比較し、全てのベクトルＶ_ｊのうち、ベクトルＸの要素の値と最も近い値を有する要素の数が最大となる１つのベクトルＶ_ｊを特定する処理となる。既述のように、画像割振部６１２では、一の欠陥画像の全種類の特徴量をベクトルＸ、各カテゴリにおける全種類の特徴量の代表値をベクトルＶ_ｊとして上記と同様の処理が行われるため、画像割振部６１２およびカテゴリ決定部６１５では、同じアルゴリズムの処理が行われる。なお、特徴量空間において、各欠陥画像の位置との間のユークリッド距離が最も小さい位置の典型画像が属するカテゴリが、当該欠陥画像のカテゴリとして決定されてもよい。

一方、全てのカテゴリにおいて操作者により選択された典型画像が典型画像候補と一致する場合には（図７．Ｂ：ステップＳ３４）、図１１の処理は行われず、各欠陥画像の現在のカテゴリが最終的なカテゴリとして決定される（ステップＳ３６）。すなわち、ステップＳ３０において終了条件を満たした際に各欠陥画像が割り振られているカテゴリが、そのまま維持される。

上記ステップＳ３５またはステップＳ３６の処理により各欠陥画像の最終的なカテゴリが決定されると、カテゴリが決定された欠陥画像（典型画像を含む。）のデータ、並びに、これらの特徴量およびカテゴリの情報が教師データとして記憶部６１９から学習部６２に転送され、学習部６２にて教師データを用いて分類器の学習が行われる（ステップＳ３７）。すなわち、分類器（図４参照）を構成する変数の値が決定されたり、構造が決定されて分類器４２１が生成される。

以上に説明したように、教師データ作成装置である教師データ作成部６１では、各欠陥画像において、カテゴリ評価値に基づく複数のカテゴリへの投票を、特徴量の複数種類について行うことにより、各欠陥画像のカテゴリが修正されて各カテゴリにおける欠陥画像の集合が更新される。各カテゴリにおける欠陥画像の集合の更新は所定の終了条件を満たすまで繰り返され、終了条件を満たした際に各カテゴリに割り振られている欠陥画像の集合において、複数種類の特徴量が、当該集合における複数種類の特徴量の代表値に最も近い欠陥画像が当該カテゴリの典型画像候補として決定される。これにより、各カテゴリにおける典型画像候補や、当該カテゴリに割り振られている他の欠陥画像、あるいは、特徴量に関する情報を確認して、特徴量空間における各カテゴリの分布の特徴（クラスタ形成の傾向）等を把握することができる。その結果、操作者が好ましい典型画像を容易に決定することが可能となり（すなわち、典型画像の決定を支援することができ）、教師データに利用される欠陥画像のカテゴリの決定を適切に行うことができる。

ここで、仮に、特徴量の全種類にそれぞれ対応する多数の次元にて規定される特徴量空間において、各欠陥画像の位置に対してユークリッド距離が最も小さい位置（全種類の特徴量の代表値にて特定される位置）となるカテゴリに当該欠陥画像を割り振って各カテゴリの欠陥画像の集合を更新する比較例の場合（すなわち、非階層型クラスタリングの代表例であるＫ平均法を用いる場合）、特徴量の種類毎の数値範囲のばらつきの影響を抑制するために全種類のカテゴリ評価値を正規化する処理や、分散分析（いわゆる、ＡＮＯＶＡ（analysis of variance））等により不必要な特徴量の種類を排除する処理が必要となり、また、ユークリッド距離の演算量も膨大となる。実際には、ユークリッド距離では特徴量の種類（次元）が多くなるほど、各欠陥画像の位置と複数のカテゴリの位置との間の距離の差が生じにくくなり（いわゆる、次元の呪い）、各カテゴリにおける欠陥画像の集合（クラスタ）を適切に更新することができない場合がある。

これに対し、教師データ作成部６１では、各カテゴリにおけるクラスタの更新において、特徴量の各種類についてカテゴリへの投票が行われるため、ユークリッド距離を求めてクラスタを更新する比較例の場合に比べて、演算量を低減しつつ各カテゴリにおけるクラスタを適切に更新することができ、典型画像候補の決定を高速に行うことができる。また、画像分類装置１では、操作者が手動にて各欠陥画像にカテゴリを付与する場合に比べて、誤ったカテゴリに属する欠陥画像が低減されるため、特徴量空間において各カテゴリにおける複数の欠陥画像が典型画像を中心としてばらつきの少ない状態で分布し、その結果、分類器の学習を早く終了させることができる。

教師データ作成部６１では、各カテゴリにおける欠陥画像の集合の更新と、典型画像候補の決定とが同様のアルゴリズムにて行われるため、教師データ作成部６１の構成を簡素化することができる。また、各カテゴリにおける欠陥画像の集合の更新と、各欠陥画像の最終的なカテゴリの決定とが同様のアルゴリズムにて行われるため、教師データ作成部６１の構成をさらに簡素化することができる。

画像分類装置１では、図７．ＡのステップＳ２７において、全てのカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票を行う際に、例えば、２番目に小さいカテゴリ評価値が最小のカテゴリ評価値に近似する（例えば、最小のカテゴリ評価値の１．１倍以下である）場合には、投票が行われないことが好ましい。

このような特徴量の種類は、欠陥画像のカテゴリへの割り振りにおいてあまり有効ではないと考えられるが、比較例の場合には、このような特徴量を含めてユークリッド距離が求められる。これに対し、教師データ作成部６１では、最小のカテゴリ評価値に近似するものが、複数のカテゴリに対するカテゴリ評価値に含まれる場合に、投票が行われないことにより、上記のような特徴量の種類を実質的に除外することができ、各カテゴリにおける欠陥画像の集合の更新を適切に行うことができる。

以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。

上記実施の形態では、複数の欠陥画像のデータが準備された状態で、入力部５６においてカテゴリ数の入力を受け付けることにより、各カテゴリの典型画像候補を自動的に決定することが可能であるが、教師データ作成部６１では、カテゴリ数が予め設定されていてもよい。この場合、複数の欠陥画像のデータが準備されることにより、各カテゴリの典型画像候補が自動的に決定される。

画像分類装置１において、教師データに利用される多数の欠陥画像の特徴量が検査・分類装置４にて算出されてもよい。

また、教師データから欠陥画像のデータが省略されてもよく、この場合、欠陥画像を特定する変数が教師データに設けられる。また、教師データから特徴量が省略され、学習部６２において欠陥画像のデータに基づいて特徴量が求められてもよい。

上記実施の形態では、欠陥検査装置に自動欠陥分類の機能を付加した画像分類装置１について説明したが、他の欠陥検査装置にて検出された基板上の欠陥を観察する観察装置（レビュー装置とも呼ばれる。）に自動欠陥分類の機能を付加した装置（同様に、画像分類装置として捉えることができる。）において、上記教師データ作成部６１が用いられてもよい。このような画像分類装置における撮像装置では、欠陥をより高度に解析するため、図１の撮像装置２に比べて高い解像度の撮像画像が取得される。

また、画像分類装置１では、可視光による画像以外に、電子線やＸ線等により取得される画像が分類されてもよい。また、半導体基板に代えてガラス基板（例えば、平面表示装置用のガラス基板）、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
９ 基板
５５ ディスプレイ
５６ 入力部
６１ 教師データ作成部
４２１ 分類器
６１１ 初期割振部
６１２ 画像割振部
６１３ 繰返制御部
６１４ 典型画像候補決定部
６１５ カテゴリ決定部
Ｓ１４，Ｓ２２〜Ｓ３７，Ｓ４１〜Ｓ４６，Ｓ５１〜Ｓ５５ ステップ

Claims (7)

1. 基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、
   ａ）複数の欠陥画像のそれぞれを複数のカテゴリのいずれかへと仮に割り振る工程と、
   ｂ）各欠陥画像において、一の種類の特徴量と、各カテゴリに割り振られている欠陥画像の集合における前記一の種類の特徴量の代表値との差をカテゴリ評価値として求め、前記複数のカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票を行う工程と、
   ｃ）前記ｂ）工程を特徴量の複数種類について繰り返す工程と、
   ｄ）前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各カテゴリにおける欠陥画像の集合を更新する工程と、
   ｅ）前記ｄ）工程において、前記各カテゴリにおける欠陥画像の集合の更新前後での複数種類の特徴量の代表値の変化がなくなる状態を終了条件として、前記終了条件を満たすまで、前記ｂ）ないしｄ）工程を繰り返す工程と、
   ｆ）前記終了条件を満たした際に前記各カテゴリに割り振られている欠陥画像の集合において、複数種類の特徴量が前記集合における前記複数種類の特徴量の代表値に最も近い欠陥画像を前記各カテゴリの典型画像候補として決定する工程と、
   ｇ）前記典型画像候補を表示部に表示する工程と、
   ｈ）前記各カテゴリにおける典型画像を選択する入力を受け付ける工程と、
   ｉ）前記各カテゴリにおける前記典型画像に基づいて、前記各欠陥画像が属するカテゴリを決定する工程と、
   を備えることを特徴とする教師データ作成方法。
2. 請求項１に記載の教師データ作成方法であって、
   前記ｆ）工程が、
   ｆ１）前記各カテゴリにおいて、一の種類の特徴量の代表値と、前記各カテゴリに割り振られている各欠陥画像の前記一の種類の特徴量との差を画像評価値として求め、前記各カテゴリに割り振られている欠陥画像に対する画像評価値のうち最小の画像評価値に対応する欠陥画像に投票を行う工程と、
   ｆ２）前記ｆ１）工程を特徴量の複数種類について繰り返す工程と、
   ｆ３）前記各カテゴリに割り振られている欠陥画像のうち得票数が最も多い欠陥画像を前記典型画像候補として決定する工程と、
   を備えることを特徴とする教師データ作成方法。
3. 請求項１または２に記載の教師データ作成方法であって、
   前記ｉ）工程が、
   ｉ１）前記各欠陥画像において、一の種類の特徴量と、前記各カテゴリにおける前記典型画像の前記一の種類の特徴量との差を特徴量差として求め、前記複数のカテゴリの典型画像に対する特徴量差のうち最小の特徴量差に対応するカテゴリに投票を行う工程と、
   ｉ２）前記ｉ１）工程を特徴量の複数種類について繰り返す工程と、
   ｉ３）前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各欠陥画像が属するカテゴリを決定する工程と、
   を備えることを特徴とする教師データ作成方法。
4. 請求項１ないし３のいずれかに記載の教師データ作成方法であって、
   前記ｂ）工程において、前記最小のカテゴリ評価値に近似するものが、前記複数のカテゴリに対するカテゴリ評価値に含まれる場合に、投票が行われないことを特徴とする教師データ作成方法。
5. 請求項１ないし４のいずれかに記載の教師データ作成方法であって、
   前記ａ）工程の前に、カテゴリ数の入力を受け付ける工程をさらに備えることを特徴とする教師データ作成方法。
6. 基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、
   請求項１ないし５のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、
   前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程と、
   を備えることを特徴とする画像分類方法。
7. 基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、
   欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、
   欠陥画像を分類する分類器と、
   を備え、
   前記教師データ作成部が、
   複数の欠陥画像のそれぞれを複数のカテゴリのいずれかへと仮に割り振る初期割振部と、
   各欠陥画像において、一の種類の特徴量と、各カテゴリに割り振られている欠陥画像の集合における前記一の種類の特徴量の代表値との差をカテゴリ評価値として求め、前記複数のカテゴリに対するカテゴリ評価値のうち最小のカテゴリ評価値に対応するカテゴリに投票を行う処理を、特徴量の複数種類について繰り返すことにより、前記各欠陥画像を、前記複数のカテゴリのうち得票数が最も多いカテゴリに割り振って前記各カテゴリにおける欠陥画像の集合を更新する画像割振部と、
   前記画像割振部において、前記各カテゴリにおける欠陥画像の集合の更新前後での複数種類の特徴量の代表値の変化がなくなる状態を終了条件として、前記終了条件を満たすまで、前記画像割振部における処理を繰り返す繰返制御部と、
   前記終了条件を満たした際に前記各カテゴリに割り振られている欠陥画像の集合において、複数種類の特徴量が前記集合における前記複数種類の特徴量の代表値に最も近い欠陥画像を前記各カテゴリの典型画像候補として決定する典型画像候補決定部と、
   前記典型画像候補を表示する表示部と、
   前記各カテゴリにおける典型画像を選択する入力を受け付ける入力部と、
   前記各カテゴリにおける前記典型画像に基づいて、前記各欠陥画像が属するカテゴリを決定するカテゴリ決定部と、
   を備えることを特徴とする画像分類装置。

Images