JP6425468B2 - 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置 - Google Patents

Description

本発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する技術、および、当該技術を利用して画像を分類する技術に関する。

半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。

近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類も用いられる。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現される。自動分類では、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある（分類器の生成について、例えば、特許文献１参照）。典型的には、各欠陥画像のカテゴリをオペレータが決定することにより、教師データが作成される。

教師データの作成では、オペレータによるカテゴリの判定があいまいである場合、分類器の学習用データに矛盾したデータが含まれ、分類器の性能が低下してしまうおそれがある。そこで、特許文献２の欠陥分類方法では、上記矛盾したデータの抽出を図る技術が開示されている。当該欠陥分類方法では、教師データを使用した学習により判別関数が求められ、当該判別関数を用いて教師データに含まれる各欠陥画像が各カテゴリに分類される。そして、分類結果である分類カテゴリと教師データ内の初期カテゴリとが一致しないデータが、オペレータに提示される。オペレータは、当該データの初期カテゴリを修正し、または、当該データを教師データから除外する。

また、教師データの作成では、分類器の分類性能を向上するために、多数の欠陥画像に対してオペレータがカテゴリを決定する必要があり、オペレータの作業負担が大きい。そこで、特許文献３の欠陥検査方法では、少数の適切な欠陥画像に対するカテゴリ決定を行うことにより、分類性能の向上を図る技術が開示されている。当該欠陥検査方法では、欠陥画像のカテゴリをオペレータが決定する毎に、分類基準の算出（すなわち、分類器の学習）が行われるとともに、新たな分類器の分類性能が算出される。そして、分類性能が向上しなくなるまで、オペレータによる新たな欠陥画像のカテゴリ決定、分類基準の算出、および、分類性能の算出が繰り返される。

特許文献４〜６では、分類器の学習に利用される教師データを作成する際に、未分類の教師画像（欠陥画像）のカテゴリを自動的に決定する技術が提案されている。特許文献４の教示用データ作成方法では、新たに入力された教師画像を分類器により分類した結果と、最近傍法により分類した結果とが比較され、妥当性が高いカテゴリが当該教師画像のカテゴリとして自動的に決定される。特許文献５の教師データ作成方法では、未分類の教師画像について、特徴量空間における当該教師画像と分類済みの教師画像である典型画像との距離に応じて当該教師画像を仮分類し、仮分類された教師画像を分類器により再分類する工程が、教師画像の全てについての分類結果が変化しなくなるまで繰り返される。特許文献６の教師データ作成方法では、分類済みの教師画像である典型画像に基づいて、未分類の教師画像における複数の特徴量のそれぞれについてカテゴリへの投票が行われ、得票数が最も多いカテゴリが未分類の教師画像のカテゴリとして自動的に決定される。

特許文献７〜９では、欠陥画像の分類について、分類器による事例学習型以外の分類方法（例えば、怠惰学習型の分類方法）が開示されている。特許文献７の教師データ作成支援方法では、分類済みの欠陥画像のカテゴリの妥当性を検証する技術が提案されている。当該教師データ作成支援方法では、各特徴量の分散に基づいて設定された特徴量範囲に欠陥画像の特徴量が含まれる場合、当該特徴量範囲に対応するカテゴリへの投票が行われ、当該欠陥画像が属する初期カテゴリと得票数が最も多いカテゴリとが一致するか否かが検証される。

特許文献８の類似画像探索方法では、基準画像を表す複数の特徴量をそれぞれ座標軸とする多次元の特徴量空間において、各座標軸にて基準画像が位置する基準座標点の近傍に共通して位置する画像が、基準画像に類似した画像として特定される。また、特許文献９の教師データ検証装置では、各教師画像が複数のカテゴリにそれぞれ属すると仮定した場合の妥当性を示す複数の評価値が取得され、当該複数の評価値から求められる教師画像のカテゴリと、当該教師画像が属する初期カテゴリとが一致するか否かが検証される。

特開２００３−３１７０８３号公報 特開平１１−３４４４５０号公報 特開２０１０−５４３４６号公報 特開２０００−５７３４９号公報 特開２０１１−１５８３７３号公報 特開２０１０−７１８２６号公報 特開２０１０−９１４０１号公報 特開２０１４−６６１３号公報 特開２０１４−７０９４４号公報

ところで、分類器の学習に利用される教師データの作成では、上述のように、多数の欠陥画像に対して適切なカテゴリを決定する必要がある。特許文献３の方法では、欠陥画像のカテゴリをオペレータが決定する毎に、分類器の学習および分類性能の算出が行われるため、教師データの作成に長時間を要する。また、分類性能を向上させるためのカテゴリ決定の方針が不明であるため、教師データを容易に作成することができないおそれがある。

特許文献４では、未分類の全ての教師画像について、分類器による分類と最近傍法による分類とを行う必要があり、教師データの作成が複雑化してしまう。特許文献５および特許文献６では、少数の典型画像による教師画像の自動分類が行われるが、適切な典型画像が選択されない場合、各教師画像に対して適切な分類が行われず、汎化能力が高い分類器を生成するための教師データの作成が困難となるおそれがある。しかしながら、教師データに含まれる予定の教師画像が多数存在する場合、オペレータが好ましい典型画像を選択することは容易ではない。

本発明は、上記課題に鑑みなされたものであり、汎化能力が高い分類器を生成するための教師データを容易に作成することを目的としている。

請求項１に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援をコンピュータが実行する教師データ作成支援方法であって、ａ）それぞれが複数のカテゴリのいずれかを初期カテゴリとして割り振られた複数の対象画像である対象画像群と前記複数の対象画像の初期カテゴリとの関係を示す初期データを準備する工程と、ｂ）前記対象画像群のうち少なくとも一部の画像の集合である学習対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により、前記対象画像群に含まれる各対象画像の分類カテゴリを取得する工程と、ｃ）前記ｂ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが異なる対象画像を前記対象画像群から除去して前記対象画像群を更新する工程と、ｄ）前記ｃ）工程において予め定められた純化条件が満たされるまで、前記ｂ）工程および前記ｃ）工程を行う工程と、ｅ）前記ｄ）工程よりも後に、最新の前記対象画像群と初期カテゴリとの関係を示すマスタデータを用いて学習を行うことにより生成される分類器により、前記ｃ）工程にて除去された対象画像の集合である除去画像群の各除去画像について分類カテゴリを取得する工程と、ｆ）前記ｅ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程とを備える。

請求項２に記載の発明は、請求項１に記載の教師データ作成支援方法であって、前記ｂ）工程において、最初の前記学習対象画像群が、初期状態の前記対象画像群と同じである。

請求項３に記載の発明は、請求項１または２に記載の教師データ作成支援方法であって、ｇ）前記ｆ）工程よりも後に、最新の前記対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により、最新の前記除去画像群の各除去画像について分類カテゴリを取得する工程と、ｈ）前記ｇ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程と、ｉ）前記ｈ）工程において前記対象画像群に戻される除去画像が存在する限り、前記ｇ）工程および前記ｈ）工程を繰り返す工程とをさらに備える。

請求項４に記載の発明は、請求項３に記載の教師データ作成支援方法であって、ｊ）前記ｉ）工程よりも後に、最新の前記除去画像群に含まれる各除去画像について、前記ｇ）工程における最新の前記データを用いた画像の特徴量に基づく近傍探索法により、分類カテゴリを取得する工程と、ｋ）前記ｊ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程とをさらに備える。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の教師データ作成支援方法であって、ｌ）初期カテゴリの割り振りが行われていない要教示画像群を準備する工程と、ｍ）前記ｄ）工程よりも後に、前記マスタデータを用いた画像の特徴量に基づく近傍探索法により、前記要教示画像群に含まれる各要教示画像の分類カテゴリを取得する工程と、ｎ）前記要教示画像群と前記ｍ）工程にて取得された分類カテゴリとの関係を示すデータを前記マスタデータに追加して追加済マスタデータを生成する工程とをさらに備える。

請求項６に記載の発明は、請求項５に記載の教師データ作成支援方法であって、ｏ）前記ｎ）工程よりも前に、前記ｍ）工程にて取得された分類カテゴリの妥当性を示す評価値が予め定められた閾値未満である要教示画像を、前記要教示画像群から削除するとともに要検討画像群に追加して前記要教示画像群および前記要検討画像群を更新する工程をさらに備える。

請求項７に記載の発明は、請求項６に記載の教師データ作成支援方法であって、ｐ）前記ｎ）工程よりも後に、最新の前記追加済マスタデータを用いた前記近傍探索法により、前記要検討画像群に含まれる各要検討画像の分類カテゴリを取得する工程と、ｑ）前記ｐ）工程にて取得された分類カテゴリの妥当性を示す前記評価値が前記閾値以上である要検討画像を、追加教示画像に変更するとともに前記要検討画像群から削除して前記要検討画像群を更新する工程と、ｒ）前記追加教示画像と前記ｐ）工程にて取得された分類カテゴリとの関係を示すデータを前記追加済マスタデータに追加して前記追加済マスタデータを更新する工程と、ｓ）前記ｑ）工程において前記追加教示画像に変更される要検討画像が存在する限り、前記ｐ）工程ないし前記ｒ）工程を繰り返す工程とをさらに備える。

請求項８に記載の発明は、画像を分類する画像分類方法であって、請求項１ないし７のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて分類器を学習させる工程と、前記分類器により画像を分類する工程とを備える。

請求項９に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、それぞれが複数のカテゴリのいずれかを初期カテゴリとして割り振られた複数の対象画像である対象画像群と前記複数の対象画像の初期カテゴリとの関係を示す初期データを記憶する記憶部と、前記対象画像群に含まれる各対象画像について、前記対象画像群のうち少なくとも一部の画像の集合である学習対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが異なる場合に、対象画像を前記対象画像群から除去して前記対象画像群を更新する処理を純化処理として、予め定められた純化条件が満たされるまで前記純化処理を行う純化処理部と、前記純化処理部により除去された対象画像の集合である除去画像群の各除去画像について、前記純化処理後の最新の前記対象画像群と初期カテゴリとの関係を示すマスタデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する非純化処理を行う非純化処理部とを備える。

請求項１０に記載の発明は、請求項９に記載の教師データ作成支援装置であって、前記純化処理部において、最初の前記学習対象画像群が、初期状態の前記対象画像群と同じである。

請求項１１に記載の発明は、請求項９または１０に記載の教師データ作成支援装置であって、前記非純化処理後の最新の前記除去画像群に含まれる各除去画像について、前記非純化処理後の最新の前記対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する再非純化処理を、前記再非純化処理において前記対象画像群に戻される除去画像が存在する限り前記非純化処理部に繰り返させる非純化処理制御部をさらに備える。

請求項１２に記載の発明は、請求項１１に記載の教師データ作成支援装置であって、前記再非純化処理の繰り返し後の最新の前記除去画像群に含まれる各除去画像について、前記再非純化処理の繰り返し後の最新の前記データを用いた画像の特徴量に基づく近傍探索法により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する追加非純化処理部をさらに備える。

請求項１３に記載の発明は、請求項９ないし１２のいずれかに記載の教師データ作成支援装置であって、前記記憶部が、初期カテゴリの割り振りが行われていない要教示画像群を記憶し、前記教師データ作成支援装置が、前記マスタデータを用いた画像の特徴量に基づく近傍探索法により、前記要教示画像群に含まれる各要教示画像の分類カテゴリを取得する要教示画像分類部と、前記要教示画像群と前記要教示画像分類部により取得された分類カテゴリとの関係を示すデータを、前記マスタデータに追加して追加済マスタデータを生成するデータ更新部とをさらに備える。

請求項１４に記載の発明は、請求項１３に記載の教師データ作成支援装置であって、前記要教示画像分類部により取得された分類カテゴリの妥当性を示す評価値が予め定められた閾値未満である要教示画像を、前記データ更新部による前記追加済マスタデータの生成よりも前に、前記要教示画像群から削除するとともに要検討画像群に追加して前記要教示画像群および前記要検討画像群を更新する要検討画像抽出部をさらに備える。

請求項１５に記載の発明は、請求項１４に記載の教師データ作成支援装置であって、前記要検討画像群に含まれる各要検討画像について、最新の前記追加済マスタデータを用いた前記近傍探索法により取得された分類カテゴリの妥当性を示す前記評価値が前記閾値以上である場合に、要検討画像を追加教示画像に変更するとともに前記要検討画像群から削除して前記要検討画像群を更新し、前記追加教示画像と前記分類カテゴリとの関係を示すデータを前記追加済マスタデータに追加して前記追加済マスタデータを更新する追加教示処理を行う追加教示処理部と、前記追加教示処理において前記追加教示画像に変更される要検討画像が存在する限り、前記追加教示処理を前記追加教示処理部に繰り返させる追加教示処理制御部とをさらに備える。

請求項１６に記載の発明は、画像を分類する画像分類装置であって、請求項９ないし１５のいずれかに記載の教師データ作成支援装置と、前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われるとともに、画像を分類する分類器とを備える。

本発明では、汎化能力が高い分類器を生成するための教師データを容易に作成することができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能を示すブロック図である。 教師データ作成部の機能を示すブロック図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）等の対象物上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。基板９上に存在する欠陥の種類（カテゴリ）は、例えば、欠損、突起、断線、ショート、異物である。

画像分類装置１は、撮像装置２と、検査・分類装置４と、ホストコンピュータ５とを備える。撮像装置２は、基板９上の検査対象領域を撮像する。検査・分類装置４は、撮像装置２からの画像データに基づいて検査対象領域の欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべきカテゴリへと欠陥を自動分類する。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに、検査・分類装置４における欠陥の分類に利用される分類器４２１を生成する。撮像装置２は、基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１と、ステージ２２と、ステージ駆動部２３とを備える。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。ステージ２２は、基板９を保持する。ステージ駆動部２３は、撮像部２１に対してステージ２２を相対的に移動する。撮像部２１は、照明部２１１と、光学系２１２と、撮像デバイス２１３とを備える。照明部２１１は、照明光を出射する。光学系２１２は、基板９に照明部２１１からの照明光を導く。また、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３は、ボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５が、ステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は、各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成される。自動欠陥分類部４２は、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。

図２は、画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと送信される。自動欠陥分類部４２は、欠陥画像の複数種類の特徴量の値を算出し（ステップＳ１３）、欠陥画像の特徴量の値が自動欠陥分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により、欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に、特徴量の値の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の学習について説明する。図３は、ホストコンピュータ５の構成を示す図である。ホストコンピュータ５は、各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、オペレータからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。

ホストコンピュータ５では、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶される。さらに、プログラム８０はＲＡＭ５３にコピーされ、ＣＰＵ５１によりＲＡＭ５３内のプログラム８０に従って演算処理が実行される。

図４は、分類器を学習させるための機能構成を示すブロック図である。当該機能は、ホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される。図４では、検査・分類装置４も併せて示す。ホストコンピュータ５は、分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。

教師データは、欠陥画像である教師画像のデータ、教師画像の特徴量の値、および、欠陥のカテゴリを示す情報である教示信号を含む。教師画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された教師画像の特徴量の値が、ホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。

図５は、ホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図である。図５では、学習部６２も併せて示す。教師データ作成部６１は、データ演算部６１０と、ディスプレイ５５と、入力部５６とを備える。データ演算部６１０は、記憶部６１１と、純化処理部６１２と、非純化処理部６１３と、非純化処理制御部６１４と、追加非純化処理部６１５と、特徴量算出部６１６と、要教示画像分類部６４１と、データ更新部６４２と、要検討画像抽出部６４３と、追加教示処理部６４４と、追加教示処理制御部６４５とを備える。データ演算部６１０の処理の詳細については後述する。なお、データ演算部６１０および学習部６２の機能は、専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

図６および図７は、教師データを作成して分類器を学習させる処理の流れを示す図である。教師データ作成部６１では、まず、教師データ作成用の欠陥画像である複数の教師画像（例えば、数千個〜数万個の教師画像）のデータが、図５に示す記憶部６１１に記憶されて準備される（ステップＳ２１）。なお、教師画像は、図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよく、あるいは、別途用意されてもよい。

続いて、特徴量算出部６１６により、各教師画像の複数種類の特徴量が算出され、記憶部６１１に記憶される。また、ディスプレイ５５に、各教師画像が表示されるとともに、当該教師画像のカテゴリの入力を促す表示が行われる。そして、入力部５６において、オペレータによる各教師画像のカテゴリの入力が受け付けられる。以下の説明では、オペレータにより各教師画像に対して入力（教示）された当該カテゴリを「初期カテゴリ」という。オペレータによる初期カテゴリの教示が行われる際には、例えば、特徴量算出部６１６により算出された各教師画像の複数種類の特徴量が、初期カテゴリを決定するための参考資料としてディスプレイ５５等に表示されてもよい。

このようにして、それぞれが上記複数のカテゴリのいずれかを初期カテゴリとして割り振られた複数の教師画像（以下、「対象画像群」という。）と、当該複数の教師画像の初期カテゴリとの関係を示すデータである初期データ７１０が準備されて記憶部６１１に記憶される（ステップＳ２２）。以下の説明では、対象画像群に含まれる各教師画像を「対象画像」とも呼ぶ。初期データ７１０には、各対象画像の上述の複数種類の特徴量も含まれる。初期データ７１０では、また、複数種類のカテゴリのそれぞれに対して番号が割り当てられており、各対象画像に対する初期カテゴリの決定により、当該対象画像に関連付けられたカテゴリ変数の値が初期カテゴリの番号に変更される。

ステップＳ２２では、ステップＳ２１にて準備された全ての教師画像に対してオペレータにより初期カテゴリが教示されてもよく、当該全ての教師画像のうち一部の教師画像に対してのみ初期カテゴリが教示されてもよい。すなわち、ステップＳ２１にて準備された全ての教師画像のうち、少なくとも一部の教師画像が、ステップＳ２２において初期カテゴリが教示される対象画像となる。以下の説明では、まず、ステップＳ２２において全ての教師画像に対して初期カテゴリが教示される場合について説明し、その後、ステップＳ２２において一部の教師画像に対してのみ初期カテゴリが教示される場合について説明する。

ステップＳ２１にて準備された全ての教師データと初期カテゴリとの関係を示す初期データ７１０が準備されると、学習部６２において、初期データ７１０に含まれる全ての対象画像と初期カテゴリとの関係を用いて学習を行うことにより、図示省略の分類器（すなわち、ホストコンピュータ５内の分類器）が生成される（ステップＳ２３）。換言すれば、学習部６２は、初期データ７１０に含まれる全ての対象画像と初期カテゴリとの関係を用いて分類器を学習させる。そして、当該分類器により、対象画像群に含まれる各対象画像が、複数のカテゴリのいずれかに分類される（ステップＳ２４）。以下の説明では、分類器により対象画像が分類されたカテゴリを「分類カテゴリ」と呼ぶ。ステップＳ２４では、分類器により各対象画像の分類カテゴリが取得される。

続いて、純化処理部６１２により、対象画像群に含まれる各対象画像について、ステップＳ２４にて取得された分類カテゴリと、ステップＳ２２にて準備された初期カテゴリ（すなわち、記憶部６１１に記憶された初期データ７１０が示す初期カテゴリ）とが比較される。純化処理部６１２による当該比較処理は、対象画像群に含まれる全ての対象画像の初期カテゴリに基づく学習にて生成された分類器により、当該全ての対象画像の初期カテゴリを評価する評価方法（いわゆる、全数学習全数評価法）である。

そして、予め定められた条件（以下、「純化条件」という。）が満たされるか否かが、純化処理部６１２により判断される（ステップＳ２５）。ステップＳ２５の純化条件が満たされる状態とは、例えば、以下の第１純化条件および第２純化条件の少なくとも一方が満たされる状態である。第１純化条件とは、ステップＳ２５における各対象画像の分類カテゴリと初期カテゴリとの比較において、分類カテゴリと初期カテゴリとが異なる対象画像が存在しない条件である。換言すれば、第１純化条件とは、ステップＳ２４において取得された全ての対象画像の分類カテゴリが初期カテゴリと一致する条件である。第２純化条件とは、ステップＳ２５において分類カテゴリが初期カテゴリと異なる対象画像を、仮に対象画像群から除去して対象画像群を更新したとすると、更新後の対象画像群において、上記複数のカテゴリのうち少なくとも１つのカテゴリに対応付けられる対象画像の数が、予め定められた閾値（例えば、１０個）よりも小さくなる条件である。

ステップＳ２５において純化条件が満たされない場合、純化処理部６１２により、分類カテゴリと初期カテゴリとが異なる対象画像が対象画像群から除去されて対象画像群が更新される（ステップＳ２６）。以下の説明では、ステップＳ２６の処理を「純化処理」と呼ぶ。純化処理において対象画像群から除去された対象画像は、除去画像として記憶部６１１に記憶される。以下、記憶部６１１に記憶される除去画像の集合を「除去画像群」と呼ぶ。

純化処理が終了すると、ステップＳ２３に戻り、最新の（すなわち、直前の）ステップＳ２６による更新後の対象画像群と、当該更新後の対象画像群の初期カテゴリとの関係を示すデータを用いて学習を行うことにより、学習部６２において新たな分類器が生成される（ステップＳ２３）。ステップＳ２３において分類器の生成に用いられる対象画像群を「学習対象画像群」と呼ぶと、上述の例では、１回目のステップＳ２３における最初の学習対象画像群は、初期データ７１０に含まれる全ての対象画像の集合、すなわち、初期状態の対象画像群である。また、２回目以降のステップＳ２３における学習対象画像群は、最新のステップＳ２６において更新された対象画像群である。

続いて、上記新たな分類器により、更新後の対象画像群に含まれる各対象画像の分類カテゴリが取得される（ステップＳ２４）。次に、純化処理部６１２により、当該更新後の対象画像群に含まれる各対象画像について、最新の（すなわち、直前の）ステップＳ２４にて取得された分類カテゴリと、ステップＳ２２にて準備された初期カテゴリとが比較される。そして、純化条件が満たされない場合（ステップＳ２５）、純化処理部６１２により、分類カテゴリと初期カテゴリとが異なる対象画像が対象画像群から除去されて対象画像群が更新される（すなわち、純化処理が行われる。）（ステップＳ２６）。また、純化処理部６１２により対象画像群から除去された除去画像は、上述の除去画像群に追加される。

データ演算部６１０では、純化条件が満たされるまで、ステップＳ２３〜Ｓ２６に示す工程（すなわち、純化処理を含む工程）が行われる。ステップＳ２５において純化条件が満たされると、最新の対象画像群（すなわち、最後のステップＳ２６における純化処理後の対象画像群）と、当該最新の対象画像群の初期カテゴリとの関係を示すデータが、マスタデータ７１１として記憶部６１１に記憶される。以下の説明では、マスタデータ７１１に対応する最新の分類器、すなわち、マスタデータ７１１を用いて学習部６２において学習を行うことにより最後のステップＳ２３にて生成された分類器を、「マスタ分類器」と呼ぶ。

続いて、記憶部６１１に記憶されている最新の除去画像群に含まれる各除去画像について、マスタ分類器による分類が行われて分類カテゴリが取得される（ステップＳ２７）。次に、非純化処理部６１３が非純化処理制御部６１４により制御されることにより、除去画像群の各除去画像について、ステップＳ２７にてマスタ分類器により取得された分類カテゴリと、ステップＳ２２にて準備された初期カテゴリ（すなわち、記憶部６１１に記憶された初期カテゴリ）とが比較される。そして、分類カテゴリと初期カテゴリとが等しい除去画像が存在する場合（ステップＳ２８）、非純化処理部６１３により、当該除去画像が除去画像群から削除されるとともに対象画像群へと戻され、対象画像群および除去画像群が更新される（ステップＳ２９）。以下の説明では、ステップＳ２９の処理を「非純化処理」と呼ぶ。

非純化処理が終了すると、学習部６２において、ステップＳ２９の非純化処理後の最新の対象画像群と、当該最新の対象画像群の初期カテゴリとの関係を示すデータを用いて学習を行うことにより、新たな分類器が生成される（ステップＳ３０）。そして、ステップＳ２７に戻り、ステップＳ２９の非純化処理後の最新の除去画像群に含まれる各除去画像について、ステップＳ３０にて生成された最新の分類器による分類が行われて分類カテゴリが取得される（ステップＳ２７）。

ステップＳ２７が終了すると、非純化処理部６１３が非純化処理制御部６１４により制御されることにより、ステップＳ２７にて取得された分類カテゴリと、ステップＳ２２にて準備された初期カテゴリ（すなわち、記憶部６１１に記憶された初期カテゴリ）とが比較される。そして、分類カテゴリと初期カテゴリとが等しい除去画像が存在する場合（ステップＳ２８）、非純化処理部６１３により、当該除去画像が除去画像群から削除されるとともに対象画像群へと戻され、対象画像群および除去画像群が更新される（ステップＳ２９）。以下の説明では、２回目およびそれ以降のステップＳ２９における非純化処理を、１回目のステップＳ２９における非純化処理と区別する場合には「再非純化処理」と呼ぶ。再非純化処理が終了すると、学習部６２において、最新の対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより、新たな分類器が生成される（ステップＳ３０）。

データ演算部６１０では、ステップＳ２８において分類カテゴリと初期カテゴリとが等しい除去画像が存在しなくなるまで、すなわち、ステップＳ２９の再非純化処理において対象画像群に戻される除去画像が存在する限り、非純化処理制御部６１４により制御される非純化処理部６１３により、ステップＳ２７〜Ｓ３０（すなわち、再非純化処理を含む工程）が繰り返される。

ステップＳ２８において分類カテゴリと初期カテゴリとが等しい除去画像が存在しない場合、最新の対象画像群（すなわち、最後のステップＳ２９における非純化処理後の対象画像群）と、当該最新の対象画像群の初期カテゴリとの関係を示すデータが、準マスタデータ７１２として記憶部６１１に記憶される。換言すれば、準マスタデータ７１２は、非純化処理および再非純化処理の繰り返し後の最新のデータであり、ステップＳ３０における最後の学習にて利用された最新のデータである。準マスタデータ７１２に含まれる対象画像群を、初期データ７１０に含まれる対象画像群から除いたものは、非純化処理および再非純化処理の繰り返し後の最新の除去画像群である。

続いて、追加非純化処理部６１５により、当該最新の除去画像群に含まれる各除去画像について、準マスタデータ７１２を用いた画像の特徴量に基づく近傍探索法により、分類カテゴリが取得される（ステップＳ３１）。ステップＳ３１の近傍探索法としては、例えば、怠惰学習型の分類方法の１つであるｋ近傍法が用いられる。ｋ近傍法では、上述のように記憶部６１１に記憶されている教師画像の複数種類の特徴量に基づいて、特徴量空間において除去画像に近接するｋ個の対象画像が抽出され、当該ｋ個の対象画像のうち最も多くの対象画像が分類されているカテゴリが、除去画像の分類カテゴリとされる。

ステップＳ３１の近傍探索法としては、例えば、特開２０１０−９１４０１号公報に記載される分類方法が用いられてもよい。当該分類方法では、上述の複数種類の特徴量について、対象画像群における各特徴量の分散に基づいて特徴量範囲が設定される。そして、除去画像の特徴量が含まれる特徴量範囲に対応するカテゴリに投票が行われ、得票数が最も多いカテゴリが、除去画像の分類カテゴリとされる。

また、ステップＳ３１の近傍探索法としては、例えば、特開２０１４−６６１３号公報に記載される分類方法が用いられてもよい。当該分類方法では、上記複数種類の特徴量をそれぞれ座標軸とする多次元の特徴量空間において、各座標軸にて対象画像が位置する座標点の近傍に共通して位置する除去画像が、当該対象画像に類似した画像として特定され、当該対象画像が分類されているカテゴリが、除去画像の分類カテゴリとされる。

あるいは、ステップＳ３１の近傍探索法としては、例えば、特開２０１４−７０９４４号公報に記載される分類方法が用いられてもよい。当該分類方法では、除去画像が上記複数種類のカテゴリにそれぞれ属すると仮定した場合の妥当性を示す複数の評価値が、準マスタデータ７１２に基づいて取得され、当該複数の評価値に基づいて除去画像の分類カテゴリが取得される。

ステップＳ３１が終了すると、追加非純化処理部６１５により、除去画像群の各除去画像について、ステップＳ３１にて取得された分類カテゴリと、ステップＳ２２にて準備された初期カテゴリ（すなわち、記憶部６１１に記憶された初期カテゴリ）とが比較される。そして、分類カテゴリと初期カテゴリとが等しい除去画像が、追加非純化処理部６１５により、除去画像群から削除されるとともに対象画像群に戻され、対象画像群および除去画像群が更新される（ステップＳ３２）。以下の説明では、ステップＳ３２の処理を「追加非純化処理」と呼ぶ。

追加非純化処理が終了すると、対象画像群の分類結果がディスプレイ５５に表示される。分類結果は、例えば、表１に示す混同行列（コンフュージョンマトリクス、分類表または混同対照表とも呼ばれる。）として表示される。

表１では、３種類の初期カテゴリを「初期カテゴリＡ」、「初期カテゴリＢ」、「初期カテゴリＣ」として行見出しに記し、３種類の分類カテゴリを「分類カテゴリＡ」、「分類カテゴリＢ」、「分類カテゴリＣ」として列見出しに記す。見出しに「Ｓｕｍ」と記す行および列は、各カテゴリに分類された対象画像の合計数を示す。

表１では、例えば、初期カテゴリＡとしてオペレータにより教示された１５２４個の対象画像のうち、分類器により初期カテゴリと同じく分類カテゴリＡとして分類された対象画像は１５１１個であり、分類カテゴリＢ，Ｃとして分類された対象画像がそれぞれ１３個および０個である。初期カテゴリおよび分類カテゴリが共に「Ａ」である対象画像は、ステップＳ３１よりも前に対象画像群に含められた対象画像であり、初期カテゴリが「Ａ」であり、分類カテゴリが「Ｂ」または「Ｃ」の対象画像は、ステップＳ３２にて対象画像群に含められた対象画像である。

表１では、また、初期カテゴリＢとしてオペレータにより教示された２４４４個の対象画像のうち、分類器により初期カテゴリと同じく分類カテゴリＢとして分類された対象画像は２３３８個であり、分類カテゴリＡ，Ｃとして分類された対象画像がそれぞれ５８個および４８個である。さらに、初期カテゴリＣとしてオペレータにより教示された６６９個の対象画像のうち、分類器により初期カテゴリと同じく分類カテゴリＣとして分類された対象画像は６６７個であり、分類カテゴリＡ，Ｂとして分類された対象画像がそれぞれ０個および２個である。

見出しに「Ｐｕｒｉｔｙ」と記す行は、分類器により各分類カテゴリに分類された対象画像のうち、初期カテゴリが当該分類カテゴリと一致する対象画像の数の比率を示す。見出しに「Ａｃｃｕｒａｃｙ」と記す列は、各初期カテゴリに分類された対象画像のうち、分類器による分類カテゴリが当該初期カテゴリと一致する対象画像の比率を示す。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列とが交差するセルは、対象画像群のうち初期カテゴリと分類器による分類カテゴリとが一致した対象画像の比率を示す。換言すれば、当該交差するセルは、ステップＳ３２の追加非純化処理後の最新の対象画像群を、最新の分類器（すなわち、最後のステップＳ３０にて生成された分類器）により分類した場合の正答率を示す。表１に示す例では、正答率は９７．４％である。

表２は、ステップＳ２３にて初期データ７１０に基づいて生成された初期状態の分類器により、初期データ７１０に含まれる教師画像を分類した場合の分類結果（すなわち、ステップＳ２４にて取得された分類結果）を、仮に混合行列として表示した「比較例の混合行列」である。比較例の混合行列では、分類された教師画像は５１１５個であり、正答率は８９．９％である。

これに対し、図５に示す教師データ作成部６１では、では、表１に示すように正答率が９７．４％であり、初期状態の分類器による分類結果に比べて、正答率が向上している。また、表１に示すように、対象画像群に含まれる対象画像は４６３７個であり、表２の教師画像の合計数よりも多少減少しているが、画像分類装置１における分類の汎化能力を担保するために十分といえる程度の画像数が確保されている。このように、教師データ作成部６１では、分類精度が高く、かつ、汎化能力も高い分類器４２１（図４参照）を生成するための教師データを容易に作成することができる。

画像分類装置１では、表１に示す対象画像群の各対象画像と初期カテゴリとの関係を示すデータを教師データとして、当該教師データを用いて分類器４２１の学習が行われる。換言すれば、ステップＳ２１〜Ｓ３２に示す教師データ作成支援方法を利用して作成された教師データを用いて分類器４２１を学習させる処理が行われる（ステップＳ３３）。その後、当該分類器４２１により、ステップＳ１１〜Ｓ１４に示すように、画像の分類が行われる。その結果、様々な欠陥画像の分類を高精度に行うことができる。

上述のように、教師データ作成部６１では、１回目のステップＳ２３における最初の学習対象画像群は、初期データ７１０に含まれる全ての対象画像の集合、すなわち、初期状態の対象画像群である。したがって、ステップＳ２３において学習部６２にて生成される分類器の精度を向上することができる。これにより、ステップＳ２６の純化処理における分類精度を向上することができる。その結果、分類精度が高い分類器４２１を生成するための教師データを容易に作成することができる。

ステップＳ２３では、最初の学習対象画像群が、初期データ７１０に含まれる対象画像群の一部の対象画像の集合であってもよい。すなわち、ステップＳ２３における最初の学習対象画像群は、対象画像群の少なくとも一部の画像の集合であればよい。ステップＳ２３では、当該対象画像群の少なくとも一部の画像の集合と初期カテゴリとの関係を示すデータを用いて学習が行われることにより分類器が生成される。また、ステップＳ２４では、当該分類器により、対象画像群に含まれる各対象画像群の分類カテゴリが取得される。

教師データ作成部６１では、ステップＳ２７〜Ｓ３０に示すように、最新の分類器により最新の除去画像群の各除去画像について分類カテゴリを取得し、分類カテゴリと初期カテゴリとが等しい除去画像を、除去画像群から削除するとともに対象画像群へと戻す処理（すなわち、非純化処理を含む処理）が繰り返される。これにより、対象画像群に含まれる対象画像を適切に増加させることができる。すなわち、最終的な教師データに含まれるデータ要素（すなわち、教師画像とカテゴリとの組み合わせ）の数を適切に増加させることができる。その結果、分類精度および汎化能力がさらに高い分類器４２１を生成するための教師データを容易に作成することができる。

また、教師データ作成部６１では、上述の非純化処理を含む処理が繰り返された後、ステップＳ３１，Ｓ３２に示すように、最新の除去画像群に含まれる各除去画像について近傍探索法により分類カテゴリが取得され、分類カテゴリと初期カテゴリとが等しい除去画像が、除去画像群から削除されるとともに対象画像群へと戻される。これにより、対象画像群に含まれる対象画像を適切にさらに増加させることができる。すなわち、最終的な教師データに含まれるデータ要素数を適切にさらに増加させることができる。その結果、分類精度および汎化能力がより一層高い分類器４２１を生成するための教師データを容易に作成することができる。

教師データ作成部６１では、ステップＳ３２の終了後における最新の除去画像群に含まれる除去画像は、ステップＳ２２においてオペレータにより入力（教示）された初期カテゴリが誤っている可能性がある画像として、教師データに含められることなく、混同行列等を利用してオペレータに提示される。例えば、上述の例では、表２に示す合計画像数５１１５個と表１に示す合計対象画像数４６３７個の差である４７８個の画像が、最終的な除去画像としてオペレータに提示される。オペレータは、例えば、必要に応じて除去画像のカテゴリを修正して当該除去画像を教師データに追加してもよい。あるいは、オペレータは、複数の除去画像が分類される新たなカテゴリを作成した上で、当該複数の除去画像を、新たなカテゴリに分類される画像として教師データに追加してもよい。また、除去画像は、教師データに適さない画像として、教師データに含められることなく放置されてもよい。

次に、ステップＳ２２において、ステップＳ２１にて準備された教師データのうち一部の教師画像に対してのみ、オペレータにより初期カテゴリが教示される場合について、図８ないし図１０を参照しつつ説明する。上述のように、教師データ作成部６１では、複数の教師画像のデータが記憶部６１１に準備されると（図６：ステップＳ２１）、当該複数の教師画像のうち一部の教師画像である対象画像群に対して、オペレータにより初期カテゴリが入力（教示）される。これにより、当該対象画像群と初期カテゴリとの関係を示す初期データ７１０が準備されて記憶部６１１に記憶される（ステップＳ２２）。一方、上記複数の教師画像のうちオペレータにより初期カテゴリが教示されない画像の集合は、初期カテゴリの割り振りが行われていない要教示画像群として準備される（ステップＳ４１）。ステップＳ４１が終了すると、ステップＳ２３〜Ｓ２６（すなわち、上述の純化処理を含む処理）が繰り返される。なお、ステップＳ４１は、必ずしもステップＳ２２とステップＳ２３との間に行われる必要はなく、ステップＳ２２と並行して、あるいは、ステップＳ２１とステップＳ２２との間に行われてもよい。

ステップＳ２３〜Ｓ２６の繰り返しにおいて、ステップＳ２５にて上述の純化条件が満たされると、上記マスタデータ７１１（図５参照）を用いた画像の特徴量に基づく近傍探索法により、記憶部６１１に記憶されている要教示画像群に含まれる各要教示画像の分類カテゴリが、要教示画像分類部６４１により取得される（ステップＳ５１）。ステップＳ５１の近傍探索法としては、例えば、ステップＳ３１の近傍探索法として例示した様々な方法が用いられる。なお、ステップＳ５１の近傍探索法およびステップＳ３１の近傍探索法として、同じ方法が利用されてもよく、互いに異なる方法が利用されてもよい。

続いて、要検討画像抽出部６４３により、ステップＳ５１にて要教示画像分類部６４１により取得された各要教示画像の分類カテゴリの妥当性を示す評価値が、要教示画像の上記複数の特徴量等に基づいて求められる。例えば、ステップＳ５１において近傍探索法としてｋ近傍法が用いられる場合、要教示画像に最も近接しているカテゴリの対象画像の数と、２番目に近接しているカテゴリの対象画像の数との差が小さくなるに従って、妥当性を示す評価値は小さくなる。また、要教示画像に最も近接している対象画像と要教示画像との間の距離が大きくなるに従って、当該評価値は小さくなる。妥当性を示す評価値が小さいということは、すなわち、要教示画像に教示すべき適切な分類カテゴリを決定することが比較的難しいことを意味する。

要検討画像抽出部６４３では、当該評価値が予め定められた閾値未満である要教示画像が、要教示画像群から削除されるとともに要検討画像群へと追加されて、要教示画像群および要検討画像群が更新される（ステップＳ５２）。そして、要教示画像群の各要教示画像と、各要教示画像についてステップＳ５１にて要教示画像分類部６４１により取得された分類カテゴリとの関係を示すデータが、データ更新部６４２によりマスタデータ７１１に追加され、追加済マスタデータ７１３が生成される（ステップＳ５３）。追加済マスタデータ７１３は、図５に示す記憶部６１１に記憶される。

次に、ステップＳ５３にて生成された最新の追加済マスタデータ７１３を用いた上述の近傍探索法により、要検討画像群に含まれる各要検討画像の分類カテゴリが、追加教示処理部６４４により取得される（ステップＳ５４）。さらに、ステップＳ５４にて取得された各要検討画像の分類カテゴリの妥当性を示す上記評価値が、要検討画像の上記複数の特徴量等に基づいて求められ、予め定められた上記閾値と比較される。評価値が閾値以上である要検討画像が存在する場合（ステップＳ５５）、評価値が閾値以上である要検討画像が、追加教示画像に変更されるとともに要検討画像群から削除されて、要検討画像群が更新される（ステップＳ５６）。そして、各追加教示画像とステップＳ５４にて取得された分類カテゴリとの関係を示すデータが、追加教示処理部６４４により追加済マスタデータ７１３に追加され、追加済マスタデータ７１３が更新される（ステップＳ５７）。以下の説明では、ステップＳ５４〜Ｓ５７における処理を追加教示処理という。

ステップＳ５７が終了すると、ステップＳ５４に戻り、ステップＳ５７にて更新された最新の追加済マスタデータ７１３を用いた上述の近傍探索法により、要検討画像群に含まれる各要検討画像の分類カテゴリが取得される（ステップＳ５４）。また、ステップＳ５４にて取得された各要検討画像の分類カテゴリの妥当性を示す上記評価値が求められ、評価値が閾値以上である要検討画像が、追加教示画像に変更されるとともに要検討画像群から削除されて、要検討画像群が更新される（ステップＳ５５，Ｓ５６）。そして、各追加教示画像とステップＳ５４にて取得された分類カテゴリとの関係を示すデータが、追加済マスタデータ７１３に追加され、追加済マスタデータ７１３が更新される（ステップＳ５７）。

教師データ作成部６１では、追加教示処理制御部６４５により追加教示処理部６４４が制御されることにより、ステップＳ５５において評価値が閾値以上である要検討画像が存在する限り（すなわち、上記追加教示処理において追加教示画像に変更される要検討画像が存在する限り）、最新の追加済マスタデータ７１３を用いてステップＳ５４〜Ｓ５７が繰り返される。そして、ステップＳ５５において、評価値が閾値以上である要検討画像が存在しなくなると、最新の追加済マスタデータ７１３を用いて学習を行うことにより、新たな分類器４２１（以下、「追加済マスタ分類器」という。）が生成される（ステップＳ５８）。

ステップＳ５８が終了した時点の要検討画像群に含まれる画像、すなわち、ステップＳ４１において準備された要教示画像群のうち追加済マスタデータ７１３に含まれない画像は、最終的な要検討画像としてオペレータに提示される。オペレータは、例えば、必要に応じて要検討画像のカテゴリを修正して、当該要検討画像を後述する教師データに追加してもよい。あるいは、オペレータは、複数の要検討画像が分類される新たなカテゴリを作成した上で、当該複数の要検討画像を、新たなカテゴリに分類される画像として教師データに追加してもよい。また、要検討画像は、教師データに適さない画像として、教師データに含められることなく放置されてもよい。

ステップＳ５８が終了すると、図６に示すステップＳ２７に進む。そして、新たな分類器である追加済マスタ分類器により、上記と同様に最新の除去画像群に含まれる各除去画像について分類が行われ、各除去画像の分類カテゴリが取得される（ステップＳ２７）。教師データ作成部６１では、上記説明と同様に、ステップＳ２７〜Ｓ３２（すなわち、非純化処理および追加非純化処理を含む処理）が行われる。

このとき、ステップＳ３０における分類器の生成は、ステップＳ２９にて対象画像群に戻された除去画像と初期カテゴリとの関係を示すデータを追加済マスタデータ７１３にさらに追加したデータを用いて行われる。また、ステップＳ３１における除去画像の分類カテゴリの近傍探索法による取得は、最新のステップＳ３０にて分類器の生成に用いられた上記データを用いて行われる。さらに、ステップＳ３３における分類器４２１の生成は、最新のステップＳ３０にて分類器の生成に用いられた上記データに、ステップＳ３２にて対象画像群に戻された除去画像と初期カテゴリとの関係を示すデータを追加したデータ（すなわち、最新の教師データ）を用いて行われる。

ステップＳ２２において一部の教師画像に対してのみオペレータにより初期カテゴリが教示される場合、必ずしもステップＳ５１〜Ｓ５８の全てのステップが行われる必要はない。例えば、ステップＳ５４〜Ｓ５７が省略され、ステップＳ５１〜Ｓ５３の終了後、ステップＳ５８において、ステップＳ５３にて生成された追加済マスタデータ７１３を用いて新たな分類器が生成されてもよい。さらに、ステップＳ５２も省略され、ステップＳ５１，Ｓ５３，Ｓ５８が行われることにより、当該新たな分類器が生成されてもよい。

教師データ作成部６１では、ステップＳ５１，Ｓ５３において、初期カテゴリの割り振りが行われていない要教示画像群の各要教示画像の分類カテゴリが取得され、要教示画像群と分類カテゴリとの関係を示すデータがマスタデータ７１１に追加されて追加済マスタデータ７１３が生成される。そして、ステップＳ２７〜Ｓ３２において、非純化処理および追加非純化処理にて対象画像群に戻される除去画像と初期カテゴリとの関係を示すデータが追加済マスタデータ７１３に追加され、教師データが生成される。このように、教師データ作成部６１においてステップＳ５１，Ｓ５３が行われることにより、カテゴリが未分類の教師画像を自動的に分類し、取得された分類カテゴリと共に教師データに自動的に追加することができる。これにより、多数のデータ要素（すなわち、教師画像とカテゴリとの組み合わせ）を有する教師データを、容易に作成することができる。

また、教師データ作成部６１では、ステップＳ５２において、評価値が閾値未満の要教示画像が要教示画像群から削除され、要検討画像群に追加される。これにより、適切な分類カテゴリに分類することが比較的難しい画像が、教師データに含まれることを防止または抑制することができる。その結果、分類精度が高い分類器４２１を生成するための教師データを容易に作成することができる。

さらに、教師データ作成部６１では、ステップＳ５４〜Ｓ５７の追加教示処理が行われることにより、最終的な教師データに含まれるデータ要素（すなわち、教師画像とカテゴリとの組み合わせ）の数を適切に増加させることができる。その結果、分類精度および汎化能力が高い分類器４２１を生成するための教師データを容易に作成することができる。

ステップＳ２２において一部の教師画像に対してのみオペレータにより初期カテゴリが教示される場合、ステップＳ５１〜Ｓ５８は、ステップＳ２１〜Ｓ２６よりも後に行われるのであれば、必ずしもステップＳ２５とステップＳ２７との間に行われる必要はない。ステップＳ５１〜Ｓ５８は、例えば、ステップＳ２８とステップＳ３１との間に行われてもよく、ステップＳ３２とステップＳ３３との間に行われてもよい。

上述の画像分類装置１および教師データ作成部６１では、様々な変更が可能である。

教師データ作成部６１では、ステップＳ３１，Ｓ３２（すなわち、追加非純化処理を含む処理）は省略されてもよい。また、ステップＳ２７〜Ｓ３０は１回のみ行われてもよい。換言すれば、２回目以降のステップＳ２７〜Ｓ３０（すなわち、再非純化処理を含む処理）は省略されてもよい。いずれの場合であっても、教師データ作成部６１により、分類精度が高く、かつ、汎化能力も高い分類器４２１を生成するための教師データを容易に作成することができる。

画像分類装置１において、教師データに利用される教師画像の特徴量の値は、検査・分類装置４にて算出されてもよい。また、教師データから特徴量が省略され、学習部６２において教師画像のデータに基づいて特徴量の値が求められてもよい。

上記実施の形態では、欠陥検査装置に自動欠陥分類の機能を付加した画像分類装置１について説明したが、他の欠陥検査装置にて検出された基板上の欠陥を観察する観察装置（レビュー装置とも呼ばれる。）に自動欠陥分類の機能を付加した装置（同様に、画像分類装置として捉えることができる。）において、上記教師データ作成部６１が用いられてもよい。

図１の画像分類装置１では、半導体基板に代えて、ガラス基板（例えば、平面表示装置用のガラス基板）、プリント配線基板、あるいは、基板の露光に使用するマスク基板等の検査が行われてもよい。

また、画像分類装置１が、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。このように、画像分類装置１は、様々な対象物を示す画像の分類に利用可能である。さらに、画像分類装置１では、可視光により撮像される画像以外に、電子線やＸ線等により撮像される画像が分類されてもよい。

画像分類装置１では、教師データ作成部６１に設けられる記憶部６１１、純化処理部６１２および非純化処理部６１３を主たる構成として、教師データの作成を支援する教師データ作成支援装置が実現される。教師データ作成支援装置は、非純化処理制御部６１４を備えていてもよく、さらに追加非純化処理部６１５を備えていてもよい。教師データ作成支援装置は、要教示画像分類部６４１およびデータ更新部６４２を備えていてもよく、さらに要検討画像抽出部６４３を備えていてもよい。また、教師データ作成支援装置は、要検討画像抽出部６４３に加えて、追加教示処理部６４４および追加教示処理制御部６４５をさらに備えていてもよい。教師データ作成支援装置は、画像分類装置１から分離した専用の装置として実現されてもよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
６１ 教師データ作成部
４２１ 分類器
６１０ データ演算部
６１１ 記憶部
６１２ 純化処理部
６１３ 非純化処理部
６１４ 非純化処理制御部
６１５ 追加非純化処理部
６４１ 要教示画像分類部
６４２ データ更新部
６４３ 要検討画像抽出部
６４４ 追加教示処理部
６４５ 追加教示処理制御部
７１０ 初期データ
７１１ マスタデータ
７１２ 準マスタデータ
７１３ 追加済マスタデータ
Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ３３，Ｓ４１，Ｓ５１〜Ｓ５８ ステップ

Claims (16)

1. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援をコンピュータが実行する教師データ作成支援方法であって、
   ａ）それぞれが複数のカテゴリのいずれかを初期カテゴリとして割り振られた複数の対象画像である対象画像群と前記複数の対象画像の初期カテゴリとの関係を示す初期データを準備する工程と、
   ｂ）前記対象画像群のうち少なくとも一部の画像の集合である学習対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により、前記対象画像群に含まれる各対象画像の分類カテゴリを取得する工程と、
   ｃ）前記ｂ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが異なる対象画像を前記対象画像群から除去して前記対象画像群を更新する工程と、
   ｄ）前記ｃ）工程において予め定められた純化条件が満たされるまで、前記ｂ）工程および前記ｃ）工程を行う工程と、
   ｅ）前記ｄ）工程よりも後に、最新の前記対象画像群と初期カテゴリとの関係を示すマスタデータを用いて学習を行うことにより生成される分類器により、前記ｃ）工程にて除去された対象画像の集合である除去画像群の各除去画像について分類カテゴリを取得する工程と、
   ｆ）前記ｅ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程と、
   を備えることを特徴とする教師データ作成支援方法。
2. 請求項１に記載の教師データ作成支援方法であって、
   前記ｂ）工程において、最初の前記学習対象画像群が、初期状態の前記対象画像群と同じであることを特徴とする教師データ作成支援方法。
3. 請求項１または２に記載の教師データ作成支援方法であって、
   ｇ）前記ｆ）工程よりも後に、最新の前記対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により、最新の前記除去画像群の各除去画像について分類カテゴリを取得する工程と、
   ｈ）前記ｇ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程と、
   ｉ）前記ｈ）工程において前記対象画像群に戻される除去画像が存在する限り、前記ｇ）工程および前記ｈ）工程を繰り返す工程と、
   をさらに備えることを特徴とする教師データ作成支援方法。
4. 請求項３に記載の教師データ作成支援方法であって、
   ｊ）前記ｉ）工程よりも後に、最新の前記除去画像群に含まれる各除去画像について、前記ｇ）工程における最新の前記データを用いた画像の特徴量に基づく近傍探索法により、分類カテゴリを取得する工程と、
   ｋ）前記ｊ）工程にて取得された分類カテゴリと前記ａ）工程にて準備された初期カテゴリとが等しい除去画像を、前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する工程と、
   をさらに備えることを特徴とする教師データ作成支援方法。
5. 請求項１ないし４のいずれかに記載の教師データ作成支援方法であって、
   ｌ）初期カテゴリの割り振りが行われていない要教示画像群を準備する工程と、
   ｍ）前記ｄ）工程よりも後に、前記マスタデータを用いた画像の特徴量に基づく近傍探索法により、前記要教示画像群に含まれる各要教示画像の分類カテゴリを取得する工程と、
   ｎ）前記要教示画像群と前記ｍ）工程にて取得された分類カテゴリとの関係を示すデータを前記マスタデータに追加して追加済マスタデータを生成する工程と、
   をさらに備えることを特徴とする教師データ作成支援方法。
6. 請求項５に記載の教師データ作成支援方法であって、
   ｏ）前記ｎ）工程よりも前に、前記ｍ）工程にて取得された分類カテゴリの妥当性を示す評価値が予め定められた閾値未満である要教示画像を、前記要教示画像群から削除するとともに要検討画像群に追加して前記要教示画像群および前記要検討画像群を更新する工程をさらに備えることを特徴とする教師データ作成支援方法。
7. 請求項６に記載の教師データ作成支援方法であって、
   ｐ）前記ｎ）工程よりも後に、最新の前記追加済マスタデータを用いた前記近傍探索法により、前記要検討画像群に含まれる各要検討画像の分類カテゴリを取得する工程と、
   ｑ）前記ｐ）工程にて取得された分類カテゴリの妥当性を示す前記評価値が前記閾値以上である要検討画像を、追加教示画像に変更するとともに前記要検討画像群から削除して前記要検討画像群を更新する工程と、
   ｒ）前記追加教示画像と前記ｐ）工程にて取得された分類カテゴリとの関係を示すデータを前記追加済マスタデータに追加して前記追加済マスタデータを更新する工程と、
   ｓ）前記ｑ）工程において前記追加教示画像に変更される要検討画像が存在する限り、前記ｐ）工程ないし前記ｒ）工程を繰り返す工程と、
   をさらに備えることを特徴とする教師データ作成支援方法。
8. 画像を分類する画像分類方法であって、
   請求項１ないし７のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて分類器を学習させる工程と、
   前記分類器により画像を分類する工程と、
   を備えることを特徴とする画像分類方法。
9. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、
   それぞれが複数のカテゴリのいずれかを初期カテゴリとして割り振られた複数の対象画像である対象画像群と前記複数の対象画像の初期カテゴリとの関係を示す初期データを記憶する記憶部と、
   前記対象画像群に含まれる各対象画像について、前記対象画像群のうち少なくとも一部の画像の集合である学習対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが異なる場合に、対象画像を前記対象画像群から除去して前記対象画像群を更新する処理を純化処理として、予め定められた純化条件が満たされるまで前記純化処理を行う純化処理部と、
   前記純化処理部により除去された対象画像の集合である除去画像群の各除去画像について、前記純化処理後の最新の前記対象画像群と初期カテゴリとの関係を示すマスタデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する非純化処理を行う非純化処理部と、
   を備えることを特徴とする教師データ作成支援装置。
10. 請求項９に記載の教師データ作成支援装置であって、
    前記純化処理部において、最初の前記学習対象画像群が、初期状態の前記対象画像群と同じであることを特徴とする教師データ作成支援装置。
11. 請求項９または１０に記載の教師データ作成支援装置であって、
    前記非純化処理後の最新の前記除去画像群に含まれる各除去画像について、前記非純化処理後の最新の前記対象画像群と初期カテゴリとの関係を示すデータを用いて学習を行うことにより生成される分類器により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する再非純化処理を、前記再非純化処理において前記対象画像群に戻される除去画像が存在する限り前記非純化処理部に繰り返させる非純化処理制御部をさらに備えることを特徴とする教師データ作成支援装置。
12. 請求項１１に記載の教師データ作成支援装置であって、
    前記再非純化処理の繰り返し後の最新の前記除去画像群に含まれる各除去画像について、前記再非純化処理の繰り返し後の最新の前記データを用いた画像の特徴量に基づく近傍探索法により取得された分類カテゴリと、前記記憶部に記憶された初期カテゴリとが等しい場合に、除去画像を前記除去画像群から削除するとともに前記対象画像群に戻して前記対象画像群および前記除去画像群を更新する追加非純化処理部をさらに備えることを特徴とする教師データ作成支援装置。
13. 請求項９ないし１２のいずれかに記載の教師データ作成支援装置であって、
    前記記憶部が、初期カテゴリの割り振りが行われていない要教示画像群を記憶し、
    前記教師データ作成支援装置が、
    前記マスタデータを用いた画像の特徴量に基づく近傍探索法により、前記要教示画像群に含まれる各要教示画像の分類カテゴリを取得する要教示画像分類部と、
    前記要教示画像群と前記要教示画像分類部により取得された分類カテゴリとの関係を示すデータを、前記マスタデータに追加して追加済マスタデータを生成するデータ更新部と、
    をさらに備えることを特徴とする教師データ作成支援装置。
14. 請求項１３に記載の教師データ作成支援装置であって、
    前記要教示画像分類部により取得された分類カテゴリの妥当性を示す評価値が予め定められた閾値未満である要教示画像を、前記データ更新部による前記追加済マスタデータの生成よりも前に、前記要教示画像群から削除するとともに要検討画像群に追加して前記要教示画像群および前記要検討画像群を更新する要検討画像抽出部をさらに備えることを特徴とする教師データ作成支援装置。
15. 請求項１４に記載の教師データ作成支援装置であって、
    前記要検討画像群に含まれる各要検討画像について、最新の前記追加済マスタデータを用いた前記近傍探索法により取得された分類カテゴリの妥当性を示す前記評価値が前記閾値以上である場合に、要検討画像を追加教示画像に変更するとともに前記要検討画像群から削除して前記要検討画像群を更新し、前記追加教示画像と前記分類カテゴリとの関係を示すデータを前記追加済マスタデータに追加して前記追加済マスタデータを更新する追加教示処理を行う追加教示処理部と、
    前記追加教示処理において前記追加教示画像に変更される要検討画像が存在する限り、前記追加教示処理を前記追加教示処理部に繰り返させる追加教示処理制御部と、
    をさらに備えることを特徴とする教師データ作成支援装置。
16. 画像を分類する画像分類装置であって、
    請求項９ないし１５のいずれかに記載の教師データ作成支援装置と、
    前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われるとともに、画像を分類する分類器と、
    を備えることを特徴とする画像分類装置。

Images