JP6531036B2 - 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置 - Google Patents

Description

本発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する技術、および、画像を分類する技術に関する。

従来より、分類器を用いた画像の自動分類が行われている。画像の自動分類では、教師画像およびそのクラス（すなわち、教師画像が示す対象物の種別であり、カテゴリとも呼ばれる。）を示す教師データを用意して分類器を学習させる必要がある。典型的には、各教師画像のクラスをオペレータが決定することにより、教師データが作成される。

オペレータによるクラスの決定により作成される教師データには、矛盾したデータが含まれやすくなる。分類器の学習は、そのような矛盾したデータにも汎用的に対応するように行われるため、分類器の性能が低下してしまうおそれがある。そこで、特許文献１では、正確な教師データの作成を支援する手法が開示されている。当該手法では、教師データを使用した学習により判別関数が求められ、当該判別関数を用いて教師データに含まれる各欠陥画像がいずれかのクラスに分類される。そして、分類結果である分類クラスと教師データのクラスとが一致しないデータが、オペレータに提示される。オペレータにより、当該データのクラスが修正され、または、当該データが教師データから除外される。

なお、特許文献２では、欠陥画像に付与されたクラスが当該欠陥画像が属すべきクラスか否かを判定する手法が開示されている。当該手法では、各種類の特徴量の分散に基づいて設定されたクラス毎の特徴量範囲に欠陥画像の当該種類の特徴量が含まれる場合、当該特徴量範囲に対応するクラスへの投票が行われ、当該欠陥画像に付与されたクラスと得票数が最も多いクラスとが異なる場合にその旨が出力される。

特開平１１−３４４４５０号公報 特開２０１０−９１４０１号公報

既述のように、特許文献１の手法では、教師データを用いて取得される判別関数による分類結果と、教師データのクラスとが一致しないデータがオペレータに提示されるが、教師データをより正確に作成するには、例えば、判別関数による境界近傍に位置する教師画像も、オペレータによる確認が行われることが好ましい場合がある。したがって、オペレータによる確認用に表示部に表示すべき教師画像をより適切に選別することが可能な新規な手法が求められる。

本発明は上記課題に鑑みなされたものであり、オペレータによる確認用に表示部に表示すべき教師画像をより適切に選別することを目的としている。

請求項１に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、ａ）それぞれが複数の初期クラスのいずれかに割り振られた複数の教師画像と、前記複数の教師画像のそれぞれの初期クラスを教示結果として示す教示情報とを含む第１仮教師データを準備する工程と、ｂ）前記第１仮教師データを用いて第１分類器を構築する工程と、ｃ）前記第１分類器を用いて前記複数の教師画像を分類する工程と、ｄ）前記第１分類器による第１分類結果が前記教示結果と一致する教師画像に対して前記教示結果の初期クラスを割り振り、前記第１分類結果が前記教示結果と相違する教師画像に対して、前記教示結果および前記第１分類結果の初期クラスの組合せ毎に設定される補助クラスを割り振ることにより、第２仮教師データを作成する工程と、ｅ）前記第２仮教師データを用いて第２分類器を構築する工程と、ｆ）前記第２分類器を用いて前記複数の教師画像を分類する工程と、ｇ）前記第２分類器による第２分類結果が前記教示結果と相違する教師画像の集合をクラス相違画像群として、前記クラス相違画像群のうち少なくとも一部の画像を表示部への表示対象として特定する工程とを備える。

請求項２に記載の発明は、請求項１に記載の教師データ作成支援方法であって、前記ｇ）工程において、前記クラス相違画像群のうち前記第２分類結果が補助クラスである画像が、補助クラス画像として前記表示対象に含まれる。

請求項３に記載の発明は、請求項２に記載の教師データ作成支援方法であって、前記ｇ）工程において、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、前記ｇ）工程が、ｇ１）一の補助クラス画像の補助クラスに係る２つの初期クラスのそれぞれを注目クラスとして、前記複数の特徴量軸のそれぞれにおいて、前記補助クラス画像から取得される値が、前記注目クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定する工程と、ｇ２）前記２つの初期クラスの双方において、前記補助クラス画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記補助クラス画像を、前記表示対象を示す一の特定画像群に含める工程とを備える。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の教師データ作成支援方法であって、前記ｇ）工程において、前記クラス相違画像群のうち前記第２分類結果が補助クラスではない画像が、初期クラス相違画像として前記表示対象に含まれる。

請求項５に記載の発明は、請求項４に記載の教師データ作成支援方法であって、前記ｇ）工程において、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、前記ｇ）工程が、ｇ３）前記複数の特徴量軸のそれぞれにおいて、一の初期クラス相違画像から取得される値が、前記初期クラス相違画像の前記第２分類結果である初期クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定する工程と、ｇ４）前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記初期クラス相違画像を、前記表示対象を示す一の特定画像群に含める工程とを備える。

請求項６に記載の発明は、請求項５に記載の教師データ作成支援方法であって、前記ｇ）工程が、ｇ５）前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在しない場合に、前記初期クラス相違画像を、前記表示対象を示す他の一の特定画像群に含める工程をさらに備える。

請求項７に記載の発明は、画像を分類する画像分類方法であって、請求項１ないし６のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて分類器を学習させる工程と、前記分類器により画像を分類する工程とを備える。

請求項８に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、それぞれが複数の初期クラスのいずれかに割り振られた複数の教師画像と、前記複数の教師画像のそれぞれの初期クラスを教示結果として示す教示情報とを含む第１仮教師データを記憶する記憶部と、分類器を構築する分類器構築部と、前記第１仮教師データを用いて前記分類器構築部に第１分類器を構築させ、前記第１分類器を用いて前記複数の教師画像を分類する第１分類制御部と、前記第１分類器による第１分類結果が前記教示結果と一致する教師画像に対して前記教示結果の初期クラスを割り振り、前記第１分類結果が前記教示結果と相違する教師画像に対して、前記教示結果および前記第１分類結果の初期クラスの組合せ毎に設定される補助クラスを割り振ることにより、第２仮教師データを作成する仮教師データ作成部と、前記第２仮教師データを用いて前記分類器構築部に第２分類器を構築させ、前記第２分類器を用いて前記複数の教師画像を分類する第２分類制御部と、前記第２分類器による第２分類結果が前記教示結果と相違する教師画像の集合をクラス相違画像群として、前記クラス相違画像群のうち少なくとも一部の画像を表示部への表示対象として特定する表示対象特定部とを備える。

請求項９に記載の発明は、請求項８に記載の教師データ作成支援装置であって、前記表示対象特定部が、前記クラス相違画像群のうち前記第２分類結果が補助クラスである画像を、補助クラス画像として前記表示対象に含める。

請求項１０に記載の発明は、請求項９に記載の教師データ作成支援装置であって、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、前記表示対象特定部が、一の補助クラス画像の補助クラスに係る２つの初期クラスのそれぞれを注目クラスとして、前記複数の特徴量軸のそれぞれにおいて、前記補助クラス画像から取得される値が、前記注目クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定し、前記２つの初期クラスの双方において、前記補助クラス画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記補助クラス画像を、前記表示対象を示す一の特定画像群に含める。

請求項１１に記載の発明は、請求項８ないし１０のいずれかに記載の教師データ作成支援装置であって、前記表示対象特定部が、前記クラス相違画像群のうち前記第２分類結果が補助クラスではない画像を、初期クラス相違画像として前記表示対象に含める。

請求項１２に記載の発明は、請求項１１に記載の教師データ作成支援装置であって、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、前記表示対象特定部が、前記複数の特徴量軸のそれぞれにおいて、一の初期クラス相違画像から取得される値が、前記初期クラス相違画像の前記第２分類結果である初期クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定し、前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記初期クラス相違画像を、前記表示対象を示す一の特定画像群に含める。

請求項１３に記載の発明は、請求項１２に記載の教師データ作成支援装置であって、前記表示対象特定部が、前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在しない場合に、前記初期クラス相違画像を、前記表示対象を示す他の一の特定画像群に含める。

請求項１４に記載の発明は、画像を分類する画像分類装置であって、請求項８ないし１３のいずれかに記載の教師データ作成支援装置と、前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われるとともに、画像を分類する分類器とを備える。

本発明によれば、オペレータによる確認用に表示部に表示すべき教師画像を適切に選別することができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能を示すブロック図である。 教師データ作成部の機能を示すブロック図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師画像を示す図である。 コンフュージョンマトリクスを示す図である。 教師画像を示す図である。 コンフュージョンマトリクスを示す図である。 コンフュージョンマトリクスを示す図である。 第１ないし第５特定画像群を説明するための図である。 教師画像を示す図である。 教師画像を示す図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）等の対象物上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。

画像分類装置１は、撮像装置２と、検査・分類装置４と、ホストコンピュータ５とを備える。撮像装置２は、基板９上の検査対象領域を撮像する。検査・分類装置４は、撮像装置２からの画像データに基づいて検査対象領域の欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべきクラス（種別）へと欠陥を自動分類する。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに、検査・分類装置４における欠陥の分類に利用される分類器４２１を生成する。撮像装置２は、基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１と、ステージ２２と、ステージ駆動部２３とを備える。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。ステージ２２は、基板９を保持する。ステージ駆動部２３は、撮像部２１に対してステージ２２を相対的に移動する。撮像部２１は、照明部２１１と、光学系２１２と、撮像デバイス２１３とを備える。照明部２１１は、照明光を出射する。光学系２１２は、基板９に照明部２１１からの照明光を導く。また、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３は、ボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５が、ステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は、各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成される。自動欠陥分類部４２は、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。

図２は、画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと送信される。自動欠陥分類部４２は、欠陥画像の複数種類の特徴量の値を算出し（ステップＳ１３）、当該特徴量の値が分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により、欠陥画像が複数のクラスのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に、特徴量の値の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の学習について説明する。図３は、ホストコンピュータ５の構成を示す図である。ホストコンピュータ５は、各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。ホストコンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、オペレータからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

ホストコンピュータ５では、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶される。ＣＰＵ５１は、プログラム８０に従ってＲＡＭ５３や固定ディスク５４を利用しつつ演算処理を実行する。

図４は、分類器を学習させるための機能構成を示すブロック図である。当該機能は、ホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される。図４では、検査・分類装置４も併せて示す。ホストコンピュータ５は、分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。

教師データは、欠陥画像である教師画像のデータ、教師画像の特徴量の値、および、欠陥のクラスを示す情報である教示情報を含む。教師画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された教師画像の特徴量の値が、ホストコンピュータ５内の分類器（図示省略）に入力される。そして、分類器の出力が欠陥のクラスを示す教示情報と同じになるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。このように、教師データを使用して分類器４２１が構築される。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。

図５は、ホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図である。教師データ作成部６１は、データ演算部６１０と、ディスプレイ５５と、入力部５６とを備える。データ演算部６１０は、記憶部６１１と、分類器構築部６１２と、第１分類制御部６１３と、第２分類制御部６１４と、仮教師データ作成部６１５と、表示対象特定部６１６と、表示制御部６１７と、特徴量算出部６１８とを備える。データ演算部６１０の処理の詳細については後述する。なお、データ演算部６１０（および学習部６２）の機能は、専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

図６および図７は、教師データを作成して分類器を学習させる処理の流れを示す図である。教師データ作成部６１では、まず、教師データ作成用の欠陥画像である複数の教師画像（例えば、数千個〜数万個の教師画像）のデータが、図５に示す記憶部６１１に記憶されて準備される（ステップＳ２１）。なお、教師画像は、図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよく、あるいは、別途用意されてもよい。

続いて、特徴量算出部６１８により、各教師画像の複数種類の特徴量の値が算出され、記憶部６１１に記憶される。また、表示制御部６１７により、ディスプレイ５５に各教師画像が表示されるとともに、当該教師画像のクラスの入力を促す表示が行われる。そして、入力部５６において、オペレータによる各教師画像のクラスの入力が受け付けられる。以下の説明では、クラスの入力の際にオペレータにより決定された複数種類のクラスのそれぞれを「初期クラス」と呼ぶ。

上記処理により、それぞれが複数の初期クラスのいずれかに割り振られた複数の教師画像と、複数の教師画像のそれぞれの初期クラス（すなわち、各教師画像に対して入力（教示）された初期クラス）を教示結果として示す教示情報とを含む第１仮教師データ７１が準備され、記憶部６１１に記憶される（ステップＳ２２）。第１仮教師データ７１には、各教師画像の上述の複数種類の特徴量の値が含まれてよい。本実施の形態では、複数種類のクラスに対して番号が割り当てられており、各教師画像に対する初期クラスの決定により、当該教師画像に関連付けられたクラス変数（ラベル）の値が当該初期クラスの番号に変更される。クラス変数の値は、教示結果として教示情報に含まれる。

図８は、複数の教師画像を示す図である。図８では、各教師画像の下方に当該教師画像の教示結果を示す欄が設けられる。本処理例では、各教師画像に対して、異物、不良および気泡の３種類の初期クラスのいずれかが教示結果として決定されている。図８の上段は、教示結果が異物である教師画像を示し、中段は、教示結果が不良である教師画像を示し、下段は、教示結果が気泡である教師画像を示す。なお、第１仮教師データ７１の教示情報には、オペレータにより誤った初期クラスに教示された教師画像の教示結果が含まれる可能性がある。

第１仮教師データ７１が準備されると、第１分類制御部６１３の制御に応じて、分類器構築部６１２により、第１仮教師データ７１を用いた第１分類器６０１の構築が行われる（ステップＳ２３）。具体的には、分類器構築部６１２が、複数の教師画像における特徴量の値、および、教示情報を用いて第１分類器６０１を学習させることにより、異物、不良および気泡の３種類の初期クラスのいずれかに画像を分類する第１分類器６０１が構築される。分類器を学習により構築する方法（学習アルゴリズム）または機構としては、例えば、線形判別法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能であり、本処理例では、線形カーネルＳＶＭが利用される。分類器構築部６１２の機能の一部または全部が、図４の学習部６２と共有されてよい。

続いて、第１分類制御部６１３により、第１分類器６０１を用いた複数の教師画像の分類が行われ、各教師画像が複数の初期クラスのいずれかに分類される（ステップＳ２４）。各教師画像が分類されたクラスは、第１分類結果として仮教師データ作成部６１５に出力される。また、第１分類制御部６１３では、図９に示すようにコンフュージョンマトリクス（混同行列）が、必要に応じて作成される。

図９のコンフュージョンマトリクスは、第１分類器６０１による分類結果をまとめたものである。図９では、３種類の教示結果を「異物」、「不良」、「気泡」として行見出しに記し、３種類の第１分類結果を同様に「異物」、「不良」、「気泡」として列見出しに記している。教示結果が「Ａ」である複数の教師画像のうち、第１分類結果が「Ｂ」とされた教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。また、「Ｐｒｅｃｉｓｉｏｎ」の行と「Ｒｅｃａｌｌ」の列との交差位置は、分類が行われた教師画像の総数のうち、教示結果と第１分類結果とが一致した教師画像の個数の比率（総正答率）を示す。

複数の教師画像の第１分類結果が取得されると、仮教師データ作成部６１５では、教示結果が異物であり、かつ、第１分類結果が不良である教師画像、および、教示結果が不良であり、かつ、第１分類結果が異物である教師画像に対して、異物−不良の新たなクラス（２つの初期クラスの組合せに係るクラスであり、以下、「補助クラス」という。）が割り振られる。異物−不良の補助クラスに割り振られる教師画像の多くは、異物の初期クラスまたは不良の初期クラスのいずれに属するかが明確ではないもの、すなわち、どちらのクラスであるかが紛らわしいものであると考えられる。補助クラスに割り振られる教師画像には、オペレータによる教示結果が誤っているものが含まれている可能性もある（以下同様）。

同様に、教示結果が不良であり、かつ、第１分類結果が気泡である教師画像、および、教示結果が気泡であり、かつ、第１分類結果が不良である教師画像に対して、不良−気泡の補助クラスが割り振られ、教示結果が気泡であり、かつ、第１分類結果が異物である教師画像、および、教示結果が異物であり、かつ、第１分類結果が気泡である教師画像に対して、気泡−異物の補助クラスが割り振られる。第１分類結果が教示結果と一致する教師画像については、当該教示結果の初期クラスが割り振られる。

図９の例では、教示結果が異物であり、かつ、第１分類結果が不良である教師画像が１３０個であり、教示結果が不良であり、かつ、第１分類結果が異物である教師画像が８７個である。したがって、２１７個の教師画像が、異物−不良の補助クラスに割り振られる。また、教示結果が不良であり、かつ、第１分類結果が気泡である教師画像が４６個であり、教示結果が気泡であり、かつ、第１分類結果が不良である教師画像が６４個である。したがって、１１０個の教師画像が、不良−気泡の補助クラスに割り振られる。なお、図９の例では、気泡−異物の補助クラスに割り振られる教師画像は０個である。

以上のように、第１分類器６０１による第１分類結果が教示結果と一致する教師画像に対して教示結果の初期クラスを割り振り、第１分類結果が教示結果と相違する教師画像に対して、教示結果および第１分類結果の初期クラスの組合せ毎に設定される補助クラスを割り振ることにより、第２仮教師データ７２が作成される（ステップＳ２５）。第２仮教師データ７２は、複数の教師画像と、複数の教師画像のそれぞれに対して仮教師データ作成部６１５により割り振られたクラス（補助クラスまたは初期クラス）を示す割振情報とを含む。第２仮教師データ７２は記憶部６１１に記憶される。なお、第２仮教師データ７２は、各教師画像に個別に付与された番号に対して、仮教師データ作成部６１５により当該教師画像に対して割り振られたクラスを関連付ける情報のみを含んでもよい。この場合も、実質的に、第２仮教師データ７２が複数の教師画像のデータを含むものと捉えられる（第１仮教師データ７１において同様）。

図１０は、複数の教師画像を示す図である。図１０では、異物−不良の補助クラスが割り振られた教師画像を上段に示し、不良−気泡の補助クラスが割り振られた教師画像を下段に示している。なお、図１０では、装置の都合上、各教師画像の下方に設けられた欄に、「１０−２０」と記して異物−不良の補助クラスを表し、「２０−３０」と記して不良−気泡の補助クラスを表している。既述のように、本処理例では、気泡−異物の補助クラスに割り振られる教師画像は存在しない。

第２仮教師データ７２が作成されると、第２分類制御部６１４の制御に応じて、分類器構築部６１２により、第２仮教師データ７２を用いた第２分類器６０２の構築が行われる（ステップＳ２６）。具体的には、分類器構築部６１２が、複数の教師画像における特徴量の値、および、割振情報を用いて第２分類器６０２を学習させることにより、異物、不良、気泡、異物−不良、不良−気泡の５種類のクラス（３種類の初期クラスおよび２種類の補助クラス）のいずれかに画像を分類する第２分類器６０２が構築される。第２分類器６０２は、第１分類器６０１と同じ学習アルゴリズムにて構築されることが好ましい。

続いて、第２分類制御部６１４により、第２分類器６０２を用いた複数の教師画像の分類が行われ、各教師画像が複数のクラスのいずれかに分類される（ステップＳ２７）。各教師画像が分類されたクラスは、第２分類結果として表示対象特定部６１６に出力される。また、第２分類制御部６１４では、図１１に示すようにコンフュージョンマトリクスが、必要に応じて作成される。図１１では、割振情報が示す５種類のクラスを「異物」、「不良」、「気泡」、「異物−不良」、「不良−気泡」として行見出しに記し、５種類の第２分類結果を同様に「異物」、「不良」、「気泡」、「異物−不良」、「不良−気泡」として列見出しに記している。

表示対象特定部６１６では、図１１のコンフュージョンマトリクスにおいて、行見出しを３種類の教示結果に変更したものが、図１２に示すように作成される。図１２のコンフュージョンマトリクスは、教示結果が各初期クラスである教師画像が、第２分類器６０２により５種類のクラスのそれぞれに分類される個数を示す。

続いて、表示対象特定部６１６では、第２分類結果が教示結果と一致する教師画像の集合がクラス一致画像群として特定される（ステップＳ２８）。クラス一致画像群に含まれる教師画像では、教示結果および第２分類結果が同じ初期クラスであるため、当該教師画像はオペレータによる初期クラスの教示が信用できるものであるといえる。図１２の例では、クラス一致画像群のうち教示結果が異物である教師画像が１４２９個であり、教示結果が不良である教師画像が２６９７個であり、教示結果が気泡である教師画像が６２２個である。

そして、クラス一致画像群のうち教示結果が同じ教師画像の集合、すなわち、各初期クラスに含まれる教師画像の集合において、各種類の特徴量の値の分布（各特徴量軸上の値の分布）を示す分布情報が取得される（ステップＳ２９）。分布情報は、複数の特徴量軸のそれぞれにおいて、上記教師画像の集合から取得される値の分布を示す統計量であり、例えば、平均や分散等を含む。

各初期クラスの特徴量軸毎の分布情報が取得されると、表示対象特定部６１６では、第２分類結果が補助クラスである教師画像が補助クラス画像として特定される（ステップＳ３０）。ここで、全ての教師画像のうちクラス一致画像群に含まれない教師画像の集合、すなわち、第２分類器６０２による第２分類結果が教示結果と相違する教師画像の集合をクラス相違画像群と呼ぶと、補助クラス画像はクラス相違画像群に含まれる画像である。図１２の例では、９個の教師画像が異物−不良の補助クラス画像であり、１個の教師画像が不良−気泡の補助クラス画像である。

続いて、各補助クラス画像を対象補助クラス画像として着目しつつ、各特徴量軸において対象補助クラス画像から取得される値が、初期クラスの分布情報と比較される（ステップＳ３１）。詳細には、まず、対象補助クラス画像の補助クラス（すなわち、対象補助クラス画像の第２分類結果である補助クラス）に係る２つの初期クラスが特定される。例えば、異物−不良の補助クラス画像では、当該２つの初期クラスとして異物および不良が特定され、不良−気泡の補助クラス画像では、当該２つの初期クラスとして不良および気泡が特定される。次に、当該２つの初期クラスのそれぞれを注目クラスとして、各特徴量軸において、注目クラスの分布情報に基づいてクラス分布範囲が設定される。分布情報が平均および分散を含む場合に、クラス分布範囲は、例えば、標準偏差σ（分散の平方根）の３倍の値を平均μから引いて得た値を下限値とし、標準偏差σの３倍の値を平均μに足して得た値を上限値とする範囲（すなわち、（μ±３σ）の範囲）である。そして、当該特徴量軸において対象補助クラス画像から取得される値が、注目クラスのクラス分布範囲内に含まれるか否かが判定される。

当該２つの初期クラスの双方において、対象補助クラス画像の値がクラス分布範囲外となる特徴量軸が存在する場合に、対象補助クラス画像が、新たなクラスに属する可能性がある教師画像として特定され、第１特定画像群に含められる（ステップＳ３２）。特定画像群は、後述の処理におけるディスプレイ５５への表示対象（すなわち、ディスプレイ５５に表示すべき画像）を示す。第１特定画像群が新たなクラスに属する可能性がある教師画像である理由については、図６および図７の全体処理の説明後に述べる（第２ないし第５特定画像群において同様）。

上記ステップＳ３１の処理は、対象補助クラス画像が、その補助クラスに係る２つの初期クラスのそれぞれに属すると仮定して、各特徴量軸において、対象補助クラス画像の値を当該初期クラスのクラス分布範囲と比較するものである。また、上記ステップＳ３２の処理は、対象補助クラス画像が当該２つの初期クラスのいずれに属すると仮定した場合でも、少なくとも１つの特徴量軸における値がクラス分布範囲を外れる対象補助クラス画像を第１特定画像群に含めるものである。クラス分布範囲は、注目クラスの分布情報に基づいて設定されるのであるならば、（μ±２σ）の範囲等であってよく、平均および分散以外の統計量により表される範囲であってもよい。

続いて、残りの全ての補助クラス画像（すなわち、第１特定画像群に含められなかった補助クラス画像であり、以下、「未特定補助クラス画像群」という。）が抽出され、未特定補助クラス画像群に対して一個抜き交差検証（leave-one-out cross-validation（LOOCV））が行われる（ステップＳ３３）。一個抜き交差検証は、未特定補助クラス画像群のうち一の補助クラス画像をテスト事例とし、残りの補助クラス画像群を訓練事例として行う検証を、未特定補助クラス画像群に含まれる全ての補助クラス画像が一回ずつテスト事例となるように繰り返すものである。当該検証では、例えば、ｋ近傍法が用いられる。ｋ近傍法では、複数の特徴量軸にて規定される多次元の特徴量空間において、テスト事例である一の補助クラス画像に近接するｋ個の補助クラス画像（訓練事例の補助クラス画像）が抽出される。そして、当該ｋ個の補助クラス画像のうち最も多くの補助クラス画像が教示結果とする初期クラスが、テスト事例の補助クラス画像の分類結果とされる。

また、上記検証において、特開２０１０−９１４０１号公報（上記特許文献２）に記載される分類方法が用いられてもよい。当該分類方法では、訓練事例の補助クラス画像群のうち教示結果が同じ初期クラスである補助クラス画像から、複数の特徴量軸のそれぞれにおいて取得される値の分散に基づいて、当該初期クラスの特徴量範囲が設定される。そして、各特徴量軸において、テスト事例である一の補助クラス画像の値が含まれる特徴量範囲に対応する初期クラスに投票が行われ、得票数が最も多い初期クラスが、テスト事例の補助クラス画像の分類結果とされる。上記検証では、他の分類方法が用いられてよい。

未特定補助クラス画像群のうち、上記検証による分類結果が教示結果と異なる補助クラス画像は、オペレータが教示を間違いやすい教師画像（不明確な教師画像）として特定され、第２特定画像群に含められる（ステップＳ３４）。また、上記検証による分類結果が教示結果と一致する補助クラス画像は、当該補助クラス画像の補助クラスに係る２つの初期クラスの間の中間クラスに教示すべき可能性がある教師画像として特定され、第３特定画像群に含められる（ステップＳ３５）。

表示対象特定部６１６では、第２分類器６０２を用いて分類された教師画像のうちクラス一致画像群に含まれず、かつ、補助クラス画像にも該当しない残りの教師画像が、初期クラス相違画像として特定される（ステップＳ３６）。初期クラス相違画像は、クラス相違画像群のうち第２分類結果が補助クラスではない画像、すなわち、第２分類結果が教示結果とは異なる初期クラスである画像である。図１２の例では、教示結果が異物であり、かつ、第２分類結果が不良である初期クラス相違画像が１４４個であり、教示結果が不良であり、かつ、第２分類結果が異物である初期クラス相違画像が９９個である。また、教示結果が不良であり、かつ、第２分類結果が気泡である初期クラス相違画像が４８個であり、教示結果が気泡であり、かつ、第２分類結果が不良である初期クラス相違画像が６６個である。

続いて、各初期クラス相違画像を対象初期クラス相違画像として着目しつつ、各特徴量軸において対象初期クラス相違画像から取得される値が、初期クラスの分布情報と比較される（ステップＳ３７）。具体的には、各特徴量軸において、対象初期クラス相違画像の第２分類欠陥である初期クラスの分布情報に基づいてクラス分布範囲が設定される。初期クラスの分布情報は、ステップＳ２９にて取得されており、クラス分布範囲は、ステップＳ３１と同様にして設定される。そして、当該特徴量軸において対象初期クラス相違画像から取得される値が、当該初期クラスのクラス分布範囲内に含まれるか否かが判定される。

対象初期クラス相違画像の値がクラス分布範囲外となる特徴量軸が存在する場合に、対象初期クラス相違画像が、他の新たなクラスに属する可能性がある教師画像として特定され、第４特定画像群に含められる（ステップＳ３８）。一方、対象初期クラス相違画像の値がクラス分布範囲外となる特徴量軸が存在しない場合、すなわち、全ての特徴量軸において対象初期クラス相違画像の値がクラス分布範囲内となる場合に、対象初期クラス相違画像が、オペレータによる教示に誤りがある可能性が高い教師画像として特定され、第５特定画像群に含められる（ステップＳ３９）。

上記ステップＳ３７の処理は、対象初期クラス相違画像が、その第２分類結果の初期クラスに属すると仮定して、各特徴量軸において、対象初期クラス相違画像の値を当該初期クラスのクラス分布範囲と比較するものである。また、上記ステップＳ３８，Ｓ３９の処理は、対象初期クラス相違画像が当該初期クラスに属すると仮定した場合に、少なくとも１つの特徴量軸における値がクラス分布範囲を外れる対象初期クラス相違画像を第４特定画像群に含め、いずれの特徴量軸上の値もクラス分布範囲を外れない対象初期クラス相違画像を第５特定画像群に含めるものである。

表示制御部６１７では、入力部５６を介したオペレータの入力に従って、第１ないし第５特定画像群に含まれる教師画像がディスプレイ５５に表示される。例えば、ディスプレイ５５には、「新たなクラスに属する可能性がある教師画像」、「教示を間違いやすい教師画像」、「中間クラスに教示すべき可能性がある教師画像」、「他の新たなクラスに属する可能性がある教師画像」、「教示に誤りがある可能性が高い教師画像」の項目が表示される。これらの項目は、第１ないし第５特定画像群にそれぞれ対応しており、一の項目が選択されると、当該項目に対応する特定画像群に含まれる教師画像がディスプレイ５５に表示される。これにより、新たなクラスに属する可能性がある教師画像、教示を間違いやすい教師画像、中間クラスに教示すべき可能性がある教師画像、他の新たなクラスに属する可能性がある教師画像、および、教示に誤りがある可能性が高い教師画像をオペレータが容易に特定することが可能となる。

そして、オペレータがディスプレイ５５上の教師画像を観察しつつ当該教師画像のクラスを再検討し、必要に応じて当該教師画像を他のクラスまたは新たなクラスに再教示する。教師画像は、教示結果、第１分類結果および第２分類結果のそれぞれのクラスが識別可能な状態で表示されることが好ましい。同様に、第２、第３および第５特定画像群に含まれる教師画像では、全ての特徴量軸において値がクラス分布範囲内となる初期クラスが表示されてよい。第２特定画像群に含まれる教師画像は、さらに、一個抜き交差検証による分類結果が表示されてよい。

以上のように、第１ないし第５特定画像群に含まれる教師画像を表示対象として、オペレータの入力に応じて表示対象の教師画像をディスプレイ５５に表示しつつ、教示情報に含まれる教示結果が修正され、最終的な教師データが作成される（ステップＳ４０）。最終的な教師データは、複数の教師画像と、修正後の教示情報とを含む。なお、教師画像は、必ずしも特定画像群毎に表示される必要はない。例えば、各教師画像が属する特定画像群が識別可能な状態で、クラス相違画像群に含まれる複数の教師画像がディスプレイ５５に表示されてもよい。

図１２の例では、５１１５個の教師画像のうちクラス相違画像群に含まれる３６７個の教師画像をオペレータが確認するのみで、最終的な教師データが作成される。これにより、教示の誤りが甚大な教師画像を効率よく、かつ、迅速に発見することが可能となる。教示結果の修正は、オペレータの判断に委ねられるため、第１特定画像群の教師画像の教示結果が必ずしも新たなクラスに修正される訳ではない（第２ないし第５特定画像群の教師画像において同様）。

画像分類装置１では、最終的な教師データを用いて分類器４２１の学習が行われる。換言すれば、ステップＳ２１〜Ｓ４０に示す教師データ作成支援方法を利用して作成された教師データを用いて分類器４２１を学習させる処理が行われる（ステップＳ４１）。その後、当該分類器４２１により、図２のステップＳ１１〜Ｓ１４に示すように、画像の分類が行われる。その結果、様々な欠陥画像の分類を高精度に行うことができる。

ここで、図６および図７の処理にて取得される第１ないし第５特定画像群について説明する。説明を簡略化するために、以下、２つの初期クラスのみに着目し、また、２次元の特徴量空間を想定する。図１３は、第１ないし第５特定画像群を説明するための図であり、特徴量空間における初期クラスＡの分布範囲および初期クラスＢの分布範囲をそれぞれ符号Ａ１，Ｂ１を付す領域にて抽象的に示している。各初期クラスの分布範囲は、特徴量空間において、当該初期クラスに含まれる画像（の特徴量ベクトルが示す位置）が分布する範囲である。

上記処理では、概念的には、第１分類器６０１により、図１３中の破線Ｌ１が初期クラスＡと初期クラスＢとを区別するための境界線として設定される。また、第２分類器６０２により、図１３中の実線Ｌ２１が初期クラスＡと補助クラスとを区別するための境界線として設定され、実線Ｌ２２が初期クラスＢと補助クラスとを区別するための境界線として設定される。なお、初期クラスＡを陽性、初期クラスＢを陰性とすると、補助クラスは偽陽性と捉えることができる。

第１特定画像群に含められる教師画像は、第２分類結果が補助クラスである補助クラス画像であり、かつ、当該補助クラスに係る２つの初期クラスＡ、Ｂの双方において、値がクラス分布範囲外となる特徴量軸が存在するものである。したがって、第１特定画像群の教師画像は、特徴量空間において、実線Ｌ２１，Ｌ２２に挟まれる領域Ｃ１（以下、「補助クラス領域Ｃ１」という。」の内部、かつ、領域Ａ１および領域Ｂ１の外部に位置する（例えば、図１３中の点Ｐ）。後述するように、中間クラスは、領域Ａ１または領域Ｂ１に含まれることが前提であるため、補助クラス領域Ｃ１において、領域Ａ１および領域Ｂ１の外部に位置する第１特定画像群の教師画像は、新たなクラスに属する可能性がある教師画像として特定される。

第２および第３特定画像群に含められる教師画像は、第２分類結果が補助クラスである補助クラス画像であり、かつ、当該補助クラスに係る２つの初期クラスＡ、Ｂの少なくとも一方において全ての特徴量軸における値がクラス分布範囲内となるものである。したがって、第２および第３特定画像群の教師画像は、特徴量空間において、補助クラス領域Ｃ１の内部、かつ、領域Ａ１または領域Ｂ１の内部に位置する。そして、本処理例では、第２および第３特定画像群の教師画像の集合において、一個抜き交差検証による分類結果が教示結果と異なる第２特定画像群の教師画像は、オペレータが教示を間違いやすい教師画像、すなわち、教示に誤りがある可能性がある教師画像として特定される。また、一個抜き交差検証による分類結果が教示結果と一致する第３特定画像群の教師画像は、新たなクラスに属するものでなく、教示を間違いやすいものでもないため、当該教師画像の補助クラスに係る２つの初期クラスの間の中間クラスに教示すべき可能性がある教師画像として特定される。なお、第２特定画像群も、中間クラスに教示すべき可能性がある教師画像として特定されてよい。

第４特定画像群に含められる教師画像は、教示結果および第２分類結果が互いに異なる初期クラスである初期クラス相違画像であり、かつ、値が第２分類結果の初期クラスのクラス分布範囲外となる特徴量軸が存在するものである。したがって、第４特定画像群の教師画像は、特徴量空間において、補助クラス領域Ｃ１の外部、かつ、領域Ａ１および領域Ｂ１の外部に位置し（例えば、図１３中の点Ｑ）、他の新たなクラスに属する可能性がある教師画像として特定される。

ここで、仮に、実線Ｌ２１，Ｌ２２、または、破線Ｌ１により分類を行う場合、このような教師画像は、一方の初期クラスに分類されるのみであり、この場合、オペレータが判定結果に大きな違和感をもつことがある。これに対し、特徴量軸毎に教師画像の値を初期クラスのクラス分布範囲と比較する上記処理では、値がクラス分布範囲外となる特徴量軸が存在する教師画像を第４特定画像群に含めて、新たなクラスに属する可能性を報告することにより、オペレータが違和感をもつ判定結果となることが防止される。

第５特定画像群に含められる教師画像は、教示結果および第２分類結果が互いに異なる初期クラスである初期クラス相違画像であり、かつ、全ての特徴量軸において値が第２分類結果の初期クラスのクラス分布範囲内となるものである。したがって、第５特定画像群の教師画像は、特徴量空間において、補助クラス領域Ｃ１の外部、かつ、第２分類結果の初期クラスの領域Ａ１または領域Ｂ１の内部に位置する。よって、第５特定画像群の教師画像は、第２分類結果の初期クラスに属する可能性が高いといえ、オペレータによる教示に誤りがある可能性が高い教師画像として特定される。

以上に説明したように、教師データ作成部６１では、各教師画像の教示結果を示す第１仮教師データ７１を用いて第１分類器６０１が構築され、第１分類器６０１を用いて複数の教師画像が分類される。続いて、第１分類器６０１による第１分類結果が教示結果と相違する教師画像に対して補助クラスを割り振ることにより、第２仮教師データ７２が作成され、第２仮教師データ７２を用いて第２分類器６０２が構築される。そして、第２分類器６０２を用いて複数の教師画像が分類され、第２分類器６０２による第２分類結果が教示結果と相違するクラス相違画像群がディスプレイ５５への表示対象として特定される。これにより、特徴量空間においてオペレータが教示した初期クラスとは異なる領域に位置する教師画像のみならず、２つの初期クラスの分布の境界近傍に位置する教師画像も表示対象とすることができ、オペレータによる確認用にディスプレイ５５に表示すべき教師画像を適切に選別することができる。その結果、教師データを正確に作成することができ、分類性能が高い分類器を構築することができる。

ここで、第１分類器６０１による第１分類結果と教示結果とが相違する教師画像を表示対象として特定する比較例の処理を想定する。比較例の処理では、表示対象として特定される教師画像については、教示が妥当ではないという判定が（実質的に）なされ、表示対象に含まれない教師画像については、教示が妥当であるという判定がなされる。この場合に、比較例の処理による教師画像に対する判定が誤っていても、当該教師画像が実際に紛らわしいと考えられるものであるときには、比較例の処理に対するオペレータの（主観的な）信頼性は低下しない。しかしながら、比較例の処理による判定が何故誤ったのか理解に苦しむようなものであるときには（すなわち、違和感が大きいときには）、比較例の処理による判定結果の全体に対して信頼性が著しく低下する。比較例の処理による判定の誤りの数は、必ずしも僅少であることは求められないが、違和感が大きい誤りはないことが求められる。

これに対し、教師データ作成部６１では、クラス相違画像群のうち、第２分類結果が補助クラスである補助クラス画像と、第２分類結果が補助クラスではない初期クラス相違画像とを区別しつつ、両者が表示対象に含められる。これにより、教示に誤りがある可能性が高い、または、新たなクラスに属する可能性がある初期クラス相違画像を、比較的紛らわしい補助クラス画像と区別して、オペレータに報告することが可能となる。また、初期クラス相違画像の第２分類結果の初期クラスに関して、当該初期クラス相違画像の値がクラス分布範囲外となる特徴量軸が存在する場合と、存在しない場合とで、当該初期クラス相違画像が含められる特定画像群が区別される。同様に、補助クラス画像の補助クラスに係る２つの初期クラスの双方に関して、当該補助クラス画像の値がクラス分布範囲外となる特徴量軸が存在する場合と、他の場合とで、当該補助クラス画像が含められる特定画像群が区別される。このように、値がクラス分布範囲外となる特徴量軸が存在する初期クラス相違画像および補助クラス画像を、他の場合と区別して、新たなクラスへの教示を提案することにより、判定結果に対して大きな違和感が生じることを防止することができる。その結果、教師データ作成部６１による判定結果の全体に対する信頼性を維持することが可能となる。

教師データ作成部６１では、第２仮教師データ７２の割振情報を考慮しつつ、教師画像が各種特定画像群に含められてもよい。例えば、図１１のコンフュージョンマトリクスにおいて、割振情報が示すクラスが異物であり、かつ、第２分類結果が異物−不良である３個の教師画像（図１４参照）と、割振情報が示すクラスおよび第２分類結果の双方が異物−不良である６個の教師画像（図１５参照）とが区別して扱われてもよい。このような処理の一例では、図７のステップＳ３５にて、図１４の教師画像と、図１５の教師画像とが共に、異物−不良の中間クラスに教示すべき可能性がある教師画像として特定される（第３特定画像群に含まれる）場合に、図１５の教師画像を中間クラスに教示すべき度合いが、図１４の教師画像よりも高い旨が、ステップＳ４０における教示結果の修正の際にオペレータに報告される。なお、図１４の教師画像については、特徴量空間において、異物の領域と不良の領域との間に、補助クラス領域が設けられることにより（境界（超）平面が移動したことにより）、割振情報が示すクラスが異物であるにもかかわらず、第２分類結果が異物−不良となっていると考えられる。

また、図１２のコンフュージョンマトリクスにおいて、教示結果が異物であり、かつ、第２分類結果が不良である１４４個の教師画像のうち、図１１のコンフュージョンマトリクスにおいて割振情報が示すクラスが異物であり、かつ、第２分類結果が不良である２１個の教師画像が、残りの１２３個の教師画像と区別して扱われてもよい。例えば、図７のステップＳ３９にて、上記２１個の教師画像に含まれる教師画像と、上記１２３個の教師画像に含まれる教師画像とが共に、オペレータによる教示に誤りがある可能性が高い教師画像として特定される（第５特定画像群に含まれる）場合、ステップＳ３９における教示結果の修正の際に、両教師画像において教示に誤りがある可能性が、その度合いを異ならせてオペレータに報告される。他の組合せにおいて同様である。

上述の画像分類装置１および教師データ作成部６１では、様々な変更が可能である。

例えば、図６および図７の教師データ作成支援処理は、繰り返し行われてもよい。この場合、第１および第２分類器６０１，６０２の構築（ステップＳ２３，Ｓ２６）において、繰返処理毎に異なる学習アルゴリズムが採用されることが好ましい。

また、各分類器６０１，６０２が、異なる学習アルゴリズムにて構築された複数のサブ分類器により実現されてもよい。この場合、例えば、異物の初期クラスと、異物でないものの初期クラスとの２つの初期クラスのみを設定して、当該複数のサブ分類器により並列的に処理が行われる。ステップＳ２４では、教師画像に対して当該複数のサブ分類器の全てにおいて教示結果と同じ分類結果が得られた場合に、当該教師画像の第１分類結果が教示結果と同じ初期クラスとして扱われ、他の場合には、当該教師画像の第１分類結果が教示結果と異なる初期クラスとして扱われる（ステップＳ２７において同様）。上記処理は、不良の初期クラスと、不良でないものの初期クラスとの２つの初期クラスのみを設定して繰り返され、気泡の初期クラスと、気泡でないものの初期クラスとの２つの初期クラスのみを設定してさらに繰り返される。

図６および図７の教師データ作成支援処理では、例えば、ステップＳ３６〜Ｓ３９における初期クラス相違画像に対する処理が、ステップＳ３０〜Ｓ３５における補助クラス画像に対する処理よりも先に行われてもよい。このように、教師データ作成支援処理における処理の順序は適宜変更されてよい。

画像分類の目的によっては、値がクラス分布範囲外となる特徴量軸が存在する初期クラス相違画像（すなわち、第４特定画像群）を表示対象に含めることなく、当該初期クラス相違画像の教示結果が、自動的に新たなクラスに変更されてもよい。このように、表示対象特定部６１６では、クラス相違画像群のうち少なくとも一部の画像がディスプレイ５５への表示対象として特定される。

画像分類装置１により分類される欠陥画像は、半導体基板以外の基板の外観を示すものであってよい。すなわち、欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、画像分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、画像分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、画像分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。

画像分類装置１は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。画像分類装置１は、様々な分類対象を示す画像の分類に利用可能である。また、記憶部６１１、分類器構築部６１２、第１分類制御部６１３、第２分類制御部６１４、仮教師データ作成部６１５および表示対象特定部６１６を主たる構成として実現される教師データ作成支援装置も、様々な対象物の教師画像を含む教師データの作成の支援に用いられてよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
５５ ディスプレイ
７１ 第１仮教師データ
７２ 第２仮教師データ
４２１ 分類器
６０１ 第１分類器
６０２ 第２分類器
６１１ 記憶部
６１２ 分類器構築部
６１３ 第１分類制御部
６１４ 第２分類制御部
６１５ 仮教師データ作成部
６１６ 表示対象特定部
Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ４１ ステップ

Claims (14)

1. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、
   ａ）それぞれが複数の初期クラスのいずれかに割り振られた複数の教師画像と、前記複数の教師画像のそれぞれの初期クラスを教示結果として示す教示情報とを含む第１仮教師データを準備する工程と、
   ｂ）前記第１仮教師データを用いて第１分類器を構築する工程と、
   ｃ）前記第１分類器を用いて前記複数の教師画像を分類する工程と、
   ｄ）前記第１分類器による第１分類結果が前記教示結果と一致する教師画像に対して前記教示結果の初期クラスを割り振り、前記第１分類結果が前記教示結果と相違する教師画像に対して、前記教示結果および前記第１分類結果の初期クラスの組合せ毎に設定される補助クラスを割り振ることにより、第２仮教師データを作成する工程と、
   ｅ）前記第２仮教師データを用いて第２分類器を構築する工程と、
   ｆ）前記第２分類器を用いて前記複数の教師画像を分類する工程と、
   ｇ）前記第２分類器による第２分類結果が前記教示結果と相違する教師画像の集合をクラス相違画像群として、前記クラス相違画像群のうち少なくとも一部の画像を表示部への表示対象として特定する工程と、
   を備えることを特徴とする教師データ作成支援方法。
2. 請求項１に記載の教師データ作成支援方法であって、
   前記ｇ）工程において、前記クラス相違画像群のうち前記第２分類結果が補助クラスである画像が、補助クラス画像として前記表示対象に含まれることを特徴とする教師データ作成支援方法。
3. 請求項２に記載の教師データ作成支援方法であって、
   前記ｇ）工程において、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、
   前記ｇ）工程が、
   ｇ１）一の補助クラス画像の補助クラスに係る２つの初期クラスのそれぞれを注目クラスとして、前記複数の特徴量軸のそれぞれにおいて、前記補助クラス画像から取得される値が、前記注目クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定する工程と、
   ｇ２）前記２つの初期クラスの双方において、前記補助クラス画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記補助クラス画像を、前記表示対象を示す一の特定画像群に含める工程と、
   を備えることを特徴とする教師データ作成支援方法。
4. 請求項１ないし３のいずれかに記載の教師データ作成支援方法であって、
   前記ｇ）工程において、前記クラス相違画像群のうち前記第２分類結果が補助クラスではない画像が、初期クラス相違画像として前記表示対象に含まれることを特徴とする教師データ作成支援方法。
5. 請求項４に記載の教師データ作成支援方法であって、
   前記ｇ）工程において、前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、
   前記ｇ）工程が、
   ｇ３）前記複数の特徴量軸のそれぞれにおいて、一の初期クラス相違画像から取得される値が、前記初期クラス相違画像の前記第２分類結果である初期クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定する工程と、
   ｇ４）前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記初期クラス相違画像を、前記表示対象を示す一の特定画像群に含める工程と、
   を備えることを特徴とする教師データ作成支援方法。
6. 請求項５に記載の教師データ作成支援方法であって、
   前記ｇ）工程が、
   ｇ５）前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在しない場合に、前記初期クラス相違画像を、前記表示対象を示す他の一の特定画像群に含める工程をさらに備えることを特徴とする教師データ作成支援方法。
7. 画像を分類する画像分類方法であって、
   請求項１ないし６のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて分類器を学習させる工程と、
   前記分類器により画像を分類する工程と、
   を備えることを特徴とする画像分類方法。
8. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、
   それぞれが複数の初期クラスのいずれかに割り振られた複数の教師画像と、前記複数の教師画像のそれぞれの初期クラスを教示結果として示す教示情報とを含む第１仮教師データを記憶する記憶部と、
   分類器を構築する分類器構築部と、
   前記第１仮教師データを用いて前記分類器構築部に第１分類器を構築させ、前記第１分類器を用いて前記複数の教師画像を分類する第１分類制御部と、
   前記第１分類器による第１分類結果が前記教示結果と一致する教師画像に対して前記教示結果の初期クラスを割り振り、前記第１分類結果が前記教示結果と相違する教師画像に対して、前記教示結果および前記第１分類結果の初期クラスの組合せ毎に設定される補助クラスを割り振ることにより、第２仮教師データを作成する仮教師データ作成部と、
   前記第２仮教師データを用いて前記分類器構築部に第２分類器を構築させ、前記第２分類器を用いて前記複数の教師画像を分類する第２分類制御部と、
   前記第２分類器による第２分類結果が前記教示結果と相違する教師画像の集合をクラス相違画像群として、前記クラス相違画像群のうち少なくとも一部の画像を表示部への表示対象として特定する表示対象特定部と、
   を備えることを特徴とする教師データ作成支援装置。
9. 請求項８に記載の教師データ作成支援装置であって、
   前記表示対象特定部が、前記クラス相違画像群のうち前記第２分類結果が補助クラスである画像を、補助クラス画像として前記表示対象に含めることを特徴とする教師データ作成支援装置。
10. 請求項９に記載の教師データ作成支援装置であって、
    前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、
    前記表示対象特定部が、一の補助クラス画像の補助クラスに係る２つの初期クラスのそれぞれを注目クラスとして、前記複数の特徴量軸のそれぞれにおいて、前記補助クラス画像から取得される値が、前記注目クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定し、前記２つの初期クラスの双方において、前記補助クラス画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記補助クラス画像を、前記表示対象を示す一の特定画像群に含めることを特徴とする教師データ作成支援装置。
11. 請求項８ないし１０のいずれかに記載の教師データ作成支援装置であって、
    前記表示対象特定部が、前記クラス相違画像群のうち前記第２分類結果が補助クラスではない画像を、初期クラス相違画像として前記表示対象に含めることを特徴とする教師データ作成支援装置。
12. 請求項１１に記載の教師データ作成支援装置であって、
    前記第２分類結果が前記教示結果と一致する教師画像の集合をクラス一致画像群として、前記クラス一致画像群のうち各初期クラスに含まれる画像から、複数の特徴量軸のそれぞれにおいて取得される値の分布を示す分布情報が取得され、
    前記表示対象特定部が、前記複数の特徴量軸のそれぞれにおいて、一の初期クラス相違画像から取得される値が、前記初期クラス相違画像の前記第２分類結果である初期クラスの前記分布情報に基づいて設定されるクラス分布範囲内に含まれるか否かを判定し、前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在する場合に、前記初期クラス相違画像を、前記表示対象を示す一の特定画像群に含めることを特徴とする教師データ作成支援装置。
13. 請求項１２に記載の教師データ作成支援装置であって、
    前記表示対象特定部が、前記初期クラス相違画像の前記値が前記クラス分布範囲外となる特徴量軸が存在しない場合に、前記初期クラス相違画像を、前記表示対象を示す他の一の特定画像群に含めることを特徴とする教師データ作成支援装置。
14. 画像を分類する画像分類装置であって、
    請求項８ないし１３のいずれかに記載の教師データ作成支援装置と、
    前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われるとともに、画像を分類する分類器と、
    を備えることを特徴とする画像分類装置。