JP6763673B2 - 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法 - Google Patents

Description

本発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する技術、および、画像を分類する技術に関する。

従来より、分類器を用いた画像の自動分類が行われている。画像の自動分類では、教師画像およびそのクラス（すなわち、教師画像が示す対象物の種別であり、カテゴリとも呼ばれる。）を示す教師データを用意して分類器を学習させる必要がある。典型的には、各教師画像のクラスをユーザが教示（決定）することにより、教師データが作成される。

ユーザによるクラスの教示により作成される教師データには、矛盾したデータが含まれやすくなる。分類器の学習は、そのような矛盾したデータにも汎用的に対応するように行われるため、分類器の性能が低下してしまうおそれがある。そこで、各教師画像の教示クラスが妥当であるか否かを判定し、教示クラスが妥当でないと判定される教師画像をユーザに再確認させることにより、適切な教師データの作成を支援する手法が提案されている。

例えば、特許文献１では、各種類の特徴量に関して、各教師画像が複数のクラスのそれぞれに属するとした場合の妥当性を示す評価値が取得され、複数種類の特徴量における評価値の代表値がクラス毎に求められる。そして、複数のクラスにおける複数の代表値に基づいて当該教師画像が属すべきクラスの候補が決定され、ユーザにより決定されたクラスとクラスの候補とが相違する教師画像がディスプレイに表示される。また、特許文献２では、各種類の特徴量の分散に基づいて設定されたクラス毎の特徴量範囲に欠陥画像の当該種類の特徴量が含まれる場合、当該特徴量範囲に対応するクラスへの投票が行われ、当該欠陥画像に付与されたクラスと得票数が最も多いクラスとが異なる場合にその旨が出力される。

特開２０１４−７０９４４号公報 特開２０１０−９１４０１号公報

ところで、実際の分類器による分類では、複数種類の特徴量が総合的に利用される。したがって、各種類の特徴量に注目した場合におけるクラスの投票や評価値に基づいて、教師画像のクラスの候補を求める特許文献１および２の手法では、当該クラスの候補が、分類器による当該教師画像の分類クラスと一致しないことがある。換言すると、特許文献１および２の手法では、教師画像の教示クラスが妥当であるか否かの判定結果が、必ずしも分類器の挙動に近いものとはならない。特徴量空間において矛盾したデータを低減した適切な教師データを作成するには、複数種類の特徴量を総合的に利用する分類器の特性に沿って教示クラスが妥当でないと判定される教師画像をユーザに確認させ（再確認させ）、必要に応じて教示クラスを修正させることが重要である。

本発明は上記課題に鑑みなされたものであり、各教師画像の教示クラスが妥当であるか否かを分類器の特性に沿って判定するとともに、教示クラスが妥当でないと判定される教師画像を、ユーザに容易に確認させることを目的としている。

請求項１に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、それぞれが複数のクラスのいずれかに教示された複数の教師画像と、前記複数の教師画像のそれぞれに対して教示されたクラスを教示クラスとして示す教示情報とを記憶する記憶部と、前記複数の教師画像から選択される教師画像の集合を訓練画像群として、各教師画像に対して、互いに異なる集合である所定数の訓練画像群を選択する訓練画像群選択部と、各訓練画像群を用いて学習を行うことにより構築される分類器を用いて前記各教師画像を前記複数のクラスのいずれかに分類する教師画像分類部と、前記各教師画像において前記所定数の訓練画像群を用いて前記教師画像分類部により最も多く分類されるクラスが、前記各教師画像の教示クラスと相違する場合に、前記各教師画像を特定教師画像として特定する教師画像特定部と、前記教師画像特定部により特定された前記特定教師画像を表示部に表示する表示制御部とを備える。

請求項２に記載の発明は、請求項１に記載の教師データ作成支援装置であって、前記各教師画像が前記所定数の訓練画像群を用いて前記教師画像分類部により分類される回数のうち、一のクラスに分類される回数の比率を分類率として、前記表示制御部が、前記特定教師画像における教示クラスの分類率を前記表示部に表示する。

請求項３に記載の発明は、請求項２に記載の教師データ作成支援装置であって、前記表示制御部が、前記特定教師画像における前記複数のクラスのそれぞれの分類率を前記表示部に表示する。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の教師データ作成支援装置であって、前記各教師画像が前記所定数の訓練画像群を用いて前記教師画像分類部により分類される回数のうち、一のクラスに分類される回数の比率を分類率として、指定クラスおよび分類率の範囲の入力を受け付ける入力部をさらに備え、前記表示制御部が、前記指定クラスの分類率が前記分類率の範囲に含まれる教師画像を前記表示部に表示する。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の教師データ作成支援装置であって、前記複数の教師画像において一のクラスを教示クラスとする教師画像の個数のうち、訓練画像群において前記一のクラスを教示クラスとする教師画像の個数の割合を画像選択割合として、前記所定数の訓練画像群のそれぞれにおいて、前記複数のクラスの画像選択割合が一定である。

請求項６に記載の発明は、請求項５に記載の教師データ作成支援装置であって、前記訓練画像群選択部が、前記所定数の訓練画像群のそれぞれにおいて、各クラスを教示クラスとする教師画像をランダムに選択する。

請求項７に記載の発明は、画像を分類する画像分類装置であって、請求項１ないし６のいずれかに記載の教師データ作成支援装置と、前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われることにより構築される分類器とを備える。

請求項８に記載の発明は、画像を分類する分類器の学習に使用される教師データの作成を、コンピュータが支援する教師データ作成支援方法であって、ａ）それぞれが複数のクラスのいずれかに教示された複数の教師画像と、前記複数の教師画像のそれぞれに対して教示されたクラスを教示クラスとして示す教示情報とを準備する工程と、ｂ）前記複数の教師画像から選択される教師画像の集合を訓練画像群として、各教師画像に対して、互いに異なる集合である所定数の訓練画像群を選択する工程と、ｃ）各訓練画像群を用いて学習を行うことにより構築される分類器を用いて前記各教師画像を前記複数のクラスのいずれかに分類する工程と、ｄ）前記各教師画像において前記所定数の訓練画像群を用いて前記ｃ）工程にて最も多く分類されるクラスが、前記各教師画像の教示クラスと相違する場合に、前記各教師画像を特定教師画像として特定する工程と、ｅ）前記ｄ）工程において特定された前記特定教師画像を表示部に表示する工程とを備える。

請求項９に記載の発明は、請求項８に記載の教師データ作成支援方法であって、前記各教師画像が前記所定数の訓練画像群を用いて前記ｃ）工程にて分類される回数のうち、一のクラスに分類される回数の比率を分類率として、前記ｅ）工程において、前記特定教師画像における教示クラスの分類率が前記表示部に表示される。

請求項１０に記載の発明は、請求項９に記載の教師データ作成支援方法であって、前記ｅ）工程において、前記特定教師画像における前記複数のクラスのそれぞれの分類率が前記表示部に表示される。

請求項１１に記載の発明は、請求項８ないし１０のいずれかに記載の教師データ作成支援方法であって、前記各教師画像が前記所定数の訓練画像群を用いて前記ｃ）工程にて分類される回数のうち、一のクラスに分類される回数の比率を分類率として、指定クラスおよび分類率の範囲の入力が入力部により受け付けられた際に、前記指定クラスの分類率が前記分類率の範囲に含まれる教師画像が前記表示部に表示される。

請求項１２に記載の発明は、請求項８ないし１１のいずれかに記載の教師データ作成支援方法であって、前記複数の教師画像において一のクラスを教示クラスとする教師画像の個数のうち、訓練画像群において前記一のクラスを教示クラスとする教師画像の個数の割合を画像選択割合として、前記所定数の訓練画像群のそれぞれにおいて、前記複数のクラスの画像選択割合が一定である。

請求項１３に記載の発明は、請求項１２に記載の教師データ作成支援方法であって、前記ｂ）工程において、前記所定数の訓練画像群のそれぞれにおいて、各クラスを教示クラスとする教師画像がランダムに選択される。

請求項１４に記載の発明は、画像を分類する画像分類方法であって、請求項８ないし１３のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて学習を行うことにより分類器を構築する工程と、前記分類器により画像を分類する工程とを備える。

本発明によれば、各教師画像の教示クラスが妥当であるか否かを分類器の特性に沿って判定するとともに、教示クラスが妥当でないと判定される教師画像を、ユーザに容易に確認させることができる。

画像分類装置の構成を示す図である。 欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 ホストコンピュータの機能を示すブロック図である。 教師データ作成部の機能を示すブロック図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 教師データを作成して分類器を学習させる処理の流れを示す図である。 ディスプレイ上の特定教師画像を示す図である。 特徴量空間における２つのクラスの分布範囲を示す図である。 ディスプレイ上のコンフュージョンマトリクスを示す図である。 ディスプレイ上の教師画像を示す図である。 ディスプレイ上の教師画像を示す図である。

図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９（以下、単に「基板９」という。）等の対象物上の欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。

画像分類装置１は、撮像装置２と、検査・分類装置４と、ホストコンピュータ５とを備える。撮像装置２は、基板９上の検査対象領域を撮像する。検査・分類装置４は、撮像装置２からの画像データに基づいて検査対象領域の欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべきクラス（種別）へと欠陥を自動分類する。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに、検査・分類装置４における欠陥の分類に利用される分類器４２１を生成する。撮像装置２は、基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１と、ステージ２２と、ステージ駆動部２３とを備える。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。ステージ２２は、基板９を保持する。ステージ駆動部２３は、撮像部２１に対してステージ２２を相対的に移動する。撮像部２１は、照明部２１１と、光学系２１２と、撮像デバイス２１３とを備える。照明部２１１は、照明光を出射する。光学系２１２は、基板９に照明部２１１からの照明光を導く。また、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３は、ボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５が、ステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する自動欠陥分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。自動欠陥分類部４２は、各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成される。自動欠陥分類部４２は、線形判別分析、サポートベクターマシン（ＳＶＭ）等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。

図２は、画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが自動欠陥分類部４２へと出力される。自動欠陥分類部４２は、欠陥画像の複数種類の特徴量の値を算出し（ステップＳ１３）、当該特徴量の値が分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により、欠陥画像が複数のクラスのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に、特徴量の値の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。

次に、ホストコンピュータ５による分類器の学習について説明する。図３は、ホストコンピュータ５の構成を示す図である。ホストコンピュータ５は、各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。ホストコンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行う表示部であるディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

ホストコンピュータ５では、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶される。ＣＰＵ５１は、プログラム８０に従ってＲＡＭ５３や固定ディスク５４を利用しつつ演算処理を実行する。

図４は、分類器を学習させるための機能構成を示すブロック図である。当該機能は、ホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される。図４では、検査・分類装置４も併せて示す。ホストコンピュータ５は、分類器の学習に使用される教師データを作成する教師データ作成部６１、および、教師データを用いて分類器を学習させる学習部６２を有する。

教師データは、欠陥画像である教師画像のデータ、教師画像の特徴量の値、および、欠陥のクラスを示す情報である教示情報を含む。教師画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された教師画像の特徴量の値が、ホストコンピュータ５内の分類器（図示省略）に入力される。そして、分類器の出力と、教示情報が示す欠陥のクラスとが同じになるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が自動欠陥分類部４２へと転送される。このように、教師データを使用して分類器４２１が構築される。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。

図５は、ホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図である。教師データ作成部６１は、データ演算部６１０と、ディスプレイ５５と、入力部５６とを備える。データ演算部６１０は、記憶部６１１と、訓練画像群選択部６１２と、教師画像分類部６１３と、教師画像特定部６１４と、表示制御部６１７と、特徴量算出部６１８とを備える。データ演算部６１０の処理の詳細については後述する。なお、データ演算部６１０（および学習部６２）の機能は、専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

図６および図７は、教師データを作成して分類器を学習させる処理の流れを示す図である。教師データ作成部６１では、まず、教師データ作成用の欠陥画像である複数の教師画像（例えば、数千個〜数万個の教師画像）のデータ７１が、図５に示す記憶部６１１に記憶されて準備される。なお、教師画像データ７１は、図１に示す撮像装置２および欠陥検出部４１を利用して取得されてよく、別途用意されてもよい。

続いて、特徴量算出部６１８により、各教師画像の複数種類の特徴量の値が算出され、記憶部６１１に記憶される。また、表示制御部６１７により、ディスプレイ５５に各教師画像が表示されるとともに、当該教師画像のクラスの入力を促す表示が行われる。そして、入力部５６において、ユーザによる各教師画像のクラスの入力が受け付けられる。すなわち、複数の教師画像のそれぞれが複数のクラスのいずれかに教示される。これにより、複数の教師画像（教師画像データ７１）と、複数の教師画像のそれぞれの教示クラス（すなわち、各教師画像に対して教示されたクラス）を示す教示情報７２とを含む教師データが準備され、記憶部６１１に記憶される（ステップＳ２１）。教師データには、各教師画像の上述の複数種類の特徴量の値が含まれてよい。本実施の形態では、複数のクラスに対して番号が割り当てられており、各教師画像に対するクラスの決定により、当該教師画像に関連付けられたクラス変数（ラベル）の値が当該クラスの番号に変更される。クラス変数の値は、教示結果として教示情報７２に含まれる。

教師データが準備されると、訓練画像群選択部６１２では、一の教師画像がテスト画像として抽出される（ステップＳ２２）。続いて、教師データに含まれる複数の教師画像から、後述の分類器の学習に利用される教師画像の集合（以下、「訓練画像群」という。）が選択される（ステップＳ２３）。具体的には、複数の（全ての）教師画像において各クラスを教示クラスとする教師画像の個数のうち、訓練画像群において当該クラスを教示クラスとする教師画像の個数の割合（以下、「画像選択割合」という。）がユーザにより予め設定される。そして、各クラスの画像選択割合に相当する個数の教師画像が、複数の教師画像のうちの当該クラスを教示クラスとする教師画像から訓練画像群選択部６１２によりランダムに選択される。これにより、訓練画像群が取得される。各クラスの画像選択割合は、例えば３０〜７０％である。好ましくは、複数のクラスにおける画像選択割合は一定である。本処理例では、テスト画像は訓練画像群に含まれない。テスト画像が訓練画像群に含まれてもよい。訓練画像群の選択では、必ずしも教師画像が１つずつ選択される必要はなく、例えば、各クラスを教示クラスとする教師画像が所定数のサブグループに分割され、各クラスに対して数個のサブグループをランダムに選択することにより訓練画像群が取得されてもよい。

教師画像分類部６１３では、訓練画像群を用いた分類器６１５の構築が行われる（ステップＳ２４）。具体的には、訓練画像群に含まれる複数の教師画像における特徴量の値、および、教示情報７２を用いて分類器６１５を学習させることにより、複数のクラスのいずれかに画像を分類する分類器６１５が構築される。分類器を学習により構築する方法（学習アルゴリズム）としては、上記分類器４２１と同様の手法が採用可能である。教師画像分類部６１３において分類器を構築する機能の一部または全部が、図４の学習部６２と共有されてよい。

続いて、教師画像分類部６１３により、分類器６１５を用いたテスト画像の分類が行われ、テスト画像が複数のクラスのいずれかに分類される（ステップＳ２５）。分類器６１５によりテスト画像が分類されたクラス（すなわち、分類器６１５による分類結果が示すクラスであり、以下、「分類クラス」という。）は、教師画像特定部６１４に出力されて記憶される。

データ演算部６１０では、テスト画像に対する上記ステップＳ２３〜Ｓ２５の処理、すなわち、訓練画像群の選択、分類器の構築、および、テスト画像の分類が繰り返される（ステップＳ２６）。上記ステップＳ２３〜Ｓ２５の実行回数は、設定数Ｎとして予め設定されており、Ｎは、例えば２００以上１０００以下である。このとき、ステップＳ２３では、訓練画像群に含まれる教師画像（またはサブグループ）はランダムに選択されるため、原則として、各訓練画像群における教師画像の集合は、他の訓練画像群における教師画像の集合と相違する。したがって、Ｎ個の訓練画像群から互いに相違するＮ個の分類器６１５が構築され、テスト画像のＮ個の分類結果が取得される。例えば、各クラスの画像選択割合は、Ｎ個の訓練画像群において一定である。各クラスの画像選択割合は、Ｎ個の訓練画像群において変動してもよい。

上記ステップＳ２３〜Ｓ２５のＮ回の実行が完了すると（ステップＳ２６）、ステップＳ２２に戻って、他の一の教師画像が新たなテスト画像として抽出される（ステップＳ２７）。そして、新たなテスト画像に対して、訓練画像群の選択、分類器の構築、および、テスト画像の分類が繰り返し実行され、テスト画像の設定数の分類結果が取得される（ステップＳ２３〜Ｓ２６）。

上記ステップＳ２２〜Ｓ２６の処理は、全ての教師画像をテスト画像として抽出しつつ繰り返される（ステップＳ２７）。したがって、ステップＳ２２〜Ｓ２７の処理は、各教師画像に対して、互いに異なる集合である設定数の訓練画像群を選択する処理と、各訓練画像群を用いて学習を行うことにより構築される分類器６１５を用いて当該教師画像を複数のクラスのいずれかに分類する処理とを含む。全てのステップＳ２４における分類器６１５の構築では、同じ学習アルゴリズムが利用されることが好ましい。

続いて、教師画像特定部６１４では、各教師画像をテスト画像とする際の設定数の分類結果から、各クラスの分類率が求められる。ここで、各クラスの分類率は、各教師画像が設定数の訓練画像群を用いて教師画像分類部６１３により分類される回数のうち、当該クラスに分類される回数の比率である。そして、分類率が最大のクラスが教示クラスと相違する教師画像が、特定教師画像として取得される（ステップＳ２８）。このように、各教師画像において、設定数の訓練画像群を用いて教師画像分類部６１３により最も多く分類されるクラスが、当該教師画像の教示クラスと相違する場合に、当該教師画像が特定教師画像として特定される。

図８に示すように、表示制御部６１７により特定教師画像７３がディスプレイ５５に表示される（ステップＳ２９）。また、特定教師画像７３の下方には、当該特定教師画像７３の各種情報を示す情報提示領域７９が設けられる。情報提示領域７９には、当該特定教師画像７３における複数のクラスの分類率が円グラフにより表示され、当該特定教師画像７３の教示クラスも表示される。本処理例では、各教師画像に対してクラスＡ、クラスＢおよびクラスＣのいずれかが教示クラスとして教示されており、図８の複数の特定教師画像７３では、クラスＡ、クラスＢおよびクラスＣの分類率が表示される。なお、複数のクラスの分類率は、他の種類のグラフや、数値等により表示されてもよい。また、教師画像が、２つのクラスのいずれか、または、４以上のクラスのいずれかに教示されていてもよい。

続いて、ディスプレイ５５上の特定教師画像７３および複数のクラスの分類率がユーザにより観察され、教師画像の教示クラスの修正が行われる（ステップＳ３０）。ここで、教示クラスの修正における分類率の意義について説明する。本説明では、便宜上、２つのクラスのみに着目し、また、２次元の特徴量空間を想定する。図９は、特徴量空間における２つのクラスの分布範囲を示す図であり、クラスＡの分布範囲およびクラスＢの分布範囲をそれぞれ符号Ａ１，Ｂ１を付す領域にて抽象的に示している。各クラスの分布範囲は、特徴量空間において、当該クラスに含まれる画像（の特徴量ベクトルが示す位置）が分布する範囲である。

一のテスト画像に対するステップＳ２４における分類器６１５の構築では、実質的にクラスＡとクラスＢとを区別するための境界線が設定される。既述のように、当該テスト画像に対する上記ステップＳ２３〜Ｓ２５は繰り返され、互いに異なる集合となる多数の訓練画像群を順次用いて分類器６１５が構築されるため、境界線も分類器６１５の構築毎にある程度変動する。図９では、複数の線分Ｌ１により変動する境界線を示しており、当該テスト画像の位置も符号Ｐを付す点にて示している。

特徴量空間におけるテスト画像の位置が、クラスＡとクラスＢとの（真の）境界に近い場合には、テスト画像の分類クラスが、境界線Ｌ１の変動によりクラスＡとクラスＢとの間で変わりやすくなる。一方、テスト画像の位置が、クラスＡとクラスＢとの境界から遠い場合には、テスト画像の分類クラスは変わりにくくなる。具体的には、テスト画像の位置が、図９中の矢印Ｒ１が示す方向に向かうに従ってクラスＢに分類されにくくなり、矢印Ｒ２が示す方向に向かうに従ってクラスＡに分類されにくくなる。このように、各テスト画像において、境界線Ｌ１の変動の影響を受ける度合いは、クラスＡとクラスＢとの境界から当該テスト画像の位置までの距離と捉えることができる。

クラスＡ、クラスＢおよびクラスＣのいずれかが教示クラスとされる本処理例において、教示クラスの分類率が他のクラスの分類率に比べて顕著に小さい特定教師画像７３は、境界線Ｌ１が変動しても教示クラスに分類されにくく、特徴量空間において教示クラスの分布範囲から離れていると考えられる。したがって、その教示クラスの間違いの可能性が高いといえる。この場合に、最大の分類率が他のクラスの分類率に比べて顕著に大きい特定教師画像７３については、境界線Ｌ１が変動しても、分類クラスが当該最大の分類率のクラスから変わりにくく、当該クラスが正しいクラスである可能性が高いといえる。

実際には、ユーザがディスプレイ５５上の各特定教師画像７３を観察しつつ、当該特定教師画像７３の情報提示領域７９における複数のクラスの分類率を参照し、必要に応じて当該特定教師画像７３の教示クラスが入力部５６を介して再教示（変更）される。これにより、教示の誤りが甚大な教師画像の教示クラスを効率よく修正することが可能となる。なお、他のクラスの分類率に比べて、教示クラスの分類率が顕著に大きい教師画像では、その教示クラスが正しい可能性が高いといえる。

教師データ作成部６１では、入力部５６を介したユーザの指示により、図１０に示すようにコンフュージョンマトリクス（混同行列）をディスプレイ５５に表示することも可能である。コンフュージョンマトリクスは、全ての教師画像に対する教師画像分類部６１３による分類結果（全てのステップＳ２５における分類結果）をまとめたものである。図１０では、３つの教示クラスを「Ａ」、「Ｂ」、「Ｃ」として行見出しに記し、３つの分類クラスを同様に「Ａ」、「Ｂ」、「Ｃ」として列見出しに記している。教示クラスがクラスＡである複数の教師画像において、分類クラスがクラスＢとされた回数（クラスＢに分類された回数）の合計が、「Ａ」の行と「Ｂ」の列との交差位置に示される。

図１０のコンフュージョンマトリクスにおいて、例えば、「Ａ」の行と「Ｃ」の列との交差位置（太線にて囲む欄）をユーザが入力部５６を介して選択し、さらに、教師画像の表示を指令すると、図１１に示すように、教示クラスがクラスＡである教師画像のうち、分類クラスが一度でもクラスＣとされたことがある教師画像７４がディスプレイ５５に表示される。このように、教示クラスについてクラスＡを指定クラスとし、分類クラスについてクラスＣを指定クラスとする入力が入力部５６にて受け付けられると、これらの指定クラスの双方に含まれる教師画像７４が表示制御部６１７により表示される。各教師画像７４の下方の情報提示領域７９には、当該教師画像７４におけるクラスＣの分類率が表示される。図１１（および後述の図１２）では、分数表示にて分類率を示している。分類率は、グラフ等により表示されてもよい。

また、ユーザによる分類率の範囲（以下、「指定範囲」という。）を指定する入力が入力部５６にて受け付けられると、上記教師画像７４のうち、クラスＣの分類率が指定範囲に含まれる教師画像７４のみが表示される。図１２の例では、指定範囲が０．８〜１．０の教師画像７４が表示されている。教師画像７４は、分類率の昇順または降順にて配列されることが好ましい。例えば、ユーザがディスプレイ５５に表示される複数の教師画像７４を選択し、教示クラスをクラスＣに変更する入力を行うことにより、これらの教師画像７４の教示クラスが一括してクラスＣに修正される。

表示制御部６１７では、分類クラスについての２つの指定クラス、および、当該２つの指定クラスのそれぞれの指定範囲の入力により、当該２つの指定クラスの分類率が当該指定範囲にそれぞれ含まれる教師画像をディスプレイ５５に表示することも可能である。例えば、２つのクラスの分類率が他のクラスの分類率に比べて大きく、かつ、当該２つのクラスの分類率が近似する多くの教師画像が存在する場合には、これらの教師画像は、当該２つのクラスの中間クラスである新たなクラスに再教示される。当該新たなクラスには、当該２つのクラス間における境界線の変動の影響を受けやすい教師画像が含められる。分類クラスについての１つの指定クラス、または、３以上の指定クラスの入力、および、各指定クラスの指定範囲の入力により、当該指定クラスおよび指定範囲に対応する教師画像が表示されてもよい。また、新たなクラスとして、３つのクラスの中間クラス等、様々なものが設定可能である。

以上のように、特定教師画像７３のみならず、ユーザの入力に応じた教師画像７４もディスプレイ５５に表示して、教示情報７２に含まれる教示クラスが修正され、最終的な教師データが作成される。最終的な教師データは、複数の教師画像と、修正後の教示情報７２とを含む。画像分類装置１では、最終的な教師データを用いて分類器４２１の学習が行われる。換言すれば、ステップＳ２１〜Ｓ３０に示す教師データ作成支援方法を利用して作成された教師データを用いて分類器４２１を学習させる処理が行われる（ステップＳ３１）。学習による分類器４２１の生成では、上記ステップＳ２４における分類器６１５の構築と、同じ学習アルゴリズムが利用されることが好ましい。その後、当該分類器４２１を用いて、図２のステップＳ１１〜Ｓ１４に示すように、画像の分類が行われる。その結果、様々な欠陥画像の分類を高精度に行うことができる。

ここで、特開２０１４−７０９４４号公報および特開２０１０−９１４０１号公報（上記特許文献１および２）の手法のように、各種類の特徴量に注目した場合におけるクラスの投票や評価値に基づいて教師画像のクラスの候補を求めることにより、当該教師画像の教示クラスが妥当であるか否かを判定する比較例の処理を想定する。実際の分類器による分類では、複数種類の特徴量が総合的に利用されるため、比較例の処理により求められる教師画像のクラスの候補が、分類器による教師画像の分類クラスと一致しないことがある。換言すると、比較例の処理による判定結果は、必ずしも分類器の特性に沿ったもの（分類器の挙動に応じたもの）とはならない。その結果、特徴量空間において矛盾したクラスが教示された教師画像を特定することができないことがある。

これに対し、教師データ作成部６１では、各教師画像に対して、互いに異なる集合である設定数の訓練画像群が選択され、教師画像分類部６１３において、各訓練画像群を用いて学習を行うことにより構築される分類器６１５を用いて当該教師画像が複数のクラスのいずれかに分類される。そして、各教師画像において、設定数の訓練画像群を用いて教師画像分類部６１３により最も多く分類されるクラスが、当該教師画像の教示クラスと相違する場合に、当該教師画像が特定教師画像としてディスプレイ５５に表示される。これにより、各教師画像の教示クラスが妥当であるか否かを分類器６１５の特性に沿って判定して、特徴量空間において矛盾したクラスが教示された教師画像を特定することができる。また、教示クラスが妥当でないと判定される教師画像を、ユーザに容易に確認させることができる。その結果、矛盾したデータを低減した適切な教師データを作成することができ、分類器の性能を向上することができる。

また、設定数の訓練画像群のそれぞれにおいて、複数のクラスの画像選択割合が一定であることにより、設定数の訓練画像群により順次構築される分類器６１５の特性が過度にばらつくことを防止することができる。さらに、設定数の訓練画像群のそれぞれにおいて、各クラスを教示クラスとする教師画像がランダムに選択されることにより、所定数の訓練画像群により順次構築される分類器６１５の特性を適度にばらつかせることができる。その結果、複数のクラスの分類率を適切に取得することができる。

表示制御部６１７により特定教師画像における教示クラスの分類率がディスプレイ５５に表示されることにより、特定教師画像に対する教示クラスが間違いである可能性の大きさ（誤教示の度合い）をユーザが容易に把握することが可能となる。また、特定教師画像における、複数のクラスのそれぞれの分類率がディスプレイ５５に表示されることにより、特定教師画像に対する正しいクラスをユーザが容易に選定することが可能となる。

教師データ作成部６１では、分類クラスについての指定クラスおよび指定範囲の入力が入力部５６により受け付けられた際に、当該指定クラスの分類率が指定範囲に含まれる教師画像がディスプレイ５５に表示される。これにより、任意のクラスの分類率が、任意の範囲に含まれる教師画像を一括して表示することができ、教示クラスの修正を効率よく行うことができる。

上述の画像分類装置１および教師データ作成部６１では、様々な変更が可能である。

ステップＳ２３〜Ｓ２６の処理により取得される設定数の訓練画像群の大部分において、教師画像の集合が互いに相違するのであるならば、訓練画像群に含まれる教師画像は、所定の規則に従って選択されてもよい。また、ユーザによって指定された教師画像等が、全ての訓練画像群に含められてもよい。

教師データ作成部６１の設計によっては、訓練画像群において、複数のクラスの画像選択割合が相違してもよい。この場合でも、各訓練画像群が各クラスに対して当該クラスを教示クラスとする少なくとも１つの教師画像を含むことが好ましい。また、繰り返されるステップＳ２４における分類器６１５の構築において、複数種類の学習アルゴリズムが順次利用されてもよい。これらの学習アルゴリズムでは、同じ複数種類の特徴量が利用されることが好ましい。

各クラスの分類率を精度よく取得するという観点では、ステップＳ２３〜Ｓ２５の実行回数である設定数は、好ましくは１００以上であり、より好ましくは２００以上である。教師データの作成に要する時間を短くするには、設定数は５０００以下であることが好ましい。また、一のテスト画像に対するステップＳ２３〜Ｓ２６の処理において、各教師画像が訓練画像群に含められる平均回数は５０回以上であることが好ましく、１００回以上であることがより好ましい。設定数の訓練画像群において全てのクラスの画像選択割合の平均が例えば５０％である場合、上記平均回数を５０回以上とするには、設定数が１００以上とされ、上記平均回数を１００回以上とするには、設定数が２００以上とされる。

特定教師画像７３と共にディスプレイ５５に表示される情報提示領域７９の内容は、必要に応じて変更されてよい。例えば、情報提示領域７９において分類率に基づく複数のクラスの順位が表示されてもよい。また、情報提示領域７９を省略し、特定教師画像７３のみがディスプレイ５５に表示可能とされてもよい。

画像分類装置１により分類される欠陥画像は、半導体基板以外の基板の外観を示すものであってよい。すなわち、欠陥画像は、半導体基板以外の基板上の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、画像分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、画像分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、画像分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。

画像分類装置１は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。画像分類装置１は、様々な分類対象を示す画像の分類に利用可能である。また、記憶部６１１、訓練画像群選択部６１２、教師画像分類部６１３、教師画像特定部６１４および表示制御部６１７を主たる構成として実現される教師データ作成支援装置も、様々な対象物の教師画像を含む教師データの作成の支援に用いられてよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 画像分類装置
５６ 入力部
７１ 教師画像データ
７２ 教示情報
７３ 特定教師画像
７４ 教師画像
４２１，６１５ 分類器
６１１ 記憶部
６１２ 訓練画像群選択部
６１３ 教師画像分類部
６１４ 教師画像特定部
６１７ 表示制御部
Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ３１ ステップ

Claims (14)

1. 画像を分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、
   それぞれが複数のクラスのいずれかに教示された複数の教師画像と、前記複数の教師画像のそれぞれに対して教示されたクラスを教示クラスとして示す教示情報とを記憶する記憶部と、
   前記複数の教師画像から選択される教師画像の集合を訓練画像群として、各教師画像に対して、互いに異なる集合である所定数の訓練画像群を選択する訓練画像群選択部と、
   各訓練画像群を用いて学習を行うことにより構築される分類器を用いて前記各教師画像を前記複数のクラスのいずれかに分類する教師画像分類部と、
   前記各教師画像において前記所定数の訓練画像群を用いて前記教師画像分類部により最も多く分類されるクラスが、前記各教師画像の教示クラスと相違する場合に、前記各教師画像を特定教師画像として特定する教師画像特定部と、
   前記教師画像特定部により特定された前記特定教師画像を表示部に表示する表示制御部と、
   を備えることを特徴とする教師データ作成支援装置。
2. 請求項１に記載の教師データ作成支援装置であって、
   前記各教師画像が前記所定数の訓練画像群を用いて前記教師画像分類部により分類される回数のうち、一のクラスに分類される回数の比率を分類率として、前記表示制御部が、前記特定教師画像における教示クラスの分類率を前記表示部に表示することを特徴とする教師データ作成支援装置。
3. 請求項２に記載の教師データ作成支援装置であって、
   前記表示制御部が、前記特定教師画像における前記複数のクラスのそれぞれの分類率を前記表示部に表示することを特徴とする教師データ作成支援装置。
4. 請求項１ないし３のいずれかに記載の教師データ作成支援装置であって、
   前記各教師画像が前記所定数の訓練画像群を用いて前記教師画像分類部により分類される回数のうち、一のクラスに分類される回数の比率を分類率として、指定クラスおよび分類率の範囲の入力を受け付ける入力部をさらに備え、
   前記表示制御部が、前記指定クラスの分類率が前記分類率の範囲に含まれる教師画像を前記表示部に表示することを特徴とする教師データ作成支援装置。
5. 請求項１ないし４のいずれかに記載の教師データ作成支援装置であって、
   前記複数の教師画像において一のクラスを教示クラスとする教師画像の個数のうち、訓練画像群において前記一のクラスを教示クラスとする教師画像の個数の割合を画像選択割合として、前記所定数の訓練画像群のそれぞれにおいて、前記複数のクラスの画像選択割合が一定であることを特徴とする教師データ作成支援装置。
6. 請求項５に記載の教師データ作成支援装置であって、
   前記訓練画像群選択部が、前記所定数の訓練画像群のそれぞれにおいて、各クラスを教示クラスとする教師画像をランダムに選択することを特徴とする教師データ作成支援装置。
7. 画像を分類する画像分類装置であって、
   請求項１ないし６のいずれかに記載の教師データ作成支援装置と、
   前記教師データ作成支援装置を利用して作成された教師データを用いて学習が行われることにより構築される分類器と、
   を備えることを特徴とする画像分類装置。
8. 画像を分類する分類器の学習に使用される教師データの作成を、コンピュータが支援する教師データ作成支援方法であって、
   ａ）それぞれが複数のクラスのいずれかに教示された複数の教師画像と、前記複数の教師画像のそれぞれに対して教示されたクラスを教示クラスとして示す教示情報とを準備する工程と、
   ｂ）前記複数の教師画像から選択される教師画像の集合を訓練画像群として、各教師画像に対して、互いに異なる集合である所定数の訓練画像群を選択する工程と、
   ｃ）各訓練画像群を用いて学習を行うことにより構築される分類器を用いて前記各教師画像を前記複数のクラスのいずれかに分類する工程と、
   ｄ）前記各教師画像において前記所定数の訓練画像群を用いて前記ｃ）工程にて最も多く分類されるクラスが、前記各教師画像の教示クラスと相違する場合に、前記各教師画像を特定教師画像として特定する工程と、
   ｅ）前記ｄ）工程において特定された前記特定教師画像を表示部に表示する工程と、
   を備えることを特徴とする教師データ作成支援方法。
9. 請求項８に記載の教師データ作成支援方法であって、
   前記各教師画像が前記所定数の訓練画像群を用いて前記ｃ）工程にて分類される回数のうち、一のクラスに分類される回数の比率を分類率として、前記ｅ）工程において、前記特定教師画像における教示クラスの分類率が前記表示部に表示されることを特徴とする教師データ作成支援方法。
10. 請求項９に記載の教師データ作成支援方法であって、
    前記ｅ）工程において、前記特定教師画像における前記複数のクラスのそれぞれの分類率が前記表示部に表示されることを特徴とする教師データ作成支援方法。
11. 請求項８ないし１０のいずれかに記載の教師データ作成支援方法であって、
    前記各教師画像が前記所定数の訓練画像群を用いて前記ｃ）工程にて分類される回数のうち、一のクラスに分類される回数の比率を分類率として、指定クラスおよび分類率の範囲の入力が入力部により受け付けられた際に、前記指定クラスの分類率が前記分類率の範囲に含まれる教師画像が前記表示部に表示されることを特徴とする教師データ作成支援方法。
12. 請求項８ないし１１のいずれかに記載の教師データ作成支援方法であって、
    前記複数の教師画像において一のクラスを教示クラスとする教師画像の個数のうち、訓練画像群において前記一のクラスを教示クラスとする教師画像の個数の割合を画像選択割合として、前記所定数の訓練画像群のそれぞれにおいて、前記複数のクラスの画像選択割合が一定であることを特徴とする教師データ作成支援方法。
13. 請求項１２に記載の教師データ作成支援方法であって、
    前記ｂ）工程において、前記所定数の訓練画像群のそれぞれにおいて、各クラスを教示クラスとする教師画像がランダムに選択されることを特徴とする教師データ作成支援方法。
14. 画像を分類する画像分類方法であって、
    請求項８ないし１３のいずれかに記載の教師データ作成支援方法を利用して作成された教師データを用いて学習を行うことにより分類器を構築する工程と、
    前記分類器により画像を分類する工程と、
    を備えることを特徴とする画像分類方法。

Images