JP6632124B2

JP6632124B2 - 画像分類方法および画像分類装置

Info

Publication number: JP6632124B2
Application number: JP2015241032A
Authority: JP
Inventors: 松村　明; 明松村
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2015-12-10
Filing date: 2015-12-10
Publication date: 2020-01-15
Anticipated expiration: 2035-12-10
Also published as: JP2017107422A

Description

本発明は、画像を分類する技術に関する。

従来より、分類器を用いた画像の自動分類が行われている。画像の自動分類では、教師画像およびそのクラス（すなわち、教師画像が示す対象物の種別であり、カテゴリとも呼ばれる。）を示す教師データを用意して分類器を学習させる必要がある。

一の学習方法としてアダブーストが知られている（例えば、非特許文献１参照）。アダブーストでは、複数の弱分類器を順次構築して、当該複数の弱分類器を含む最終的な分類器が生成される。このとき、各弱分類器が誤って分類した教師画像に対する重みを大きくしつつ、全ての教師画像を用いて次の弱分類器が構築される。また、各弱分類器に対して分類のエラー値が算出されており、クラスが未知の画像の分類では、弱分類器毎のエラー値に基づく重み付きの投票により、当該画像のクラスが決定される。

なお、特許文献１では、アダブースト等のアンサンブル学習で学習した分類器を用いる分類方法が開示されている。当該方法では、入力データに対して複数の弱分類器のそれぞれにより所定の分類に属する度合いを示す評価値を順次算出し、当該評価値に各弱分類器に応じた重みを乗算した値の総和を重み付け評価値として算出し、重み付け評価値と所定の閾値とを比較することにより、当該入力データが当該分類に属するか否かが判定される。

特開２００７−６６１１４号公報

Yoav Freund and Robert E. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting", Computational Learning Theory, Germany, Springer-Verlag Berlin Heidelberg, 1995, P. 23-37

ところで、アダブーストでは、弱分類器（サブ分類器）の構築において、個別に重み付けされた教師画像が用いられるため、利用可能な学習アルゴリズムの種類が制限される。したがって、サブ分類器の構築において様々な種類の学習アルゴリズムを利用可能としつつ、分類性能を向上する新規な手法が求められている。

本発明は上記課題に鑑みなされたものであり、サブ分類器の構築において様々な種類の学習アルゴリズムを利用可能としつつ、分類性能を向上することを目的としている。

請求項１に記載の発明は、画像を分類する画像分類方法であって、ａ）複数の教師画像のそれぞれが複数のクラスのいずれかに割り振られており、それぞれが一の教師画像と、前記教師画像に割り振られたクラスを教示結果として示す情報とを含む複数の教師データセットを準備する工程と、ｂ）前記複数の教師データセットから学習用の教師データセット群を選択する工程と、ｃ）前記教師データセット群を用いて学習を行うことによりサブ分類器を構築する工程と、ｄ）前記サブ分類器を用いて前記複数の教師画像を分類する工程と、ｅ）前記サブ分類器による分類結果が前記教示結果と相違する教師画像を誤分類画像として、前記複数の教師画像の一部を含み、かつ、半分以上が誤分類画像である選択画像群をそれぞれ含む新たな教師データセット群を前記ｂ）工程にて選択しつつ、前記ｂ）ないしｄ）工程を所定回数だけ繰り返す工程と、ｆ）分類対象の対象画像を準備する工程と、ｇ）前記ｃ）工程にて構築された複数のサブ分類器を用いて前記対象画像を分類する工程と、ｈ）前記複数のサブ分類器による複数の分類結果に基づいて前記対象画像のクラスを決定する工程とを備え、前記ｅ）工程により繰り返される前記ｂ）工程おいて、各クラスを前記教示結果とする誤分類画像の数が確認され、所定数以上の誤分類画像が存在するクラスに関して前記所定数以上の誤分類画像のみが前記選択画像群に含められ、前記所定数以上の誤分類画像が存在しないクラスに関して、前記クラスを前記教示結果とし、かつ、誤分類画像ではない教師画像が前記選択画像群に含められる。

請求項２に記載の発明は、請求項１に記載の画像分類方法であって、前記ｄ）工程において、前記サブ分類器のクラス毎の正答率が算出され、前記ｈ）工程において、前記複数の分類結果を用いて、各サブ分類器の前記クラス毎の正答率に基づく重み付け投票が行われることにより、前記対象画像のクラスが決定される。

請求項３に記載の発明は、請求項１または２に記載の画像分類方法であって、前記複数のサブ分類器が、互いに異なる学習アルゴリズムにより構築される２つのサブ分類器を含む。

請求項４に記載の発明は、画像を分類する画像分類装置であって、複数のサブ分類器を構築する分類器構築部と、分類対象の対象画像を記憶する対象画像記憶部と、前記複数のサブ分類器を用いて前記対象画像を分類するとともに、前記複数のサブ分類器による複数の分類結果に基づいて前記対象画像のクラスを決定する分類制御部とを備え、前記分類器構築部が、複数の教師画像のそれぞれが複数のクラスのいずれかに割り振られており、それぞれが一の教師画像と、前記教師画像に割り振られたクラスを教示結果として示す情報とを含む複数の教師データセットを記憶する教師データ記憶部と、前記複数の教師データセットから学習用の教師データセット群を選択するデータ選択部と、前記教師データセット群を用いて学習を行うことによりサブ分類器を構築するサブ分類器構築部と、前記サブ分類器を用いて前記複数の教師画像を分類するサブ分類器制御部と、前記サブ分類器による分類結果が前記教示結果と相違する教師画像を誤分類画像として、前記複数の教師画像の一部を含み、かつ、半分以上が誤分類画像である選択画像群をそれぞれ含む新たな教師データセット群を前記データ選択部に選択させつつ、前記データ選択部の処理、前記サブ分類器構築部の処理、および、前記サブ分類器制御部の処理を所定回数だけ繰り返させる繰返制御部とを備え、前記繰返制御部により繰り返される前記データ選択部の処理において、各クラスを前記教示結果とする誤分類画像の数が確認され、所定数以上の誤分類画像が存在するクラスに関して前記所定数以上の誤分類画像のみが前記選択画像群に含められ、前記所定数以上の誤分類画像が存在しないクラスに関して、前記クラスを前記教示結果とし、かつ、誤分類画像ではない教師画像が前記選択画像群に含められる。

請求項５に記載の発明は、請求項４に記載の画像分類装置であって、前記サブ分類器制御部が、前記サブ分類器のクラス毎の正答率を算出し、前記分類制御部が、前記複数の分類結果を用いて、各サブ分類器の前記クラス毎の正答率に基づく重み付け投票を行うことにより、前記対象画像のクラスを決定する。

請求項６に記載の発明は、請求項４または５に記載の画像分類装置であって、前記複数のサブ分類器が、互いに異なる学習アルゴリズムにより構築される２つのサブ分類器を含む。

本発明によれば、サブ分類器の構築において様々な種類の学習アルゴリズムを利用可能としつつ、分類性能を向上することができる。

検査・分類装置の概略構成を示す図である。コンピュータの構成を示す図である。検査・分類装置の機能構成を示すブロック図である。複数のサブ分類器の構築の流れを示す図である。欠陥画像の分類の流れを示す図である。分類部の性能評価結果を示す図である。サブ分類器のクラス毎の正答率を示す図である。サブ分類器のクラス毎の重みを示す図である。第１比較例の分類部の性能評価結果を示す図である。第２比較例の分類部の性能評価結果を示す図である。

図１は本発明の一の実施の形態に係る検査・分類装置１の概略構成を示す図である。検査・分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。欠陥画像の分類により、分類対象である当該欠陥が分類される。

検査・分類装置１は、撮像装置２、欠陥検出部４１、および、コンピュータ５を備える。撮像装置２は、基板９上の検査対象領域を撮像する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。コンピュータ５は、欠陥検出部４１において欠陥が検出された場合に欠陥が属すべき欠陥クラスへと欠陥を分類する。コンピュータ５は、検査・分類装置１の全体動作の制御、および、欠陥の分類に利用される分類器の構築も行う。撮像装置２は基板９の製造ラインに組み込まれ、検査・分類装置１はいわゆるインライン型のシステムとなっている。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して多値の撮像画像（のデータ）を取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。コンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。

欠陥検出部４１では、基板９の撮像画像と、当該撮像画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、当該差分画像に基づいて、異常部分である欠陥が検出される。そして、欠陥部分の多値画像である欠陥画像が生成される。欠陥検出部４１では、他の手法により欠陥が検出されてよい。

図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、検査・分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

コンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。

図３は検査・分類装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、符号５を付す破線の矩形にて囲んでいる。

コンピュータ５は、分類部３２および分類器構築部３３を有する。分類部３２および分類器構築部３３により、画像を分類する画像分類装置が実現される。分類部３２は、欠陥が検出された場合に当該欠陥を自動的に分類する。分類部３２は、対象画像記憶部３２１および分類制御部３２２を有し、分類制御部３２２は、特徴量算出部３２３および複数のサブ分類器３２４を有する。分類器構築部３３は、分類部３２における複数のサブ分類器３２４を構築する。分類器構築部３３は、教師データ記憶部３３１、データ選択部３３２、サブ分類器構築部３３３、サブ分類器制御部３３４および繰返制御部３３５を有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

検査・分類装置１では、事前準備として、複数のサブ分類器３２４が分類器構築部３３により構築される。図４は、分類器構築部３３による複数のサブ分類器３２４の構築の流れを示す図である。サブ分類器の構築とは、サブ分類器が含むパラメータに値を付与したり、構造を決定すること等によりサブ分類器を生成することを意味する。

サブ分類器３２４の構築の際には、欠陥検出部４１にて検出された多数の欠陥画像が、教師データ記憶部３３１に記憶される。続いて、各欠陥画像が示す欠陥に対して、ユーザにより、欠陥のクラスの教示（入力）が行われる。クラスの教示では、まず、複数の欠陥画像が、コンピュータ５のディスプレイ５５に表示される。そして、ユーザにより、各欠陥画像が複数のクラスのいずれかに割り振られ、当該クラスの入力が入力部５６を介して行われる。各欠陥画像に対するクラスの教示結果と、当該欠陥画像（すなわち、クラスの教示が行われた欠陥画像であり、以下、「教師画像」という。）とは互いに関連付けられ、教師データセット８１として教師データ記憶部３３１に記憶される。このようにして、それぞれが一の教師画像と、当該教師画像に割り振られたクラスを教示結果として示す情報とを含む複数の教師データセット８１が準備される（ステップＳ１１）。

本処理例では、複数のクラスに対して互いに異なる番号が付与される。以下の説明では、ステップＳ１１の処理によりＮ個（Ｎは２以上の整数であり、例えば、１０００以上である。）の教師データセット８１が準備されるものとする。なお、各教師画像から取得される後述の特徴量ベクトルと、教示結果（の情報）とを含むデータが教師データセット８１として扱われてもよい。この場合も、実質的に、教師データセット８１が、教師画像と教示結果とを含むと捉えられる。

続いて、データ選択部３３２により、複数の（Ｎ個の）教師データセット８１から学習用の教師データセット群が選択される（ステップＳ１２）。学習用の教師データセット群は、後述の処理にてサブ分類器３２４の構築に用いられる教師データセット８１の集合である。ここでは、全ての教師データセット８１が教師データセット群に含まれる。

教師データセット群が選択されると、サブ分類器構築部３３３により、サブ分類器３２４が構築される（ステップＳ１３）。サブ分類器３２４の構築では、各教師データセット８１に含まれる教師画像から、複数の特徴量が特徴量算出部３２３により取得される。複数の特徴量は、例えばＰ次元（Ｐは２以上の整数）の特徴量ベクトルｘ_ｎ ^（Ｐ）（＝（ｘ_１，ｘ_２，・・・，ｘ_Ｐ）^Ｔ）として表現される。そして、サブ分類器構築部３３３が、教師データセット群の全ての教師画像に対するクラスの教示結果、および、特徴量ベクトルを用いて、上記サブ分類器３２４を学習させることにより、複数のクラスのいずれかに画像を分類するサブ分類器３２４が構築される。サブ分類器３２４は、画像の特徴量ベクトルの入力により、複数のクラスのいずれかの番号を出力する。サブ分類器３２４を構築する方法（学習アルゴリズム）または機構としては、例えば、決定木法、線形判別分析、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰等が採用可能である。

サブ分類器３２４が構築されると、サブ分類器制御部３３４の制御により、複数の（Ｎ個の）教師データセット８１にそれぞれ含まれる複数の教師画像の分類が当該サブ分類器３２４を用いて行われ、各教師画像が複数のクラスのいずれかに分類される（ステップＳ１４）。サブ分類器制御部３３４では、さらに、サブ分類器３２４の正答率が算出される（ステップＳ１５）。このとき、サブ分類器３２４の正答率は、複数のクラスのそれぞれに対して個別に算出される。サブ分類器３２４による各クラスの正答率は、例えば、当該クラスを教示結果とする教師画像のうちサブ分類器３２４による分類結果が当該クラスとなる教師画像の個数である正答数を、当該クラスを教示結果とする教師画像の総数により割って得た値である。

続いて、繰返制御部３３５により、所定の設定数のサブ分類器３２４が構築されていないことが確認されると（ステップＳ１６）、データ選択部３３２による新たな教師データセット群の選択が行われる（ステップＳ１２）。ここで、教師データセット群の全ての教師データセット８１にそれぞれ含まれる複数の教師画像の集合を「選択画像群」と呼ぶと、新たな教師データセット群の選択画像群は、ステップＳ１１にて準備されたＮ個の教師画像の一部のみを含む。

詳細には、まず、データ選択部３３２では、直前のステップＳ１４におけるサブ分類器３２４による分類結果が教示結果と相違する教師画像を誤分類画像として、各クラスを教示結果とする誤分類画像の数が確認される。続いて、所定の下限画像数以上の誤分類画像が存在するクラスに関して当該下限画像数以上の誤分類画像の全部が選択画像群に含められる。一方、当該クラスを教示結果とし、かつ、当該クラスを分類結果とする教師画像（以下、教示結果と分類結果とが一致する教師画像を「正分類画像」という。）については、選択画像群に含められない。すなわち、下限画像数以上の誤分類画像が存在するクラスについては、当該下限画像数以上の誤分類画像のみが選択画像群に含められる。下限画像数は、例えば１であり、２または３以上であってもよい。

また、下限画像数以上の誤分類画像が存在しないクラスについては、当該クラスを教示結果とし、かつ、誤分類画像ではない教師画像、すなわち、当該クラスの正分類画像のみが選択画像群に含められる。例えば、下限画像数が１である場合には、誤分類画像の数が０であるクラスに関して、当該クラスの正分類画像が選択画像群に含められる。当該クラスに関して選択画像群に含められる正分類画像の個数は任意に決定されてよく、例えば、１以上かつ下限画像数以下である。そして、選択画像群をそれぞれ含む複数の教師データセット８１の集合が、新たな教師データセット群として選択される。原則として、選択画像群には重複した教師画像は含まれない。

新たな教師データセット群が選択されると、サブ分類器構築部３３３が当該教師データセット群を用いて学習を行うことにより、次のサブ分類器３２４が構築される（ステップＳ１３）。２回目以降のステップＳ１３では、Ｎ個の教師データセット８１の一部のみを用いて、サブ分類器３２４が構築される。このとき、教師データセット群には、多くの誤分類画像の教師データセット８１が含まれるため、直前のステップＳ１３にて構築されたサブ分類器３２４とは特性が異なる（例えば、分類に係るパラメータの値が大きく異なる）サブ分類器３２４が構築される。その後、サブ分類器制御部３３４の制御により、Ｎ個の教師データセット８１の教師画像が、当該サブ分類器３２４を用いて分類される（ステップＳ１４）。また、当該サブ分類器３２４のクラス毎の正答率が算出される（ステップＳ１５）。

上記ステップＳ１２〜Ｓ１５は、設定数のサブ分類器３２４が構築されるまで繰り返される（ステップＳ１６）。ｉ回目（ｉは１以上の整数）のステップＳ１３により構築されるサブ分類器３２４をＣ_ｉと表現すると、ｉが設定数ｍａｘとなるまでｉを１ずつインクリメントしつつ、Ｃ_１、Ｃ_２、・・・、Ｃ_ｍａｘが取得される。以上のように、繰返制御部３３５が、新たな教師データセット群をデータ選択部３３２に選択させつつ、データ選択部３３２の処理、サブ分類器構築部３３３の処理、および、サブ分類器制御部３３４の処理（ステップＳ１２〜Ｓ１５）を所定回数だけ繰り返させることにより、設定数のサブ分類器３２４が取得される。設定数のサブ分類器３２４が取得されると（ステップＳ１６）、図４の処理が終了する。

図５は、分類部３２による欠陥画像の分類の流れを示す図である。既述のように、検査・分類装置１では、撮像装置２により基板９が撮像され、撮像画像が欠陥検出部４１に入力される。欠陥検出部４１では、検査対象領域の欠陥検査が行われ、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて分類部３２に出力される。当該欠陥画像は分類部３２における分類対象（欠陥）を示す画像であるため、以下、「対象画像」という。対象画像は、その属するクラスが未知の画像である。分類部３２では、対象画像のデータが、対象画像データ８２として、対象画像記憶部３２１に記憶されて準備される（ステップＳ２１）。

分類制御部３２２では、図４の処理により構築された複数（設定数）のサブ分類器３２４を用いて対象画像が分類され、対象画像に対する複数の分類結果が取得される（ステップＳ２２）。具体的には、特徴量算出部３２３により、対象画像から特徴量ベクトル（例えばＰ次元の特徴量ベクトル）が取得される。各サブ分類器３２４では、対象画像の特徴量ベクトルの入力により、分類結果であるクラスの番号（複数のクラスのいずれかの番号）が予測値として出力される。ステップＳ２２では、ｊの初期値を１として、ｊが設定数ｍａｘとなるまでｊを１ずつインクリメントしつつ、サブ分類器であるＣ_ｊにより対象画像のクラスの予測値が出力され、設定数ｍａｘ個の予測値が取得される。

その後、複数のサブ分類器３２４による複数の分類結果（予測値）に基づいて対象画像の分類クラスが決定される（ステップＳ２３）。対象画像の分類クラスの決定では、当該複数の分類結果を用いて、各サブ分類器３２４のクラス毎の正答率に基づく重み付け投票が、複数のクラスに対して行われる。例えば、複数のクラスに対して１ないしＫ（Ｋは２以上の整数）の番号をそれぞれ付与し、ｉ回目のステップＳ１３により取得されるサブ分類器３２４（以下、単に「ｉ番目のサブ分類器３２４」という。）による番号ｋ（ｋは１以上Ｋ以下の整数）のクラスの正答率をｐ_ｉｋと表現する場合、分類制御部３２２では、正答率ｐ_ｉｋを正規化した値が、重みｗ_ｉｋとして数１を用いて求められる。

（数１）
ｗ_ｉｋ＝ｐ_ｉｋ／Σ_ｉｐ_ｉｋ

重みｗ_ｉｋは、ｉ番目のサブ分類器３２４が対象画像を番号ｋのクラスと予測（分類）した場合の重み（得票値または得点）であり、数１のように、番号ｋのクラスに関する全てのサブ分類器３２４の正答率の和により正答率ｐ_ｉｋを割ることにより得られる。重みは、数１以外の演算により求められてもよい。そして、番号ｋのクラスを分類結果とする全てのサブ分類器３２４（すなわち、ｋを予測値として出力する全てのサブ分類器３２４）の重みｗ_ｉｋの和が、番号ｋのクラスに関する総得点Ｓ_ｋとして求められる。

分類制御部３２２では、複数のクラスのうち総得点Ｓ_ｋが最も高いクラスが特定される。そして、特定されたクラスの総得点Ｓ_ｋが、例えば０．５以上である場合に、当該クラスが対象画像の分類クラス（すなわち、分類部３２による分類結果）として決定される。当該クラスの総得点Ｓ_ｋが０．５未満である場合には、対象画像は、いずれのクラスにも分類されず、分類不可と判定される。分類不可の判定は、総得点が１番目のクラスと２番目のクラスとの点差等に基づいて行われてもよい。以下の説明では、分類不可も一の分類クラスとして扱う。

図６は、図４の処理により構築された複数のサブ分類器３２４を含む分類部３２の性能評価結果を示す図である。ここでは、分類部３２にＮ個の教師画像を分類させ、分類結果をまとめたコンフュージョンマトリクス（混同行列）を、性能評価結果として示している。本性能評価が行われた分類部３２は、６個のサブ分類器３２４を含む。

図６では、３種類の教示結果のクラスを行見出しに記し、分類不可を含む４種類の分類クラスを列見出しに記している。教示結果のクラスが「Ａ」である複数の教師画像のうち、分類クラス「Ｂ」に属すると判定された教師画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列との交差位置は、分類が行われた教師画像の総数のうち、教示結果のクラスと分類クラスとが一致した教師画像の個数の比率（総正答率）を示す。なお、図７および図８では、分類部３２に含まれる各サブ分類器３２４のクラス毎の正答率ｐ_ｉｋおよび重みｗ_ｉｋをそれぞれ示している。

次に、全ての教師データセットを用いて構築される１つのサブ分類器のみを含む第１比較例の分類部を想定する。また、５個の教師データセット群を所定の条件に従いつつ無作為に選択することにより５個のサブ分類器を構築し、第１比較例のサブ分類器と合わせて６個のサブ分類器を用いて多数決により分類を行う第２比較例の分類部を想定する。第２比較例における教師データセット群の選択の条件は、各クラスに関して、当該クラスを教示結果とする教師画像の総数のｐ倍（ただし、ｐは１未満）をおよそ保つ、すなわち、教師データセット群における各クラスの割合が、全ての教師データセットにおける当該クラスの割合とほぼ同じであることであり、教師データセットを重複して選択することは認められない。このような条件の下で構築される第２比較例の５個のサブ分類器では、その特性は、必ずしも互いに十分に異なるものとはならない。

図９および図１０は、第１比較例の分類部および第２比較例の分類部の性能評価結果をそれぞれ示す図である。第１比較例の分類部による総正答率は、図９に示すように８９．９％であり、第２比較例の分類部による総正答率は、図１０に示すように８９．５％である。これに対し、図３の分類部３２による総正答率は、図６に示すように９８．５％である。このように、分類部３２では、第１および第２比較例よりも高い総正答率が得られている。

以上に説明したように、検査・分類装置１では、学習用の教師データセット群（選択画像群）を選択するデータ選択部３３２と、教師データセット群を用いてサブ分類器３２４を構築するサブ分類器構築部３３３と、サブ分類器３２４を用いて複数の教師画像を分類するサブ分類器制御部３３４とが設けられる。そして、繰返制御部３３５による繰返処理において、データ選択部３３２では、下限画像数以上の誤分類画像が存在するクラスに関して当該下限画像数以上の誤分類画像のみが選択画像群に含められ、下限画像数以上の誤分類画像が存在しないクラスに関して正分類画像が選択画像群に含められる。これにより、誤分類画像の教師データセット８１が教師データセット群に優先的に含められ、直前に構築されたサブ分類器３２４とは特性（挙動）が異なるサブ分類器３２４が、当該教師データセット群を用いて構築される。その結果、多様な複数のサブ分類器３２４を取得することができ、当該複数のサブ分類器３２４による複数の分類結果に基づいて画像の分類を行う分類部３２の分類性能（汎化能力を含む。）を向上することができる。

ここで、公知の学習方法であるアダブーストでは、弱分類器（サブ分類器）の構築において、重み付けされた教師画像が用いられるため、例えば、線形判別分析等の学習アルゴリズムを組み合わせることができない。すなわち、利用可能な学習アルゴリズムの種類が制限される。

これに対し、分類器構築部３３における上記処理では、各サブ分類器３２４が誤って分類した誤分類画像が多く含まれるように、次のサブ分類器３２４に対する学習用の教師データセット群が選択される。そして、当該教師データセット群に含まれる、重み付けされていない複数の教師画像（換言すると、一定の重みの複数の教師画像）を用いて当該次のサブ分類器３２４が構築される。このように、教師画像（教師データセット８１）に対する重み付けを行わない分類器構築部３３では、サブ分類器３２４の構築において様々な種類の学習アルゴリズムを利用することが可能である。

また、分類器構築部３３における上記処理では、サブ分類器制御部３３４により、各サブ分類器３２４のクラス毎の正答率が算出される。そして、対象画像の分類の際に、分類制御部３２２により、複数のサブ分類器３２４における複数の分類結果を用いて、クラス毎の正答率に基づく重み付け投票が行われる。これにより、対象画像の分類クラスをより精度よく決定することが実現される。

対象画像の分類では、複数のサブ分類器３２４における複数の分類結果の多数決により対象画像の分類クラスを決定することも可能である。この場合に、得票数が１番目のクラスの得票率や、２番目のクラスとの票数差等によっては、分類不可の判定が行われてもよい。対象画像の分類クラスの信頼性を向上するという観点では、各サブ分類器３２４のクラス毎の正答率を考慮することが好ましい。

上記処理例では、全てのサブ分類器３２４が同じ学習アルゴリズムにより構築されるが、例えば、サブ分類器構築部３３３によるサブ分類器３２４の構築毎に、複数種類の学習アルゴリズムから一の学習アルゴリズムが規則的に、または、不規則に選択され、多様な複数のサブ分類器３２４が取得されてもよい。この場合、分類部３２における複数のサブ分類器３２４において、互いに異なる学習アルゴリズムにより構築される少なくとも２つのサブ分類器３２４が含まれる。このような分類部３２においても、分類性能を向上することが可能となる。

上記検査・分類装置１では様々な変形が可能である。

ｎ回目（ｎは２以上の整数）のステップＳ１２にて選択される教師データセット群の選択画像群において、当該選択画像群の半数未満の正分類画像が含まれてもよい。この場合も、ｎ回目のステップＳ１３にて構築されるサブ分類器３２４の特性を、（ｎ−１）回目のステップＳ１３（直前のステップＳ１３）にて構築されるサブ分類器３２４の特性とある程度相違させ、アンサンブル学習に係る複数のサブ分類器３２４（分類部３２）による分類性能を向上することが可能である。以上のように、２回目以降のステップＳ１２にて選択される教師データセット群の選択画像群は、複数の教師画像の一部を含み（典型的には、Ｎ個の教師画像の一部であり）、かつ、半分以上が誤分類画像であることが重要である。

対象画像は、半導体基板以外の基板の外観を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、検査・分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、検査・分類装置１において太陽電池パネルの欠陥が分類されてよい。さらに、欠陥画像は、電子線やＸ線等により撮像される画像であってもよい。このように、検査・分類装置１では、可視光により撮像される画像のみならず、広義の放射線により撮像される画像が分類される。

検査・分類装置１において、分類器構築部３３、対象画像記憶部３２１および分類制御部３２２により実現される画像分類装置の機能は、撮像装置２および欠陥検出部４１とは独立して用いられてよい。画像分類装置は、血液や培養液等の所定の液中の細胞を撮像した細胞画像を分類する用途に用いられてもよい。画像分類装置は、様々な分類対象を示す画像の分類に利用可能である。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

３２分類部
３３分類器構築部
８１教師データセット
８２対象画像データ
３２１対象画像記憶部
３２２分類制御部
３２４サブ分類器
３３１教師データ記憶部
３３２データ選択部
３３３サブ分類器構築部
３３４サブ分類器制御部
３３５繰返制御部
Ｓ１１〜Ｓ１６，Ｓ２１〜Ｓ２３ステップ

Claims

画像を分類する画像分類方法であって、
ａ）複数の教師画像のそれぞれが複数のクラスのいずれかに割り振られており、それぞれが一の教師画像と、前記教師画像に割り振られたクラスを教示結果として示す情報とを含む複数の教師データセットを準備する工程と、
ｂ）前記複数の教師データセットから学習用の教師データセット群を選択する工程と、
ｃ）前記教師データセット群を用いて学習を行うことによりサブ分類器を構築する工程と、
ｄ）前記サブ分類器を用いて前記複数の教師画像を分類する工程と、
ｅ）前記サブ分類器による分類結果が前記教示結果と相違する教師画像を誤分類画像として、前記複数の教師画像の一部を含み、かつ、半分以上が誤分類画像である選択画像群をそれぞれ含む新たな教師データセット群を前記ｂ）工程にて選択しつつ、前記ｂ）ないしｄ）工程を所定回数だけ繰り返す工程と、
ｆ）分類対象の対象画像を準備する工程と、
ｇ）前記ｃ）工程にて構築された複数のサブ分類器を用いて前記対象画像を分類する工程と、
ｈ）前記複数のサブ分類器による複数の分類結果に基づいて前記対象画像のクラスを決定する工程と、
を備え、
前記ｅ）工程により繰り返される前記ｂ）工程おいて、各クラスを前記教示結果とする誤分類画像の数が確認され、所定数以上の誤分類画像が存在するクラスに関して前記所定数以上の誤分類画像のみが前記選択画像群に含められ、前記所定数以上の誤分類画像が存在しないクラスに関して、前記クラスを前記教示結果とし、かつ、誤分類画像ではない教師画像が前記選択画像群に含められることを特徴とする画像分類方法。
請求項１に記載の画像分類方法であって、
前記ｄ）工程において、前記サブ分類器のクラス毎の正答率が算出され、
前記ｈ）工程において、前記複数の分類結果を用いて、各サブ分類器の前記クラス毎の正答率に基づく重み付け投票が行われることにより、前記対象画像のクラスが決定されることを特徴とする画像分類方法。
請求項１または２に記載の画像分類方法であって、
前記複数のサブ分類器が、互いに異なる学習アルゴリズムにより構築される２つのサブ分類器を含むことを特徴とする画像分類方法。
画像を分類する画像分類装置であって、
複数のサブ分類器を構築する分類器構築部と、
分類対象の対象画像を記憶する対象画像記憶部と、
前記複数のサブ分類器を用いて前記対象画像を分類するとともに、前記複数のサブ分類器による複数の分類結果に基づいて前記対象画像のクラスを決定する分類制御部と、
を備え、
前記分類器構築部が、
複数の教師画像のそれぞれが複数のクラスのいずれかに割り振られており、それぞれが一の教師画像と、前記教師画像に割り振られたクラスを教示結果として示す情報とを含む複数の教師データセットを記憶する教師データ記憶部と、
前記複数の教師データセットから学習用の教師データセット群を選択するデータ選択部と、
前記教師データセット群を用いて学習を行うことによりサブ分類器を構築するサブ分類器構築部と、
前記サブ分類器を用いて前記複数の教師画像を分類するサブ分類器制御部と、
前記サブ分類器による分類結果が前記教示結果と相違する教師画像を誤分類画像として、前記複数の教師画像の一部を含み、かつ、半分以上が誤分類画像である選択画像群をそれぞれ含む新たな教師データセット群を前記データ選択部に選択させつつ、前記データ選択部の処理、前記サブ分類器構築部の処理、および、前記サブ分類器制御部の処理を所定回数だけ繰り返させる繰返制御部と、
を備え、
前記繰返制御部により繰り返される前記データ選択部の処理において、各クラスを前記教示結果とする誤分類画像の数が確認され、所定数以上の誤分類画像が存在するクラスに関して前記所定数以上の誤分類画像のみが前記選択画像群に含められ、前記所定数以上の誤分類画像が存在しないクラスに関して、前記クラスを前記教示結果とし、かつ、誤分類画像ではない教師画像が前記選択画像群に含められることを特徴とする画像分類装置。
請求項４に記載の画像分類装置であって、
前記サブ分類器制御部が、前記サブ分類器のクラス毎の正答率を算出し、
前記分類制御部が、前記複数の分類結果を用いて、各サブ分類器の前記クラス毎の正答率に基づく重み付け投票を行うことにより、前記対象画像のクラスを決定することを特徴とする画像分類装置。
請求項４または５に記載の画像分類装置であって、
前記複数のサブ分類器が、互いに異なる学習アルゴリズムにより構築される２つのサブ分類器を含むことを特徴とする画像分類装置。