JP7070334B2 - 画像分類装置、画像検査装置、及び画像分類方法 - Google Patents

Description

本発明は、画像分類装置、画像検査装置、及び画像分類方法に関する。

従来、画像分類装置の検査・分類装置として、検査対象領域の画像データの欠陥検査を行い、欠陥が検出されると欠陥画像のデータを生成する欠陥検出部と、分類器を用いて欠陥画像を複数の欠陥クラスのいずれかに分類する分類制御部と、を備えたものが知られている（特許文献１参照）。この検査・分類装置の分類器は、Ｍ個（Ｍは２以上の整数）のコア分類器と、１個の投票部とを含み、Ｎ個（Ｎは２以上の整数）の欠陥クラスに分類している。

特開２０１６－４０６５０号公報

ここで、ある画像について、例えば、欠陥ありと欠陥なしとのどちらともいえない、つまり、欠陥ありのクラスと欠陥なしのクラスとの間に中間クラス（グレークラス）が存在する場合がある。

この中間クラスが存在する状況において、例えば、対象となる画像について、欠陥ありを第１クラスに、欠陥なしを第２クラスに、中間クラスを第３クラスに、それぞれ分類する場合、第１クラスと第３クラスとの間のしきい値と、第１クラスと第３クラスとの間のしきい値との２つしきい値を設定する必要が生じる。

しかしながら、中間クラスの境界ははっきりしないため、これらの２つのしきい値の調整は困難であり、２つのしきい値次第では、第３クラスに分類される画像が多過ぎたり（過多分類）、あるいは第３クラスに分類される画像が少な過ぎたり（過少分類）することがあった。

そこで、本発明は、画像の中間クラスへの過多分類及び過少分類を抑制することのできる画像分類装置及び画像分類方法を提供することを目的とする。

本発明の一態様に係る画像分類装置は、画像を第１クラス又はそれ以外のクラスに分類する第１分類器であって、第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類器と、画像を第２クラス又はそれ以外のクラスに分類する第２分類器であって、第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類器と、第１分類器の分類結果と第２分類器の分類結果とに基づいて、画像が第１クラスと第２クラスとの間の中間クラスであるか否かを判定する判定部と、を備える。

この態様によれば、第１分類器の分類結果と第２分類器の分類結果とに基づいて、画像は第１クラスと第２クラスとの間の中間クラスであるか否かが判定される。ここで、第１分類器によって第１クラスに分類される画像に第１クラスの可能性のあるものが含まれる場合、第１分類器が画像を第１クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第２分類器によって第２クラスに分類される画像に第２クラスの可能性のあるものが含まれるようにする場合、第２分類器が画像を第２クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第１分類器の分類結果及び第２分類器の分類結果に基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器の分類結果と第２分類器の分類結果とに基づいて、画像が第１クラスと第２クラスとの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

前述した態様において、判定部は、画像が、第１分類器によって第１クラスに分類され、第２分類器によって第２クラスに分類されたときに、該画像を中間クラスであると判定してもよい。

この態様によれば、画像が、第１分類器によって第１クラスに分類され、第２分類器によって第２クラスに分類されたときに、当該画像は中間クラスであると判定される。ここで、第１分類器によって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器によって第２クラスの可能性のあるものを含む第２クラスであると分類された画像は、第１クラスと第２クラスとの間にある中間クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類器によって第１クラスに分類され、第２分類器によって第２クラスに分類されたときに、当該画像を中間クラスであると判定することにより、画像を中間クラスに分類する精度を向上させることができる。

前述した態様において、判定部は、画像が、第１分類器によって第１クラスに分類され、第２分類器によってそれ以外のクラスに分類されたときに、該画像を第１クラスであると判定してもよい。

この態様によれば、画像が、第１分類器によって第１クラスに分類され、第２分類器によってそれ以外のクラスに分類されたときに、当該画像は第１クラスであると判定される。ここで、第１分類器によって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器によって第２クラス以外であると分類された画像は、第１クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類器によって第１クラスに分類され、第２分類器によって第２クラス以外に分類されたときに、当該画像を第１クラスであると判定することにより、画像を第１クラスに分類する精度を向上させることができる。

前述した態様において、判定部は、画像が、第１分類器によってそれ以外のクラスに分類され、第２分類器によって第２クラスに分類されたときに、該画像を第２クラスであると判定してもよい。

この態様によれば、画像が、第１分類器によってそれ以外のクラスに分類され、第２分類器によって第２クラスに分類されたときに、当該画像は第２クラスであると判定される。ここで、第１分類器によって第１クラス以外であると分類され、第２分類器によって第２クラスの可能性のあるものを含む第２クラスであると分類された画像は、第２クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類器によって第１クラス以外に分類され、第２分類器によって第２クラスに分類されたときに、当該画像を第２クラスであると判定することにより、画像を第２クラスに分類する精度を向上させることができる。

前述した態様において、第１分類器及び第２分類器は、それぞれ２クラス分類器であってもよい。

この態様によれば、第１分類器及び第２分類器は、それぞれ２クラス分類器である。これにより、３クラス以上の多クラス分類器と比較して、簡単かつ容易に、分類精度の高い第１分類器及び第２分類器を生成することができる。

前述した態様において、画像を第３クラス又はそれ以外のクラスに分類する第３分類器であって、第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれる、第３分類器をさらに備え、判定部は、第１分類器の分類結果と第２分類器の分類結果と第３分類器の分類結果とに基づいて、画像が第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定してもよい。

この態様によれば、第１分類器の分類結果と第２分類器の分類結果と第３分類器の分類結果とに基づいて、画像は第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かが判定される。ここで、第３分類器によって第３クラスに分類される画像に第３クラスの可能性のあるものが含まれる場合、第３分類器が画像を第３クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器の分類結果ＣＲ３と、第１分類器の分類結果及び第２分類器の分類結果とに基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器の分類結果と第２分類器の分類結果と第３分類器の分類結果とに基づいて、画像が第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

前述した態様において、第３分類器から第ｍ（ｍは４以上の整数）分類器までのそれぞれをさらに備え、第３分類器は画像を第３クラス又はそれ以外のクラスに分類し、第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれ、第ｍ分類器は前記画像を第ｍクラス又はそれ以外のクラスに分類し、第ｍクラスに分類される画像には該第ｍクラスの可能性のあるものが含まれ、判定部は、第１分類器の分類結果から第ｍ分類器の分類結果までに基づいて、画像が第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定してもよい。

この態様によれば、第１分類器の分類結果から第ｍ分類器の分類結果までに基づいて、画像は第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かが判定される。ここで、第３分類器によって第３クラスに分類される画像に第３クラスの可能性のあるものが含まれる場合、第３分類器が画像を第３クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第ｍ分類器によって第ｍクラスに分類される画像に第ｍクラスの可能性のあるものが含まれる場合、第ｍ分類器が画像を第ｍクラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器の分類結果から第ｍ分類器の分類結果までと、第１分類器の分類結果及び第２分類器の分類結果とに基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器の分類結果から第ｍ分類器の分類結果までに基づいて、画像が第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

また、本発明の他の態様に係る画像検査装置は、前述した画像分類装置を備え、画像分類装置を用いて検査対象物の画像を検査する。

この態様によれば、前述した画像分類装置を用いて検査対象物の画像を検査される。これにより、画像の中間クラスへの過多分類及び過少分類を抑制する画像検査装置を容易に実現することができる。

また、本発明の他の態様に係る画像分類方法は、第１分類器が画像を第１クラス又はそれ以外のクラスに分類する第１分類ステップであって、第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類ステップと、第２分類器が画像を第２クラス又はそれ以外のクラスに分類する第２分類ステップであって、第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類ステップと、判定部が、第１分類ステップの分類結果と第２分類ステップの分類結果とに基づいて、画像は第１クラスと第２クラスとの間の中間クラスであるか否かを判定する判定ステップと、を含む。

この態様によれば、第１分類ステップの分類結果と第２分類ステップの分類結果とに基づいて、画像は第１クラスと第２クラスとの間の中間クラスであるか否かが判定される。ここで、第１分類器によって第１クラスに分類される画像に第１クラスの可能性のあるものが含まれる場合、第１分類器が画像を第１クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第２分類器によって第２クラスに分類される画像に第２クラスの可能性のあるものが含まれるようにする場合、第２分類器が画像を第２クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第１分類器の分類結果及び第２分類器の分類結果に基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類ステップの分類結果と第２分類ステップの分類結果とに基づいて、画像が第１クラスと第２クラスとの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

前述した態様において、判定ステップは、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類ステップにおいて第２クラスに分類されたときに、判定部が該画像を中間クラスであると判定することを含んでもよい。

この態様によれば、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類ステップにおいて第２クラスに分類されたときに、当該画像は中間クラスであると判定される。ここで、第１分類器によって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器によって第２クラスの可能性のあるものを含む第２クラスであると分類された画像は、第１クラスと第２クラスとの間にある中間クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類ステップによって第２クラスに分類されたときに、当該画像を中間クラスであると判定することにより、画像を中間クラスに分類する精度を向上させることができる。

前述した態様において、判定ステップは、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類ステップにおいてそれ以外のクラスに分類されたときに、判定部が該画像を第１クラスであると判定することを含んでもよい。

この態様によれば、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類器においてそれ以外のクラスに分類されたときに、当該画像は第１クラスであると判定される。ここで、第１分類器によって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器によって第２クラス以外であると分類された画像は、第１クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類ステップにおいて第１クラスに分類され、第２分類ステップにおいて第２クラス以外に分類されたときに、当該画像を第１クラスであると判定することにより、画像を第１クラスに分類する精度を向上させることができる。

前述した態様において、判定ステップは、画像が、第１分類ステップにおいてそれ以外のクラスに分類され、第２分類ステップにおいて第２クラスに分類されたときに、判定部が該画像を第２クラスであると判定することを含んでもよい。

この態様によれば、画像が、第１分類ステップにおいてそれ以外のクラスに分類され、第２分類ステップにおいて第２クラスに分類されたときに、当該画像は第２クラスであると判定される。ここで、第１分類器によって第１クラス以外であると分類され、第２分類器によって第２クラスの可能性のあるものを含む第２クラスであると分類された画像は、第２クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、画像が、第１分類ステップにおいて第１クラス以外に分類され、第２分類ステップにおいて第２クラスに分類されたときに、当該画像を第２クラスであると判定することにより、画像を第２クラスに分類する精度を向上させることができる。

前述した態様において、第３分類器が画像を第３クラス又はそれ以外のクラスに分類する第３分類ステップであって、第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれる、第３分類ステップをさらに含み、判定ステップは、判定部が、第１分類ステップの分類結果と第２分類ステップの分類結果と第３分類ステップの分類結果とに基づいて、画像は第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することを含んでもよい。

この態様によれば、第１分類ステップの分類結果と第２分類ステップの分類結果と第３分類ステップの分類結果とに基づいて、画像は第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かが判定される。ここで、第３分類器によって第３クラスに分類される画像に第３クラスの可能性のあるものが含まれる場合、第３分類器が画像を第３クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器の分類結果ＣＲ３と、第１分類器の分類結果及び第２分類器の分類結果とに基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類ステップの分類結果と第２分類ステップの分類結果と第３分類ステップの分類結果とに基づいて、画像が第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

前述した態様において、第３分類ステップから第ｍ（ｍは４以上の整数）分類ステップまでのそれぞれをさらに含み、第３分類ステップは、第３分類器が画像を第３クラス又はそれ以外のクラスに分類することを含み、第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれ、第ｍ分類ステップは、第ｍ分類器が画像を第ｍクラス又はそれ以外のクラスに分類することを含み、第ｍクラスに分類される画像には該第ｍクラスの可能性のあるものが含まれ、判定ステップは、判定部が、第１分類ステップの分類結果から第ｍ分類ステップの分類結果までに基づいて、画像は第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することを含む。

この態様によれば、第１分類ステップの分類結果から第ｍ分類ステップの分類結果までに基づいて、画像は第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かが判定される。ここで、第３分類器によって第３クラスに分類される画像に第３クラスの可能性のあるものが含まれる場合、第３分類器が画像を第３クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第ｍ分類器によって第ｍクラスに分類される画像に第ｍクラスの可能性のあるものが含まれる場合、第ｍ分類器が画像を第ｍクラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器の分類結果から第ｍ分類器の分類結果までと、第１分類器の分類結果及び第２分類器の分類結果とに基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類ステップの分類結果から第ｍ分類ステップの分類結果までに基づいて、画像が第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

本発明によれば、画像の中間クラスへの過多分類及び過少分類を抑制することができる。

図１は、一実施形態に係る画像処理装置の概略構成を例示する構成図である。 図２は、図１に示した分類部及び判定部の構成を例示するブロック図である。 図３は、第１クラスと第２クラスとの間の中間クラスを例示するベン図である。 図４は、図１に示した判定部の結果を例示する表である。 図５は、図２に示した第１分類器及び第１分類器の生成を例示する図である。 図６は、本発明の第１実施形態に係る画像検査装置の概略動作を例示するフローチャートである。 図７は、図１に示した画像検査装置の検査画像と分類結果を例示する図である。 図８は、図７に示した画像検査装置の検査画像を特徴量によってマッピングしたグラフである。 図９は、本発明の第２実施形態に係る画像検査装置の概略構成を例示する構成図である。 図１０は、図９に示した分類部及び判定部の構成を例示するブロック図である。 図１１は、第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスを例示するベン図である。 図１２は、図１０に示した判定部の結果を例示する表である。 図１３は、図９に示した分類部及び判定部の構成の変形例を例示するブロック図である。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

＜第１実施形態＞
まず、図１から図５を参照しつつ、本発明の第１実施形態に係る画像検査装置及び画像分類装置の構成の一例について説明する。図１は、本発明の第１実施形態に係る画像検査装置１００の概略構成を例示する構成図である。図２は、図１に示した分類部３１及び判定部３２の構成を例示するブロック図である。図３は、第１クラスＣＬ１と第２クラスＣＬ２との間の中間クラスＩＣを例示するベン図である。図４は、図１に示した判定部３２の結果ＲＥを例示する表である。図５は、図２に示した第１分類器３１ａ及び第２分類器３１ｂの生成を例示する図である。

画像検査装置１００は、検査対象物を撮影した画像から検査対象物が欠陥を含むか否かを検査するためのものである。欠陥は、特に限定されるものではないが、例えば、傷、クラック、欠け、バリ、付着物、異物、打痕、色等のムラ、汚れ、印字のかすれ、印字等の位置ずれ等の視認可能なものを含む。

図１に示すように、画像検査装置１００は、画像分類装置５０と、撮像装置６０と、入力装置７０と、出力装置８０と、ライン装置９０と、を備える。画像検査装置１００は、例えば、ライン装置９０の上の検査対象物を撮像装置６０によって撮像し、画像分類装置５０を用いて検査対象物の画像（以下、「検査画像」という）を検査するように構成されている。

画像分類装置５０は、例えば、コンピュータ等の情報処理装置である。画像分類装置５０は、入出力Ｉ／Ｆ（インターフェース）１０と、記憶部２０と、制御部３０と、を備える。また、画像分類装置５０は、画像分類装置５０の各部の間で信号やデータを伝送するように構成されたバス４０をさらに備える。

入出力Ｉ／Ｆ１０は、画像分類装置５０と外部の機器とのインターフェースである。入出力Ｉ／Ｆ１０は、外部の機器との間でデータや信号をやり取りするように構成されている。また、入出力Ｉ／Ｆ１０は、外部の機器との通信を制御するように構成されている。入出力Ｉ／Ｆ１０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４等の規格化されたインターフェースの接続端子を含んで構成される。入出力Ｉ／Ｆ１０は、撮像装置６０、入力装置７０、及び出力装置８０に接続されている。

記憶部２０は、プログラムやデータ等を記憶するように構成されている。記憶部２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等を含んで構成される。記憶部２０は、制御部３０が実行する各種プログラムやプログラムの実行に必要なデータ等をあらかじめ記憶している。また、記憶部２０は、撮像装置６０から入出力Ｉ／Ｆ１０を介して入力される検査画像２１を記憶する。

制御部３０は、入出力Ｉ／Ｆ１０及び記憶部２０等、画像分類装置５０の各部の動作を制御するように構成されている。また、制御部３０は、記憶部２０に記憶されたプログラムを実行する等によって、後述する各機能を実現するように構成されている。制御部３０は、例えば、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)等のプロセッサ、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)等のメモリ、及びバッファ等の緩衝記憶装置を含んで構成される。制御部３０は、その機能構成として、例えば、分類部３１と、判定部３２と、を備える。

図２に示すように、分類部３１は、第１分類器３１ａと、第２分類器３１ｂと、を備える。

第１分類器３１ａは、入力される画像を、第１クラス又はそれ以外のクラスに分類するように構成されている。第１クラスに分類される画像には、当該第１クラスの可能性のあるものが含まれる。この結果、それ以外のクラス（第１クラス以外のクラス）には、確実に第１クラスではない画像が分類される。第１分類器３１ａには記憶部２０に記憶された検査画像２１が入力され、第１分類器３１ａは分類結果ＣＲ１を出力する。

第２分類器３１ｂは、入力される画像を、第２クラス又はそれ以外のクラスに分類するように構成されている。第２クラスに分類される画像には、当該第２クラスの可能性のあるものが含まれる。この結果、それ以外のクラス（第２クラス以外のクラス）には、確実に第２クラスではない画像が分類される。第２分類器３１ｂには記憶部２０に記憶された検査画像２１が入力され、第２分類器３１ｂは分類結果ＣＲ２を出力する。

判定部３２は、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２とに基づいて、第１分類器３１ａ及び第２分類器３１ｂに入力される検査画像２１が、第１クラスと第２クラスとの間の中間クラスであるか否かを判定するように構成されている。判定部３２には、第１分類器３１ａの分類結果ＣＲ１及び第２分類器３１ｂの分類結果ＣＲ２が入力され、判定部３２は判定結果に従う結果ＲＥを出力する。

ここで、第１分類器３１ａによって第１クラスに分類される検査画像２１に第１クラスの可能性のあるものが含まれる場合、第１分類器３１ａが検査画像２１を第１クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第２分類器３１ｂによって第２クラスに分類される検査画像２１に第２クラスの可能性のあるものが含まれるようにする場合、第２分類器３１ｂが検査画像２１を第２クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第１分類器３１ａの分類結果ＣＲ１及び第２分類器３１ｂの分類結果ＣＲ２に基づいて、検査画像２１を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２とに基づいて、検査画像２１が第１クラスと第２クラスとの間の中間クラスであるか否かを判定することにより、検査画像２１の中間クラスへの過多分類及び過少分類を抑制することができる。

例えば、図３に示すように、第１クラスＣＬ１は検査画像２１が「ＯＫ」であるクラスであり、第２クラスＣＬ２は検査画像２１が「ＮＧ」であるクラスである場合、第１クラスＣＬ１と第２クラスＣＬ２との間に、中間クラスＩＣが存在する。中間クラスＩＣには、第１分類器３１ａでは「ＯＫ」であり、第２分類器３１ｂでは「ＮＧ」である検査画像２１が含まれ、当該検査画像２１は、「ＯＫ」とも「ＮＧ」とも分類できないグレーな画像である。

以下の説明において、特に明示する場合を除き、図３に示すように、第１クラスＣＬ１は検査画像２１が「ＯＫ」、第２クラスＣＬ２は検査画像２１が「ＮＧ」、第１クラスＣＬ１と第２クラスＣＬ２との間に存在する中間クラスＩＣは「グレー」とする。

図３に示す例の場合、判定部３２は、図４に示す表に従って判定する。なお、図４の表では、上線は否定を表しており、「ＯＫ」の上線は「ＯＫ」以外を意味し、「ＮＧ」の上線は「ＮＧ」以外を意味する。以下の説明において、「ＯＫ」以外を「￢ＯＫ」と表記し、「ＮＧ」以外を「￢ＮＧ」と表記する場合がある。

詳細には、検査画像２１が、第１分類器３１ａによって「ＯＫ」に分類され、第２分類器３１ｂによって「ＮＧ」に分類されたときに、判定部３２は、当該検査画像２１を中間クラスＩＣであると判定し、結果ＲＥとして中間クラスＩＣを示す「グレー」を出力する。ここで、第１分類器３１ａによって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器３１ｂによって第２クラスの可能性のあるものを含む第２クラスであると分類された検査画像２１は、第１クラスと第２クラスとの間にある中間クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、検査画像２１が、第１分類器３１ａによって「ＯＫ」に分類され、第２分類器３１ｂによって「ＮＧ」に分類されたときに、当該検査画像２１を中間クラスＩＣであると判定することにより、検査画像２１を「グレー」に分類する精度を向上させることができる。

また、検査画像２１が、第１分類器３１ａによって「ＯＫ」に分類され、第２分類器３１ｂによって「ＮＧ」以外に分類されたときに、判定部３２は、当該検査画像２１を第１クラスＣＬ１であると判定し、結果ＲＥとして第１クラスＣＬ１を示す「ＯＫ」を出力する。ここで、第１分類器３１ａによって第１クラスの可能性のあるものを含む第１クラスであると分類され、第２分類器３１ｂによって第２クラス以外であると分類された検査画像２１は、第１クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、検査画像２１が、第１分類器３１ａによって「ＯＫ」に分類され、第２分類器３１ｂによって「ＮＧ」以外に分類されたときに、当該検査画像２１を第１クラスＣＬ１であると判定することにより、検査画像２１を「ＯＫ」に分類する精度を向上させることができる。

さらに、検査画像２１が、第１分類器３１ａによって「ＯＫ」以外に分類され、第２分類器３１ｂによって「ＮＧ」に分類されたときに、判定部３２は、当該検査画像２１を第２クラスＣＬ２であると判定し、結果ＲＥとして第２クラスＣＬ２を示す「ＮＧ」を出力する。ここで、第１分類器３１ａによって第１クラス以外であると分類され、第２分類器３１ｂによって第２クラスの可能性のあるものを含む第２クラスであると分類された検査画像２１は、第２クラスである蓋然性が高いことを、本発明の発明者は見出した。よって、検査画像２１が、第１分類器３１ａによって「ＯＫ」以外に分類され、第２分類器３１ｂによって「ＮＧ」に分類されたときに、当該検査画像２１を第２クラスＣＬ２であると判定することにより、検査画像２１を「ＮＧ」に分類する精度を向上させることができる。

なお、検査画像２１が、第１分類器３１ａによって「ＯＫ」以外に分類され、第２分類器３１ｂによって「ＮＧ」以外に分類されたとき、当該検査画像２１は、図３に示す例において、第１クラスＣＬ１の外側かつ第２クラスＣＬ２の外側の領域に属することになる。すなわち、このような検査画像２１は、画像分類装置５０Ａでは分類できない画像であるから、判定部３２は、結果ＲＥとして「不明」を出力する。

第１分類器３１ａ及び第２分類器３１ｂは、それぞれ２クラス分類器である。これにより、３クラス以上の多クラス分類器と比較して、簡単かつ容易に、分類精度の高い第１分類器３１ａ及び第２分類器３１ｂを生成することができる。

第１分類器３１ａ及び第２分類器３１ｂは、任意の機械学習モデルのアルゴリズムを用いて生成される。例えば、図５に示すように、第１分類器３１ａは第１ニューラルネットワークＮＷ１を用いて生成され、第２分類器３１ｂは第２ニューラルネットワークＮＷ２を用いて生成される。図５に示す例では、第１ニューラルネットワークＮＷ１及び第２ニューラルネットワークＮＷ２は、それぞれ、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。

第１ニューラルネットワークＮＷ１及び第２ニューラルネットワークＮＷ２は、例えば、それぞれ、畳み込みフィルタ層とプーリング層との組み合わせである畳み込みフィルタ層／プーリング層と、畳み込みフィルタ層／プーリング層によって抽出される特徴量と、全結合層と、出力と、を含んでいる。

第１ニューラルネットワークＮＷ１及び第２ニューラルネットワークＮＷ２には、入力として複数の学習画像ＬＧが与えられる。各学習画像ＬＧには、アノテーション、つまり、関連情報が付与されている。すなわち、第１ニューラルネットワークＮＷ１に各学習画像ＬＧを入力する際、各学習画像ＬＧには第１ラベルＬＡ１が付与され、第２ニューラルネットワークＮＷ２に各学習画像ＬＧを入力する際、各学習画像ＬＧには第２ラベルＬＡ２が付与される。第１ラベルＬＡ１は、第１クラスである「ＯＫ」又はそれ以外のクラスである「￢ＯＫ」である。一方、第２ラベルＬＡ２は、第２クラスである「ＮＧ」又はそれ以外のクラスである「￢ＮＧ」である。第１ラベルＬＡ１及び第２ラベルＬＡ２は、例えばユーザが、各学習画像ＬＧを見て分類することによって設定される。

図５に示す例では、第１ニューラルネットワークＮＷ１及び第２ニューラルネットワークＮＷ２を用いて第１分類器３１ａ及び第２分類器３１ｂを生成する例を示したが、これに限定されるものではない。第１分類器３１ａ及び第２分類器３１ｂを生成する機械学習モデルのアルゴリズムとして、例えば、サポートベクターマシン、ロジスティック回帰、ディープニューラルネットワーク等を用いるようにしてもよい。

図１に戻り、制御部３０の各機能は、コンピュータ（マイクロプロセッサ）で実行されるプログラムによって実現することが可能である。したがって、制御部３０が備える各機能は、ハードウェア、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現可能であり、いずれかの場合に限定されるものではない。

また、制御部３０の各機能が、ソフトウェア、若しくはハードウェア及びソフトウェアの組み合わせによって実現される場合、その処理は、マルチタスク、マルチスレッド、若しくはマルチタスク及びマルチスレッドの両方で実行可能であり、いずれかの場合に限定されるものではない。

撮像装置６０は、画像を撮影してデータとして記録するように構成されている。撮像装置６０は、デジタルカメラであり、例えば、レンズ等の光学系部品と、撮像素子（受光素子）等の電子系部品とを含んで構成される。なお、光学系部品は、複数のレンズを備えていてもよい。また、電子系部品は、フラッシュ等の発光装置を備えていてもよい。撮像装置６０は、ライン装置９０の上方に配置されており、ライン装置９０上の検査対象物を撮影し、撮影した画像を入出力Ｉ／Ｆ１０を介して画像分類装置５０に出力する。制御部３０は、撮像装置６０から入力された画像に必要な処理を施して検査画像２１のファイルを生成し、生成した検査画像２１のファイルを記憶部２０に記憶させる。

入力装置７０は、利用者（ユーザ）の操作によって情報を入力できるように構成されている。入力装置７０は、例えば、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を含んで構成される。することが可能である。例えば、利用者が、キーボード、キーパッド、マウス、トラックボール、タッチパネル、マイク等を操作（マイクを用いた音声操作を含む）したときに、入力装置７０は、当該操作に対応するデータ又は信号を入出力Ｉ／Ｆ１０を介して画像分類装置５０に出力する。制御部３０が、このデータまた信号に基づいてデータを生成することで、画像分類装置５０に情報を入力することが可能になる。

出力装置８０は、情報を出力するように構成されている。出力装置８０は、例えば、液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ等の表示装置を含んで構成される。例えば、画像分類装置５０から入出力Ｉ／Ｆ１０を介して入力される画像データを、出力装置８０が表示装置に表示することで、情報を出力することが可能になる。

ライン装置９０は、検査対象物を搬送するように構成されている。ライン装置９０は、例えばベルトコンベヤ等の搬送手段を含んで構成される。ライン装置９０は、画像分類装置５０から入出力Ｉ／Ｆ１０を介して入力される制御信号に基づいて、例えば、ライン装置９０上の検査対象物を移動させたり、停止させたり、除外したりすることが可能になる。

次に、図６から図８を参照しつつ、本発明の第１実施形態に係る画像検査装置１００の動作について説明する。図６は、本発明の第１実施形態に係る画像検査装置１００の概略動作を例示するフローチャートである。図７は、図１に示した画像検査装置１００の検査画像２１と分類結果を例示する図である。図８は、図７に示した画像検査装置１００の検査画像２１を特徴量によってマッピングしたグラフである。

画像検査装置１００は、例えば利用者（ユーザ）の操作によって起動すると、図６に示す画像検査処理Ｓ２００を実行する。

最初に、第１分類器３１ａは、記憶部２０に記憶された検査画像２１を読み出し、当該検査画像２１を「ＯＫ」又は「ＯＫ」以外に分類する（Ｓ２０１）。なお、ステップＳ２０１は、本発明の「第１分類ステップ」に相当する。

次に、第２分類器３１ｂは、ステップＳ２０１で読み出した検査画像２１を「ＮＧ」又は「ＮＧ」以外に分類する（Ｓ２０２）。なお、ステップＳ２０２は、本発明の「第２分類ステップ」に相当する。

次に、判定部３２は、ステップＳ２０１の分類結果とステップＳ２０２の分類結果とに基づいて、ステップＳ２０１で読み出した検査画像２１が中間クラスである「グレー」であるか否かを判定する（Ｓ２０３）。なお、ステップＳ２０３は、本発明の「判定ステップ」に相当する。

ステップＳ２０３の判定の結果、検査画像２１が「グレー」である場合、当該検査画像２１を再検査する必要があると考えられる。よって、制御部３０は、例えば、検査画像２１をＩ／Ｆ１０を介して出力装置８０に表示させ、利用者の目視によって検査画像２１を再検査する（Ｓ２０４）。利用者は、出力装置８０に表示された検査画像２１を見て、入力装置７０を操作することによって、当該検査画像２１に対して「ＯＫ」又は「ＮＧ」を入力する。

一方、ステップＳ２０３の判定の結果、判定部３２は、検査画像２１が「グレー」でない場合、検査画像２１が第１クラスである「ＯＫ」であるか否かを判定する（Ｓ２０５）。

ステップＳ２０５の判定の結果、検査画像２１が「ＯＫ」である場合、当該検査画像２１に対応する検査対象物は、例えば製品として出荷可能な状態であると考えられる。よって、制御部３０は、Ｉ／Ｆ１０を介してライン装置９０に制御信号を出力し、ライン装置９０が、当該検査画像２１に対応する検査対象物を搬送し、出荷する（Ｓ２０６）。

一方、ステップＳ２０５の判定の結果、判定部３２は、検査画像２１が「ＯＫ」でない場合、検査画像２１が第２クラスである「ＮＧ」であるか否かを判定する（Ｓ２０７）。

ステップＳ２０７の判定の結果、検査画像２１が「ＮＧ」である場合、当該検査画像２１に対応する検査対象物は、例えば欠陥を含み、製品として出荷不能な状態であると考えられる。よって、制御部３０は、Ｉ／Ｆ１０を介してライン装置９０に制御信号を出力し、ライン装置９０が、当該検査画像２１に対応する検査対象物をライン上から除外する（Ｓ２０８）。

一方、ステップＳ２０７の判定の結果、判定部３２は、検査画像２１が「ＮＧ」でない場合、図４に示した「不明」のように、画像分類装置５０によって分類できないものと考えられる。よって、制御部３０は、例えば、Ｉ／Ｆ１０を介して出力装置８０に、検査画像２１とともに警告を出力する（Ｓ２０９）。利用者は、出力装置８０に出力された検査画像及び警告を見て、ライン装置９０を停止させたり、入力装置７０を操作することによって当該検査画像２１に対して「ＯＫ」又は「ＮＧ」を入力したりする。

ステップ２０４、ステップ２０６、ステップ２０８、又はステップ２０９の後、制御部３０は、例えば画像検査装置１００が停止するまで、ステップＳ２０１からステップＳ２０９の各ステップを繰り返す。

ここで、図７におけるＮｏ．１からＮｏ．５の検査画像２１のように、各検査画像２１が汚れやシミ等の欠陥を含む場合、第１分類器３１ａは、Ｎｏ．１からＮｏ．５の検査画像２１について「ＯＫ」に分類し、Ｎｏ．４からＮｏ．５の検査画像２１について「￢ＯＫ」（「ＯＫ」以外）に分類する。一方、第２分類器３１ｂは、Ｎｏ．１からＮｏ．２の検査画像２１について「ＮＧ」に分類し、Ｎｏ．３からＮｏ．５の検査画像２１について「￢ＮＧ」（「ＮＧ」以外）に分類する。

また、図７におけるＮｏ．６からＮｏ．１０の検査画像２１のように、各検査画像２１がクラックやキズ等の欠陥を含む場合、第１分類器３１ａは、Ｎｏ．６からＮｏ．７の検査画像２１について「ＯＫ」に分類し、Ｎｏ．８からＮｏ．１０の検査画像２１について「￢ＯＫ」（「ＯＫ」以外）に分類する。一方、第２分類器３１ｂは、Ｎｏ．６の検査画像２１について「ＮＧ」に分類し、Ｎｏ．７からＮｏ．１０の検査画像２１について「￢ＮＧ」（「ＮＧ」以外）に分類する。

このように、各検査画像２１が欠陥を含む場合、欠陥の種類は多種多様であり、欠陥を含む各検査画像２１はそれぞれに異なる特徴を有することがある。

図７に示すＮｏ．１からＮｏ．１０の検査画像２１に含まれる欠陥を、例えば、「面積」という特徴と、「長さ」という特徴とによってマッピングすると、図８に示すようになる。判定部３２は、図７に示した第１分類器３１ａの分類結果と第２分類器３１ｂの分類結果とに基づいて、Ｎｏ．１、Ｎｏ．２、及びＮｏ．６の検査画像２１を図８において破線で囲う第１クラスＣＬ１であると判定する。また、判定部３２は、図７に示した第１分類器３１ａの分類結果と第２分類器３１ｂの分類結果とに基づいて、Ｎｏ．４、Ｎｏ．５、及びＮｏ．８からＮｏ．１０の検査画像２１を図８において一点鎖線で囲う第２クラスＣＬ２であると判定する。さらに、図７に示した第１分類器３１ａの分類結果と第２分類器３１ｂの分類結果とに基づいて、Ｎｏ．３及びＮｏ．７の検査画像２１を第１クラスＣＬ１と第２クラスＣＬ２とが重複する中間クラスＩＣであると判定する。

このように、複数の検査画像２１が異なる特徴を有する場合でも、第１分類器３１ａの分類結果と第２分類器３１ｂの分類結果とに基づいて、検査画像２１を第１クラスＣＬ１と第２クラスＣＬ２との間の中間クラスＩＣであるか否かを判定することができる。
できる。

＜第２実施形態＞
次に、図９から図１３を参照しつつ、本発明の第２実施形態に係る画像検査装置及び画像分類装置について説明する。図９は、本発明の第２実施形態に係る画像検査装置１００Ａの概略構成を例示する構成図である。図１０は、図９に示した分類部３１Ａ及び判定部３２Ａの構成を例示するブロック図である。図１１は、第１クラスＣＬ１、第２クラスＣＬ２、及び第３クラスＣＬ３のうちの少なくとも２つの間の中間クラスＩＣを例示するベン図である。図１２は、図１０に示した判定部３２Ａの結果ＲＥを例示する表である。図１３は、図９に示した分類部３１Ａ及び判定部３２Ａの構成の変形例を例示するブロック図である。なお、第１実施形態と同一又は類似の構成について同一又は類似の符号を付している。以下、第１実施形態と異なる点について説明する。また、同様の構成による同様の作用効果については、逐次言及しない。

図９に示すように、本発明の第２実施形態に係る画像検査装置１００Ａ及び画像分類装置５０Ａは、制御部３０が分類部３１Ａと判定部３２Ａを備える点で、本発明の第２実施形態に係る画像検査装置１００及び画像分類装置５０と相違する。

すなわち、分類部３１Ａは、第１分類器３１ａ及び第２分類器３１ｂに加え、第３分類器３１ｃをさらに備える。また、判定部３２Ａには、分類結果ＣＲ１及び分類結果ＣＲ２に加え、第３分類器３１ｃの分類結果ＣＲ３が入力される。

第３分類器３１ｃは、入力される画像を、第３クラス又はそれ以外のクラスに分類するように構成されている。第３クラスに分類される画像には、当該第３クラスの可能性のあるものが含まれる。この結果、それ以外のクラス（第３クラス以外のクラス）には、確実に第３クラスではない画像が分類される。第３分類器３１ｃには記憶部２０に記憶された検査画像２１が入力され、第３分類器３１ｃは分類結果ＣＲ３を出力する。

判定部３２Ａは、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２と第３分類器３１ｃの分類結果ＣＲ３とに基づいて、第１分類器３１ａ、第２分類器３１ｂ、及び第３分類器３１ｃに入力される検査画像２１が、第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定するように構成されている。判定部３２Ａは、判定結果に従う結果ＲＥを出力する。

ここで、第３分類器３１ｃによって第３クラスに分類される検査画像２１に第３クラスの可能性のあるものが含まれる場合、第３分類器３１ｃが検査画像２１を第３クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器３１ｃの分類結果ＣＲ３と、第１分類器３１ａの分類結果ＣＲ１及び第２分類器３１ｂの分類結果ＣＲ２とに基づいて、検査画像２１を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２と第３分類器３１ｃの分類結果ＣＲ３とに基づいて、検査画像２１が第１クラス、第２クラス、及び第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、検査画像２１の中間クラスへの過多分類及び過少分類を抑制することができる。

例えば、図１１に示すように、第１クラスＣＬ１は検査画像２１が「Ａ」であるクラスであり、第２クラスＣＬ２は検査画像２１が「Ｂ」であるクラスであり、第３クラスＣＬ３は検査画像２１が「Ｃ」であるクラスである場合、第１クラスＣＬ１と第２クラスＣＬ２との間、第１クラスＣＬ１と第３クラスＣＬ３との間、第２クラスＣＬ２と第３クラスＣＬ３との間、及び第１クラスＣＬ１と第２クラスＣＬ２と第３クラスＣＬ３との間に、それぞれ中間クラスＩＣが存在する。中間クラスＩＣに含まれる検査画像２１は、「Ａ」、「Ｂ」、及び「Ｃ」のいずれにも分類できないグレーな画像である。

以下の説明において、特に明示する場合を除き、図１１に示すように、第１クラスＣＬ１は検査画像２１が「Ａ」、第２クラスＣＬ２は検査画像２１が「Ｂ」、第３クラスＣＬ３は検査画像２１が「Ｃ」、第１クラスＣＬ１、第２クラスＣＬ２、及び第３クラスＣＬ３のうちの少なくとも２つの間に存在する中間クラスＩＣは「グレー」とする。

図１１に示す例の場合、判定部３２Ａは、図１２に示す表に従って判定する。なお、図１２に示す表では、図４に示した表と同様に、上線は否定を表しており、「Ａ」の上線は「Ａ」以外を意味し、「Ｂ」の上線は「Ｂ」以外を意味、「Ｃ」の上線は「Ｃ」以外を意味する。以下の説明において、「Ａ」以外を「￢Ａ」と表記し、「Ｂ」以外を「￢Ｂ」と表記し、「Ｃ」以外を「￢Ｃ」と表記する場合がある。

詳細には、検査画像２１が、第１分類器３１ａによって「Ａ」に分類され、第２分類器３１ｂによって「Ｂ」に分類され、第３分類器３１ｃによって「Ｃ」に分類されたときに、判定部３２Ａは、当該検査画像２１を中間クラスＩＣであると判定し、結果ＲＥとして中間クラスＩＣを示す「グレー」を出力する。また、検査画像２１が、第１分類器３１ａによって「Ａ」に分類され、第２分類器３１ｂによって「Ｂ」に分類され、第３分類器３１ｃによって「Ｃ」以外に分類されたときに、判定部３２Ａは、当該検査画像２１を中間クラスＩＣであると判定し、結果ＲＥとして中間クラスＩＣを示す「グレー」を出力する。また、検査画像２１が、第１分類器３１ａによって「Ａ」に分類され、第２分類器３１ｂによって「Ｂ」以外に分類され、第３分類器３１ｃによって「Ｃ」に分類されたときに、判定部３２Ａは、当該検査画像２１を中間クラスＩＣであると判定し、結果ＲＥとして中間クラスＩＣを示す「グレー」を出力する。また、検査画像２１が、第１分類器３１ａによって「Ａ」以外に分類され、第２分類器３１ｂによって「Ｂ」に分類され、第３分類器３１ｃによって「Ｃ」に分類されたときに、判定部３２Ａは、当該検査画像２１を中間クラスＩＣであると判定し、結果ＲＥとして中間クラスＩＣを示す「グレー」を出力する。

これに対し、検査画像２１が、第１分類器３１ａによって「Ａ」に分類され、第２分類器３１ｂによって「Ｂ」以外に分類され、第３分類器３１ｃによって「Ｃ」以外に分類されたときに、判定部３２Ａは、当該検査画像２１を第１クラスＣＬ１であると判定し、結果ＲＥとして第１クラスＣＬ１を示す「Ａ」を出力する。

また、検査画像２１が、第１分類器３１ａによって「Ａ」以外に分類され、第２分類器３１ｂによって「Ｂ」に分類され、第３分類器３１ｃによって「Ｃ」以外に分類されたときに、判定部３２Ａは、当該検査画像２１を第２クラスＣＬ２であると判定し、結果ＲＥとして第２クラスＣＬ２を示す「Ｂ」を出力する。

さらに、検査画像２１が、第１分類器３１ａによって「Ａ」以外に分類され、第２分類器３１ｂによって「Ｂ」以外に分類され、第３分類器３１ｃによって「Ｃ」に分類されたときに、判定部３２Ａは、当該検査画像２１を第３クラスＣＬ３であると判定し、結果ＲＥとして第３クラスＣＬ３を示す「Ｃ」を出力する。

なお、検査画像２１が、第１分類器３１ａによって「Ａ」以外に分類され、第２分類器３１ｂによって「Ｂ」以外に分類され、第３分類器３１ｃによって「Ｃ」以外に分類されたたとき、当該検査画像２１は、図１１に示す例において、第１クラスＣＬ１の外側、第２クラスＣＬ２の外側、かつ第３クラスＣＬ３の外側の領域に属することになる。すなわち、このような検査画像２１は画像分類装置５０Ａでは分類できない画像であるから、判定部３２Ａは、結果ＲＥとして「不明」を出力する。

なお、第３分類器３１ｃは、第１分類器３１ａ及び第２分類器３１ｂと同様に、２クラス分類器である。また、第３分類器３１ｃは、第１分類器３１ａ及び第２分類器３１ｂと同様に、ニューラルネットワークを用いて生成されてもよいし、サポートベクターマシン、ロジスティック回帰、ディープニューラルネットワーク等の他の機械学習モデルのアルゴリズムを用いて生成してもよい。

また、本発明の第２実施形態に係る画像検査装置１００Ａの動作は、例えば、図６に示した画像検査装置１００の概略動作に、第３分類器３１ｃが検査画像２１を第３クラス又はそれ以外のクラスに分類するステップ（本発明の第３分類ステップに相当する）と、検査画像２１が第３クラスであるか否かを判定するステップとが加わるのみである。よって、画像検査装置１００Ａの動作については、図示及びその説明を省略する。

本実施形態では、分類部３１Ａが第３分類器３１ｃをさらに備える例を示したが、これに限定されるものではない。例えば、図１３に示すように、分類部３１Ａは、第３分類器３１ｃから第ｍ（ｍは４以上の整数）分類器３１ｘまでのそれぞれを、さらに備えるようにしてもよい。この場合、第ｍ分類器３１ｘは、入力される画像を、第ｍクラス又はそれ以外のクラスに分類するように構成されている。第ｍクラスに分類される画像には、当該第ｍクラスの可能性のあるものが含まれる。この結果、それ以外のクラス（第ｍクラス以外のクラス）には、確実に第ｍクラスではない画像が分類される。また、判定部３２Ａは、第１分類器３１ａの分類結果ＣＲ１から第ｍ分類器３１ｘの分類結果ＣＲｍまでに基づいて、検査画像２１が第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定する。

ここで、第３分類器３１ｃによって第３クラスに分類される画像に第３クラスの可能性のあるものが含まれる場合、第３分類器３１ｃが検査画像２１を第３クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第ｍ分類器３１ｘによって第ｍクラスに分類される画像に第ｍクラスの可能性のあるものが含まれる場合、第ｍ分類器３１ｘが検査画像２１を第ｍクラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスから第ｍクラスのうちの少なくとも２つの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第３分類器３１ｃの分類結果ＣＲ３から第ｍ分類器３１ｘの分類結果ＣＲｍまでと、第１分類器３１ａの分類結果ＣＲ１及び第２分類器３１ｂの分類結果ＣＲ２とに基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器３１ａの分類結果ＣＲ１から第ｍ分類器３１ｘの分類結果ＣＲｍまでに基づいて、検査画像２１が第１クラスから第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することにより、検査画像２１の中間クラスへの過多分類及び過少分類することができる。

詳細には、検査画像２１が、第１分類器３１ａから第ｍ分類器３１ｘのうちの２つ以上において、第ｎ（ｎは１からｍまでの整数）クラスであると分類されたときに、判定部３２Ａは、当該検査画像２１を中間クラスであると判定する。

これに対し、検査画像２１が、第ｎ分類器によって第ｎクラスに分類され、その他の全ての分類器においてそれ以外のクラスに分類されたときに、判定部３２Ａは、当該検査画像２１を第ｎクラスであると判定する。

以上、本発明の例示的な実施形態について説明した。本発明の一実施形態に係る画像分類装置５０，５０Ａによれば、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２とに基づいて、検査画像２１は第１クラスと第２クラスとの間の中間クラスであるか否かが判定される。ここで、第１分類器３１ａによって第１クラスに分類される検査画像２１に第１クラスの可能性のあるものが含まれる場合、第１分類器３１ａが検査画像２１を第１クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第２分類器３１ｂによって第２クラスに分類される検査画像２１に第２クラスの可能性のあるものが含まれるようにする場合、第２分類器３１ｂが検査画像２１を第２クラス又はそれ以外のクラスに分類する際のしきい値は、検査画像２１を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第１分類器３１ａの分類結果ＣＲ１及び第２分類器３１ｂの分類結果ＣＲ２に基づいて、検査画像２１を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２とに基づいて、検査画像２１が第１クラスと第２クラスとの間の中間クラスであるか否かを判定することにより、検査画像２１の中間クラスへの過多分類及び過少分類を抑制することができる。

また、本発明の一実施形態に係る画像分類方法によれば、ステップＳ２０１の分類結果とステップＳ２０２の分類結果とに基づいて、検査画像２１は第１クラスと第２クラスとの間の中間クラスであるか否かが判定される。ここで、第１分類器によって第１クラスに分類される画像に第１クラスの可能性のあるものが含まれる場合、第１分類器が画像を第１クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。同様に、第２分類器によって第２クラスに分類される画像に第２クラスの可能性のあるものが含まれるようにする場合、第２分類器が画像を第２クラス又はそれ以外のクラスに分類する際のしきい値は、画像を第１クラスと第２クラスとの間にある中間クラスに分類するときのしきい値と比較して、容易に設定することができる。そして、このような第１分類器の分類結果及び第２分類器の分類結果に基づいて、画像を中間クラスに分類可能であることを、本発明の発明者は見出した。よって、ステップＳ２０１の分類結果とステップＳ２０２の分類結果とに基づいて、検査画像２１は第１クラスと第２クラスとの間の中間クラスであるか否かを判定することにより、検査画像２１の中間クラスへの過多分類及び過少分類することができる。

以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。各実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

（附記）
１．検査画像２１を第１クラス又はそれ以外のクラスに分類する第１分類器３１ａであって、第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類器３１ａと、
検査画像２１を第２クラス又はそれ以外のクラスに分類する第２分類器３１ｂであって、第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類器３１ｂと、
第１分類器３１ａの分類結果ＣＲ１と第２分類器３１ｂの分類結果ＣＲ２とに基づいて、検査画像２１が第１クラスと第２クラスとの間の中間クラスであるか否かを判定する判定部３２と、を備える、
画像分類装置５０。
９．第１分類器３１ａが検査画像２１を第１クラス又はそれ以外のクラスに分類する第１分類ステップであって、第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類ステップと、
第２分類器３１ｂが検査画像２１を第２クラス又はそれ以外のクラスに分類する第２分類ステップであって、第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類ステップと、
判定部３２が、第１分類ステップの分類結果と第２分類ステップの分類結果とに基づいて、検査画像２１は第１クラスと第２クラスとの間の中間クラスであるか否かを判定する判定ステップと、を含む、
画像分類方法。

１０…入出力Ｉ／Ｆ、２０…記憶部、２１…検査画像、３０…制御部、３１，３１Ａ…分類部、３１ａ…第１分類器、３１ｂ…第２分類器、３１ｃ…第３分類器、３１ｘ…第ｍ分類器、３２，３２Ａ…判定部、４０…バス、５０，５０Ａ…画像分類装置、６０…撮像装置、７０…入力装置、８０…出力装置、９０…ライン装置、１００，１００Ａ…画像検査装置、ＣＬ１…第１クラス、ＣＬ２…第２クラス、ＣＬ３…第３クラス、ＣＲ１，ＣＲ２，ＣＲ３，ＣＲｍ…分類結果、ＩＣ…中間クラス、ＬＡ１…第１ラベル、ＬＡ２…第２ラベル、ＬＧ…学習画像、ＮＷ１…第１ニューラルネットワーク、ＮＷ２…第２ニューラルネットワーク、ＲＥ…結果、Ｓ２００…画像検査処理。

Claims (14)

1. 画像を第１クラス又はそれ以外のクラスに分類する第１分類器であって、前記第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類器と、
   前記画像を第２クラス又はそれ以外のクラスに分類する第２分類器であって、前記第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類器と、
   前記第１分類器の分類結果と前記第２分類器の分類結果とに基づいて、前記画像が前記第１クラスと前記第２クラスとの間の中間クラスであるか否かを判定する判定部と、を備え、
   前記判定部は、前記画像が、前記第１分類器によってそれ以外のクラスに分類され、前記第２分類器によってそれ以外のクラスに分類されたときに、該画像を分類不能であると判定する、
   画像分類装置。
2. 前記判定部は、前記画像が、前記第１分類器によって前記第１クラスに分類され、前記第２分類器によって前記第２クラスに分類されたときに、該画像を前記中間クラスであると判定する、
   請求項１に記載の画像分類装置。
3. 前記判定部は、前記画像が、前記第１分類器によって前記第１クラスに分類され、前記第２分類器によってそれ以外のクラスに分類されたときに、該画像を前記第１クラスであると判定する、
   請求項１又は２に記載の画像分類装置。
4. 前記判定部は、前記画像が、前記第１分類器によってそれ以外のクラスに分類され、前記第２分類器によって前記第２クラスに分類されたときに、該画像を前記第２クラスであると判定する、
   請求項１から３のいずれか一項に記載の画像分類装置。
5. 前記第１分類器及び前記第２分類器は、それぞれ２クラス分類器である、
   請求項１から４のいずれか一項に記載の画像分類装置。
6. 前記画像を第３クラス又はそれ以外のクラスに分類する第３分類器であって、前記第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれる、第３分類器をさらに備え、
   前記判定部は、前記第１分類器の分類結果と前記第２分類器の分類結果と前記第３分類器の分類結果とに基づいて、前記画像が前記第１クラス、前記第２クラス、及び前記第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定する、
   請求項１から５のいずれか一項に記載の画像分類装置。
7. 第３分類器から第ｍ（ｍは４以上の整数）分類器までのそれぞれをさらに備え、
   前記第３分類器は前記画像を第３クラス又はそれ以外のクラスに分類し、前記第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれ、
   前記第ｍ分類器は前記画像を第ｍクラス又はそれ以外のクラスに分類し、前記第ｍクラスに分類される画像には該第ｍクラスの可能性のあるものが含まれ、
   前記判定部は、前記第１分類器の分類結果から前記第ｍ分類器の分類結果までに基づいて、前記画像が前記第１クラスから前記第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定する、
   請求項１から５のいずれか一項に記載の画像分類装置。
8. 請求項１から７のいずれか一項に記載の画像分類装置を備え、
   前記画像分類装置を用いて検査対象物の前記画像を検査する、
   画像検査装置。
9. 第１分類器が画像を第１クラス又はそれ以外のクラスに分類する第１分類ステップであって、前記第１クラスに分類される画像には該第１クラスの可能性のあるものが含まれる、第１分類ステップと、
   第２分類器が前記画像を第２クラス又はそれ以外のクラスに分類する第２分類ステップであって、前記第２クラスに分類される画像には該第２クラスの可能性のあるものが含まれる、第２分類ステップと、
   判定部が、前記第１分類ステップの分類結果と前記第２分類ステップの分類結果とに基づいて、前記画像は前記第１クラスと前記第２クラスとの間の中間クラスであるか否かを判定する判定ステップと、を含み、
   前記判定ステップは、前記画像が、前記第１分類ステップにおいてそれ以外のクラスに分類され、前記第２分類ステップにおいてそれ以外のクラスに分類されたときに、前記判定部が該画像を分類不能であると判定することを含む、
   画像分類方法。
10. 前記判定ステップは、前記画像が、前記第１分類ステップにおいて前記第１クラスに分類され、前記第２分類ステップにおいて前記第２クラスに分類されたときに、前記判定部が該画像を前記中間クラスであると判定することを含む、
    請求項９に記載の画像分類方法。
11. 前記判定ステップは、前記画像が、前記第１分類ステップにおいて前記第１クラスに分類され、前記第２分類ステップにおいてそれ以外のクラスに分類されたときに、前記判定部が該画像を前記第１クラスであると判定することを含む、
    請求項９又は１０に記載の画像分類方法。
12. 前記判定ステップは、前記画像が、前記第１分類ステップにおいてそれ以外のクラスに分類され、前記第２分類ステップにおいて前記第２クラスに分類されたときに、前記判定部が該画像を前記第２クラスであると判定することを含む、
    請求項９から１１のいずれか一項に記載の画像分類方法。
13. 第３分類器が前記画像を第３クラス又はそれ以外のクラスに分類する第３分類ステップであって、前記第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれる、第３分類ステップをさらに含み、
    前記判定ステップは、前記判定部が、前記第１分類ステップの分類結果と前記第２分類ステップの分類結果と前記第３分類ステップの分類結果とに基づいて、前記画像は前記第１クラス、前記第２クラス、及び前記第３クラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することを含む、
    請求項９から１２のいずれか一項に記載の画像分類方法。
14. 第３分類ステップから第ｍ（ｍは４以上の整数）分類ステップまでのそれぞれをさらに含み、
    前記第３分類ステップは、第３分類器が前記画像を第３クラス又はそれ以外のクラスに分類することを含み、前記第３クラスに分類される画像には該第３クラスの可能性のあるものが含まれ、
    前記第ｍ分類ステップは、第ｍ分類器が前記画像を第ｍクラス又はそれ以外のクラスに分類することを含み、前記第ｍクラスに分類される画像には該第ｍクラスの可能性のあるものが含まれ、
    前記判定ステップは、前記判定部が、前記第１分類ステップの分類結果から前記第ｍ分類ステップの分類結果までに基づいて、前記画像は前記第１クラスから前記第ｍクラスのうちの少なくとも２つの間の中間クラスであるか否かを判定することを含む、
    請求項９から１２のいずれか一項に記載の画像分類方法。

Images