JP2024075727A - 画像検査装置、画像検査方法及びプログラム - Google Patents

Abstract

【課題】検査対象の画像を検査する画像検査装置、画像検査方法及びプログラムを提供する。【解決手段】画像検査装置１は、画像のテストデータを学習器（良品判定部１０）に入力して得られる、正常又は異常の分類を示すテスト分類結果を記憶するテスト分類結果記憶部１３１と、テスト分類結果が、テストデータに関連付けられた正常ラベル又は異常ラベルに一致しない場合、当該一致しないテストデータの画像に類似する画像が学習データに含まれているか否かを判定する類似画像判定部１３２と、類似画像判定部１３２の判定結果を出力する判定結果出力部１３３と、を備える。【選択図】図１７

Description

本発明は、検査対象の画像を検査する画像検査装置、画像検査方法及びプログラムに関する。

製品等の検査対象をカメラで撮影した画像を用いて検査対象の良否等を判定する画像検査装置がある。

例えば、特許文献１に記載の画像検査装置は、検査対象を含む学習用画像に基づいてニューラルネットワークの学習を行い、学習用画像の特徴量を出力する学習済みのニューラルネットワークを構築する特徴量学習部と、学習済みのニューラルネットワークが出力した学習用画像の特徴量に基づいて、検査対象の良否を判定する識別器を学習により生成する識別器学習部とを備える。また、この画像検査装置は、検査対象を含む判定用画像を学習済みのニューラルネットワークに入力し、判定用画像の特徴量を出力する特徴量算出部と、特徴量算出部が出力した判定用画像の特徴量を、識別器学習部によって生成された識別器に入力して、検査対象の良否の判定を行う識別部とを有する。

特開２０１９－８７１８１号公報

ところで、ニューラルネットワークによる画像の学習には、学習用の画像が多数必要とされる。つまり、ニューラルネットワークによって検査対象の良否判定を行うには、良否判定に先立って、ニューラルネットワークの学習のために検査対象の映っている画像を学習用に多数収集しておかなければならない。

しかしながら、少量多品種生産のように検査対象の生産数が少ないと、ニューラルネットワークの学習に必要とされる検査対象の映っている画像を多数集めることが困難な場合がある。

上記課題を解決する画像検査装置は、画像から第１特徴量を抽出する特徴量抽出部と、検査対象物が映された検査画像の前記第１特徴量を次元削減して第２特徴量を算出する次元削減部と、前記第２特徴量に基づいて前記検査画像の異常度を算出し、前記検査画像が異常であるか否かを判定する異常度算出部と、を備え、前記次元削減部は、正常ラベル又は異常ラベルが個別に関連付けられた、複数の教師画像の前記第１特徴量と、前記正常ラベル又は前記異常ラベルとに基づいて導出された学習器とを用いて、前記第１特徴量を次元削減して前記第２特徴量を算出する。

上記課題を解決する画像検査方法は、コンピューターにより実行される画像検査方法であって、画像から第１特徴量を抽出する特徴量抽出ステップと、検査対象物が映された検査画像の前記第１特徴量を次元削減して第２特徴量を算出する次元削減ステップと、前記第２特徴量に基づいて前記検査画像の異常度を算出し、前記検査画像が異常であるか否かを判定する異常度算出ステップと、を備え、前記次元削減ステップは、正常ラベル又は異常ラベルが個別に関連付けられた、複数の教師画像の前記第１特徴量と、前記正常ラベル又は前記異常ラベルとに基づいて導出された学習器とを用いて、前記第１特徴量を次元削減して前記第２特徴量を算出する。

好ましい構成として、前記特徴量抽出部は、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第１特徴量を抽出する。

好ましい構成として、前記異常度算出部は、前記異常ラベルには対応していない、かつ、前記正常ラベルに対応している前記第２特徴量に基づいて導出された学習器を用いて前記異常度を算出する。

好ましい方法として、前記異常度算出ステップは、前記異常ラベルには対応していない、かつ、前記正常ラベルに対応している前記第２特徴量に基づいて導出された学習器を用いて前記異常度を算出する。

好ましい構成として、前記次元削減部の学習器は、前記第２特徴量を前記正常ラベル又は前記異常ラベルへ回帰させることができるように学習される。

好ましい構成として、前記次元削減部の学習器は、部分最小二乗回帰又は主成分回帰により構成されている。

好ましい構成として、前記正常ラベル又は前記異常ラベルが個別に関連付けられた前記複数の教師画像から、前記次元削減部や前記異常度算出部の学習に用いられる複数の学習データと、検査精度の試験に用いられる複数の試験データとを作成するデータセット作成部を備える。

好ましい構成として、前記特徴量抽出部は、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第１特徴量を抽出するものであり、前記特徴量抽出部の学習器に対して、複数の種類のネットワーク構造から１つのネットワーク構造を設定する、及び／又は、前記次元削減部の学習器に対して、複数の種類のモデルから１つのモデルを設定する、自動設定部を備える。

好ましい方法として、前記特徴量抽出ステップは、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第１特徴量を抽出するものであり、前記特徴量抽出ステップにおける学習器に対して、複数の種類のネットワーク構造から１つのネットワーク構造を設定する、及び／又は、前記次元削減ステップにおける学習器に対して、複数の種類のモデルから１つのモデルを設定する、自動設定ステップを備える。

好ましい構成として、前記検査画像の前記第１特徴量に基づいてヒートマップを作成するヒートマップ作成部を備える。

好ましい構成として、前記検査画像の前記第１特徴量と、前記次元削減部の学習器と、前記異常度算出部の学習器と、前記異常度とに基づいて前記第１特徴量の各次元に関連付けられる重みをそれぞれ算出する特徴量重み算出部とを備え、前記ヒートマップ作成部は、前記第１特徴量の各次元を前記関連付けられる重みで重みづけするとともに、前記第１特徴量の各次元のチャンネル方向の総和に基づいて前記ヒートマップを作成する。

好ましい構成として、前記検査画像が異常であるか否かを示す表示と、前記検査画像に対応する前記ヒートマップとを表示する画像表示部をさらに備える。

上記課題を解決するプログラムは、上記記載の画像検査方法をコンピューターに実行させる。

本発明によれば、検査対象の画像を検査する画像検査装置、画像検査方法及びプログラムを提供することができる。

画像検査装置、画像検査方法及びプログラムの一実施形態について、その概略構成を示すブロック図。 同実施形態の良否判定部の構成と入出力データとを示すブロック図。 同実施形態の学習部の構成と入出力データとを示すブロック図。 同実施形態で作成される第１教師データセット、第２教師データセット及び検証データセットの一例を示す図。 同実施形態における第１教師データセットの利用態様を示す図。 同実施形態における第２教師データセットの利用態様を示す図。 同実施形態における検証データセットの利用態様を示す図。 同実施形態における学習部の学習手順を示すフローチャート。 同実施形態における注視箇所算出部の概略構成を示すブロック図。 同実施形態におけるヒートマップの一例を示す図。 同実施形態における特徴量抽出部を説明する説明図。 同実施形態における組合せ決定の手順を示すフローチャート。 画像検査装置、画像検査方法及びプログラムの他の実施形態について、その概略構成を示すブロック図。 画像検査装置の再学習提案機能を説明するための模式図である。 画像検査装置の再学習提案機能を説明するためのフローチャートである。 画像検査装置の学習データ選択機能を説明するための模式図である。 画像検査装置の学習データ判定機能を説明するための模式図である。 画像検査装置の学習データ判定機能を説明するためのフローチャートである。

以下、画像検査装置、画像検査方法及びプログラムを具体化した一実施形態について図を参照して説明する。

（画像検査装置１）
図１に示すように、本実施形態の画像検査装置１は、検査画像の「正常」又は「異常」を画像判定する良否判定部１０を備えている。良否判定部１０は、検査画像に映っている検査対象物１００の「正常」又は「異常」を画像から判定する。また、画像検査装置１は、教師画像の「正常」又は「異常」を高精度に判定するようにパラメータが調整される学習部５０を備えている。学習部５０は、教師画像に映っている検査対象物１００と、その検査対象物１００の「正常」又は「異常」の情報とに基づいて、教師画像の「正常」又は「異常」を高精度に判定できるようにモデルや各種パラメータが調整される。

画像検査装置１は、１又は複数の小型コンピューター等の情報処理装置により構成されている。図１では、説明や図示の便宜上、良否判定部１０と学習部５０とを別々に図示しているが、良否判定部１０と学習部５０とは１つの構成であってもよい。良否判定部１０と学習部５０とが１つの構成である場合、良否判定部１０及び学習部５０のいずれか一方の機能発揮が動作モードの変更で切り替えられるように構成されるものでもよい。また、画像検査装置１は、情報処理装置における演算処理によって良否判定部１０や学習部５０の機能を実行させるプログラムを有している。プログラムは、情報処理装置の内部記憶装置や通信や読取可能な記憶装置に備えられている。

良否判定部１０には、検査対象物１００を撮影する画像取得部２０から検査画像を入力される。検査対象物１００は、例えば、製造設備で生産される任意の製品である。画像取得部２０は、ＣＭＯＳカメラやＣＣＤカメラ等の光学センサーを有するカメラである。また、良否判定部１０からは、検査画像に対する「正常」又は「異常」の判定結果が表示部３０に出力される。

画像検査装置１は、検査対象物１００の異常個所を可視化処理する注視箇所算出部４０を備えている。注視箇所算出部４０には、良否判定部１０の画像処理に関する各種情報が入力される。注視箇所算出部４０は、良否判定部１０から入力される各種情報を演算処理することによって検査画像において「異常」の判定に寄与度の高い部分を可視化するとともに、表示部３０に出力する。表示部３０は、可視化された検査対象物１００とともに、その異常個所を表示する。

学習部５０は、良否判定部１０の画像検査に必要な各種パラメータを学習し、良否判定部１０に設定する。学習部５０には、記憶部６０に記憶されたラベル付き学習用画像のデータセットが入力される。ラベル付き学習用画像のデータセットは教師データを含むものである。教師データは、教師画像と、教師画像の「正常」を示す正常ラベル又は「異常」を示す異常ラベルとが関連付けられている。教師データに対する判定結果は、学習部５０から検査精度算出部７０に出力される。検査精度算出部７０は、教師画像に対する判定結果と、同教師画像に関連付けられている正常ラベル又は異常ラベルとの対比に基づいて学習部５０の検査精度を算出する。また、画像検査装置１は、情報処理装置における演算処理によって検査精度算出部７０や注視箇所算出部４０の機能を実行させるプログラムを有している。プログラムは、情報処理装置の内部記憶装置や通信や読取可能な記憶装置に備えられている。

（良否判定部１０）
図１に示すように、良否判定部１０は、特徴量抽出部１１と、次元削減部１２と、異常度算出部１３とを備えている。

まず、図２を参照して、検査画像ＩＭは、画像検査が実施される検査対象物１００の映されている画像である。また、検査画像ＩＭは、周知の画像処理技術によって、検査対象範囲外の画像情報は削除されているなど、検査対象範囲外が良否判定部１０における画像処理等に影響を及ぼさない画像でもよい。例えば、検査画像ＩＭは、検査対象範囲として検査対象物１００のみが映されている画像である。

特徴量抽出部１１は、画像取得部２０から入力した検査画像ＩＭから第１特徴量ｘ１を抽出する（特徴量抽出ステップ）。特徴量抽出部１１は、検査画像ＩＭから抽出した第１特徴量ｘ１を出力する。

次元削減部１２は、特徴量抽出部１１から入力する検査画像ＩＭの第１特徴量ｘ１を次元削減して第２特徴量ｘ２を算出する（次元削減ステップ）。次元削減部１２は、第２特徴量ｘ２を出力する。

異常度算出部１３は、次元削減部１２から入力する第２特徴量ｘ２に基づいて検査画像ＩＭの異常度ＡＲを算出し、検査画像ＩＭが「異常」であるか否かを判定する（異常度算出ステップ）。異常度算出部１３は、異常度ＡＲを出力するとともに、異常度ＡＲに基づく判定結果として「正常」又は「異常」を出力する。

詳述すると、特徴量抽出部１１は、所定のネットワーク構造の１つとしてのニューラルネットワークからなる第１学習器を用いて第１特徴量ｘ１を抽出する。第１特徴量ｘ１は、多次元の特徴量として抽出される。所定のネットワーク構造は、畳み込みニューラルネットワークであって、例えば、「ＶＧＧ１６」、「ＶＧＧ１９」、「ＲｅｓＮｅｔ５０」、「ＩｎｃｅｐｔｉｏｎＶ３」、又は「ＭｏｂｉｌｅＮｅｔＶ２」である。第１学習器は、ニューラルネットワークが「ＩｍａｇｅＮｅｔ」等の画像認識用データセットで深層学習（ディープラーニング）されている。画像認識用データセットは、撮影されているものの種類等の属性がラベル付けされた一般的な画像データセットである。画像認識用データセットは、検査対象物１００の映されていない画像を一部又は全部に含む画像セットでもよい。

次元削減部１２は、第１特徴量ｘ１を第２学習器で次元削減して第２特徴量ｘ２を算出する。第２学習器は、いわゆる教師あり学習済みであり、教師あり学習のモデルが部分最小二乗回帰（Partial Least Squares、ＰＬＳ）又は主成分回帰（Principal Component Regression、ＰＣＲ）により構成されている。第２学習器は、正常ラベル又は異常ラベルが個別に関連付けられた複数の教師画像の第１特徴量ｘ１と、正常ラベル又は異常ラベルとに基づいて導出されたものである。第２学習器は、第２特徴量ｘ２を正常ラベル又は異常ラベルへ回帰させることができるように学習されている。

異常度算出部１３は、正常ラベルに対応している第２特徴量ｘ２に基づいて導出された第３学習器を用いて異常度ＡＲを算出する。第３学習器は、いわゆる教師なし学習のモデルを用いて構成されている。第３学習器は、例えば「ＯｎｅＣｌａｓｓＳＶＭ」、「ｉｓｏｌａｔｉｏｎ ｆｏｒｅｓｔ」、「ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ」、又は「ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ」により構成されている。そして、例えば、異常度算出部１３は、異常度ＡＲが閾値以上か否かで「正常」か「異常」かを判定する。

（学習部５０）
図１を参照して、学習部５０は、特徴量抽出部５１と、次元削減部５２と、異常度算出部５３とを備えている。また、学習部５０は、データセット作成部５５を備えている。

図３に示すように、学習部５０は、ラベル付き学習用画像のデータセットＴＤに基づいて次元削減部５２の第２学習器及び異常度算出部５３の第３学習器の学習を行う。学習部５０は、良否判定部１０による検査画像ＩＭに対する「正常」又は「異常」の検査精度が高められるように第２学習器及び第３学習器の学習を行う。そして、学習部５０の第２学習器及び第３学習器の学習結果が良否判定部１０（図１参照）に反映されることで、良否判定部１０（図１参照）による検査画像ＩＭ（図２参照）に対する検査精度が高められる。

本実施形態では、説明の便宜上、正常ラベル又は異常ラベルが付加されてなるラベル付き学習用画像のデータセットＴＤを用いて説明する。ラベル付き学習用画像のデータセットＴＤは、教師画像ＴＭと、教師画像ＴＭに関連付けられた正常ラベル又は異常ラベルを含んでいる。

教師画像ＴＭは、良否判定部１０による画像検査よりも前に利用される画像であって、検査対象物１００が映されていて学習部５０の学習に用いられる画像である。また、教師画像ＴＭは、検査画像ＩＭと同様に、周知の画像処理技術によって、検査対象範囲外の画像情報は削除されているなど、検査対象範囲外が学習部５０における画像処理等に影響を及ぼさないような画像でもよい。例えば、教師画像ＴＭは、検査対象範囲として検査対象物１００のみが映されている画像である。

なお、本実施形態のように、正常ラベル及び異常ラベルがメタデータとして教師画像ＴＭに含まれていてもよいし、これと相違した態様、例えば、教師画像ＴＭに関連付けられているのみで教師画像ＴＭとは別になっている情報であってもよい。学習部５０は、正常ラベルに関連付けられている教師画像ＴＭを「正常」と判定し、異常ラベルに関連付けられている教師画像ＴＭを「異常」と判定することが精度よく行われるように学習される。つまり、学習部５０は、複数のラベル付き学習用画像を学習することで教師画像ＴＭに対する「正常」又は「異常」の判定結果の精度が高められることを通じて、この判定結果をだす学習結果の反映される良否判定部１０における検査精度が高められるようにしている。

データセット作成部５５は、ラベル付き学習用画像のデータセットＴＤから学習部５０の学習に適した第１教師データセットＤ１、第２教師データセットＤ２及び検証データセットＤ３を作成して出力する。換言すると、ラベル付き学習用画像のデータセットＴＤは、検査対象物１００（図１参照）が映された教師画像ＴＭであって、正常ラベル又は異常ラベルが個別に関連付けられた教師画像ＴＭを含んでいる。なお、ラベル付き学習用画像のデータセットＴＤは、複数のラベル付き学習用画像からなり、記憶部６０（図１参照）に記憶されている。

特徴量抽出部５１は、特徴量抽出部１１と同様の構成であり、所定のネットワーク構造の１つとしてのニューラルネットワークからなる第１学習器を用いて第１特徴量ｘ１を抽出する。特徴量抽出部５１の第１学習器は、画像認識用データセットで深層学習（ディープラーニング）される。特徴量抽出部５１の第１学習器の各種パラメータは、特徴量抽出部１１の第１学習器の各種パラメータと同一になるように設定できる。また、特徴量抽出部５１において学習された第１学習器を、良否判定部１０の特徴量抽出部１１と供用してもよい。

次元削減部５２は、次元削減部１２と同様の第２学習器を備えている。次元削減部５２は、第１特徴量ｘ１から第２特徴量ｘ２を算出する第２学習器が、第２特徴量ｘ２を正常ラベル又は異常ラベルへ回帰させることができるように教師あり学習される。次元削減部５２は、第２学習器に各種パラメータを学習させる学習モードと、第２学習器の各種パラメータを固定させる固定モードとを切り替えることがきる。次元削減部５２の第２学習器の各種パラメータは、次元削減部１２の第２学習器の各種パラメータと同一になるように設定できる。また、次元削減部５２において学習された第２学習器を、良否判定部１０の次元削減部１２と供用してもよい。

異常度算出部５３は、異常度算出部１３と同様の第３学習器を備えている。異常度算出部５３は、異常度ＡＲを算出する第３学習器が、正常ラベルに対応している第２特徴量ｘ２に基づく教師なし学習によって導出される。また、異常度算出部５３は、異常度ＡＲに基づいて「正常」又は「異常」を判定して出力する。例えば、異常度算出部５３は、異常度ＡＲが閾値以上か否かで「正常」か「異常」かを判定する。異常度算出部５３は、第３学習器に各種パラメータを学習させる学習モードと、第３学習器の各種パラメータを固定させる固定モードとを切り替えることがきる。異常度算出部５３の第３学習器の各種パラメータは、異常度算出部１３の第３学習器のパラメータと同一になるように設定できる。また異常度算出部５３において学習された第３学習器を、良否判定部１０の異常度算出部１３と供用してもよい。

データセット作成部５５は、記憶部６０からラベル付き学習用画像のデータセットＴＤを取得する。

図４に示すように、ラベル付き学習用画像のデータセットＴＤは、正常ラベルに関連付けられた「ｎ個」のラベル付き学習用画像と、異常ラベルに関連付けられた「ｍ個」のラベル付き学習用画像とを含んでいる。図示の便宜上、正常ラベルに関連付けられたラベル付き学習用画像を「ＯＫデータ」、異常ラベルに関連付けられたラベル付き学習用画像を「ＮＧデータ」と示している。本実施形態では、「ｎ個＞ｍ個」である。通常、正常である商品の製造数が異常である商品の製造数より多いことから、「ｎ個＞ｍ個」となることが多い。

データセット作成部５５は、ラベル付き学習用画像のデータセットＴＤから、次元削減部学習用の第１教師データセットＤ１と、異常度算出部学習用の第２教師データセットＤ２と、検査精度算出用の検証データセットＤ３とを作成する（データセット作成ステップ）。ここで、第１教師データセットＤ１と第２教師データセットＤ２とが複数の学習データに対応し、検証データセットＤ３が複数の試験データに対応する。

第１教師データセットＤ１は、「ｎ１個」の「ＯＫデータ」（図においてＯＫ＃１）と「ｍ１個」の「ＮＧデータ」（図においてＮＧ＃１）とを有する。第２教師データセットＤ２は、「ｎ２個」の「ＯＫデータ」（図においてＯＫ＃２）を有する。検証データセットＤ３は、「ｎ３個」の「ＯＫデータ」（図においてＯＫ＃３）と「ｍ２個」の「ＮＧデータ」（図においてＮＧ＃２）とを有する。ここで、「ｎ１＋ｎ２＋ｎ３＝ｎ」であり、「ｍ１＋ｍ２＝ｍ」である。

詳述すると、データセット作成部５５は、「ｎ個」の「ＯＫデータ」を、「ｎ１個」の「ＯＫ＃１」と、「ｎ２個」の「ＯＫ＃２」と、「ｎ３個」の「ＯＫ＃３」とに仕分ける。また、データセット作成部５５は、「ｍ個」の「ＮＧデータ」を、「ｍ１個」の「ＮＧ＃１」と、「ｍ２個」の「ＮＧ＃２」とに仕分ける。

そして、データセット作成部５５は、「ｎ１個」の「ＯＫ＃１」と「ｍ１個」の「ＮＧ＃１」とを組み合わせて第１教師データセットＤ１を作成し、「ｎ２個」の「ＯＫ＃２」から第２教師データセットＤ２を作成し、「ｎ３個」の「ＯＫ＃３」と「ｍ２個」の「ＮＧ＃２」とを組み合わせて検証データセットＤ３を作成する。

このとき、第１教師データセットＤ１は、「ＯＫデータ」の数「ｎ１」と「ＮＧデータ」の数「ｍ１」とが同数又は近い数になるように調整されると好ましい。もし、記憶部６０に記憶された「ＯＫデータ」の数と「ＮＧデータ」の数とに偏りがあったとしても、「ｎ１」と「ｍ１」とは同数又は近い数であると好ましい。また、検証データセットＤ３は、「ＯＫデータ」の数「ｎ３」と「ＮＧデータ」の数「ｍ２」とが同数又は近い数になるように調整されると好ましい。第２教師データセットＤ２は、「ＯＫデータ」の総数「ｎ」から、「ｎ１」と「ｎ３」とを除いた数に調整されている。より詳しくは、第２教師データセットＤ２は、「ＯＫ＃２」が全ての「ＯＫデータ」から「ＯＫ＃１」と「ＯＫ＃３」とを除いた残りからなる。なお、試験データに利用される「ＯＫ＃３」は、学習データと重複しないようにする。学習データと試験データが重複すると、測定された検査精度の信頼性が低下するためである。一方、学習データである「ＯＫ＃１」及び「ＯＫ＃２」は一部又は全部が重複してもよい。よって、「ＯＫ＃２」は、全「ＯＫデータ」の数「ｎ」から、「ＯＫ＃３」の数「ｎ３」を減じた数以下に調整することができる。

また、データセット作成部５５は、第１教師データセットＤ１、第２教師データセットＤ２及び検証データセットＤ３（以下、単にデータセットと記す）の変更を行うことができる。データセットの変更とは、データセット作成部５５が複数のラベル付き学習用画像のうちの「ＯＫデータ」の「ＯＫ＃１」、「ＯＫ＃２」又は「ＯＫ＃３」への割り当てと、「ＮＧデータ」の「ＮＧ＃１」又は「ＮＧ＃２」への割り当てとの少なくとも一方の割り当てを以前の割り当てと相違するように割り当て直すことである。

図５～図７を参照して、学習部５０における、次元削減部５２の学習と、異常度算出部５３の学習と、異常度算出部５３の出力に基づく検査精度の検証とについてそれぞれ説明する。学習部５０による学習により得られた各種パラメータは良否判定部１０の良否判定に適用される。換言すると、学習部５０は、良否判定部１０の良否判定に必要な各種パラメータを得るための学習を行う。

図５に示すように、学習部５０は、第１教師データセットＤ１を構成する複数のラベル付き学習用画像に対応する第１特徴量ｘ１に基づいて次元削減部５２の第２学習器の学習を行う。この学習は、第１教師データセットＤ１を構成する全てのラベル付き学習用画像の学習を終了することで完了する。なお、第１教師データセットＤ１の内容変更や、第１～第３学習器のいずれかのモデル変更や各種パラメータ変更の都度、次元削減部５２の第２学習器は学習されることが好ましい。

図６に示すように、学習部５０は、第２教師データセットＤ２を構成する複数のラベル付き学習用画像に対応する第２特徴量ｘ２に基づいて異常度算出部５３の第３学習器の学習を行う。この学習は、第２教師データセットＤ２を構成する全てのラベル付き学習用画像の学習を終了することで完了する。なお、第３学習器の学習は、第１教師データセットＤ１や第２教師データセットＤ２の内容変更や、第１～第３学習器のいずれかのモデル変更や各種パラメータ変更の都度、実行されることが好ましい。

図７に示すように、学習部５０は、検証データセットＤ３を構成する複数のラベル付き学習用画像に対応する第２特徴量ｘ２に基づいて「正常」又は「異常」の判定を行う。この判定結果は、検査精度の算出に利用される。なお、第１教師データセットＤ１、第２教師データセットＤ２及び検証データセットＤ３の少なくとも１つの内容変更や、第１～第３学習器のいずれかのモデル変更や各種パラメータ変更の都度、検査精度の検証が行われることが好ましい。

図５を参照して、次元削減部５２の学習について説明する。

次元削減部５２の学習では、特徴量抽出部５１が固定モード（図において「固定」）に設定され、次元削減部５２が学習モード（図において「学習」）に設定され、異常度算出部５３が未使用又は固定モードに設定される。そして、第１教師データセットＤ１に含まれる複数のラベル付き学習用画像を順次、データセット作成部５５から特徴量抽出部５１に入力させて、特徴量抽出部５１から出力されるラベル付き学習用画像に対応する第１特徴量ｘ１を次元削減部５２に入力させる。

次元削減部５２は、第１特徴量ｘ１を第１特徴量ｘ１の次元数よりも小さい次元数である第２特徴量ｘ２に変換させる。例えば、第１特徴量ｘ１が「５１２次元」であるとすると、それより小さい「３２次元」や「６４次元」の第２特徴量ｘ２に変換する。なお、次元削減部５２には、第２特徴量ｘ２の次元数がハイパーパラメータとして予め設定されている。本実施形態では、第２特徴量ｘ２の次元がハイパーパラメータである。

次元削減部５２は、ラベル付き学習用画像の正常ラベル又は異常ラベルに基づいて、入力された第１特徴量ｘ１が「正常」又は「異常」に適切に判定されるようにする教師あり学習を行う。教師あり学習は、第２学習器を構成するモデルについて行われる。モデルは、例えば、主成分回帰又は部分最小二乗回帰からなる。

詳述すると、次元削減部５２では、教師あり学習で、下式（１）に示す次元削減関数ｆ（ｘ１）及び下式（２）に示す回帰関数ｇ（ｘ２）を求める。これにより、次元削減部５２では、第１特徴量ｘ１よりも小さい次元数で得られる第２特徴量ｘ２を、正常ラベルに対応する「正常」又は異常ラベルに示される「異常」に回帰させることができる。

ｘ２＝ｆ（ｘ１）・・・（１）
ｙ ＝ｇ（ｘ２）＝ｇ（ｆ（ｘ１））・・・（２）
例えば、次元削減部５２は、入力された第１特徴量ｘ１と、第２教師データセットＤ２を構成する複数のラベル付き学習用画像の正常ラベル又は異常ラベルとから、次元削減された第２特徴量ｘ２を出力する次元削減関数ｆ（ｘ１）を導出するように学習する。同時に、次元削減部５２は、第２特徴量ｘ２の出力を「正常」又は「異常」に回帰させる回帰関数ｇ（ｘ２）を導出するように学習する。そして、次元削減部５２は、第２特徴量ｘ２を出力するとともに、「正常」又は「異常」を「０」又は「１」に回帰させる連続値ｙを出力する。

次元削減関数ｆ（ｘ１）と回帰関数ｇ（ｘ２）との関係を説明する。次元削減関数ｆ（ｘ１）は、「正常（０）」と「異常（１）」とをなるべく区別しやすい方向の次元を第２特徴量ｘ２に残すように働く。このとき、区別しやすい方向の次元を選択的に残すために回帰関数ｇ（ｘ２）の出力が利用される。つまり、次元削減関数ｆ（ｘ１）は、回帰関数ｇ（ｘ２）の出力を使う「教師あり学習」によって、「正常（０）」と「異常（１）」とに区分しやすいように第１特徴量ｘ１を次元削減させて第２特徴量ｘ２を得る関数として得られる。

従来、教師なし学習による次元削減も知られているが、主成分分析などの「教師なし学習」では、ラベル付き学習用画像のラベルを利用せず、第１特徴量ｘ１のばらつきだけに基づく学習での次元削減となる。このため、次元削減する次元削減関数ｆ（ｘ１）が、必ずしもラベルに示される「正常（０）」又は「異常（１）」への判定が高い精度で行えるように導出されるものではない。

これに対し、本実施形態では、より高い精度でラベルに示される「正常（０）」又は「異常（１）」を反映することができる方向に軸を取らせるような次元削減関数ｆ（ｘ１）となるように、回帰関数ｇ（ｘ２）からなる回帰式を使う。具体的には、第２特徴量ｘ２に基づく「正常」又は「異常」の判定が、対応するラベル付き学習用画像の正常ラベル又は異常ラベルに対応するように、次元削減関数ｆ（ｘ１）と回帰関数ｇ（ｘ２）とを同時に学習させる。これにより、上述した主成分分析によって導出される関数よりも高い精度で「正常（０）」又は「異常（１）」を判定することのできる次元削減関数ｆ（ｘ１）を導出することができる。

図６を参照して、異常度算出部５３の学習について説明する。

学習部５０は、次元削減部５２の次元削減関数ｆ（ｘ１）及び回帰関数ｇ（ｘ２）が導出された後、異常度算出部５３の第３学習器のモデルに対して教師あり学習を行う。第３学習器のモデルとしては、例えば「ＯｎｅＣｌａｓｓＳＶＭ」、「ｉｓｏｌａｔｉｏｎ ｆｏｒｅｓｔ」、「ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ」及び「ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ」を用いることができる。

異常度算出部５３の学習では、学習部５０は、特徴量抽出部５１が固定モードに設定され、次元削減部５２が固定モードに設定され、異常度算出部５３が学習モードに設定される。そして、第２教師データセットＤ２に含まれる複数のラベル付き学習用画像を順次、データセット作成部５５から特徴量抽出部５１に入力させて、次元削減部５２から出力される第２特徴量ｘ２を異常度算出部５３に入力させる。

異常度算出部５３は、入力される第２特徴量ｘ２のうち、正常ラベルに関連付けられているラベル付き学習用画像に対応する第２特徴量ｘ２だけを学習に利用する。異常度算出部５３は、正常ラベルに関連付けられているラベル付き学習用画像に対応する第２特徴量ｘ２だけが入力されてもよいし、入力された第２特徴量ｘ２から正常ラベルに関連付けられているラベル付き学習用画像に対応する第２特徴量ｘ２だけを選択的に学習に利用してもよい。そして、異常度算出部５３は、正常ラベルに関連付けられている第２特徴量ｘ２に基づいて、第２特徴量ｘ２が「正常」に判定されるようにする教師なし学習を行う。また、学習結果に基づいて得られる「正常」に対するばらつきに基づいて異常度ＡＲを算出できるようにする。

図７を参照して、学習部５０による検査精度の算出について説明する。

「正常」又は「異常」の検査精度を算出するとき、学習部５０では、特徴量抽出部５１が固定モードに設定され、次元削減部５２が固定モードに設定され、異常度算出部５３が固定モードに設定される。そして、学習部５０は、検証データセットＤ３に含まれる複数のラベル付き学習用画像を順次、データセット作成部５５から特徴量抽出部５１に入力させて、次元削減部５２から出力される第２特徴量ｘ２を異常度算出部５３に入力させる。異常度算出部５３は、入力された第２特徴量ｘ２に対して異常度ＡＲを算出するとともに、「正常」又は「異常」を判定する。学習部５０は、第２特徴量ｘ２に対する異常度算出部５３の判定結果と、対応するラベル付き学習用画像に関連付けられている正常ラベル又は異常ラベルとを検査精度算出部７０に入力する。

検査精度算出部７０は、入力された判定結果の「正常」又は「異常」と、対応する正常ラベル又は異常ラベルとの一致の度合いに基づいて検査精度を算出する。また、検査精度の算出結果は、特徴量抽出部５１のモデルと学習された各種パラメータ、次元削減部５２のモデル及びハイパーパラメータと学習された各種パラメータの設定、及び、異常度算出部５３のモデルと学習された各種パラメータの設定とともに記憶される。よって、検査精度に基づいて記憶された学習部５０の設定が再現できるようになっている。なお、検査精度算出部７０は、異常度算出部５３から異常度ＡＲが入力されたとき、閾値との比較によって異常度ＡＲから「正常」又は「異常」を仕分けてもよい。

（学習部５０の学習手順）
図８を参照して、学習部５０の学習手順について説明する。ここでは、検査精度が高くなるように次元削減部５２と異常度算出部５３とが学習される場合について説明する。

学習部５０は、特徴量抽出部５１、次元削減部５２又は異常度算出部５３のハイパーパラメータが変更される都度、学習を行う。また、学習部５０は、１つのハイパーパラメータについて、複数回のデータセット（第１教師データセットＤ１、第２教師データセットＤ２及び検証データセットＤ３）の変更を行い、データセット作成部５５によるデータセットの変更の都度、次元削減部５２の学習と、異常度算出部５３の学習と、検査精度の算出との手順を繰り返す。これにより、学習部５０は、多様なデータセットに対して検査精度が高く算出されるハイパーパラメータと、学習器の各種パラメータとを特定する。

学習部５０は、学習手順を開始すると、特徴量抽出部５１、次元削減部５２及び異常度算出部５３にハイパーパラメータを設定する（図８のステップＳ８０）。ハイパーパラメータは、予め値の設定されたリストから順次選択された値でもよいし、初期値から２ビットずつ変化させて生成されたリストから順次選択された値でもよいし、初期値から１０ビットずつ変化させて生成されたリストから順次選択された値等でもよい。

次に、学習部５０は、データセット作成部５５で、データセットを作成する（図８のステップＳ８１）。データセット作成部５５は、入力されたラベル付き学習用画像のデータセットＴＤから「ＯＫ＃１」、「ＯＫ＃２」及び「ＯＫ＃３」と、「ＮＧ＃１」及び「ＮＧ＃２」とを作成する。なお、データセット作成部５５は、同一のラベル付き学習用画像のデータセットＴＤの利用が２回目以降である場合、データセットの変更を行う。

データセットが作成されると、学習部５０は、次元削減部５２の学習（図８のステップＳ８２）と、異常度算出部５３の学習（図５のステップＳ８３）と、検査精度の算出（図８のステップＳ８４）とを順次行う。そして、学習部５０は、学習及び検査精度算出を繰り返した回数がデータセットの変更回数の上限値である所定の繰返回数になったか否かを判定する（図８のステップＳ８５）。

繰り返し回数が、所定の繰返回数未満である場合（図８のステップＳ８５でＮＯ）、学習部５０は、処理をデータセットの作成（図８のステップＳ８１）に戻して、新しく作成したデータセットに基づく学習及び検査精度の算出を行う（図８のステップＳ８２～Ｓ８４）。

一方、繰り返し回数が、所定の繰返回数である場合（図８のステップＳ８５でＹＥＳ）、学習部５０は、処理を検査精度の集計（図８のステップＳ８６）に進める。検査精度の集計では、繰返回数分の検査精度を集計することに基づいて、当該ハイパーパラメータにおける検査精度を導出する。

続いて、全てのハイパーパラメータの組合せを試したか否かを判定する（図８のステップＳ８７）。全てのハイパーパラメータの組合せを試したことは、予め値の設定されたハイパーパラメータのリストを全て選択したか否かに基づいて判定する。

学習部５０は、全てのハイパーパラメータの組合せを試していないと判定した場合（図８のステップＳ８７でＮＯ）、ハイパーパラメータの設定（図８のステップＳ８０）の処理に戻り、新しく設定したハイパーパラメータに基づく学習及び検査精度算出を所定の繰返回数だけ行う（図８のステップＳ８１～Ｓ８５）。

一方、学習部５０は、全てのハイパーパラメータの組合せを試したと判定した場合（図８のステップＳ８７でＹＥＳ）、全てのハイパーパラメータの組合せに対応する検査精度が得られたことから学習及び検査精度の算出を終了する。

学習部５０は、全ての検査精度の算出を終了した後、最も良好であると判定した検査精度を選択する。検査精度は、周知の評価方法に基づいて判定する。周知の評価方法には、例えば、ＡＵＣ（Area Under the Curve）や、Ｆ値や、正解率等が挙げられる。そして、例えば、評価方法による評価結果と、予め設定していた閾値との比較に基づいて、検査精度が最も良好であると判定する。

そして、学習部５０は、最も良好な検査精度を出したモデルとハイパーパラメータとに対応する各種パラメータを設定するとともに、この設定が良否判定部１０で良否判定に利用できるようにする。

（注視箇所算出部４０）
図９を参照して、良否判定部１０による検査画像ＩＭの「正常」又は「異常」の判定とともに、注視箇所を算出する注視箇所算出部４０について説明する。注視箇所算出部４０は、検査画像ＩＭに対応するように、良否判定部１０の判定結果に対して貢献の高い個所を注視箇所として表示できるようにする。

良否判定部１０は、検査画像ＩＭが入力された特徴量抽出部１１から第１特徴量ｘ１を出力し、第１特徴量ｘ１が入力された次元削減部１２から第２特徴量ｘ２を出力し、第２特徴量ｘ２が入力された異常度算出部１３から異常度ＡＲを出力する。また異常度算出部１３は、異常度ＡＲに基づいて「正常」又は「異常」を出力する。

そして、注視箇所算出部４０は、良否判定に利用されたモデル及び処理過程における演算結果に基づいて注視箇所を算出する。注視箇所算出部４０は、特徴量重み算出部４１と、ヒートマップ作成部４２とを有する。注視箇所算出部４０は、異常度算出部１３が「異常」と判定した検査画像ＩＭに対して注視箇所を算出することが好ましいが、「正常」と判定した検査画像ＩＭに対して注視箇所を算出してもよい。

特徴量重み算出部４１は、検査画像の第１特徴量ｘ１と、次元削減部１２の学習器のモデルと、異常度算出部１３の学習器のモデルと、異常度ＡＲとに基づいて第１特徴量ｘ１の各次元に関連付けられる重みをそれぞれ算出する。特徴量重み算出部４１は、検査画像ＩＭの判定時に計算される第１特徴量ｘ１と異常度ＡＲ及び判定に用いられる次元削減部１２のモデルの情報と異常度算出部１３のモデルの情報とを入力する。モデルの情報には、モデルの種類と各種パラメータとが含まれる。特徴量重み算出部４１は、これらの入力から異常度ＡＲに対する第１特徴量ｘ１の寄与度を、機械学習モデルを解釈する手法により計算して特徴量重みｗ１として出力する。機械学習モデルを解釈する手法としては、ＳＨＡＰ（SHapley Additive exPlanations）やＬＩＭＥ（local interpretable model-agnostic explanations）等が挙げられる。

ヒートマップ作成部４２は、第１特徴量ｘ１の各次元を関連付けられる特徴量重みｗ１で重みづけするとともに、第１特徴量ｘ１の各次元のチャンネル方向の総和に基づいてヒートマップＨＭを作成する。

ヒートマップ作成部４２は、先に算出された特徴量重みｗ１で重み付けして各第１特徴量ｘ１のチャネル方向への総和を計算し、重み付き特徴量を得る。ヒートマップ作成部４２は、重み付き特徴量の縦横方向のサイズが検査画像ＩＭの縦横方向のサイズと相違するとき、線形補間等の処理で少ない部分等を滑らかにする処理等を行って、検査画像ＩＭと重み付き特徴量との縦横サイズを揃える。そして、ヒートマップ作成部４２は、サイズが同じになった重み付き特徴量と検査画像ＩＭとを所定の画像処理により重ね合わせて注視箇所のヒートマップＨＭとして出力する。ここで、所定の画像処理は、重み付き特徴量と検査画像ＩＭとを重ね合わせた画像において注視箇所が分かりやすく表示されるような処理である。例えば、「異常」の判定に寄与した検査対象物１００の部分が注視箇所として表示されるようになる。

表示部３０は、良否表示部３１と、注視箇所表示部３２とを備えている。良否表示部３１と注視箇所表示部３２とは同じ表示装置であってもよいし、別の表示装置であってもよい。表示装置は、液晶ディスプレイや有機ＥＬディスプレイ等の画像表示が可能な装置である。

良否表示部３１は、異常度算出部１３から入力した異常度ＡＲに基づいて、検査画像ＩＭの「正常」又は「異常」を表示する。

注視箇所表示部３２は、検査画像ＩＭに対応する、注視箇所算出部４０から入力したヒートマップＨＭを表示する。

図１０に示すように、注視箇所表示部３２にはヒートマップＨＭが表示される。このヒートマップＨＭでは、検査対象物１００の検査画像ＩＭに対してサイズと重みが調整された第１特徴量ｘ１が重ね合わせられており、異常部分１０１に対して現れる「異常」判定に寄与度が大きい寄与部分１０２が視認可能になっている。これにより、検査対象物１００のどこに「異常」の判定に寄与した異常部分１０１があるのかが分かるようになるので検査対象物１００の目視検査等の再検査も容易になる。また、第１特徴量ｘ１の各次元の重みに基づく重ね合わせ画像であるため、寄与度の大小が表示の濃さ等に現れるため寄与部分１０２の優先度の判断が行いやすくなる。

（モデル及び各種パラメータの選択）
図１に示す、自動設定部５７について詳述する。学習部５０は、検査精度が高く得られるようになる第１～第３学習器のモデル及び各種パラメータの組合せを決める自動設定部５７を備えている。

通常、学習部５０の検査精度は、特徴量抽出部５１の第１学習器のモデル、次元削減部５２の第２学習器のモデル及び異常度算出部５３の第３学習器のモデルの各特徴に応じて変化する。そこで、自動設定部５７は、学習部５０に対して複数のモデルの組合せを設定するとともに、学習部５０に対する複数のモデルの組合せのそれぞれについて検査精度算出部７０の算出した検査精度を比較することで、検査画像ＩＭの「正常」又は「異常」の判定に適したモデルの組合せを得るようにしている（自動設定ステップ）。

本実施形態では、第１学習器のモデルと、第２学習器のモデルと、第３学習器のモデルとがそれぞれ組合せ要素であることに加えて、第１学習器のモデルの特徴量抽出層及び第２学習器のモデルのハイパーパラメータもそれぞれ組合せ要素である。特徴量抽出層は、出力用に設定されている複数の中間層のうちから選択された１つの中間層であり、ハイパーパラメータは、複数の次元から選択された１つの次元である。すなわち、組み合わせの内容は、５つの組合せ要素について、各要素に選択された内容により定まる。また、組み合わせの総数は、５つの要素に対応する各選択肢の数の積より算出できる。

自動設定部５７は、複数のモデルの組合せから順次１つの組合せを選択して検査精度を算出し、複数のモデルの各組合せのそれぞれの検査精度を算出する。

自動設定部５７は、特徴量抽出部５１の第１学習器のモデルを第１要素として、予め設定された複数のネットワーク構造から１つを順次設定する。例えば、複数のネットワーク構造として、畳み込みニューラルネットワークである５つのモデル、「ＶＧＧ１６」、「ＶＧＧ１９」、「ＲｅｓＮｅｔ５０」、「ＩｎｃｅｐｔｉｏｎＶ３」及び「ＭｏｂｉｌｅＮｅｔＶ２」などが挙げられる。また、これに限らず、複数のネットワーク構造には、独自に生成したモデルを追加してもよい。

自動設定部５７は、特徴量抽出部５１の第１学習器のモデルの特徴量抽出層を第２要素として、予め設定された複数の中間層から１つの特徴量抽出層を設定する。複数の中間層は、第１要素で設定されるモデルに応じて出力用に設定されている複数の中間層である。

例えば、図１１を参照して、特徴量抽出部５１の第１学習器のモデルが「ＶＧＧ１６」のとき、「ＶＧＧ１６」の１３層の畳み込み層のうち第１～第５ブロックｂｌｏｃｋ１～５に区分された各ブロックにそれぞれ特徴量抽出層が設けられる。よって、自動設定部５７は、選択する１つの特徴量抽出層として、順次、第１ブロックｂｌｏｃｋ１、第２ブロックｂｌｏｃｋ２、第３ブロックｂｌｏｃｋ３、第４ブロックｂｌｏｃｋ４及び第５ブロックｂｌｏｃｋ５のうちの１つを選択する。

次元削減部５２の第２学習器のモデルを第３要素として、予め設定されている教師あり学習のモデルから１つのモデルを順に設定する。教師あり学習のモデルは、部分最小二乗回帰及び主成分回帰等である。本実施形態では、教師画像を関連付けられたラベルに基づいて学習するモデルに、予め設定されている教師あり学習のモデルが対応する。

次元削減部５２の第２学習器のモデルのハイパーパラメータを第４要素として、予め設定されている複数のハイパーパラメータから１つのハイパーパラメータを順に設定する。ハイパーパラメータは、例えば、第１特徴量ｘ１の次元数よりも少ない整数値からなる「３２次元」や「６４次元」などであり、初期値から終了値までの２次元毎や１０次元毎に設けられたパターンに含まれる次元や、予め設定されているリストに含まれる次元である。

異常度算出部５３の第３学習器のモデルを第５要素として、予め設定されている複数の教師なし学習のモデルから１つのモデルを順に設定する。教師なし学習のモデルとしては、例えば「ＯｎｅＣｌａｓｓＳＶＭ」、「ｉｓｏｌａｔｉｏｎ ｆｏｒｅｓｔ」、「ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ」及び「ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ」を用いることができる。本実施形態では、特定のラベルに関連する教師画像に基づいて学習するモデルに、予め設定されている教師なし学習のモデルが対応する。

学習部５０は、自動設定部５７で特徴量抽出部５１に１つのモデル（ネットワーク構造）及び１つの特徴量抽出層、及び、次元削減部５２に１つのモデル（教師あり学習）及びハイパーパラメータ（次元削減後の次元数）、及び異常度算出部５３に１つのモデル（教師なし学習）からなる組合せを過去の組合せと重複しないように順次設定する。そして、学習部５０は各設定された組合せ毎に検査精度を取得する。

例えば、自動設定部５７が設定する組合せは、第１要素として「ＶＧＧ１６」、「ＶＧＧ１９」、「ＲｅｓＮｅｔ５０」、「ＩｎｃｅｐｔｉｏｎＶ３」及び「ＭｏｂｉｌｅＮｅｔＶ２」のうちの１つを含んでいるとともに、第２要素に１つの特徴量抽出層を含むものである。また、例えば、自動設定部５７で設定される組合せは、第３要素に「部分最小二乗回帰」又は「主成分回帰」を含んでいるとともに、第４要素に１つのハイパーパラメータを含むものである。また、例えば、自動設定部５７で設定される組合せは、第５要素に「ＯｎｅＣｌａｓｓＳＶＭ」、「ｉｓｏｌａｔｉｏｎ ｆｏｒｅｓｔ」、「ｌｏｃａｌ ｏｕｔｌｉｅｒ ｆａｃｔｏｒ」及び「ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ」のうちの１つを含むものである。

図１２を参照して、モデル及び各種パラメータの選択の手順について説明する。

学習部５０は、自動設定部５７で組合せの決定をする（図１２のステップＳＢ１）。組合せの決定では、全ての組合せのうちから、未選択である１つの組合せが決定される。例えば、第２～第５要素については維持したうえで、第１要素について選択肢が終了するまで順に次の選択肢を設定することを繰り返す設定サイクルを行う。続いて、第２～第５要素のいずれか１つについて選択肢を変更する毎に、上述の設定サイクルを繰り返すことで、すべての組合せの設定を選択することができる。

学習部５０は、組合せを決定すると自動設定部５７で、組合せの設定を行う（図１２のステップＳＢ２）。自動設定部５７は、選択した１つの組合せとなるように、特徴量抽出部５１の第１学習器のモデル、同モデルの特徴量抽出層、次元削減部５２の第２学習器のモデル、同モデルのハイパーパラメータ及び異常度算出部５３の第３学習器のモデルをそれぞれ設定する。

学習部５０は、組合せの設定が完了すると検査精度の測定を行う（図１２のステップＳＢ３）。検査精度の測定では、データセット作成部５５で作成された学習データで学習部５０が学習される。続いて、試験データに対して得られた判定結果に基づいて検査精度算出部７０で検査精度が測定される。

学習部５０は、検査精度が測定されると、測定された検査精度を記憶する（図１２のステップＳＢ４）。検査精度は、決定された組合せの内容と、測定された検査精度とが関連付けられて記憶部等に記憶される。

次に学習部５０は、自動設定部５７による全組合せを選択したか否かを判定する（図１２のステップＳＢ５）。学習部５０は、自動設定部５７による全組合せの選択が終了していないと判定した場合（図１２のステップＳＢ５でＮＯ）、組合せの設定の処理（図１２のステップＳＢ１）に戻り、次の組合せの設定、検査精度の測定及び検査精度の記憶（図１２のステップＳＢ２～ＳＢ４）を行う。

一方、学習部５０は、自動設定部５７による全組合せの選択が終了したと判定した場合（図１２のステップＳＢ５でＹＥＳ）、検査精度の高い組合せを選択する（図１２のステップＳＢ６）。

そして、学習部５０は、選択された検査精度の高い組合せを学習部５０に設定する（図１２のステップＳＢ７）とともに、この学習部５０に設定された組合せを良否判定部１０に反映させる。これにより、検査精度の高い組合せ（モデル及び各種パラメータ）が設定された良否判定部１０によって、高い検査精度で検査画像ＩＭに対する「正常」又は「異常」が判定されるようになる。

以上説明したように、本実施形態に係る画像検査装置、画像検査方法及びプログラムによれば、以下に記載する効果が得られる。

（１）画像検査装置１は、入力された検査画像ＩＭを「正常」又は「異常」に判定することができる。この判定を行うため、次元削減部５２は、正常ラベル及び異常ラベルが個別に関連付けられた教師画像ＴＭの第１特徴量ｘ１に対して、教師画像ＴＭを「正常」又は「異常」に判定するための学習を行う。一般に、ラベル付き教師画像ＴＭによる次元削減部５２の学習に必要とされる画像数は、特徴量を抽出する特徴量抽出部５１の学習に必要とされる画像数よりも少ない。よって、少ない教師画像ＴＭからであっても検査画像ＩＭを判定することのできる画像検査装置１を提供することができる。

補足すると、特徴量抽出部５１は、一般的な画像認識用データセット（画像セット）で学習されるものである。このような画像認識用データセットは検査対象物１００の映されていない画像を一部又は全部に含むものである。そのため、特徴量抽出部５１の学習に際し、検査対象物１００の映っている教師画像ＴＭは必ずしも必要ではない。よって、検査対象物１００の映っている教師画像ＴＭを、次元削減部５２の学習に必要とされる数だけ準備すれば学習部５０を学習させることができる。

（２）特徴量抽出部５１を学習させる教師画像ＴＭとして一般的な画像認識用データセット（画像セット）が利用できるため、検査対象物１００の映っている教師画像ＴＭを必要数だけ収集するための手間や時間が不要となる。

（３）異常度ＡＲの算出が、正常ラベルに対応する第２特徴量ｘ２に基づいて導出された第３学習器を有する異常度算出部５３で行われる。このとき、異常度算出部５３は、次元削減部５２とは相違する観点の学習、つまり正常データに対する教師なし学習により学習されているので次元削減部５２の判定と併せてより適切な判定ができるようになる。

詳述すると、次元削減部５２は線形であるので精度が高められづらいとともに、教師あり学習であるため教師画像ＴＭに含まれない種類の異常を判定することが難しい傾向にある。そこで、異常度算出部５３で「正常」な教師画像ＴＭのみを学習することで「正常」な状態が精度よくモデリングされてより適切に「正常」又は「異常」を判定できるようになる。

（４）次元削減部５２の第２学習器が、ラベル付きの教師画像ＴＭを用いて、部分最小二乗回帰又は主成分回帰等の手法で構築されるので、第１特徴量ｘ１から算出される第２特徴量ｘ２を正常ラベル又は異常ラベルへ回帰させることができる。

（５）画像検査装置１はデータセット作成部５５を具備するので、正常ラベル又は異常ラベルが個別に関連付けられている検査対象物１００が映された学習用画像のデータセットＴＤから、複数の学習データ（第１教師データセットＤ１と第２教師データセットＤ２）や複数の試験データ（検証データセットＤ３）を作成できる。すなわち、第１教師データセットＤ１は、正常ラベルに関連付けられた画像及び異常ラベルに関連付けられた画像から作成される。また、第２教師データセットＤ２は、正常ラベルのみに関連付けられた画像から作成される。なお、第１教師データセットＤ１は次元削減部５２の学習に用いられ、第２教師データセットＤ２は異常度算出部５３の学習に用いられる。

（６）画像検査装置１は自動設定部５７を具備するので、１つのネットワーク構造と１つの特徴量抽出層とを特徴量抽出部５１の第１学習器に設定し、関連付けられたラベルに基づいて教師画像ＴＭを学習する１つのモデルを次元削減部５２の第２学習器に設定できる。また、画像検査装置１は自動設定部５７を具備するので、異常度算出部５３の第３学習器に正常ラベルの教師画像ＴＭを学習する１つのモデルを設定できる。また、画像検査装置１は自動設定部５７を具備するので、モデル及び各種パラメータの複数の組合せのうち検査精度が良好である組合せを、特徴量抽出部５１のネットワーク構造と特徴量抽出層、及び次元削減部５２の第２学習器、及び異常度算出部５３の第３学習器に設定できる。

（７）画像検査装置１はヒートマップ作成部４２を具備するので、各次元が関連付けられる特徴量重みｗ１で重みづけされた第１特徴量ｘ１のチャンネル方向の総和により作成されるヒートマップＨＭを出力できる。

（８）画像検査装置１は、異常であるか否かと、ヒートマップＨＭとを表示部３０に表示できる。これにより、検査対象物１００の部分であって、異常の判定に寄与した部分が目視できるようになる。

（その他の実施形態）
・良否判定部１０と学習部５０とがそれぞれ相違する小型コンピューター等の情報処理装置として構成されていてもよい。このとき、これらの２つの情報処理装置の全体又は一部の組合せで画像検査装置１が構成される。

・図１３に示すように、良否判定装置１１０と、画像取得装置１２０と、学習装置１５０と、データサーバ１６０とがインターネット等の通信回線１８０を介して、相互に情報伝達可能に接続されていてもよい。このとき、良否判定装置１１０は良否判定部１０と表示部３０と注視箇所算出部４０とを備え、画像取得装置１２０は画像取得部２０を備え、学習装置１５０は学習部５０と検査精度算出部７０とを備え、データサーバ１６０は記憶部６０を備える。これにより、上記実施形態の画像検査装置１と該画像検査装置１に接続される各装置とからなる構成と同等の構成を得ることができる。

なお、良否判定装置１１０と、画像取得装置１２０と、学習装置１５０と、データサーバ１６０とのうちの２つ又は３つが１つの装置、例えば、良否判定装置１１０と画像取得装置１２０とが１つの装置であるような構成であってもよい。

・上記実施形態では、検査画像ＩＭは、検査対象範囲として検査対象物１００のみが映されている画像である場合について例示したが、これに限らず、検査対象範囲外のばらつきを含んだデータセットの学習結果として良否判定部１０で除かれてもよい。

・画像検査装置１は良否判定部１０と学習部５０とを備えるものとしたが、画像検査装置１は必ずしも学習部５０を備えるものでなくてもよい。第１～第３学習器の情報が予め設定された良否判定部１０のみから画像検査装置１が構成されてもよい。

・次元削減部１２の判定結果を利用して検査画像ＩＭが「正常」であるか「異常」であるかを判定してもよい。この場合、異常度算出部１３を利用しない構成とすることができる。

・自動設定部５７では、第１～第５要素はそれぞれ、それらの選択肢の全部が設定されることに限らず、それらの選択肢の一部が設定されてもよい。例えば、検査精度に対する影響の少ない選択肢を設定しないようにしてもよいし、逆に、そうした選択肢を設定するようにしてもよい。これにより、検査精度を算出する回数や算出に要する時間を減らすことができるようになる。

・自動設定部５７では、第１～第５要素からなる５つの要素の組合せを設定する場合について説明したが、一部の要素が除外された組合せ、つまり１つ、２つ、３つ、又は４つの要素の組合せを設定して検査精度を測定するようにしてもよい。これにより、設定が不要な要素がある構成にも自動設定部５７を利用して、学習部５０及び良否判定部１０にモデル等を設定することができる。

（追加機能）
上述した画像検査装置１は、正常ラベル又は異常ラベルが個別に関連付けられた画像の学習データを用いて学習された学習器を含み、検査対象物が映された検査画像を正常又は異常に分類するものである。この画像検査装置１を構成する情報処理装置は、プログラムが読み込まれることにより、以下の追加機能を実現することが可能である。
なお、以下の説明において既に説明した構成については略同一符号を付して説明を省略する。

（１）再学習提案機能
画像検査装置１では、正常に分類される画像の傾向が、時間が経つにつれて変化することがある。これにより、画像検査装置１の検査精度が低下することがある。そこで画像検査装置１は、以下の構成を具備することで検査精度を維持する。

画像検査装置１は、図１４に示すように、基準値記憶部１１１と、分類結果記憶部１１２と、再学習判定部１１３とを備えることができる。また、画像検査装置１は学習器（良品判定部１０）を有しており、学習器が学習データの特徴量を抽出する。

基準値記憶部１１１は、学習データから得られる基準値を記憶する。ここで、基準値は、正常ラベルが関連付けれた画像の学習データから抽出された特徴量の平均ベクトル及び分散共分散行列とする。
分類結果記憶部１１２は、検査画像と、当該検査画像が正常又は異常のいずれかに分類されたことを示す分類結果とを関連付けて記憶する。
再学習判定部１１３は、正常に分類された検査画像から得られる判定値と、基準値とに基づいて学習器の再学習が必要か否かを判定する。ここで、再学習判定部１１３は、所定の判定期間に対応する分類結果に基づいて、学習器の再学習が必要か否かを判定する。具体的に、再学習判定部１１３は、正常ラベルが関連付けられた画像の学習データから得られる特徴量の分布の代表点から、検査画像から得られる特徴量までの所定距離を特徴量の各次元の分散で正規化した距離空間における長さを用いて算出し、その所定距離に基づいて再学習が必要であるか否かを判定する。例えば、所定距離として、マハラノビス距離が採用される。

図１５は画像検査装置の再学習提案機能を説明するためのフローチャートである。
画像検査装置１は、良品判定部１０で用いられる学習器を生成する（ＳＣ１）。この際、画像検査装置１は、学習データから基準値を計算し、計算した基準値を記憶する（ＳＣ２）。
次に、画像検査装置１は、検査画像の分類を所定期間が経過するまで実行する（ＳＣ３，ＳＣ４）。この際、画像検査装置１は、検査画像と、当該検査画像が正常又は異常のいずれかに分類されたことを示す分類結果とを関連付けて記憶する。
次に、画像検査装置１は、正常に分類された検査画像から判定値を算出する。そして、画像検査装置１は判定値と基準値とに基づいて学習器の再学習が必要か否かを判定する（ＳＣ５）。画像検査装置１は判定の結果、再学習が必要だと判定した場合、その旨をユーザに提案する情報を出力する（ＳＣ５－Ｙｅｓ，ＳＣ６）。

以上説明したような画像検査装置１では、正常に分類された検査画像から得られる判定値と、学習データから得られる基準値とに基づいて学習器の再学習が必要か否かを判定するので、画像検査装置１の検査精度を維持したまま継続して使用することが可能である。補足すると、画像検査装置１では、検査対象物が映される撮影環境などが変化することで、検査画像の特徴量が変化することがある。これに対し、上述した画像検査装置１であれば、検査対象物の撮影環境などに変化が生じ、正常に分類される画像の傾向に変化が生じた場合、再学習が必要であることを通知できるので、画像検査装置１の検査精度の低下を抑えることができる。

また、ここでは、所定の判定期間に対応する分類結果に基づいて、学習器の再学習が必要か否かを判定するので、定期的に再学習の必要性を判定できる。また、正常ラベルが関連付けれた画像の学習データから抽出された特徴量の分布を示す値を基準値とするので、検査画像の変化の傾向を捉えることができる。また、画像検査装置１は、正常ラベルが関連付けられた画像の学習データから得られる特徴量の分布を示す値を基準値とし、検査画像から得られる特徴量までの所定距離を算出することで、特徴量の分布に対する変化の傾向を捉えることができる。

なお、画像検査装置１は、判定期間の入力を受け付ける判定期間受付部をさらに備えるものであってもよい。このような構成であれば、ユーザの利用環境に応じた判定期間を設定できる。

（２）学習データ選択機能
画像検査装置１では、多数の画像から学習データを抽出する場合、互いに類似する画像が学習データに含まれて画像の特徴に偏りが生じ、画像検査装置１の検査精度が高まらないことがある。そこで画像検査装置１は、以下の構成を具備することで、学習データを適切に選択して検査精度を維持する。

画像検査装置１は、図１６に示すように、画像データ分類部１２１と、学習データ生成部１２２とを備えることができる。

画像データ分類部１２１は、学習データの元となる画像のデータを所定数のグループに分類する。

学習データ生成部１２２は、画像データ分類部１２１により分類された各グループから所定数の画像のデータを抽出し、抽出した画像のデータを学習データとする。

画像検査装置１は、上述した構成を具備することにより、多数の画像から学習データを抽出する場合でも、画像の特徴に偏りが生じるのを回避することができる。さらに、学習データを減らすことで、学習に要する計算時間を短くすることができる。例えば、一般的に異常ラベルが付される画像に比して正常ラベルが付させる画像は多数集めることができる。そのため、互いに類似する正常ラベルが付された画像から学習データが抽出される場合がある。上述した学習データ選択機能を有する画像検査装置であれば、このような場合でも、学習データの画像の特徴に偏りが生じるのを回避することができる。結果として、画像検査装置１は検査精度を維持できる。

（３）学習データ判定機能
画像検査装置１において、学習データの数が少ない場合、検査対象となる画像に、学習データの特徴の傾向とは異なるものが含まれることがある。例えば、本来、学習データに含めるべきデータが学習データには含まれておらず、検査画像にそのようなデータが含まれている場合、画像検査装置１の検査精度が高くならないことがある。そこで画像検査装置１は、以下の構成を具備することで、学習データの妥当性を判定し、適切な学習データの選択を促して検査精度を維持する。

画像検査装置１は、図１７に示すように、テスト分類結果記憶部１３１と、類似画像判定部１３２と、判定結果出力部１３３とを備えることができる。

テスト分類結果記憶部１３１は、正常ラベル又は異常ラベルが個別に関連付けられた画像のテストデータを学習器（良品判定部１０）に入力して得られる、正常又は異常の分類を示すテスト分類結果を記憶する。ここで、テストデータは、学習器（良品判定部１０）により出力された検査画像の正常又は異常の分類の正否を検証するための画像データである。なお、画像検査装置１で検査した検査画像に対して後から正常ラベル又は異常ラベルを個別に関連付けた検査画像をテストデータとして扱ってもよい。

類似画像判定部１３２は、テスト分類結果が、テストデータに関連付けられた正常ラベル又は異常ラベルに一致しない場合、当該一致しないテストデータの画像に類似する画像が学習データに含まれているか否かを判定する。なお、テストデータの画像と、学習データに含まれる画像との類似度は、各画像から抽出される特徴量に基づいて判定される。

判定結果出力部１３３は、類似画像判定部１３２の判定結果を出力する。

図１８は画像検査装置１の学習データ判定機能を説明するためのフローチャートである。
画像検査装置１は、良品判定部１０で用いられる学習器を生成する（ＳＥ１）。
次に、画像検査装置１は、検査画像のテストデータを入力する（ＳＥ２）。続いて、画像検査装置１は、良品判定部１０により出力された検査画像の正常又は異常の分類を示すテスト分類結果を記憶する（ＳＥ３）。
次に、画像検査装置１は、テスト分類結果と、テストデータに関連付けられたラベルとが一致するか否かを判定する（ＳＥ４）。
画像検査装置１は、テスト分類結果と、テストデータに関連付けられたラベルとが一致しないと判定した場合、一致しないテストデータの画像に類似する画像が学習データに含まれているか否かを判定する（ＳＥ５）。
画像検査装置１は、ステップＳＥ５において、テスト分類結果に一致しないテストデータの画像に類似する画像が学習データに含まれている場合は、学習データのバリエーションは十分であると判定する（ＳＥ５－Ｙｅｓ，ＳＥ６）。この場合、画像検査装置１は、学習データのバリエーションは十分であるが、再学習することで画像検査装置１の検査精度を高められる可能性がある旨を判定結果として出力する（ＳＥ８）。
一方、画像検査装置１は、ステップＳＥ５において、テスト分類結果に一致しないテストデータの画像に類似する画像が学習データに含まれていない場合は、学習データのバリエーションが不足していると判定する（ＳＥ５－Ｎｏ，ＳＥ６）。この場合、画像検査装置１は、それらのテスト分類結果に一致しないテストデータの画像を学習データに加えて再学習することで画像検査装置１の検査精度を高められる可能性がある旨を判定結果として出力する（ＳＥ８）。

以上説明したような画像検査装置１では、テスト分類結果が、テストデータに関連付けられた正常ラベル又は異常ラベルに一致しない場合、当該一致しないテストデータの画像に類似する画像が学習データに含まれているか否かを判定して出力するので、学習データのバリエーションが十分でなかったことをユーザに認識させることができる。換言すると、画像検査装置１は、学習データの妥当性を判定し、適切な学習データの選択を促して検査精度を維持することができる。

１…画像検査装置、１０…良否判定部、１１…特徴量抽出部、１２…次元削減部、１３…異常度算出部、２０…画像取得部、３０…表示部、３１…良否表示部、３２…注視箇所表示部、４０…注視箇所算出部、４１…量重み算出部、４２…ヒートマップ作成部、５０…学習部、５１…特徴量抽出部、５２…次元削減部、５３…異常度算出部、５５…データセット作成部、５７…自動設定部、６０…記憶部、７０…検査精度算出部、１００…検査対象物、１１１…基準値記憶部、１１２…分類結果記憶部、１１３…再学習判定部、１２１…画像データ分類部、１２２…学習データ生成部、１３１…テスト分類結果記憶部、１３２…類似画像判定部、１３３…判定結果出力部、ＨＭ…ヒートマップ、ＩＭ…検査画像、ＴＤ…ラベル付き学習用画像のデータセット、ＴＭ…教師画像。
 

Claims (5)

1. 正常ラベル又は異常ラベルが個別に関連付けられた画像の学習データを用いて学習された学習器から生成され、検査対象物が映された検査画像を正常又は異常に分類する画像検査装置であって、
   正常ラベル又は異常ラベルが個別に関連付けられた画像のテストデータを前記学習器に入力して得られる、正常又は異常の分類を示すテスト分類結果を記憶するテスト分類結果記憶部と、
   前記テスト分類結果が、前記テストデータに関連付けられた正常ラベル又は異常ラベルに一致しない場合、当該一致しないテストデータの画像に類似する画像が前記学習データに含まれているか否かを判定する類似画像判定部と、
   前記類似画像判定部の判定結果を出力する判定結果出力部と、
   を備える画像検査装置。
2. 前記類似画像判定部は、前記テスト分類結果に一致しないテストデータの画像に類似する画像が学習データに含まれていないと判定した場合、学習データのバリエーションが不足していると判定する、
   請求項１に記載の画像検査装置。
3. 正常ラベル又は異常ラベルが個別に関連付けられた画像の学習データを用いて学習された学習器から生成され、検査対象物が映された検査画像を正常又は異常に分類する画像検査装置のコンピュータを、
   正常ラベル又は異常ラベルが個別に関連付けられた画像のテストデータを前記学習器に入力して得られる、正常又は異常の分類を示すテスト分類結果を記憶するテスト分類結果記憶部、
   前記テスト分類結果が、前記テストデータに関連付けられた正常ラベル又は異常ラベルに一致しない場合、当該一致しないテストデータの画像に類似する画像が前記学習データに含まれているか否かを判定する類似画像判定部、
   前記類似画像判定部の判定結果を出力する判定結果出力部、
   として機能させるプログラム。
4. 正常ラベル又は異常ラベルが個別に関連付けられた画像の学習データを用いて学習された学習器から生成され、検査対象物が映された検査画像を正常又は異常に分類する画像検査装置であって、
   前記学習データの元となる画像のデータを所定数のグループに分類する分類部と、
   前記分類部により分類された各グループから所定数の画像のデータを抽出し、抽出した画像のデータを前記学習データとする学習データ生成部と、
   を備える、画像検査装置。
5. 正常ラベル又は異常ラベルが個別に関連付けられた画像の学習データを用いて学習された学習器から生成され、検査対象物が映された検査画像を正常又は異常に分類する画像検査装置のコンピュータを、
   前記学習データの元となる画像のデータを所定数のグループに分類する分類部、
   前記分類部により分類された各グループから所定数の画像のデータを抽出し、抽出した画像のデータを前記学習データとする学習データ生成部、
   として機能させるプログラム。
   
   

Images