JP7366325B1

JP7366325B1 - 情報処理装置

Info

Publication number: JP7366325B1
Application number: JP2023547256A
Authority: JP
Inventors: 恵一白須賀
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-12-14
Filing date: 2023-04-28
Publication date: 2023-10-20
Anticipated expiration: 2043-04-28

Abstract

情報処理装置（１００）は、検査対象品を含む画像（１０）を取得する取得部（１２０）と、画像（１０）に基づいて、特徴マップを生成する特徴マップ生成部（１３０）と、特徴マップに基づいて、正常空間からの逸脱度を、異常度として検出し、異常度に基づいて、異常箇所抽出画像を生成する検出生成部（１６０）と、特徴マップに基づいて、検査対象品又は検査対象品の検査対象部位を示す領域である注目領域を含むヒートマップであるアテンションマップを生成するアテンションマップ生成部（１７０）と、アテンションマップが示す注目領域に対応する異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成する重み付け生成部（１８０）と、重み付き異常箇所抽出画像のうち、重み付けされた画像領域を判定対象領域として、検査対象品が異常であるか否かを判定する判定部（１９０）と、を有する。

Description

本開示は、情報処理装置に関する。

製品の外観検査が、学習済モデルを用いて行われる場合がある。例えば、当該学習済モデルは、正常品を含む画像を再構成画像として出力するモデルである。当該学習済モデルは、検査対象品を含む画像と、再構成画像との差分画像を用いて、異常を判定する。また、当該学習済モデルは、異常箇所を可視化した情報を出力する。

また、外観検査に関する技術が提案されている（特許文献１を参照）。特許文献１の検査装置は、第１推定モデルを使用して、対象画像から注目領域を抽出し、注目領域の抽出結果を使用して、第２推定モデルの演算処理を実行し、かつ第２推定モデルの演算結果に基づいて、対象製品に欠陥があるか否かを判定する。

特開２０２２－３４９５号公報特開２０２１－０２２３６８号公報

ところで、検査対象品を含む画像と学習済モデルとを用いて、検査が行われる場合がある。ここで、検査対象品を含む画像の背景の特徴が、学習データとして用いられた画像の背景の特徴と異なることがある。また、検査対象品を含む画像の検査対象部位以外の領域の特徴が、学習データとして用いられた画像の特徴と異なることがある。このように、学習データと異なる特徴を有する画像が入力された場合、検査対象品又は検査対象部位以外の領域が注目領域とされ、正常品の検査対象品が異常品であると判定される場合がある。このように、誤判定が起こることは、問題である。

本開示の目的は、誤判定を抑制することである。

本開示の一態様に係る情報処理装置が提供される。情報処理装置は、検査対象品を含む画像を取得する取得部と、前記画像に基づいて、特徴マップを生成する特徴マップ生成部と、前記特徴マップに基づいて、正常品の特徴量によって表現される空間である正常空間からの逸脱度を、異常度として検出し、前記異常度に基づいて、異常箇所抽出画像を生成する検出生成部と、前記特徴マップに基づいて、前記検査対象品又は前記検査対象品の検査対象部位を示す領域である注目領域を含むヒートマップであるアテンションマップを生成するアテンションマップ生成部と、前記アテンションマップが示す前記注目領域に対応する前記異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成する重み付け生成部と、前記重み付き異常箇所抽出画像のうち、重み付けされた画像領域を判定対象領域として、前記検査対象品が異常であるか否かを判定する判定部と、を有する。

本開示によれば、誤判定を抑制できる。

実施の形態１の情報処理装置が有するハードウェアを示す図である。実施の形態１の情報処理装置の機能を示すブロック図である。実施の形態１の畳み込み層の選択方法の例を示すフローチャートである。実施の形態１の学習時における処理のイメージ図である。実施の形態１の各主成分軸に対する寄与度のイメージ図である。実施の形態１のインクリメント番号の割り当てのイメージ図である。実施の形態１の各層の寄与度のイメージ図である。実施の形態１の正常品の分布図である。実施の形態１のアテンションマップ生成部と分類予測部との機能を示すブロック図である。実施の形態１の判定部の機能を示すブロック図である。実施の形態１の学習処理の例を示すフローチャートである。（Ａ）～（Ｃ）は、実施の形態１の教師データの例を示す図（その１）である。（Ａ）～（Ｃ）は、実施の形態１の教師データの例を示す図（その２）である。実施の形態２の情報処理装置の機能を示すブロック図である。実施の形態２のリサイズ結合部の機能を示すブロック図である。実施の形態３の情報処理装置の機能を示すブロック図である。実施の形態３の判定部の機能を示すブロック図である。実施の形態４の情報処理装置の機能を示すブロック図である。実施の形態４の検出生成部の機能を説明するための図である。実施の形態４の教師データの例を示す図である。実施の形態４の学習処理の例を示すフローチャートである。実施の形態５の情報処理装置の機能を示すブロック図である。実施の形態５の学習処理の例を示すフローチャートである。

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。

実施の形態１．
図１は、実施の形態１の情報処理装置が有するハードウェアを示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。

プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。また、情報処理装置１００は、処理回路を有してもよい。

揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）である。

次に、情報処理装置１００の機能を説明する。
図２は、実施の形態１の情報処理装置の機能を示すブロック図である。情報処理装置１００は、記憶部１１０、取得部１２０、特徴マップ生成部１３０、リサイズ部１４０、結合部１５０、検出生成部１６０、アテンションマップ生成部１７０、重み付け生成部１８０、判定部１９０、及び表示制御部２００を有する。情報処理装置１００は、分類予測部２１０を有してもよい。また、リサイズ部１４０は、第１のリサイズ部とも言う。結合部１５０は、第１の結合部とも言う。

記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
取得部１２０、特徴マップ生成部１３０、リサイズ部１４０、結合部１５０、検出生成部１６０、アテンションマップ生成部１７０、重み付け生成部１８０、判定部１９０、及び表示制御部２００の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、特徴マップ生成部１３０、リサイズ部１４０、結合部１５０、検出生成部１６０、アテンションマップ生成部１７０、重み付け生成部１８０、判定部１９０、及び表示制御部２００の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。

記憶部１１０は、様々な情報を記憶する。
取得部１２０は、画像１０を取得する。例えば、取得部１２０は、カメラから画像１０を取得する。また、例えば、取得部１２０は、記憶部１１０から画像１０を取得する。
画像１０は、検査対象品を含む。画像１０の縦ピクセル数は、ｈ０である。画像１０の横ピクセル数は、ｗ０である。画像１０のチャンネル数は、ｃｈ０である。そのため、画像１０は、“ｈ０×ｗ０×ｃｈ０”と表現してもよい。

特徴マップ生成部１３０は、画像１０に基づいて、特徴マップを生成する。特徴マップ生成部１３０を詳細に説明する。特徴マップ生成部１３０は、複数の畳み込み層を構成するニューラルネットワークである。例えば、特徴マップ生成部１３０は、ＲｅｓＮｅｔ（ＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ）、ＥｆｆｉｃｉｅｎｔＮｅｔ、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）などである。特徴マップ生成部１３０では、各畳み込み層から特徴マップ１３０ｏｕｔが、出力される。図１は、特徴マップ１３０ｏｕｔ１，１３０ｏｕｔ２，１３０ｏｕｔ３が、３つの畳み込み層から出力されることを示している。しかし、出力される特徴マップの数は、１つでもよい。特徴マップ生成部１３０では、選択された畳み込み層から特徴マップが、出力されてもよい。特徴マップ生成部１３０では、全ての畳み込み層から特徴マップが、出力されてもよい。

上記したように、選択された畳み込み層から特徴マップが、出力されてもよい。ここで、畳み込み層の選択方法を説明する。
図３は、実施の形態１の畳み込み層の選択方法の例を示すフローチャートである。また、図３の処理は、学習時におけるフローチャートである。
（ステップＳ１１）正常品を含む複数の画像のそれぞれを用いて、全ての畳み込み層から特徴マップが、出力される。これにより、複数の特徴マップが、得られる。
（ステップＳ１２）各特徴マップにおける各チャンネルの画像について、画像内ピクセル値の平均値が、算出される。
（ステップＳ１３）算出された平均値を用いて、主成分分析が、行われる。

ここで、ステップＳ１１～１３までの処理のイメージ図を示す。
図４は、実施の形態１の学習時における処理のイメージ図である。
ここで、第１層からＮ層までの全層の特徴マップのうち、第ｉ層の特徴マップを“ｈｉ×ｗｉ×ｃｈｉ”と表現する。“ｈｉ”は、縦ピクセル数を示す。“ｗｉ”は、横ピクセル数を示す。“ｃｈｉ”は、チャンネル数を示す。第ｉ層の平均値の数は、“ｃｈｉ”個となる。そして、全層の全チャンネルの平均値の数は、（ｃｈ１＋ｃｈ２＋・・・＋ｃｈＮ）個となる。すなわち、１つの画像当たりの平均値の数は、（ｃｈ１＋ｃｈ２＋・・・＋ｃｈＮ）個となる。そのため、全画像の平均値の数は、“（ｃｈ１＋ｃｈ２＋・・・＋ｃｈＮ）×全画像数”個となる。
“（ｃｈ１＋ｃｈ２＋・・・＋ｃｈＮ）×全画像数”個のデータを用いて、主成分分析が、行われる。

（ステップＳ１４）特徴マップが出力される対象の畳み込み層が、選択される。詳細に、処理を説明する。主成分分析により、各主成分軸に変換する各チャンネルの変換係数が、得られる。変換係数は、各主成分軸に対する寄与度を表す。言い換えれば、寄与度は、主成分に寄与する度合いである。各主成分軸に対する寄与度のイメージ図を示す。

図５は、実施の形態１の各主成分軸に対する寄与度のイメージ図である。
主成分軸毎に、寄与度（すなわち、変換係数の絶対値）の小さい順にインクリメント番号が、割り当てられる。インクリメント番号の割り当てのイメージ図を示す。

図６は、実施の形態１のインクリメント番号の割り当てのイメージ図である。第１～ｉ主成分では、インクリメント番号が所属する畳み込み層毎に、合計値が算出される。そして、合計値が、チャンネル数で除算される。これにより、畳み込み層の寄与度平均値が、得られる。

図７は、実施の形態１の各層の寄与度のイメージ図である。
寄与度平均値に基づいて、寄与度の高い畳み込み層が、特徴マップが出力される対象に選択される。
そして、例えば、特徴マップが出力される対象の畳み込み層を示す情報が、予め記憶部１１０に格納される。特徴マップ生成部１３０では、当該情報に基づいて、対象の畳み込み層から特徴マップが、出力される。

このように、特徴マップ生成部１３０は、複数の畳み込み層のうち、予め定められた複数の畳み込み層から、画像１０に基づく複数の特徴マップを出力する。予め定められた複数の畳み込み層（すなわち、当該情報が示す対象の複数の畳み込み層）のそれぞれは、多くの特徴量を示す特徴マップを出力する層である。

以下の説明では、３つの特徴マップが出力されるものとする。３つの特徴マップは、特徴マップ１３０ｏｕｔ１，１３０ｏｕｔ２，１３０ｏｕｔ３である。

ここで、入力層に近い畳み込み層から出力される特徴マップは、次の性質を有する。解像度が、高い。特徴の種類を示すチャンネル数が少ないため、画像のエッジ、テクスチャなどのようなプリミティブな特徴が、高解像度で得られる。一方、入力層から遠い畳み込み層から出力される特徴マップは、次の性質を有する。解像度が、低い。当該特徴マップは、チャンネル数が多いため、画像全体を俯瞰した高いレベルの多彩な特徴量を有している。当該特徴マップは、画像内の物体を特定できるような情報を有している。

図２に戻って、リサイズ部１４０を説明する。
リサイズ部１４０は、３つの特徴マップのそれぞれの画像サイズが異なるため、３つの特徴マップのサイズを同じサイズにリサイズする。具体例には、リサイズ部１４０は、ｈ４×ｗ４のサイズに、３つの特徴マップをリサイズする。或いは、いずれかの特徴マップのサイズにリサイズする場合、リサイズ部１４０は、２つの特徴マップをリサイズしてもよい。

結合部１５０は、リサイズされた複数の特徴マップをチャンネル方向に結合する。これにより、結合することにより得られた特徴マップ１５０ｏｕｔが、出力される。また、特徴マップ１５０ｏｕｔのチャンネル数は、ｃｈ４（ｃｈ４＝ｃｈ１、ｃｈ２、及びｃｈ３）となる。

検出生成部１６０は、特徴マップ１５０ｏｕｔに基づいて、異常度を検出する。詳細には、検出生成部１６０は、特徴マップ１５０ｏｕｔの各微小領域の異常度を検出する。ここで、出力される特徴マップの数が１つである場合、情報処理装置１００は、リサイズ部１４０及び結合部１５０を有さない。情報処理装置１００がリサイズ部１４０及び結合部１５０を有さない場合、検出生成部１６０は、特徴マップ１３０ｏｕｔに基づいて、異常度を検出する。詳細には、検出生成部１６０は、特徴マップ１３０ｏｕｔの各微小領域の異常度を検出する。
検出生成部１６０は、異常度に基づいて、異常箇所抽出画像１６０ｏｕｔを生成する。異常箇所抽出画像１６０ｏｕｔは、特徴マップと同一サイズである。異常箇所抽出画像１６０ｏｕｔは、ヒートマップの画像である。例えば、異常箇所抽出画像１６０ｏｕｔのうち、異常度が低い領域は、青色である。異常箇所抽出画像１６０ｏｕｔのうち、異常度が高い領域は、赤色である。

検出生成部１６０を詳細に説明する。検出生成部１６０は、正常品の画像を用いて、正常品の特徴空間の分布を学習している。検出生成部１６０は、特徴マップ１５０ｏｕｔに基づいて、正常空間からの逸脱度を、異常度として検出する。なお、正常空間は、正常品の特徴量によって表現される空間である。検出処理は、特徴マップ１５０ｏｕｔの微小ブロック単位で行われる。微小ブロック単位は、１ピクセル単位でもよいし、複数のピクセル単位でもよい。検出処理を詳細に説明する。まず、特徴量で示される正常品の分布図を示す。

図８は、実施の形態１の正常品の分布図である。図８は、各正常品の特徴量を２次元で示している。正常品の分布をガウス分布と想定したとき、平均と分散を用いて、正常品の特徴空間が、マハラノビス距離で把握することができる。

検出生成部１６０は、特徴マップ１５０ｏｕｔの特徴量に基づいて、マハラノビス距離を算出する。検出生成部１６０は、算出されたマハラノビス距離に基づいて、正常品としての逸脱度を、異常度として検出する。例えば、正常品の特徴量を２次元で表した点が、点Ａである場合、マハラノビス距離は、小さい。そのため、小さい値の異常度が、検出される。例えば、異常品の特徴量を２次元で表した点が、点Ｂである場合、マハラノビス距離は、大きい。そのため、大きい値の異常度が、検出される。検出生成部１６０は、特徴マップ１５０ｏｕｔの微小ブロック単位で異常度を検出する。検出生成部１６０は、異常度に基づいて、異常箇所抽出画像１６０ｏｕｔを生成する。異常箇所抽出画像１６０ｏｕｔは、ｈ４×ｗ４×１のサイズである。

また、検出生成部１６０は、オートエンコーダで正常品を含む画像から自己画像を再構成するように学習していてもよい。検出生成部１６０は、検査時に、再構成画像と、画像１０との差を、微小ブロックごとに算出してもよい。検出生成部１６０は、当該差を、微小ブロックの異常度とする。そして、検出生成部１６０は、異常度に基づいて、異常箇所抽出画像１６０ｏｕｔを生成する。

アテンションマップ生成部１７０は、リサイズされた複数の特徴マップのうちのいずれか１つの特徴マップに基づいて、アテンションマップ１７０ｏｕｔを生成する。例えば、図２は、特徴マップ生成部１３０の最も深い層から出力された特徴マップ１３０ｏｕｔ３がリサイズ部１４０でリサイズされることにより得られた特徴マップが、アテンションマップ生成部１７０に入力されることを示している。なお、情報処理装置１００がリサイズ部１４０及び結合部１５０を有さない場合、アテンションマップ生成部１７０は、特徴マップ１３０ｏｕｔに基づいて、アテンションマップ１７０ｏｕｔを生成する。アテンションマップ１７０ｏｕｔは、ｈ４×ｗ４×１のサイズである。アテンションマップ１７０ｏｕｔは、注目領域を含むヒートマップである。なお、注目領域は、検査対象品又は検査対象品の検査対象部位若しくは傷などの異常箇所を示す領域である。

アテンションマップ生成部１７０を、図を用いて、詳細に説明する。
図９は、実施の形態１のアテンションマップ生成部と分類予測部との機能を示すブロック図である。
アテンションマップ生成部１７０は、特許文献２に記載されているような、複数の層を有するニューラルネットワークである。アテンションマップ生成部１７０に入力されるデータは、図９ではｗ×ｈ×ｃｈのサイズである。ｗ、ｈ、ｃｈの値は、接続される前段の値と同一である。図２に示す構成では、ｗがｗ４、ｈがｈ４、ｃがｃｈ４になる。
アテンションマップ生成部１７０は、１つ以上の畳み込み層又は１つ以上の残差ブロックを有するＣｏｎｖ部１７１、及びｃｈ×１×１×２のＣｏｎｖ部１７２を有する。なお、ｃｈ×１×１×２は、ｃｈ個のチャンネルそれぞれについて、１×１の畳み込みカーネルを用いた畳み込み処理を２つ有するという意味である。そのため、Ｃｏｎｖ部１７２は、ｗ×ｈ×２を出力する。

また、アテンションマップ生成部１７０は、２×１×１×１のＣｏｎｖ部１７３、及びＳｉｇｍｏｉｄ部１７４を有する。
リサイズ部１４０から出力された特徴マップのうちいずれかの特徴マップが、Ｃｏｎｖ部１７１、Ｃｏｎｖ部１７２、Ｃｏｎｖ部１７３、及びＳｉｇｍｏｉｄ部１７４を経由することで、アテンションマップ１７０ｏｕｔが、生成される。
なお、ｗ×ｈ×２が、Ｃｏｎｖ部１７２から分類予測部２１０に、出力される。当該出力の処理は、アテンションマップ生成部１７０の学習時に行われる。

重み付け生成部１８０は、アテンションマップ１７０ｏｕｔが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けられた重み付き異常箇所抽出画像１８０ｏｕｔを生成する。言い換えれば、重み付け生成部１８０は、アテンションマップ１７０ｏｕｔが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けることにより得られる重み付き異常箇所抽出画像１８０ｏｕｔを生成する。

判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔのうち、重み付けされた画像領域を判定対象領域として、検査対象品が異常であるか否かを判定する。例えば、判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔの最大の画素値と予め設定された閾値とを比較する。判定部１９０は、最大の画素値が当該閾値を超える場合、検査対象品が異常であると判定する。また、判定部１９０は、検査対象部位が異常と判定した場合、検査対象品が異常であると判定する。
また、異常判定処理では、注目領域が重みにより強調されているので、異常判定の精度が、向上する。

ここで、判定部１９０は、次のような機能を有してもよい。
図１０は、実施の形態１の判定部の機能を示すブロック図である。判定部１９０は、全結合層１９１とｓｏｆｔｍａｘ１９２とを有する。
全結合層１９１は、ニューラルネットワークで構成される。全結合層１９１の学習時では、学習パラメータとして、ｈ４×ｗ４×２の重みと２つのバイアスが、用いられる。当該重みと２つのバイアスは、最終的に学習により、決定される。また、学習時における教師データとして、正常品を含む画像、異常品を含む画像、及び正解分類ラベルが、用いられる。

全結合層１９１には、重み付き異常箇所抽出画像１８０ｏｕｔ（ｈ４×ｗ４×１）が入力される。全結合層１９１は、正常又は異常に関する情報をｓｏｆｔｍａｘ１９２に出力する。ｓｏｆｔｍａｘ１９２は、正常又は異常に関する情報に基づいて、正常又は異常の確率を算出し、当該確率に基づいて、検査対象品が異常であるか否かを判定する。

表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔをヒートマップとして、重み付き異常箇所抽出画像１８０ｏｕｔを画像１０に重畳し、重畳により得られた画像を表示するための制御を実行する。例えば、表示制御部２００は、当該画像と、当該画像の表示指示を情報処理装置１００のディスプレイに送信する。これにより、当該ディスプレイは、当該画像を表示する。なお、当該画像では、異常度が高い微小ブロックの画素が、赤色で表示される。また、異常度が低い微小ブロックの画素が、青色で表示される。これにより、異常箇所が、可視化される。

ここで、検出生成部１６０、アテンションマップ生成部１７０、及び判定部１９０の学習について説明する。
図１１は、実施の形態１の学習処理の例を示すフローチャートである。
（ステップＳ２１）検出生成部１６０の学習が、行われる。検出生成部１６０の学習を詳細に説明する。

特徴マップ生成部１３０は、正常品を含む画像に基づいて、特徴マップ１３０ｏｕｔを出力する。ここで、学習時における特徴マップ生成部１３０は、ＲｅｓＮｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔなどの複数の畳み込み層を有するニューラルネットワークである。学習時における特徴マップ生成部１３０は、事前に一般画像で十分に学習された学習済みモデルである。学習時における特徴マップ生成部１３０は、検査対象品を含む画像で学習していなくてもよい。

リサイズ部１４０は、特徴マップ１３０ｏｕｔをリサイズする。
結合部１５０は、リサイズされた特徴マップをチャンネル方向に結合する。これにより、特徴マップ１５０ｏｕｔが、得られる。
特徴マップ１５０ｏｕｔに基づいてマハラノビス距離が算出され、マハラノビス距離に基づいて異常度が検出されるように、学習が、行われる。これにより、検出生成部１６０は、異常度を検出することができる。

（ステップＳ２２）アテンションマップ生成部１７０及び判定部１９０の学習が、行われる。ここで、ステップＳ２２の詳細な処理は、図９を参照しながら説明する。
まず、学習済の特徴マップ生成部１３０と検出生成部１６０とが、用いられる。
リサイズされた複数の特徴マップのうちのいずれか１つの特徴マップが、アテンションマップ生成部１７０に入力される。入力された特徴マップが、Ｃｏｎｖ部１７１、Ｃｏｎｖ部１７２を経由する。ｗ×ｈ×２が、Ｃｏｎｖ部１７２から分類予測部２１０に、出力される。

分類予測部２１０は、Ｃｏｎｖ部２１１、ＧＡＰ層２１２、及びｓｏｆｔｍａｘ部２１３を有する。
なお、Ｃｏｎｖ部２１１は、複数の畳込み層で構成される。例えば、Ｃｏｎｖ部２１１は、特徴マップ生成部１３０で特徴マップを出力した層以降の層から最終層までの構造である。
教師データとして、正常品を含む画像、及び異常品を含む画像が、用いられる。これらの画像の例を示す。

図１２（Ａ）～（Ｃ）は、実施の形態１の教師データの例を示す図（その１）である。図１２（Ａ）は、正常品を含む画像である。図１２（Ｂ）は、検査対象品の一部が欠損していることを示している。図１２（Ｃ）は、検査対象品の一部に傷が存在していることを示している。そのため、図１２（Ｂ），（Ｃ）は、異常品を含む画像である。教師データには、正常品又は異常品の分類ラベルが付される。
分類予測部２１０は、教師データを用いて、検査対象品が正常品であるか異常品であるか、分類予測を行う。

分類予測と並行して、アテンションマップ１７０ｏｕｔを用いて、重み付き異常箇所抽出画像１８０ｏｕｔが生成される。そして、判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔに基づいて、検査対象品が異常であるか否かを判定する。
２か所の学習誤差が、それぞれ異常分類損失２、異常分類損失１と定義された場合、損失関数は、式（１）のように表現される。

損失関数=異常分類損失１＋異常分類損失２ …（１）

そして、アテンションマップ生成部１７０のＣｏｎｖ部１７１、Ｃｏｎｖ部１７２、Ｃｏｎｖ部１７３、及び判定部１９０の全結合層１９１が、誤差逆伝搬法により、学習される。

また、教師データには、次のような画像が含まれてもよい。
図１３（Ａ）～（Ｃ）は、実施の形態１の教師データの例を示す図（その２）である。図１３（Ａ）は、検査対象品の検査対象箇所が存在する画像である。図１３（Ｂ）は、検査対象箇所の側面部分が無い画像である。当該画像は、加工により得ることができる。図１３（Ｃ）は、検査対象品が存在しない画像である。そのため、図１３（Ｂ），（Ｃ）は、検査対象箇所が存在しない画像である。また、教師データには、分類ラベルが付される。

アテンションマップ生成部１７０及び判定部１９０が、このような教師データを用いて、学習されてもよい。
１つの学習データ（すなわち、画像）に対して、検査対象箇所有り又は無しの分類ラベルと、正常品又は異常品の分類ラベルとの２種類の分類ラベルが、用いられる。２種類の分類ラベルが、用いられる場合、損失関数は、式（２）のように表現される。

損失関数=異常分類損失１＋検査対象箇所有無分類損失 …（２）

そして、アテンションマップ生成部１７０のＣｏｎｖ部１７１、Ｃｏｎｖ部１７２、Ｃｏｎｖ部１７３、及び判定部１９０の全結合層１９１が、誤差逆伝搬法により、学習される。
このように、検出生成部１６０、アテンションマップ生成部１７０、判定部１９０は、学習される。

実施の形態１によれば、情報処理装置１００は、アテンションマップ１７０ｏｕｔが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けることで、検査対象領域又は検査対象部位を強調する。重み付け後の検査対象品以外の領域又は検査対象部位以外の領域の画素値は、検査対象領域の画素値に対して相対的に小さい。そのため、検査対象品以外の領域又は検査対象部位以外の領域がマスクされる効果が得られる。そのため、情報処理装置１００は、検査対象品を判定する際、学習時にはなかった背景パターンなどの影響を受けずに、判定を行う。つまり、情報処理装置１００は、重み付けされた画像領域に対して、判定を行う。そのため、情報処理装置１００は、誤判定を抑制できる。そして、情報処理装置１００は、高精度な判定を行うことができる。

また、アテンションマップ生成部１７０は、複数の畳み込み層のうち、最も深い層から出力された特徴マップがリサイズされた特徴マップに基づいて、アテンションマップを生成してもよい。最も深い層から出力された特徴マップは、広い領域の特徴を示す特徴マップである。当該特徴マップに基づいて生成された当該アテンションマップが用いられることにより、検査対象品以外の領域又は検査対象部位以外の領域がマスクされる効果が高くなる。

アテンションマップ生成部１７０が学習されるとき、欠損、傷などを含む画像が、学習データとして用いられる。そのため、アテンションマップ１７０ｏｕｔでは、欠損、傷などの異常箇所が、注目領域とされる。そして、情報処理装置１００は、注目領域に対応する画像領域に重みを付ける。これにより、異常箇所が、強調される。そのため、情報処理装置１００は、容易に、異常箇所を含む検査対象品を異常品と判定できる。

特徴マップ生成部１３０は、予め決められた層から、特徴マップを出力する。出力される特徴マップは、効果がある特徴マップである。よって、情報処理装置１００は、効果がある特徴マップ１３０ｏｕｔを得ることができる。

表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔを画像１０に重畳することにより得られる画像を生成する。当該画像は、可視化された画像である。表示制御部２００は、情報処理装置１００のディスプレイに当該画像を表示する。これにより、ユーザは、異常箇所を容易に認識できる。

実施の形態２．
次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。

図１４は、実施の形態２の情報処理装置の機能を示すブロック図である。図１４では、画像１０、記憶部１１０、及び取得部１２０が、省略されている。
情報処理装置１００は、アテンションマップ生成部１７０ａ，１７０ｂ，１７０ｃ、及びリサイズ結合部２２０を有する。

アテンションマップ生成部１７０ａは、特徴マップ１３０ｏｕｔ１に基づいて、アテンションマップを生成する。ここで、特徴マップ１３０ｏｕｔ１は、入力層に近い畳み込み層から出力された特徴マップである。そのため、当該アテンションマップは、局所的な特徴を高解像度で表現したアテンションマップである。当該アテンションマップを用いることで、微小な傷、欠損箇所などが、注目領域とされる。当該アテンションマップは、ｈ１×ｗ１×１で表される。

アテンションマップ生成部１７０ｂは、特徴マップ１３０ｏｕｔ２に基づいて、アテンションマップを生成する。当該アテンションマップは、ｈ２×ｗ２×１で表される。

アテンションマップ生成部１７０ｃは、特徴マップ１３０ｏｕｔ３に基づいて、アテンションマップを生成する。ここで、特徴マップ１３０ｏｕｔ３は、入力層から遠い畳み込み層から出力される特徴マップである。特徴マップ１３０ｏｕｔ３は、画像全体を俯瞰した高いレベルの多彩な特徴量を有している。そのため、当該アテンションマップを用いることで、検査対象品又は検査対象領域のような大きな領域が、注目領域とされる。当該アテンションマップは、ｈ３×ｗ３×１で表される。
このように、３つのアテンションマップが、生成される。３つのアテンションマップのそれぞれは、注目領域を含むヒートマップである。

上記では、アテンションマップ生成部の数が３つである場合を説明した。アテンションマップ生成部の数は、１つでもよい。そして、１つのアテンションマップ生成部（例えば、アテンションマップ生成部１７０）は、３つの特徴マップに基づいて、３つのアテンションマップを生成してもよい。

次に、リサイズ結合部２２０の機能を説明する。
図１５は、実施の形態２のリサイズ結合部の機能を示すブロック図である。リサイズ結合部２２０は、リサイズ部２２１と結合部２２２とを有する。リサイズ部２２１は、第２のリサイズ部とも言う。結合部２２２は、第２の結合部とも言う。

リサイズ部２２１は、３つのアテンションマップのそれぞれのサイズが異なるため、３つのアテンションマップを同じサイズにリサイズする。リサイズされたアテンションマップは、ｈ４×ｗ４×１で表される。

結合部２２２は、リサイズされた３つのアテンションマップを結合する。結合部２２２を詳細に説明する。結合部２２２は、Ｃｏｎｖ部２２２ａ，２２２ｂ，２２２ｃ、及び結合部２２２ｄを有する。

Ｃｏｎｖ部２２２ａ，２２２ｂ，２２２ｃは、１×１の畳み込み処理を行う。なお、畳み込み処理の際のストライドを１とすることで、入力されるアテンションマップと同じサイズのアテンションマップが、出力される。

結合部２２２ｄは、３つのアテンションマップを結合する。詳細には、結合部２２２ｄは、各アテンションマップの画素値を画素単位で足し合わせ、アテンションマップ内における画素の最大値が２５５になるように正規化を行う。これにより、結合することにより得られたアテンションマップである結合アテンションマップ２２０ｏｕｔが、出力される。

重み付け生成部１８０は、結合アテンションマップ２２０ｏｕｔが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けられた重み付き異常箇所抽出画像１８０ｏｕｔを生成する。
実施の形態２における判定部１９０と表示制御部２００との処理は、実施の形態１と同じなので、説明を省略する。

ここで、学習時では、アテンションマップ生成部１７０ａ，１７０ｂ，１７０ｃのそれぞれに対応する分類予測部が、存在する。各分類予測部は、実施の形態１と同様に、学習する。損失関数を用いる点、及び判定部１９０と合わせて同時に学習する点も実施の形態１と同じである。また、入力層に近い畳み込み層から出力された特徴マップを用いるアテンションマップ生成部の学習は、局所的特徴を高解像度で捉えやすいので、正常品、異常品の分類用教師データを用いて、行われてもよい。一方、入力層から遠い畳み込み層から出力された特徴マップを用いるアテンションマップ生成部の学習は、画像全体を俯瞰して注目領域を捉えやすいので、検査対象箇所の有無を示す教師データを用いて、行われてもよい。このように学習を行うことで、微小傷などの細かく弱い異常特徴を有する異常箇所、及び検査対象箇所領域、又は検査対象品領域のような大きな領域を注目領域とする結合アテンションマップ２２０ｏｕｔが、生成可能になる。

また、入力層に近い畳み込み層から出力された特徴マップを用いるアテンションマップ生成部の学習は、検査対象箇所の有無を示す教師データを用いて、行われてもよい。このように学習を行うことで、検査対象領域又は検査対象品を高解像度で注目領域とする結合アテンションマップ２２０ｏｕｔが、生成可能になる。

実施の形態２によれば、情報処理装置１００は、微小傷などの細かく弱い異常特徴を有する異常箇所、及び検査対象箇所領域、又は検査対象品領域のような大きな領域を注目領域とする結合アテンションマップ２２０ｏｕｔを生成する。このように、情報処理装置１００は、異なる性質が融合された結合アテンションマップ２２０ｏｕｔを生成する。そのため、情報処理装置１００は、様々な観点から検査対象品を判定できる。なお、どのアテンションマップをどのくらいの割合で融合させるかは、学習フェーズで調整される。

また、情報処理装置１００は、検査対象領域又は検査対象品を高解像度で注目領域とする結合アテンションマップ２２０ｏｕｔすることもできる。

実施の形態３．
次に、実施の形態３を説明する。実施の形態３では、実施の形態２と相違する事項を主に説明する。そして、実施の形態３では、実施の形態２と共通する事項の説明を省略する。

図１６は、実施の形態３の情報処理装置の機能を示すブロック図である。図１６では、画像１０、記憶部１１０、及び取得部１２０が、省略されている。
情報処理装置１００は、重み付け生成部１８０ａ，１８０ｂ，１８０ｃ、及びリサイズ部２３０を有する。

リサイズ部２３０は、リサイズ部２２１と同じ機能を有する。リサイズ部２３０は、３つのアテンションマップのそれぞれのサイズが異なるため、３つのアテンションマップを同じサイズにリサイズする。リサイズされたアテンションマップは、ｈ４ｘｗ４×１で表される。ここで、リサイズ部２３０は、第２のリサイズ部とも言う。

重み付け生成部１８０ａは、アテンションマップ生成部１７０ａにより生成され、かつリサイズされたアテンションマップが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けられた重み付き異常箇所抽出画像１８０ｏｕｔ１を生成する。
重み付け生成部１８０ｂは、アテンションマップ生成部１７０ｂにより生成され、かつリサイズされたアテンションマップが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けられた重み付き異常箇所抽出画像１８０ｏｕｔ２を生成する。
重み付け生成部１８０ｃは、アテンションマップ生成部１７０ｃにより生成され、かつリサイズされたアテンションマップが示す注目領域に対応する異常箇所抽出画像１６０ｏｕｔの画像領域に、重みを付けられた重み付き異常箇所抽出画像１８０ｏｕｔ３を生成する。

上記では、３つの重み付け生成部が、３つの重み付き異常箇所抽出画像を生成する場合を説明した。１つの重み付け生成部が、３つの重み付き異常箇所抽出画像を生成してもよい。例えば、１つの重み付け生成部（例えば、重み付け生成部１８０）は、リサイズされたアテンションマップ毎に、リサイズされたアテンションマップが示す注目領域に対応する異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成する。

判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔ１のうち、重み付けされた画像領域を判定対象領域として、検査対象品が異常であるか否かを判定する。
判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔ２のうち、重み付けされた画像領域を判定対象領域として、検査対象品が異常であるか否かを判定する。
判定部１９０は、重み付き異常箇所抽出画像１８０ｏｕｔ３のうち、重み付けされた画像領域を判定対象領域として、検査対象品が異常であるか否かを判定する。

ここで、判定部１９０は、次のような機能を有してもよい。
図１７は、実施の形態３の判定部の機能を示すブロック図である。判定部１９０は、ＲｅＬＵ部１９３、Ｍａｘｐｏｏｌ部１９４、ｆｃ２部１９５、及びｓｏｆｔｍａｘ部１９６を有する。

ＲｅＬＵ部１９３に対する入力サイズは、ｗ４×ｈ４×Ｎである。Ｎは、重み付き異常箇所抽出画像の数である。図１６の例の場合、Ｎは、３である。
Ｍａｘｐｏｏｌ部１９４では、重み付き異常箇所抽出画像のそれぞれの最大画素値が、画像の代表として出力される。出力される情報は、１×１×Ｎ個の情報と表現される。
出力された情報が、ｆｃ２部１９５、及びｓｏｆｔｍａｘ部１９６を経由することで、正常クラス及び異常クラスの確率値が、出力される。確率値が高い方の分類クラスが、判定結果として出力される。

表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔ１を画像１０に重畳することにより得られる画像を生成する。表示制御部２００は、情報処理装置１００のディスプレイに当該画像を表示する。
表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔ２を画像１０に重畳することにより得られる画像を生成する。表示制御部２００は、情報処理装置１００のディスプレイに当該画像を表示する。
表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔ３を画像１０に重畳することにより得られる画像を生成する。表示制御部２００は、情報処理装置１００のディスプレイに当該画像を表示する。

表示制御部２００は、重み付き異常箇所抽出画像１８０ｏｕｔ１，１８０ｏｕｔ２，１８０ｏｕｔ３を画像１０に重畳することにより得られる画像を生成してもよい。なお、重み付き異常箇所抽出画像のそれぞれの重畳比率は、ユーザによって設定されてもよい。

アテンションマップ生成部１７０、及び判定部１９０の学習方法は、実施の形態２に記載された内容と同様に行われる。

実施の形態３によれば、情報処理装置１００は、アテンションマップ生成部１７０ａ～１７０ｃのそれぞれにより生成され、かつリサイズされたアテンションマップに基づいた判定を行うことができる。

実施の形態４．
次に、実施の形態４を説明する。実施の形態４では、実施の形態１と相違する事項を主に説明する。そして、実施の形態４では、実施の形態１と共通する事項の説明を省略する。

図１８は、実施の形態４の情報処理装置の機能を示すブロック図である。情報処理装置１００は、検出生成部２４０及びマスク処理部２５０を有する。
実施の形態４の情報処理装置１００は、アテンションマップ生成部１７０及び重み付け生成部１８０を有していない。

検出生成部２４０及びマスク処理部２５０を詳細に説明する。
図１９は、実施の形態４の検出生成部の機能を説明するための図である。検出生成部２４０は、検出部２４１及びマスク情報生成部２４２を有する。
検出部２４１は、画像１０に基づいて、検査対象品又は検査対象品の検索対象部位を検出する。例えば、検出部２４１は、Ｙｏｌｏｖ２、Ｙｏｌｏｖ３、又はＹｏｌｏｖ４を用いて、検査対象品又は当該検索対象部位を検出する。検出部２４１は、次のような教師データを用いて、学習されてもよい。

図２０は、実施の形態４の教師データの例を示す図である。図２０は、教師データである画像２０を示している。画像２０は、検査対象品を含む画像である。検索対象部位には、矩形バウンディングボックス（ＢＢＯＸ）が、ラベリングされる。検出部２４１は、画像２０を用いて学習を行った場合、検索対象部位を検出できる。

マスク情報生成部２４２は、画像１０のうち、検査対象品以外の領域又は検索対象部位以外の領域をマスクさせるための情報であるマスク情報を生成する。具体的には、マスク情報は、検査対象品の領域又は検索対象部位の領域に対する重みが“１”であることを示す。また、マスク情報は、検査対象品以外の領域又は検索対象部位以外の領域に対する重みが“０”であることを示す。

マスク処理部２５０は、マスク情報に基づいて、画像１０のうち、検査対象品以外の領域又は検索対象部位以外の領域をマスクする。詳細には、マスク処理部２５０は、検査対象品の領域又は検索対象部位の領域の画素値に重み“１”を乗算する。マスク処理部２５０は、検査対象品以外の領域又は検索対象部位の領域以外の画素値に重み“０”を乗算する。これにより、検査対象品以外の領域又は検索対象部位以外の領域が、マスクされる。

図１８に戻って、処理を説明する。
特徴マップ生成部１３０は、マスクされた画像１０に基づいて、特徴マップを生成する。これにより、特徴マップ１３０ｏｕｔが、出力される。
リサイズ部１４０は、複数の特徴マップのサイズを同じサイズにリサイズする。リサイズされた特徴マップのサイズは、ｈ４×ｗ４のサイズである。
結合部１５０は、リサイズされた複数の特徴マップをチャンネル方向に結合する。これにより、結合することにより得られた特徴マップ１５０ｏｕｔが、出力される。また、特徴マップ１５０ｏｕｔのチャンネル数は、ｃｈ４（ｃｈ４＝ｃｈ１、ｃｈ２、及びｃｈ３）となる。

検出生成部１６０は、特徴マップ１５０ｏｕｔに基づいて、異常度を検出する。検出生成部１６０は、異常度に基づいて、異常箇所抽出画像１６０ｏｕｔを生成する。
判定部１９０は、異常箇所抽出画像１６０ｏｕｔに基づいて、検査対象品が異常であるか否かを判定する。例えば、判定部１９０は、異常箇所抽出画像１６０ｏｕｔの最大の画素値と予め設定された閾値とを比較する。判定部１９０は、最大の画素値が当該閾値を超える場合、検査対象品が異常であると判定する。また、判定部１９０は、図１０に示す機能を用いて、検査対象品が異常であるか否かを判定してもよい。

表示制御部２００は、異常箇所抽出画像１６０ｏｕｔを画素値に応じた色に変える。これにより、異常箇所抽出画像１６０ｏｕｔは、ヒートマップのようになる。表示制御部２００は、異常箇所抽出画像１６０ｏｕｔを画像１０に重畳し、重畳により得られた画像を表示するための制御を実行する。

なお、出力される特徴マップの数が１つである場合、情報処理装置１００は、リサイズ部１４０及び結合部１５０を有さない。情報処理装置１００がリサイズ部１４０及び結合部１５０を有さない場合、検出生成部１６０は、特徴マップ１３０ｏｕｔに基づいて、異常度を検出する。

ここで、検出生成部１６０、検出部２４１、及び判定部１９０の学習について説明する。また、判定部１９０が図１０に示す機能を有する場合、学習が、行われる。
図２１は、実施の形態４の学習処理の例を示すフローチャートである。
（ステップＳ３１）検出生成部１６０の学習が、行われる。
（ステップＳ３２）検出部２４１の学習が、行われる。
（ステップＳ３３）判定部１９０の学習が、行われる。判定部１９０の学習では、学習済の検出生成部１６０と検出部２４１と用いて、判定部１９０の学習が、行われる。
また、ステップＳ３１は、ステップＳ３２の後に実行されてもよい。

実施の形態４によれば、情報処理装置１００は、検査対象品以外の領域又は検索対象部位以外の領域がマスクされている異常箇所抽出画像１６０ｏｕｔを用いて、判定を行う。そのため、情報処理装置１００は、誤判定を抑制できる。そして、情報処理装置１００は、高精度な判定を行うことができる。

また、検出部２４１の学習は、比較的短時間で終わらせることができる。特徴マップ生成部１３０、検出生成部１６０、及び判定部１９０は、比較的小さいメモリで、少ない処理負荷で実施する。そのため、情報処理装置１００は、安価なハードウェアで実現できる。

実施の形態５．
次に、実施の形態５を説明する。実施の形態５では、実施の形態１と相違する事項を主に説明する。そして、実施の形態５では、実施の形態１と共通する事項の説明を省略する。

図２２は、実施の形態５の情報処理装置の機能を示すブロック図である。情報処理装置１００は、検出部２６０及び画像生成部２７０を有する。なお、実施の形態５の情報処理装置１００は、アテンションマップ生成部１７０及び重み付け生成部１８０を有していない。

検出部２６０は、画像１０に基づいて、検査対象品又は検査対象品の検索対象部位を検出する。例えば、検出部２６０は、Ｙｏｌｏｖ２、Ｙｏｌｏｖ３、又はＹｏｌｏｖ４を用いて、検査対象品又は当該検索対象部位を検出する。検出部２６０は、検出部２４１と同じように、学習されてもよい。

画像生成部２７０は、検出された検査対象品を示す情報又は検索対象部位を示す情報と、画像１０とに基づいて、画像１０の中から、検査対象品以外の領域又は検索対象部位以外の領域を除外することにより得られた画像である検査対象画像を生成する。これにより、検査対象品又は検索対象部位のみが存在する画像が、生成される。

特徴マップ生成部１３０は、検査対象画像に基づいて、特徴マップを生成する。これにより、特徴マップ１３０ｏｕｔが、出力される。
リサイズ部１４０は、複数の特徴マップのサイズを同じサイズにリサイズする。リサイズされた特徴マップのサイズは、ｈ４×ｗ４のサイズである。
結合部１５０は、リサイズされた複数の特徴マップをチャンネル方向に結合する。これにより、結合することにより得られた特徴マップ１５０ｏｕｔが、出力される。また、特徴マップ１５０ｏｕｔのチャンネル数は、ｃｈ４（ｃｈ４＝ｃｈ１、ｃｈ２、及びｃｈ３）となる。

ここで、検出生成部１６０、検出部２６０、及び判定部１９０の学習について説明する。また、判定部１９０が図１０に示す機能を有する場合、学習が、行われる。
図２３は、実施の形態５の学習処理の例を示すフローチャートである。
（ステップＳ４１）検出生成部１６０の学習が、行われる。
（ステップＳ４２）検出部２６０の学習が、行われる。
（ステップＳ４３）判定部１９０の学習が、行われる。判定部１９０の学習では、学習済の検出生成部１６０と検出部２６０と用いて、判定部１９０の学習が、行われる。
また、ステップＳ４１は、ステップＳ４２の後に実行されてもよい。

実施の形態５によれば、情報処理装置１００は、検査対象品以外の領域又は検索対象部位以外の領域が除去されている異常箇所抽出画像１６０ｏｕｔを用いて、判定を行う。そのため、情報処理装置１００は、誤判定を抑制できる。そして、情報処理装置１００は、高精度な判定を行うことができる。
また、検査対象画像には、検査対象品又は検索対象部位のみが存在する。そのため、情報処理装置１００は、検査対象画像の画像サイズを小さくしてもよい。画像サイズが小さくされた場合、特徴マップ生成部１３０の処理よりも後に行われる処理の負荷が、軽減される。

また、検出部２６０の学習は、比較的短時間で終わらせることができる。特徴マップ生成部１３０、検出生成部１６０、及び判定部１９０は、比較的小さいメモリで、少ない処理負荷で実施する。そのため、情報処理装置１００は、安価なハードウェアで実現できる。

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。

１０画像、２０画像、１００情報処理装置、１０１プロセッサ、１０２揮発性記憶装置、１０３不揮発性記憶装置、１１０記憶部、１２０取得部、１３０特徴マップ生成部、１３０ｏｕｔ，１３０ｏｕｔ１，１３０ｏｕｔ２，１３０ｏｕｔ３特徴マップ、１４０リサイズ部、１５０結合部、１５０ｏｕｔ特徴マップ、１６０検出生成部、１６０ｏｕｔ異常箇所抽出画像、１７０，１７０ａ，１７０ｂ，１７０ｃアテンションマップ生成部、１７０ｏｕｔアテンションマップ、１７１Ｃｏｎｖ部、１７２Ｃｏｎｖ部、１７３Ｃｏｎｖ部、１７４Ｓｉｇｍｏｉｄ部、１８０，１８０ａ，１８０ｂ，１８０ｃ重み付け生成部、１８０ｏｕｔ，１８０ｏｕｔ１，１８０ｏｕｔ２，１８０ｏｕｔ３重み付き異常箇所抽出画像、１９０判定部、１９１全結合層、１９２ｓｏｆｔｍａｘ、１９３ＲｅＬＵ部、１９４Ｍａｘｐｏｏｌ部、１９５ｆｃ２部、１９６ｓｏｆｔｍａｘ部、２００表示制御部、２１０分類予測部、２１１Ｃｏｎｖ部、２１２ＧＡＰ層、２１３ｓｏｆｔｍａｘ部、２２０リサイズ結合部、２２０ｏｕｔ結合アテンションマップ、２２１リサイズ部、２２２結合部、２２２ａ，２２２ｂ，２２２ｃＣｏｎｖ部、２２２ｄ結合部、２３０リサイズ部、２４０検出生成部、２４１検出部、２４２マスク情報生成部、２５０マスク処理部、２６０検出部、２７０画像生成部。

Claims

検査対象品を含む画像を取得する取得部と、
前記画像に基づいて、特徴マップを生成する特徴マップ生成部と、
前記特徴マップに基づいて、正常品の特徴量によって表現される空間である正常空間からの逸脱度を、異常度として検出し、前記異常度に基づいて、異常箇所抽出画像を生成する検出生成部と、
前記特徴マップに基づいて、前記検査対象品又は前記検査対象品の検査対象部位を示す領域である注目領域を含むヒートマップであるアテンションマップを生成するアテンションマップ生成部と、
前記アテンションマップが示す前記注目領域に対応する前記異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成する重み付け生成部と、
前記重み付き異常箇所抽出画像のうち、重み付けされた画像領域を判定対象領域として、前記検査対象品が異常であるか否かを判定する判定部と、
を有する情報処理装置。
第１のリサイズ部と、
第１の結合部と、
をさらに有し、
前記特徴マップ生成部は、複数の畳み込み層を構成し、前記複数の畳み込み層のうち、予め定められた複数の畳み込み層から、前記画像に基づく複数の特徴マップを出力し、
前記第１のリサイズ部は、前記複数の特徴マップのサイズを同じサイズにリサイズし、
前記第１の結合部は、リサイズされた前記複数の特徴マップをチャンネル方向に結合し、
前記検出生成部は、結合することにより得られた特徴マップに基づいて、前記異常度を検出し、
前記予め定められた複数の畳み込み層のそれぞれは、多くの特徴量を示す特徴マップを出力する層である、
請求項１に記載の情報処理装置。
前記アテンションマップ生成部は、リサイズされた前記複数の特徴マップのうちのいずれか１つの特徴マップに基づいて、前記アテンションマップを生成する、
請求項２に記載の情報処理装置。
前記アテンションマップ生成部は、前記複数の畳み込み層のうち、最も深い層から出力された特徴マップがリサイズされた特徴マップに基づいて、前記アテンションマップを生成する、
請求項２または３に記載の情報処理装置。
第１のリサイズ部と、
第１の結合部と、
第２のリサイズ部と、
第２の結合部と、
をさらに有し、
前記特徴マップ生成部は、複数の畳み込み層を構成し、前記複数の畳み込み層のうち、予め定められた複数の畳み込み層から、前記画像に基づく複数の特徴マップを出力し、
前記第１のリサイズ部は、前記複数の特徴マップのサイズを同じサイズにリサイズし、
前記第１の結合部は、リサイズされた前記複数の特徴マップをチャンネル方向に結合し、
前記検出生成部は、結合することにより得られた特徴マップに基づいて、前記異常度を検出し、
前記アテンションマップ生成部は、前記複数の特徴マップに基づいて、複数のアテンションマップを生成し、
前記第２のリサイズ部は、前記複数のアテンションマップのサイズを同じサイズにリサイズし、
前記第２の結合部は、リサイズされた前記複数のアテンションマップを結合し、
前記重み付け生成部は、結合することにより得られたアテンションマップである結合アテンションマップが示す前記注目領域に対応する前記異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成し、
前記複数のアテンションマップのそれぞれは、前記注目領域を含むヒートマップである、
請求項１に記載の情報処理装置。
第１のリサイズ部と、
第１の結合部と、
第２のリサイズ部と、
をさらに有し、
前記特徴マップ生成部は、複数の畳み込み層を構成し、前記複数の畳み込み層のうち、予め定められた複数の畳み込み層から、前記画像に基づく複数の特徴マップを出力し、
前記第１のリサイズ部は、前記複数の特徴マップのサイズを同じサイズにリサイズし、
前記第１の結合部は、リサイズされた前記複数の特徴マップをチャンネル方向に結合し、
前記検出生成部は、結合することにより得られた特徴マップに基づいて、前記異常度を検出し、
前記アテンションマップ生成部は、前記複数の特徴マップに基づいて、複数のアテンションマップを生成し、
前記第２のリサイズ部は、前記複数のアテンションマップのサイズを同じサイズにリサイズし、
前記重み付け生成部は、リサイズされた前記アテンションマップ毎に、リサイズされた前記アテンションマップが示す前記注目領域に対応する前記異常箇所抽出画像の画像領域に、重みを付けられた重み付き異常箇所抽出画像を生成し、
前記判定部は、生成された前記重み付き異常箇所抽出画像毎に、前記重み付き異常箇所抽出画像のうち、重み付けされた画像領域を判定対象領域として、前記検査対象品が異常であるか否かを判定し、
前記複数のアテンションマップのそれぞれは、前記注目領域を含むヒートマップである、
請求項１に記載の情報処理装置。
前記重み付き異常箇所抽出画像をヒートマップとして、前記重み付き異常箇所抽出画像を前記画像に重畳し、重畳により得られた画像を表示するための制御を実行する表示制御部をさらに有する、
請求項１又は２に記載の情報処理装置。
検査対象品を含む画像を取得する取得部と、
前記画像に基づいて、前記検査対象品又は前記検査対象品の検索対象部位を検出する検出部と、
前記画像のうち、前記検査対象品以外の領域又は前記検索対象部位以外の領域をマスクさせるための情報であるマスク情報を生成するマスク情報生成部と、
前記マスク情報に基づいて、前記画像のうち、前記検査対象品以外の領域又は前記検索対象部位以外の領域をマスクするマスク処理部と、
マスクされた前記画像に基づいて、特徴マップを生成する特徴マップ生成部と、
前記特徴マップに基づいて、正常品の特徴量によって表現される空間である正常空間からの逸脱度を、異常度として検出し、前記異常度に基づいて、異常箇所抽出画像を生成する検出生成部と、
前記異常箇所抽出画像に基づいて、前記検査対象品が異常であるか否かを判定する判定部と、
を有する情報処理装置。
検査対象品を含む画像を取得する取得部と、
前記画像に基づいて、前記検査対象品又は前記検査対象品の検索対象部位を検出する検出部と、
検出された前記検査対象品を示す情報又は前記検索対象部位を示す情報と、前記画像とに基づいて、前記画像の中から、前記検査対象品以外の領域又は前記検索対象部位以外の領域を除外することにより得られた画像である検査対象画像を生成する画像生成部と、
前記検査対象画像に基づいて、特徴マップを生成する特徴マップ生成部と、
前記特徴マップに基づいて、正常品の特徴量によって表現される空間である正常空間からの逸脱度を、異常度として検出し、前記異常度に基づいて、異常箇所抽出画像を生成する検出生成部と、
前記異常箇所抽出画像に基づいて、前記検査対象品が異常であるか否かを判定する判定部と、
を有する情報処理装置。
リサイズ部と、
結合部と、
をさらに有し、
前記特徴マップ生成部は、複数の畳み込み層を構成し、前記複数の畳み込み層のうち、予め定められた複数の畳み込み層から、マスクされた前記画像又は前記検査対象画像に基づく複数の特徴マップを出力し、
前記リサイズ部は、前記複数の特徴マップのサイズを同じサイズにリサイズし、
前記結合部は、リサイズされた前記複数の特徴マップをチャンネル方向に結合し、
前記検出生成部は、結合することにより得られた特徴マップに基づいて、前記異常度を検出し、
前記予め定められた複数の畳み込み層のそれぞれは、多くの特徴量を示す特徴マップを出力する層である、
請求項８又は９に記載の情報処理装置。
前記異常箇所抽出画像の画素値に応じた色に前記異常箇所抽出画像を変えることにより得られた前記異常箇所抽出画像をヒートマップとして、前記異常箇所抽出画像を前記画像に重畳し、重畳により得られた画像を表示するための制御を実行する表示制御部をさらに有する、
請求項８又は９に記載の情報処理装置。