JP7351186B2 - 解析装置、解析プログラム及び解析方法 - Google Patents

Description

本発明は、解析装置、解析プログラム及び解析方法に関する。

近年、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が提案されている。一例として、スコア最大化法（Activation Maximization）が挙げられる。また、画像認識処理において推論時に注目される画像箇所を解析する解析技術が提案されている。一例として、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法等が挙げられる。

スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、ＢＰ法やＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。

特開２０１８－０９７８０７号公報 特開２０１８－０４５３５０号公報 Ramprasaath R. Selvariju, et al.: Grad-cam: Visual explanations from deep networks via gradient-based localization. The IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.

しかしながら、上述した解析技術の場合、誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。

一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。

一態様によれば、解析装置は、
画像認識処理の際に誤ったラベルが推論される誤推論画像と、リファイン画像との差分を用いて、前記誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成するリファイン画像生成部と、
前記誤推論画像の複数の画素のうち前記スコアを最大化させたリファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記スコアを最大化させたリファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップであって、各注目度合いの出現頻度に基づいて調整した第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記誤推論画像において、ピクセルの集合ごとに前記第３のマップの画素値を算出することで、誤推論の原因となるピクセルの集合を特定する特定部と、を有し、
前記リファイン画像生成部は、
前記特定部により前記ピクセルの集合が特定された場合、前記特定されたピクセルの集合の領域について前記差分を補正し、補正後の差分を用いて、前記誤推論画像から、前記推論の正解ラベルのスコアを最大化させたリファイン画像を再生成する。

誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。

解析装置の機能構成の一例を示す図である。 解析装置のハードウェア構成の一例を示す図である。 誤推論原因抽出部の機能構成の一例を示す第１の図である。 リファイン画像生成部の処理の具体例を示す図である。 マップ生成部の処理の具体例を示す図である。 重要特徴マップ生成部の機能構成の詳細を示す図である。 選択的逆誤差伝播部の処理の具体例を示す図である。 非注目画素オフセット調整部の処理内容を示す図である。 非注目画素オフセット調整部の処理の具体例を示す図である。 スーパーピクセル分割部の処理の具体例を示す図である。 重要スーパーピクセル決定部の処理の具体例を示す図である。 領域抽出部及び合成部の処理の具体例を示す図である。 誤推論原因抽出処理の流れを示す第１のフローチャートである。 誤推論原因抽出処理の流れを示す第２のフローチャートである。 重要特徴マップ生成処理の流れを示すフローチャートである。 誤推論原因抽出処理の具体例を示す第１の図である。 誤推論原因抽出部の機能構成の一例を示す第２の図である。 誤推論原因抽出処理の具体例を示す第２の図である。 誤推論原因抽出部の機能構成の一例を示す第３の図である。 誤推論原因抽出処理の具体例を示す第３の図である。 誤推論原因抽出部の機能構成の一例を示す第４の図である。 詳細原因解析部の機能構成の一例を示す第１の図である。 詳細原因解析部の処理の具体例を示す第１の図である。 詳細原因解析処理の流れを示す第１のフローチャートである。 誤推論原因抽出部の機能構成の一例を示す第５の図である。 詳細原因解析部の機能構成の一例を示す第２の図である。 詳細原因解析部の処理の具体例を示す第２の図である。 詳細原因解析処理の流れを示す第２のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。

推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクトの種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。

誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（既知）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した際の（誤ったラベルが推論された際の）入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。

誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、誤推論原因情報を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、マップ生成部１４２と、特定部１４３とを有する。

リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。

マップ生成部１４２は、誤推論の原因を解析する既知の解析技術等を用いて、ラベルの推論に影響する領域を識別するマップを生成する。

特定部１４３は、誤推論画像のうち、生成されたマップに含まれる、ラベルの推論に影響する領域について、生成されたリファイン画像で置き換える。また、特定部１４３は、当該領域をリファイン画像で置き換えた誤推論画像を入力としてラベルを推論し、推論したラベルのスコアから、置き換えの効果を判定する。

また、特定部１４３は、ラベルの推論に影響する領域の大きさを変えながら入力することでラベルを推論し、推論したラベルのスコアから、誤推論の原因となる画像箇所を特定する。更に、特定部１４３は、特定した誤推論の原因となる画像箇所を、誤推論原因情報として出力する。

このように、ラベルの推論に影響する領域をリファイン画像で置き換える際、置き換えの効果を参照することで、誤推論の原因となる画像箇所を精度よく特定することができる。

＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。

表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。

Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。

（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。

画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、誤推論画像からリファイン画像を生成する。

なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、例えば、画像の生成モデルを用いてリファイン画像を生成する場合には、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。これにより、画像リファイナ部３０１によれば、視覚的に変更前の画像（誤推論画像）に近い画像（リファイン画像）を得ることができる。

具体的には、画像リファイナ部３０１では、画像の生成モデルとしてＣＮＮを用いる場合、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値（例えば、画像差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）やそれらの組み合わせ）と、
を最小化するようにＣＮＮの学習を行う。

画像誤差演算部３０２は、誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部３０１に入力する。

推論部３０３は、画像リファイナ部３０１により生成されたリファイン画像または後述する重要スーパーピクセル決定部３２２で生成された合成画像を入力として推論し、推論したラベルのスコアを出力する、学習済みのＣＮＮを有する。合成画像とは、誤推論画像のうち、マップ生成部１４２で生成されたマップ（重要特徴指標マップ）に含まれる、正解ラベルの推論に影響する領域について、リファイン画像で置き換えた誤推論画像に他ならない。

なお、推論部３０３により出力されたスコアは、スコア誤差演算部３０４または重要スーパーピクセル評価部３２３に通知される。

スコア誤差演算部３０４は、推論部３０３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部３０１にスコア誤差を通知する。スコア誤差演算部３０４により通知されたスコア誤差は、画像リファイナ部３０１においてＣＮＮの学習に用いられる。

なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像を、以下では、"スコア最大化リファイン画像"と称す。

（２）マップ生成部の詳細
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３を有する。

重要特徴マップ生成部３１１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部３１１は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、推論部構造情報に基づいて"グレイスケール化重要特徴マップ"を生成する。グレイスケール化重要特徴マップは第２のマップの一例であり、スコア最大化リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを、グレイスケール化したものである。

なお、ＢＰ法は、推論したラベルが正解する入力データ（ここでは、スコア最大化リファイン画像）の推論を行うことで得た分類確率から各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。

更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。

劣化尺度マップ生成部３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、第１のマップの一例である"劣化尺度マップ"を生成する。劣化尺度マップは、スコア最大化リファイン画像を生成する際に変更がなされた各画素の変更度合いを示している。

重畳部３１３は、重要特徴マップ生成部３１１において生成されたグレイスケール化重要特徴マップと、劣化尺度マップ生成部３１２において生成された劣化尺度マップとに基づいて、第３のマップの一例である"重要特徴指標マップ"を生成する。重要特徴指標マップは、正解ラベルを推論するための各画素の重要度を示している。

（３）特定部の詳細
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３を有する。

スーパーピクセル分割部３２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の部品ごとの領域（ピクセルの集合）である"スーパーピクセル"に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。

重要スーパーピクセル決定部３２２は、スーパーピクセル分割部３２１により出力されたスーパーピクセル分割情報に基づいて、重畳部３１３により生成された重要特徴指標マップの各画素の値を、スーパーピクセルごとに加算する。

また、重要スーパーピクセル決定部３２２は、各スーパーピクセルのうち、加算した各画素の加算値が所定の条件を満たす（重要特徴指標閾値以上）のスーパーピクセルを抽出する。また、重要スーパーピクセル決定部３２２は、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせたスーパーピクセル群を、変更可能領域（スコア最大化リファイン画像によって置き換えられる領域）と規定する。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセル群を変更不可領域（スコア最大化リファイン画像によって置き換えられない領域）と規定する。

更に、重要スーパーピクセル決定部３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出し、リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。画像リファイナ部３０１からは、学習回数に応じた数のリファイン画像であって、画像リファイナ部３０１で出力条件を満たしたリファイン画像が出力される。このため、重要スーパーピクセル決定部３２２では、当該数のリファイン画像それぞれについて、合成画像を生成する。

なお、重要スーパーピクセル決定部３２２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、変更可能領域及び変更不可領域を更新する。

重要スーパーピクセル評価部３２３は、重要スーパーピクセル決定部３２２において生成された合成画像が推論部３０３に入力されるごとに推論される正解ラベルのスコアを取得する。上述したように、重要スーパーピクセル決定部３２２では、画像リファイナ部３０１により出力されたリファイン画像の数、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部３２３では、当該数に応じた正解ラベルのスコアを取得する。また、重要スーパーピクセル評価部３２３は、取得したスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。

このとき、重要スーパーピクセル評価部３２３では、面積がなるべく小さくなるように、変更可能領域を特定する。例えば、重要スーパーピクセル評価部３２３では、推論部３０３より取得したスコアを評価する際、重要特徴指標閾値を下げる前のスーパーピクセルあるいはスーパーピクセルの組み合わせのうち、面積が小さいものから優先して評価する。また、重要スーパーピクセル評価部３２３では、重要特徴指標閾値が下がることで、正解ラベルが推論されるようになった時点での変更可能領域（正解ラベルを推論可能な限界の重要特徴指標閾値により抽出され、面積が最小の変更可能領域）を特定する。

＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部の処理の具体例について説明する。

（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝"車種Ａ"の車両が含まれる誤推論画像４１０を入力として推論した結果、ラベル＝"車種Ｂ"と誤推論した様子を示している。

また、図４の左側の例は、誤推論画像４１０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
であったことを示している。

一方、図４の右側の例は、リファイン画像生成部１４１が、誤推論画像４１０からリファイン画像を生成する処理を行い、スコア最大化リファイン画像４２０を生成した様子を示している。図４の右側の例では、リファイン画像生成部１４１が、誤推論画像４１０に対して、ヘッドライト４２１の色や、道路標示４２２の色を変更することで、スコア最大化リファイン画像４２０を生成したことを示している。

また、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した場合、正解ラベル＝"車種Ａ"と一致するラベルを推論できたことを示している。更に、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
であったことを示している。

このように、リファイン画像生成部１４１によれば、誤推論画像４１０を変更することで、正解ラベルと一致するラベルを推論でき、かつ、正解ラベルのスコアが最大となるスコア最大化リファイン画像４２０を生成することができる。

なお、図４の右側の例で示すように、リファイン画像生成部１４１により生成されるスコア最大化リファイン画像４２０の場合、誤推論画像４１０に対して、車両と無関係な路面標示まで変更される可能性がある。正解ラベルのスコアを最大化する学習での誤差逆伝播は、正解ラベルのスコアに影響するＣＮＮの経路（ユニット）に影響を及ぼすが、影響を及ぼされた経路（ユニット）が必ずしも誤推論の原因と関係しているとは限らないためである。

つまり、既知のスコア最大化法のように、変更部分に基づいて誤推論の原因となる画像箇所を特定しようとした場合、十分な精度で特定することができないという問題がある（変更部分について、更なる絞り込みが必要である）。本実施形態に係る誤推論原因抽出部１４０ではマップ生成部１４２、特定部１４３が機能することで、更なる絞り込みが行われる。

（２）マップ生成部の処理の具体例
（２－１）マップ生成部全体の処理の具体例
次に、マップ生成部１４２の処理の具体例について説明する。はじめに、マップ生成部１４２全体の処理の具体例について説明する。図５は、マップ生成部の処理の具体例を示す図である。

図５に示すように、マップ生成部１４２において重要特徴マップ生成部３１１は、推論部３０３がスコア最大化リファイン画像を入力として推論した際の推論部構造情報５０１を、推論部３０３から取得する。また、重要特徴マップ生成部３１１は、取得した推論部構造情報５０１に基づいて、例えば、選択的ＢＰ法を用いて重要特徴マップを生成し、生成した重要特徴マップについてオフセット調整を行う。なお、重要特徴マップ生成部３１１によるこれらの処理の詳細は、後述する。

また、重要特徴マップ生成部３１１は、オフセット調整した重要特徴マップをグレイスケール化し、グレイスケール化重要特徴マップ５０２を生成する。

図５に示すグレイスケール化重要特徴マップ５０２は、０から２５５の画素値でグレイスケール化されている。このため、グレイスケール化重要特徴マップ５０２において、画素値が２５５に近い画素は、推論時に注目される画素（注目画素）であり、画素値が０に近い画素は、推論時に注目されない画素（非注目画素）である。

一方、劣化尺度マップ生成部３１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像５１２を読み出し、誤推論画像５１１との間でＳＳＩＭ（Structural Similarity）演算を行う。これにより、劣化尺度マップ生成部３１２は、劣化尺度マップ５１３を生成する。劣化尺度マップ５１３は０から１の値をとり、画素値が１に近いほど、画像の差分が小さいことを表し、画素値が０に近いほど、画像の差分が大きいことを表す。

また、重畳部３１３は、重要特徴マップ生成部３１１により生成されたグレイスケール化重要特徴マップ５０２と、劣化尺度マップ生成部３１２により生成された劣化尺度マップ５１３とを用いて、重要特徴指標マップ５２０を生成する。

具体的には、重畳部３１３は、下式に基づいて、重要特徴指標マップ５２０を生成する。
（式１）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１－劣化尺度マップ）
上式において、（１－劣化尺度マップ）の項は、０から１の値をとり、１に近いほど画像の差分が大きく、０に近いほど画像の差分が小さい。したがって、重要特徴指標マップ５２０は、スコア最大化リファイン画像の複数の画素のうち推論時に注目される画素の注目度合いを示すグレイスケール化重要特徴マップに、画像の差分の大小による強弱をつけた画像となる。

具体的には、重要特徴指標マップ５２０は、
・劣化尺度マップ５１３において画像の差分が小さい部分について、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ５１３において画像の差分が大きい部分について、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。

なお、より識別しやすく可視化するために、重要特徴指標マップを反転させてもよい。図５に示す重要特徴指標マップは、下式に基づいて反転させたものを表示している。
（式２）
（反転した）重要特徴指標マップ＝２５５－［グレイスケール化重要特徴マップ×（１－劣化尺度マップ）］
ここで、重畳部３１３が、上式に基づいて、グレイスケール化重要特徴マップ５０２と劣化尺度マップ５１３とを重畳することによる利点について説明する。

重要特徴マップ生成部３１１において生成されるグレイスケール化重要特徴マップ５０２は、スコア最大化リファイン画像を入力として推論し、正解ラベルのスコアが最大となった際に、推論部３０３が算出した注目部分に他ならない。

一方、劣化尺度マップ生成部３１２において生成される劣化尺度マップ５１３は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる領域を表している。ただし、劣化尺度マップ生成部３１２において生成される劣化尺度マップ５１３は、正解ラベルのスコアを最大化するために必要な最小限の領域ではない。

重畳部３１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が算出した注目部分とを重畳することで、正解ラベルのスコアを最大化するために必要な領域を絞り込む。これにより、誤推論の原因となる領域を絞り込むことができる。

（２－２）重要特徴マップ生成部の処理の具体例
次に、マップ生成部１４２の重要特徴マップ生成部３１１の更なる詳細について、図７～図９を参照しながら、図６を用いて説明する。図６は、重要特徴マップ生成部の機能構成の詳細を示す図である。

図６に示すように、重要特徴マップ生成部３１１は、選択的逆誤差伝播部６１１、非注目画素オフセット調整部６１２、グレイスケール化部６１３を有する。

選択的逆誤差伝播部６１１は生成部の一例であり、推論部３０３から推論部構造情報５０１を取得し、選択的ＢＰ法を用いて重要特徴マップ６０１を生成する。図７は、選択的逆誤差伝播部の処理の具体例を示す図である。図７に示すように、選択的逆誤差伝播部６１１では、推論部３０３において推論された正解ラベルについて、推論の誤差がゼロでないという制約のもとで選択的逆誤差伝播を行う。これにより、選択的逆誤差伝播部６１１では、重要特徴マップ６０１を生成する。なお、重要特徴マップ６０１の生成に際しては、選択的逆誤差伝播部６１１の出力をそのまま用いてもよいし、あるいは、絶対値をとったものを用いてもよい。

非注目画素オフセット調整部６１２は調整部の一例であり、生成された重要特徴マップ６０１において、非注目画素の画素値がゼロになるように、オフセット調整を行う。ここで、選択的逆誤差伝播部６１１により生成される重要特徴マップ６０１は、非注目画素の画素値がゼロとして算出される場合と、非ゼロとして算出される場合とがありうる（推論部３０３に用いられるＣＮＮの種類によって変わる）。

そこで、非注目画素オフセット調整部６１２では、重要特徴マップ６０１に含まれる非注目画素の画素値がゼロになるように、オフセット調整を行う。ここで、非注目画素オフセット調整部６１２では、重要特徴マップ６０１に含まれる各画素値の出現頻度が最大となる画素値の画素を、非注目画素としてオフセット調整を行う。

図８は、非注目画素オフセット調整部の処理内容を示す図である。図８（ａ）に示すように、非注目画素オフセット調整部６１２では、選択的逆誤差伝播部６１１より重要特徴マップ６０１を取得すると、各画素値の出現頻度を示すヒストグラムを生成する。続いて、非注目画素オフセット調整部６１２では、最小値が"０"、最大値が"２５５"になるようにスケーリング処理を行う（図８（ｂ））。なお、選択的逆誤差伝播部６１１の信号出力を維持した可視化や適用を行う場合には、スケーリング処理を行わない方法を用いてもよい。以下の説明では、特に断わりがない場合には、スケーリングを行うものとする。

続いて、非注目画素オフセット調整部６１２では、選択的逆誤差伝播部６１１の出力の絶対値が用いる場合にあっては、出現頻度が最大となる画素値を探索し（図８（ｃ））、出現頻度が最大となる画素値がゼロになるように、オフセット調整を行う（図８（ｄ））。

続いて、非注目画素オフセット調整部６１２では、画素値の絶対値を算出する（図８（ｅ））。これにより、非注目画素オフセット調整部６１２では、オフセット重要特徴マップ６０２（図６参照）を生成する。

図９は、非注目画素オフセット調整部の処理の具体例を示す図である。このうち、図９（ａ）は、選択的逆誤差伝播部６１１により生成される重要特徴マップにおいて、非注目画素の画素値がゼロとして算出されたケースを示している。一方、図９（ｂ）は、選択的逆誤差伝播部６１１により生成される重要特徴マップにおいて、非注目画素の画素値が非ゼロとして算出されたケースを示している。非注目画素をオフセットで調整するのは、例えば、上記のように注目度合いで情報をフィルタリングしたり、信号の強さを調整する場合に、注目度合いに応じた信号の強さに調整した情報を作用させることで、意図した情報に加工することができるからである。既知の可視化に用いる場合には、注目されていない箇所が暗黙的に何らかの画素値であることを読み取ることは可能であるが、例えば、コンピュータで処理する場合には、暗黙的な扱いはなされないため、上記のようなオフセット調整が必要になる。

なお、上述したように、いずれのケースになるかは、推論部３０３に用いられるＣＮＮの種類によって変わる。したがって、それぞれのオフセット量は、例えば、均一な画素値からなる画像（図９（ａ）、（ｂ）に示す画像９０１のように、特徴のない画像（つまり、非注目画素からなる画像））に基づいて算出することができる。具体的には、画像９０１を、異なる種類のＣＮＮが用いられた推論部３０３にそれぞれ入力した際の推論部構造情報５０１を取得し、選択的ＢＰ法を用いて重要特徴マップを生成することで、オフセット量を算出することができる。

図９（ａ）は、オフセット量が"０"のケースであり、この場合、非注目画素オフセット調整部６１２では、オフセット調整を行わない（符号９０２に示す重要特徴マップ＝オフセット重要特徴マップ）。一方、図９（ｂ）は、オフセット量が"１２８"のケースであり、この場合、非注目画素オフセット調整部６１２では、オフセット調整を行う（符号９１２に示す重要特徴マップ→符号９１３に示すオフセット重要特徴マップ）。

図６の説明に戻る。グレイスケール化部６１３では、非注目画素オフセット調整部６１２によりオフセット調整された、オフセット重要特徴マップ６０２について、グレイスケール化処理を行い、グレイスケール化重要特徴マップ５０２を生成する。具体的には、オフセット重要特徴マップ６０２がカラーであった場合に、グレイスケール化処理を行い、グレイスケール化重要特徴マップ５０２を生成する。なお、ＲＧＢの各チャネルを分離し、個々のチャネルをグレイスケールとして扱い、チャネルごとにグレイスケール化重要特徴マップ５０２を生成してもよい。ただし、オフセット重要特徴マップ６０２がカラーでない場合、グレイスケール化部６１３では、グレイスケール化処理を行わない。

（３）特定部の処理の具体例
次に、特定部１４３の各部（スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３）の処理の具体例について説明する。

（３－１）スーパーピクセル分割部の処理の具体例
はじめに、特定部１４３に含まれるスーパーピクセル分割部３２１の処理の具体例について説明する。図１０は、スーパーピクセル分割部の処理の具体例を示す図である。図１０に示すように、スーパーピクセル分割部３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行う分割部１０１０を有する。分割部１０１０は、誤推論画像５１１を、誤推論画像５１１に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部３２１は、分割部１０１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報１００１を出力する。

（３－２）重要スーパーピクセル決定部の処理の具体例
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図１１は、重要スーパーピクセル決定部の処理の具体例を示す図である。

図１１に示すように、重要スーパーピクセル決定部３２２は、領域抽出部１１１０、合成部１１１１を有する。

重要スーパーピクセル決定部３２２では、重畳部３１３より出力された重要特徴指標マップ５２０と、スーパーピクセル分割部３２１より出力されたスーパーピクセル分割情報１００１とを重ね合わせる。これにより、重要スーパーピクセル決定部３２２では、重要スーパーピクセル画像１１０１を生成する。なお、図１１では、重要特徴指標マップ５２０として、（反転した）重要特徴指標マップを表示している。

また、重要スーパーピクセル決定部３２２では、生成した重要スーパーピクセル画像１１０１内の各スーパーピクセルについて、重要特徴指標マップ５２０の各画素の値を加算する。

また、重要スーパーピクセル決定部３２２では、スーパーピクセルごとの加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。なお、図１１において、重要スーパーピクセル画像１１０２は、スーパーピクセルごとの加算値の一例を明示したものである。

また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。更に、重要スーパーピクセル決定部３２２は、規定した変更可能領域及び変更不可領域を領域抽出部１１１０に通知する。

領域抽出部１１１０は、誤推論画像５１１から、変更不可領域に対応する画像部分を抽出し、リファイン画像１１２１から、変更可能領域に対応する画像部分を抽出する。

合成部１１１１は、リファイン画像１１２１から抽出した変更可能領域に対応する画像部分と、誤推論画像５１１から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。

図１２は、領域抽出部及び合成部の処理の具体例を示す図である。図１２において、上段は、領域抽出部１１１０が、リファイン画像１１２１から、変更可能領域に対応する画像部分（画像１２０１の白色部分）を抽出した様子を示している。

一方、図１２において、下段は、領域抽出部１１１０が、誤推論画像５１１から、変更不可領域に対応する画像部分（画像１２０１'の白色部分）を抽出した様子を示している。なお、画像１２０１'は、画像１２０１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１２の下段では、白色部分を、変更不可領域に対応する画像部分としている）。

合成部１１１１は、図１２に示すように、領域抽出部１１１０より出力された、リファイン画像１１２１の変更可能領域に対応する画像部分と、誤推論画像５１１の変更不可領域に対応する画像部分とを合成し、合成画像１２２０を生成する。

このように、特定部１４３によれば、合成画像１２２０を生成する際、重要特徴指標マップ５２０を用いることで、リファイン画像１１２１で置き換える領域を、スーパーピクセル単位で特定することができる。

＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１３及び図１４は、誤推論原因抽出処理の流れを示す第１及び第２のフローチャートである。

ステップＳ１３０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、判断部３２５は、重要特徴指標閾値及びその下限値を、ユーザが指示した値に設定する。

ステップＳ１３０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。

ステップＳ１３０３において、推論部３０３は、リファイン画像を入力として推論し、正解ラベルのスコアを算出する。

ステップＳ１３０４において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。

ステップＳ１３０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１３０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１３０５においてＮｏの場合には）、ステップＳ１３０２に戻り、リファイン画像の生成を継続する。

一方、ステップＳ１３０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１３０５においてＹｅｓの場合は）、ステップＳ１３０６に進む。なお、この時点で、リファイン画像格納部３０５には、学習ごとに生成されたリファイン画像（スコア最大化リファイン画像を含む）が格納されている。

ステップＳ１３０６において、重要特徴マップ生成部３１１は、推論部３０３よりスコア最大化リファイン画像を入力として推論された際の推論部構造情報を取得し、取得した推論部構造情報に基づいてグレイスケール化重要特徴マップを生成する（詳細は後述）。

ステップＳ１３０７において、劣化尺度マップ生成部３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、劣化尺度マップを生成する。

ステップ１３０８において、重畳部３１３は、グレイスケール化重要特徴マップと劣化尺度マップとに基づいて、重要特徴指標マップを生成する。

ステップＳ１３０９において、スーパーピクセル分割部３２１は、誤推論画像をスーパーピクセルに分割し、スーパーピクセル分割情報を生成する。

ステップＳ１３１０において、重要スーパーピクセル決定部３２２は、重要特徴指標マップの各画素の値を、スーパーピクセル単位で加算する。

ステップＳ１３１１において、重要スーパーピクセル決定部３２２は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域を規定する。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。

続いて、図１４のステップＳ１４０１において、重要スーパーピクセル決定部３２２は、リファイン画像格納部３０５からリファイン画像を読み出す。

ステップＳ１４０２において、重要スーパーピクセル決定部３２２は、リファイン画像から、変更可能領域に対応する画像部分を抽出する。

ステップＳ１４０３において、重要スーパーピクセル決定部３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出する。

ステップＳ１４０４において、重要スーパーピクセル決定部３２２は、リファイン画像から抽出した変更可能領域に対応する画像部分と、誤推論画像から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。

ステップＳ１４０５において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部３２３は、推論部３０３により算出された正解ラベルのスコアを取得する。

ステップＳ１４０７において、画像リファイナ部３０１は、リファイン画像格納部３０５に格納された全てのリファイン画像を読み出したか否かを判定する。ステップＳ１４０７において、読み出していないリファイン画像があると判定した場合には（ステップＳ１４０７においてＮｏの場合には）、ステップＳ１４０１に戻る。

一方、ステップＳ１４０７において、全てのリファイン画像を読み出したと判定した場合には（ステップＳ１４０７においてＹｅｓの場合には）、ステップＳ１４０８に進む。

ステップＳ１４０８において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１４０８において、下限値に到達していないと判定した場合には（ステップＳ１４０８においてＮｏの場合には）、ステップＳ１４０９に進む。

ステップＳ１４０９において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値を下げた後、図１３のステップＳ１３１１に戻る。

一方、ステップＳ１４０８において、下限値に到達したと判定した場合には（ステップＳ１４０８においてＹｅｓの場合には）、ステップＳ１４１０に進む。

ステップＳ１４１０において、重要スーパーピクセル評価部３２３は、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。

＜重要特徴マップ生成処理の流れ＞
次に、図１３のステップＳ１３０６の重要特徴マップ生成処理の詳細について説明する。図１５は、重要特徴マップ生成処理の流れを示すフローチャートである。

ステップＳ１５０１において、選択的逆誤差伝播部６１１は、推論部３０３から推論部構造情報を取得する。

ステップＳ１５０２において、選択的逆誤差伝播部６１１は、推論部構造情報について選択的ＢＰ法を用いて、重要特徴マップを生成する。

ステップＳ１５０３において、非注目画素オフセット調整部６１２は、重要特徴マップに基づいてヒストグラムを生成し、出現頻度が最大となる画素値を特定する。

ステップＳ１５０４において、非注目画素オフセット調整部６１２は、出現頻度が最大となる画素値に基づいて、オフセット量を算出する。

ステップＳ１５０５において、非注目画素オフセット調整部６１２は、算出したオフセット量に基づいて、重要特徴マップのオフセット調整を行い、オフセット重要特徴マップを生成する。

ステップＳ１５０６において、グレイスケール化部６１３は、オフセット重要特徴マップについて、グレイスケール化処理を行い、グレイスケール化重要特徴マップを生成する。

＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図１６は、誤推論原因抽出処理の具体例を示す第１の図である。

図１６に示すように、はじめに、リファイン画像生成部１４１により、誤推論画像からスコア最大化リファイン画像が生成されると、マップ生成部１４２では、重要特徴指標マップを生成する。

続いて、誤推論画像に基づいて、スーパーピクセル分割部３２１によりスーパーピクセル分割情報が生成されると、重要スーパーピクセル決定部３２２では、重要スーパーピクセル画像を生成する。

続いて、重要スーパーピクセル決定部３２２では、重要特徴指標マップのもと、重要スーパーピクセル画像において変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する。

続いて、重要スーパーピクセル評価部３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。

なお、合成画像の生成処理は、図１６に示すように、リファイン画像生成部１４１により生成された複数のリファイン画像それぞれに対して行ってもよいし、
・最後の回のリファイン画像に対して行ってもよい、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）に対して行ってもよい。

以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。

また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、スコア最大化リファイン画像の複数の画素のうち推論時の非注目画素の画素値がゼロとなるグレイスケール化重要特徴マップを生成する。

また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像と誤推論画像との差分に基づいて、スコア最大化リファイン画像を生成する際に変更された画素の変更度合いを示す劣化尺度マップを生成する。

また、第１の実施形態に係る解析装置１００は、グレイスケール化重要特徴マップと、劣化尺度マップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す重要特徴指標マップを生成する。

また、第１の実施形態に係る解析装置１００は、誤推論画像を分割することでスーパーピクセルを生成し、重要特徴指標マップの各画素値を、スーパーピクセル単位で加算する。また、第１の実施形態に係る解析装置１００は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルの組み合わせに基づいて、変更可能領域と変更不可領域とを規定する。

また、第１の実施形態に係る解析装置１００は、規定した変更可能領域をリファイン画像で置き換えた誤推論画像を、推論部に入力することで正解ラベルを推論する。更に第１の実施形態に係る解析装置１００は、重要特徴指標閾値及び選択するスーパーピクセルの組み合わせを変えながら推論し、推論した正解ラベルの各スコアから、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定する。

このように、第１の実施形態では、正解ラベルの推論に影響するスーパーピクセルをリファイン画像で置き換え、置き換えの効果を参照しながら、スーパーピクセルを特定することで、誤推論の原因となる画像箇所を特定する。これにより、第１の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。

［第２の実施形態］
上記第１の実施形態では、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、重要特徴指標マップを生成した。これに対して、第２の実施形態では、スコア最大化リファイン画像を生成するまでの学習中に取得した、リファイン画像それぞれに基づいて重要特徴指標マップを生成し、生成した重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。そして、重要スーパーピクセル決定部３２２では、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜誤推論原因抽出部の機能構成＞
はじめに、第２の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図１７は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部の機能構成との相違点は、マップ生成部１７１０である。以下、マップ生成部１７１０の詳細について説明する。

図１７に示すように、マップ生成部１７１０は、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３に加えて、平均化部１７１１を有する。

マップ生成部１７１０は、画像リファイナ部３０１の学習中に生成されたリファイン画像と、当該リファイン画像を入力として推論部３０３が推論した際の推論部構造情報とを、逐次、取得する。また、リファイン画像及び推論部構造情報を取得するごとに、マップ生成部１７１０では、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３が動作し、重要特徴指標マップを生成する。

平均化部１７１１は、重要特徴マップ生成部３１１及び劣化尺度マップ生成部３１２がリファイン画像及び推論部構造情報を取得するごとに重畳部３１３が生成した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。

＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図１８は、誤推論原因抽出処理の具体例を示す第２の図である。

図１８に示すように、リファイン画像生成部１４１において、画像リファイナ部３０１が、１回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１７１０では、重要特徴指標マップを生成する。

また、リファイン画像生成部１４１において、画像リファイナ部３０１が、２回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１７１０では、重要特徴指標マップを生成する。以降、同様の処理を繰り返し、リファイン画像生成部１４１がスコア最大化リファイン画像を生成すると、マップ生成部１７１０では、重要特徴指標マップを生成する。

続いて、平均化部１７１１では、１回目のリファイン画像が生成されてからスコア最大化リファイン画像が生成されるまでの間に生成された、複数回分の重要特徴指標マップを取得する。また、平均化部１７１１では、取得した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。

続いて、スーパーピクセル分割部３２１では、誤推論画像に基づいて、スーパーピクセル分割情報を生成し、重要スーパーピクセル決定部３２２では、重要スーパーピクセル画像を生成する。

続いて、重要スーパーピクセル決定部３２２では、平均重要特徴指標マップのもと、重要スーパーピクセル画像において変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する。

続いて、重要スーパーピクセル評価部３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部３２３では、取得した正解ラベルに基づいて誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。

なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。あるいは、リファイン画像を入力した際の推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、当該リファイン画像を取得して重要特徴指標マップを生成してもよい。

また、合成画像の生成処理は、図１８に示すように、リファイン画像生成部１４１により生成された複数のリファイン画像それぞれに対して行ってもよいし、
・最後の回のリファイン画像に対して行ってもよい、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）に対して行ってもよい。

以上の説明から明らかなように、第２の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成するまでの学習中に生成した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、第２の実施形態に係る解析装置１００は、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。

これにより、第２の実施形態によれば、上記第１の実施形態による効果に加えて、更に、リファイン画像のゆらぎによる、重要特徴指標マップへの影響を低減させることが可能となる。

［第３の実施形態］
上記第１の実施形態では、スコア最大化リファイン画像が生成され、重要特徴指標マップが生成されると、特定部１４３では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。

また、上記第２の実施形態では、スコア最大化リファイン画像が生成され、平均重要特徴指標マップが生成されると、特定部１４３では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。

これに対して、第３の実施形態では、特定部１４３が変更可能領域及び変更不可領域を規定した後に、リファイン画像生成部が、規定された変更可能領域を加味して、再度、スコア最大化リファイン画像を生成しなおす。

このように、変更可能領域を加味してスコア最大化リファイン画像を再生成することで、第３の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となる。この結果、合成画像を入力としてラベルを推論した際のスコアを上げることが可能となる。

以下、第３の実施形態について、上記第１または第２の実施形態との相違点を中心に説明する。

＜誤推論原因抽出部の機能構成＞
はじめに、第３の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図１９は、誤推論原因抽出部の機能構成の一例を示す第３の図である。図１７に示した誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部１９１０及び特定部１９２０である。以下、リファイン画像生成部１９１０及び特定部１９２０の詳細について説明する。

（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１９１０の詳細について説明する。図１９に示すように、リファイン画像生成部１９１０は、リファイン画像生成部１４１の画像誤差演算部３０２とは機能の異なる画像誤差演算部１９１１を有する。

画像誤差演算部１９１１は、画像誤差演算部３０２と同様、学習中に画像リファイナ部３０１に入力される誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。ただし、画像誤差演算部１９１１の場合、画像リファイナ部３０１に画像差分値を入力する際、補正部１９２１より通知された変更可能領域に対応する画像部分について、画像差分値を補正する。

具体的には、画像誤差演算部１９１１は、変更可能領域に対応する画像部分の画像差分値に１未満の係数をかけて補正する。これにより、画像リファイナ部３０１では、変更可能領域に対応する画像部分の画像差分値を、変更可能領域以外の領域に対応する画像部分の画像差分値よりも弱めて再学習したうえで、スコア最大化リファイン画像を再生成することができる。

（２）特定部の詳細
次に、特定部１９２０の詳細について説明する。図１９に示すように、特定部１９２０は、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３に加えて、補正部１９２１を有する。

補正部１９２１は、重要スーパーピクセル決定部３２２において規定された変更可能領域を取得し、画像誤差演算部１９１１に通知する。これにより、リファイン画像生成部１９１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成することができる。

＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第３の図である。図１８を用いて説明した、誤推論原因抽出処理の具体例との相違点は、重要スーパーピクセル画像に基づいて変更可能領域と変更不可領域との組が生成された際、補正部１９２１が、変更可能領域を画像誤差演算部１９１１に通知する点である。これにより、リファイン画像生成部１９１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成し、マップ生成部１７１０では、平均重要特徴指標マップを再生成することができる。

なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。あるいは、リファイン画像を入力した際の推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、当該リファイン画像を取得して重要特徴指標マップを生成してもよい。

また、合成画像の生成処理は、図２０に示すように、リファイン画像生成部１９１０により生成された複数のリファイン画像それぞれに対して行ってもよいし、
・最後の回のリファイン画像に対して行ってもよい、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）に対して行ってもよい。

以上の説明から明らかなように、第３の実施形態に係る解析装置１００は、変更可能領域を加味して再学習することで、スコア最大化リファイン画像を再生成するとともに、重要特徴指標マップ（あるいは平均重要特徴指標マップ）を再生成する。

これにより、第３の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となり、合成画像を入力としてラベルを推論した際のスコアを上げることが可能となる。

［第４の実施形態］
上記第１乃至第３の実施形態では、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力するものとして説明した。しかしながら、誤推論原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を可視化して出力してもよい。以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。

＜誤推論原因抽出部の機能構成＞
はじめに、第４の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２１は、誤推論原因抽出部の機能構成の一例を示す第４の図である。図３に示した誤推論原因抽出部１４０の機能構成との相違点は、詳細原因解析部２１１０を有する点である。

詳細原因解析部２１１０は、誤推論画像とスコア最大化リファイン画像とを用いて、変更可能領域内の重要部分を可視化し、作用結果画像として出力する。

＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２１１０の機能構成について説明する。図２２は、詳細原因解析部の機能構成の一例を示す第１の図である。図２２に示すように、詳細原因解析部２１１０は、画像差分演算部２２０１、ＳＳＩＭ演算部２２０２、切り出し部２２０３、作用部２２０４を有する。

画像差分演算部２２０１は、誤推論画像とスコア最大化リファイン画像との画素単位での差分を演算し、差分画像を出力する。

ＳＳＩＭ演算部２２０２は、誤推論画像とスコア最大化リファイン画像とを用いて、ＳＳＩＭ演算を行うことで、ＳＳＩＭ画像を出力する。

切り出し部２２０３は、差分画像から変更可能領域に対応する画像部分を切り出す。また、切り出し部２２０３は、ＳＳＩＭ画像から変更可能領域に対応する画像部分を切り出す。更に、切り出し部２２０３は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とを乗算して、乗算画像を生成する。

作用部２２０４は、誤推論画像と乗算画像とに基づいて、作用結果画像を生成する。

＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２１１０の処理の具体例について説明する。図２３は、詳細原因解析部の処理の具体例を示す図である。

図２３に示すように、はじめに、画像差分演算部２２０１において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）との差分（＝（Ａ）－（Ｂ））が演算され、差分画像が出力される。差分画像は、誤推論の原因となる画像箇所での画素修正情報である。

続いて、ＳＳＩＭ演算部２２０２において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）とに基づいてＳＳＩＭ演算が行われる（ｙ＝ＳＳＩＭ（（Ａ），（Ｂ））。更に、ＳＳＩＭ演算部２２０２において、ＳＳＩＭ演算の結果が反転されることで（ｙ'＝２５５－（ｙ×２５５））、ＳＳＩＭ画像が出力される。ＳＳＩＭ画像は、誤推論の原因となる画像箇所を高精度に指定した画像であり、画素値が大きいと差分が大きく、画素値が小さいと差分が小さいことを表す。なお、ＳＳＩＭ演算の結果を反転する処理は、例えば、ｙ'＝１－ｙを算出することにより行ってもよい。

続いて、切り出し部２２０３において、差分画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｃ）が出力される。同様に、切り出し部２２０３において、ＳＳＩＭ画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｄ）が出力される。

ここで、変更可能領域は、誤推論の原因となる画像部分の領域を特定したものであり、詳細原因解析部２１１０では、特定した領域の中で、更に、画素粒度での原因解析を行うことを目的としている。

このため、切り出し部２２０３では、切り出し画像（Ｃ）と切り出し画像（Ｄ）とを乗算し、乗算画像（Ｇ）を生成する。乗算画像（Ｇ）は、誤推論の原因となる画像箇所での画素修正情報を更に高精度に指定した、画素修正情報に他ならない。

また、切り出し部２２０３では、乗算画像（Ｇ）に対して強調処理を行い、強調乗算画像（Ｈ）を出力する。なお、切り出し部２２０３では、強調乗算画像（Ｈ）を下式に基づいて算出する。
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）－ｍｉｎ（Ｇ））
続いて作用部２２０４では、誤推論画像（Ａ）から強調乗算画像（Ｈ）を減算することで重要部分を可視化し、作用結果画像を生成する。

なお、図２３に示した強調処理の方法は一例にすぎず、可視化した際に重要部分がより識別しやすくなる方法であれば、他の方法により強調処理を行ってもよい。

＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２１１０による詳細原因解析処理の流れについて説明する。図２４は、詳細原因解析処理の流れを示す第１のフローチャートである。

ステップＳ２４０１において、画像差分演算部２２０１は、誤推論画像とスコア最大化リファイン画像との差分画像を算出する。

ステップＳ２４０２において、ＳＳＩＭ演算部２２０２は、誤推論画像とスコア最大化リファイン画像とに基づいて、ＳＳＩＭ画像を演算する。

ステップＳ２４０３において、切り出し部２２０３は、変更可能領域に対応する差分画像を切り出す。

ステップＳ２４０４において、切り出し部２２０３は、変更可能領域に対応するＳＳＩＭ画像を切り出す。

ステップＳ２４０５において、切り出し部２２０３は、切り出した差分画像と切り出したＳＳＩＭ画像とを乗算し、乗算画像を生成する。

ステップＳ２４０６において、切り出し部２２０３は、乗算画像に対して強調処理を行う。また、作用部２２０４は、強調処理された乗算画像を、誤推論画像から減算し、作用結果画像を出力する。

以上の説明から明らかなように、第４の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像とに基づいて、差分画像とＳＳＩＭ画像とを生成し、変更可能領域を切り出して乗算する。これにより、第４の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。

［第５の実施形態］
上記第４の実施形態では、誤推論画像とスコア最大化リファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤推論の原因となる画像箇所を画素単位で可視化する場合について説明した。

これに対して、第５の実施形態では、更に、グレイスケール化重要特徴マップを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。以下、第５の実施形態について、上記第４の実施形態との相違点を中心に説明する。

＜誤推論原因抽出部の機能構成＞
はじめに、第５の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２５は、誤推論原因抽出部の機能構成の一例を示す第５の図である。図２１に示した誤推論原因抽出部の機能構成との相違点は、図２５の場合、詳細原因解析部２５１０の機能が、図２１に示す詳細原因解析部２１１０の機能とは異なる点、及び、詳細原因解析部２５１０が、推論部３０３より推論部構造情報を取得する点である。

詳細原因解析部２５１０は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて生成した、差分画像とＳＳＩＭ画像とグレイスケール化重要特徴マップとを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。

なお、詳細原因解析部２５１０が誤推論の原因となる画像箇所を画素単位で可視化する際に用いる差分画像、ＳＳＩＭ画像、グレイスケール化重要特徴マップは、以下のような属性を有する。
・差分画像：画素ごとの差分情報であり、指定したラベルの分類確率をよくするために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・グレイスケール化重要特徴マップ：正解ラベルの推論に影響を与える特徴部分を可視化したマップである。

＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２５１０の機能構成について説明する。図２６は、詳細原因解析部の機能構成の一例を示す第２の図である。図２２に示す機能構成との相違点は、図２６の場合、重要特徴マップ生成部２６０１を有する点、及び、切り出し部２６０２の機能が、図２２の切り出し部２２０３の機能とは異なる点である。

重要特徴マップ生成部２６０１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部２６０１は、選択的ＢＰ法を用いることで、推論部構造情報に基づいて、グレイスケール化重要特徴マップを生成する。

切り出し部２６０２は、差分画像及びＳＳＩＭ画像から、変更可能領域に対応する画像部分を切り出すことに加えて、グレイスケール化重要特徴マップから、変更可能領域に対応する画像部分を切り出す。更に、切り出し部２６０２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とグレイスケール化重要特徴マップとを乗算して、乗算画像を生成する。

このように、差分画像とＳＳＩＭ画像とグレイスケール化重要特徴マップとを乗算することで、作用結果画像において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。

なお、乗算の際に差分画像を用いることで、作用結果画像は、正解ラベルのスコアが上がる画像に自動的に修正されることになる。したがって、差分画像を作用結果画像として出力してもよい。更に、このような利点を考慮しないのであれば、詳細原因解析部２５１０は、（差分画像を用いずに）ＳＳＩＭ画像とグレイスケール化重要特徴マップとを用いて乗算を行い、作用結果画像を出力してもよい。

＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２５１０の処理の具体例について説明する。図２７は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図２３の詳細原因解析部２１１０の処理の具体例との相違点は、重要特徴マップ生成部２６０１が、推論部構造情報（Ｉ）に基づいて、選択的ＢＰ法を用いた重要特徴マップ生成処理を行い、グレイスケール化重要特徴マップを生成している点である。また、切り出し部２６０２が、グレイスケール化重要特徴マップから変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｊ）を出力している点である。更に、切り出し部２６０２が、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とを乗算し、乗算画像（Ｇ）を生成している点である。

＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２５１０による詳細原因解析処理の流れについて説明する。図２８は、詳細原因解析処理の流れを示す第２のフローチャートである。図２４に示したフローチャートとの相違点は、ステップＳ２８０１、ステップＳ２８０２、ステップＳ２８０３である。

ステップＳ２８０１において、重要特徴マップ生成部２６０１は、スコア最大化リファイン画像を入力としてラベルを推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部２６０１は、選択的ＢＰ法を用いることで、推論部構造情報に基づいてグレイスケール化重要特徴マップを生成する。

ステップＳ２８０２において、切り出し部２６０２は、グレイスケール化重要特徴マップから、変更可能領域に対応する画像部分を切り出す。

ステップＳ２８０３において、切り出し部２６０２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とグレイスケール化重要特徴マップとを乗算して、乗算画像を生成する。

以上の説明から明らかなように、第５の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて、差分画像とＳＳＩＭ画像とグレイスケール化重要特徴マップとを生成し、変更可能領域を切り出して乗算する。これにより、第５の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：解析装置
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：マップ生成部
１４３ ：特定部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：スコア誤差演算部
３１１ ：重要特徴マップ生成部
３１２ ：劣化尺度マップ生成部
３１３ ：重畳部
３２１ ：スーパーピクセル分割部
３２２ ：重要スーパーピクセル決定部
３２３ ：重要スーパーピクセル評価部
６１１ ：選択的逆誤差伝播部
６１２ ：非注目画素オフセット調整部
６１３ ：グレイスケール化部
１１１０ ：領域抽出部
１１１１ ：合成部
１７１０ ：マップ生成部
１７１１ ：平均化部
１９１０ ：リファイン画像生成部
１９１１ ：画像誤差演算部
１９２０ ：特定部
１９２１ ：補正部
２１１０ ：詳細原因解析部
２２０１ ：画像差分演算部
２２０２ ：ＳＳＩＭ演算部
２２０３ ：切り出し部
２２０４ ：作用部
２５１０ ：詳細原因解析部
２６０１ ：重要特徴マップ生成部
２６０２ ：切り出し部

Claims (6)

1. 画像認識処理の際に誤ったラベルが推論される誤推論画像と、リファイン画像との差分を用いて、前記誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成するリファイン画像生成部と、
   前記誤推論画像の複数の画素のうち前記スコアを最大化させたリファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記スコアを最大化させたリファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップであって、各注目度合いの出現頻度に基づいて調整した第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
   前記誤推論画像において、ピクセルの集合ごとに前記第３のマップの画素値を算出することで、誤推論の原因となるピクセルの集合を特定する特定部と、を有し、
   前記リファイン画像生成部は、
   前記特定部により前記ピクセルの集合が特定された場合、前記特定されたピクセルの集合の領域について前記差分を補正し、補正後の差分を用いて、前記誤推論画像から、前記推論の正解ラベルのスコアを最大化させたリファイン画像を再生成する、解析装置。
2. 前記マップ生成部は、各注目度合いの出現頻度が最大となる画素値を特定し、特定した画素値がゼロになるように、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを調整する、請求項１に記載の解析装置。
3. 前記マップ生成部は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法のいずれかを用いて、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを生成する、請求項２に記載の解析装置。
4. 前記誤推論画像と前記スコアを最大化させたリファイン画像との差分に基づいて算出される差分画像から、所定の領域を切り出した画像と、
   前記誤推論画像と前記スコアを最大化させたリファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、所定の領域を切り出した画像と、
   前記第２のマップから、所定の領域を切り出した画像と、
   を乗算することで得られる乗算画像を、前記誤推論画像にて可視化する請求項１に記載の解析装置。
5. 画像認識処理の際に誤ったラベルが推論される誤推論画像と、リファイン画像との差分を用いて、前記誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
   前記誤推論画像の複数の画素のうち前記スコアを最大化させたリファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記スコアを最大化させたリファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップであって、各注目度合いの出現頻度に基づいて調整した第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
   前記誤推論画像において、ピクセルの集合ごとに前記第３のマップの画素値を算出することで、誤推論の原因となるピクセルの集合を特定する、処理をコンピュータに実行させ、
   前記ピクセルの集合が特定された場合、前記特定されたピクセルの集合の領域について前記差分を補正し、補正後の差分を用いて、前記誤推論画像から、前記推論の正解ラベルのスコアを最大化させたリファイン画像を再生成する、解析プログラム。
6. 画像認識処理の際に誤ったラベルが推論される誤推論画像と、リファイン画像との差分を用いて、前記誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
   前記誤推論画像の複数の画素のうち前記スコアを最大化させたリファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記スコアを最大化させたリファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップであって、各注目度合いの出現頻度に基づいて調整した第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
   前記誤推論画像において、ピクセルの集合ごとに前記第３のマップの画素値を算出することで、誤推論の原因となるピクセルの集合を特定する、処理をコンピュータが実行し、
   前記ピクセルの集合が特定された場合、前記特定されたピクセルの集合の領域について前記差分を補正し、補正後の差分を用いて、前記誤推論画像から、前記推論の正解ラベルのスコアを最大化させたリファイン画像を再生成する、解析方法。

Images