JP7055769B2 - データ生成装置、データ生成方法およびプログラム - Google Patents

Description

本発明の実施形態は、データ生成装置、データ生成方法およびプログラムに関する。

ニューラルネットワークによる推論の根拠を分析するための技術が提案されている。例えば、乱数画像を初期値として、ニューラルネットワークの出力（モデル出力）が大きくなるほど小さくなるロス関数を最適化することでモデル出力を最大とする入力画像を推定する技術が提案されている。また、乱数ベクトルから入力画像を生成する生成器を別途学習しておき、生成器を用いて、モデル出力を最大とする入力画像を乱数ベクトルから生成する技術が提案されている。

Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, "Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps", in arXiv:1312.6034v2 19 Apr 2014. Anh Nguyen, Alexey Dosovitskiy, Jason Yosinski, Thomas Brox, Jeff Clune, "Synthesizing the preferred inputs for neurons in neural networks via deep generator networks", in arXiv:1605.09304v5 23 Nov 2016. B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, A. Torralba, "Learning Deep Features for Discriminative Localization", In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2921-2929, 2016.

しかしながら、従来技術では、入力データ（入力画像など）の推定（生成）の精度が低下する場合があった。例えば、従来技術は、Ｌ２正則などの単純な正則化を用いるため、モデル出力は大きくなるが、不自然な入力画像が生成される場合があった。

実施形態のデータ生成装置は、推論部と、ロス算出部と、更新部と、を備える。推論部は、入力データをニューラルネットワークに入力し、ニューラルネットワークの推論結果を得る。ロス算出部は、推論結果と推論の正解を示す対象ラベルとが一致する度合いが大きいほど値が小さくなる第１ロス、および、入力データに含まれる複数の要素の推論結果に対する寄与度と対象ラベルとに基づく第２ロスを算出する。更新部は、第１ロスおよび第２ロスに基づいて入力データを更新する。

本実施形態にかかるデータ生成装置のブロック図。 本実施形態における推定処理のフローチャート。 初期画像の一例を示す図。 注目度画像の一例を示す図。 本実施形態にかかるデータ生成装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかるデータ生成装置の好適な実施形態を詳細に説明する。

以下では、画像を入力データとして推論を行うニューラルネットワークを学習する学習装置を例に説明する。より具体的には、入力された画像（２次元画像）を、数字の０～９のいずれかに分類する１０クラスの画像分類問題を例に説明する。適用可能な処理はこれに限られるものではなく、その他の推論処理（認識処理、分類処理、回帰処理を含む）にも適用できる。例えば、１クラスの分類処理（異常検出など）などの１０クラス以外の分類処理にも適用できる。また、３次元画像を用いた推論、音声データからの推論対象（特定の話者など）の推論、および、テキストデータを用いた推論などにも適用できる。

本実施形態は、ニューラルネットワークの推論（認識）の寄与度に基づいた正則化を導入する。この正則化により、入力画像（入力データの一例）の推定精度が向上する。また、本実施形態では、生成器などの学習は不要である。入力画像は、ニューラルネットワークに入力される画像を意味する。入力画像は、例えば、初期値となる画像、および、初期画像に基づき更新され、推定された画像を含む。以下では、初期値となる画像を初期画像といい、推定された画像を推定画像という場合がある。

図１は、本実施形態にかかるデータ生成装置１００を示すブロック図である。データ生成装置１００は、記憶部１２１と、取得部１０１と、推論部１０２と、ロス算出部１０３と、注目度画像算出部１０４と、ロス算出部１０５と、更新部１０６と、出力制御部１０７と、を備える。

記憶部１２１は、データ生成装置１００による各種処理に用いる各種データを記憶する。例えば記憶部１２１は、学習済みのニューラルネットワークを定めるパラメータ、初期画像、および、推定画像を記憶する。ニューラルネットワークを定めるパラメータは、例えば重み係数およびバイアスである。

記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

取得部１０１は、データ生成装置１００による各種処理で用いる各種情報を取得する。例えば取得部１０１は、初期画像、および、推論の正解を示す対象ラベルを取得する。取得部１０１が初期画像および対象ラベルを取得する方法はどのような方法であってもよい。取得部１０１は、例えば、記憶部１２１に記憶された初期画像および対象ラベルを読み出すことにより取得してもよいし、データ生成装置１００の外部のサーバ装置などから初期画像および対象ラベルを受信することにより取得してもよい。

推論部１０２は、入力画像（初期画像、および、推定画像）に対するニューラルネットワークによる推論を実行する。例えば推論部１０２は、入力画像をニューラルネットワークに入力し、ニューラルネットワークから出力される推論結果を得る。

ロス算出部１０３は、入力画像の更新に用いるロスを算出する。ロスは、損失または誤差などとも呼ばれる。例えばロス算出部１０３は、推論部１０２による推論結果と、対象ラベルと、が一致する度合い（尤度）が大きいほど値が小さくなるロス（以下、ロスＡともいう）を算出する。

注目度画像算出部１０４は、入力画像をニューラルネットワークに入力したときの入力画像の推論に寄与した領域を示す注目度画像（注目度データの一例）を生成する。注目度画像は、領域（画素など）ごとの推論時に注目（着眼）した度合い（注目度、寄与度）を示す画像（データ）と解釈することができる。注目度画像は、顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）などと呼ばれる場合がある。注目度画像の生成方法の詳細は後述する。

ロス算出部１０５は、入力画像の更新に用いるロスを算出する。例えばロス算出部１０５は、入力画像に含まれる複数の画素（要素）の推論結果に対する寄与度と、対象ラベルとに基づくロス（以下、ロスＢともいう）を算出する。

なお、ロス算出部１０３およびロス算出部１０５は、分離されている必要はなく、１つの構成部（ロス算出部）がロスＡおよびロスＢの両方を算出するように構成してもよい。

更新部１０６は、ロスＡおよびロスＢに基づいて入力画像を更新し、新たな入力画像（推定画像）を生成する。例えば更新部１０６は、ロスＡおよびロスＢの両方を考慮したロス（ロスＡおよびロスＢの加重和など）がより小さくなるように、誤差逆伝搬法により入力画像を更新する。更新方法は誤差逆伝播法に限られるものではなく、どのような方法であってもよい。

出力制御部１０７は、データ生成装置１００からの各種情報の出力を制御する。例えば出力制御部１０７は、更新部１０６により更新（生成）された推定画像を出力する。出力制御部１０７による情報の出力方法は、どのような方法であってもよい。例えば、出力制御部１０７は、ディスプレイなどの表示装置に情報を表示する方法、プリンタなどの出力装置を用いて情報を出力（印刷）する方法、および、サーバ装置などの外部の装置にネットワークを介して情報を送信する方法などを用いることができる。

上記各部（取得部１０１、推論部１０２、ロス算出部１０３、注目度画像算出部１０４、ロス算出部１０５、更新部１０６、出力制御部１０７）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

またデータ生成装置１００は、物理的に１つの装置によって構成されてもよいし、物理的に複数の装置によって構成されてもよい。例えばデータ生成装置１００は、クラウド環境上で構築されてもよい。

次に、このように構成された本実施形態にかかるデータ生成装置１００による推定画像の推定処理について説明する。図２は、本実施形態における推定処理の一例を示すフローチャートである。

まず、取得部１０１は、初期画像およびラベルを取得する（ステップＳ１０１）。以下では、入力画像をｘ、ラベルをｔと表す。

図３は、初期画像の一例を示す図である。初期画像は、例えば横幅Ｗ、縦幅Ｈの画素集合であり、Ｗ×Ｈ次元のベクトルとする。図３に示すように、初期画像３０１は、ｘ（ｕ，ｖ）と表される。ｕは水平方向の画素位置を表し、ｖは垂直方向の画素位置を表す。

ラベルｔは、入力画像による推論の正解に該当する要素が１となり、それ以外の要素が０となる１０次元ベクトルである。図３のように、正解が「９」である初期画像ｘの場合は、ラベルｔは、（０，０，０，０，０，０，０，０，０，１）^Ｔのように表される。以下ではラベルｔのうち、正解を示す要素を対象ラベルといい、それ以外の要素を非対象ラベルという場合がある。

初期画像は、どのような画像であってもよく、目的等に応じて異なる画像を初期画像として用いることができる。例えば、以下のような画像を初期画像とすることができる。
・ニューラルネットワークの学習時に用いた訓練データのうち、対象ラベルに該当する訓練データの平均に相当する画像
・予め定められた実画像
・対象ラベルおよび非対象ラベルを含む複数のラベルに該当する訓練データの平均に相当する画像
・画素値がすべて０の画像（ゼロ画像）
・画素値を乱数により定めた画像（乱数画像）

図２では、初期画像そのものを外部から受け取る例が示されているが、取得部１０１が、初期画像を生成するための情報を受け取り、その情報を用いて初期画像を生成してもよい。例えば取得部１０１は、乱数の平均および分散などのパラメータを受け取り、受け取ったパラメータを用いて初期画像を生成してもよい。

取得部１０１は、取得した初期画像を、推定画像の初期値として記憶部１２１に設定（記憶）する（ステップＳ１０２）。以下では、推定画像を推定画像ｘと表す場合がある。

次に、推論部１０２は、推定画像ｘをニューラルネットワークに入力し、この入力に対するニューラルネットワークの推論結果である出力ｙを取得する（ステップＳ１０３）。出力ｙは、以下の（１）式により表される。
ｙ＝ｆ（ｗ、ｘ） ・・・（１）

ｆは、重み係数集合ｗを保持するニューラルネットワークの関数である。例えば関数ｆは、畳み込み層、全結合層、正規化層、および、プーリング層などの複数の層の処理を繰り返し、ラベルｔと同じ次元数の１０次元ベクトルを出力する。なお、関数ｆの出力ベクトルは、ソフトマックス処理後の値であって、すべて要素が非負の値であり、かつ、要素の総和が１に正規化されているものとする。

次に、ロス算出部１０３は、ラベルと、推論結果（出力ｙ）とに基づいて、出力ｙと対象ラベルとが一致する度合いが大きいほど小さくなるようなロスＡを算出する（ステップＳ１０４）。例えばロス算出部１０３は、以下の（２）式によりロスＡ（Ｌ_Ａ）を算出する。
Ｌ_Ａ＝ｔ^Ｔｌｎ（ｙ） ・・・（２）

次に注目度画像算出部１０４は、ニューラルネットワークの中間層データ（中間画像）およびパラメータ（重み係数）などに基づいて注目度画像を生成する（ステップＳ１０５）。注目度画像ｓは、例えば以下の（３）式により生成される。
ｓ＝ｇ（ｗ、ｘ） ・・・（３）

ｇは、ニューラルネットワークの重み係数集合ｗ、および、推定画像ｘに基づいて注目度画像を出力する関数である。注目度画像は、例えば非特許文献３に示されるクラス・アクティベーション・マッピング（Class Activation Mapping）などを用いることができる。クラス・アクティベーション・マッピングを用いる場合は、推定画像ｘを推論したときのニューラルネットワークの中間画像を、対象ラベルに関連する重み係数集合ｗの値で線形合成する関数が、関数ｇとして使用して生成できる。中間画像は、ニューラルネットワークの中間層の出力に相当する画像である。

図４は、注目度画像の一例を示す図である。図４は、正解が「９」である入力画像４０１に対する推論結果をもとに算出される注目度画像４０２の例を示す。注目度画像４０２の上部の数値（０～９）は、注目度画像４０２の１０個の要素それぞれに対応する推論結果を表す。注目度画像４０２は、推論の寄与度に応じた画素値を有する画像である。図４では、ハッチングの種類の違いにより画素値（寄与度）の違いを表しているが、例えば非特許文献３と同様に、色により画素値（寄与度）を表すように構成してもよい。

図４の例では、「９」に対応する注目度画像の画素４１１、および、「４」に対応する注目度画像の一部の画素４１２が、寄与度が大きい画素となっている。

図４に示す注目度画像は一例であり、その他のどのような注目度画像を用いてもよい。多くの注目度画像の算出方法は、図４の例と同様に、出力ｙのそれぞれの要素ごとに寄与度を算出することが可能である。算出方法によって注目度画像の縦幅と横幅は異なるが、本実施形態では推定画像ｘと同じ縦幅および横幅で注目度画像を算出することとする。すなわち、本実施形態では、注目度画像ｓは、（Ｗ×Ｈ×Ｃ）次元ベクトルとなる。Ｃは、分類するクラスの個数に相当する。本実施形態ではＣ＝１０である。

以上のように、注目度画像は、入力画像をニューラルネットワークに入力したときの入力画像の推論に寄与した領域を示す画像である。推論に寄与した領域は、例えば、その領域の値が変わることによる推論結果への影響が大きい領域、出力のうち活性がある部分からニューラルネットワークの経路を逆にたどって得られる領域、などを含む。

図２に戻り、ロス算出部１０５は、ラベルと注目度画像ｓとに基づいて、注目度画像ｓに基づいた正則化項であるロスＢを算出する（ステップＳ１０６）。例えばロス算出部１０５は、以下の（４）式のように、対象ラベルに対する注目度画像ｓの画素値の総和をロスＢ（Ｌ_Ｂ）として算出する。
Ｌ_Ｂ＝Σ_ｖΣ_ｕｓ（ｕ、ｖ、ｃ） ・・・（４）

ここで、ｃは、ラベルｔのうち対象ラベルに相当する要素を示す値である。ｓ（ｕ、ｖ、ｃ）は、水平方向の画素位置ｕ、垂直方向の画素位置ｖ、対象ラベルｃに対応する注目度画像の画素値を表す。（４）式のロスＢは、対象ラベルと一致する推論結果に対する寄与度が大きいほど小さい値となるロスであると解釈することができる。（４）式の代わりに、非対象ラベルと一致する推論結果（対象ラベルと一致しない推論結果）に対する寄与度が小さいほど小さい値となるロスをロスＢとしてもよい。

なお、（４）式に示すような注目度画像ｓの画素値の総和に相当する値を算出できれば、ステップＳ１０５で注目度画像を生成する必要はない。

次に、更新部１０６は、ロスＬ_ＡおよびロスＬ_Ｂに基づいて、誤差逆伝搬法などの方法により、推定画像ｘの値を更新し、新たな推定画像を生成する（ステップＳ１０７）。

次に、更新部１０６は、更新が終了したか否かを判定する（ステップＳ１０８）。更新部１０６は、例えば、ロス（ロスＬ_ＡおよびロスＬ_Ｂの加重和など）の絶対値、ロスの減少幅、および、推定画像の更新回数（ステップＳ１０３からステップＳ１０７までの処理の回数）などにより、更新の終了を判定する。更新を継続する場合は（ステップＳ１０８：Ｎｏ）、ステップＳ１０３に戻り、処理が繰り返される。更新が終了したと判定された場合（ステップＳ１０８：Ｙｅｓ）、推定処理を終了する。この後、例えば出力制御部１０７が、推定された推定画像を出力してもよい。

以上のように、本実施形態では、ニューラルネットワークの出力を最大にする入力データ（入力画像）を推定するときに、ニューラルネットワークの出力に対する寄与度を表す注目度画像に基づく正則化項を導入する。これにより、推定画像の推定精度を向上させること可能となる。

本実施形態のように、学習済みのニューラルネットワークの出力がより大きくなる入力データを推定することで、ニューラルネットワークが何を学んだかを解釈したり理解したりすることが可能となる。その結果、ニューラルネットワークによる推定の根拠を説明すること（透明性を示すこと）、および、訓練データの偏りに気づくことなどが可能となる。すなわち、推定した入力データにより、ニューラルネットワークのデバッグが可能となる。

また、入力と出力との関係性を暗にニューラルネットワークで近似し、そのネットワークの出力を大きくする入力を推定することもできる。すなわち、出力を大きくする新しい入力データ（入力パターン）を発見するために、本実施形態の手法を適用することができる。

（変形例１）
推定処理は、他クラスに分類する分類処理だけでなく、例えば回帰処理であってもよい。例えば、設計図の画像を入力して、特性（効率、耐久性など）を出力するニューラルネットワークを対象としてもよい。この場合、ロス算出部１０３は、例えば、特性が大きくなるほど小さくなるロスＡを、以下の（５）式に従い算出する。
Ｌ_Ａ＝ｅｘｐ（－ｙ） ・・・（５）

ロスＡは、ニューラルネットワークの出力（特性など）をより大きくするほど小さくなるロスに限られない。例えば、出力を特定の値（対象ラベルに相当）に近づけるなどの観点でロスＡが設計されてもよい。特定の値を０として、出力が０に近づくほどロスＡが小さくなるよう設計されてもよい。

回帰処理の場合、対象ラベルが用いられない場合がある。このような場合、ロス算出部１０５は、対象ラベルを用いずに注目度画像ｓに基づいた正則化項であるロスＢを算出する。例えばロス算出部１０５は、以下の（６）式のように、注目度画像ｓの画素値の総和をロスＢ（Ｌ_Ｂ）として算出する。ｓ（ｕ、ｖ）は、水平方向の画素位置ｕ、垂直方向の画素位置ｖに対応する注目度画像の画素値を表す。
Ｌ_Ｂ＝Σ_ｖΣ_ｕｓ（ｕ、ｖ） ・・・（６）

上記のように、入力データは画像に限られない。例えば、温度、時間などの加工品の製造時のパラメータ（テキストデータなど）を入力して、特性を出力するニューラルネットワークを対象としてもよい。この場合、より良い特性が出力されるパラメータを推定するために、本実施形態の手法を適用できる。

また、音声データが入力データとされてもよい。例えば、音声データを入力して、音声認識結果を出力するニューラルネットワークを対象としてもよい。このようなニューラルネットワークを対象とした場合、音声認識に寄与するタイミング（時間）をコントロールしながら、認識の精度（出力）をより大きくする入力を推定することが可能となる。

（変形例２）
ロス算出部１０５は、上記（４）式以外に、以下の値をロスＢとして算出してもよい。
（ＬＢ１）注目度画像の画素値の最大値
（ＬＢ２）注目度画像と初期画像との誤差
（ＬＢ３）注目度画像の所定の分布との誤差

ＬＢ２の場合、初期画像は、乱数画像およびゼロ画像などではなく、自然で意味のある画像であることがより有効である。例えば、推定画像を推定する時点で最も性能がよい入力画像（設計図の画像など）を初期画像とする。これにより、推論に寄与する要素の位置を固定したまま、ニューラルネットワークの出力をより大きくする入力データ（入力画像など）を推定できるようになる。

ＬＢ３の所定の分布は、例えば、注目する位置に大きい値が設定された分布などである。例えば、右上の領域に飛行機が含まれるという条件でニューラルネットワークの出力が大きくなるような推定画像を推定する場合、右上の領域の画素値が大きい画像を、所定の分布として用いることができる。これにより、推論に寄与するパターンの出現位置をコントロールした上で、ニューラルネットワークの出力をより大きくする入力データ（入力画像など）を推定できるようになる。

ＬＢ２およびＬＢ３で用いる誤差は、どのような方法で算出されてもよいが、例えば正規化相互相関、および、平均二乗誤差などを用いることができる。

次に、本実施形態にかかるデータ生成装置のハードウェア構成について図５を用いて説明する。図５は、本実施形態にかかるデータ生成装置のハードウェア構成例を示す説明図である。

本実施形態にかかるデータ生成装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施形態にかかるデータ生成装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施形態にかかるデータ生成装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、本実施形態にかかるデータ生成装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかるデータ生成装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態にかかるデータ生成装置で実行されるプログラムは、コンピュータを上述したデータ生成装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ データ生成装置
１０１ 取得部
１０２ 推論部
１０３、１０５ ロス算出部
１０４ 注目度画像算出部
１０６ 更新部
１０７ 出力制御部
１２１ 記憶部

Claims (8)

1. 入力データをニューラルネットワークに入力し、前記ニューラルネットワークの推論結果を得る推論部と、
   前記推論結果と推論の正解を示す対象ラベルとが一致する度合いが大きいほど値が小さくなる第１ロス、および、前記入力データに含まれる複数の要素の前記推論結果に対する寄与度と前記対象ラベルとに基づく第２ロスを算出するロス算出部と、
   前記第１ロスおよび前記第２ロスに基づいて前記入力データを更新する更新部と、
   を備えるデータ生成装置。
2. 前記第２ロスは、前記対象ラベルと一致する推論結果に対する前記寄与度が大きいほど小さい値である、
   請求項１に記載のデータ生成装置。
3. 前記第２ロスは、前記対象ラベルと一致しない推論結果に対する前記寄与度が小さいほど小さい値である、
   請求項１に記載のデータ生成装置。
4. 複数の前記要素ごとの寄与度を示す注目度データを生成する生成部をさらに備え、
   前記第２ロスは、前記注目度データと予め定められたデータとの誤差が小さいほど小さい値である、
   請求項１に記載のデータ生成装置。
5. 前記予め定められたデータは、前記推論結果の初期値である、
   請求項４に記載のデータ生成装置。
6. 入力データをニューラルネットワークに入力し、前記ニューラルネットワークの推論結果を得る推論部と、
   前記推論結果の値が大きいほど、または、推論結果が特定の値に近いほど値が小さくなる第１ロス、および、前記入力データに含まれる複数の要素の前記推論結果に対する寄与度に基づく第２ロスを算出するロス算出部と、
   前記第１ロスおよび前記第２ロスに基づいて前記入力データを更新する更新部と、
   を備えるデータ生成装置。
7. 入力データをニューラルネットワークに入力し、前記ニューラルネットワークの推論結果を得る推論ステップと、
   前記推論結果と推論の正解を示す対象ラベルとが一致する度合いが大きいほど値が小さくなる第１ロス、および、前記入力データに含まれる複数の要素の前記推論結果に対する寄与度と前記対象ラベルとに基づく第２ロスを算出するロス算出ステップと、
   前記第１ロスおよび前記第２ロスに基づいて前記入力データを更新する更新ステップと、
   を含むデータ生成方法。
8. コンピュータを、
   入力データをニューラルネットワークに入力し、前記ニューラルネットワークの推論結果を得る推論部と、
   前記推論結果と推論の正解を示す対象ラベルとが一致する度合いが大きいほど値が小さくなる第１ロス、および、前記入力データに含まれる複数の要素の前記推論結果に対する寄与度と前記対象ラベルとに基づく第２ロスを算出するロス算出部と、
   前記第１ロスおよび前記第２ロスに基づいて前記入力データを更新する更新部と、
   として機能させるためのプログラム。

Images