JP7294384B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

一般に、今日の画像認識などで高い性能を有する多層ニューラルネットワークは、膨大なパラメータと複雑なモデルで構成されている。しかし、この種の機械学習によるシステムは優れた性能を示す一方、ネットワークの出力の判断根拠の解釈が難しいという課題があった。この課題を解決するため、ニューラルネットワークの判断根拠を解釈する手法がいくつか提案されている。

ニューラルネットワークの判断根拠を解釈する手法の１つに、入力データの一部領域をマスクで隠したときのニューラルネットワークからの出力の変化を用いて、入力データの重要な領域を可視化する手法がある。

非特許文献１に記載の手法は、入力データの一部分にマスクをかけたものを学習済みのニューラルネットワークに入力し、出力値が正解から遠くなるようなマスクを学習することによって、入力データの貢献度が高い部分を隠すようなマスクを作成する手法である。マスクで隠された部分を重要な領域として提示することで、提示された重要な領域が判断根拠の説明材料とされ得る。

特許文献１に記載の手法は、マスクをニューラルネットワークの学習によって得るという手法である。かかる手法は、入力データの一部分にマスクをかけたものを学習済みのニューラルネットワークに入力し、出力値が変わらないようなマスクを追加で学習する。これにより、生成されたマスクは入力の貢献度が低い部分を隠すものとなり、残った領域が重要な領域として提示され得る。

特開２０２０－１３５４３８号公報

Ruth C. Fong、他1名、"Interpretable Explanations of Black Boxes by Meaningful Perturbation"、[online]、［令和3年10月13日検索］、インターネット＜https://arxiv.org/pdf/1704.03296.pdf＞ Daniel Smilkov、他4名、"SmoothGrad: removing noise by adding noise"、[online]、［令和3年10月13日検索］、インターネット＜https://arxiv.org/pdf/1706.03825.pdf＞ Mukund Sundararajan、他2名、"Axiomatic Attribution for Deep Networks"、[online]、［令和3年10月13日検索］、インターネット＜http://proceedings.mlr.press/v70/sundararajan17a/sundararajan17a.pdf?bcsi_scan_d8c5180072a4f8d0=0&bcsi_scan_filename=sundararajan17a.pdf＞

しかしながら、非特許文献１および特許文献１に記載の手法は、マスクを学習によって獲得する手法である。したがって、これらの手法では、学習コスト（例えば、学習に必要な機材、学習に掛かる計算コスト、学習に掛かる人的負荷など）が必要になってしまう。

そこで、学習コストを掛けずに、入力データを構成する要素の重要度を算出することが可能な技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、入力データを取得する入力部と、前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出する抽出部と、前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力する推論部と、前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出する重要度算出部と、を備える、情報処理装置が提供される。

前記推論部は、前記入力データと前記学習済みの機械学習モデルとに基づいて前記入力データに対応する推論値を出力し、前記重要度算出部は、前記入力データに対応する推論値と前記要素に応じた１または複数の抽出データに対応する推論値それぞれとの差分に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記入力データに対応する推論値と前記要素が属する１または複数の抽出データに対応する推論値それぞれとの差分の逆数の平均値に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記入力データに対応する推論値と前記要素が属さない１または複数の抽出データに対応する推論値それぞれとの差分の平均値に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記要素が属する１または複数の抽出データに対応する推論値の平均値に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記平均値が大きいほど、前記要素に対応する重要度を高く算出してもよい。

前記学習済みの機械学習モデルは、学習済みのニューラルネットワークであってもよい。

前記重要度算出部は、前記要素が属する抽出データに対応する推論値に基づいて、誤差逆伝播法により前記要素が属する１または複数の抽出データそれぞれに対応する勾配を算出し、前記勾配に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記勾配の大きさの平均値に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記要素が属する１または複数の抽出データそれぞれに対応する推論値の導出過程において生成される中間表現に基づいて、前記要素に対応する重要度を算出してもよい。

前記重要度算出部は、前記中間表現の値の大きさの平均値に基づいて、前記要素に対応する重要度を算出してもよい。

前記入力データは、画像データであり、前記要素は、前記画像データを構成するピクセルであってもよい。

また、本発明の別の観点によれば、入力データを取得することと、前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出することと、前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力することと、前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出することと、を含む、情報処理方法が提供される。

また、本発明の別の観点によれば、コンピュータを、入力データを取得する入力部と、前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出する抽出部と、前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力する推論部と、前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出する重要度算出部と、を備える情報処理装置として機能させるプログラムが提供される。

以上説明したように本発明によれば、学習コストを掛けずに、入力データを構成する要素の重要度を算出することが可能な技術が提供される。

本発明の第１の実施形態に係る情報処理装置の機能構成例を示す図である。 抽出部および推論部の機能について説明するための図である。 同実施形態に係る情報処理装置の動作例を示すフローチャートである。 本発明の第２の実施形態に係る情報処理装置の機能構成例を示す図である。 情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。本発明の第１の実施形態では、入力データ（学習用データ）と正解値とに基づく学習によって得られた学習済みの機械学習モデルを用いて入力データの重要領域の推定を行う情報処理装置について説明する。学習に用いられる機械学習アルゴリズムは、典型的にはニューラルネットワークであってよい。しかし、学習に用いられる機械学習アルゴリズムは、ニューラルネットワークに限定されない。例えば、学習に用いられる機械学習アルゴリズムは、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などといった、ニューラルネットワーク以外の機械学習アルゴリズムであってもよい。

なお、以下に説明する、情報処理装置によって実行される処理は、学習済みの機械学習モデルが生成された後、所定のタイミング（例えば、ユーザが重要領域の推定開始を指示したタイミングなど）に実行されてよい。以下では、学習済みの機械学習モデルを、単に「推論モデル」とも表記する。

（１．１．情報処理装置の構成例）
図１は、本発明の第１の実施形態に係る情報処理装置１０の機能構成例を示す図である。図１に示されるように、本発明の第１の実施形態に係る情報処理装置１０は、コンピュータによって実現され、入力部１０１と、抽出部１０２と、推論部１０３と、重要度算出部１０４とを備える。さらに、本発明の第１の実施形態に係る情報処理装置１０によってデータセット１００が用いられる。

データセット１００は、図示しない記憶部によって記憶される。かかる記憶部は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクドライブまたはフラッシュメモリなどのメモリによって構成されてよい。

入力部１０１と、抽出部１０２と、推論部１０３と、重要度算出部１０４とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、図示しない記憶部によって適宜記憶される。

（データセット１００）
データセット１００は、複数の入力データを含む。なお、データセット１００に含まれる複数の入力データは、推論モデルの学習に用いられた学習用データおよび推論モデルのテストに用いられるテストデータと別のデータとして用意されていてもよい。あるいは、データセット１００に含まれる複数の入力データは、推論モデルの学習に用いられた学習用データおよび推論モデルのテストに用いられるテストデータの一部または全部を含んでもよい。

また、本発明の実施形態では、入力データが画像データである場合（特に、静止画像データである場合）を主に想定する。しかし、入力データの種類は特に限定されず、画像データ以外も入力データとして用いられ得る。例えば、入力データは、複数のフレームを含んだ動画像データであってもよいし、各種の時系列データ（例えば、音響データまたは言語データなど）であってもよい。

（入力部１０１）
入力部１０１は、データセット１００から複数の入力データを順次に取得する。入力部１０１は、データセット１００から取得した複数の入力データを順次に抽出部１０２に出力する。入力部１０１よりも後段のブロックにおいては、入力部１０１からの再度の入力に基づいて順次に各自の処理が繰り返し実行されてよい。また、データセット１００から入力部１０１によって取得された複数の入力データの全てについて、後段のブロックにおける各処理が完了した場合には、情報処理装置１０の処理が終了する。

（抽出部１０２）
抽出部１０２は、入力部１０１から出力された入力データから互いに異なるＮ個の部分を複数の抽出データとして抽出する。上記したように、本発明の実施形態においては、入力データが画像データである場合を主に想定する。したがって、抽出部１０２の代わりに、「トリミング部」が用いられてもよい。なお、「トリミング」は、入力データから当該複数の部分以外を取り除くことを意味し得る。

本発明の実施形態においては、抽出部１０２が、抽出データの位置およびサイズを変化させながら、入力データから互いに異なるＮ個の抽出データを順次に抽出する場合を主に想定する。しかし、抽出部１０２は、必ずしも位置およびサイズの両方を変化させなくてもよい。例えば、抽出部１０２は、抽出データの位置を変化させる一方、抽出データのサイズを固定させてもよい。

さらに、本発明の実施形態においては、抽出部１０２が、抽出データの位置およびサイズをランダムに変化させる場合を主に想定する。例えば、抽出部１０２は、正規分布または一様分布から発生させた乱数を用いてランダムな位置およびサイズを決定してもよい。しかし、抽出部１０２は、あらかじめ定められた規則に従って抽出データの位置およびサイズを変化させてもよい。

図２は、抽出部１０２および推論部１０３の機能について説明するための図である。図２を参照すると、入力データの例として入力データ４０が示されている。また、図２を参照すると、入力データ４０からランダムに抽出される抽出データの例として、抽出データ４１～４３が示されている。図２には、図の視認性を確保するため、抽出データの数Ｎが３つの場合が示されている。しかし、抽出データの数Ｎは、２以上の整数であればよい。一例として、抽出データの数Ｎは、５０などに設定されてよい。

抽出部１０２は、入力データと、Ｎ個の抽出データと、入力データにおけるＮ個の抽出データそれぞれの位置およびサイズとを推論部１０３に出力する。

なお、後に説明する推論モデルの入力のサイズが入力データのサイズと同じである場合などには、抽出部１０２は、Ｎ個の抽出データそれぞれのサイズが入力データのサイズと同じになるように、Ｎ個の抽出データそれぞれをリサイズしてから推論部１０３に出力してもよい。リサイズは、抽出データを拡大させることによって実現されてもよいし、入力データに対する抽出データの不足部分を所定の画素によって埋めることによって実現されてもよい。

（推論部１０３）
推論部１０３は、Ｎ個の抽出データと推論モデルとに基づいてＮ個の抽出データそれぞれに対応する推論値を得る。より詳細に、推論部１０３は、Ｎ個の抽出データを順次に推論モデルに入力することにより、推論モデルに推論を行わせる。そして、推論部１０３は、推論モデルへの入力に対応して推論モデルから順次に出力される値をＮ個の抽出データそれぞれに対応する推論値として得る。

さらに、推論部１０３は、入力データと推論モデルとに基づいて入力データに対応する推論値を得る。より詳細に、推論部１０３は、入力データを推論モデルに入力することにより、推論モデルに推論を行わせる。そして、推論部１０３は、推論モデルへの入力に対応して推論モデルから出力される値を入力データに対応する推論値として得る。

なお、本明細書においては、推論モデルへの入力に基づいて推論モデルからの出力を得ることを広く「推論」と言う。

推論モデルの具体的な構成は、特に限定されない。しかし、推論モデルからの出力の形式は、入力データに対応する正解値の形式と合わせて設定されているのがよい。例えば、正解値が分類問題のクラスである場合、推論モデルからの出力は、クラス数分の長さを有するｏｎｅ－ｈｏｔベクトルであるとよい。

図２に示されるように、推論部１０３は、Ｎ個の抽出データそれぞれに対応する推論値、および、入力データに対応する推論値（Ｎ＋１個の推論値）を、重要度算出部１０４に出力する。さらに、推論部１０３は、入力データにおけるＮ個の抽出データそれぞれの位置およびサイズを、重要度算出部１０４に出力する。

（重要度算出部１０４）
重要度算出部１０４は、Ｎ個の抽出データから入力データを構成する要素に応じた抽出データを特定する。そして、重要度算出部１０４は、要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、要素に対応する重要度を算出する。これによって、学習コストを掛けなくても、入力データを構成する要素の重要度が算出され得る。そして、このような重要度の算出が、入力データを構成する全要素について実行されることによって、入力データを構成する全要素の重要度が算出され得る。

なお、上記したように、本発明の実施形態においては、入力データが画像データである場合を主に想定する。かかる場合には、入力データを構成する要素は、画像データを構成するピクセルであり得る。

より詳細に、重要度算出部１０４は、入力データに対応する推論値と要素に応じた１または複数の抽出データそれぞれに対応する推論値との差分を変化量として算出する。そして、重要度算出部１０４は、算出した変化量に基づいて、要素に対応する重要度を算出する。これによって、入力データおよび要素に応じた１または複数の抽出データそれぞれとの間の推論値同士の違いに応じた重要度が算出され得る。

例えば、重要度算出部１０４は、入力データに対応する推論値と要素が属する１または複数の抽出データに対応する推論値それぞれとの差分を変化量として算出してもよい。そして、重要度算出部１０４は、算出した変化量の逆数の平均値に基づいて、その要素に対応する重要度を算出してもよい。

このとき、例えば、重要度算出部１０４は、この変化量の逆数の平均値が大きいほど、要素に対応する重要度を高く算出すればよい。これによって、この変化量の逆数の平均値が大きい要素ほど、重要度が高く算出され得る。ここでは、一例として、重要度算出部１０４は、この変化量の逆数の平均値自体を、その要素に対応する重要度として算出する場合を想定する。

入力データをｘとし、抽出部１０２による抽出データの抽出を示す関数をＴｎ（ｎは、１～Ｎの整数）、推論モデルによる推論を示す関数をＦとすると、入力データｘに対応する推論値と、ｎ番目の抽出データに対応する推論値との差分に該当する変化量Ｖｎは、以下の式（１）によって示される。

Ｖｎ＝｜Ｆ（ｘ）－Ｆ（Ｔｎ（ｘ））｜・・・（１）

Ｎ個の抽出データそれぞれの位置およびサイズに基づいて、Ｎ個の抽出データから、ある要素が属する１または複数の抽出データが特定され得る。図２に示された例において、抽出データ４１と抽出データ４２との重複領域が存在する。このとき、この重複領域に存在する要素が属する抽出データとしては、抽出データ４１と抽出データ４２とが特定される。

ここで、抽出データの集合をｘｎとし、入力データの要素ｐが含まれた抽出データの集合をｎｐとし、集合ｎｐの要素数を｜ｎｐ｜とすると、要素ｐに対応する重要度Ｍｐは、以下の式（２）によって示される。

なお、上記した式（１）においては、変化量Ｖｎとして、入力データｘに対応する推論値から、ｎ番目の抽出データに対応する推論値を減算した値の絶対値が用いられている。しかし、変化量Ｖｎは、タスクに適した距離（例えば、Ｌ１距離、Ｌ２距離またはマハラノビス距離など）の関数によって算出されてもよい。

重要度算出部１０４は、このようにして算出した入力データを構成する各要素に対応する重要度をディスプレイに表示させてもよい。これによって、ユーザは、入力データの重要度を要素ごとに把握することが可能となる。一例として、重要度算出部１０４は、重要度が高いほど色が濃くなるように各要素をディスプレイに表示させてもよい。

あるいは、重要度算出部１０４は、このようにして算出した重要度を要素ごとに閾値と比較してもよい。そして、重要度が閾値よりも高い要素は、重要領域に属するとして扱われてよく、需要度が閾値以下である要素は、重要領域に属さないとして扱われてもよい。重要度算出部１０４は、重要領域をディスプレイに表示させてもよい。これによって、ユーザは、入力データのどの領域が重要領域であるのかを把握することが可能となる。

以上、本発明の第１の実施形態に係る情報処理装置１０の構成例について説明した。

（１．２．情報処理装置の動作例）
図３を参照しながら、本発明の第１の実施形態に係る情報処理装置１０の動作例について説明する。図３は、本発明の第１の実施形態に係る情報処理装置１０の動作例を示すフローチャートである。

まず、図３に示されたように、入力部１０１は、データセット１００から入力データを取得する（Ｓ１１）。入力部１０１は、データセット１００から取得した入力データを抽出部１０２に出力する。

抽出部１０２は、入力部１０１から出力された入力データから、ランダムな位置およびサイズのＮ個の抽出データを抽出する（Ｓ１２）。抽出部１０２は、入力データと、Ｎ個の抽出データと、入力データにおけるＮ個の抽出データそれぞれの位置およびサイズとを推論部１０３に出力する。

さらに、推論部１０３は、入力データとＮ個の抽出データとを順次に推論モデルに入力することにより、推論モデルに推論を行わせる。そして、推論部１０３は、推論モデルへの入力に対応して推論モデルから順次に出力される値を入力データおよびＮ個の抽出データそれぞれに対応する推論値として得る（Ｓ１３）。推論部１０３は、入力データおよびＮ個の抽出データそれぞれに対応する推論値と、入力データにおけるＮ個の抽出データそれぞれの位置およびサイズとを、重要度算出部１０４に出力する。

重要度算出部１０４は、Ｎ個の抽出データそれぞれの位置およびサイズに基づいて、Ｎ個の抽出データから入力データを構成する要素が属する抽出データを特定する。そして、重要度算出部１０４は、入力データに対応する推論値と要素が属する１または複数の抽出データそれぞれに対応する推論値との差分を変化量として算出する。重要度算出部１０４は、算出した変化量の逆数の平均値に基づいて、要素に対応する重要度を算出する（Ｓ１４）。

例えば、重要度算出部１０４は、この変化量の逆数の平均値が大きいほど、要素に対応する重要度を高く算出する。そして、このような重要度の算出が、入力データを構成する全要素について実行される。

入力部１０１は、終了条件が満たされたか否かを判定する（Ｓ１５）。なお、終了条件は、データセット１００から入力部１０１によって取得された複数の入力データの全てについて、後段のブロックにおける各処理が完了したという条件であってよい。

終了条件が満たされていない場合には（Ｓ１５において「ＮＯ」）、Ｓ１１に動作が移行される。入力部１０１は、次の入力データをデータセット１００から取得し、入力部１０１よりも後段のブロックにおいては、入力部１０１からの再度の入力に基づいて順次に各自の処理が繰り返し実行される。一方、終了条件が満たされた場合には（Ｓ１５において「ＹＥＳ」）、情報処理装置１０の処理が終了する。

以上、本発明の第１の実施形態に係る情報処理装置１０の動作例について説明した。

（１．３．効果）
以上に説明したように、本発明の第１の実施形態によれば、入力データから互いに異なる複数の部分が複数の抽出データとして抽出され、入力データおよび複数の抽出データと推論モデルとに基づいて入力データおよび複数の抽出データそれぞれに対応する推論値が出力される。さらに、入力データに対応する推論値と入力データを構成する要素に応じた１または複数の抽出データに対応する推論値それぞれとの差分に基づいて、要素に対応する重要度が算出される。

これによって、学習コストを掛けずに、入力データを構成する要素の重要度を算出することができる。

以上、本発明の第１の実施形態が奏する効果について説明した。

（１．４．変形例）
以下では、本発明の第１の実施形態の変形例について説明する。

本発明の第１の実施形態では、抽出部１０２によって抽出される抽出データの形状が正方形または長方形である場合について主に説明した。しかし、抽出部１０２によって抽出される抽出データの形状は、かかる例に限定されない。例えば、抽出部１０２によって抽出される抽出データの形状は、円などであってもよい。

本発明の第１の実施形態では、重要度算出部１０４が、入力データに対応する推論値と要素が属する１または複数の抽出データに対応する推論値それぞれとの差分を変化量として算出し、算出した変化量の逆数の平均値に基づいて、その要素に対応する重要度を算出する例について主に説明した。

しかし、重要度算出部１０４は、入力データに対応する推論値と要素が属さない抽出データに対応する推論値との差分を変化量として算出し、算出した変化量の平均値に基づいて、その要素に対応する重要度を算出してもよい。

かかる場合には、重要度算出部１０４は、この変化量の平均値が大きいほど、要素に対応する重要度を高く算出すればよい。これによって、この変化量の平均値が大きい要素ほど、重要度が高く算出され得る。一例として、重要度算出部１０４は、算出した変化量の平均値自体を、その要素に対応する重要度として算出してもよい。

本発明の第１の実施形態では、重要度算出部１０４が、変化量の逆数の平均値に基づいて、入力データを構成する要素に対応する重要度を算出する例について主に説明した。しかし、重要度算出部１０４は、その要素が属する１または複数の抽出データを特定し、特定した１または複数の抽出データに対応する推論値（例えば、解決する問題が分類問題である場合には、所定のクラスに対応する推論値）の平均値に基づいて、その要素に対応する重要度を算出してもよい。

かかる場合には、重要度算出部１０４は、特定した１または複数の抽出データに対応する推論値の平均値が大きいほど、要素に対応する重要度を高く算出すればよい。これによって、特定した１または複数の抽出データに対応する推論値の平均値が大きい要素ほど、重要度が高く算出され得る。一例として、重要度算出部１０４は、要素が属する１または複数の抽出データに対応する推論値の平均値自体を、その要素に対応する重要度として算出してもよい。

以上、本発明の第１の実施形態の変形例について説明した。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態では、機械学習モデルの学習に用いられる機械学習アルゴリズムがニューラルネットワークである場合を主に想定する。すなわち、本発明の第２の実施形態では、学習済みの機械学習モデル（すなわち、推論モデル）が、学習済みのニューラルネットワークである場合を主に想定する。

（２．１．情報処理装置の構成例）
図４は、本発明の第２の実施形態に係る情報処理装置２０の機能構成例を示す図である。図４に示されるように、本発明の第２の実施形態に係る情報処理装置２０は、コンピュータによって実現され、入力部１０１と、抽出部１０２と、推論部１０３と、重要度算出部２０４とを備える。さらに、本発明の第２の実施形態に係る情報処理装置２０によってデータセット１００が用いられる。

本発明の第２の実施形態に係る情報処理装置２０は、本発明の第１の実施形態に係る情報処理装置１０が備える重要度算出部１０４の代わりに、重要度算出部２０４を備える点が本発明の第１の実施形態に係る情報処理装置１０と主に異なる。したがって、以下では、重要度算出部２０４について主に説明し、情報処理装置２０が備える他の構成の詳細な説明は省略する。

重要度算出部２０４は、Ｎ個の抽出データから入力データを構成する要素に応じた抽出データを特定する。そして、重要度算出部１０４は、要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、要素に対応する重要度を算出する。そして、このような重要度の算出が、入力データを構成する全要素について実行されることによって、入力データを構成する全要素の重要度が算出され得る。

より詳細に、重要度算出部２０４は、要素が属する１または複数の抽出データそれぞれに対応する推論値に基づいて、誤差逆伝播法により要素が属する１または複数の抽出データそれぞれに対応する勾配を算出する。そして、重要度算出部２０４は、算出した勾配に基づいて、要素に対応する重要度を算出する。これによって、入力データが属する要素の勾配に応じた重要度が算出され得る。

例えば、重要度算出部２０４は、要素が属する１または複数の抽出データそれぞれに対応する勾配の大きさの平均値に基づいて、要素に対応する重要度を算出してもよい。

このとき、例えば、重要度算出部１０４は、この勾配の大きさの平均値が大きいほど、要素に対応する重要度を高く算出すればよい。これによって、この勾配の大きさの平均値が大きい要素ほど、重要度が高く算出され得る。ここでは、一例として、重要度算出部１０４は、算出した勾配の大きさの平均値自体を、その要素に対応する重要度として算出する場合を想定する。

以下では、勾配の大きさの平均値の例として、勾配の二乗平均平方根を用いる場合を説明する。抽出データの集合をｘｎとし、入力データの要素ｐが含まれた抽出データの集合をｎｐとし、集合ｎｐの要素数を｜ｎｐ｜とすると、ｎ番目の抽出データに対応する勾配をＧｎとし、要素ｐに対応する重要度Ｍｐは、以下の式（３）によって示される。

なお、要素が属する１または複数の抽出データそれぞれに対応する勾配の算出手法は、特定の手法に限定されない。例えば、本発明の第２の実施形態に係る勾配には、非特許文献２に記載された手法によって算出された値、非特許文献３に記載された手法によって算出された値なども含まれ得る。

また、上記した式（３）においては、勾配Ｇｎの大きさの平均値の例として、勾配の二乗平均平方根を用いる場合が示されている。しかし、勾配Ｇｎの大きさの平均値は、勾配Ｇｎの絶対値の平均値であってもよい。あるいは、勾配Ｇｎの大きさの平均値は、タスクに適した他の値であってもよい。

なお、本発明の第１の実施形態に係る重要度算出部１０４と同様に、重要度算出部２０４は、重要度をディスプレイに表示させてもよい。あるいは、重要度算出部２０４は、重要度を要素ごとに閾値と比較してもよい。そして、重要度が閾値よりも高い要素は、重要領域に属するとして扱われてよく、需要度が閾値以下である要素は、重要領域に属さないとして扱われてもよい。重要度算出部２０４は、重要領域をディスプレイに表示させてもよい。

以上、本発明の第２の実施形態に係る情報処理装置２０の構成例について説明した。

（２．２．情報処理装置の動作例）
続いて、本発明の第２の実施形態に係る情報処理装置２０の動作例について説明する。本発明の第２の実施形態に係る情報処理装置２０の動作は、本発明の第１の実施形態に係る情報処理装置１０の動作と比較して、Ｓ１４（図３）が異なる。本発明の第２の実施形態に係る情報処理装置２０の動作における他のステップの詳細な説明は省略する。

より詳細に、Ｓ１４（図３）において、重要度算出部２０４は、要素が属する１または複数の抽出データそれぞれに対応する推論値に基づいて、誤差逆伝播法により要素が属する１または複数の抽出データそれぞれに対応する勾配を算出する。そして、重要度算出部２０４は、算出した勾配に基づいて、要素に対応する重要度を算出する。これによって、入力データが属する要素の勾配に応じた重要度が算出され得る。

以上、本発明の第２の実施形態に係る情報処理装置２０の動作例について説明した。

（２．３．効果）
以上に説明したように、本発明の第２の実施形態によれば、入力データから互いに異なる複数の部分が複数の抽出データとして抽出され、複数の抽出データと推論モデルとに基づいて複数の抽出データそれぞれに対応する推論値が出力される。さらに、入力データを構成する要素が属する１または複数の抽出データそれぞれに対応する推論値に基づいて、誤差逆伝播法により要素が属する１または複数の抽出データそれぞれに対応する勾配が算出される。そして、勾配に基づいて、要素に対応する重要度が算出される。

これによって、学習コストを掛けずに、入力データを構成する要素の重要度を算出することができる。

以上、本発明の第２の実施形態が奏する効果について説明した。

（２．４．変形例）
以下では、本発明の第２の実施形態の変形例について説明する。

本発明の第１の実施形態の変形例と同様に、抽出部１０２によって抽出される抽出データの形状は、かかる例に限定されない。例えば、抽出部１０２によって抽出される抽出データの形状は、円などであってもよい。

本発明の第２の実施形態では、重要度算出部２０４が、入力データを構成する要素が属する１または複数の抽出データそれぞれに対応する勾配に基づいて、要素に対応する重要度を算出する例について主に説明した。しかし、重要度算出部２０４は、要素が属する抽出データに対応する推論値の導出過程において生成される中間表現に基づいて、要素に対応する重要度を算出してもよい。

例えば、重要度算出部２０４は、中間表現の値の大きさの平均値に基づいて、要素に対応する重要度を算出してもよい。かかる場合には、重要度算出部２０４は、中間表現の値の大きさの平均値が大きいほど、要素に対応する重要度を高く算出すればよい。これによって、中間表現の値の大きさの平均値が大きい要素ほど、重要度が高く算出され得る。一例として、重要度算出部２０４は、中間表現の値の大きさの平均値自体を、その要素に対応する重要度として算出してもよい。

ここで、推論値の導出過程において生成される中間表現の値としては、様々な値が用いられてよい。例えば、中間表現の値として、特徴マップの絶対値が用いられてもよい。あるいは、推論モデルの中にアテンションが含まれる場合には、中間表現の値として、アテンションマップの値が用いられてもよい。

以上、本発明の第２の実施形態の変形例について説明した。

（３．ハードウェア構成例）
続いて、本発明の第１の実施形態に係る情報処理装置１０および本発明の第２の実施形態に係る情報処理装置２０のハードウェア構成例について説明する。以下では、本発明の第１の実施形態に係る情報処理装置１０および本発明の第２の実施形態に係る情報処理装置２０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、情報処理装置１０および情報処理装置２０のハードウェア構成の一例に過ぎない。したがって、情報処理装置１０および情報処理装置２０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図５は、本発明の第１の実施形態に係る情報処理装置１０および本発明の第２の実施形態に係る情報処理装置２０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の第１の実施形態に係る情報処理装置１０および本発明の第２の実施形態に係る情報処理装置２０のハードウェア構成例について説明した。

（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０、２０ 情報処理装置
１００ データセット
１０１ 入力部
１０２ 抽出部
１０３ 推論部
１０４、２０４ 重要度算出部

Claims (14)

1. 入力データを取得する入力部と、
   前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出する抽出部と、
   前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力する推論部と、
   前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出する重要度算出部と、
   を備える、情報処理装置。
2. 前記推論部は、前記入力データと前記学習済みの機械学習モデルとに基づいて前記入力データに対応する推論値を出力し、
   前記重要度算出部は、前記入力データに対応する推論値と前記要素に応じた１または複数の抽出データに対応する推論値それぞれとの差分に基づいて、前記要素に対応する重要度を算出する、
   請求項１に記載の情報処理装置。
3. 前記重要度算出部は、前記入力データに対応する推論値と前記要素が属する１または複数の抽出データに対応する推論値それぞれとの差分の逆数の平均値に基づいて、前記要素に対応する重要度を算出する、
   請求項２に記載の情報処理装置。
4. 前記重要度算出部は、前記入力データに対応する推論値と前記要素が属さない１または複数の抽出データに対応する推論値それぞれとの差分の平均値に基づいて、前記要素に対応する重要度を算出する、
   請求項２に記載の情報処理装置。
5. 前記重要度算出部は、前記要素が属する１または複数の抽出データに対応する推論値の平均値に基づいて、前記要素に対応する重要度を算出する、
   請求項１に記載の情報処理装置。
6. 前記重要度算出部は、前記平均値が大きいほど、前記要素に対応する重要度を高く算出する、
   請求項３～５のいずれか一項に記載の情報処理装置。
7. 前記学習済みの機械学習モデルは、学習済みのニューラルネットワークである、
   請求項１に記載の情報処理装置。
8. 前記重要度算出部は、前記要素が属する抽出データに対応する推論値に基づいて、誤差逆伝播法により前記要素が属する１または複数の抽出データそれぞれに対応する勾配を算出し、前記勾配に基づいて、前記要素に対応する重要度を算出する、
   請求項７に記載の情報処理装置。
9. 前記重要度算出部は、前記勾配の大きさの平均値に基づいて、前記要素に対応する重要度を算出する、
   請求項８に記載の情報処理装置。
10. 前記重要度算出部は、前記要素が属する１または複数の抽出データそれぞれに対応する推論値の導出過程において生成される中間表現に基づいて、前記要素に対応する重要度を算出する、
    請求項７に記載の情報処理装置。
11. 前記重要度算出部は、前記中間表現の値の大きさの平均値に基づいて、前記要素に対応する重要度を算出する、
    請求項１０に記載の情報処理装置。
12. 前記入力データは、画像データであり、
    前記要素は、前記画像データを構成するピクセルである、
    請求項１～１１のいずれか一項に記載の情報処理装置。
13. 入力データを取得することと、
    前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出することと、
    前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力することと、
    前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出することと、
    を含む、情報処理方法。
14. コンピュータを、
    入力データを取得する入力部と、
    前記入力データから互いに異なる複数の部分を複数の抽出データとして抽出する抽出部と、
    前記複数の抽出データと学習済みの機械学習モデルとに基づいて前記複数の抽出データそれぞれに対応する推論値を出力する推論部と、
    前記複数の抽出データそれぞれの位置およびサイズに基づいて、前記複数の抽出データから前記入力データを構成する要素に応じた１または複数の抽出データを特定し、前記要素に応じた１または複数の抽出データそれぞれに対応する推論値に基づいて、前記要素に対応する重要度を算出する重要度算出部と、
    を備える情報処理装置として機能させるプログラム。
    

Images