JP7092228B1 - 学習装置、学習方法およびプログラム - Google Patents

Abstract

【課題】どの説明手法を適用しても類似した結果が得られる学習済みモデルを生成する技術が提供されることが望まれる。【解決手段】学習用データと前記学習用データの正解値とを取得する入力部と、前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力する推論部と、前記第１の推論値の判断根拠の複数の説明情報を出力する説明部と、前記正解値と前記第１の推論値とに基づいて推論評価結果を得る推論評価部と、前記複数の説明情報に基づいて説明評価結果を得る説明評価部と、前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行う更新部と、を備える、学習装置が提供される。【選択図】図１

Description

本発明は、学習装置、学習方法およびプログラムに関する。

ニューラルネットワーク（以下、「ＮＮ」とも表記する。）は、画像認識などにおいて高い性能を有する。しかし、一般的にＮＮは、膨大なパラメータと複雑なモデルとによって構成されており、ＮＮのパラメータとＮＮからの出力結果との関係を解釈することが難しい。そのため、ＮＮのパラメータを人手で修正し、ＮＮの精度を向上させることが困難であるという課題がある。かかる課題を解決するため、ＮＮの判断根拠を説明する手法が幾つか提案されている。

例えば、ＮＮの入力と出力の勾配を利用し、入力の領域ごとの推論結果に対する貢献度を計算し、計算した貢献度を提示することによってＮＮの判断根拠を説明する手法が知られている（例えば、特許文献１および非特許文献１参照）。さらに、分類問題において、それぞれの分類クラスの典型例（プロトタイプ）を学習し、プロトタイプとの類似度を入力の領域ごとに表示することによってＮＮの判断根拠を説明する手法が知られている（例えば、特許文献２参照）。

特表２０１８－５１３５０７号公報

Daniel Smilkov、他4名、"SmoothGrad: removing noise by adding noise"、[online]、［令和3年3月19日検索］、インターネット＜https://arxiv.org/abs/1706.03825＞ Chaofan Chen、他5名、"This Looks Like That: Deep Learningfor Interpretable Image Recognition"、[online]、［令和3年3月19日検索］、インターネット＜https://arxiv.org/abs/1806.10574＞ Hiroshi Fukui、他3名、"AttentionBranch Network:Learning of Attention Mechanism for Visual Explanation"、[online]、［令和3年3月19日検索］、インターネット＜https://arxiv.org/abs/1812.10025＞

しかしながら、上記の説明手法は、いずれも推論結果に寄与した入力の領域を提示するものであるにも関わらず、同一のＮＮモデルに説明手法を適用しても説明手法ごとに異なる結果が得られるという課題があった。説明手法ごとに異なる結果が得られる場合、説明の信頼性が失われる場合がある。そこで、どの説明手法を適用しても類似した結果が得られる学習済みモデル（例えば、ＮＮの学習済みモデル）を生成する技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、学習用データと前記学習用データの正解値とを取得する入力部と、前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力する推論部と、前記第１の推論値の判断根拠の複数の説明情報を出力する説明部と、前記正解値と前記第１の推論値とに基づいて推論評価結果を得る推論評価部と、前記複数の説明情報に基づいて説明評価結果を得る説明評価部と、前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行う更新部と、を備える、学習装置が提供される。

前記説明部は、複数の説明手法に基づいて前記複数の説明情報を出力してもよい。

前記複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播が可能な関数を含んでもよい。

前記説明部は、第２の重みパラメータを有し、前記更新部は、誤差逆伝播法によって前記第２の重みパラメータの更新を行ってもよい。

前記機械学習アルゴリズムは、ニューラルネットワークを含んでもよい。

前記推論部は、前記学習用データと前記ニューラルネットワークとに基づいて前記第１の推論値と特徴量とを出力し、前記複数の説明手法のうち少なくとも一つの説明手法は、前記第１の推論値と前記特徴量と前記ニューラルネットワークとに基づいて、説明情報を出力してもよい。

前記複数の説明手法のうち少なくとも一つの説明手法は、前記第１の推論値と前記特徴量と前記ニューラルネットワークとに基づいて、説明情報および第２の推論値を出力し、前記推論評価部は、前記正解値と前記第１の推論値と前記第２の推論値とに基づいて前記推論評価結果を得てもよい。

前記更新部は、前記推論評価結果と前記説明評価結果との加算結果に基づいて、前記第１の重みパラメータの更新を行ってもよい。

前記複数の説明情報それぞれは、前記第１の推論値に与える前記学習用データの貢献度の大きさを示す情報であってもよい。

前記貢献度の大きさを示す情報は、前記第１の推論値に与える前記学習用データの貢献度の大きさを領域ごとに示すヒートマップであってもよい。

前記貢献度の大きさを示す情報は、前記第１の推論値に与える前記学習用データの貢献度の大きさを示す言語説明情報であってもよい。

また、本発明の別の観点によれば、学習用データと前記学習用データの正解値とを取得することと、前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力することと、前記第１の推論値の判断根拠の複数の説明情報を出力することと、前記正解値と前記第１の推論値とに基づいて推論評価結果を得ることと、前記複数の説明情報に基づいて説明評価結果を得ることと、前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行うことと、を備える、学習方法が提供される。

また、本発明の別の観点によれば、コンピュータを、学習用データと前記学習用データの正解値とを取得する入力部と、前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力する推論部と、前記第１の推論値の判断根拠の複数の説明情報を出力する説明部と、前記正解値と前記第１の推論値とに基づいて推論評価結果を得る推論評価部と、前記複数の説明情報に基づいて説明評価結果を得る説明評価部と、前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行う更新部と、を備える学習装置として機能させるプログラムが提供される。

以上説明したように本発明によれば、どの説明手法を適用しても類似した結果が得られる学習済みモデルを生成する技術が提供される。

本発明の第１の実施形態に係る学習装置の機能構成例を示す図である。 推論値と説明手法と説明情報と損失関数との関係を示す図である。 同実施形態に係る学習装置の動作例を示すフローチャートである。 本発明の第２の実施形態に係る学習装置の機能構成例を示す図である。 同実施形態に係る学習装置の動作例を示すフローチャートである。 学習装置の例としての情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（０．実施形態の概要）
本発明の実施形態の概要について説明する。本発明の実施形態では、学習用データと正解値との組み合わせに基づいてニューラルネットワークの学習を行う学習装置について説明する。しかし、ニューラルネットワークは、機械学習アルゴリズムの一例に過ぎない。したがって、ニューラルネットワークの代わりに他の機械学習アルゴリズムが用いられてもよい。例えば、機械学習アルゴリズムの他の一例として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などが用いられてもよい。

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る学習装置１０の機能構成例を示す図である。図１に示されるように、本発明の第１の実施形態に係る学習装置１０は、入力部１１５と、推論部１２１と、説明部１２３と、推論評価部１４０と、説明評価部１５０と、更新部１６０とを備える。

本発明の第１の実施形態では、推論部１２１と説明部１２３とが、ニューラルネットワークを含んで構成される場合を主に想定する。以下では、ニューラルネットワークを「ＮＮ」とも表記する。より詳細に、推論部１２１が、ニューラルネットワーク（以下、「推論ＮＮ」とも表記する。）を含み、しかし、推論部１２１は、具体的にどのような構成であってもよい。

例えば、推論部１２１は、誤差逆伝播が可能な関数を含んでいれば、推論部１２１の一部が特定の推論アルゴリズムに基づく推論を行ってもよい。

入力部１１５と、推論部１２１と、説明部１２３と、推論評価部１４０と、説明評価部１５０と、更新部１６０とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、図示しない記憶部によって適宜記憶される。

データセット１１０、推論ＮＮの重みパラメータ１３２（第１の重みパラメータ）および説明部１２３が有する重みパラメータ１３３（第２の重みパラメータ）は、図示しない記憶部によって記憶される。かかる記憶部は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクドライブまたはフラッシュメモリなどのメモリによって構成されてよい。

初期状態において、推論ＮＮの重みパラメータ１３２および説明部１２３が有する重みパラメータ１３３それぞれには、初期値が設定されている。例えば、これらに設定される初期値は、ランダムな値であってよいが、どのような値であってもよい。例えば、これらに設定される初期値は、あらかじめ学習によって得られた学習済みの値であってもよい。

（データセット１１０）
データセット１１０は、複数の学習用データ（入力データ）と当該複数の学習用データそれぞれの正解値とを含んで構成される。なお、本発明の実施形態では、学習用データが画像データである場合（特に、静止画像データである場合）を主に想定する。しかし、学習用データの種類は特に限定されず、画像データ以外も学習用データとして用いられ得る。例えば、学習用データは、複数のフレームを含んだ動画像データであってもよいし、音響データであってもよい。

（入力部１１５）
入力部１１５は、データセット１１０から学習用データおよび正解値の組み合わせを順次に取得する。入力部１１５は、学習用データおよび正解値の組み合わせを順次に推論部１２１に出力する。

なお、例えば、入力部１１５は、データセット１１０から学習用データおよび正解値の組み合わせを全部取得し終わった場合には、最初から当該組み合わせを取得し直して再度出力する動作を所定の回数繰り返してよい。かかる場合には、入力部１１５よりも後段のブロックにおいても、再度の入力に基づいて順次に各自の処理が繰り返し実行されてよい。

（推論部１２１）
推論部１２１は、入力部１１５から入力された入力データと推論ＮＮとに基づいて、推論値（第１の推論値）を得る。推論ＮＮの重みパラメータ１３２は図示しない記憶部によって記憶されている。したがって、推論部１２１は、図示しない記憶部から重みパラメータ１３２を取得し、取得した重みパラメータ１３２と入力部１１５から出力された入力データとに基づいて推論ＮＮによる推論を行って推論値を得る。

なお、本明細書においては、ニューラルネットワークへの入力に基づいてニューラルネットワークからの出力を得ることを広く「推論」と言う。

推論部１２１は、推論値を説明部１２３および推論評価部１４０それぞれに出力する。なお、後にも説明するように、説明部１２３に含まれる複数の説明手法の中には、推論ＮＮから出力される特徴量を必要とする説明手法が存在する場合があり得る。かかる場合には、推論部１２１は、推論値とともに、推論ＮＮの中間層から出力される特徴量を説明部１２３に出力してよい。

推論ＮＮの具体的な構成は、特に限定されない。しかし、推論ＮＮの出力の形式は、学習用データに対応する正解値の形式と合わせて設定されているのがよい。例えば、正解値が分類問題のクラスである場合、推論ＮＮの出力は、クラス数分の長さを有するｏｎｅ－ｈｏｔベクトルであるとよい。

（説明部１２３）
説明部１２３は、推論部１２１から入力された推論値の判断根拠の複数の説明情報を説明評価部１５０に出力する。より詳細に、説明部１２３は、複数の説明手法を含んで構成されている。そして、説明部１２３は、複数の説明手法に基づいて当該複数の説明手法それぞれに対応する説明情報を生成し、複数の説明手法それぞれに対応する説明情報を複数の説明情報として説明評価部１５０に出力する。

ここで、複数の説明情報それぞれは、推論部１２１から入力された推論値に与える入力データの貢献度の大きさを示す情報である。説明手法は、このような説明情報を生成する手法であれば、具体的にはどのような手法であってもよい。例えば、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値に基づいて、説明情報を生成してもよい。

より詳細に、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値と推論ＮＮとに基づいて、説明情報を得てもよい。

あるいは、上記したように、推論部１２１から説明部１２３に推論値だけではなく特徴量も入力される場合があり得る。かかる場合には、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値と特徴量と推論ＮＮとに基づいて、説明情報を得てもよい。すなわち、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値と特徴量とに基づいて推論ＮＮによる推論を行って説明情報を得てもよい。

例えば、複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播が可能な関数を含んでいてもよい。このとき、後に説明するように、更新部１６０によって説明部１２３が有する重みパラメータ１３３が誤差逆伝播法によって更新され得る。すなわち、複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播法による更新後の重みパラメータ１３３によって説明情報を生成してもよい。

非特許文献１には、誤差逆伝播法による更新後の重みパラメータによって説明情報を生成する説明手法の例が記載されている。非特許文献１に記載された説明手法は、ニューラルネットワークへの入力のうち推論値への寄与度が高い領域を示すヒートマップを説明情報として出力する説明手法である。本発明の実施形態に対しても、非特許文献１に記載されている説明手法を適用することが可能である。

すなわち、本発明の実施形態において、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から出力される推論値に与える入力データの貢献度の大きさを領域ごとに示すヒートマップを生成してもよい。

例えば、説明部１２３に含まれる複数の説明手法は、非特許文献１に記載された説明手法を用い、説明手法のパラメータの値を変更することによって用意されてもよい。あるいは、説明部１２３に含まれる複数の説明手法は、非特許文献１に記載された説明手法と、特許文献１に記載された説明手法とを組み合わせることによって用意されてもよい。その他にも、Ｖａｎｉｌｌａ Ｇｒａｄｉｅｎｔ、Ｇｒａｄ－ＣＡＭといった各種の説明手法が適用され得る。

一例として、説明部１２３に含まれる説明手法を示す関数をＦｋ（ｋ＝１，２・・・，ｎ）とし、関数Ｆｋから出力される説明情報をＭｋ（ｋ＝１，２・・・，ｎ）とし、推論値をｘとすると、以下の数式（１）に示す関係が成立し得る。

Ｍｋ＝Ｆｋ（ｘ）・・・（１）

なお、図２には、推論値ｘと説明手法Ｆｋ（ｋ＝１，２・・・，ｎ）と説明情報Ｍｋ（ｋ＝１，２・・・，ｎ）と損失関数Ｇとの関係が示されている。

（推論評価部１４０）
推論評価部１４０は、推論部１２１から入力された推論値と入力部１１５によって取得された正解値とに基づいて、推論評価結果を得る。より詳細に、推論評価部１４０は、推論部１２１から入力された推論値と入力部１１５によって取得された正解値とを比較することによって、推論評価結果を得る。推論評価部１４０は、推論評価結果を更新部１６０に出力する。

本発明の実施形態では、推論評価部１４０が、推論部１２１から入力された推論値と入力部１１５によって取得された正解値とに応じた損失関数を推論評価結果として算出する場合を想定する。ここで、推論値と正解値とに応じた損失関数は特定の関数に限定されず、一般的なニューラルネットワークにおいて用いられる損失関数と同様の損失関数が用いられてよい。例えば、推論値と正解値とに応じた損失関数は、正解値と推論値との差分に基づく平均二乗誤差であってもよい。

（説明評価部１５０）
説明評価部１５０は、説明部１２３から入力された複数の説明情報に基づいて説明評価結果を得る。より詳細に、説明評価部１５０は、説明部１２３から入力された複数の説明情報同士を比較することによって、説明評価結果を得る。説明評価部１５０は、説明評価結果を更新部１６０に出力する。

本発明の実施形態では、説明評価部１５０が、説明部１２３から入力された複数の説明情報に応じた損失関数を説明評価結果として算出する場合を想定する。ここで、複数の説明情報に応じた損失関数は特定の関数に限定されず、一般的なニューラルネットワークにおいて用いられる損失関数と同様の損失関数が用いられてよい。例えば、複数の説明情報に応じた損失関数は、複数の説明情報の平均値と当該複数の説明情報それぞれとの差分に基づく平均二乗誤差であってもよい。

一例として、説明部１２３から入力される複数の説明情報をＭｋ（ｋ＝１，２・・・，ｎ）とし、損失関数をＧとし、説明評価結果をＬとすると、以下の数式（２）に示す関係が成立し得る。

Ｌ＝Ｇ（Ｍ１，Ｍ２，・・・，Ｍｎ）・・・（２）

（更新部１６０）
更新部１６０は、推論評価部１４０から入力された推論評価結果と、説明評価部１５０から入力された説明評価結果とに基づいて、推論ＮＮの重みパラメータ１３２の更新を行う。これによって、推論部１２１から出力される推論値が正解値に近づくように、かつ、説明部１２３から出力される複数の説明情報同士が互いに近づくように、推論ＮＮの重みパラメータ１３２が更新され得る。推論ＮＮの重みパラメータ１３２は、誤差逆伝播法（バックプロパゲーション）によって更新されてよい。

例えば、更新部１６０は、推論評価部１４０から入力された推論評価結果と、説明評価部１５０から入力された説明評価結果とを加算し、加算結果に基づいて、推論ＮＮの重みパラメータ１３２の更新を行えばよい。このとき、更新部１６０は、計算した加算結果を誤差として、誤差逆伝播法（バックプロパゲーション）によって推論ＮＮの重みパラメータ１３２を更新すればよい。

さらに、更新部１６０は、説明部１２３が有する重みパラメータ１３３を更新してよい。より詳細に、複数の説明手法のうち少なくとも一つの説明手法が、誤差逆伝播が可能な関数を含む場合、更新部１６０は、推論評価結果と説明評価結果とに基づいて、誤差逆伝播法（バックプロパゲーション）によって、説明部１２３が有する重みパラメータ１３３を更新してよい。

なお、学習の終了条件（すなわち、重みパラメータ更新の終了条件）は特に限定されず、推論ＮＮの学習がある程度行われたことを示す条件であればよい。具体的に、学習の終了件は、損失関数の値が閾値よりも小さいという条件を含んでもよい。あるいは、学習の終了条件は、損失関数の値の変化が閾値よりも小さいという条件（損失関数の値が収束状態になったという条件）を含んでもよい。あるいは、学習の終了条件は、重みパラメータの更新が所定の回数行われたという条件を含んでもよい。あるいは、推論評価部１４０によって正解値と推論値とに基づいて精度（例えば、正答率など）が算出される場合、学習の終了条件は、精度が所定の割合（例えば、９０％など）を超えるという条件を含んでもよい。

（第１の実施形態の動作）
図３を参照しながら、本発明の第１の実施形態に係る学習装置１０の動作の流れについて説明する。図３は、本発明の第１の実施形態に係る学習装置１０の動作例を示すフローチャートである。

まず、図３に示されたように、入力部１１５は、データセット１１０から入力データ（すなわち、学習用データ）および正解値の組み合わせを取得する。さらに、推論部１２１は、推論ＮＮの重みパラメータ１３２を取得する（Ｓ１１）。推論部１２１は、入力部１１５によって取得された入力データと推論ＮＮとに基づいて推論を行い（Ｓ１２）、推論によって得られた推論値を推論評価部１４０および説明部１２３それぞれに出力する。

説明部１２３は、推論部１２１から入力された推論値に基づいて、複数の説明手法それぞれに対応する説明情報を複数の説明情報として生成する（Ｓ１３）。説明部１２３は、生成した複数の説明情報を説明評価部１５０に出力する。

推論評価部１４０は、入力部１１５によって取得された正解値に基づいて、推論部１２１から入力された推論値を評価して推論評価結果を得る。より詳細に、推論評価部１４０は、正解値と推論値とに応じた損失関数を推論評価結果として算出する。推論評価部１４０は、算出した推論評価結果を更新部１６０に出力する。

説明評価部１５０は、説明部１２３から入力された複数の説明情報に基づいて、説明評価結果を得る。より詳細に、説明評価部１５０は、説明部１２３から入力された複数の説明情報同士の差分に応じた損失関数を説明評価結果として算出する。説明評価部１５０は、算出した説明評価結果を更新部１６０に出力する（Ｓ１４）。

更新部１６０は、推論評価部１４０から入力された推論評価結果と、説明評価部１５０から入力された説明評価結果とに基づいて、推論ＮＮの重みパラメータ１３２の更新を行う（Ｓ１５）。より詳細に、更新部１６０は、推論評価結果と説明評価結果とに基づいて、誤差逆伝播法によって、推論ＮＮの重みパラメータ１３２を更新する。さらに、更新部１６０は、推論評価結果と説明評価結果とに基づく誤差逆伝播法によって説明部１２３が有する重みパラメータ１３３の更新を行う。

更新部１６０は、入力データに基づく重みパラメータの更新が終わるたびに、学習の終了条件が満たされたか否かを判断する（Ｓ１６）。学習の終了条件が満たされていないと判断した場合には（Ｓ１６において「ＮＯ」）、Ｓ１１に動作が移行され、入力部１１５によって次の学習用データが取得され、推論部１２１、説明部１２３、推論評価部１４０、説明評価部１５０および更新部１６０それぞれによって、当該次の入力データに基づく各自の処理が再度実行される。一方、更新部１６０によって、学習の終了条件が満たされたと判断された場合には（Ｓ１６において「ＹＥＳ」）、学習が終了される。

以上、本発明の第１の実施形態に係る学習装置１０の動作の流れについて説明した。

（第１の実施形態のまとめ）
以上に説明したように、本発明の第１の実施形態によれば、単一のＮＮモデルに対して複数の説明情報を生成し、複数の説明情報同士の差分を評価する機構がＮＮの学習機構に追加される。これにより、複数の説明手法によって生成される複数の説明の差分が小さくなるようにＮＮの学習が行われ得る。その結果、異なる説明手法が用いられた場合であっても、互いに近い複数の説明情報を生成するモデル（すなわち、説明に一貫性のあるモデル）を得ることができる。

以上、本発明の第１の実施形態について説明した。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態に係る学習装置２０の機能構成例を示す図である。図４に示されるように、本発明の第２の実施形態に係る学習装置２０は、本発明の第１の実施形態に係る学習装置１０と同様に、入力部１１５と、推論部１２１と、説明評価部１５０と、更新部１６０とを備える。さらに、本発明の第２の実施形態に係る学習装置２０は、説明部２２３と、推論評価部２４０とを備える。

本発明の第２の実施形態においても、本発明の第１の実施形態と同様に、データセット１１０、入力部１１５、推論部１２１、説明評価部１５０および更新部１６０の機能が発揮される。したがって、以下では、説明部２２３および推論評価部２４０について主に説明を行う。

説明部２２３および推論評価部２４０は、ＣＰＵまたはＧＰＵなどの演算装置を含み、ＲＯＭにより記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、図示しない記憶部によって適宜記憶される。

（説明部２２３）
説明部２２３は、本発明の第１の実施形態に係る説明部１２３と同様に、推論部１２１から入力された推論値の判断根拠の複数の説明情報を説明評価部１５０に出力する。例えば、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値に基づいて、説明情報を生成してもよい。

複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値と推論ＮＮとに基づいて、説明情報を得てもよい。本発明の第２の実施形態では、推論部１２１から説明部２２３に推論値だけではなく特徴量も入力される場合を想定する。かかる場合、複数の説明手法のうち少なくとも一つの説明手法は、推論部１２１から入力された推論値と特徴量と推論ＮＮとに基づいて、説明情報を得る。

本発明の第１の実施形態と同様に、複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播が可能な関数を含んでいてもよい。このとき、更新部１６０によって説明部１２３が有する重みパラメータ１３３が誤差逆伝播法によって更新され得る。すなわち、複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播法による更新後の重みパラメータ１３３によって説明情報を生成してもよい。

また、本発明の第２の実施形態では、複数の説明手法のうち少なくとも一つの説明手法が、説明情報の生成だけでなく、推論値（第２の推論値）を算出する場合を想定する。かかる場合には、説明部１２３は、複数の説明情報だけでなく、このようにして算出した推論値も推論評価部２４０に出力する。

非特許文献３には、ニューラルネットワークから出力される特徴量に基づいて、ニューラルネットワークへの入力のうち推論値への寄与度が高い領域を示すヒートマップを説明情報として出力するとともに、寄与度と特徴量とに基づいて推論を行い、推論値を出力する説明手法の例が記載されている。本発明の実施形態に対しても、非特許文献３に記載されている説明手法を適用することが可能である。

例えば、説明部２２３に含まれる複数の説明手法は、非特許文献３に記載された説明手法を用い、説明手法のパラメータの値を変更することによって用意されてもよい。あるいは、説明部２２３に含まれる複数の説明手法は、非特許文献３に記載された説明手法と、他の説明手法とを組み合わせることによって用意されてもよい。

推論評価部２４０は、推論部１２１から入力された推論値と入力部１１５によって取得された正解値と説明部２２３から入力された推論値とに基づいて、推論評価結果を得る。より詳細に、推論評価部２４０は、推論部１２１から入力された推論値と入力部１１５によって取得された正解値とを比較するとともに、説明部２２３から入力された推論値と入力部１１５によって取得された正解値とを比較することによって、推論評価結果を得る。推論評価部２４０は、推論評価結果を更新部１６０に出力する。

本発明の実施形態では、推論評価部２４０が、推論部１２１から入力された推論値および説明部２２３から入力された推論値と入力部１１５によって取得された正解値とに応じた損失関数を推論評価結果として算出する場合を想定する。ここで、本発明の第１の実施形態と同様に、推論値と正解値とに応じた損失関数は特定の関数に限定されない。

（第２の実施形態の動作）
図５を参照しながら、本発明の第２の実施形態に係る学習装置２０の動作の流れについて説明する。図５は、本発明の第２の実施形態に係る学習装置２０の動作例を示すフローチャートである。

Ｓ１１～Ｓ１２は、本発明の第１の実施形態に係るＳ１１～Ｓ１２（図３）と同様に実行される。

本発明の第１の実施形態と同様に、説明部２２３は、推論部１２１から入力された推論値に基づいて、複数の説明手法それぞれに対応する説明情報を複数の説明情報として生成する。説明部２２３は、生成した複数の説明情報を説明評価部１５０に出力する。さらに、説明部２２３に含まれる複数の説明手法のうち少なくとも一つの説明手法は、推論値（第２の推論値）を算出する。説明部２２３は、算出した推論値を推論評価部２４０に出力する（Ｓ２３）。

推論評価部２４０は、推論部１２１から入力された推論値と入力部１１５によって取得された正解値と説明部２２３から入力された推論値とに基づいて、推論評価結果を得る。推論評価部２４０は、推論評価結果を更新部１６０に出力する。本発明の第１の実施形態と同様に、説明評価部１５０は、説明部１２３から入力された複数の説明情報に基づいて、説明評価結果を得る。そして、説明評価部１５０は、算出した説明評価結果を更新部１６０に出力する（Ｓ１４）。

本発明の第１の実施形態と同様に、更新部１６０は、推論評価部２４０から入力された推論評価結果と、説明評価部１５０から入力された説明評価結果とに基づいて、推論ＮＮの重みパラメータ１３２の更新を行う（Ｓ１５）。より詳細に、更新部１６０は、推論評価結果と説明評価結果とに基づいて、誤差逆伝播法によって、推論ＮＮの重みパラメータ１３２を更新する。さらに、更新部１６０は、推論評価結果と説明評価結果とに基づく誤差逆伝播法によって説明部１２３が有する重みパラメータ１３３の更新を行う。さらに、更新部１６０は、推論評価結果と説明評価結果とに基づく誤差逆伝播法によって説明部１２３が有する重みパラメータ１３３の更新を行う。

更新部１６０は、入力データに基づく重みパラメータの更新が終わるたびに、学習の終了条件が満たされたか否かを判断する（Ｓ１６）。学習の終了条件が満たされていないと判断した場合には（Ｓ１６において「ＮＯ」）、Ｓ１１に動作が移行され、入力部１１５によって次の学習用データが取得され、推論部１２１、説明部２２３、推論評価部２４０、説明評価部１５０および更新部１６０それぞれによって、当該次の入力データに基づく各自の処理が再度実行される。一方、更新部１６０によって、学習の終了条件が満たされたと判断された場合には（Ｓ１６において「ＹＥＳ」）、学習が終了される。

以上、本発明の第２の実施形態に係る学習装置２０の動作の流れについて説明した。

（第２の実施形態のまとめ）
以上に説明したように、本発明の第２の実施形態によれば、本発明の第１の実施形態が奏する効果と同様の効果が享受され得る。また、本発明の第２の実施形態によれば、説明部２２３と推論評価部２４０とを接続することにより、説明情報と推論値との両方を出力する説明手法を用いることが可能となる。

以上、本発明の第２の実施形態について説明した。

（３．ハードウェア構成例）
続いて、本発明の第１の実施形態に係る学習装置１０のハードウェア構成例について説明する。なお、本発明の第２の実施形態に係る学習装置２０のハードウェア構成も同様に実現され得る。

以下では、本発明の実施形態に係る学習装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、学習装置１０のハードウェア構成の一例に過ぎない。したがって、学習装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図６は、本発明の実施形態に係る学習装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の実施形態に係る学習装置１０のハードウェア構成例について説明した。

（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明の第１の実施形態および第２の実施形態では、複数の説明手法それぞれが誤差逆伝播可能な関数を含む場合を主に想定した。しかし、複数の説明手法の一部は、誤差逆伝播不可能な関数を含んでもよい。

本発明の第１の実施形態および第２の実施形態では、複数の説明手法それぞれが、推論値に基づいて説明情報を生成する場合を主に想定した。しかし、複数の説明手法の少なくとも一部は、人によってラベル付けされた説明情報を出力してもよい。

本発明の第１の実施形態および第２の実施形態では、複数の説明手法それぞれが、推論部１２１から出力される推論値に与える入力データの貢献度の大きさを領域ごとに示すヒートマップを生成する場合を主に想定した。しかし、複数の説明手法それぞれは、推論部１２１から出力される推論値に与える入力データの貢献度の大きさを示す他の情報であってもよい。

複数の説明手法それぞれは、推論部１２１から出力される推論値に与える入力データの貢献度の大きさを示す言語説明情報であってもよい。例えば、言語説明情報は、「画像（入力データ）の中央に所定の種類の動物の特徴を有する物体が存在する」といった説明情報であってもよい。あるいは、複数の説明手法それぞれは、推論部１２１から出力される推論値に与える入力データごとの貢献度の大きさを示す情報であってもよい。

１０、２０ 学習装置
１１０ データセット
１１５ 入力部
１２１ 推論部
１２３、２２３ 説明部
１３２ 重みパラメータ
１３３ 重みパラメータ
１４０、２４０ 推論評価部
１５０ 説明評価部
１６０ 更新部

Claims (13)

1. 学習用データと前記学習用データの正解値とを取得する入力部と、
   前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力する推論部と、
   前記第１の推論値の判断根拠の複数の説明情報を出力する説明部と、
   前記正解値と前記第１の推論値とに基づいて推論評価結果を得る推論評価部と、
   前記複数の説明情報に基づいて説明評価結果を得る説明評価部と、
   前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行う更新部と、
   を備える、学習装置。
2. 前記説明部は、複数の説明手法に基づいて前記複数の説明情報を出力する、
   請求項１に記載の学習装置。
3. 前記複数の説明手法のうち少なくとも一つの説明手法は、誤差逆伝播が可能な関数を含む、
   請求項２に記載の学習装置。
4. 前記説明部は、第２の重みパラメータを有し、
   前記更新部は、誤差逆伝播法によって前記第２の重みパラメータの更新を行う、
   請求項３に記載の学習装置。
5. 前記機械学習アルゴリズムは、ニューラルネットワークを含む、
   請求項２～４のいずれか一項に記載の学習装置。
6. 前記推論部は、前記学習用データと前記ニューラルネットワークとに基づいて前記第１の推論値と特徴量とを出力し、
   前記複数の説明手法のうち少なくとも一つの説明手法は、前記第１の推論値と前記特徴量と前記ニューラルネットワークとに基づいて、説明情報を出力する、
   請求項５に記載の学習装置。
7. 前記複数の説明手法のうち少なくとも一つの説明手法は、前記第１の推論値と前記特徴量と前記ニューラルネットワークとに基づいて、説明情報および第２の推論値を出力し、
   前記推論評価部は、前記正解値と前記第１の推論値と前記第２の推論値とに基づいて前記推論評価結果を得る、
   請求項６に記載の学習装置。
8. 前記更新部は、前記推論評価結果と前記説明評価結果との加算結果に基づいて、前記第１の重みパラメータの更新を行う、
   請求項１～７のいずれか一項に記載の学習装置。
9. 前記複数の説明情報それぞれは、前記第１の推論値に与える前記学習用データの貢献度の大きさを示す情報である、
   請求項８に記載の学習装置。
10. 前記貢献度の大きさを示す情報は、前記第１の推論値に与える前記学習用データの貢献度の大きさを領域ごとに示すヒートマップである、
    請求項９に記載の学習装置。
11. 前記貢献度の大きさを示す情報は、前記第１の推論値に与える前記学習用データの貢献度の大きさを示す言語説明情報である、
    請求項９に記載の学習装置。
12. 学習用データと前記学習用データの正解値とを取得することと、
    前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力することと、
    前記第１の推論値の判断根拠の複数の説明情報を出力することと、
    前記正解値と前記第１の推論値とに基づいて推論評価結果を得ることと、
    前記複数の説明情報に基づいて説明評価結果を得ることと、
    前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行うことと、
    を備える、学習方法。
13. コンピュータを、
    学習用データと前記学習用データの正解値とを取得する入力部と、
    前記学習用データと機械学習アルゴリズムとに基づいて第１の推論値を出力する推論部と、
    前記第１の推論値の判断根拠の複数の説明情報を出力する説明部と、
    前記正解値と前記第１の推論値とに基づいて推論評価結果を得る推論評価部と、
    前記複数の説明情報に基づいて説明評価結果を得る説明評価部と、
    前記推論評価結果と前記説明評価結果とに基づいて、前記機械学習アルゴリズムの第１の重みパラメータの更新を行う更新部と、
    を備える学習装置として機能させるプログラム。
    
    

Images