JP6931624B2 - 学習支援装置および学習支援方法 - Google Patents

Description

本発明は、学習支援装置および学習支援方法に関するものであり、具体的には、機械学習により生成したモデルの更新に際し、当該モデルの改悪を低減し、迅速なモデル更新を可能とする技術に関する。

予測分析など、従来のＩＦ−ＴＨＥＮ形式のプログラムでは十分な精度が望めなかった問題に対して、近年、ＤＮＮ（Deep Neural Network）等の機械学習で開発したプログラ
ム（モデルと呼ぶ）の有効性が注目されている。

こうした機械学習では、学習のために収集したデータに基づいてモデルを生成する。そのため、生成したモデルの振る舞いは、生成に利用したデータに依存する。

一方、そうしたデータは、あくまで過去の或る時期における所定の現象を捉えたものに過ぎない。換言すれば、その現象が経年変化する場合、収集時期によって当該データの分布や傾向も大きく変化してしまう可能性がある。そのため、当該データに基づくモデルにおいては、時間を経るごと、すなわちその入力データが変化すると共に、その精度は劣化する恐れが高い。

例えば、株の値動きなどは社会の影響を大きく受ける。よって、社会環境の異なる過去のデータに基づいて株取引モデルを開発しても、現在の株取引には有効性が低いと考えられる。

こうしたモデルの劣化に関連する従来技術としては、例えば、データ収集とモデル更新のための追加学習機能を備え、収集したデータを使って運用時にモデルを更新するシステム（非特許文献１参照）などが提案されている。

Ｔｈｅ Ｍｉｓｓｉｎｇ Ｐｉｅｃｅ ｉｎ Ｃｏｍｐｌｅｘ Ａｎａｌｙｔｉｃｓ： Ｌｏｗ Ｌａｔｅｎｃｙ、 Ｓｃａｌａｂｌｅ Ｍｏｄｅｌ Ｍａｎａｇｅｍｅｎｔ ａｎｄ Ｓｅｒｖｉｎｇ ｗｉｔｈ Ｖｅｌｏｘ、 ＵＣ Ｂｅｒｋｅｌｅｙ、２０１４

しかしながら、上述の追加学習に使用するデータやハイパーパラメータが不適切だった場合、更新によってモデルが改悪される場合がある。しかも、そうした追加学習は運用時に実行されるため、モデル改悪はシステムの誤り率増加に直結する。
そこで本発明の目的は、機械学習により生成したモデルの更新に際し、当該モデルの改悪を低減し、迅速なモデル更新を可能とする技術を提供することにある。

上記課題を解決する本発明の学習支援装置は、ニューラルネットワークのアルゴリズムに従って動作する機械学習プログラムの、入力値、その実行結果である実行出力値、および、前記入力値に関して期待される出力値である期待出力値、の組を実行情報として保持する記憶装置と、所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場
合に、前記期待出力値とは異なる出力値を所定ルールで教師出力値として生成し、前記教師出力値と前記実行出力値との差分に基づいて損失関数を生成し、前記ニューラルネットワークにおけるパラメータごとに前記損失関数の変化を表す変化値を生成し、所定の学習によって得られた前記パラメータの更新値が、前記変化値に与える影響を計算することで当該学習の影響度を算定し、前記影響度に基づいて前記更新値の採否を決定する、演算装置と、を備えることを特徴とする。

また、本発明の学習支援方法は、ニューラルネットワークのアルゴリズムに従って動作する機械学習プログラムの、入力値、その実行結果である実行出力値、および、前記入力値に関して期待される出力値である期待出力値、の組を実行情報として保持する記憶装置を備えた情報処理装置が、所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場合に、前記期待出力値とは異なる出力値を所定ルールで教師出力値として生成し、前記教師出力値と前記実行出力値との差分に基づいて損失関数を生成し、前記ニューラルネットワークにおけるパラメータごとに前記損失関数の変化を表す変化値を生成し、所定の学習によって得られた前記パラメータの更新値が、前記変化値に与える影響を計算することで当該学習の影響度を算定し、前記影響度に基づいて前記更新値の採否を決定する、ことを特徴とする。

本発明によれば、機械学習により生成したモデルの更新に際し、当該モデルの改悪を低減し、迅速なモデル更新が可能となる。

本実施形態の学習支援装置の構成例を示す図である。 本実施形態における学習支援装置のハードウェア構成例を示す図である。 本実施形態における出力値の例１を示す図である。 本実施形態における出力値の例２を示す図である。 本実施形態における期待出力値の例を示す図である。 本実施形態の学習支援方法のフロー例１を示す図である。 本実施形態における損失関数の計算概念例を示す図である。 本実施形態における勾配ベクトルの計算概念例を示す図である。 本実施形態における逆損失関数の計算概念例１を示す図である。 本実施形態における逆損失関数の計算概念例２を示す図である。 本実施形態における逆勾配ベクトルの計算概念例を示す図である。 本実施形態の学習支援方法のフロー例２を示す図である。 本実施形態における悪影響値の計算概念例１を示す図である。 本実施形態における悪影響値の計算概念例２を示す図である。 本実施形態における悪影響値の計算概念例３を示す図である。 本実施形態における悪影響値の計算概念例４を示す図である。 本実施形態における良影響値の計算概念例を示す図である。 本実施形態における全体影響値の計算概念例を示す図である。 本実施形態における入力値ごとの影響値の例を示す図である。 本実施形態の学習支援方法のフロー例３を示す図である。

−−−学習支援装置の機能構成−−−

以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の学習支援装置１００の構成例を示す図である。図１に示す学習支援装置１００は、機械学習により生成したモデルの更新に際し、当該モデルの改悪を低減し、迅速なモデル更新を
可能とするコンピュータ装置である。なお、本実施形態では上述のモデルを、機械学習プログラムたるＤＮＮプログラムと称して説明するものとする。

通常、ＤＮＮの学習では、ＤＮＮプログラムの実行結果が誤答だった場合、正答（教師データ）との差分を損失関数として表し、その損失関数の値が減少するようにＤＮＮプログラムを変更する。一方、本実施形態の学習支援装置１００においては、ＤＮＮプログラムの実行結果が正答だった場合に、それと近しい誤答との差分を逆損失関数として取り扱う。そして、所定の学習によってＤＮＮプログラムの更新値が決まった際に、その更新値が上述の逆損失関数をどの程度減少させるか、即ち正答から誤答にどの程度近づくかという、ＤＮＮプログラム改悪の度合いを影響度として計算する。学習支援装置１００は、この影響度を指標に、複数通りの学習を試行することで、ＤＮＮプログラム改悪の可能性が極力少ない更新値を選択することとなる。

こうした学習支援装置１００は、図１にて示すように、入力値保持部１１０、ＤＮＮプログラム実行部１１１、ＤＮＮプログラム保持部１１２、出力値保持部１１３、期待出発値保持部１１４、訓練入力値保持部１１５、訓練出力値保持部１１６、ＤＮＮプログラム訓練部１１７、逆勾配ベクトル作成部１１８、勾配ベクトル保持部１１９、逆勾配ベクトル保持部１２０、影響計算部１２１、入力値ごとの影響値保持部１２２、重み・バイアス更新値保持部１２３、ＤＮＮプログラム更新部１２４、および、回帰テスト実行部１２５、を備えている。
これらは、学習支援装置１００が備えるプログラムおよびハードウェアを協働させ実装される機能部である。

このうち、入力値保持部１１０は、上述のＤＮＮプログラム１１２１への入力値を保持している。この入力値は、特に限定はしないが、例えば、或る期待出力値に関して生成された、テスト入力値から構成されている。また、ＤＮＮプログラム１１２１の例として、画像認識プログラムを以降では想定する。

本実施形態で一例として想定する入力値は数字を表示している画像データであり、これを上述のＤＮＮプログラム１１２１たる画像認識プログラムに与えた場合に認識される数字として、期待している数字を期待出力値（図５）。とする。

また、ＤＮＮプログラム実行部１１１は、ＤＮＮプログラム１１２１（後述するＤＮＮプログラム保持部１１２から読み出す）に上述の入力値を入力として与えて実行させ、その出力値（実行出力値）を取得する。

また、ＤＮＮプログラム保持部１１２は、ＤＮＮプログラム１１２１を保持している。このＤＮＮプログラム１１２１は、ニューラルネットワークにより生成されたプログラムである。本実施形態では、このＤＮＮプログラム１１２１の一例として、画像認識プログラムを想定する。

また、出力値保持部１１３は、上述のＤＮＮプログラム実行部１１１による実行で得た実行出力値たる出力値１１３１を保持している。この出力値１１３１の詳細は後述する（図３、４）。
また、期待出力値保持部１１４は、上述の期待出力値１１４１を保持している。この期待出力値１１４１の詳細は後述する（図５）。

上述の、入力値保持部１１０の保持する入力値、出力値保持部１１３の保持する出力値１１３１、および、期待出力値保持部１１４の保持する期待出力値１１４１、の組が、本発明における実行情報に相当する。

また、訓練入力値保持部１１５は、ＤＮＮプログラム訓練部１１７に対する訓練用の入力値を保持しており、訓練出力値保持部１１６は、ＤＮＮプログラム訓練部１１７における上述の訓練用の入力値に対して出力すべき、訓練用の出力値を保持している。

訓練用の入力値とは、例えば、ＤＮＮプログラム１１２１の作成や直近の更新から以降に得た（生成の概念含む）、いわゆる新鮮な入力値が相当する。訓練用の出力値は、この訓練用の入力値に応じた教師データたる出力値となる。

一方、ＤＮＮプログラム訓練部１１７は、ＤＮＮプログラム１１２１の学習を上述の訓練用の入力値を入力とした場合に、これに対する訓練出力値を出力するよう、ＤＮＮプログラム１１２１におけるパラメータを調整する。また、このＤＮＮプログラム訓練部１１７は、上述の訓練を通じて得たパラメータ（例：後述する学習係数と、変化値である勾配ベクトル）を更新値１２３１として、重み・バイアス更新値保持部１２３（後述）に与える。

また、逆勾配ベクトル作成部１１８は、逆損失関数および損失関数を生成し、ＤＮＮプログラム１１２１におけるパラメータごとに、当該逆損失関数および当該損失関数のそれぞれにおける変化を表す変化値を生成し、これらのうち逆損失関数に関して求めた変化値を逆勾配ベクトル１２０１として逆勾配ベクトル保持部１２０に格納し、損失関数に関して求めた変化値を勾配ベクトル１１９１として勾配ベクトル保持部１１９に格納する。

この場合、逆勾配ベクトル作成部１１８は、逆損失関数の生成において、上述の入力値保持部１１０における所定の入力値に対する出力値１１３１と期待出力値１１４１とが一致する場合、当該期待出力値１１４１とは異なる出力値を所定ルールで誤答教師出力値として生成し、この誤答教師出力値と上述の出力値１１３１との差分に基づいて逆損失関数を生成する。

また、逆勾配ベクトル作成部１１８は、損失関数の生成において、上述の入力値保持部１１０における所定の入力値に対する出力値１１３１と期待出力値１１４１とが不一致の場合、当該期待出力値１１４１を正答教師出力値として生成し、この正答教師出力値と上述の出力値１１３１との差分に基づいて損失関数を生成する。

また、逆勾配ベクトル作成部１１８は、上述の変化値である逆勾配ベクトル１２０１および勾配ベクトル１１９１の生成において、手法として限定はしないが、一例をあげるとするならば、上述の逆損失関数および損失関数のそれぞれについて偏微分を行うことで、逆勾配ベクトル１２０１、および、勾配ベクトル１１９１を、上述の変化値の一形態として生成することができる。

また、影響計算部１２１は、重み・バイアス更新値保持部１２３の保持する上述の更新値１２３１が、上述の変化値である逆勾配ベクトル１２０１、勾配ベクトル１１９１に与える影響、を計算することで、当該更新値１２３１の起源となった学習（ＤＮＮプログラム訓練部１１７での訓練用の入力値、出力値に基づくパラメータの調整）の影響度を算定し、この影響度が所定の閾値以下である、すなわち悪影響の要素が所定基準以下であるか否かに基づいて当該更新（更新値１２３１でのパラメータ更新）の採否を決定する。

なお、この影響計算部１２１は、上述の影響度の算定に際し、上述のパラメータの更新値１２３１のベクトルと上述の逆勾配ベクトル１２０１（当該パラメータの逆損失関数の変化値のベクトル）との内積の算定値（悪影響値）から、当該パラメータの更新値１２３１のベクトルと上述の勾配ベクトル１１９１（当該パラメータの損失関数の変化値のベク
トル）との内積の算定値（良影響値）を差し引きした値を、影響度とするとできる。こうして得た影響度は、入力値ごとの影響値保持部１２２に格納するものとする。

また、上述の影響計算部１２１による影響度算定のバリエーションとして、実行情報の重要度に応じて予め定められた重み値を、対応するパラメータの更新値に関する内積に乗じ、影響度を算定する形態も想定できる。

或いは、上述の更新値のベクトルと逆勾配ベクトル１２０１との内積の算定値（悪影響値）、および、上述のパラメータの更新値のベクトルと勾配ベクトル１１９１との内積の算定値（良影響値）、をそれぞれべき乗した上で、上述の差し引きを行って影響度を算定する形態も想定できる。

さらには、上述のパラメータの更新値のベクトルと逆勾配ベクトル１２０１との内積の算定値に（悪影響値）、当該逆損失関数の生成対象となった実行情報の数を乗算した値から、上述のパラメータの更新値のベクトルと勾配ベクトル１１９１との内積の算定値（良影響値）に、当該損失関数の生成対象となった実行情報の数を乗算した値を差し引きし、影響度を算定する形態も想定できる。

なお、影響計算部１２１は、上述の採否の決定によって採用決定した更新値によるＤＮＮプログラム１１２１の更新後（これはＤＮＮプログラム更新部１２４による）、上述の採否の決定に用いる閾値を、予め定めたルールで所定程度低減するとすれば好適である。

また、ＤＮＮプロラム更新部１２４は、上述の影響計算部１２１による更新の採否判断の結果が更新可とのものであった場合に、当該更新値１２３１を重み・バイアス更新値保持部１２３から得て、これによりＤＮＮプログラム保持部１１２におけるＤＮＮプログラム１１２１を更新する。

また、回帰テスト実行部１２５は、影響計算部１２１により上述の更新値の採用が決定され、当該更新値によるＤＮＮプログラム１１２１の更新後、当該ＤＮＮプログラム１１２１に関する回帰テストを実行する。

この場合の回帰テスト実行部１２５は、回帰テスト対象たるＤＮＮプログラム１１２１の入力値として、上述の影響度が大きいもの、すなわち悪影響値が良影響値より相対的に大きいものから順に選択して回帰テストを実行する。そして、そのテスト結果が、当該入力値に対する出力値と期待出力値とが一致しない誤答であった場合の数をカウントし、当該カウントした値が所定基準を超えるものであった場合、当該更新をロールバックする。−−−ハードウェア構成−−−
また、本実施形態の学習支援装置１００のハードウェア構成は以下の如くとなる。図２に、本実施形態の学習支援装置１００のハードウェア構成例を示す。

本実施形態の学習支援装置１００は、外部記憶装置１０１、メモリ１０３、ＣＰＵ１０４（演算装置）、入力装置１０５、出力装置１０６、および、外部媒体入出力装置１０７、を備える。

このうち外部記憶装置１０１は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶手段である。
また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される記憶手段である。

また、ＣＰＵ１０４は、外部記憶装置１０１に保持されるプログラム１０２をメモリ１
０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なう演算装置である。
また、入力装置１０５は、ＤＮＮプログラム１１２１の更新管理等の担当者など適宜なユーザからのキー入力や音声入力を受け付ける入力デバイスである。
また、出力装置１０６は、処理データの表示を行うディスプレイ等の表示デバイスである。

また、外部媒体入出力装置１０７は、可搬型メモリや磁気記憶媒体など、各種の記憶媒体と接続可能なインターフェイスを備え、当該記憶媒体との間でデータ授受を行う装置である。外部媒体入出力装置１０７が、上述の記憶媒体から読み取る情報としては、例えば、ＤＮＮプログラム１１２１、入力値、出力値、期待出力値、勾配ベクトル１１９１、逆勾配ベクトル１２０１、影響度１２２１、更新値１２３１、といった情報になる。

なお、外部記憶装置１０１内には、本実施形態の学習支援装置１００として必要な機能を実装する為のプログラム１０２に加えて、ＤＮＮプログラム１１２１、入力値、出力値、期待出力値、勾配ベクトル１１９１、逆勾配ベクトル１２０１、影響度１２２１、更新値１２３１、が少なくとも記憶されている。これら情報の詳細については後述する。
−−−データ構造例−−−
続いて、本実施形態の学習支援装置１００が用いる各種情報について説明する。図３および図４に、本実施形態における出力値の例をそれぞれ示す。

本実施形態における出力値１１３１は、所定の入力値（以下、入力ベクトル）を入力として与えられたＤＮＮプログラム１１２１による実行出力値である。ここで、上述の入力ベクトルとは、例えば、或る数字（例：１）が描画された画像データである。よって、図３、４で例示した出力値１１３は、この画像データで描画されている数字の「１」を期待出力値とした場合の、各数字の確度をそれぞれ含んだ入力ベクトルを示している。

すなわち、図示した出力値１１３１は、入力ベクトルに対してＤＮＮプログラム１１２１が出力した、各要素の値を含んで構成されたものとなっている。ここで言う「要素」は、入力ベクトルである上述の画像データで描画されており、画像認識結果となる数字の、“０”〜“９”、のそれぞれに該当する。よって出力値１１３１では、要素たる数字“０”〜“９”、のそれぞれに関して、ＤＮＮプログラム１１２１が判定した確度、の値から構成されている。

また、図５では、上述の期待出力値１１４１の一例を示し、要素たる数字“０”〜“９”、のそれぞれに関して、正答として期待される出力値たる確度の値から構成されている。上で述べたように、数字の「１」を期待出力値としている場合、数字の「１」に関する確度が「１．００」である一方、その他の数字に関する確度は全て「０．００」となっている。
−−−フロー例１−−−

以下、本実施形態における学習支援方法の実際手順について図に基づき説明する。以下で説明する学習支援方法に対応する各種動作は、学習支援装置１００がメモリ等に読み出して実行するプログラム１０２によって実現される。そして、このプログラム１０２は、以下に説明される各種の動作を行うためのコードから構成されている。

図６は、本実施形態における学習支援方法のフロー例１を示す図である。なお、このフローの開始以前に、ＤＮＮプログラム訓練部１１７が、ＤＮＮプログラム１１２１の学習を訓練用の入力値（訓練入力値保持部１１５から取得）を入力とした場合に、これに対する訓練出力値（訓練出力値保持部１１６から取得）を出力するよう、ＤＮＮプログラム１
１２１におけるパラメータを調整し、当該訓練を通じて得たパラメータ（学習係数ηと勾配ベクトル∇Ｐ）を更新値１２３１とし、これを重み・バイアス更新値保持部１２３に格納済みであるとする。なお、学習係数ηは定数値である。

この場合、学習支援装置１００の逆勾配ベクトル作成部１１８は、入力値保持部１１０と、勾配ベクトル保持部１１９および逆勾配ベクトル保持部１２０とを参照し、全ての入力値について、勾配ベクトル１１９１および逆勾配ベクトル１２０１を作成したか判定する（ｓ１００）。

上述の判定の結果、全ての入力値について勾配ベクトル１１９１および逆勾配ベクトル１２０１を作成済みであった場合（ｓ１００：ｙ）、逆勾配ベクトル作成部１１８は、当該フローを終了する。

他方、上述の判定の結果、全ての入力値について勾配ベクトル１１９１および逆勾配ベクトル１２０１を作成済みの状態ではなかった場合（ｓ１００：ｎ）、逆勾配ベクトル作成部１１８は、例えば、ユーザ指定か或いは任意の入力値（いずれも勾配ベクトル１１９１および逆勾配ベクトル１２０１を未作成のもの）について、その出力値および期待出力値を、出力値保持部１１３および期待出力値保持部１１４から取得する（ｓ１０１）。

なお、逆勾配ベクトル作成部１１８は、入力値に関して本フローの処理を実行するごとに、入力値保持部１１０において、該当入力値に処理済みフラグを付与するものとする。よって、逆勾配ベクトル作成部１１８は、ｓ１００の判定およびｓ１０１での未処理の出力値１１３１および期待出力値１１４１の取得は、上述のフラグの有無に基づいて実行することとなる。

次に、逆勾配ベクトル作成部１１８は、ｓ１０１で得た出力値１１３１および期待出力値１１４１に関して、その要素のうち最も大きな値を持つ要素が一致するか判定する（ｓ１０２）。

上述の判定の結果、最も大きな値を持つ要素が一致しなかった、すなわち誤答であった場合（ｓ１０２：ｎ）、逆勾配ベクトル作成部１１８は、正答教師出力値を作成し（ｓ１０３）、それに基づき損失関数を作成する（ｓ１０４）。

図７に、或る出力値に関して作成した正答教師出力値の例と、これに基づく損失関数の例を示す。図示するように、出力値１１３１としては数字「７」の確度が最大となっているが、対応する期待出力値１１４１としては、要素のうち数字「１」の確度が最大であるべきであったとする。すなわち、出力値１１３１は誤答であった。その場合、逆勾配ベクトル作成部１１８は、正答教師出力値としては、期待出力値１１４１のとおり数字「１」の確度が「１．００」である正答教師出力値を作成する。また、損失関数としては、出力値「ｙ_ｉ」から正答教師出力値「ｔ_ｉ」を減算した値の二乗値を要素ごとに集計し、その半値をとった関数を損失関数としている。こうした損失関数の作成手法は、あくまでも一例であり、既存の損失関数の作成手法を適宜に採用すればよい。

続いて、逆勾配ベクトル作成部１１８は、ｓ１０４で得た損失関数を偏微分し、勾配ベクトル１１９１を作成し（ｓ１０５）、これを勾配ベクトル保持部１１９において入力値（ｓ１０１における「任意の入力値」）と対応付けて格納した上で、処理をｓ１００に戻す。こうした勾配ベクトル１１９１の生成手法については限定せず、他の手法を適宜に採用すればよい。

他方、上述のｓ１０２での判定の結果、最も大きな値を持つ要素が一致した、すなわち
正答であった場合（ｓ１０２：ｙ）、逆勾配ベクトル作成部１１８は、誤答教師出力値を作成し（ｓ１０６）、これに基づき逆損失関数を作成する（ｓ１０７）。

この場合、逆勾配ベクトル作成部１１８は、逆損失関数の生成において、当該期待出力値１１４１とは異なる出力値を所定ルールで誤答教師出力値として生成し、この誤答教師出力値と上述の出力値１１３１との差分に基づいて逆損失関数を生成する。

誤答教師出力値の生成に際しての上述のルールとしては、図９にて例示するように、例えば、出力値１１３１の要素のうち、その確度が２番目に大きな値について、「１．００」すなわち最大値とし、その他の要素を全て「０．００」とするルールが想定できる。

或いは図１０にて例示するように、出力値１１３１の要素のうち最大の値と２番目に大きな値との平均値を算定し、当該平均値で当該最大の値を減算する一方、当該平均値を上述の２番目に大きな値に加算する、といったものも想定できる。なお、逆損失関数の生成手法としては損失関数の生成手法と同様である。

続いて、逆勾配ベクトル作成部１１８は、ｓ１０７で得た逆損失関数を偏微分（図１１）し、逆勾配ベクトル１２０１を作成し（ｓ１０８）、これを逆勾配ベクトル保持部１２０において入力値（ｓ１０１における「任意の入力値」）と対応付けて格納した上で、処理をｓ１００に戻す。こうした逆勾配ベクトル１２０１の生成手法については勾配ベクトル１１９１の場合と同様に限定せず、他の手法を適宜に採用すればよい。
−−−フロー例２−−−
続いて、影響計算部１２１によるフローについて説明する。図１２は、本実施形態における学習支援方法のフロー例２を示す図である。

この場合まず、影響計算部１２１は、重み・バイアス更新値保持部１２３の保持する上述の更新値１２３１を取得する（ｓ２００）。この更新値１２３１は、既に述べたように、学習係数をη、勾配ベクトルを∇Ｐとした場合の、−η・∇Ｐ、である。

続いて、影響計算部１２１は、入力値保持部１１０と入力値ごとの影響値保持部１２２とを参照し、全ての入力値について、良影響度および悪影響度を作成したか判定する（ｓ２０１）。

上述の判定の結果、全ての入力値について良影響度および悪影響度を作成済みであった場合（ｓ２０１：ｙ）、影響計算部１２１は、処理をｓ２０８に遷移させる。

他方、上述の判定の結果、全ての入力値について良影響度および悪影響度を作成済みの状態ではなかった場合（ｓ２０１：ｎ）、影響計算部１２１は、例えば、ユーザ指定か或いは任意の入力値（いずれも良影響度および悪影響度を未作成のもの）を選択し（ｓ２０２）、その入力値は勾配ベクトル１１９１および逆勾配ベクトル１２０１のいずれを持つか判定する（ｓ２０３）。

この場合、影響計算部１２１は、当該入力値に関して、勾配ベクトル保持部１１９および逆勾配ベクトル保持部１２０で勾配ベクトル１１９１および逆勾配ベクトル１２０１の検索を実行する。

なお、影響計算部１２１は、入力値に関して本フローの処理を実行するごとに、入力値保持部１１０において、該当入力値に処理済みフラグを付与するものとする。よって、影響計算部１２１は、ｓ２０１の判定およびｓ２０２での未処理の入力値の選択は、上述のフラグの有無に基づいて実行することとなる。

次に、影響計算部１２１は、ｓ２０３の判定の結果、当該入力値に関して勾配ベクトル１１９１を特定できた場合（ｓ２０３：勾配ベクトル）、当該勾配ベクトル１１９１を勾配ベクトル保持部１１９から取得する（ｓ２０４）。

また、影響計算部１２１は、当該入力値に対する悪影響度を計算し（ｓ２０５）、この結果を入力値ごとの影響値保持部１２２に格納した上、処理をｓ２０１に遷移させる。

なお、悪影響度の計算例を図１３〜１６にて示す。例えば、図１３に示す計算例では、重み・バイアス更新値１２３１、すなわち−η・∇Ｐと、逆勾配ベクトル１２０１（図中では、“−∇Ｍ_ｋ”）との内積を、入力値ごと（ｋごと）に集計するとしている。

また図１４に示す計算例では、重み・バイアス更新値１２３１、すなわち−η・∇Ｐと、優先度ｐ_ｋを乗じた逆勾配ベクトル１２０１（図中では、“−∇Ｍ_ｋ”）との内積を、入力値ごと（ｋごと）に集計するとしている。この優先度ｐ_ｋは、当該入力値の重要度に対応して予め設定してある重み値である。

また図１５に示す計算例では、重み・バイアス更新値１２３１、すなわち−η・∇Ｐと、逆勾配ベクトル１２０１（図中では、“−∇Ｍ_ｋ”）との内積を二乗したものを、入力値ごと（ｋごと）に集計するとしている。

また図１６に示す計算例では、重み・バイアス更新値１２３１、すなわち−η・∇Ｐと、逆勾配ベクトル１２０１（図中では、“−∇Ｍ_ｋ”）との内積を二乗したものを、入力値ごと（ｋごと）に集計し、これに当該逆損失関数の生成対象となった入力値の数を乗算するとしている。

他方、上述のｓ２０３の判定の結果、当該入力値に関して逆勾配ベクトル１２０１を特定できた場合（ｓ２０３：逆勾配ベクトル）、影響計算部１２１は、当該逆勾配ベクトル１２０１を逆勾配ベクトル保持部１２０から取得する（ｓ２０６）。

また、影響計算部１２１は、当該入力値に対する良影響度を計算し（ｓ２０７）、この結果を入力値ごとの影響値保持部１２２に格納した上、処理をｓ２０１に遷移させる。

上述の良影響度の計算は、図１７にて例示するように、重み・バイアス更新値１２３１、すなわち−η・∇Ｐと、勾配ベクトル１１９１（図中では、“−∇Ｌ_ｋ”）との内積を、入力値ごと（ｋごと）に集計するとしている。なお、良影響値の計算についても、上述の悪影響度の計算例（図１３〜１６）と同様のバリエーションを適宜に採用してよい。

ここで図１２のフローの説明に戻る。ｓ２０１での判定の結果、全ての入力値について良影響度および悪影響度を作成済みであった場合（ｓ２０１：ｙ）、影響計算部１２１は、入力値ごとに計算した悪影響度と良影響値の値を、入力値ごとの影響値保持部１２２から読み出し、これらに基づき全体影響度を算定する（ｓ２０８）。

この全体影響度の算定手法の例を図１８に示す。ここで示すように、影響計算部１２１は、入力値ごとに求めた、悪影響度から良影響度のを差し引きして、全体影響度を算定する。

続いて、影響計算部１２１は、ｓ２０８で得た全体影響度が所定の閾値以下である、すなわち悪影響の要素が所定基準以下であるか否かに基づいて、当該更新（更新値１２３１、すなわちη・∇Ｐでのパラメータ更新）の採否を判定する（ｓ２０９）。

この判定の結果、当該更新（更新値１２３１、すなわちη・∇Ｐでのパラメータ更新）の採用可と判定したならば、影響計算部１２１は、その旨をＤＮＮプロラム更新部１２４に通知し、処理を終了する。この場合、ＤＮＮプロラム更新部１２４は、上述の影響計算部１２１による更新可との通知を受け、当該更新値１２３１を重み・バイアス更新値保持部１２３から得て、これによりＤＮＮプログラム保持部１１２におけるＤＮＮプログラム１１２１を更新する。

他方、上述の判定の結果、当該更新（更新値１２３１、すなわちη・∇Ｐでのパラメータ更新）の採用不可と判定したならば、影響計算部１２１は、例えば、ＤＮＮプログラム訓練部１１７に対し、当該ＤＮＮプログラム１１２１の再訓練を指示し、当該フローを終了する。

なお、影響計算部１２１は、上述の採否の決定によって採用決定した更新値によるＤＮＮプログラム１１２１の更新後（これはＤＮＮプログラム更新部１２４による）、上述の採否の決定に用いる閾値を、予め定めたルールで所定程度低減するとすれば好適である。−−−フロー例３−−−

続いて、回帰テスト実行部１２５によるフローについて説明する。図２０は、本実施形態における学習支援方法のフロー例３を示す図である。なお、本フローは、影響計算部１２１により上述の更新値の採用が決定され、当該更新値によるＤＮＮプログラム１１２１の更新が実行された後に開始されるものとする。

この場合、回帰テスト実行部１２５は、入力値ごとの影響値保持部１２２を参照し、入力値のうち悪影響値が良影響値より相対的に大きいもので、本フローで未処理のものを、例えば１つ以上取得できたか判定する（ｓ３００）。

この判定の結果、入力値のうち種別が「悪影響」のもの（すなわち、悪影響度が良影響度より相対的に大きいもの）を、本フローで既に規定数以上取得できている、すなわち処理済みである場合（ｓ３００：ｙ）、回帰テスト実行部１２５は、処理をｓ３０７に遷移させる。

なお、回帰テスト実行部１２５は、入力値に関して本フローの処理を実行するごとに、入力値ごとの影響値保持部１２２において、該当入力値に処理済みフラグを付与するものとする。よって、回帰テスト実行部１２５は、ｓ３００の判定に際し、上述のフラグの数が規定数か判定することとなる。

一方、上述の判定の結果。入力値のうち種別が「悪影響」のものを、本フローで既に規定数以上取得できた状態ではない場合（ｓ３００：ｎ）、回帰テスト実行部１２５は、入力値ごとの影響値保持部１２２において、未選択すなわち上述のフラグが付与されていない入力値のうち、悪影響度が最も大きいものを選択する（ｓ３０１）。

続いて、回帰テスト実行部１２５は、ＤＮＮプログラム実行部１１１を呼び出し、ｓ３０１で選択した入力値を与えてＤＮＮプログラム１１２１を実行させ、その出力値を得る（ｓ３０２）。

また回帰テスト実行部１２５は、こうした回帰テストを実行した結果、そのテスト結果が、当該入力値に対する出力値と期待出力値との間で、最も大きな値を持つ要素が一致するものであるか判定する（ｓ３０３）。

上述の判定の結果、上述のテスト結果が、当該入力値に対する出力値と期待出力値との間で、最も大きな値を持つ要素が一致しなかった場合（ｓ３０３：ｎ）、回帰テスト実行部１２５は、当該回帰テストの実行結果を「誤答」と判定し（ｓ３０４）、メモリ１０３でカウントしている誤答数の値をインクリメントする（ｓ３０６）。

他方、上述の判定の結果、上述のテスト結果が、当該入力値に対する出力値と期待出力値との間で、最も大きな値を持つ要素が一致した場合（ｓ３０３：ｙ）、回帰テスト実行部１２５は、当該回帰テストの実行結果を「正答」と判定し（ｓ３０５）、処理をｓ３００に遷移させる。

こうした、ｓ３００〜ｓ３０６の一連の処理を繰り返した結果、ｓ３００での判定で、入力値のうち種別が「悪影響」のもの（すなわち、悪影響度が良影響度より相対的に大きいもの）を、本フローで既に規定数以上取得できている、すなわち処理済みである（ｓ３００：ｙ）となった場合、回帰テスト実行部１２５は、メモリ１０３で保持している誤答数の値が所定基準を超えるか判定する（ｓ３０７）。
上述の判定の結果、誤答数が基準を超えないものであった場合（ｓ３０７：ｎ）、回帰テスト実行部１２５は、処理を終了する。

他方、上述の判定の結果、誤答数が基準を超えるものであった場合（ｓ３０７：ｙ）、回帰テスト実行部１２５は、ＤＮＮプログラム更新部１２４に対し、当該更新のロールバックを指示し、当該ＤＮＮプログラム１１２１を上述の更新前の状態に戻し（ｓ３０８）、処理を終了する。

なお、上述の学習支援装置および学習支援方法は、車両等の自動運転システムにおける画像認識技術に適用可能である。自動運転システムにおける画像認識技術は、例えば道路上の交通標識のイメージデータ（車両等が搭載したカメラで取得したもの）から、当該交通標識の種類を特定し、それが指し示す事柄を自動運転システムに通知するものとなる。

そのため、本実施形態の学習支援装置および学習支援方法を、こうした自動運転システムの画像認識に適用する場合、交通標識の特定精度が継続的に維持・改善される。

また、上述の実施形態とは別に、モデルを多重化して運用する方法も想定できる。例えば、更新したモデルをしばらく従系として実行することで改悪の有無を確認し、改悪がなかった場合のみ主系に切り替えるといった運用がそれにあたる。ただし、この方法を採用しても、本来の目的であるモデル更新が迅速に行えない問題は残る。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、機械学習により生成したモデルの更新に際し、当該モデルの改悪を低減し、迅速なモデル更新が可能となる。

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の学習支援装置において、前記演算装置は、前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記変化値のベクトルとの内積を算定して前記影響度を算定するものである、としてもよい。

これによれば、ベクトルである影響度を精度よく特定可能となる。ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記影響度の算定に際し、前記実行情報の重要度に応じて予め定められた重み値を、対応するパラメータの更新値に関する前記内積に乗じ、前記影響度を算定するものである、としてもよい。

これによれば、悪影響がおよぶことを特に回避したい実行情報に関して、悪影響の影響感度を高め、ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記損失関数の生成に際し、所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場合の前記教師出力値を誤答教師出力値として生成し、前記誤答教師出力値と前記実行出力値との差分に基づいて逆損失関数を生成するとともに、所定の入力値に対する前記実行出力値と前記期待出力値とが不一致の場合、前記期待出力値を正答教師出力値として生成し、前記正答教師出力値と前記実行出力値との差分に基づいて損失関数を生成するものであり、前記変化値の生成に際し、前記逆損失関数および前記損失関数のそれぞれについて、その変化を表す変化値を生成し、前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値から、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値を差し引きした値を、前記影響度とするものである、としてもよい。

これによれば、更新の悪影響と良影響を併せて考慮することが可能となり、ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値、および、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値、をそれぞれべき乗した上で前記差し引きを行って前記影響度を算定するものである、としてもよい。

これによれば、悪影響および良影響の影響感度を高め、ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値に、当該逆損失関数の生成対象となった実行情報の数を乗算した値から、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値に、当該損失関数の生成対象となった実行情報の数を乗算した値を差し引きして前記影響度を算定するものである、としてもよい。

これによれば、悪影響および良影響の影響感度を的確に高め、ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記影響度が所定の閾値以下である場合に前記更新値の採用を決定し、前記採用を決定した前記更新値による前記機械学習プログラムの更新後、前記閾値を所定程度低減するものである、としてもよい。

これによれば、機械学習モデルの精度が高まるにつれ、その更新内容が軽微、すなわち
更新値による影響が小さくなり、更新値の採否も厳格に行うべき状況となる事象に対応することが可能となる。ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

また本実施形態の学習支援装置において、前記演算装置は、前記更新値の採用を決定し、当該採用を決定した前記更新値による前記機械学習プログラムの更新後、前記機械学習プログラムに関する回帰テストを実行するに際し、その入力値として、前記パラメータの更新値のベクトルと当該パラメータの前記変化値のベクトルとの内積を算定して得た前記影響度が大きいものから順に選択して回帰テストを実行し、そのテスト結果が、当該入力値に対する実行出力値と前記期待出力値とが一致しない誤答であった場合の数をカウントし、当該カウントした値が所定基準を超えるものであった場合、前記更新をロールバックするものである、としてもよい。

これによれば、更新による機械学習プログラムの精度改善がみられず、かえって精度が悪化するような更新を行う事態が生じてもこれに対処することが可能である。ひいては、機械学習により生成したモデルの更新に際し、当該モデルの改悪をさらに低減し、迅速なモデル更新が可能となる。

１００ 学習支援装置
１０１ 外部記憶装置
１０２ プログラム
１０３ メモリ
１０４ ＣＰＵ（演算装置）
１０５ 入力装置
１０６ 表示装置
１０７ 外部媒体入出力装置
１１０ 入力値保持部
１１１ ＤＮＮプログラム実行部
１１２ ＤＮＮプログラム保持部
１１２１ ＤＮＮプログラム
１１３ 出力値保持部
１１３１ 出力値
１１４ 期待出力値保持部
１１４１ 期待出力値
１１５ 訓練入力値保持部
１１６ 訓練出力値保持部
１１７ ＤＮＮプログラム訓練部
１１８ 逆勾配ベクトル作成部
１１９ 勾配ベクトル保持部
１１９１ 勾配ベクトル
１２０ 逆勾配ベクトル保持部
１２０１ 逆勾配ベクトル
１２１ 影響計算部
１２２ 入力値ごとの影響値保持部
１２２１ 影響値
１２３ 重み・バイアス更新値保持部
１２３１ 更新値
１２４ ＤＮＮプログラム更新部
１２５ 回帰テスト実行部

Claims (9)

1. ニューラルネットワークのアルゴリズムに従って動作する機械学習プログラムの、入力値、その実行結果である実行出力値、および、前記入力値に関して期待される出力値である期待出力値、の組を実行情報として保持する記憶装置と、
   所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場合に、前記期待出力値とは異なる出力値を所定ルールで教師出力値として生成し、前記教師出力値と前記実行出力値との差分に基づいて損失関数を生成し、前記ニューラルネットワークにおけるパラメータごとに前記損失関数の変化を表す変化値を生成し、所定の学習によって得られた前記パラメータの更新値が、前記変化値に与える影響を計算することで当該学習の影響度を算定し、前記影響度に基づいて前記更新値の採否を決定する、演算装置と、
   を備えることを特徴とする学習支援装置。
2. 前記演算装置は、
   前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記変化値のベクトルとの内積を算定して前記影響度を算定するものである、
   ことを特徴とする請求項１に記載の学習支援装置。
3. 前記演算装置は、
   前記影響度の算定に際し、前記実行情報の重要度に応じて予め定められた重み値を、対応するパラメータの更新値に関する前記内積に乗じ、前記影響度を算定するものである、
   ことを特徴とする請求項２に記載の学習支援装置。
4. 前記演算装置は、
   前記損失関数の生成に際し、所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場合の前記教師出力値を誤答教師出力値として生成し、前記誤答教師出力値と前記実行出力値との差分に基づいて逆損失関数を生成するとともに、所定の入力値に対する前記実行出力値と前記期待出力値とが不一致の場合、前記期待出力値を正答教師出力値として生成し、前記正答教師出力値と前記実行出力値との差分に基づいて損失関数を生成するものであり、
   前記変化値の生成に際し、前記逆損失関数および前記損失関数のそれぞれについて、その変化を表す変化値を生成し、
   前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値から、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値を差し引きした値を、前記影響度とするものである、
   ことを特徴とする請求項２に記載の学習支援装置。
5. 前記演算装置は、
   前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値、および、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値、をそれぞれべき乗した上で前記差し引きを行って前記影響度を算定するものである、
   ことを特徴とする請求項４に記載の学習支援装置。
6. 前記演算装置は、
   前記影響度の算定に際し、前記パラメータの更新値のベクトルと当該パラメータの前記逆損失関数の変化値のベクトルとの内積の算定値に、当該逆損失関数の生成対象となった実行情報の数を乗算した値から、前記パラメータの更新値のベクトルと当該パラメータの前記損失関数の変化値のベクトルとの内積の算定値に、当該損失関数の生成対象となった
   実行情報の数を乗算した値を差し引きして前記影響度を算定するものである、
   ことを特徴とする請求項４に記載の学習支援装置。
7. 前記演算装置は、
   前記影響度が所定の閾値以下である場合に前記更新値の採用を決定し、前記採用を決定した前記更新値による前記機械学習プログラムの更新後、前記閾値を所定程度低減するものである、
   ことを特徴とする請求項１に記載の学習支援装置。
8. 前記演算装置は、
   前記更新値の採用を決定し、当該採用を決定した前記更新値による前記機械学習プログラムの更新後、前記機械学習プログラムに関する回帰テストを実行するに際し、その入力値として、前記パラメータの更新値のベクトルと当該パラメータの前記変化値のベクトルとの内積を算定して得た前記影響度が大きいものから順に選択して回帰テストを実行し、そのテスト結果が、当該入力値に対する実行出力値と前記期待出力値とが一致しない誤答であった場合の数をカウントし、当該カウントした値が所定基準を超えるものであった場合、前記更新をロールバックするものである、
   ことを特徴とする請求項１に記載の学習支援装置。
9. ニューラルネットワークのアルゴリズムに従って動作する機械学習プログラムの、入力値、その実行結果である実行出力値、および、前記入力値に関して期待される出力値である期待出力値、の組を実行情報として保持する記憶装置を備えた情報処理装置が、
   所定の入力値に対する前記実行出力値と前記期待出力値とが一致する場合に、前記期待出力値とは異なる出力値を所定ルールで教師出力値として生成し、前記教師出力値と前記実行出力値との差分に基づいて損失関数を生成し、前記ニューラルネットワークにおけるパラメータごとに前記損失関数の変化を表す変化値を生成し、所定の学習によって得られた前記パラメータの更新値が、前記変化値に与える影響を計算することで当該学習の影響度を算定し、前記影響度に基づいて前記更新値の採否を決定する、
   ことを特徴とする学習支援装置。

Images