JP7343032B2 - 学習装置、学習方法および学習プログラム - Google Patents

Description

本発明は、学習装置、学習方法および学習プログラムに関する。

従来、多次元のデータを少数の次元を持つ潜在変数によって表現し、データの可視化を可能とする技術があり、センサデータを元にした人の行動分析でも利用可能である。ニューラルネットワークで構成されたGeneratorとDiscriminatorを持つＧＡＮ（Generative Adversarial Network）と呼ばれる教師なし学習フレームワークを発展させ、データから推定される潜在変数とは別に、推定しないノイズを説明するノイズ潜在変数を追加で用いることで、データからそのデータを生成する潜在変数を推定可能にするＩｎｆｏ－ＧＡＮと呼ばれる技術がある。

このＩｎｆｏ－ＧＡＮでさらに潜在変数の次元にデータの次元を対応させるDisentanglementにより潜在変数に変換したデータを意味のある形に可視化することが可能となる（例えば、非特許文献１参照）。

"InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets"、[online]、GitHub 、[２０２０年２月４日検索]、インターネット＜https://arxiv.org/abs/1606.03657＞

しかしながら、従来の技術では、多次元データを少数の次元の潜在変数上に表現する際、ある特徴のばらつきについては潜在変数上でも対応したばらつきが現れて欲しいが、別の特徴のばらつきについてはそうでないといったことがある。具体的には、センサデータ（撮影画像や、装着した慣性センサから取得される動きの値、装着した電極などから取得される生理信号など）を扱う際に、個人差によらない特徴のばらつきと、個人差による特徴のばらつきを切り分けることが非常に重要である。しかし、通常のＩｎｆｏ－ＧＡＮでは、すべてのデータの特徴のばらつきを潜在変数に説明させようとする課題があった。

上述した課題を解決し、目的を達成するために、本発明の学習装置は、データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する取得部と、データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、前記潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、前記ラベルを推定する２層以上の経路を追加する追加部と、前記追加部によって経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、前記経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、前記潜在変数についての推定誤差を最小化するように勾配を伝播させるが、前記ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う学習部とを有することを特徴とする。

本発明によれば、考慮しなくてよいばらつきについては、潜在変数による説明を行わないように学習を行うことで、学習を適切に行うことができるという効果を奏する。

図１は、Ｉｎｆｏ－ＧＡＮについて説明する図である。 図２は、潜在変数について説明する図である。 図３は、潜在変数について説明する図である。 図４は、潜在変数について説明する図である。 図５は、第１の実施形態に係る学習装置の構成の一例を示す図である。 図６は、Discriminatorのニューラルネットワークに２層以上の経路を追加したニューラルネットワークを例示する図である。 図７は、Discriminatorのニューラルネットワークに対する学習処理について説明する図である。 図８は、第１の実施形態に係る学習装置における学習処理の流れの一例を示すフローチャートである。 図９は、潜在変数上のデータ分布について説明する図である。 図１０は、潜在変数上のデータ分布について説明する図である。 図１１は、学習プログラムを実行するコンピュータを示す図である。

以下に、本願に係る学習装置、学習方法および学習プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る学習装置、学習方法および学習プログラムが限定されるものではない。

［第１の実施形態］
以下の実施の形態では、まずＩｎｆｏ－ＧＡＮの前提技術を説明した後、第１の実施形態に係る学習装置１０の構成、学習装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。

［Ｉｎｆｏ－ＧＡＮについて］
まず、図１を用いて、Ｉｎｆｏ－ＧＡＮについて説明する。図１は、Ｉｎｆｏ－ＧＡＮについて説明する図である。Ｉｎｆｏ－ＧＡＮでは、ＧＡＮの枠組みを発展させ、データから潜在変数の推定を可能にしている。なお、以下では、３次元の潜在変数でデータを表現することを例として説明するが、次元数は３次元に限定されるものではない。

また、図１に示すように、学習過程において、データから推定される潜在変数とは別に、推定しないノイズを説明するいくつかの潜在変数（以後、こちらを「ノイズ潜在変数」と呼ぶ）を追加で用いる。

Generator（以下、適宜「生成器」と記載する）は、３次元の潜在変数とノイズ潜在変数から、多次元のデータを生成する。また、Discriminator（以下、適宜「識別器」と記載する）は、Generatorから生成されたデータと、実データを入力として、入力されたデータが生成されたものか実際のものかを識別する。それに加えて、Discriminatorは、生成されたデータがどの潜在変数から生成されたか推定する。

Generatorの学習においては、Discriminatorが、Generatorから生成されたデータと、実際のデータを識別した結果の精度が悪化し、かつ、Discriminatorが、生成されたデータがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。

Discriminatorの学習においては、Discriminatorが、Generatorから生成されたデータと、実際のデータを識別した結果の精度が改善し、かつ、Discriminatorが、生成されたデータがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。

学習がうまく行けば、Generatorは実データと見分けがつかないデータを生成できるようになり、Discriminatorは生成されたデータと実データの見分けが完全にできなくなる。同時に、Discriminatorは生成されたデータがどの潜在変数から生成されたか推定できるようになる。この時、Generatorには潜在変数からデータが生成される過程がモデル化されていると解釈できる。

加えて、データが生成される過程は、生成されたデータから他のモデルが潜在変数を推定する場合、それが容易になるようにモデル化されていると解釈できる（潜在変数と生成されるデータの相互情報量が最大化されている）。これにより、Discriminatorは、生成されたデータが、どの潜在変数から生成されたか推定することが可能になる。このようなDiscriminatorに、実データを入力することで、そのデータを生成する潜在変数を推定することができる。

続いて、３次元の潜在変数について説明する。例えば、確率分布に従った連続的な３つの潜在変数（Ａ,Ｂ,Ｃ）を用意し、潜在変数の値の組み合わせをモデルに入力すると、データが出力されるような生成過程を考える。この時、潜在変数Ａ、潜在変数Ｂ、潜在変数Ｃの値の変化と組み合わせることで、データごとの特徴のばらつきの大部分を表現することができれば、３つの潜在変数によってセンサデータが生成される過程をモデル化することができたと解釈できる。

上述のＩｎｆｏ－ＧＡＮを用いて、多次元のデータを少数の次元を持つ潜在変数によって表現すれば、データの可視化が可能になる。可視化で有力な方法には、例えば、Disentanglementがある。Disentanglementとは、潜在変数の次元にデータの次元を対応させることである。

潜在変数の次元にデータの次元を対応させるとは、以下のような意味である。例えば、図２に例示するように、潜在変数Ａを動かすと、データの平均値が動く。また、例えば、図３に例示するように、潜在変数Ｂを動かすと、データの分散が変わる。また、例えば図４に例示しているように、潜在変数Ｃを動かすと、データの変化しかたが連続的かどうかが変わる。

すなわち、Disentanglementでは、潜在変数のそれぞれがデータ内の特徴のばらつきに関して「解釈できる意味」を持つように潜在変数からデータが生成される過程を学習することで、多次元データを解釈できる少数の次元上に表現しなおすことが可能になる。例えばこのような方法によって、潜在変数に変換したデータを意味のある形に可視化することが可能になる。

［学習装置の構成］
次に図５を用いて、学習装置１０の構成について説明する。図５は、第１の実施形態に係る学習装置の構成の一例を示す図である。図５に例示するように、学習装置１０は、上述したＩｎｆｏ－ＧＡＮによる学習を実行し、考慮しなくてよい差については、潜在変数による説明を行わないように学習を行う。

図１に示すように、学習装置１０は、入力部１１、出力部１２、制御部１３及び記憶部１４を有する。以下では、各部について説明する。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１３に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンタ等の印刷装置等によって実現される。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、学習装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部１４は、データ記憶部１４ａおよび学習済みモデル記憶部１４ｂを有する。

データ記憶部１４ａは、学習時に使用される各種データを記憶する。例えば、データ記憶部１４ａは、学習時に使用される実データとして、ユーザが装着したセンサから取得されるデータを記憶する。なお、データの種別は、複数の実数値からなるデータであればどのようなデータを記憶してもよく、例えば、ユーザが装着した電極などから取得される整理信号であってもよいし、撮影画像のデータであってもよい。

学習済みモデル記憶部１４ｂは、後述する学習処理によって学習された学習済みモデルを記憶する。例えば、学習済みモデル記憶部１４ｂは、学習済みモデルとして、ニューラルネットワークで構成されたGeneratorとDiscriminatorとを記憶する。Generatorは、３次元の潜在変数とノイズ潜在変数から、多次元のデータを生成する。また、Discriminatorは、Generatorから生成されたデータと、実データを入力として、入力されたデータが生成されたものか実際のものかを識別する。それに加えて、Discriminatorは、生成されたデータがどの潜在変数から生成されたか推定する。

制御部１３は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。制御部１３は、取得部１３ａ、追加部１３ｂおよび学習部１３ｃを有する。

取得部１３ａは、データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する。なお、ラベルについては、データの準備段階で、事前に用意されているものとする。例えば、考慮したくない個人差によるばらつきに対応したラベルが設定される。

具体例を説明すると、例えば、誰のデータかについては考慮せず、行動の違いを説明変数に説明させた場合には、可視化する多次元データの全てについて、センサを装着した個人を特定する番号をラベルとして用意する。

追加部１３ｂは、データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、ラベルを推定する２層以上の経路を追加する。なお、ここで経路とは、ニューラルネットワークに含まれるノードおよびエッジ、もしくはエッジのことをいうものとする。

例えば、追加部１３ｂは、図６に例示するように、Ｉｎｆｏ－ＧＡＮのDiscriminatorに、入力されたデータの「考慮したくない個人差によるばらつきに対応したラベル」が何だったかを推定する２層以上の経路２０を追加する。つまり、追加部１３ｂは、Discriminatorの役割を担うニューラルネットワーク中で、「潜在変数」を推定する経路の根本から、新たに分岐した経路として、例えば「入力されたデータが誰だったか」を推定する経路を追加する。

学習部１３ｃは、追加部１３ｂによって経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、潜在変数についての推定誤差を最小化するように勾配を伝播させるが、ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う。

例えば、学習部１３ｃは、誤差逆伝播法による学習時に、追加された経路の根本部分の結合重みで、伝播される誤差にマイナスを掛ける。この結合重みは固定し、学習の対象としない。なお、追加された経路からの誤差は、潜在変数ｃを推定する経路（図７でいう経路３３）まではラベルについての推定誤差を伝播させるが、それより前の層で実データ/生成データの識別を行う経路と合流している部分（図７でいう経路３４）まではラベルについての推定誤差を伝播させない。

ここで、図７を用いて、図７は、Discriminatorのニューラルネットワークに対する学習処理について説明する図である。図７に例では、経路３２は、結合重みを学習の対象外である。また、学習部１３ｃは、追加した経路では、入力された実データを経路３３および経路３４が処理した結果の出力に含まれる「その人が誰か」に関する情報を用いて、経路３１が「入力されたデータは誰のセンサデータか」を推定するよう学習する。

一方で、学習部１３ｃは、誤差逆伝播法における学習時に経路３２内において経路３３に逆伝播していく誤差にマイナスを掛けるため、経路３３には、「経路３１が『入力されたデータは誰のセンサデータか』を推定した精度が下がる」よう学習を行う（経路３４以前にはこの誤差は伝播させない）。すなわち、経路３３は、経路３４によって処理されたデータに含まれる「誰のセンサデータか」に関する情報を出来る限り失わせた結果を出力するようになる。

このように学習を行うことで、入力から経路３３は「データが誰のものか」に関する情報を消失させた出力を出すようになる。例えば、潜在変数ｃが、データが誰のものかについて説明していた場合、この消失によってDiscriminatorは、潜在変数ｃの推定ができなくなるため、推定誤差が大きくなる。このため、Generatorは、潜在変数が考慮しなくてよい差については説明しないようにデータが生成される過程をモデル化するようになる（こうした差については潜在変数ｃではなく、ノイズ潜在変数ｚに説明させるようになると考えられる）。以上の操作によって、特徴のばらつきを潜在変数ｃに含むか含まないかを任意に選択できるようになる。

また、学習部１３ｃは、追加した経路の１層目の結合重みには１以下の値を初期値として設定し、学習回数ごとに結合重みを増加または減少させていくようにしてもよい。学習部１３ｃは、追加した経路の１層目の結合重みには、１以下の値を初期値として、学習回数ごとに重みを増加または減少させていくことで、Discriminator内における説明を選択的に行わない部分に関する情報消失ペースを調整することができる。なお、初期値は１以下の値を例としたが、この範囲外の値も必要に応じて任意に設定可能である。

学習部１３ｃは、Ｉｎｆｏ－ＧＡＮの学習を行った後、学習済みモデルを学習済みモデル記憶部１４ｂに格納する。学習装置１０は、学習済みモデルを用いて、多次元のデータを少数の次元を持つ潜在変数によって表現すれば、データの可視化が可能になる。例えば、学習装置１０は、学習済みモデルを利用して、次元削減したデータの可視化・分析する機能や、分析しつつコンテンツを作成する機能をさらに有してもよい。また、他の装置が、学習装置１０の学習済みモデルを利用してもよい。

［学習装置の処理手順］
次に、図８を用いて、第１の実施形態に係る学習装置１０による処理手順の例を説明する。図８は、第１の実施形態に係る学習装置における学習処理の流れの一例を示すフローチャートである。

図８に例示するように、学習装置１０の取得部１３ａは、潜在変数による説明を行わない特徴のばらつきに対応したラベル（補助ラベル）を収集する（ステップＳ１０１）。そして、学習装置１０は、Ｉｎｆｏ－ＧＡＮのアーキテクチャを用意し（ステップＳ１０２）、Discriminatorに補助ラベルの推定も用いる２層ニューラルネットワークを追加する（ステップＳ１０３）。

そして、学習装置１０は、補助ラベルの推定に用いるニューラルネットワークのうち１層目の全ての重みを順伝播時には１、逆伝播時には－１として固定する（ステップＳ１０４）。

その後、学習装置１０は、学習が収束しているか判定し（ステップＳ１０５）、学習が収束していないと判定した場合には（ステップＳ１０５否定）、潜在変数ｃ、潜在変数ｚをランダムに生成する（ステップＳ１０６）。そして、学習装置１０は、Generatorにｃ、ｚを入力し、出力として生成データを取得し（ステップＳ１０７）、ランダムに実データか生成データをDiscriminatorに入力する（ステップＳ１０８）。

そして、学習装置１０は、実データをDiscriminatorに入力した場合には、補助ラベルの推定値を算出し（ステップＳ１０９）、補助ラベルの実測値と推定値の誤差を評価して（ステップＳ１１０）、ステップＳ１１１の処理に進む。また、学習装置１０は、生成データをDiscriminatorに入力した場合には、ステップＳ１１１の処理に進む。

そして、学習装置１０は、潜在変数ｃ、実データ／生成データ識別の推定値を算出し（ステップＳ１１１）、潜在変数ｃ、実データ／生成データ識別の推定値と実測値の誤差を評価する（ステップＳ１１２）。

続いて、学習装置１０は、全誤差をDiscriminator内の全重みについて逆伝播し（ステップＳ１１３）、潜在変数ｃ、実データ／生成データ識別についての誤差をGeneratorに与える（ステップＳ１１４）。そして、学習装置１０は、全誤差をGenerator内の全重みについて逆伝播し（ステップＳ１１５）、全重みの更新を行って（ステップＳ１１６）、ステップＳ１０５の処理に戻る。

そして、学習装置１０は、学習が収束するまでステップＳ１０５～Ｓ１１６の処理を繰り返し行い、学習が収束した場合には（ステップＳ１０５肯定）、本フローチャートの処理を終了する。

［第１の実施形態の効果］
このように、第１の実施形態に係る学習装置１０は、データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する。そして、学習装置１０は、データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、ラベルを推定する２層以上の経路を追加する。そして、学習装置１０は、経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、潜在変数についての推定誤差を最小化するように勾配を伝播させるが、ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う。

これにより、第１の実施形態に係る学習装置１０は、考慮しなくてよいばらつきについては、潜在変数による説明を行わないように学習を行うことで、望んだ特徴のばらつきのみを潜在変数ｃが説明するような生成過程をモデル化でき、学習を適切に行うことが可能である。

つまり、学習装置１０では、例えば、データの準備段階で、考慮したくない個人差によるばらつきに対応したラベルを用意し、Ｉｎｆｏ－ＧＡＮのDiscriminatorに、入力されたデータの「考慮したくない個人差によるばらつきに対応したラベル」が何だったかを推定する２層以上の経路を追加し、誤差逆伝播法による学習時に、追加された経路の根本部分の結合重みで、伝播される誤差に関する勾配にマイナスを掛けることで、この結合重みは固定し、学習の対象としない。なお、追加された経路からの誤差は、追加した潜在変数ｃを推定する経路（図７でいう経路３３）まではラベルについての推定誤差を伝播させるが、それより前の層で実データ/生成データの識別を行う経路と合流している部分（図７でいう経路３４）まではラベルについての推定誤差を伝播させない。このため、学習装置１０では、意図した意味に沿って次元削減した適切な学習を行うことが可能である。

従来のInfo-GANでは、すべてのデータの特徴のばらつきを潜在変数に説明させようとする課題があった。このため、従来の手法で次元削減した場合、「各人に共通してもたらされる違い（ここでは例として行動とする）」の違いと「人」の違いの両方に関して意味を持つように潜在変数ｃが選択される。従来のInfo-GANでは、個人差か、行動差か、見たい方のばらつきだけが表現されていてほしい場合に、考慮しなくてよい差について潜在変数による説明を行わないように学習を行うことができなかった。

「行動の違い」を３つの潜在変数に説明させた場合、「行動」の違いに関するデータの特徴のばらつきを説明するように潜在変数ｃが選択されることができる。一方、「人」の違いに関するデータの特徴のばらつきを説明しない。イメージとしては、潜在変数上においては、例えば図９および図１０に例示するようなデータ分布が得られる。図９および図１０は、潜在変数上のデータ分布について説明する図である。つまり、センサデータでは、誰のデータかについては問わない可視化をしたい場面（行動や状況など、属人的な違いではなく各人に共通して生じる違いを分析したい場面）が多い。学習装置１０では、このような場合において、考慮したい差のみを説明し、考慮したくない個人差については、潜在変数による説明を行わないように学習を行うことにより、個人差によらない特徴のばらつきのみを可視化することができる。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図１１は、学習プログラムを実行するコンピュータを示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、学習装置の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施の形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク、ＷＡＮを介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 学習装置
１１ 入力部
１２ 出力部
１３ 制御部
１３ａ 取得部
１３ｂ 追加部
１３ｃ 学習部
１４ 記憶部
１４ａ データ記憶部
１４ｂ 学習済みモデル記憶部

Claims (5)

1. データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する取得部と、
   データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、前記潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、前記ラベルを推定する２層以上の経路を追加する追加部と、
   前記追加部によって経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、前記経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、前記潜在変数についての推定誤差を最小化するように勾配を伝播させるが、前記ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う学習部と
   を有することを特徴とする学習装置。
2. 前記学習部は、前記１層目の結合重みに初期値を設定し、学習回数ごとに前記結合重みを増加または減少させていくことを特徴とする請求項１に記載の学習装置。
3. 前記取得部は、センサデータの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきとして、考慮しなくない個人差によるばらつきに対応するラベルを取得することを特徴とする請求項１に記載の学習装置。
4. 学習装置によって実行される学習方法であって、
   データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する取得工程と、
   データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、前記潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、前記ラベルを推定する２層以上の経路を追加する追加工程と、
   前記追加工程によって経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、前記経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、前記潜在変数についての推定誤差を最小化するように勾配を伝播させるが、前記ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う学習工程と
   を含むことを特徴とする学習方法。
5. データの特徴のばらつきのうち潜在変数による説明を選択的に行わないばらつきに対応するラベルを取得する取得ステップと、
   データを生成する生成器によって出力された生成データまたは実データを入力データとして受け付け、該入力データが生成データまたは実データのいずれであるか識別するとともに、前記潜在変数を推定する識別器に、該識別器を構成する第一のニューラルネットワークに対して、前記ラベルを推定する２層以上の経路を追加する追加ステップと、
   前記追加ステップによって経路が追加された第二のニューラルネットワークについて、誤差逆伝播法による学習時に、前記経路の１層目において第一のニューラルネットワークに逆伝播していく誤差に関する勾配にマイナスを掛けることで、前記潜在変数についての推定誤差を最小化するように勾配を伝播させるが、前記ラベルについての推定誤差を最大化するように勾配を伝播させるように学習を行う学習ステップと
   をコンピュータに実行させることを特徴とする学習プログラム。

Images