JP7205641B2

JP7205641B2 - 学習方法、学習プログラム、および学習装置

Info

Publication number: JP7205641B2
Application number: JP2021548018A
Authority: JP
Inventors: 圭造加藤; 章中川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-09-24
Filing date: 2019-09-24
Publication date: 2023-01-17
Anticipated expiration: 2039-09-24
Also published as: WO2021059349A1; US20220207369A1; JPWO2021059349A1

Description

本発明は、学習方法、学習プログラム、および学習装置に関する。

従来、データ解析の分野において、次元数が比較的多い実空間における実データから、次元数が比較的少ない潜在空間における潜在変数と呼ばれる特徴データを抽出するオートエンコーダーが存在する。例えば、実データの代わりに、当該実データからオートエンコーダーにより抽出した特徴データを用いることにより、データ解析の精度向上を図ることがある。

先行技術としては、例えば、ニューラルネットワークを用いた教師なし学習により、潜在変数を学習するものがある。また、例えば、潜在変数を確率分布として学習する技術がある。また、例えば、オートエンコーダーの学習と同時に、潜在空間の確率分布を表現する混合ガウス分布を学習する技術がある。

ＧｅｏｆｆｒｅｙＥ．Ｈｉｎｔｏｎ；Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ（２００６－０７－２８）． "ＲｅｄｕｃｉｎｇｔｈｅＤｉｍｅｎｓｉｏｎａｌｉｔｙｏｆＤａｔａｗｉｔｈＮｅｕｒａｌＮｅｔｗｏｒｋｓ"．Ｓｃｉｅｎｃｅ３１３（５７８６）：５０４－５０７．ＤｉｅｄｅｒｉｋＰ．Ｋｉｎｇｍａ，ＭａｘＷｅｌｌｉｎｇ， "Ａｕｔｏ－ＥｎｃｏｄｉｎｇＶａｒｉａｔｉｏｎａｌＢａｙｅｓ，" ＩＣＬＲ２０１４，Ｂａｎｆｆ，Ｃａｎａｄａ，Ａｐｒ２０１４．ＢｏＺｏｎｇ，ＱｉＳｏｎｇ，ＭａｒｔｉｎＲｅｎｑｉａｎｇＭｉｎ，ＷｅｉＣｈｅｎｇ，ＣｒｉｓｔｉａｎＬｕｍｅｚａｎｕ，ＤａｅｋｉＣｈｏ，ａｎｄＨａｉｆｅｎｇＣｈｅｎ， "Ｄｅｅｐａｕｔｏｅｎｃｏｄｉｎｇｇａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌｆｏｒｕｎｓｕｐｅｒｖｉｓｅｄａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，" ＩｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ，２０１８．

しかしながら、従来技術では、実データの確率分布の代わりに、特徴データの確率分布を用いる場合などに、データ解析の精度向上を図ることが難しい。例えば、実データの確率分布と、特徴データの確率分布との一致度合いが小さいほど、データ解析の精度向上を図ることが難しくなる。

１つの側面では、本発明は、データ解析の精度向上を図ることを目的とする。

１つの実施態様によれば、符号化と復号化を実行するオートエンコーダーの学習にあたり、入力されたデータを符号化し、前記データを符号化して得た特徴データの確率分布を算出し、前記特徴データにノイズを加算し、前記ノイズを加算した前記特徴データを復号化し、復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する学習方法、学習プログラム、および学習装置が提案される。

一態様によれば、データ解析の精度向上を図ることが可能になる。

図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。図２は、データ解析システム２００の一例を示す説明図である。図３は、学習装置１００のハードウェア構成例を示すブロック図である。図４は、学習装置１００の機能的構成例を示すブロック図である。図５は、学習装置１００の実施例１を示す説明図である。図６は、学習装置１００の実施例２を示す説明図である。図７は、学習装置１００により得られる効果の一例を示す説明図である。図８は、学習処理手順の一例を示すフローチャートである。図９は、解析処理手順の一例を示すフローチャートである。

以下に、図面を参照して、本発明にかかる学習方法、学習プログラム、および学習装置の実施の形態を詳細に説明する。

（実施の形態にかかる学習方法の一実施例）
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。図１において、学習装置１００は、オートエンコーダーを学習するコンピュータである。オートエンコーダーは、次元数が比較的多い実空間における実データから、次元数が比較的少ない潜在空間における潜在変数と呼ばれる特徴データを抽出するモデルである。

オートエンコーダーは、例えば、データ解析の処理量の低減化、および、データ解析の精度の向上などの、データ解析の効率化のために用いられる。データ解析の際、次元数が比較的多い実空間における実データの代わりに、次元数が比較的少ない潜在空間における特徴データを用いることにより、データ解析の処理量の低減化、および、データ解析の精度の向上などを図ることが考えられる。

データ解析の一例は、具体的には、対象のデータが外れ値データであるか否かを判定するアノマリー検出などである。外れ値データは、統計的に現れにくく、異常値である確率が比較的高い外れ値を示すデータである。アノマリー検出の際、実空間における実データの確率分布の代わりに、潜在空間における特徴データの確率分布を用いることが考えられる。そして、対象のデータからオートエンコーダーにより抽出した特徴データが、潜在空間における外れ値データであるか否かに基づいて、対象のデータが、実空間における外れ値データであるか否かを判定することが考えられる。

しかしながら、従来技術では、実空間における実データの確率分布の代わりに、潜在空間における特徴データの確率分布を用いても、データ解析の精度向上を図ることが難しいことがある。具体的には、従来技術によるオートエンコーダーでは、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とを一致させることや、実データの確率密度と、特徴データの確率密度とを比例させることが難しい。

具体的には、上記非特許文献１を参考にオートエンコーダーを学習しても、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。また、上記非特許文献２を参考にオートエンコーダーを学習しても、各変数に対し独立な正規分布を仮定しており、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。また、上記非特許文献３を参考にオートエンコーダーを学習しても、潜在空間における特徴データの確率分布に制約があるため、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。

このため、対象のデータからオートエンコーダーにより抽出した特徴データが、潜在空間における外れ値データであっても、対象のデータが、実空間における外れ値データではない場合があり、アノマリー検出の精度向上を図ることができないことがある。

そこで、本実施の形態では、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とを一致させやすいオートエンコーダーを学習することができ、データ解析の精度向上を図ることができる学習方法について説明する。

図１において、学習装置１００は、学習対象とする更新前のオートエンコーダー１１０を有する。学習対象は、例えば、オートエンコーダー１１０の符号化のパラメータと復号化のパラメータとである。更新前とは、学習対象となる符号化のパラメータと復号化のパラメータとが更新前である状態を意味する。

（１－１）学習装置１００は、オートエンコーダー１１０を学習するサンプルとなる、ドメインＤからのデータｘを符号化した特徴データｚを生成する。特徴データｚは、データｘより次元数が少ないベクトルである。データｘは、ベクトルである。学習装置１００は、例えば、符号化にかかる関数ｆ_θ（・）を実現する符号化器１１１により、データｘを代入して得られる関数値ｆ_θ（ｘ）に対応する特徴データｚを生成する。

（１－２）学習装置１００は、特徴データｚの確率分布Ｐｚ_ψ（ｚ）を算出する。学習装置１００は、例えば、確率分布を規定する、学習対象とする更新前のモデルに基づいて、特徴データｚの確率分布Ｐｚ_ψ（ｚ）を算出する。学習対象は、例えば、確率分布を規定するパラメータψである。更新前とは、学習対象となる確率分布を規定するパラメータψが更新前である状態を意味する。学習装置１００は、具体的には、パラメータψを含む確率密度関数（ＰＤＦ：ＰｒｏｂａｂｉｌｉｔｙＤｅｎｓｉｔｙＦｕｎｃｔｉｏｎ）により、特徴データｚの確率分布Ｐｚ_ψ（ｚ）を算出する。確率密度関数は、例えば、パラメトリックである。

（１－３）学習装置１００は、特徴データｚにノイズεを加算して加算後データｚ＋εを生成する。学習装置１００は、例えば、雑音生成器１１２によりノイズεを生成し、加算後データｚ＋εを生成する。ノイズεは、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。

（１－４）学習装置１００は、加算後データｚ＋εを復号化して復号化データｘ^∨を生成する。復号化データｘ^∨は、ベクトルである。ここで、文中のｘ^∨は、図中および式中のｘの上部に∨を付した記号を示す。学習装置１００は、例えば、復号化にかかる関数ｇ_ξ（・）を実現する復号化器１１３により、加算後データｚ＋εを代入して得られる関数値ｇ_ξ（ｚ＋ε）に対応する復号化データｘ^∨を生成する。

（１－５）学習装置１００は、生成した復号化データｘ^∨とデータｘとの第一の誤差Ｄ１を算出する。学習装置１００は、下記式（１）により、第一の誤差Ｄ１を算出する。

（１－６）学習装置１００は、算出した確率分布Ｐｚ_ψ（ｚ）の情報エントロピーＲを算出する。情報エントロピーＲは、選択情報量であり、特徴データｚの発生しにくさを示す。学習装置１００は、例えば、下記式（２）により、情報エントロピーＲを算出する。

（１－７）学習装置１００は、算出した第一の誤差Ｄ１と、確率分布の情報エントロピーＲとを最小化するように、オートエンコーダー１１０と、特徴データｚの確率分布とを学習する。学習装置１００は、例えば、下記式（３）に従って、重み付き和Ｅを最小化するように、オートエンコーダー１１０の符号化のパラメータθと、オートエンコーダー１１０の復号化のパラメータξと、モデルのパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、確率分布の情報エントロピーＲとの和である。

これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。

ここでは、便宜上、オートエンコーダー１１０を学習するサンプルとなるデータｘが１つである場合に着目して説明したが、これに限らない。例えば、学習装置１００が、オートエンコーダー１１０を学習するサンプルとなるデータｘのセットに基づいて、オートエンコーダー１１０を学習する場合があってもよい。この場合、学習装置１００は、上記式（３）において、重みλ１を付与した第一の誤差Ｄ１の平均値と、確率分布の情報エントロピーＲの平均値となどを用いることになる。

（データ解析システム２００の一例）
次に、図２を用いて、図１に示した学習装置１００を適用した、データ解析システム２００の一例について説明する。

図２は、データ解析システム２００の一例を示す説明図である。図２において、データ解析システム２００は、学習装置１００と、１以上の端末装置２０１とを含む。

データ解析システム２００において、学習装置１００と端末装置２０１は、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、インターネットなどである。

学習装置１００は、サンプルとなるデータのセットを端末装置２０１から受信する。学習装置１００は、受信したサンプルとなるデータのセットに基づいて、オートエンコーダー１１０を学習する。学習装置１００は、データ解析の処理対象となるデータを端末装置２０１から受信し、学習したオートエンコーダー１１０を用いて、データ解析のサービスを端末装置２０１に提供する。データ解析は、例えば、アノマリー検出である。

学習装置１００は、例えば、アノマリー検出の処理対象となるデータを端末装置２０１から受信する。次に、学習装置１００は、学習したオートエンコーダー１１０を用いて、受信した処理対象となるデータが外れ値データであるか否かを判定する。そして、学習装置１００は、受信した処理対象となるデータが外れ値データであるか否かを判定した結果を端末装置２０１に送信する。学習装置１００は、例えば、サーバやＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などである。

端末装置２０１は、学習装置１００と通信可能なコンピュータである。端末装置２０１は、サンプルとなるデータを学習装置１００に送信する。端末装置２０１は、データ解析の処理対象となるデータを学習装置１００に送信し、データ解析のサービスを利用する。端末装置２０１は、例えば、アノマリー検出の処理対象となるデータを学習装置１００に送信する。そして、端末装置２０１は、送信した処理対象となるデータが外れ値データであるか否かを判定した結果を学習装置１００から受信する。端末装置２０１は、例えば、ＰＣ、タブレット端末、スマートフォン、または、ウェアラブル端末などである。

ここでは、学習装置１００と端末装置２０１とが異なる装置である場合について説明したが、これに限らない。例えば、学習装置１００が、端末装置２０１としても動作する場合があってもよい。この場合、データ解析システム２００は、端末装置２０１を含まなくてもよい。

ここでは、学習装置１００が、サンプルとなるデータのセットを端末装置２０１から受信する場合について説明したが、これに限らない。例えば、学習装置１００が、ユーザの操作入力に基づいて、サンプルとなるデータのセットの入力を受け付ける場合があってもよい。また、例えば、学習装置１００が、サンプルとなるデータのセットを、装着された記録媒体から読み出す場合があってもよい。

ここでは、学習装置１００が、データ解析の処理対象となるデータを端末装置２０１から受信する場合について説明したが、これに限らない。例えば、学習装置１００が、ユーザの操作入力に基づいて、データ解析の処理対象となるデータの入力を受け付ける場合があってもよい。また、例えば、学習装置１００が、データ解析の処理対象となるデータを、装着された記録媒体から読み出す場合があってもよい。

（学習装置１００のハードウェア構成例）
次に、図３を用いて、学習装置１００のハードウェア構成例について説明する。

図３は、学習装置１００のハードウェア構成例を示すブロック図である。図３において、学習装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

ここで、ＣＰＵ３０１は、学習装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、学習装置１００から着脱可能であってもよい。

学習装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

（端末装置２０１のハードウェア構成例）
端末装置２０１のハードウェア構成例は、図３に示した学習装置１００のハードウェア構成例と同様であるため、説明を省略する。

（学習装置１００の機能的構成例）
次に、図４を用いて、学習装置１００の機能的構成例について説明する。

図４は、学習装置１００の機能的構成例を示すブロック図である。学習装置１００は、記憶部４００と、取得部４０１と、符号化部４０２と、生成部４０３と、復号化部４０４と、推定部４０５と、最適化部４０６と、解析部４０７と、出力部４０８とを含む。符号化部４０２と、復号化部４０４とは、オートエンコーダー１１０を形成する。

記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、学習装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、学習装置１００とは異なる装置に含まれ、記憶部４００の記憶内容が学習装置１００から参照可能である場合があってもよい。

取得部４０１～出力部４０８は、制御部の一例として機能する。取得部４０１～出力部４０８は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、符号化のパラメータと復号化のパラメータとを記憶する。記憶部４００は、例えば、符号化部４０２で用いられる、符号化にかかるニューラルネットワークを規定するパラメータθを記憶する。記憶部４００は、例えば、復号化部４０４で用いられる、復号化にかかるニューラルネットワークを規定するパラメータξを記憶する。

記憶部４００は、確率分布を規定する、学習対象とする更新前のモデルを記憶する。モデルは、例えば、確率密度関数である。モデルは、例えば、混合ガウスモデル（ＧＭＭ：ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ）である。モデルが、混合ガウスモデルである具体例については、図５を用いて、実施例１に後述する。モデルは、確率分布を規定するパラメータψを有する。更新前とは、学習対象となる、モデルの確率分布を規定するパラメータψが、更新前である状態を意味する。また、記憶部４００は、各機能部の処理に用いられる各種関数を記憶する。

取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、ユーザの操作入力に基づき、各種情報を取得してもよい。取得部４０１は、学習装置１００とは異なる装置から、各種情報を受信してもよい。

取得部４０１は、例えば、各種データの入力を受け付ける。取得部４０１は、例えば、オートエンコーダー１１０を学習するサンプルとなる１以上のデータの入力を受け付ける。以下の説明では、オートエンコーダー１１０を学習するサンプルとなるデータを「標本データ」と表記する場合がある。取得部４０１は、具体的には、標本データを端末装置２０１から受信することにより、標本データの入力を受け付ける。取得部４０１は、具体的には、ユーザの操作入力に基づき、標本データの入力を受け付けてもよい。これにより、取得部４０１は、標本データのセットを符号化部４０２や最適化部４０６などが参照可能にし、オートエンコーダー１１０を学習可能にすることができる。

取得部４０１は、例えば、データ解析の処理対象となる１以上のデータの入力を受け付ける。以下の説明では、データ解析の処理対象となるデータを「対象データ」と表記する場合がある。取得部４０１は、具体的には、対象データを端末装置２０１から受信することにより、対象データの入力を受け付ける。取得部４０１は、具体的には、ユーザの操作入力に基づき、対象データの入力を受け付けてもよい。これにより、取得部４０１は、対象データを符号化部４０２などが参照可能にし、データ解析を実施可能にすることができる。

取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、学習装置１００内で定期的に発生する信号であってもよい。開始トリガーは、例えば、ユーザによる所定の操作入力があったことであってもよい。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

取得部４０１は、例えば、サンプルとなる標本データの入力を受け付けたことを、符号化部４０２～最適化部４０６の処理を開始する開始トリガーとして受け付ける。これにより、取得部４０１は、オートエンコーダー１１０を学習する処理を開始することができる。取得部４０１は、例えば、対象データの入力を受け付けたことを、符号化部４０２～解析部４０７の処理を開始する開始トリガーとして受け付ける。これにより、取得部４０１は、データ解析を実施する処理を開始することができる。

符号化部４０２は、各種データを符号化する。符号化部４０２は、例えば、標本データを符号化する。符号化部４０２は、具体的には、符号化にかかるニューラルネットワークにより、標本データを符号化して特徴データを生成する。符号化にかかるニューラルネットワークは、入力層のノード数より出力層のノード数が少なく、特徴データは、標本データより次元数が少なくなる。符号化にかかるニューラルネットワークは、例えば、パラメータθによって規定される。これにより、符号化部４０２は、標本データを符号化して得た特徴データを、推定部４０５や生成部４０３や復号化部４０４が参照可能にすることができる。

また、符号化部４０２は、例えば、対象データを符号化する。符号化部４０２は、具体的には、符号化にかかるニューラルネットワークにより、対象データを符号化して特徴データを生成する。これにより、符号化部４０２は、対象データを符号化して得た特徴データを解析部４０７などが参照可能にすることができる。

生成部４０３は、ノイズを生成し、標本データを符号化して得た特徴データにノイズを加算して加算後の特徴データを生成する。ノイズは、特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。これにより、生成部４０３は、復号化部４０４の処理対象とする加算後の特徴データを生成することができる。

また、復号化部４０４は、加算後の特徴データを復号化して復号化データを生成する。復号化部４０４は、例えば、復号化にかかるニューラルネットワークにより、加算後の特徴データを復号化して復号化データを生成する。復号化にかかるニューラルネットワークは、入力層のノード数が出力層のノード数より少なく、復号化データを、標本データと同じ次元数で生成可能であることが好ましい。復号化にかかるニューラルネットワークは、例えば、パラメータξによって規定される。これにより、復号化部４０４は、オートエンコーダー１１０を学習する指標となる、復号化データを、最適化部４０６などが参照可能にすることができる。

推定部４０５は、特徴データの確率分布を算出する。推定部４０５は、例えば、確率分布を規定するモデルに基づいて、標本データを符号化して得た特徴データの確率分布を算出する。推定部４０５は、具体的には、パラメトリックに、標本データを符号化して得た特徴データの確率分布を算出する。パラメトリックに確率分布を算出する具体例については、例えば、実施例３に後述する。これにより、推定部４０５は、オートエンコーダー１１０を学習する指標となる、標本データを符号化して得た特徴データの確率分布を、最適化部４０６などが参照可能にすることができる。

推定部４０５は、例えば、復号化データと標本データとの類似度に基づいて、標本データを符号化して得た特徴データの確率分布を算出してもよい。類似度は、例えば、コサイン類似度または相対ユークリッド距離などである。推定部４０５は、標本データを符号化して得た特徴データに、復号化データと標本データとの類似度を結合してから、結合後の特徴データの確率分布を算出する。復号化データと標本データとの類似度を用いる具体例については、例えば、図６を用いて、実施例２に後述する。これにより、推定部４０５は、オートエンコーダー１１０を学習する指標となる、結合後の特徴データの確率分布を、最適化部４０６などが参照可能にすることができる。

推定部４０５は、例えば、確率分布を規定するモデルに基づいて、対象データを符号化して得た特徴データの確率分布を算出する。推定部４０５は、具体的には、パラメトリックに、対象データを符号化して得た特徴データの確率分布を算出する。これにより、推定部４０５は、データ解析を実施する指標となる、対象データを符号化して得た特徴データの確率分布を、解析部４０７などが参照可能にすることができる。

最適化部４０６は、復号化データと標本データとの第一の誤差と、確率分布の情報エントロピーとを最小化するように、オートエンコーダー１１０と、特徴データの確率分布とを学習する。第一の誤差は、微分した結果が所定の条件を満たすように規定された誤差関数に基づいて算出される。第一の誤差は、例えば、復号化データと標本データとの二乗誤差である。第一の誤差は、例えば、復号化データと標本データとの二乗誤差の対数であってもよい。

第一の誤差は、δＸをＸの任意の微小変異、Ａ（Ｘ）をＸに依存するＮ×Ｎのエルミート行列、Ｌ（Ｘ）をＡ（Ｘ）のコレスキー分解行列としたとき、復号化データと標本データとの誤差が下記式（４）で近似できるような誤差であってもよい。このような誤差には、例えば、二乗誤差の他に（１－ＳＳＩＭ）がある。また、第一の誤差は、（１－ＳＳＩＭ）の対数であってもよい。

最適化部４０６は、例えば、第一の誤差と、情報エントロピーとの重み付き和を最小化するように、オートエンコーダー１１０と、特徴データの確率分布とを学習する。最適化部４０６は、具体的には、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、モデルのパラメータとを学習する。

符号化のパラメータは、上記符号化にかかるニューラルネットワークのパラメータθである。復号化のパラメータは、上記復号化にかかるニューラルネットワークのパラメータξである。モデルのパラメータは、混合ガウスモデルのパラメータψである。混合ガウスモデルのパラメータψを学習する具体例については、例えば、図５を用いて、実施例１に後述する。

これにより、最適化部４０６は、入力されるデータの確率密度と、特徴データの確率密度とに比例傾向が現れるように、入力されるデータから特徴データを抽出可能なオートエンコーダー１１０を学習することができる。最適化部４０６は、例えば、オートエンコーダー１１０を形成する符号化部４０２と復号化部４０４とで用いる、パラメータθとパラメータξとを更新することにより、オートエンコーダー１１０を学習することができる。

解析部４０７は、学習したオートエンコーダー１１０と、学習した特徴データの確率分布とに基づいて、データ解析を実施する。解析部４０７は、例えば、学習したオートエンコーダー１１０と、学習したモデルとに基づいて、データ解析を実施する。データ解析は、例えば、アノマリー検出である。解析部４０７は、例えば、学習したオートエンコーダー１１０に対応する符号化部４０２および復号化部４０４と、学習したモデルとに基づいて、対象データについてのアノマリー検出を実施する。

解析部４０７は、具体的には、学習したオートエンコーダー１１０に対応する符号化部４０２が対象データを符号化して得た特徴データについて、学習したモデルに基づいて推定部４０５が算出した確率分布を取得する。解析部４０７は、取得した確率分布に基づいて、対象データについてのアノマリー検出を実施する。これにより、解析部４０７は、精度よくデータ解析を実施することができる。

出力部４０８は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０８は、いずれかの機能部の処理結果をユーザに通知可能にし、学習装置１００の利便性の向上を図ることができる。出力部４０８は、例えば、学習したオートエンコーダー１１０を出力する。

出力部４０８は、具体的には、学習したオートエンコーダー１１０を実現するための、符号化にかかるパラメータθと、復号化にかかるパラメータξとを出力する。これにより、出力部４０８は、他のコンピュータで、学習したオートエンコーダー１１０を利用可能にすることができる。出力部４０８は、例えば、アノマリー検出を実施した結果を出力する。これにより、出力部４０８は、他のコンピュータで、アノマリー検出を実施した結果を参照可能にすることができる。

ここでは、学習装置１００が、取得部４０１～出力部４０８を有する場合について説明したが、これに限らない。例えば、学習装置１００とは異なる他のコンピュータが、取得部４０１～出力部４０８のいずれかの機能部を有し、学習装置１００と他のコンピュータとが協働する場合があってもよい。具体的には、学習装置１００が、学習したオートエンコーダー１１０と学習したモデルとを、解析部４０７を有する他のコンピュータに送信し、他のコンピュータで、データ解析を実施可能にする場合があってもよい。

（学習装置１００の実施例１）
次に、図５を用いて、学習装置１００の実施例１について説明する。実施例１において、学習装置１００は、潜在空間における特徴データｚの確率分布Ｐｚ_ψ（ｚ）を、多次元混合ガウスモデルによって算出する。多次元混合ガウスモデルについては、例えば、上記非特許文献３を参照することができる。

図５は、学習装置１００の実施例１を示す説明図である。図５において、学習装置１００は、ドメインＤから、オートエンコーダー１１０を学習するサンプルとなるデータｘを複数取得する。図５の例では、学習装置１００は、Ｎ個のデータｘのセットを取得する。

（５－１）学習装置１００は、データｘが取得されるごとに、符号化器５０１により、データｘを符号化して特徴データｚを生成する。符号化器５０１は、パラメータθによって規定されるニューラルネットワークである。

（５－２）学習装置１００は、特徴データｚが生成されるごとに、特徴データｚに対応する、ガウス混合分布のパラメータｐを算出する。パラメータｐは、ベクトルである。学習装置１００は、例えば、特徴データｚを入力とし、パラメータψで規定され、ガウス混合分布のパラメータｐを推定するＥｓｔｉｍａｔｉｏｎＮｅｔｗｏｒｋｐ＝ＭＬＮ（ｚ；ψ）により、特徴データｚに対応するｐを算出する。ＭＬＮは、多層ニューラルネットワークである。ＥｓｔｉｍａｔｉｏｎＮｅｔｗｏｒｋについては、例えば、上記非特許文献３を参照することができる。

（５－３）学習装置１００は、特徴データｚが生成されるごとに、特徴データｚにノイズεを加算して加算後データｚ＋εを生成する。ノイズεは、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。

（５－４）学習装置１００は、加算後データｚ＋εが生成されるごとに、復号化器５０２により、加算後データｚ＋εを復号化して復号化データｘ^∨を生成する。復号化器５０２は、パラメータξによって規定されるニューラルネットワークである。

（５－５）学習装置１００は、上記式（１）により、復号化データｘ^∨とデータｘとの組み合わせごとに、復号化データｘ^∨とデータｘとの第一の誤差Ｄ１を算出する。

（５－６）学習装置１００は、Ｎ個の特徴データｚから算出したＮ個のパラメータｐに基づいて、情報エントロピーＲを算出する。情報エントロピーＲは、例えば、平均情報量である。学習装置１００は、例えば、下記式（５）～下記式（９）により、情報エントロピーＲを算出する。ここで、データｘの番号ｉと定義する。ｉ＝１，２，・・・，Ｎである。多次元混合ガウスモデルのコンポーネントｋと定義する。ｋ＝１，２，・・・，Ｋである。

学習装置１００は、具体的には、下記式（５）により、サンプルの負担率γ^∧を算出する。ここで、文中のγ^∧は、図中および式中のγの上部に∧を付した記号を示す。

次に、学習装置１００は、下記式（６）により、ガウス混合分布の混合重みφ_ｋ ^∧を算出する。ここで、文中のφ_ｋ ^∧は、図中および式中のφ_ｋの上部に∧を付した記号を示す。

次に、学習装置１００は、下記式（７）により、ガウス混合分布の平均μ_ｋ ^∧を算出する。ここで、文中のμ_ｋ ^∧は、図中および式中のμ_ｋの上部に∧を付した記号を示す。ｚ_ｉは、ｉ番目のデータｘを符号化したｉ番目の符号化データｚである。

次に、学習装置１００は、下記式（８）により、ガウス混合分布の分散共分散行列Σ_ｋ ^∧を算出する。ここで、文中のΣ_ｋ ^∧は、図中および式中のΣ_ｋの上部に∧を付した記号を示す。

そして、学習装置１００は、下記式（９）により、情報エントロピーＲを算出する。

（５－７）学習装置１００は、上記式（３）に従って、重み付き和Ｅを最小化するように、符号化器５０１のパラメータθと、復号化器５０２のパラメータξと、ガウス混合分布のパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、情報エントロピーＲとの和である。式中の第一の誤差Ｄ１には、算出した第一の誤差Ｄ１の平均値などを採用することができる。

これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。学習装置１００は、例えば、アノマリー検出の精度向上を図ることを可能にすることができる。

（学習装置１００の実施例２）
次に、図６を用いて、学習装置１００の実施例２について説明する。実施例２において、学習装置１００は、潜在空間における特徴データｚ_ｃに対する説明変数ｚ_ｒを用いる。

図６は、学習装置１００の実施例２を示す説明図である。図６において、学習装置１００は、ドメインＤから、オートエンコーダー１１０を学習するサンプルとなるデータｘを複数取得する。図６の例では、学習装置１００は、Ｎ個のデータｘのセットを取得する。

（６－１）学習装置１００は、データｘが取得されるごとに、符号化器６０１により、データｘを符号化して特徴データｚ_ｃを生成する。符号化器６０１は、パラメータθによって規定されるニューラルネットワークである。

（６－２）学習装置１００は、特徴データｚ_ｃが生成されるごとに、特徴データｚ_ｃにノイズεを加算して加算後データｚ_ｃ＋εを生成する。ノイズεは、特徴データｚ_ｃと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。

（６－３）学習装置１００は、加算後データｚ_ｃ＋εが生成されるごとに、復号化器６０２により、加算後データｚ_ｃ＋εを復号化して復号化データｘ^∨を生成する。復号化器６０２は、パラメータξによって規定されるニューラルネットワークである。

（６－４）学習装置１００は、上記式（１）により、復号化データｘ^∨とデータｘとの組み合わせごとに、復号化データｘ^∨とデータｘとの第一の誤差Ｄ１を算出する。

（６－５）学習装置１００は、特徴データｚ_ｃが生成されるごとに、特徴データｚ_ｃに説明変数ｚ_ｒを結合して結合後データｚを生成する。説明変数ｚ_ｒは、例えば、コサイン類似度または相対ユークリッド距離などである。説明変数ｚ_ｒは、具体的には、コサイン類似度（ｘ・ｘ^∨）／（｜ｘ｜・｜ｘ^∨｜）または相対ユークリッド距離（ｘ－ｘ^∨）／｜ｘ｜などである。

（６－６）学習装置１００は、結合後データｚが生成されるごとに、ＥｓｔｉｍａｔｉｏｎＮｅｔｗｏｒｋｐ＝ＭＬＮ（ｚ；ψ）により、結合後データｚに対応するｐを算出する。

（６－７）学習装置１００は、上記式（５）～上記式（９）により、Ｎ個の結合後データｚから算出したＮ個のパラメータｐに基づいて、情報エントロピーＲを算出する。情報エントロピーＲは、例えば、平均情報量である。

（６－８）学習装置１００は、上記式（３）に従って、重み付き和Ｅを最小化するように、符号化器６０１のパラメータθと、復号化器６０２のパラメータξと、ガウス混合分布のパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、情報エントロピーＲとの和である。式中の第一の誤差Ｄ１には、算出した第一の誤差Ｄ１の平均値などを採用することができる。

これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。また、学習装置１００は、特徴データｚの次元数が比較的少なくなるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析について比較的大きな精度向上を図ることを可能にすることができる。学習装置１００は、例えば、アノマリー検出について比較的大きな精度向上を図ることを可能にすることができる。

（学習装置１００の実施例３）
次に、学習装置１００の実施例３について説明する。実施例３において、学習装置１００は、ｚの確率分布Ｐｚ_ψ（ｚ）を独立な分布と仮定し、ｚの確率分布Ｐｚ_ψ（ｚ）を、パラメトリックな確率密度関数として推定する。ｚの確率分布Ｐｚ_ψ（ｚ）を、パラメトリックな確率密度関数として推定することについては、例えば、下記非特許文献４を参照することができる。

非特許文献４：ＪｏｈａｎｎｅｓＢａｌｌｅ，ＤａｖｉｄＭｉｎｎｅｎ，ＳａｕｒａｂｈＳｉｎｇｈ，ＳｕｎｇＪｉｎＨｗａｎｇ，ａｎｄＮｉｃｋＪｏｈｎｓｔｏｎ， “Ｖａｒｉａｔｉｏｎａｌｉｍａｇｅｃｏｍｐｒｅｓｓｉｏｎｗｉｔｈａｓｃａｌｅｈｙｐｅｒｐｒｉｏｒ，” ＩｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ（ＩＣＬＲ），２０１８．

（学習装置１００により得られる効果の一例）
次に、図７を用いて、学習装置１００により得られる効果の一例について説明する。

図７は、学習装置１００により得られる効果の一例を示す説明図である。図７において、入力とする人工データｘを示す。具体的には、図７におけるグラフ７００は、人工データｘの分布を示すグラフである。

ここで、従来手法のオートエンコーダーαにより、人工データｘから特徴データｚを抽出した場合の、特徴データｚの分布、および人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性について示す。

具体的には、図７におけるグラフ７１０は、従来手法のオートエンコーダーαでの、特徴データｚの分布を示すグラフである。また、図７におけるグラフ７１１は、従来手法のオートエンコーダーαでの、人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性を示すグラフである。

グラフ７１０，７１１に示すように、従来手法のオートエンコーダーαでは、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とは、比例することがなく、線形関係が現れない。このため、人工データｘの代わりに、従来手法のオートエンコーダーαでの特徴データｚを用いても、データ解析の精度向上を図ることは難しくなる。

これに対し、学習装置１００によって、上記式（１）を用いて学習されたオートエンコーダー１１０により、人工データｘから特徴データｚを抽出した場合について示す。具体的には、この場合における、特徴データｚの分布、および人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性について示す。

具体的には、図７におけるグラフ７２０は、オートエンコーダー１１０での、特徴データｚの分布を示すグラフである。また、図７におけるグラフ７２１は、オートエンコーダー１１０での、人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性を示すグラフである。

グラフ７２０，７２１に示すように、オートエンコーダー１１０によれば、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とは、比例傾向にあり、線形関係が現れることになる。このため、学習装置１００は、人工データｘの代わりに、オートエンコーダー１１０での特徴データｚを用いて、データ解析の精度向上を図ることを可能にすることができる。

（学習処理手順）
次に、図８を用いて、学習装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図８は、学習処理手順の一例を示すフローチャートである。図８において、学習装置１００は、符号化器により入力ｘを符号化し、潜在変数ｚを出力する（ステップＳ８０１）。次に、学習装置１００は、潜在変数ｚの確率分布を推定する（ステップＳ８０２）。そして、学習装置１００は、ノイズεを生成する（ステップＳ８０３）。

次に、学習装置１００は、潜在変数ｚにノイズεを加算して得たｚ＋εを復号化器により復号し、ｘ^∨を生成する（ステップＳ８０４）。そして、学習装置１００は、コストを算出する（ステップＳ８０５）。コストは、上述した重み付き和Ｅである。

次に、学習装置１００は、コストが小さくなるように、パラメータθ、ψ、ξを更新する（ステップＳ８０６）。そして、学習装置１００は、学習が収束したか否かを判定する（ステップＳ８０７）。ここで、学習が収束していない場合（ステップＳ８０７：Ｎｏ）、学習装置１００は、ステップＳ８０１の処理に戻る。

一方で、学習が収束している場合（ステップＳ８０７：Ｙｅｓ）、学習装置１００は、学習処理を終了する。学習の収束は、例えば、更新によるパラメータθ、ψ、ξの変化量が一定以下であることである。これにより、学習装置１００は、入力ｘの確率密度と、潜在変数ｚの確率密度とに比例傾向が現れるように、入力ｘから潜在変数ｚを抽出可能なオートエンコーダー１１０を学習することができる。

（解析処理手順）
次に、図９を用いて、学習装置１００が実行する、解析処理手順の一例について説明する。解析処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

図９は、解析処理手順の一例を示すフローチャートである。図９において、学習装置１００は、符号化器により入力ｘを符号化し、潜在変数ｚを生成する（ステップＳ９０１）。そして、学習装置１００は、推定した潜在変数ｚの確率分布に基づいて、生成した潜在変数ｚの外れ度を算出する（ステップＳ９０２）。

次に、学習装置１００は、外れ度が閾値以上であれば、アノマリーとして入力ｘを出力する（ステップＳ９０３）。そして、学習装置１００は、解析処理を終了する。これにより、学習装置１００は、精度よくアノマリー検出を実施することができる。

ここで、学習装置１００は、図８の一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ８０２，Ｓ８０３の処理の順序は入れ替え可能である。学習装置１００は、例えば、学習処理に用いるサンプルとなる入力ｘを複数受け付けたことに応じて、上記学習処理を実行開始する。学習装置１００は、例えば、解析処理の処理対象となる入力ｘを受け付けたことに応じて、上記解析処理を実行開始する。

以上説明したように、学習装置１００によれば、入力されたデータｘを符号化することができる。学習装置１００によれば、データｘを符号化して得た特徴データｚの確率分布を算出することができる。学習装置１００によれば、特徴データｚにノイズεを加算することができる。学習装置１００によれば、ノイズεを加算した特徴データｚ＋εを復号化することができる。学習装置１００によれば、復号化して得た復号化データｘ^∨とデータｘとの第一の誤差と、算出した確率分布の情報エントロピーとを算出することができる。学習装置１００によれば、第一の誤差と、第二の誤差と、確率分布の情報エントロピーとを最小化するように、オートエンコーダー１１０と、特徴データの確率分布とを学習することができる。これにより、学習装置１００は、データｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、データｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。

学習装置１００によれば、確率分布を規定するモデルに基づいて、特徴データｚの確率分布を算出することができる。学習装置１００によれば、オートエンコーダー１１０と、確率分布を規定するモデルとを学習することができる。これにより、学習装置１００は、オートエンコーダー１１０と確率分布を規定するモデルの最適化を図ることができる。

学習装置１００によれば、モデルとして、混合ガウスモデルを採用することができる。学習装置１００によれば、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、混合ガウスモデルのパラメータとを学習することができる。これにより、学習装置１００は、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、混合ガウスモデルのパラメータとの最適化を図ることができる。

学習装置１００によれば、復号化データｘ^∨とデータｘとの類似度に基づいて、特徴データｚの確率分布を算出することができる。これにより、学習装置１００は、オートエンコーダー１１０を学習しやすくすることができる。

学習装置１００によれば、パラメトリックに特徴データｚの確率分布を算出することができる。これにより、学習装置１００は、オートエンコーダー１１０を学習しやすくすることができる。

学習装置１００によれば、ノイズεとして、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数を採用することができる。これにより、学習装置１００は、データｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れることを保証可能にすることができる。

学習装置１００によれば、第一の誤差として、復号化データｘ^∨とデータｘとの二乗誤差を採用することができる。これにより、学習装置１００は、第一の誤差を算出する際にかかる処理量の増加を抑制することができる。

学習装置１００によれば、学習したオートエンコーダー１１０と、学習した特徴データｚの確率分布とに基づいて、入力された新たなデータｘについてのアノマリー検出を実施することができる。これにより、学習装置１００は、アノマリー検出の精度を向上させることができる。

なお、本実施の形態で説明した学習方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した学習プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）－ＲＯＭ、ＭＯ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などである。また、本実施の形態で説明した学習プログラムは、インターネットなどのネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）符号化と復号化を実行するオートエンコーダーの学習方法であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータが実行することを特徴とする学習方法。

（付記２）前記算出する処理は、
確率分布を規定するモデルに基づいて、前記特徴データの確率分布を算出し、
前記学習する処理は、
前記オートエンコーダーと前記モデルとを学習する、ことを特徴とする付記１に記載の学習方法。

（付記３）前記モデルは、混合ガウスモデル（ＧＭＭ：ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ）であり、
前記学習する処理は、
前記オートエンコーダーの符号化のパラメータおよび復号化のパラメータと、前記混合ガウスモデルのパラメータとを学習する、ことを特徴とする付記２に記載の学習方法。

（付記４）前記算出する処理は、
前記復号化データと前記データとの類似度に基づいて、前記特徴データの確率分布を算出する、ことを特徴とする付記１～３のいずれか一つに記載の学習方法。

（付記５）前記算出する処理は、
パラメトリックに前記特徴データの確率分布を算出する、ことを特徴とする付記１～４のいずれか一つに記載の学習方法。

（付記６）前記ノイズは、前記特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である、ことを特徴とする付記１～５のいずれか一つに記載の学習方法。

（付記７）前記第一の誤差は、前記復号化データと前記データとの二乗誤差である、ことを特徴とする付記１～６のいずれか一つに記載の学習方法。

（付記８）学習した前記オートエンコーダーと、学習した前記特徴データの確率分布とに基づいて、入力された新たなデータについてのアノマリー検出を実施する、
処理を前記コンピュータが実行することを特徴とする付記１～７のいずれか一つに記載の学習方法。

（付記９）符号化と復号化を実行するオートエンコーダーの学習プログラムであって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

（付記１０）符号化と復号化を実行するオートエンコーダーの学習装置であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
制御部を有することを特徴とする学習装置。

１００学習装置
１１０オートエンコーダー
１１１，５０１，６０１符号化器
１１２雑音生成器
１１３，５０２，６０２復号化器
２００データ解析システム
２０１端末装置
２１０ネットワーク
３００バス
３０１ＣＰＵ
３０２メモリ
３０３ネットワークＩ／Ｆ
３０４記録媒体Ｉ／Ｆ
３０５記録媒体
４００記憶部
４０１取得部
４０２符号化部
４０３生成部
４０４復号化部
４０５推定部
４０６最適化部
４０７解析部
４０８出力部
７００，７１０，７１１，７２０，７２１グラフ

Claims

符号化と復号化を実行するオートエンコーダーの学習方法であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータが実行することを特徴とする学習方法。
前記算出する処理は、
確率分布を規定するモデルに基づいて、前記特徴データの確率分布を算出し、
前記学習する処理は、
前記オートエンコーダーと前記モデルとを学習する、ことを特徴とする請求項１に記載の学習方法。
前記モデルは、混合ガウスモデル（ＧＭＭ：ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ）であり、
前記学習する処理は、
前記オートエンコーダーの符号化のパラメータおよび復号化のパラメータと、前記混合ガウスモデルのパラメータとを学習する、ことを特徴とする請求項２に記載の学習方法。
前記算出する処理は、
前記復号化データと前記データとの類似度に基づいて、前記特徴データの確率分布を算出する、ことを特徴とする請求項１～３のいずれか一つに記載の学習方法。
前記算出する処理は、
パラメトリックに前記特徴データの確率分布を算出する、ことを特徴とする請求項１～４のいずれか一つに記載の学習方法。
前記ノイズは、前記特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である、ことを特徴とする請求項１～５のいずれか一つに記載の学習方法。
前記第一の誤差は、前記復号化データと前記データとの二乗誤差である、ことを特徴とする請求項１～６のいずれか一つに記載の学習方法。
符号化と復号化を実行するオートエンコーダーの学習プログラムであって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
符号化と復号化を実行するオートエンコーダーの学習装置であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化し、
復号化して得た復号化データと前記データとの第一の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
制御部を有することを特徴とする学習装置。