JP7331940B2 - 学習装置、推定装置、学習方法および学習プログラム - Google Patents

Description

本発明は、学習装置、推定装置、学習方法および学習プログラムに関する。

機械学習によりデータの確率分布を推定する技術として、潜在変数とニューラルネットワークとを用いて密度推定を行うＶＡＥ（Variational AutoEncoder）が知られている（非特許文献１～３参照）。ＶＡＥは、大規模かつ複雑なデータの確率分布を推定することができるため、異常検知、画像認識、動画認識、音声認識等の様々な分野に応用されている。

一方、従来のＶＡＥでは、機械学習に大量のデータが必要であり、データ数が少ないと性能が低下することが知られている。そこで、大量の学習データを用意するための手法として、他のタスクのデータを用いて、目的とするタスクのデータの密度推定の性能を向上させるマルチタスク学習が知られている。マルチタスク学習では、タスク間で不変な特徴を学習して、目的のタスクと他のタスクとの間で不変な知識を共有することにより、性能を向上させている。例えば、ＣＶＡＥ（Conditional Variational AutoEncoder）は、潜在変数にタスクで不変な事前分布を仮定することで、潜在変数のタスクへの依存性を減らし、タスク不変な特徴を学習することができる。

Diederik P. Kingma, et al., "Semi-supervised Learning with Deep Generative Models", Advances in neural information processing systems, 2014年, ［２０１９年１０月２５日検索]、インターネット＜URL:http://papers.nips.cc/paper/5352-semi-supervised-learning-with-deep-generative-models.pdf＞ Christos Louizos, et al., "The Variational Fair Autoencoder", [online], arXiv preprint arXiv:1511.00830, 2015年, ［２０１９年１０月２５日検索]、インターネット＜URL:https://arxiv.org/pdf/1511.00830.pdf＞ Hiroshi Takahashi, et al., "Variational Autoencoder with Implicit Optimal Priors", [online], Proceedings of the AAAI Conference on Artificial Intelligence, Vol.33, 2019年, ［２０１９年１０月２５日検索]、インターネット＜https://aaai.org/ojs/index.php/AAAI/article/view/443＞

しかしながら、ＣＶＡＥでは、多くのケースで潜在変数のタスクへの依存性が残ってしまうことが知られており、タスク依存性の低減が不十分である。そのため、マルチタスク学習の精度を十分に向上させることができない場合があるという課題があった。

本発明は、上記に鑑みてなされたものであって、マルチタスク学習の精度を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る学習装置は、タスクにおけるデータを取得する取得部と、タスクにおけるデータ発生の確率分布を表すモデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、前記モデルを学習する学習部と、を有することを特徴とする。

本発明によれば、マルチタスク学習の精度を向上させることが可能となる。

図１は、学習装置の概要を説明するための説明図である。 図２は、学習装置の概要を説明するための説明図である。 図３は、学習装置の概略構成を例示する模式図である。 図４は、学習部の処理を説明するための説明図である。 図５は、推定装置の概略構成を例示する模式図である。 図６は、検知部の処理を説明するための説明図である。 図７は、検知部の処理を説明するための説明図である。 図８は、学習処理手順を示すフローチャートである。 図９は、推定処理手順を示すフローチャートである。 図１０は、学習プログラムまたは推定プログラムを実行するコンピュータを例示する図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［学習装置の概要］
本実施形態の学習装置は、ＣＶＡＥをベースにした生成モデルを作成して、タスク不変な密度推定を行う。ここで、図１および図２は、学習装置の概要を説明するための説明図である。図１に示すように、ＣＶＡＥは、エンコーダおよびデコーダと呼ばれる２つの条件付き確率分布で構成される。

エンコーダｑ_φ（ｚ｜ｘ，ｓ）は、タスクｓにおけるデータｘを符号化して、潜在変数ｚによる表現に変換する。ここで、φはエンコーダのパラメータである。また、デコーダｐ_θ（ｘ｜ｚ，ｓ）は、エンコーダで符号化されたデータを復号化して、タスクｓにおける元のデータｘを再現する。ここで、θはデコーダのパラメータである。元のデータｘが連続値の場合、一般に、エンコーダおよびデコーダにはガウス分布が適用される。図１に示す例では、エンコーダの分布はＮ（ｚ；μ_φ（ｘ，ｓ），σ^２ _φ（ｘ，ｓ））であり、デコーダの分布はＮ（ｘ；μ_θ（ｚ，ｓ），σ^２ _θ（ｚ，ｓ））である。

具体的には、ＣＶＡＥは、次式（１）に示すように、タスクｓにおけるデータｘの確率ｐ_θ（ｘ｜ｓ）を、潜在変数ｚを用いて推定する。ここで、ｐ（ｚ）は事前分布と呼ばれる。

ＣＶＡＥの学習では、次式（２）に示すｌｎｐ_θ（ｘ｜ｓ）の変分下界Ｌの期待値を最大化するように学習を行って、パラメータが決定される。

ここで、次式（３）に示す変分下界Ｌの第一項は再構成誤差（ＲＥ）、第二項はカルバックライブラー情報量（ＫＬ）と呼ばれる。

具体的には、ＣＶＡＥでは、データｘとタスクｓの真の同時分布ｐ_Ｄ（ｘ，ｓ）について、次式（４）に示すように、変分下界Ｌの期待値を目的関数として、目的関数を最大化するように、学習を行う。

そこで、ＣＶＡＥでは、上記式（３）に示したＣＶＡＥのＫＬの期待値Ｒ（φ）を最小化することにより、変分下界Ｌの期待値を最大化する。ＣＶＡＥのＫＬの期待値Ｒ（φ）は、次式（５）のように表される。

ここで、Ｉ（Ｏ；Ｚ）は、観測変数ｘ，ｓとの潜在変数ｚに対する相互情報量であり、次式（６）で表される。

また、Ｋ個のタスクのそれぞれの確率をｐ_Ｄ（ｓ＝ｋ）＝π_ｋとした場合に、次式（７）に示す潜在変数ｚのタスクｓに対する事後分布について、次式（８）に示すＪＳ ｄｉｖｅｒｇｅｎｃｅを導入する。

ここで、ｑ_φ（ｚ）は、次式（９）で表される。

上記式（８）に示したＪＳ ｄｉｖｅｒｇｅｎｃｅであるＪ（φ）は、潜在変数ｚがタスクｓに依存している場合には大きい値をとり、潜在変数ｚがタスクｓに依存していない場合には小さい値をとる。このように、ＪＳ ｄｉｖｅｒｇｅｎｃｅは、タスク依存性を図る尺度とすることができる。

ＣＶＡＥでは、上記式（５）に示したＣＶＡＥのＫＬの期待値Ｒ（φ）を最小化している。このＪ（φ）はＲ（φ）によって上から抑えられているため、ＣＶＡＥでは、Ｊ（φ）も最小化されることにより、潜在変数ｚのタスクｓへの依存性が減少している。

ここで、図２は、Ｊ（φ）、Ｒ（φ）、Ｉ（Ｏ；Ｚ）の大小関係を示す図である。図２に示すように、Ｒ（φ）は、Ｊ（φ）のタイトな上界とは言えず、Ｊ（φ）を十分に最小化することができない。そのため、ＣＶＡＥでは、タスク依存性を十分に小さくすることができない。

そこで、本実施形態の学習装置は、相互情報量Ｉ（Ｏ；Ｚ）を最小化する。図２に示すように、Ｉ（Ｏ；Ｚ）は、Ｒ（φ）よりタイトなＪ（φ）の上界であるため、相互情報量Ｉ（Ｏ；Ｚ）を最小化すれば、Ｊ（φ）がより小さくなり、タスク依存性をより小さくすることが可能となる。

また、上記式（５）より導かれる次式（１０）に示すＲ（φ）とＩ（Ｏ；Ｚ）との差分は、ｐ（ｚ）＝ｑ_φ（ｚ）のときに０になる。つまり、Ｒ（φ）の代わりにＩ（Ｏ；Ｚ）を最小化することと、事前分布Ｐ（ｚ）を上記式（９）に示したｑ_φ（ｚ）に変更することは同等である。

これにより、本実施形態の学習装置は、ＣＶＡＥよりさらにタスク依存性を低減して、マルチタスク学習の精度を向上させることが可能となる。

［学習装置の構成］
図３は、学習装置の概略構成を例示する模式図である。図３に例示するように、学習装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ネットワーク３を介したサーバ等の外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、等に関する各種情報を管理する管理装置等と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する学習処理により学習されたデータの生成モデルのパラメータ等が記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図３に例示するように、取得部１５ａおよび学習部１５ｂとして機能する。なお、これらの機能部は、それぞれが異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。例えば、制御部１５は、後述する推定装置２０の機能部を備えて、推定装置２０として動作することも可能である。

取得部１５ａは、タスクにおけるデータを取得する。例えば、取得部１５ａは、ＩｏＴ機器に取り付けられたセンサが出力するセンサデータを、タスクごとに、通信制御部１３を介して取得する。センサデータとしては、例えば、車に取り付けられた温度、速度、回転数、走行距離等のセンサのデータや、工場内で稼働する多種多様な機器のそれぞれに取り付けられた温度、振動数、音等のセンサのデータが例示される。また、取得部１５ａは、取得したデータを記憶部１４に記憶させてもよい。なお、取得部１５ａは、これらの情報を記憶部１４に記憶させずに、学習部１５ｂに転送してもよい。

学習部１５ｂは、タスクｓにおけるデータｘの発生の確率分布を表す生成モデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、生成モデルを学習する。この相互情報量とは、確率分布の対数の変分下界Ｌについてのカルバックライブラー情報量ＫＬの期待値Ｒ（φ）を上界とする所定の相互情報量Ｉ（Ｏ；Ｚ）である。

具体的には、学習部１５ｂは、上記式（１）に示したタスクｓにおけるデータｘが発生する確率分布を表す生成モデルを、ＣＶＡＥをベースに作成する。その際に、学習部１５ｂは、上記式（５）に示した相互情報量Ｉ（Ｏ；Ｚ）を最小化するように、生成モデルを学習する。このように、Ｒ（φ）の代わりにＩ（Ｏ；Ｚ）を最小化することにより、ＣＶＡＥよりさらにタスク依存性を低減させることが可能となる。

また、学習部１５ｂは、Ｉ（Ｏ；Ｚ）を、密度比推定を用いて推定する。密度比推定とは、２つの確率分布のそれぞれを推定することなく、２つの確率分布の密度比（差分）を推定する手法である。

ここで、上記式（５）に示したように、Ｒ（φ）は、上記式（３）に示した確率分布の対数の変分下界Ｌについてのカルバックライブラー情報量ＫＬの期待値であり、相互情報量Ｉ（Ｏ；Ｚ）の上界である。そこで、学習部１５ｂは、Ｒ（φ）とＩ（Ｏ；Ｚ）との差分を、密度比推定を用いて推定する。

具体的には、学習部１５ｂは、次式（１１）に示すように、Ｒ（φ）とＩ（Ｏ；Ｚ）との差分を、ニューラルネットワークＴ_Ψ（φ）を用いて推定する。なお、Ｒ（φ）とＩ（Ｏ；Ｚ）との差分は、正値をとることがわかっている。

ここで、Ｔ_Ψ（φ）は、次式（１２）に示す目的関数を最大にするニューラルネットワークである。

その場合に、相互情報量Ｉ（Ｏ；Ｚ）は、次式（１３）に示すように、上界Ｒ（φ）から上記式（１１）で推定された差分を引くことにより推定することができる。

学習部１５ｂは、推定された相互情報量Ｉ（Ｏ；Ｚ）を上記式（４）に示したＣＶＡＥの目的関数Ｆ_ＣＶＡＥ（θ，φ）に代入することにより、次式（１４）に示す本実施形態の目的関数Ｆ_{Ｐｒｏｐｏｓｅｄ}（θ，φ）を得る。

学習部１５ｂは、目的関数Ｆ_{Ｐｒｏｐｏｓｅｄ}（θ，φ）を最大化するように学習を行って、パラメータを決定する。上記式（１４）に示したように、目的関数Ｆ_{Ｐｒｏｐｏｓｅｄ}（θ，φ）は、上記式（４）に示した目的関数Ｆ_ＣＶＡＥ（θ，φ）より、上記式（１１）に示した分だけ大きい値をとる。したがって、学習部１５ｂは、タスクｓにおけるデータｘの確率分布を、ＣＶＡＥと比較してさらに精度高く推定することが可能となる。

図４は、学習部１５ｂの処理を説明するための説明図である。図４には、各種の手法により学習された生成モデルの性能を表す対数尤度が例示されている。対数尤度は、生成モデルの精度評価の尺度であり、値が大きいほど精度が高いことを表す。図４に示す各種の手法において、ＵＳＰＳ、ＭＮＩＳＴ、ＳｙｎＮｕｍｓ、ＳＹＨＮと呼ばれる４種のデータセットのうち、ソースとしていずれかのデータセットの全データを用い、ターゲットとしていずれかのデータセットの中の１００データを用いて学習した。また、ターゲットのテストデータに対する密度推定の性能を評価した。

図４には、ソース→ターゲットの組み合わせとして、ＵＳＰＳ→ＭＮＩＳＴ、ＭＮＩＳＴ→ＵＳＰＳ、ＳｙｎＮｕｍｓ→ＳＶＨＮ、ＳＹＨＮ→ＳＹｎＮｕｍｓの４種が例示されている。また、図４には、各種の手法として、ターゲットのみにＶＡＥ適用、ＶＡＥ、ＣＶＡＥ、ＶＦＡＥ、および本発明が例示されている。なお、ＶＦＡＥも既存手法である。

図４に示すように、本発明の手法によれば、ＭＮＩＳＴ→ＵＳＰＳのデータセットを用いた場合を除いて、他の手法より対数尤度の値が最も大きく、精度が高い。このように、本発明の手法によれば、既存手法と比較して概ね密度推定の精度が向上することがわかる。したがって、本実施形態の学習部１５ｂにより、高精度な生成モデルを作成できる。

［推定装置の構成］
図５は、推定装置の概略構成を例示する模式図である。図５に例示するように、推定装置２０は、パソコン等の汎用コンピュータで実現され、入力部２１、出力部２２、通信制御部２３、記憶部２４、および制御部２５を備える。

入力部２１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部２５に対して処理開始などの各種指示情報を入力する。出力部２２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。

通信制御部２３は、ＮＩＣ（Network Interface Card）等で実現され、ネットワークを介したサーバ等の外部の装置と制御部２５との通信を制御する。例えば、通信制御部２３は、等に関する各種情報を管理する管理装置等と制御部１５との通信を制御する。

記憶部２４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、上記した学習装置１０により学習されたデータの生成モデルのパラメータ等が記憶される。なお、記憶部２４は、通信制御部２３を介して制御部２５と通信する構成でもよい。

制御部２５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部２５は、図５に例示するように、取得部１５ａ、学習部１５ｂおよび検知部２５ｃとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。例えば、取得部１５ａおよび学習部１５ｂと、検知部２５ｃとが異なるハードウェアに実装されてもよい。すなわち、上記した学習装置１０と、検知部２５ｃを備えた推定装置２０とが別々の装置であってもよい。

取得部１５ａおよび学習部１５ｂは、上記した学習装置１０と同一の機能部であるので、説明を省略する。

検知部２５ｃは、学習された生成モデルを用いて新たに取得されたタスクにおけるデータの発生確率を推定し、該発生確率が所定の閾値より低い場合に、異常として検知する。例えば、図６および図７は、検知部２５ｃの処理を説明するための説明図である。図６に例示するように、推定装置２０では、車等のモノに取り付けられた速度、回転数、走行距離等のセンサのデータをタスクごとに取得部１５ａが取得して、学習部１５ｂがデータの確率分布を表す生成モデルを作成する。

また、検知部２５ｃが、作成された生成モデルを用いて、新たに取得部１５ａが取得したタスクにおけるデータの発生する確率分布を推定する。また、検知部２５ｃは、新たに取得部１５ａが取得したタスクにおけるデータの推定される発生確率が、所定の閾値以上の場合には正常、所定の閾値より低い場合には異常と判定する。

例えば、図７（ａ）に示したように、２次元のデータ空間に点で示したデータが与えられた場合に、検知部２５ｃは、学習部１５ｂが作成した生成モデルを用いて、図７（ｂ）に示すように、データ発生の確率分布を推定する。図７（ｂ）において、データ空間上の色が濃いほど、その部分のデータの発生の確率が高いことを示している。したがって、図７（ｂ）に×で示した発生の確率が低いデータは、異常データと見なすことができる。

上記したように、学習部１５ｂにより作成された生成モデルは、タスク依存性が低く、タスクに依らず精度高くデータの発生確率を推定することが可能である。したがって、検知部２５ｃは、精度高く異常データを検知することが可能となる。

また、検知部２５ｃは異常を検知した場合に、警報を出力する。例えば、検知部２５ｃは、出力部２２あるいは通信制御部２３を介して管理装置等に、異常検知の旨のメッセージやアラームを出力する。

［学習処理］
次に、図８を参照して、本実施形態に係る学習装置１０による学習処理について説明する。図８は、学習処理手順を示すフローチャートである。図８のフローチャートは、例えば、学習処理の開始を指示する操作入力があったタイミングで開始される。

まず、取得部１５ａが、タスクにおけるデータを取得する（ステップＳ１）。例えば、取得部１５ａは、車等のモノに取り付けられた速度、回転数、走行距離等のセンサのデータをタスクごとに取得する。

次に、学習部１５ｂが、タスクｓにおけるデータｘの発生の確率分布を表す生成モデルにおいて、潜在変数と観測変数の間の相互情報量が最小化するように、生成モデルを学習する（ステップＳ２）。この相互情報量とは、確率分布の対数の変分下界Ｌについてのカルバックライブラー情報量ＫＬの期待値Ｒ（φ）を上界とする相互情報量Ｉ（Ｏ；Ｚ）である。具体的には、学習部１５ｂは、タスクｓにおけるデータｘが発生する確率分布を表す生成モデルを、ＣＶＡＥをベースに作成し、相互情報量Ｉ（Ｏ；Ｚ）を最小化するように、生成モデルを学習する。

その際に、学習部１５ｂは、Ｉ（Ｏ；Ｚ）を、密度比推定を用いて推定する。また、学習部１５ｂは、推定された相互情報量Ｉ（Ｏ；Ｚ）をＣＶＡＥの目的関数Ｆ_ＣＶＡＥ（θ，φ）に代入することにより得られる目的関数Ｆ_{ｐｒｏｐｏｓｅｄ}（θ，φ）を最大化するように学習して、生成モデルのパラメータを決定する。これにより、一連の学習処理が終了する。

［推定処理］
次に、図９を参照して、本実施形態に係る推定装置２０による推定処理について説明する。図９は、推定処理手順を示すフローチャートである。図９に示すように、ステップＳ１～Ｓ２の処理は、図８に示した学習装置１０の学習処理と同一の処理であるので、説明を省略する。

検知部２５ｃは、作成された生成モデルを用いて、新たに取得部１５ａが取得した、タスクにおけるデータの発生する確率分布を推定する（ステップＳ３）。また、検知部２５ｃは、新たに取得部１５ａが取得した、タスクにおけるデータの推定される発生確率が、所定の閾値以上の場合には正常、所定の閾値より低い場合には異常と判定する（ステップＳ４）。検知部２５ｃは異常を検知した場合に、警報を出力する。これにより、一連の推定処理が終了する。

以上、説明したように、本実施形態の学習装置１０において、取得部１５ａが、タスクにおけるデータを取得する。また、学習部１５ｂが、タスクにおけるデータ発生の確率分布を表す生成モデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、生成モデルを学習する。相互情報量は、該確率分布の対数の変分下界についてのカルバックライブラー情報量の期待値を上界とする所定の相互情報量である。また、この生成モデルは、データを符号化して潜在変数による表現に変換するエンコーダと、該エンコーダで符号化されたデータを復号化するデコーダを有し、ＣＶＡＥをベースに生成される。

これにより、学習装置１０は、タスク依存性を低減させ、タスクにおけるデータの確率分布をさらに精度高く推定することが可能となる。このように、学習装置１０によれば、マルチタスク学習の精度を向上させることが可能となる。

また、学習部１５ｂは、相互情報量を密度比推定により推定する。これにより、学習装置１０は、効率よく生成モデルのタスク依存性を低減させることが可能となる。

また、本実施形態の推定装置２０において、取得部１５ａは、タスクにおけるデータを取得する。また、学習部１５ｂは、タスクにおけるデータ発生の確率分布を表す生成モデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、生成モデルを学習する。また、検知部２５ｃは、学習された生成モデルを用いて、新たに取得されたタスクにおけるデータの発生確率を推定し、該発生確率が所定の閾値より低い場合に、異常として検知する。これにより、推定装置２０は、マルチタスク学習により、タスクに依らず精度高くデータの発生確率を推定して、精度高く異常データを検知することが可能となる。

例えば、推定装置２０は、車に取り付けられた温度、速度、回転数、走行距離等の各種センサが出力する大規模かつ複雑なデータを多数ごとに取得して、走行中の車に発生した異常を高精度に検知することができる。あるいは、推定装置２０は、工場内で稼働する多種多様な機器のそれぞれに取り付けられた温度、振動数、音等のセンサが出力する大規模かつ複雑なデータをタスクごとに取得して、いずれかの機器に異常が発生した場合に、タスクに依らず高精度に異常を検知することができる。

また、検知部２５ｃは、異常を検知した場合に、警報を出力する。これにより、推定装置２０は、検知した異常を対処が可能な通知先に通知して、対処を行わせることが可能となる。

なお、本実施形態の学習装置１０および推定装置２０は、従来のＣＶＡＥをベースとしたものに限定されない。たとえば、学習部１５ｂの処理は、ＶＡＥの特殊なケースであるＡＥ（Auto Encoder）にタスクの条件を付加したものをベースとしてもよいし、エンコーダおよびデコーダがガウス分布以外の確率分布に従うものとしてもよい。

［プログラム］
上記実施形態に係る学習装置１０および推定装置２０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、学習装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を学習装置１０として機能させることができる。同様に、上記の推定処理を実行する推定プログラムを所望のコンピュータにインストールさせることにより、推定装置２０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。また、学習装置１０の機能や推定装置２０の機能を、クラウドサーバに実装してもよい。

図１０は、学習プログラムまたは推定プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、学習プログラムまたは推定プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した学習装置１０または推定装置２０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、学習プログラムまたは推定プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、学習プログラムまたは推定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、学習プログラムまたは推定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ 学習装置
１１、２１ 入力部
１２、２２ 出力部
１３、２３ 通信制御部
１４、２４ 記憶部
１５、２５ 制御部
１５ａ 取得部
１５ｂ 学習部
２０ 推定装置
２５ｃ 検知部

Claims (7)

1. タスクにおけるデータを取得する取得部と、
   タスクにおけるデータ発生の確率分布を表すモデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、前記モデルを学習する学習部と、
   を有し、
   前記相互情報量は、前記確率分布の対数の変分下界についてのカルバックライブラー情報量の期待値を上界とする所定の相互情報量であることを特徴とする学習装置。
2. 前記モデルは、データを符号化して前記潜在変数による表現に変換するエンコーダと、該エンコーダで符号化されたデータを復号化するデコーダとを有することを特徴とする請求項１に記載の学習装置。
3. 前記学習部は、前記相互情報量を密度比推定により推定することを特徴とする請求項１に記載の学習装置。
4. タスクにおけるデータを取得する取得部と、
   タスクにおけるデータ発生の確率分布を表すモデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、前記モデルを学習する学習部と、
   学習された前記モデルを用いて新たに取得されたタスクにおけるデータの発生確率を推定し、該発生確率が所定の閾値より低い場合に、異常として検知する検知部と、
   を有し、
   前記相互情報量は、前記確率分布の対数の変分下界についてのカルバックライブラー情報量の期待値を上界とする所定の相互情報量であることを特徴とする推定装置。
5. 前記検知部は、異常を検知した場合に、警報を出力することを特徴とする請求項４に記載の推定装置。
6. 学習装置で実行される学習方法であって、
   タスクにおけるデータを取得する取得工程と、
   タスクにおけるデータ発生の確率分布を表すモデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、前記モデルを学習する学習工程と、
   を含み、
   前記相互情報量は、前記確率分布の対数の変分下界についてのカルバックライブラー情報量の期待値を上界とする所定の相互情報量であることを特徴とする学習方法。
7. タスクにおけるデータを取得する取得ステップと、
   タスクにおけるデータ発生の確率分布を表すモデルにおいて、潜在変数と観測変数との間の相互情報量を最小化するように、前記モデルを学習する学習ステップと、
   をコンピュータに実行させ、
   前記相互情報量は、前記確率分布の対数の変分下界についてのカルバックライブラー情報量の期待値を上界とする所定の相互情報量であることを特徴とする学習プログラム。

Images