JP7102080B2 - 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 - Google Patents
未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP7102080B2 JP7102080B2 JP2019177864A JP2019177864A JP7102080B2 JP 7102080 B2 JP7102080 B2 JP 7102080B2 JP 2019177864 A JP2019177864 A JP 2019177864A JP 2019177864 A JP2019177864 A JP 2019177864A JP 7102080 B2 JP7102080 B2 JP 7102080B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- latent
- latent expression
- encoder
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
マルチモーダルデータには、時系列データと非時系列データとがある。時系列マルチモーダルデータとは、特徴に時間次元を持ち、周期的(例えば5分間隔)に取得された計測値群である。一方で、非時系列マルチモーダルデータは、特徴に時間次元を持たない。
時系列マルチモーダルデータとしては、例えば以下のようなものがある。
消費電力、照度(視覚)、動き(視覚)、
気温(触覚)、湿度(触覚)、音声(聴覚)、映像(視覚)
スマートホームに設置されたセンサは、無線によってエッジコンピュータへ、逐次、その計測値を送信する。エッジコンピュータは、収集された時系列のマルチモーダルデータから、ユーザの行動や状態を推定しようとする。
特に、時系列の計測値群に対するオートエンコーダの学習エンジンを想定した際に、エンコーダが未来の潜在表現を予測することができれば、デコーダがその潜在表現をサンプリングすることによって、未来の計測値群を予測することができるのではないか、と考えた。
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
してコンピュータを機能させることを特徴とする。
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンは、平均ベクトルμと分散共分散行列の対角成分Σとによって表現した潜在表現zを出力する
ようにコンピュータを機能させることも好ましい。
エンコーダ側として、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク(RNN(Recurrent Neural Network))によって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と
してコンピュータを更に機能させることも好ましい。
時系列特徴抽出手段は、再帰型ニューラルネットワークは、LSTM(Long Short Term Memory)又はGRU(Gated Recurrent Unit)である
ようにコンピュータを機能させることも好ましい。
エンコーダ側として、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、時系列方向に平均0及び標準偏差1とした標準化バッチx'tnを生成し、単位時間Thにおける時系列N個の標準化バッチx'tnをランダムに選択し、時系列特徴抽出手段へ出力する標準化バッチ生成手段と
してコンピュータを更に機能させることも好ましい。
センサにおける時系列の計測値の組の群は、時系列マルチモーダルデータであり、温度、湿度、照度、動き、消費電力及び/又は外出有無である
ようにコンピュータを機能させることも好ましい。
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第2の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと
して更に機能させ、
エンコーダに対するデコーダを備えたVAE(Variational AutoEncoder)としてコンピュータを更に機能させることも好ましい。
デコーダ側として、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と
してコンピュータを更に機能させることも好ましい。
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と
してコンピュータを更に機能させることも好ましい。
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
してコンピュータを更に機能させることも好ましい。
エンコーダとして、第1の潜在表現生成エンジンから出力された第1の潜在表現zt1と第2の潜在表現zt2との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを更に機能させることも好ましい。
エンコーダの運用段階として、
第1の潜在表現生成エンジンは、時刻t1の信念bt1を入力し、第1の潜在表現zt1を出力し、
回帰モデル構築手段は、第1の潜在表現zt1を入力し、当該第1の潜在表現zt1に相関する第2の潜在表現z't2を出力する
ようにコンピュータを更に機能させることも好ましい。
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
エンコーダの学習段階として、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、単位時間Thにおける時系列N個のバッチxtnをランダムに選択し、時系列方向に平均0及び標準偏差1とし標準化した時系列N個の標準化バッチx'tnを生成する標準化バッチ生成手段と、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と、
M個の信念btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
して機能させ、
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第2の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と、
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
して機能させ、
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と、
第1の潜在表現生成エンジンから出力された第1の潜在表現zt1と、第2の潜在表現生成エンジンから出力された第2の潜在表現z't1との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを機能させることを特徴とする。
VAEの運用段階として、
エンコーダとして、
標準化バッチ生成手段は、時刻t1の各計測値の組の群xt1から、時系列方向に平均0及び標準偏差1とし標準化した標準化バッチx't1を生成し、
時系列特徴抽出手段は、標準化バッチx't1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念bt1として出力し、
第1の潜在表現生成エンジンは、M個の信念bt1を入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成し、
回帰モデル構築手段は、第1の潜在表現zt1から、回帰モデルに基づく予測潜在表現z't2を生成し、
デコーダとして、
予測サンプリング手段は、エンコーダから出力された予測潜在表現z't2からサンプリングした予測サンプル数値群を生成し、
予測信念再生エンジンは、予測潜在表現z't2の予測サンプル数値群から、時刻t2の信念b't2を再生し、
時系列特徴再生手段は、時刻t2の信念bt'2を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t2の標準化バッチy't2を出力し、
標準化バッチ再生手段は、時刻t2の標準化バッチy't2から、各センサについて時刻t2における各計測値の組の群yt2を再生する
ようにコンピュータを機能させることも好ましい。
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
を有することを特徴とする。
装置は、エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1のステップと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成する第2のステップと、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する第3のステップと、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第4のステップと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる第5のステップと
を実行することを特徴とする。
そして、<運用段階>として、その深層生成モデルを用いて、現在の計測値群から未来の計測値群を予測する。
また、本発明によれば、時系列の計測値群に対して、再帰型ニューラルネットワークとオートエンコーダとを組合せた学習エンジンを想定する。エンコーダが、未来の潜在表現を予測することができれば、デコーダは、その潜在表現をサンプリングすることによって、未来の計測値群を予測することができる。
尚、時系列の計測値群は、家庭(スマートホーム)毎に取得すべきであって、学習エンジンの学習モデルも、家庭毎に個別に構築される。
図1は、本発明における時系列の計測値群に対するオートエンコーダの学習段階の機能構成図である。
オートエンコーダは、エンコーダ1とデコーダ2とから構成される。エンコーダ1は、入力データから、その潜在表現を推定するものである。デコーダ2は、その潜在表現から、データを再生するものである。
説明変数は、スマートホームにおける各種センサから出力された計測値とする。
x=(x1, x2, x3, x4)
x1:消費電力(単位wh) <-電力センサ
x2:照度(単位lux) <-照度センサ
x3:動き(1に近いほど大きな動き) <-動きセンサ
目的変数は、例えば外出有無を表すフラグとする。
x4:外出有無(1:外出、0:在宅) <-行動モーダル
所定期間Td:例えば7日
周期tm :例えば5分
時系列K個:例えば2016個(=12コマ×24時間×7日)
計測値組x2は、計測値組x1からみて5分後の3センサモーダル及び行動モーダルの値となる。また、計測値組x3は、計測値組x1からみて10分後の3センサモーダル及び行動モーダルの値となる。
具体的には、4つの時系列モーダルを縦方向に並べた4行2016(=12コマ×24時間×7日)列の時系列マルチモーダルデータ行列Xが、エンコーダ1に入力される。
標準化バッチ生成部11は、以下の処理を実行する。
(1)時系列K個の各計測値の組の群xk(行列X)から、時系列方向(横方向)に平均0及び標準偏差1とした標準化バッチx'tnを生成する。
(2)単位時間Th(例えば1時間)における時系列N個(例えば12列分)の標準化バッチx'tnをランダムに選択する。
図2によれば、単位時間Th(例えば1時間)における時系列N個(例えば12列分)の標準化バッチx'tnを、64個ランダムに選択する。この64個の各時間帯は、重複していてもよい。これら64個の標準化バッチx'tnを、「1バッチ」とする。
時系列特徴抽出部12は、単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク(RNN(Recurrent Neural Network))によって学習されたM個の隠れ層ベクトルを、M個の「信念bt」として出力する。信念(belief)とは、エージェント(未来の潜在表現を予測するもの)が直接観測できない潜在表現に対して持つ近似的な確率分布をいう。
B1=(b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12)
b1:ある時刻に持つ信念
b2:b1からみて5分後に持つ信念
b3:b1からみて10分後に持つ信念
・・・・・
10個の連結されたLSTMから出力される隠れベクトルは、過去のLSTMの出力を再帰的に入力することで記憶したものである。即ち、LSTMの各ステップを出力する関数fbを用いて、時刻t+1のbt+1は、fb(bt,xt)によって表される。
バッチエンコーダ13は、バッチデコーダ23と対となって、オートエンコーダ(VAE)を構成する。オートエンコーダは、入力層、任意の潜在表現をもつ中間層、出力層からなる深層生成モデルとからなり、潜在表現をある分布(多次元正規分布など)に従うと仮定したものである。
その上で、バッチエンコーダ13は、時刻t1の信念bt1における潜在表現z't1を出力する。
第1の潜在表現生成エンジン131は、異なる2時点のt1及びt2(1≦t1<t2≦12)を任意に選択する。そして、2つの潜在表現を生成する。
(1)時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成
(2)時刻t2の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成
例えば、10次元の信念bt1から、20次元平均ベクトルμt1と、20次元分散共分散行列の対角成分Σt1と算出する。
潜在表現zt1=μt1+e*Σt1
μt1:平均ベクトル
Σt1:対角成分
e~N(0,1)となる標準正規分布
log(Σt1):対角成分の対数
同様に、信念bt2から、20次元平均ベクトルμt2と、20次元分散共分散行列の対角成分Σt2と算出する。
潜在表現zt2=μt2+e*Σt2
また、信念bt2に基づく潜在表現zt2は、サンプリング部132へ出力される。
サンプリング部132は、第2の潜在表現zt2からサンプリングしたサンプル数値群を生成する。これは、平均ベクトルμ及び対角成分Σから、標準正規分布に基づいてサンプリングした数値群である。
図6によれば、サンプリング部132は、潜在表現zt2から20次元のサンプリング数値群を出力している。出力されたサンプリング数値群は、予測数値群生成部133へ出力される。
予測数値群生成部133は、時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する。
このサンプル数値群は、10次元の信念bt1と、20次元のサンプル数値群とを単に横方向に並べて連結させたものである。
予測数値群=10次元の信念bt1+20次元のサンプル数値群
生成された予測数値群は、第2の潜在表現生成エンジン134へ出力される。
第2の潜在表現生成エンジン134は、予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する。第2の潜在表現生成エンジン134は、第1の潜在表現生成エンジン131と同様に、平均ベクトルμと分散共分散行列の対角成分Σとによって表現した予測潜在表現z't1を出力する。
エンコーダ学習構築部135は、第1の潜在表現生成エンジン131及び第2の潜在表現生成エンジン134を、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる。
DKL(z't1 || zt1)
DKL(P||Q)=∫∞ -∞P(x)log(p(x)/Q(x))dx
P(i)、Q(i):確率分布P、Qに従って選ばれた値がiの時の確率
P~N(μ,Σ)、Q~N(0,1)の場合、確率分布Pと標準正規分布の差異を表し、
Pが標準正規分布に近いほど小さくなる。
回帰モデル構築部136は、第1の潜在表現生成エンジン131から出力された第1の潜在表現zt1と第2の潜在表現zt2との間の相関性に基づく回帰モデルを構築する。
zt1 <-> zt2
回帰モデルは、運用段階で、時刻t1の潜在表現zt1 から時刻t2の潜在表現zt2を推定するために用いられる。
図1によれば、デコーダ2は、バッチデコーダ23と、時系列特徴再生部22と、標準化バッチ再生部21とを有する。
バッチデコーダ12は、バッチエンコーダ13から時刻t1の潜在表現z't1を入力し、時刻t1の信念b't1を出力する。
図4によれば、バッチデコーダ23は、予測サンプリング部231と、予測信念再生エンジン232とを有する。
これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置のデコード方法としても理解できる。
予測サンプリング部231は、エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する。これは、バッチエンコーダ13のサンプリング部132と同様のものである。生成された予測サンプリング数値群は、予測信念再生エンジン232へ出力される。
予測信念再生エンジン232は、エンコーダの第2の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する。再生された時刻t1の信念b't1は、時系列特徴再生部22へ出力される。
時系列特徴再生部22は、エンコーダ1の時系列特徴抽出部12の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する。
標準化バッチ再生部21は、エンコーダ1の標準化バッチ生成部11の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する。
オートエンコーダ学習構築部3は、エンコーダ1の時系列特徴抽出部12と、デコーダ2の時系列特徴再生部22とに対して、時系列特徴抽出部12に入力された時刻t1の標準化バッチx't1と、時系列特徴再生部22から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させる。
-E[logp(x't1 | z't1)]
L=DKL(z't1 || zt1)-E[logp(x't1 | z't1)]
図9は、本発明におけるオートエンコーダの運用段階の機能構成図である。
消費電力:x1t1=39.44wh
照度 :x2t1=106.92lux
動き :x3t1=1(大きな動き)
外出有無:0(在宅)
標準化バッチ生成部11は、任意の時刻t1における計測値群xt1を入力し、標準化バッチx't1を出力する。
時系列特徴抽出部12は、標準化バッチx't1を入力し、再帰ニューラルネットワークにおける時刻t1の信念bt1を出力する。
第1の潜在表現生成エンジン131は、時刻t1の信念bt1を入力し、潜在表現zt1を出力する。
回帰モデル構築部136は、潜在表現zt1を入力し、回帰モデルに基づく潜在表現zt2を出力する。回帰モデルとして構築しておくことによって、非常に軽い処理で、第1の潜在表現zt1に相関する第2の潜在表現z't2を導出することができる。
予測サンプリング部231は、潜在表現zt2を入力し、予測サンプリング数値群を出力する。
予測信念再生エンジン232は、予測サンプリング数値群を入力し、未来の時刻t2における信念b't2を出力する。
時系列特徴再生部22は、未来の時刻t2における信念b't2を入力し、未来の標準化バッチy't2を出力する。
標準化バッチ再生部21は、未来の標準化バッチy't2を入力し、未来の計測値群yt2を出力する。
消費電力:y1t2=28.424wh
照度 :y2t2=111.76lux
動き :y3t2=0.25(比較的小さい動き)
外出有無:1(外出)
即ち、現在の時刻t1に、未来の時刻t2には、ユーザが外出しているであろうことが予測される。
11 標準化バッチ生成部
12 時系列特徴抽出部
13 バッチエンコーダ
131 第1の潜在表現生成エンジン
132 サンプリング部
133 予測数値群生成部
134 第2の潜在表現生成エンジン
135 エンコーダ学習構築部
136 回帰モデル構築部
2 デコーダ
21 標準化バッチ再生部
22 時系列特徴再生部
23 バッチデコーダ
231 予測サンプリング部
232 予測信念再生エンジン
3 オートエンコーダ学習構築部
Claims (16)
- 未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントのプログラムであって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
してコンピュータを機能させることを特徴とするプログラム。 - 第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンは、平均ベクトルμと分散共分散行列の対角成分Σによって表現した潜在表現zを出力する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - エンコーダ側として、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク(RNN(Recurrent Neural Network))によって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と
してコンピュータを更に機能させることを特徴とする請求項1又は2に記載のプログラム。 - 時系列特徴抽出手段は、再帰型ニューラルネットワークは、LSTM(Long Short Term Memory)又はGRU(Gated Recurrent Unit)である
ようにコンピュータを機能させることを特徴とする請求項3に記載のプログラム。 - エンコーダ側として、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、時系列方向に平均0及び標準偏差1とした標準化バッチx'tnを生成し、単位時間Thにおける時系列N個の標準化バッチx'tnをランダムに選択し、時系列特徴抽出手段へ出力する標準化バッチ生成手段と
してコンピュータを更に機能させることを特徴とする請求項3又は4に記載のプログラム。 - センサにおける時系列の計測値の組の群は、時系列マルチモーダルデータであり、温度、湿度、照度、動き、消費電力及び/又は外出有無である
ようにコンピュータを機能させることを特徴とする請求項5に記載のプログラム。 - デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第2の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと
して更に機能させ、
エンコーダに対するデコーダを備えたVAE(Variational AutoEncoder)としてコンピュータを更に機能させることを特徴とする請求項1から6のいずれか1項に記載のプログラム。 - デコーダ側として、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と
してコンピュータを更に機能させることを特徴とする請求項7に記載のプログラム。 - エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と
してコンピュータを更に機能させることを特徴とする請求項8に記載のプログラム。 - エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
してコンピュータを更に機能させることを特徴とする請求項9に記載のプログラム。 - エンコーダとして、第1の潜在表現生成エンジンから出力された第1の潜在表現zt1と第2の潜在表現zt2との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを更に機能させることを特徴とする請求項1から10のいずれか1項に記載のプログラム - エンコーダの運用段階として、
第1の潜在表現生成エンジンは、時刻t1の信念bt1を入力し、第1の潜在表現zt1を出力し、
回帰モデル構築手段は、第1の潜在表現zt1を入力し、当該第1の潜在表現zt1に相関する第2の潜在表現z't2を出力する
ようにコンピュータを更に機能させることを特徴とする請求項11に記載のプログラム - エンコーダに対するデコーダを備えたVAEとしてコンピュータを機能させるエージェントのプログラムであって、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
エンコーダの学習段階として、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、単位時間Thにおける時系列N個のバッチxtnをランダムに選択し、時系列方向に平均0及び標準偏差1とし標準化した時系列N個の標準化バッチx'tnを生成する標準化バッチ生成手段と、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と、
M個の信念btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
して機能させ、
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第2の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と、
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
して機能させ、
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と、
第1の潜在表現生成エンジンから出力された第1の潜在表現zt1と、第2の潜在表現生成エンジンから出力された第2の潜在表現z't1との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを機能させることを特徴とするプログラム。 - VAEの運用段階として、
エンコーダとして、
標準化バッチ生成手段は、時刻t1の各計測値の組の群xt1から、時系列方向に平均0及び標準偏差1とし標準化した標準化バッチx't1を生成し、
時系列特徴抽出手段は、標準化バッチx't1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念bt1として出力し、
第1の潜在表現生成エンジンは、M個の信念bt1を入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成し、
回帰モデル構築手段は、第1の潜在表現zt1から、回帰モデルに基づく予測潜在表現z't2を生成し、
デコーダとして、
予測サンプリング手段は、エンコーダから出力された予測潜在表現z't2からサンプリングした予測サンプル数値群を生成し、
予測信念再生エンジンは、予測潜在表現z't2の予測サンプル数値群から、時刻t2の信念b't2を再生し、
時系列特徴再生手段は、時刻t2の信念bt'2を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t2の標準化バッチy't2を出力し、
標準化バッチ再生手段は、時刻t2の標準化バッチy't2から、各センサについて時刻t2における各計測値の組の群yt2を再生する
ようにコンピュータを機能させることを特徴とする請求項13に記載のプログラム。 - 未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントの装置であって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1の潜在表現生成エンジンと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第2の潜在表現生成エンジンと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
を有することを特徴とする装置。 - 未来の潜在表現を予測する装置のエンコード方法であって、
装置は、エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第1の潜在表現zt1を生成すると共に、時刻t2(1≦t1<t2)の信念bt2から、正規化された確率分布の第2の潜在表現zt2を生成する第1のステップと、
第2の潜在表現zt2からサンプリングしたサンプル数値群を生成する第2のステップと、
時刻t1の信念bt1と、第2の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する第3のステップと、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第4のステップと、
第1の潜在表現生成エンジン及び第2の潜在表現生成エンジンを、第1の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる第5のステップと
を実行することを特徴とするエンコード方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177864A JP7102080B2 (ja) | 2019-09-27 | 2019-09-27 | 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177864A JP7102080B2 (ja) | 2019-09-27 | 2019-09-27 | 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021056667A JP2021056667A (ja) | 2021-04-08 |
JP7102080B2 true JP7102080B2 (ja) | 2022-07-19 |
Family
ID=75270782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177864A Active JP7102080B2 (ja) | 2019-09-27 | 2019-09-27 | 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7102080B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205050B (zh) * | 2021-05-09 | 2023-05-26 | 西北工业大学 | 一种基于gru-ae网络的舰船辐射噪声线谱提取方法 |
KR102480423B1 (ko) | 2022-06-16 | 2022-12-22 | 주식회사 액션파워 | 인코더-디코더 구조를 가진 인공 신경망 모델을 활용한 데이터 생성 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018152004A (ja) | 2017-03-15 | 2018-09-27 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2019502212A (ja) | 2016-01-14 | 2019-01-24 | 株式会社Preferred Networks | 時系列データ適合およびセンサ融合のシステム、方法、および装置 |
-
2019
- 2019-09-27 JP JP2019177864A patent/JP7102080B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019502212A (ja) | 2016-01-14 | 2019-01-24 | 株式会社Preferred Networks | 時系列データ適合およびセンサ融合のシステム、方法、および装置 |
JP2018152004A (ja) | 2017-03-15 | 2018-09-27 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
Non-Patent Citations (1)
Title |
---|
芦原 佑太 ほか,「CNN型AEとベクトル付加LSTMを用いた物体の回転画像の想起モデル」,汎用人工知能研究会 第1回SIG-AGI研究会 [online],人工知能学会,2015年12月16日,pp.09-01~09-04,[2017年10月19日 検索], インターネット:<URL:http://www.sig-agi.org/sig-agi/events/sig-agi-01/publications/SIG-AGI-001-09.pdf?attredirects=0&d=1> |
Also Published As
Publication number | Publication date |
---|---|
JP2021056667A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6922284B2 (ja) | 情報処理装置及びプログラム | |
CN110942101B (zh) | 基于深度生成式对抗网络的滚动轴承剩余寿命预测方法 | |
CN112364975B (zh) | 基于图神经网络的终端运行状态预测方法及系统 | |
JP6994812B2 (ja) | 複数のセンサの時系列の計測値群における欠損値を補完するプログラム、装置及び方法 | |
CN113723007B (zh) | 基于drsn和麻雀搜索优化的设备剩余寿命预测方法 | |
US20170109656A1 (en) | Data-driven activity prediction | |
JP7102080B2 (ja) | 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法 | |
US20210049890A1 (en) | Electronic device and control method therefor | |
CN116691418B (zh) | 一种可自动分配控制功率的充电方法 | |
CN110309537B (zh) | 一种飞行器的智能健康预测方法及系统 | |
CN108876044A (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
CN111709754A (zh) | 一种用户行为特征提取方法、装置、设备及系统 | |
Augustyniak et al. | Graph-based representation of behavior in detection and prediction of daily living activities | |
CN112365033B (zh) | 一种风电功率区间预测方法、系统及存储介质 | |
CN114266201B (zh) | 一种基于深度学习的自注意力电梯困人预测方法 | |
WO2021115856A1 (en) | Systems and methods for audible sleep therapy | |
Fisher et al. | Simulating the evolution of homeless populations in canada using modified deep q-learning (mdql) and modified neural fitted q-iteration (mnfq) algorithms | |
CN114694379B (zh) | 一种基于自适应动态图卷积的交通流预测方法及系统 | |
CN116861962A (zh) | 一种数据处理方法及装置 | |
KR20080006981A (ko) | 지능형 홈 서비스 제공 시스템 및 방법 | |
JP2020057357A (ja) | 神経網の動作方法と学習方法及びその神経網 | |
Zhong et al. | A Data-Driven Method for Remaining Useful Life Prediction of Rolling Bearings Under Different Working Conditions | |
JP2021140749A (ja) | 人間の知能を人工知能に移植するための精密行動プロファイリングのための電子装置およびその動作方法 | |
CN115333961B (zh) | 基于深度强化学习的无线通信网络管控方法及相关设备 | |
CN115409217A (zh) | 一种基于多专家混合网络的多任务预测性维护方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7102080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |