JP6464447B2 - 観測値の予測装置及び観測値の予測方法 - Google Patents

Description

本発明は、ロボットなどに使用される、観測値の予測装置及び観測値の予測方法に関する。

たとえば、ロボットが物体に動作を行いその結果物体が移動する場合に、ロボット自身の身体の時系列情報、及び視覚によって観測される物体の時系列情報から、ロボットの動作と物体の軌道との関連性を隠れマルコフモデルを使用して学習することで物理的な知識を獲得する方法が開発されている（たとえば、非特許文献１）。上記の方法を含む従来の方法は、学習した軌道を汎化し再現することによって軌道を生成する。したがって、従来の方法では、学習に含まれていないロボットの未知の動作から物体の未知の軌道を生成することはできない。すなわち、物体の軌道を観測対象と考えると、学習していない未知の観測値を予測することはできない。このように、従来、学習していない未知の観測値を予測することのできる予測装置及び予測方法は開発されていない。

杉浦孔明、岩橋直人、柏岡秀紀、"物体操作タスクのためのペナルティ項付き尤度最大化によるＨＭＭ軌道生成，"計測自動制御学会システムインテグレーション部門講演会、pp.2305-2306, 2012

このように、学習していない未知の観測値を予測することのできる予測装置及び予測方法は実用化できていなかった。そこで、学習していない未知の観測値を予測することのできる予測装置及び予測方法に対するニーズがある。

本発明の一態様による予測装置は、観測対象の位置に関する時刻ｔにおける観測対象観測値ｙ_２ｔと、前記観測対象に対して動作を行う動作部の位置に関する動作観測値ｙ_１ｔと、を取得する観測部と、前記動作観測値ｙ_１ｔの時系列データと前記観測対象観測値ｙ_２ｔの時系列データから、前記観測対象と前記動作部の状態ｓ_ｔを表すモデルであって、複数の状態間の遷移確率Ｐ（ｓ｜ｓ，β，α）であって、前記複数の状態それぞれに対応した、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を含む前記モデルの前記遷移確率Ｐ（ｓ｜ｓ，β，α）及び前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）を学習する学習部と、所定の時刻よりも前の時刻における前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれの時系列データを使用し、前記遷移確率Ｐ（ｓ｜ｓ，β，α）に基づいて前記所定の時刻の前記観測対象と前記動作部の状態ｓ_ｔを予測し、前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均と、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）の分散と平均と、に基づいて前記観測対象と前記動作部の状態ｓ_ｔに対応する前記所定の時刻における前記観測対象の位置ｐ_２，ｔを、式（数１）を用いて予測する予測部と、を備え、

前記式（数１）において、前記ｐ_{２，ｔ−１}は、時刻ｔよりも前の時刻ｔ−１における前記観測対象の位置であり、Σ’，μ’は、状態ｓ_ｔに対応した確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均であり、前記モデルは、隠れマルコフモデルにディリクレ過程を導入し、さらに複数の対象の観測を仮定したマルチモーダル階層ディリクレ過程隠れマルコフモデルであり、前記学習部は、時刻ｔの状態ｓ_ｔにおいて、状態ｓ_ｔを除いた残りを条件とした式（数２）の条件付き確率Ｐ（ｓ_ｔ｜ｓ_−ｔ，β，Ｙ_１，Ｙ_２，α，Ｈ_１、Ｈ_２）から状態ｓ_ｔをサンプリングして、前記式（数２）におけるＰ（ｙ_１ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_１，−ｔ，Ｈ_１）とＰ（ｙ_２ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_２，−ｔ，Ｈ_２）それぞれをベイズ推定によって式（数３）で表した場合に、前記観測対象観測値ｙ_２ｔおよび前記動作観測値ｙ_１ｔを決定する確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）のパラメータθ_ｓｔの更新を行って、前記式（数１）における前記遷移確率Ｐ（ｓ｜ｓ，β，α）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を学習し、

前記式（数２）において、前記Ｈ_１ 、前記Ｈ_２はガウス−ウィシャート分布のパラメータであり、前記βは前記γをパラメータとするＧＥＭ分布によって生成された値であり、前記αと前記γは事前分布としてγ分布を仮定し事後確率からサンプリングして求めた値であり、前記Ｙ_１は前記動作観測値ｙ_１ｔの集合であり、前記Ｙ_２は前記観測対象観測値ｙ_２ｔの集合であり、前記ｓ_−ｔは前記状態ｓ_ｔを除いた全時刻の状態を表し、前記Ｙ_１，−ｔ、前記Ｙ_２，−ｔは、それぞれ前記Ｙ_１、前記Ｙ_２から前記動作観測値ｙ_１ｔ、前記観測対象観測値ｙ_２ｔを除いた残りを表し、

前記式（数３）において、前記θ_ｓｔ’は、状態ｓ_ｔに対応したガウス分布の事後パラメータであり、＊は１または２である。また、本発明の一態様による予測装置において、前記予測部は、時刻ｔ−１の状態ｓ_ｔ−１と、その時刻における前記観測対象の位置ｐ_{２，ｔ−１}が与えられた場合、時刻ｔでの物体の位置ｐ_２，ｔの期待値を、式（数４）を用いて前記観測対象の軌跡を予測することで、前記観測対象の位置を予測するようにしてもよい。

本態様の予測装置によれば、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用することにより、学習していない未知の観測値を予測することができる。

本発明の一態様による予測装置において、前記予測部は、前記所定の時刻の前記観測対象と前記動作部それぞれの状態及び該状態に対応した前記動作観測値ｙ _１ｔ と前記観測対象観測値ｙ _２ｔ それぞれの複数のサンプリング値を求め、該複数のサンプリング値の平均値を観測値の予測値とするように構成されている。

本実施形態によれば、複数のサンプリング値の平均値を観測値の予測値とすることにより簡単に予測値を求めることができる。

本発明の一態様による予測装置において、前記動作観測値ｙ _１ｔ と前記観測対象観測値ｙ _２ｔ それぞれは、位置と速度とを含み、前記予測部は、前記動作観測値ｙ _１ｔ の確率分布Ｐ（ｙ _１ｔ ｜ｓ，Ｙ _１，−ｔ ，Ｈ _１ ）と前記観測対象観測値ｙ _２ｔ の確率分布Ｐ（ｙ _２ｔ ｜ｓ，Ｙ _２，−ｔ ，Ｈ _２ ）を使用して予測を行うように構成されている。

本実施形態によれば、動的制約を満たした物体の位置を生成することができるので、滑らかな物体の軌道を生成することができる。

本実施形態によれば、状態数をあらかじめ決める必要がなく、学習データの複雑さに応じて最適な状態数が推定される。

本発明の一態様による予測方法は、観測対象と前記観測対象に対して動作を行う動作部の状態ｓ_ｔを表すモデルであって、複数の状態間の遷移確率Ｐ（ｓ｜ｓ，β，α）、及び前記複数の状態それぞれに対応した、前記動作部の位置に関する時刻ｔにおける動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象の位置に関する時刻ｔにおける観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を含むモデルを使用して前記観測対象の位置ｐ_２，ｔを予測する予測方法であって、前記観測対象観測値ｙ_２ｔと、前記動作観測値ｙ_１ｔと、を取得するステップと、前記動作観測値ｙ_１ｔの時系列データと前記観測対象観測値ｙ_２ｔの時系列データから、前記モデルの前記遷移確率Ｐ（ｓ｜ｓ，β，α）及び前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）を学習するステップと、所定の時刻よりも前の時刻における前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれの時系列データを使用し、前記遷移確率Ｐ（ｓ｜ｓ，β，α）に基づいて前記所定の時刻の前記観測対象と前記動作部の状態ｓ_ｔを予測し、前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均と、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）の分散と平均と、に基づいて前記観測対象と前記動作部の状態に対応する前記所定の時刻における前記観測対象の位置ｐ_２，ｔを、式（数５）を用いて予測するステップと、を含み、

前記式（数５）において、前記ｐ_{２，ｔ−１}は、時刻ｔよりも前の時刻ｔ−１における前記観測対象の位置であり、Σ’，μ’は、状態ｓ_ｔに対応した確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均であり、前記モデルは、隠れマルコフモデルにディリクレ過程を導入し、さらに複数の対象の観測を仮定したマルチモーダル階層ディリクレ過程隠れマルコフモデルであり、前記学習するステップは、時刻ｔの状態ｓ_ｔにおいて、状態ｓ_ｔを除いた残りを条件とした式（数６）の条件付き確率Ｐ（ｓ_ｔ｜ｓ_−ｔ，β，Ｙ_１，Ｙ_２，α，Ｈ_１、Ｈ_２）から状態ｓ_ｔをサンプリングして、前記式（数６）におけるＰ（ｙ_１ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_１，−ｔ，Ｈ_１）とＰ（ｙ_２ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_２，−ｔ，Ｈ_２）それぞれをヘイズ推定によって式（数７）で表した場合に、前記観測対象観測値ｙ_２ｔおよび前記動作観測値ｙ_１ｔを決定する確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）のパラメータθ_ｓｔの更新を行って、前記式（数６）における前記遷移確率Ｐ（ｓ｜ｓ，β，α）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を学習し、

前記式（数６）において、前記Ｈ_１、前記Ｈ_２はガウス−ウィシャート分布のパラメータであり、前記βは前記γをパラメータとするＧＥＭ分布によって生成された値であり、前記αと前記γは事前分布としてγ分布を仮定し事後確率からサンプリングして求めた値であり、前記Ｙ_１は前記動作観測値ｙ_１ｔの集合であり、前記Ｙ_２は前記観測対象観測値ｙ_２ｔの集合であり、前記ｓ_−ｔは前記状態ｓ_ｔを除いた全時刻の状態を表し、前記Ｙ_１，−ｔ、前記Ｙ_２，−ｔは、それぞれ前記Ｙ_１、前記Ｙ_２から前記動作観測値ｙ_１ｔ、前記観測対象観測値ｙ_２ｔを除いた残りを表し、

前記式（数７）において、前記θ_ｓｔ’は、状態ｓ_ｔに対応したガウス分布の事後パラメータであり、＊は１または２である。

本態様の予測方法によれば、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用することにより、学習していない未知の観測値を予測することができる。

本発明の一実施形態による対象の観測値の予測装置の構成を示す図である。 モデルを説明するための図である。 学習部がモデルの学習を行う手順を説明するための流れ図である。 学習部による学習の概念を示す図である。 予測部による予測の手順を示す流れ図である。 観測が行われる時刻Tarm以前の状態と衝突後（時刻Tarm+1以降）の状態とを示す図である。 予測部による予測の概念を示す図である。 アームの軌道及び物体（球）の軌道を示す図である。 学習によって得られた６個の状態を示す図である。 予測部によって生成された既知の軌道を示す図である。 予測部によって生成された既知の軌道を示す図である。

図１は、本発明の一実施形態による対象の観測値の予測装置１００の構成を示す図である。観測値の予測装置１００は、対象の観測値を取得する観測部１０１と、対象の状態及び対象の状態と観測値との関係を表現するモデル１０５と、観測値にしたがってモデル１０５の学習を行う学習部１０３と、モデル１０３を使用して将来の観測値を予測する予測部１０７と、を含む。モデル１０５は、たとえば、予測装置１００の記憶装置に格納されている。

一例として、ロボットがアームによって物体に対する動作を行う場合に、該アームと該物体を観察対象とする。たとえば、ロボットを正面から見た際の横方向をｘ軸、縦方向をｙ軸とし、ロボットの手先のｘ座標とｙ座標とそれらの差分の合計４次元をアームの情報（観測値）とし使用し、同様に物体のｘ座標とｙ座標とそれらの差分の合計４次元を物体の情報（観測値）として使用する。

観測部１０１は、撮像装置やロボットの種々のセンサを使用して、アーム及び物体の観測値を取得するように構成される。すなわち、観測部１０１は、観測対象（たとえば、物体）の観測値を取得し、必要に応じてその他のデータ（たとえば、ロボットのアームの位置情報）も取得する。

予測装置１００は、ロボットが物体に触れた際の自身の身体の動きと物体の動きを観測することで、それらの関係を学習し予測を行う。学習により、ロボットは、丸い物体は触れば転がるといったこと、より強い力で触れればより遠くまで転がるといったこと、また四角い物体や重い物体は転がりにくいといったことなどの「知識」を獲得することができる。もちろん、物体の動きは、物理シミュレーションを行えば高精度に予測することができる。しかし、物理シミュレーションには、物体の質量や摩擦係数など、直接観測することが困難なパラメータが必要となる。他方、人間は、そのようなパラメータを使用せずに、視覚から得られる情報から、経験を通して獲得した知識を用いることで、物体の動き（軌道）を予測することができる。したがって、ロボットにも、上述の予測装置１００による学習及び予測は重要である。

予測装置１００は、上述のように、アームの位置の時系列情報と、観測部１０１から得られる物体の位置の時系列情報を使用する。これまで、このような物体の軌道や、ロボットの動作などの学習には隠れマルコフモデル（Hidden Markov Model, HMM）が使用されてきた（杉浦孔明、岩橋直人、柏岡秀紀、“物体操作タスクのためのペナルティ項付き尤度最大化によるＨＭＭ軌道生成，”計測自動制御学会システムインテグレーション部門講演会、pp.2305-2306, 2012）。ＨＭＭでは予め状態数を与えなければならない。しかし、本実施形態においては、ロボットの動作や物体によって最適な状態数は異なるため、予め状態数を設定することは困難である。そこで、予測装置１００は、ＨＭＭに階層ディリクレ過程（Hierarchical Dirichlet Process, HDP)を導入した階層ディリクレ過程隠れマルコフモデル（ＨＤＰ−ＨＭＭ）を使用する（M.J. Beal, Z. Ghahramani, and C.E. Rasmussen, “The infinite hidden Markov model”, Advances in neural information processing systems, pp.577-584, 2001）。ＨＤＰ−ＨＭＭは、状態数をあらかじめ決めることなく、学習データの複雑さに応じて最適な状態数を推定可能なモデルである。本実施形態では、ＨＤＰ−ＨＭＭを、さらに、物体やロボット自身の動作（すなわち、アームの動き）といった複数の時系列情報を学習可能なMultimordalＨＤＰ−ＨＭＭ（ＭＨＤＰ−ＨＭＭ）へと拡張し、教師なしでロボット自身の動作と物体の軌道の学習を行う。

このように複数の情報をＭＨＤＰ−ＨＭＭにより学習することで、一つの情報から未観測の他の情報を確率的に予測することが可能となる。たとえば、実際にロボットは行動しなくとも、自身の行動のみから物体がどのように動くかを予測することができる。物体の軌道の予測は、得られた情報から未来の状態を予測し、その状態と対応した物体の軌道を生成することで実現できる。

図２は、モデル１０５を説明するための図である。モデル１０５は、ＨＭＭにディリクレ過程を導入し、無限の状態を持つモデルへと拡張し、さらに複数の対象の観測を仮定したＭＨＤＰ−ＨＭＭである。図２において、

が状態を表し、

と

が各状態から出力される観測値であり、ｙ_１＊がロボットアームの情報、ｙ_２＊が物体の情報である。各状態

は無限の状態

をとることが可能であり、π_ｋが状態kから各状態へ遷移する確率を表す。このπ_ｋは、γをパラメータとするＧＥＭ分布（Stick Breaking Process）によって生成されたβ、及びαをパラメータとするDirichlet Process（ＤＰ）から生成される（持橋 大地、“最近のベイズ理論の進展と応用（III）ノンパラメトリックベイズ”http://www.ism.ac.jp/~daichi/paper/ieice10npbayes.pdf
上田 修巧、他１名、“ノンパラメトリックベイズモデル”http://www.kecl.ntt.co.jp/as/members/yamada/dpm_ueda_yamada2007.pdf
Yee Whye Teh、 他３名、 “Hierarchical Dirichlet Processes” http://www.cs.berkeley.edu/~jordan/papers/hdp.pdf）。

ここでα及びγについては、事前分布としてγ分布を仮定し、その事後確率からサンプリングしている（Yee Whye Teh、 他３名、 “Hierarchical Dirichlet Processes” http://www.cs.berkeley.edu/~jordan/papers/hdp.pdf ）。

時刻tの状態ｓ_ｔは、t-1の状態ｓ_ｔ−１と遷移確率π_ｋによって決定される。また、θ_＊は、観測値ｙ_＊ｔを生成する確率分布のパラメータであり、ここではガウス分布の平均と分散を仮定している。さらに、ガウス分布の事前分布として、ガウス―ウィシャート分布を仮定しており、そのパラメータがＨ_＊である。すなわち、以下の関係が成立する。

Ｍは多項分布、式（４）のＰはガウス―ウィシャート分布、Ｎはガウス分布を表す。モデル１０５において、遷移確率π_ｋとガウス分布のパラメータθ_＊ｋが学習によって求められる。

つぎに、モデル１０５の学習について説明する。学習はギブスサンプリングにより、各時刻ｔの状態ｓ_ｔをサンプリングすることで実現する。ギブスサンプリングでは、ｓ_ｔを除いた残りを条件とした以下の条件付き確率からｓ_ｔをサンプリングする。

ただし、Ｙ_１、Ｙ_２はそれぞれ、全観測データの集合である。また、添字-tは時刻ｔの状態を除いた残りを意味する。すなわち、ｓ_−ｔは、ｓ_ｔを除いた全時刻の状態を表し、
Ｙ_１，-ｔ、Ｙ_２，-ｔは、それぞれＹ_１、Ｙ_２からｙ_１ｔ、ｙ_２ｔを除いた残りを表している。式（６）における

は、ヘイズ推定より以下の式で表せる。

また、状態遷移確率である

は、状態iからjへ遷移した回数をｎ_ｉｊとして以下の式で表せる。

ただし、Kは現在の状態数であり、k=K+1の場合には新たな状態を生成することを意味する。

式（６）は、式（７）によって表される空間的制約と状態遷移確率の式によって表される時間的制約を考慮している。

学習はランダムな初期値から始め、式（６）によるサンプリングを繰り返すことで遷移確率

と、状態に対応した、観測値を出力する確率分布

と、を得ることができる。また、本実施形態では、ハイパーパラメータα及びβもサンプリングするここで推定を行っている（Y.W. The, M.I. Jordan, M.J. Beal, and D.M. Blei, “Hierarchical Dirichlet processes,” Journal of the American Statistical Association, vol.101, no.101, no.476, pp.1566-1581, 2006）。

図３は、学習部１０３がモデル１０５の学習を行う手順を説明するための流れ図である。

ここで、状態ｓ_ｔと対応したガウス分布の事後分布のパラメータをθ’_ｓｔとする。すなわち、以下の式が成立する。

さらに、観測データyを加えて事後分布のパラメータを更新することを

と表記し、逆にyを除外して事後分布のパラメータを更新することを

と表記する。

図３のステップＳ１０１０において、学習部１０３は、収束したかどうか判断する。収束したかどうかは具体的に尤度の変化によって判断する。収束した場合には処理を終了する。収束していない場合には、ステップＳ１０２０へ進む。

図３のステップＳ１０２０において、学習部１０３は、t=0として時刻を初期化する。

図３のステップＳ１０３０において、学習部１０３は、時刻が所定の時刻Tに達したかどうか判断する。時刻が所定の時刻Tに達していなければステップＳ１０４０へ進む。時刻が所定の時刻Tに達していればステップＳ１０１０へ戻る。

図３のステップＳ１０４０において、学習部１０３は、状態ｓ_ｔからデータｙ_ｔを除きパラメータを更新する。ステップＳ１０４０において、--は、１を減ずることを表す。

図３のステップＳ１０５０において、学習部１０３は、式（６）を使用して状態をサンプリングする。

図３のステップＳ１０６０において、学習部１０３は、状態ｓ_ｔにデータｙ_ｔを加えパラメータを更新する。ステップＳ１０６０において、++は、１を加えることを表す。

図３のステップＳ１０７０において、学習部１０３は、時間の経過にしたがって時刻を変更する。ステップＳ１０７０において、++は、時間の増加分を加算することを表す。ステップＳ１０７０の処理が終了した後、ステップＳ１０３０に戻る。

図４は、学習部１０３による学習の概念を示す図である。図４（ａ）は、時間と観測値との関係を示す図である。図４（ａ）の横軸は時間を表し、縦軸は観測値を表す。図４では、観測値ｙ_１、ｙ_２を１次元のｘで表している。図４（ｂ）は、状態ごとの確率分布を示す図である。図４（ｂ）の横軸は確率を表し、縦軸は観測値を表す。図４（ｂ）に概念的に示す、状態ごとの観測値の確率分布が学習により得られる。

つぎに、モデル１０５を使用した、物体の位置の予測について説明する。時刻t-1での物体の位置ｐ_{２，ｔ−１}が与えられた場合、時刻tでの物体の位置ｐ_２，ｔは、以下の式（8）により計算することができる。ただし、ここでは動的特徴として前時刻における位置との差分を考慮し、

とする。

ただし、

は状態ｓ_ｔと対応したガウス分布の分散と平均である。ここで、位置ｐ_{２，ｔ−１}が既知であるとすると、式（８）は、位置ｐ_２，ｔのみに依存した式へと変形することができる。

ただし、

とし、

については以下の式が成立する。

上記の平均と分散を持ったガウス分布からサンプリングを行うことで、動的制約を満たした物体の位置ｐ_２，ｔを生成することができる。すなわち、以下の式が成立する。

状態系列が既知であれば、式（１４）を使用して、逐次サンプリングを繰り返すことで軌道を生成することが可能である。しかし、物体に与える動作は必ずしも学習に含まれる軌道とは限らない。そこで、あいまいな状態での起動生成を考える。時刻t-1の状態
ｓ_ｔ−１と、その時刻における物体の位置ｐ_{２，ｔ−１}が与えられた場合、時刻tでの物体の位置ｐ_２，ｔの期待値は以下の式で表せる。

このようにして状態のあいまいな軌道を生成することができる。しかし、この積分計算を解析的に解くことは困難であるため、モンテカルロ法による近似を行う。まず、以下のサンプリングをＮ回繰り返し、時刻tでのＮ個のサンプリング

を得る。

ただし、式（１６）の

は、状態遷移確率

の一部を使用して以下のように求まる。

式（１７）の

は、動的制約を考慮した式（１４）を使用する。最終的に、Ｎ個のサンプリングの平均値を時刻tでの物体の位置の予測値とする。

図５は、予測部１０７による予測の手順を示す流れ図である。

図６は、観測が行われる時刻Tarm以前の状態と衝突後（時刻Tarm+1以降）の状態とを示す図である。時刻Tarm+1以降において、式（１６）乃至式（１８）を使用して物体の軌道が予測される。

ここでは、時刻0-Tarmの間にアームの軌道のみが観測されたとして、時刻Tarmでの状態がkである確率Ｐ（ｓ_Ｔａｒｍ＝ｋ）と物体の初期値ｐ_{２，Ｔａｒｍ}が与えられたとして物体の軌道を生成する。時刻Tarmでの状態は、以下の式で表せる。

図５のステップＳ２０１０において予測部１０３は、ｎを０とする。

図５のステップＳ２０２０において予測部１０３は、ｎが所定値Ｎ未満であるかどうか判断する。ｎが所定値Ｎ未満であればステップＳ２０３０に進む。ｎが所定値Ｎ未満でなければステップＳ２０５０に進む。

図５のステップＳ２０３０において予測部１０３は、以下の式にしたがって、サンプルs_nの状態をＮ個サンプリングし、各サンプルの位置p_nを初期化する。

図５のステップＳ２０４０において予測部１０３は、ｎに１を加える。ステップＳ２０４０において++は、１を加えることを表す。ステップＳ２０４０の処理が終了した後、ステップＳ２０２０に戻る。

図５のステップＳ２０５０において予測部１０３は、時間を進行させる。

図５のステップＳ２０６０において予測部１０３は、ｎを０とする。

図５のステップＳ２０７０において予測部１０３は、ｎが所定値Ｎ未満であるかどうか判断する。ｎが所定値Ｎ未満であればステップＳ２０８０に進む。ｎが所定値Ｎ未満でなければステップＳ２１００に進む。

図５のステップＳ２０８０において予測部１０３は、以下の式にしたがって、新たな状態及び物体の位置をサンプリングする。

ここで、式（２１）は式（１６）に対応し、式（２２）は式（１７）に対応する。

図５のステップＳ２０９０において予測部１０３は、ｎに１を加える。ステップＳ２０９０において++は、１を加えることを表す。ステップＳ２０９０の処理が終了した後、ステップＳ２０７０に戻る。

図５のステップＳ２１００において予測部１０３は、以下の式によって求めた全サンプルの平均を時刻ｔにおける物体の位置の予測値とする。

図５のステップＳ２１１０において予測部１０３は、物体が停止しているかどうか判断する。具体的には、時刻t-１における物体の位置と時刻tにおける物体の位置の差が所定値ε以下であれば、物体が停止していると判断する。物体が停止していれば、処理を終了する。物体が停止していなければ、ステップＳ２１２０に進む。

図５のステップＳ２１２０において予測部１０３は、tに１（時間の増加分）を加える。ステップＳ２１２０において++は、１を加えることを表す。ステップＳ２１２０の処理が終了した後、ステップＳ２０６０に戻る。

図７は、予測部１０７による予測の概念を示す図である。図７（ａ）は、時間と観測値との関係を示す図である。図７（ａ）の横軸は時間を表し、縦軸は物体の位置の観測値を表す。また、実線は実際に観測された物体の位置の観測値を表し、点線は物体の位置の予測値を表す。図７では、観測値ｙ_１、ｙ_２を１次元のxで表している。図７（ｂ）は、物体の位置の観測値の確率分布を示す図である。図７（ｂ）の横軸は確率を表し、縦軸は物体の位置を表す。図７（ｂ）に示す確率分布を使用して点線は物体の位置の予測値（期待値）が得られる。

つぎに、本実施形態による予測装置１００のシミュレーション実験について説明する。ロボットのアームが物体に触れた際のアームの軌道及び物体の軌道はシミュレータにより求めた。シミュレータは、物理計算エンジンOpen Dynamic Engine （ＯＤＥ）により作成した（http://www.ode.org/）。ＯＤＥによれば、物体の衝突や摩擦などをシミュレーション可能であり、シミュレータ上の物体の位置や速度など様々な情報を取得することができる。

本実施形態では、物体として半径１０センチメータの球を想定し、ロボットが物体に対して、横から力を加える場合と、上から力を加える場合とについて、アームの軌道及び物体の軌道をＯＤＥにより取得した。

図８はアームの軌道及び物体（球）の軌道を示す図である。図８の横軸は水平方向の座標を表し、縦軸は鉛直方向の座標を表す。太い点線は、球に横から力を加える場合のアームの軌道を示す。アームを初期位置から物体の右へ移動させ、その後球に向かって左方向に動かしている。太い実線は、アームと衝突した後の球の軌道を示す。球は、左方向に移動している。細い点線は、球に上から力を加える場合のアームの軌道を示す。アームを初期位置から物体の上へ移動させ、その後球に向かって下方向に動かしている。細い実線は、アームと衝突した後の球の軌道を示す。球は、テーブル上に置かれているので、移動せずにその場に留まっている。

実際に、図８に示す軌道を、図３に示した手順によって学習した結果、状態数は６となった。

図９は、学習によって得られた６個の状態を示す図である。図９において、状態２は、物体との衝突と関係のない、アームの上方向への移動及び水平方向の移動である。状態０は、アームの左方向への移動及び球との接触である。状態４は、接触後において球の速度が速い状態であり、状態４から遷移した状態５は、接触後において球が減速し停止するまでの状態である。状態１は、アームの下方向への移動及び球との接触であり、状態１から遷移した状態３は、球及びアームがその場で停止続ける状態である。このように、モデル１０５を使用した学習により、ロボットの行動と物体の軌道が、意味のある状態へ分類されている。

つぎに、図５に示した手順によって物体の軌道を生成した。学習した軌道を正しく生成できるかを検証するために、アームを横から球に衝突させた場合として状態０から開始される軌道、及びアームを上から球に衝突させた場合として状態１から開始される軌道を生成した。

図１０は、予測部１０７によって生成された既知の軌道を示す図である。図１０（ａ）は、アームを横から球に衝突させた場合を説明するための図である。図１０（ｂ）は、アームを上から球に衝突させた場合を説明するための図である。ｘは、物体（球）の水平方向の座標である。図１０（ｃ）は、生成された軌道を示す図である。図１０（ｃ）の横軸は時間ステップを表し、縦軸は物体（球）の水平方向の座標ｘを表す。ｘは、球の移動距離と考えることができる。実線は、予測部１０７によって生成された軌道を示し、点線は、実際の軌道（シミュレーションによる軌道）を示す。予測部１０７によって生成された軌道は、実際の軌道とは完全には一致しなかったものの、アームを横から衝突させた場合は球が約０．８メートル移動すること、また、アームを上から衝突させた場合は球が動かずその場で静止していることが正しく予測できている。また、図１０（ｃ）において、予測された軌道では途中で状態が変化しているが、滑らかな軌道が生成されている。

つぎに、未知の軌道の予測として、物体に対してアームを斜めから衝突させた場合の軌道の予測を行った。

図１１は、予測部１０７によって生成された未知の軌道を示す図である。図１１（ａ）は、アームを斜めから球に衝突させた場合を説明するための図である。アームを横方向から水平方向に衝突させる場合の角度が０°であり、アームを上から鉛直方向に衝突させる場合の角度が９０°である。図１１（ｂ）は、生成された軌道を示す図である。図１１（ｂ）の横軸は時間ステップを表し、縦軸は物体（球）の水平方向の座標、すなわち、球の移動距離を表す。図１１（ｂ）によれば、アームの軌道が横方向（０°）に近いほど物体の距離が長くなり、アームの軌道が上下方向（９０°）に近いほど物体の移動距離は短くなる。このように、予測部１０７によって未知の軌道を予測できることが確認された。なお、図１１（ｂ）における軌道の「振動」はサンプリング回数Ｎを大きくすることで解消できる。

上記において、ｙ_１がロボットアームの情報、ｙ_２が物体（たとえば、ボール）の情報である場合を例として説明した。しかし、本発明は、当然にそれ以外の場合にも同様に適用できる。ここでは、本発明が適用可能な他の具体例について説明する。

最初に、物体と物体、人と人、車両と人、車両と車両などの関係に適用することが考えられる。それぞれの組の一方の位置と速度の４次元データをｙ_１、もう一方の位置と速度の４次元データをｙ_２とするとで、ｙ_１とｙ_２の関係が学習され、一方から他の情報を予測することが可能となる。たとえば、人(ｙ_１)と人(ｙ_２)がすれ違う場合を考えると、ｙ_１が未知の左側に寄れば、ｙ_２は反対側に移動するといったことや、ｙ_１が未知の真ん中を直進し続ければ、ｙ_２がどちらかに避ける可能性がある、といった様に人の行動を予測することができる。

つぎに、交差点における信号の色と車両の速度との関係に適用することが考えられる。この場合は、ｙ_１を車両の位置と速度、ｙ_２を信号の色として考える。信号の色は、赤・青・黄の３値を取る値となるので、θ_２を多項分布のパラメータ、Ｈ_２をディリクレ分布のパラメータとする。ｙ_１の車両の位置と速度は、たとえば、交差点の中心を原点とした座標系で考える。これにより、本発明の方法でｙ_１とｙ_２の関係が学習され、たとえば、現在の車両の位置と速度(ｙ_１)の時に、信号の色(ｙ_２)が黄色に変化した場合の、その後の車両の位置と速度(ｙ_１)を予測することができ、さらに本発明の方法で車両の軌道を予測することができる。また、信号の色(ｙ_２)の変化するタイミングによって、車両の振る舞い(ｙ_１)がどう変化するか、といったことも学習可能である。

さらに観測情報として、運転手の性別(ｙ_３) 、車種(ｙ_４)、運転手の年齢(ｙ_５)などを付加することで、ｙ_１乃至ｙ_５の関係性を捉えることができる。この場合は、θ_３乃至θ_５は、それぞれの要素の数だけ事象を持つ多項分布のパラメータ、Ｈ_３乃至Ｈ_５はディリクレ事前分布のパラメータとなる。

１００…予測装置、１０１・・・観測部、１０３・・・学習部、１０５・・・モデル、１０７・・・予測部

Claims (5)

1. 観測対象の位置に関する時刻ｔにおける観測対象観測値ｙ_２ｔと、前記観測対象に対して動作を行う動作部の位置に関する動作観測値ｙ_１ｔと、を取得する観測部と、
   前記動作観測値ｙ_１ｔの時系列データと前記観測対象観測値ｙ_２ｔの時系列データから、前記観測対象と前記動作部の状態ｓ_ｔを表すモデルであって、複数の状態間の遷移確率Ｐ（ｓ｜ｓ，β，α）であって、前記複数の状態それぞれに対応した、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を含む前記モデルの前記遷移確率Ｐ（ｓ｜ｓ，β，α）及び前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）を学習する学習部と、
   所定の時刻よりも前の時刻における前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれの時系列データを使用し、前記遷移確率Ｐ（ｓ｜ｓ，β，α）に基づいて前記所定の時刻の前記観測対象と前記動作部の状態ｓ_ｔを予測し、前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均と、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）の分散と平均と、に基づいて前記観測対象と前記動作部の状態ｓ_ｔに対応する前記所定の時刻における前記観測対象の位置ｐ_２，ｔを、式（数１）を用いて予測する予測部と、を備え、
   

   

   前記式（数１）において、前記ｐ_{２，ｔ−１}は、時刻ｔよりも前の時刻ｔ−１における前記観測対象の位置であり、Σ’，μ’は、状態ｓ_ｔに対応した確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均であり、
   前記モデルは、隠れマルコフモデルにディリクレ過程を導入し、さらに複数の対象の観測を仮定したマルチモーダル階層ディリクレ過程隠れマルコフモデルであり、
   前記学習部は、時刻ｔの状態ｓ_ｔにおいて、状態ｓ_ｔを除いた残りを条件とした式（数２）の条件付き確率Ｐ（ｓ_ｔ｜ｓ_−ｔ，β，Ｙ_１，Ｙ_２，α，Ｈ_１、Ｈ_２）から状態ｓ_ｔをサンプリングして、前記式（数２）におけるＰ（ｙ_１ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_１，−ｔ，Ｈ_１）とＰ（ｙ_２ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_２，−ｔ，Ｈ_２）それぞれをベイズ推定によって式（数３）で表した場合に、前記観測対象観測値ｙ_２ｔおよび前記動作観測値ｙ_１ｔを決定する確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）のパラメータθ_ｓｔの更新を行って、前記式（数１）における前記遷移確率Ｐ（ｓ｜ｓ，β，α）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を学習し、
   

   

   前記式（数２）において、前記Ｈ_１、前記Ｈ_２はガウス−ウィシャート分布のパラメータであり、前記βは前記γをパラメータとするＧＥＭ分布によって生成された値であり、前記αと前記γは事前分布としてγ分布を仮定し事後確率からサンプリングして求めた値であり、前記Ｙ_１は前記動作観測値ｙ_１ｔの集合であり、前記Ｙ_２は前記観測対象観測値ｙ_２ｔの集合であり、前記ｓ_−ｔは前記状態ｓ_ｔを除いた全時刻の状態を表し、前記Ｙ_１，−ｔ、前記Ｙ_２，−ｔは、それぞれ前記Ｙ_１、前記Ｙ_２から前記動作観測値ｙ_１ｔ、前記観測対象観測値ｙ_２ｔを除いた残りを表し、
   

   

   前記式（数３）において、前記θ_ｓｔ’は、状態ｓ_ｔに対応したガウス分布の事後パラメータであり、＊は１または２である、
   予測装置。
2. 前記予測部は、時刻ｔ−１の状態ｓ_ｔ−１と、その時刻における前記観測対象の位置ｐ_{２，ｔ−１}が与えられた場合、時刻ｔでの物体の位置ｐ_２，ｔの期待値を、式（数４）を用いて前記観測対象の軌跡を予測することで、前記観測対象の位置を予測する、
   

   

   請求項１に記載の予測装置。
3. 前記予測部は、前記所定の時刻の前記観測対象と前記動作部それぞれの状態及び該状態に対応した前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれの複数のサンプリング値を求め、該複数のサンプリング値の平均値を観測値の予測値とするように構成された請求項１に記載の予測装置。
4. 前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれは、位置と速度とを含み、
   前記予測部は、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を使用して予測を行うように構成された請求項１から請求項３のいずれか１項に記載の予測装置。
5. 観測対象と前記観測対象に対して動作を行う動作部の状態ｓ_ｔを表すモデルであって、複数の状態間の遷移確率Ｐ（ｓ｜ｓ，β，α）、及び前記複数の状態それぞれに対応した、前記動作部の位置に関する時刻ｔにおける動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象の位置に関する時刻ｔにおける観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を含むモデルを使用して前記観測対象の位置ｐ_２，ｔを予測する予測方法であって、
   前記観測対象観測値ｙ_２ｔと、前記動作観測値ｙ_１ｔと、を取得するステップと、
   前記動作観測値ｙ_１ｔの時系列データと前記観測対象観測値ｙ_２ｔの時系列データから、前記モデルの前記遷移確率Ｐ（ｓ｜ｓ，β，α）及び前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）を学習するステップと、
   所定の時刻よりも前の時刻における前記動作観測値ｙ_１ｔと前記観測対象観測値ｙ_２ｔそれぞれの時系列データを使用し、前記遷移確率Ｐ（ｓ｜ｓ，β，α）に基づいて前記所定の時刻の前記観測対象と前記動作部の状態ｓ_ｔを予測し、前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均と、前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）の分散と平均と、に基づいて前記観測対象と前記動作部の状態に対応する前記所定の時刻における前記観測対象の位置ｐ_２，ｔを、式（数５）を用いて予測するステップと、を含み、
   

   

   前記式（数５）において、前記ｐ_{２，ｔ−１}は、時刻ｔよりも前の時刻ｔ−１における前記観測対象の位置であり、Σ’，μ’は、状態ｓ_ｔに対応した確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）の分散と平均であり、
   前記モデルは、隠れマルコフモデルにディリクレ過程を導入し、さらに複数の対象の観測を仮定したマルチモーダル階層ディリクレ過程隠れマルコフモデルであり、
   前記学習するステップは、時刻ｔの状態ｓ_ｔにおいて、状態ｓ_ｔを除いた残りを条件とした式（数６）の条件付き確率Ｐ（ｓ_ｔ｜ｓ_−ｔ，β，Ｙ_１，Ｙ_２，α，Ｈ_１、Ｈ_２）から状態ｓ_ｔをサンプリングして、前記式（数６）におけるＰ（ｙ_１ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_１，−ｔ，Ｈ_１）とＰ（ｙ_２ｔ｜ｓ_ｔ，ｓ_−ｔ，Ｙ_２，−ｔ，Ｈ_２）それぞれをヘイズ推定によって式（数７）で表した場合に、前記観測対象観測値ｙ_２ｔおよび前記動作観測値ｙ_１ｔを決定する確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）のパラメータθ_ｓｔの更新を行って、前記式（数６）における前記遷移確率Ｐ（ｓ｜ｓ，β，α）と前記動作観測値ｙ_１ｔの確率分布Ｐ（ｙ_１ｔ｜ｓ，Ｙ_１，−ｔ，Ｈ_１）と前記観測対象観測値ｙ_２ｔの確率分布Ｐ（ｙ_２ｔ｜ｓ，Ｙ_２，−ｔ，Ｈ_２）を学習し、
   

   

   前記式（数６）において、前記Ｈ_１、前記Ｈ_２はガウス−ウィシャート分布のパラメータであり、前記βは前記γをパラメータとするＧＥＭ分布によって生成された値であり、前記αと前記γは事前分布としてγ分布を仮定し事後確率からサンプリングして求めた値であり、前記Ｙ_１は前記動作観測値ｙ_１ｔの集合であり、前記Ｙ_２は前記観測対象観測値ｙ_２ｔの集合であり、前記ｓ_−ｔは前記状態ｓ_ｔを除いた全時刻の状態を表し、前記Ｙ_１，−ｔ、前記Ｙ_２，−ｔは、それぞれ前記Ｙ_１、前記Ｙ_２から前記動作観測値ｙ_１ｔ、前記観測対象観測値ｙ_２ｔを除いた残りを表し、
   

   

   前記式（数７）において、前記θ_ｓｔ’は、状態ｓ_ｔに対応したガウス分布の事後パラメータであり、＊は１または２である、
   予測方法。

Images