JP5436351B2 - 状態推定装置、状態推定方法、およびプログラム - Google Patents
状態推定装置、状態推定方法、およびプログラム Download PDFInfo
- Publication number
- JP5436351B2 JP5436351B2 JP2010140962A JP2010140962A JP5436351B2 JP 5436351 B2 JP5436351 B2 JP 5436351B2 JP 2010140962 A JP2010140962 A JP 2010140962A JP 2010140962 A JP2010140962 A JP 2010140962A JP 5436351 B2 JP5436351 B2 JP 5436351B2
- Authority
- JP
- Japan
- Prior art keywords
- probability distribution
- state
- state information
- estimation
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、観測対象の状態変化の過去の履歴に基づき、未来の状態変化を推定する状態推定装置、状態推定方法、およびプログラムに関するものである。
観測対象の状態が変化したことによる未来の状態変化を推定するための手法として、パーティクルフィルタ（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）がある。パーティクルフィルタでは、（１）現時刻までの過去の観測対象の状態を示す情報に基づき、次の時刻における状態の事前確率分布を推定し、（２）推定された事前確率分布が示す推定される観測対象の状態と、次時刻において観測される観測対象の実際の状態とを比較することで、事後確率分布を求める。この２つの処理を繰り返すことで、動的に変化する観測対象の状態を逐次的に推定する。
しかしながら、観測対象の状態に急激な変化が発生する場合、従来のパーティクルフィルタで採用される事前確率分布を求める方法では、適切な事前確率分布が予測できず、状態推定に失敗してしまうという問題がある。
しかしながら、観測対象の状態に急激な変化が発生する場合、従来のパーティクルフィルタで採用される事前確率分布を求める方法では、適切な事前確率分布が予測できず、状態推定に失敗してしまうという問題がある。
この問題に対して、事前確率分布推定を高精度に行うパーティクルフィルタとして、例えば、メモリベースパーティクルフィルタ（Ｍｅｍｏｒｙ−ｂａｓｅｄ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ：Ｍ−ＰＦ)が提案されている（例えば、非特許文献参照）。
この非特許文献１、２に記載されている技術は、類似の状態が繰り返し発生することに着目し、過去の状態が未来の時刻において発生することを示す確率分布を、時間軸上に定義した時間的再現確率を算出し、この時間的再現確率に従った過去の時刻からのランダムサンプリングによって、事前確率分布を生成するものである。このため、この非特許文献１、２に記載されている技術は、長期間の過去の履歴を用いることで、高精度な事前確率分布生成を可能とするものである。
この非特許文献１、２に記載されている技術は、類似の状態が繰り返し発生することに着目し、過去の状態が未来の時刻において発生することを示す確率分布を、時間軸上に定義した時間的再現確率を算出し、この時間的再現確率に従った過去の時刻からのランダムサンプリングによって、事前確率分布を生成するものである。このため、この非特許文献１、２に記載されている技術は、長期間の過去の履歴を用いることで、高精度な事前確率分布生成を可能とするものである。
Dan MIKAMI, Kazuhiro OTSUKA, Junji YAMATO: Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1006, Proc. IEEE CVPR, 2009.
三上弾、大塚和弘、大和淳司、"頑健な顔姿勢追跡のための状態履歴の記憶に基づくパーティクルフィルタ" MIRU2009 OS3-1
上述の通り、非特許文献１、２に示された技術では、過去の追跡結果の履歴から時間的再現確率に基づいたサンプリングを用いて事前分布推定を行う。このため、時間的再現確率の広がりにより速度変化に対して頑健な事前分布予測が可能であるものの、これは、過去に類似した軌跡の動きを追跡し、その履歴が存在する場合のみ利用可能である。
さらに、非特許文献１、２に示された技術では、追跡の結果を履歴として蓄積するが、追跡に失敗する速い動きのみが繰り返されるような場合、正しい追跡が行えず、そのため履歴が蓄積されない。つまり、速い動きのみが繰り返されるような場合には、履歴に基づいた事前分布予測は行えない。
さらに、非特許文献１、２に示された技術では、追跡の結果を履歴として蓄積するが、追跡に失敗する速い動きのみが繰り返されるような場合、正しい追跡が行えず、そのため履歴が蓄積されない。つまり、速い動きのみが繰り返されるような場合には、履歴に基づいた事前分布予測は行えない。
本発明は、上記課題を解決するものであり、速い動きで移動する追跡対象であっても、その激しい動きに対応した高精度な事前確率分布の作成を行うことができる状態推定装置、状態推定方法、およびプログラムを提供することを目的とする。
上述の課題を鑑み、本発明に係る情報推定装置は、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴蓄積装置と、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測部と、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測部が作成した前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定部と、前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定部と、前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定部が算出する前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積部と、を備えることを特徴とする。
また、上述の状態推定装置は、前記欠損軌跡推定部が、過去の前記状態情報と前記事後確率分布に基づき、線形補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする。
また、上述の状態推定装置は、前記欠損軌跡推定部が、過去の前記状態情報と前記事後確率分布に基づき、２次曲線補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする。
また、上述の状態推定装置は、前記欠損軌跡推定部が、過去の前記状態情報と前記事後確率分布に基づき、多次曲線補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする。
また、上述の状態推定装置において、前記欠損軌跡推定部は、線形補間、２次曲線補間、あるいは多次曲線補間のうち、少なくとも２以上の補間を組み合わせて前記補間部分に対応する前記状態情報を算出することを特徴とする。
また、上述の状態推定装置は、前記事前確率分布予測部が、前記事前確率分布を作成する際に用いる前記状態情報が前記欠損軌跡推定部によって算出された前記状態情報である場合、当該状態情報をガウシアンノイズの分散を大きくすることを特徴とする。
上述の課題を鑑み、本発明に係る情報推定方法は、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴蓄積装置を備える状態推定装置における状態推定方法であって、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測ステップと、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測ステップにおいて作成された前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定ステップと、前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定ステップと、前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定ステップにおいて算出される前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積ステップとを備えることを特徴とする。
上述の課題を鑑み、本発明に係るプログラムは、コンピュータを、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴記憶手段、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測手段、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測手段が作成した前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定手段、前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定手段、前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定手段が算出する前記状態情報を前記履歴記憶手段に更新して蓄積する履歴蓄積手段、として機能させるためのプログラムであることを特徴とする。
本発明によれば、速い動きで移動する追跡対象であって、正しく追跡できない場合であっても、その激しい動きに対応した高精度な事前確率分布推定（事前分布予測）を行うことができる。
［第１実施形態］
本実施形態に係る状態推定装置は、パーティクルフィルタとして機能する装置であって、事前確率分布を予測のために、過去の状態推定結果の履歴を保持し、この過去の履歴が再び現れる確率に基づいて事前分布を推定するものである。
本実施形態に係る状態推定装置は、パーティクルフィルタとして機能する装置であって、事前確率分布を予測のために、過去の状態推定結果の履歴を保持し、この過去の履歴が再び現れる確率に基づいて事前分布を推定するものである。
以下、本発明の第１の実施形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る状態推定装置１の一例を示すブロック図である。
図１に示す通り、状態推定装置１は、事前確率分布予測部１１、事後確率分布推定部１２、推定結果算出部１３、追跡安定性判定部１４、欠損軌跡推定部１５、履歴蓄積装置１６、履歴蓄積部１７、推定対象時刻設定部１８、終了判定部１９を有する。
図１に示す通り、状態推定装置１は、事前確率分布予測部１１、事後確率分布推定部１２、推定結果算出部１３、追跡安定性判定部１４、欠損軌跡推定部１５、履歴蓄積装置１６、履歴蓄積部１７、推定対象時刻設定部１８、終了判定部１９を有する。
履歴蓄積装置１６は、追跡開始時刻１から現在時刻Ｔまでの過去の状態推定結果の履歴を、時刻毎に対応付けた履歴テーブルＤ１を保持する。
この履歴テーブルＤ１は、図２に示す通り、時刻ｔに、過去の状態推定値である状態推定値ベクトルｘｔを対応付けたテーブルである。
ここで、状態推定値ベクトルｘｔは、ある時刻ｔにおける状態推定値であり、状態推定値ベクトルｘＴは、現在時刻Ｔにおける状態推定値である。この状態推定値ベクトルｘｔは、後述する事後確率分布推定部１２によって算出される状態推定値である。
この履歴テーブルＤ１は、図２に示す通り、時刻ｔに、過去の状態推定値である状態推定値ベクトルｘｔを対応付けたテーブルである。
ここで、状態推定値ベクトルｘｔは、ある時刻ｔにおける状態推定値であり、状態推定値ベクトルｘＴは、現在時刻Ｔにおける状態推定値である。この状態推定値ベクトルｘｔは、後述する事後確率分布推定部１２によって算出される状態推定値である。
また、履歴蓄積装置１６は、過去の履歴が再び現れる確率（時間的再現確率）ｐｔを、時刻に対応付けた時間的再現確率テーブルＤ２を記憶する。この時間的再現確率（Ｔｅｍｐｏｒａｌ Ｒｅｃｕｒｒｅｎｔ Ｐｒｏｂａｂｉｌｙｔｙ：ＴＲＰ)は、過去の時刻ｔの姿勢や位置（状態）が再び現れる確率を示し、時間軸上の関数として定義される。言い換えると、時間的再現確率とは、過去の状態が将来に再び起こる確率をモデル化したものである。
この時間的再現確率テーブルＤ２は、例えば、図３に示すように、ある時刻ｔと、時刻ｔの姿勢が再び現れる時間的再現確率ｐｔ｝との組である。
この時間的再現確率テーブルＤ２は、例えば、図３に示すように、ある時刻ｔと、時刻ｔの姿勢が再び現れる時間的再現確率ｐｔ｝との組である。
図１に戻って、事前確率分布予測部１１は、履歴蓄積装置１６に蓄積されている履歴テーブルＤ１から過去の状態推定値ベクトルｘｔを読み出すとともに、履歴蓄積装置１５に蓄積されている時間的再現確率テーブルＤ２から時刻ｔに対応する状態が再び現れる確率である時間的再現確率ｐｔを読み出し、この状態推定値ベクトルｘｔおよび時間的再現確率ｐｔに基づいて、事前確率分布を作成する。なお、パーティクルフィルタでは、事前確率分布をパーティクルの集合により表わす。つまり、事前確率分布予測部１１は、現状態から起こりうる多数の次の時刻における状態をそれぞれパーティクル（粒子）と見立て、事前確率分布をパーティクルの集合により表わす。
この事前確率分布推定部１１は、履歴テーブルＤ１の状態推定値ベクトルｘｔ間の差などに基づいて時間的再現確率を求める。この時間的再現確率は、時間軸上の関数として定義される。事前確率分布推定部１１は、この時間的再現確率に従ったサンプリングに基づいて、事前分布を表すパーティクルを生成する。
例えば、事前確率分布推定部１１におけるパーティクル生成方法については、非特許文献１、２と同様であり、過去の履歴に基づいて、過去の状態が繰り返し現れることを仮定する。事前確率分布推定部１１は、この過去の状態が再び現れる確率である時間的再現確率を、時間軸上の確率分布として表す。
なお、時間的再現確率とは、過去の状態が将来に再び起こる確率をモデル化したものである。
なお、時間的再現確率とは、過去の状態が将来に再び起こる確率をモデル化したものである。
また、非特許文献１、２での事前確率分布は、以下の式（１）で定義される。
なお、ｘｔは、時刻ｔにおける履歴の状態ベクトルを表わし、状態推定値ベクトルｘ１：T＝｛ｘ１，・・・，ｘＴ｝は、履歴の状態ベクトルの時刻１から時刻Ｔまでの系列を表わす。また、Ｘ＾１：Ｔ＝｛ｘ＾１，・・・，ｘ＾Ｔ｝は、追跡対象状態の推定結果（点推定値）の時刻１から時刻Ｔまでの履歴を表わす。さらに、ｐ（ｘＴ＋Δｔ｜ｘ１：Ｔ）は、状態遷移確率を表わす。
つまり、現在時刻ＴのΔｔ時刻後の事前分布を、現在までの状態推定値ｘ１：Ｔと、予測時間先Δｔとから求めるものとして定義した。
なお、以下に示す式（２）は、時間的再現確率であって、時刻ｔにおける推定状態ｘ＾ｔが将来の時刻Ｔ＋Δｔにおいて再び出現する確率とする。
つまり、現在時刻ＴのΔｔ時刻後の事前分布を、現在までの状態推定値ｘ１：Ｔと、予測時間先Δｔとから求めるものとして定義した。
なお、以下に示す式（２）は、時間的再現確率であって、時刻ｔにおける推定状態ｘ＾ｔが将来の時刻Ｔ＋Δｔにおいて再び出現する確率とする。
また、以下の式（３）は、カーネル関数である。
上述の通り、平均ｘ＾ｔ、あらかじめ定められた分散σ2の正規分布などが用いられる。カーネル関数は、２つの不確定性を補うために用いられる。第１は、繰り返しの不確定性である。これは、類似の状態が繰り返されることを仮定するものの、まったく同一の状態が繰り返されるわけではないためである。第２は推定に関する不確定性である。これは、推定には誤差が含まれるためである。これらの不確定性を考慮したノイズ成分としてカーネル関数を導入している。
なお、このとき、以下の式（４）を満たす。
事前確率分布推定部１１は、（１）時間的再現確率を求め、（２）時間的再現確率から時間的なサンプリングを行い、（３）サンプリングされた過去の時刻における状態推定値を参照し、さらに不確定性を考慮したカーネル分布を重畳し、事前分布を求める。事前確率分布推定部１１は、この事前確率分布から、空間的なサンプリングを行うことで、事前確率分布を表わすパーティクルの集合を得る。
事後確率分布推定部１２は、事前確率分布推定１１によって作成された事前確率分布とその観測尤度とを用いて、事後確率分布を作成する。パーティクルフィルタでは、事後確率分布を、観測尤度により重み付けされたパーティクルの集合により表わす。そして、事後確率分布推定部１２は、全パーティクルの観測尤度に基づいた重み付け平均を推定結果とする。そのため、各パーティクルについて観測尤度から重みを求め、重み付きパーティクル集合を得る。
この事後確率分布は、以下の式（５）で表される。
この事後確率分布は、以下の式（５）で表される。
ここで，ｚｔは、時刻ｔにおける観測ベクトル、ｚ１：T＝｛ｚ１，・・・，ｚＴ｝は、観測ベクトルの時刻１から時刻Ｔまでの系列を表わす。なお、観測ベクトルとは、例えば後述する観測情報に基づく情報である。ｋｔは、正規化項である。また、ｐ（ｚｔ｜ｘｔ）は、観測尤度である。
なお、観測尤度とは、事前確率分布予測部１１によって算出された事前確率分布が、観測結果からみて推定された位置に近いか否かを表わすものである。例えば、追跡対象をカメラが撮影した画像データや、あるいは追跡対象の位置表わす位置情報を位置センサが検知した結果等の追跡対象に関する観測情報が、事後確率分布推定部１２に入力することで、事後確率分布推定部１２が、この追跡対象に関する観測情報と事前確率分布に基づき観測尤度を算出する。また、事後確率分布推定部１２は、算出した観測尤度に応じたスコアで重み付けされたパーティクルの集合を算出して、これを事後確率分布として推定結果算出部１３に出力する。
なお、観測尤度とは、事前確率分布予測部１１によって算出された事前確率分布が、観測結果からみて推定された位置に近いか否かを表わすものである。例えば、追跡対象をカメラが撮影した画像データや、あるいは追跡対象の位置表わす位置情報を位置センサが検知した結果等の追跡対象に関する観測情報が、事後確率分布推定部１２に入力することで、事後確率分布推定部１２が、この追跡対象に関する観測情報と事前確率分布に基づき観測尤度を算出する。また、事後確率分布推定部１２は、算出した観測尤度に応じたスコアで重み付けされたパーティクルの集合を算出して、これを事後確率分布として推定結果算出部１３に出力する。
推定結果算出部１３は、事後確率分布推定部１２によって推定された事後確率分布を表す重み付きパーティクル集合を用いて状態推定結果情報Ｄ３を算出する。この推定結果算出部１３は、例えば、パーティクルの重み付き平均などにより状態推定結果情報Ｄ３を求める。言い換えると、推定結果算出部１３は、例えば、パーティクルの重みにより重み付けしたパーティクルの状態の平均を状態推定結果情報Ｄ３とする。
追跡安定性判定部１４は、現在の状態推定結果情報Ｄ３の信頼性について判定を行う。この追跡安定性判定部１４は、現在の状態推定結果情報Ｄ３が信頼できないと判定した場合、欠損軌跡推定部１５へ処理を移す。一方、追跡安定性判定部１４は、現在の状態推定結果情報Ｄ３が信頼できると判定した場合、推定対象時刻設定部１８へ処理を移す。つまり、追跡安定性判定部１４は、信頼できないと判断した場合、欠損軌跡推定部１５に対して欠損軌跡を推定する処理を指示し、信頼できると判断した場合、推定対象時刻設定部１８に対して対象時刻を設定する処理を指示する。
なお、追跡安定性判定部１４による信頼性の判定については、重みの最大のパーティクルの重みをしきい値処理することで求めることができる。追跡安定性判定部１４は、重みが予め定められた閾値よりも大きい場合、その状態推定結果情報Ｄ３は信頼できるものと判定する。
なお、追跡安定性判定部１４による信頼性の判定については、重みの最大のパーティクルの重みをしきい値処理することで求めることができる。追跡安定性判定部１４は、重みが予め定められた閾値よりも大きい場合、その状態推定結果情報Ｄ３は信頼できるものと判定する。
欠損軌跡推定部１５は、現在時刻の前に追跡失敗の時間が存在した場合に、履歴蓄積装置１６に蓄積された過去の状態推定値の履歴（履歴テーブルＤ１）と、現在の状態推定値（状態推定結果情報Ｄ３）とを用いて追跡失敗中の履歴（欠損軌跡）を推定する。つまり、欠損履歴推定部１５は、追跡に失敗した軌跡（欠損軌跡）を履歴（履歴テーブルＤ１）と現在の状態推定結果（状態推定結果情報Ｄ３）に基づき、欠損履歴を補間する補間履歴情報Ｄ４を算出する。
言い換えると、欠損軌跡推定部１５は、現在時刻の前に追跡結果が信頼できないと判定された時間が存在した場合に、履歴蓄積装置１６に蓄積された過去の状態推定値の履歴（履歴テーブルＤ１）と、現在の状態推定値（状態推定結果情報Ｄ３）とを用いて、追跡結果が信頼できないと判定された時間の状態を内挿することで、追跡失敗中の履歴（欠損軌跡）を推定する。
言い換えると、欠損軌跡推定部１５は、現在時刻の前に追跡結果が信頼できないと判定された時間が存在した場合に、履歴蓄積装置１６に蓄積された過去の状態推定値の履歴（履歴テーブルＤ１）と、現在の状態推定値（状態推定結果情報Ｄ３）とを用いて、追跡結果が信頼できないと判定された時間の状態を内挿することで、追跡失敗中の履歴（欠損軌跡）を推定する。
履歴蓄積部１７は、欠損軌跡推定部１５から出力される補間履歴情報Ｄ４、および、追跡安定性判定部１４から出力される状態推定結果情報Ｄ３を、それぞれ、履歴蓄積装置１６の履歴テーブルＤ１に蓄積する。
推定対象時刻設定部１８は、追跡対象の時刻をインクリメントする。
終了判定部１９は、状態推定を継続するか否かを判断する。継続する場合、終了判定部１９は、事前確率分布予測部１１に対して、再び状態推定を行うことを指示する。
推定対象時刻設定部１８は、追跡対象の時刻をインクリメントする。
終了判定部１９は、状態推定を継続するか否かを判断する。継続する場合、終了判定部１９は、事前確率分布予測部１１に対して、再び状態推定を行うことを指示する。
次に、図４を参照して、本実施形態に係る状態推定方法の一例について説明する。図４は、本実施形態に係る状態推定方法の一例について説明する図である。
図４に示す通り、本発明の状態推定方法は、事前確率分布を予測する事前確率分布予測ステップＳＴ１０と、事後確率分布を推定する事後確率分布推定ステップＳＴ２０と、推定結果を算出する推定結果算出ステップＳＴ３０と、追跡の安定性を判定する追跡安定性判定ステップＳＴ４０と、追跡失敗中の軌跡を推定する欠損軌跡推定ステップＳＴ５０と、履歴を蓄積する履歴蓄積ステップＳＴ６０と、状態推定対象時刻を設定する対象時刻設定ステップＳＴ７０と、終了したかどうかを判定する終了判定ステップＳＴ８０とを有する。
図４に示す通り、本発明の状態推定方法は、事前確率分布を予測する事前確率分布予測ステップＳＴ１０と、事後確率分布を推定する事後確率分布推定ステップＳＴ２０と、推定結果を算出する推定結果算出ステップＳＴ３０と、追跡の安定性を判定する追跡安定性判定ステップＳＴ４０と、追跡失敗中の軌跡を推定する欠損軌跡推定ステップＳＴ５０と、履歴を蓄積する履歴蓄積ステップＳＴ６０と、状態推定対象時刻を設定する対象時刻設定ステップＳＴ７０と、終了したかどうかを判定する終了判定ステップＳＴ８０とを有する。
事前確率分布予測ステップＳＴ１０では、事前確率分布予測部１１が、履歴蓄積装置１６に蓄積された過去の履歴（履歴テーブルＤ１）を参考にして事前確率分布を算出する。
事後確率分布推定ステップＳＴ２０では、事後確率分布推定部１２が、事前確率分布推定ステップＳＴ１０において事前確率分布予測部１１によって推定された事前確率分布と、その観測尤度とを用いて事後確率分布を算出する。つまり、この事後確率分布推定部１２は、各パーティクルについて観測尤度から重みを求め、重み付きパーティクル集合を得る。
事後確率分布推定ステップＳＴ２０では、事後確率分布推定部１２が、事前確率分布推定ステップＳＴ１０において事前確率分布予測部１１によって推定された事前確率分布と、その観測尤度とを用いて事後確率分布を算出する。つまり、この事後確率分布推定部１２は、各パーティクルについて観測尤度から重みを求め、重み付きパーティクル集合を得る。
推定結果算出ステップＳＴ３０では、事後確率分布推定部１２によって推定された事後確率分布を表す重み付きパーティクル集合を用いて推定結果を算出する。
追跡安定性判定ステップＳＴ４０では、追跡安定性判定部１４が、現在の状態推定結果の信頼性について判定を行う。信頼できないと判定された場合、欠損軌跡推定ステップＳＴ５０へ処理を移す。現在の状態推定結果が信頼できると判定された場合には、状態推定対象時刻設定ステップＳＴ７０へ処理を移す。
追跡安定性判定ステップＳＴ４０では、追跡安定性判定部１４が、現在の状態推定結果の信頼性について判定を行う。信頼できないと判定された場合、欠損軌跡推定ステップＳＴ５０へ処理を移す。現在の状態推定結果が信頼できると判定された場合には、状態推定対象時刻設定ステップＳＴ７０へ処理を移す。
欠損軌跡推定ステップＳＴ５０では、欠損軌跡推定部１５が、現在時刻の前に追跡失敗の時間が存在した場合に、履歴蓄積装置１６に蓄積された過去の状態推定値の履歴（履歴テーブルＤ１）と、現在の状態推定値（状態推定結果情報Ｄ３）とを用いて追跡失敗中の履歴（欠損軌跡）に対応する補間履歴情報Ｄ４を算出する。
履歴蓄積ステップＳＴ６０では、欠損軌跡推定部１５から出力される補間履歴情報Ｄ４、あるいは、追跡安定性判定部１４から出力される状態推定結果情報Ｄ３を、履歴蓄積装置１６の履歴テーブルＤ１に時刻と対応付けて蓄積する。
履歴蓄積ステップＳＴ６０では、欠損軌跡推定部１５から出力される補間履歴情報Ｄ４、あるいは、追跡安定性判定部１４から出力される状態推定結果情報Ｄ３を、履歴蓄積装置１６の履歴テーブルＤ１に時刻と対応付けて蓄積する。
推定対象時刻設定ステップＳＴ７０では、推定対象時刻設定部１８が、追跡対象の時刻をインクリメントする。
終了判定ステップＳＴ８０では、終了判定部１９が、状態推定を継続するか否かを判断する。継続する場合はステップＳＴ１０へ移行する。
終了判定ステップＳＴ８０では、終了判定部１９が、状態推定を継続するか否かを判断する。継続する場合はステップＳＴ１０へ移行する。
＜欠損履歴推定方法１＞
次に、図５〜７を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の一例についてさらに詳しく説明する。図５は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図６は、欠損のある履歴情報の例を示す図である。図７は、この欠損のある履歴情報を補間する例を示す図である。
次に、図５〜７を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の一例についてさらに詳しく説明する。図５は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図６は、欠損のある履歴情報の例を示す図である。図７は、この欠損のある履歴情報を補間する例を示す図である。
追跡安定性判定部１４は、現在の履歴蓄積装置１６に蓄積されている過去の状態推定値の履歴（履歴テーブルＤ１）と、現在の状態推定値（状態推定結果情報Ｄ３）とを用いて追跡失敗中の履歴（欠損軌跡）に対応する補間履歴情報Ｄ４を算出し、履歴蓄積装置１６に蓄積する。ここでは、時刻ＮからＴまでの間が欠損している場合を例に説明する。
なお、ここでの欠損は、例えば、事後確率分布推定部１２に入力する観測情報において、追跡対象に関する情報が含まれておらず、事後確率分布推定部１２において観測尤度が０であることを示す状態推定結果情報Ｄ３が算出された場合を例に説明する。なお、本発明はこれに限られず、例えば、事後確率分布推定部１２に入力する観測情報において、追跡対象に関する情報が含まれているが、事後確率分布推定部１２において算出される観測尤度が低く（０ではない）、追跡安定性判定部１４において、状態推定結果情報Ｄ３が信頼できる程度でないと判断された場合であってもよい。
なお、ここでの欠損は、例えば、事後確率分布推定部１２に入力する観測情報において、追跡対象に関する情報が含まれておらず、事後確率分布推定部１２において観測尤度が０であることを示す状態推定結果情報Ｄ３が算出された場合を例に説明する。なお、本発明はこれに限られず、例えば、事後確率分布推定部１２に入力する観測情報において、追跡対象に関する情報が含まれているが、事後確率分布推定部１２において算出される観測尤度が低く（０ではない）、追跡安定性判定部１４において、状態推定結果情報Ｄ３が信頼できる程度でないと判断された場合であってもよい。
本実施形態における欠損軌跡推定部１５は、ステップＳＴ４０において、例えば、線形補間によって追跡失敗中の履歴を推定する。
ステップ４０１では、欠損軌跡推定部１５が、履歴テーブルＤ１において、欠損前のもっとも新しい時刻における状態推定値ベクトルｘＴ―Ｎを取得する。ただしＮ＝１の場合、追跡失敗は含まれない。
言い換えると、追跡安定性判定部１４が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分を除いて最も近い過去の履歴情報（時刻Ｔ―Ｎに対応する状態推定値ベクトルｘＴ―Ｎ）を、履歴蓄積装置１６の履歴テーブルＤ１から取得する。
ステップ４０１では、欠損軌跡推定部１５が、履歴テーブルＤ１において、欠損前のもっとも新しい時刻における状態推定値ベクトルｘＴ―Ｎを取得する。ただしＮ＝１の場合、追跡失敗は含まれない。
言い換えると、追跡安定性判定部１４が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分を除いて最も近い過去の履歴情報（時刻Ｔ―Ｎに対応する状態推定値ベクトルｘＴ―Ｎ）を、履歴蓄積装置１６の履歴テーブルＤ１から取得する。
ステップ４０２では、欠損軌跡推定部１５が、現在時刻の状態推定値ベクトルｘＴと状態推定値ベクトルｘＴ―Ｎとの内分を用いて、追跡失敗中の状態ｘＴ―Ｎ＋１，・・・，ｘＴ―Ｎ＋ｋ，・・・，ｘＴ―１を以下の式６に基づき推定する。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおける状態推定値ベクトルｘＴと、最も近い過去の状態推定値ベクトルｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、線形補間によって算出する。
なお、ｋは（ｘＴ―Ｎ−ｘＴ）／Ｎの係数である。
このステップ４０２により補間された状態ベクトル（補間履歴情報Ｄ３）は、例えば、図示の通り、ｘＴ―１，ｘＴ―２，ｘＴ―３，ｘＴ―４である。
なお、ｋは（ｘＴ―Ｎ−ｘＴ）／Ｎの係数である。
このステップ４０２により補間された状態ベクトル（補間履歴情報Ｄ３）は、例えば、図示の通り、ｘＴ―１，ｘＴ―２，ｘＴ―３，ｘＴ―４である。
＜欠損履歴推定方法２＞
次に、図８を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図８は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図９は、欠損のある履歴情報の例を示す図である。図１０は、この欠損のある履歴情報を補間する例を示す図である。
次に、図８を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図８は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図９は、欠損のある履歴情報の例を示す図である。図１０は、この欠損のある履歴情報を補間する例を示す図である。
本実施形態における欠損軌跡推定部１５は、ステップＳＴ４０において、例えば、２次曲線を用いた補間により追跡失敗中の履歴を推定する。なお、上述同様、ここでは、時刻ＮからＴまでの間が欠損している場合を例に説明する。
ステップＳＴ４２１では、欠損軌跡推定部１５が、最新のＭ時刻分の履歴｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝を履歴から取得する。ただしＭは３以上の任意の整数とする。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分Ｎおよび任意数Ｍ＋１までの状態推定値ベクトルｘＴ―Ｎ−Ｍ＋１を、履歴蓄積装置１６の履歴情報から取得する。
ステップＳＴ４２１では、欠損軌跡推定部１５が、最新のＭ時刻分の履歴｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝を履歴から取得する。ただしＭは３以上の任意の整数とする。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分Ｎおよび任意数Ｍ＋１までの状態推定値ベクトルｘＴ―Ｎ−Ｍ＋１を、履歴蓄積装置１６の履歴情報から取得する。
ステップＳＴ４２２では、欠損軌跡推定部１５が、ステップＳＴ４２１で得たＭ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝と現在の状態推定値ベクトルｘＴについて、時刻ｔと状態ベクトル（状態推定値）ｘｔとの関係を、２次曲線により近似する。時刻tでの状態ｘｔを、式7で近似するものとする。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおける状態ベクトル（状態推定結果）ｘＴと、最も近い過去の状態ベクトル（状態推定結果）ｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、Ｍ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝に基づき得られる２次曲線により補間する。
ステップＳＴ４２３で、欠損軌跡推定部１５は、上述の通り得られた２次曲線に従って、補間部分｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝を｛ｆ（ｘＴ―Ｎ＋１），・・・，ｆ（ｘＴ―１）｝により求める。
このステップ４２３により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図９（ｂ）に示すｘＴ―４，ｘＴ―３，ｘＴ―２，ｘＴ―１である。
ステップＳＴ４２３で、欠損軌跡推定部１５は、上述の通り得られた２次曲線に従って、補間部分｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝を｛ｆ（ｘＴ―Ｎ＋１），・・・，ｆ（ｘＴ―１）｝により求める。
このステップ４２３により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図９（ｂ）に示すｘＴ―４，ｘＴ―３，ｘＴ―２，ｘＴ―１である。
＜欠損履歴推定方法３＞
次に、図１０、１１を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図１０は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図１１は、欠損のある履歴テーブルＤ１を補間する例を示す図である。
次に、図１０、１１を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図１０は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図１１は、欠損のある履歴テーブルＤ１を補間する例を示す図である。
本実施形態における欠損軌跡推定部１５は、ステップＳＴ４０において、例えば、Ｎ次曲線を用いた補間により追跡失敗中の履歴を推定する。なお、上述同様、ここでも、時刻ＮからＴまでの間が欠損している場合を例に説明する。
ステップＳＴ４３１では、欠損軌跡推定部１５が、最新のＭ時刻分の履歴｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝を、履歴から取得する。ただしＭは３以上の任意の整数とする。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分Ｎおよび任意数Ｍ＋１までの状態推定値ベクトルｘＴ―Ｎ−Ｍ＋１を、履歴蓄積装置１６の履歴情報から取得する。
ステップＳＴ４３１では、欠損軌跡推定部１５が、最新のＭ時刻分の履歴｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝を、履歴から取得する。ただしＭは３以上の任意の整数とする。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおいて、現在時刻Ｔから欠損部分Ｎおよび任意数Ｍ＋１までの状態推定値ベクトルｘＴ―Ｎ−Ｍ＋１を、履歴蓄積装置１６の履歴情報から取得する。
ステップＳＴ４２２で、欠損軌跡推定部１５は、ステップＳＴ４３１で得たＭ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝と現在の状態推定値ベクトルｘＴについて、時刻ｔと状態ベクトル（状態推定値）ｘｔとの関係を、Ｎ次曲線（ｇ（ｔ））により、ｘｔ＝ｇ（ｔ）と近似する。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおける状態ベクトル（状態推定結果）ｘＴと、最も近い過去の状態ベクトル（状態推定結果）ｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、Ｍ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝に基づき得られるＮ次曲線により（ｘｔ＝ｇ（ｔ））と補間する。
つまり、欠損軌跡推定部１５が、現在時刻Ｔにおける状態ベクトル（状態推定結果）ｘＴと、最も近い過去の状態ベクトル（状態推定結果）ｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、Ｍ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝に基づき得られるＮ次曲線により（ｘｔ＝ｇ（ｔ））と補間する。
ステップＳＴ４３３で、欠損軌跡推定部１５は、上述の通り得られたＮ次曲線に従って、補間部分｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝を｛ｇ（ｘＴ―Ｎ＋１），・・・，ｇ（ｘＴ―１）｝により求める。
このステップ４３３により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図１１に示すｘＴ―４，ｘＴ―３，ｘＴ―２，ｘＴ―１である。
なお、欠損軌跡推定部１５は、Ｎ次曲線による補間に限らず、その他、ベジエ曲線による近似、スプライン曲線による近似など様々な方法により追跡失敗中の履歴を補間することができる。
このステップ４３３により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図１１に示すｘＴ―４，ｘＴ―３，ｘＴ―２，ｘＴ―１である。
なお、欠損軌跡推定部１５は、Ｎ次曲線による補間に限らず、その他、ベジエ曲線による近似、スプライン曲線による近似など様々な方法により追跡失敗中の履歴を補間することができる。
＜欠損履歴推定方法４＞
次に、図１２、１３を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図１２は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図１３は、欠損のある履歴テーブルＤ１を補間する例を示す図である。
次に、図１２、１３を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。図１２は、欠損軌跡推定ステップＳＴ４０に含まれるステップを説明するためのフローチャートである。図１３は、欠損のある履歴テーブルＤ１を補間する例を示す図である。
本実施形態における欠損軌跡推定部１５は、ステップＳＴ４０において、例えば、上述の欠損履歴推定方法１〜３において説明した近似方法のうち、いずれか２つ以上の近似方法を用いた補間により追跡失敗中の履歴を推定する。ここでは、欠損履歴推定方法１の線形補間による近似方法と、欠損履歴推定方法３のＬ次曲線による近似方法を組み合わせた補間を例に、以下説明する。
なお、上述同様、ここでも、時刻ＮからＴまでの間が欠損している場合を例に説明する。
なお、上述同様、ここでも、時刻ＮからＴまでの間が欠損している場合を例に説明する。
ステップＳＴ４４１で、欠損軌跡推定部１５は、最新のＭ時刻分の履歴｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝を、履歴蓄積装置１６の履歴テーブルＤ１から取得する。ただしＭは３以上の任意の整数とする。
ステップＳＴ４４２で、欠損軌跡推定部１５は、現在時刻Ｔにおける状態推定値ベクトルｘＴと最も近い過去の状態推定値ベクトルｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、線形補間によって算出する。
ステップＳＴ４４２で、欠損軌跡推定部１５は、現在時刻Ｔにおける状態推定値ベクトルｘＴと最も近い過去の状態推定値ベクトルｘＴ―Ｎとの間の時刻の状態推定値ベクトルｘＴ―Ｎ＋１〜ｘＴ―１を、線形補間によって算出する。
ステップＳＴ４４３で、欠損軌跡推定部１５は、追跡失敗中の各時刻（Ｎ〜Ｔ）における状態推定値である状態ベクトル｛ｘＴ―Ｎ，・・・，ｘＴ｝を算出する。このステップ４４３により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図１３（ｂ）に示すｘ１Ｔ―４，ｘ１Ｔ―３，ｘ１Ｔ―２，ｘ１Ｔ―１である。
ステップＳＴ４４４で、欠損軌跡推定部１５は、ステップＳＴ４４１で得たＭ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝と現在の状態推定値ベクトルｘＴについて、時刻ｔと状態ベクトル（状態推定値）ｘｔとの関係を、Ｌ次曲線（ｇ（ｔ）＝ｘｔ）により近似する。
ステップＳＴ４４５で、欠損軌跡推定部１５は、追跡失敗中の各時刻（Ｎ〜Ｔ）における状態推定値である状態ベクトル｛ｘＴ―Ｎ，・・・，ｘＴ｝を算出する。このステップ４４５により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図１３（ｂ）に示すｘ２Ｔ―４，ｘ２Ｔ―３，ｘ２Ｔ―２，ｘ２Ｔ―１である。
ステップＳＴ４４４で、欠損軌跡推定部１５は、ステップＳＴ４４１で得たＭ時刻分の履歴である状態ベクトル｛ｘＴ―Ｎ−Ｍ＋１，・・・，ｘＴ―Ｎ｝と現在の状態推定値ベクトルｘＴについて、時刻ｔと状態ベクトル（状態推定値）ｘｔとの関係を、Ｌ次曲線（ｇ（ｔ）＝ｘｔ）により近似する。
ステップＳＴ４４５で、欠損軌跡推定部１５は、追跡失敗中の各時刻（Ｎ〜Ｔ）における状態推定値である状態ベクトル｛ｘＴ―Ｎ，・・・，ｘＴ｝を算出する。このステップ４４５により補間された状態ベクトル｛ｘＴ―Ｎ＋１，・・・，ｘＴ―１｝は、例えば、図１３（ｂ）に示すｘ２Ｔ―４，ｘ２Ｔ―３，ｘ２Ｔ―２，ｘ２Ｔ―１である。
この場合に、履歴蓄積装置１６に蓄積される履歴テーブルＤ１の例を図１４に示す。この場合、履歴テーブルＤ１は、ある時刻（Ｎ〜Ｔ）に複数の状態ベクトルを取ることとなる。ある時刻に複数の状態ベクトルを許容しても、時間的再現確率は、状態の類似性と予測時間先Δｔに基づいて決定されるため時間的再現確率の設定は可能であり、図１５のようになる。
＜欠損履歴推定方法５＞
次に、図１６を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。
本実施形態において、事前確率分布予測部１１は、事前確率分布の算出（推定）において、過去の履歴（履歴テーブルＤ１）の不確定性を考慮して、時間的再現確率に従って選択された過去の状態推定値（状態推定値ベクトルｘｔ）に対して、あらかじめ定められた分散のガウシアンノイズを加えることで事前確率分布を表すパーティクルを生成する。
次に、図１６を参照して、図４に示した欠損軌跡推定ステップＳＴ４０の他の例についてさらに詳しく説明する。
本実施形態において、事前確率分布予測部１１は、事前確率分布の算出（推定）において、過去の履歴（履歴テーブルＤ１）の不確定性を考慮して、時間的再現確率に従って選択された過去の状態推定値（状態推定値ベクトルｘｔ）に対して、あらかじめ定められた分散のガウシアンノイズを加えることで事前確率分布を表すパーティクルを生成する。
また、事前確率分布予測部１１は、追跡失敗中の軌跡を補間により推定した場合、その不確定性はより大きくなることが予想される。そこで、図１６のように履歴蓄積装置１６に蓄積されている履歴（履歴テーブルＤ１）として、時間・状態推定値ベクトルおよび信頼度を保持し、失敗中を推定した履歴など信頼性の低い場合には、事前確率分布の推定ステップで加えるガウシアンノイズの分散を大きくする。
＜事前確率分布予測方法＞
次に、図１７を参照して、図４に示した事前確率分布予測ステップＳＴ１０の一例についてさらに詳しく説明する。図１７は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１０１で、事前確率分布予測部１１は、時間的再現確率に従って、履歴テーブルＤ１から状態推定値ベクトルｘｔを１つ選択する。
次に、図１７を参照して、図４に示した事前確率分布予測ステップＳＴ１０の一例についてさらに詳しく説明する。図１７は、事前確率分布予測ステップＳＴ１０に含まれるステップを説明するためのフローチャートである。
ステップＳＴ１０１で、事前確率分布予測部１１は、時間的再現確率に従って、履歴テーブルＤ１から状態推定値ベクトルｘｔを１つ選択する。
ステップＳＴ１０２で、事前確率分布予測部１１は、ステップＳＴ１０１において選択した状態推定値ベクトルｘｔに対して、履歴信頼度に応じた分散のガウシアンノイズを加える。
ステップＳＴ１０３で、事前確率分布予測部１１は、ステップＳＴ１０１において得られた状態推定値ベクトルｘｔを事前確率分布を表わすパーティクルの集合に加える。
事前確率分布予測部１１は、このステップＳＴ１０１〜１０３をあらかじめ定められた規定のパーティクル数に達するまで繰り返す。
ステップＳＴ１０３で、事前確率分布予測部１１は、ステップＳＴ１０１において得られた状態推定値ベクトルｘｔを事前確率分布を表わすパーティクルの集合に加える。
事前確率分布予測部１１は、このステップＳＴ１０１〜１０３をあらかじめ定められた規定のパーティクル数に達するまで繰り返す。
［第２実施形態］
本実施形態に係る状態推定装置２は、例えばカメラによって撮影される映像中に映る人物の顔姿勢の追跡を行う。この状態推定装置２は、図１８に示す通り、上述の状態推定装置１にカメラ２１と画像処理部２２とをさらに備える構成である。ここでは各構成の詳細については、第１実施形態と同一の符号を付すことで、その説明を省略する。
この顔状態の追跡とは、顔の画面上での位置および向き（姿勢）を推定することである。本発明では、追跡対象の位置と姿勢ｘ（画面上での顔の中心（ｍｘ，ｍｙ）と３軸中心回転（ｒｘ，ｒｙ，ｒｚ）を含むベクトル）を推定対象の状態を示す情報とする。
本実施形態に係る状態推定装置２は、例えばカメラによって撮影される映像中に映る人物の顔姿勢の追跡を行う。この状態推定装置２は、図１８に示す通り、上述の状態推定装置１にカメラ２１と画像処理部２２とをさらに備える構成である。ここでは各構成の詳細については、第１実施形態と同一の符号を付すことで、その説明を省略する。
この顔状態の追跡とは、顔の画面上での位置および向き（姿勢）を推定することである。本発明では、追跡対象の位置と姿勢ｘ（画面上での顔の中心（ｍｘ，ｍｙ）と３軸中心回転（ｒｘ，ｒｙ，ｒｚ）を含むベクトル）を推定対象の状態を示す情報とする。
次に、図１９を参照して、本実施形態に係る状態推定方法の一例について説明する。図１９は、本実施形態に係る状態推定方法の一例を示すフローチャートである。
図１９に示す通り、ステップＳＴ２１０１で、状態推定装置１は、初期化を行う。初期化ステップでは、画像処理部２２は、カメラ２１によって撮影された追跡対称の顔の画像データに基づき、正面顔検出手法により、正面顔を検出する。なお、初期化時の顔は、位置（０，０）、姿勢（０，０，０）とする。
図１９に示す通り、ステップＳＴ２１０１で、状態推定装置１は、初期化を行う。初期化ステップでは、画像処理部２２は、カメラ２１によって撮影された追跡対称の顔の画像データに基づき、正面顔検出手法により、正面顔を検出する。なお、初期化時の顔は、位置（０，０）、姿勢（０，０，０）とする。
ステップＳＴ２１０２で、画像処理部２２は、カメラ２１から出力された画像データに基づき、フレーム画像を読み込む。また、画像処理部２２は、映像ファイルに対して追跡処理を行う場合は、映像ファイルのフレーム画像を読み込む。なお、画像処理部２２は、カメラ２１に写る映像に対して追跡処理を行う場合では、カメラの１フレームを読み込む。
ステップ２１０３で、画像処理部２２は、顔検出処理を行う。これは、画面上での顔の位置および、１０方向に分類した姿勢を検出するものである。画像処理部２２は、この処理を、すべてのフレームにおいて実施しても良いし、Ｎフレーム間隔で実施してもよい。また、画像処理部２２は、この処理を追跡が安定していない場合のみ行っても良い。
ステップＳＴ２１０４で、事前確率分布予測部１１は、事前確率分布を作成する。本実施例では、事前確率分布予測部１１が、履歴蓄積装置１６から読み出した状態推定値ベクトルｘｔと時間的再現確率ｐｔに基づき、事前確率分布を作成する。ここで、ステップＳＴ２１０３において顔が検出された場合には、その結果をさらに用いるものであっても構わない。
ステップＳＴ２１０５で、事後確率分布推定部１２は、事後確率分布を作成する。本実施例では、正面顔を用いて作成したテンプレートに、パーティクルにより指定される回転・並進を施し、入力画像（観測情報）と比較することで観測尤度を求める。観測尤度により重み付けされたパーティクルの集合が事後確率分布を表す。なお、尤度計算方法は特に問わない。
ステップＳＴ２１０６で、推定結果算出部１３は、推定結果を算出する。パーティクルの重み付き平均や最大尤度を持つパーティクルの姿勢などが用いられる。
ステップＳＴ２１０７で、追跡安定性判定部１４は、追跡の安定性を判定する。本実施例では追跡の安定性判定にパーティクルの最大尤度を用いしきい値処理により判定する。ただし、安定性の判定手法は問わない。パーティクル集合の分散・尖度・歪度などを用いるものであってもよい。
ステップＳＴ２１０８で、欠損軌跡推定部１５は、欠損履歴を推定する。本ステップは、現在時刻Ｔの前に欠損履歴がある場合のみ実施される。本実施例では、線形補間と２次曲線による補間を用いることとする。また２次曲線により補間する場合には、過去の３時刻分の履歴と現在の状態推定値を用いて、最小自乗法により２次曲線をあてはめることとする。
ステップＳＴ２１０７で、追跡安定性判定部１４は、追跡の安定性を判定する。本実施例では追跡の安定性判定にパーティクルの最大尤度を用いしきい値処理により判定する。ただし、安定性の判定手法は問わない。パーティクル集合の分散・尖度・歪度などを用いるものであってもよい。
ステップＳＴ２１０８で、欠損軌跡推定部１５は、欠損履歴を推定する。本ステップは、現在時刻Ｔの前に欠損履歴がある場合のみ実施される。本実施例では、線形補間と２次曲線による補間を用いることとする。また２次曲線により補間する場合には、過去の３時刻分の履歴と現在の状態推定値を用いて、最小自乗法により２次曲線をあてはめることとする。
ステップＳＴ２１０９で、履歴蓄積部１７は、欠損軌跡推定部１５から出力される補間履歴情報Ｄ４、および、追跡安定性判定部１４から出力される状態推定結果情報Ｄ３を、それぞれ、履歴蓄積装置１６の履歴テーブルＤ１に蓄積する。
ステップＳＴ２１１０で、推定対象時刻設定部１８は、追跡対象の時刻をインクリメントし、時刻を１時刻分進ませる。
ステップＳＴ２１１１で、終了判定部１９は、映像が終了であれば終了し、そうでなければステップＳＴ２１０２へ処理を進める。
ステップＳＴ２１１０で、推定対象時刻設定部１８は、追跡対象の時刻をインクリメントし、時刻を１時刻分進ませる。
ステップＳＴ２１１１で、終了判定部１９は、映像が終了であれば終了し、そうでなければステップＳＴ２１０２へ処理を進める。
上述の通り、本発明に係る事前確率分布推定部１１は、時間的再現確率に基づき事前確率分布を作成することにより、過去の履歴データを利用して追跡対象の状態を推定することができる。これは、時間的再現確率が、滞留性と軌跡類似性という２つの性質を有するからである。
滞留性とは、短い時間でみると対象の状態が滞留する性質である。つまり、対象の近い未来の状態は、直前の状態と類似したものになり、また、予測しようとする時間が遠い未来になるほど、直前の過去には類似した状態が存在しなくなるという性質である。
また、軌跡類似性は、現在の状態と過去の状態が類似していると、その後の時間発展も類似する傾向が強いという性質である。ここで、軌跡類似性に関する２つの側面を説明する。第１は、現在の状態と過去の状態が類似するほど、その後の時間発展も互いに類似する性質であり、第２は、リードタイムが長くなるほど時間発展の類似性は低下する性質である。
滞留性とは、短い時間でみると対象の状態が滞留する性質である。つまり、対象の近い未来の状態は、直前の状態と類似したものになり、また、予測しようとする時間が遠い未来になるほど、直前の過去には類似した状態が存在しなくなるという性質である。
また、軌跡類似性は、現在の状態と過去の状態が類似していると、その後の時間発展も類似する傾向が強いという性質である。ここで、軌跡類似性に関する２つの側面を説明する。第１は、現在の状態と過去の状態が類似するほど、その後の時間発展も互いに類似する性質であり、第２は、リードタイムが長くなるほど時間発展の類似性は低下する性質である。
また、上記構成により、本発明は、例えば、上述の欠損履歴推定方法のうち少なくともいずれか１つを用いて、あるいはこれらの方法を少なくとも２つ以上組み合わせることによって、追跡が失敗した場合であっても、このときの状態を予測して履歴として取得することにより、欠損を補うことができる。
ここで、本発明によらない場合の一例を説明する。
例えば、まだ履歴が蓄積されていない状態で、急激に追跡対象が動いた場合、履歴を利用した予測ができないため、追跡が失敗してしまう。
一方、追跡が可能な程度のゆっくりした速さで追跡対象が動いた場合、状態推定装置はこの動きの軌跡を履歴として取得することができるため、次に、追跡対象が急激に動いた場合であっても、履歴を利用して状態を推定し、追跡対象を追跡することができる。
本願発明では、追跡が可能な程度の速さでゆっくり動く追跡対象の軌跡を、事前に履歴として取得していない場合であっても、急激な追跡対象の動きに応じた軌跡を予測して、履歴として取得することができる。これにより、速い動きで移動する追跡対象であって、正しくその軌跡を追跡できない場合であっても、推定された履歴に基づき、激しい動きに対応した高精度な事前確率分布推定を行うことができる。
ここで、本発明によらない場合の一例を説明する。
例えば、まだ履歴が蓄積されていない状態で、急激に追跡対象が動いた場合、履歴を利用した予測ができないため、追跡が失敗してしまう。
一方、追跡が可能な程度のゆっくりした速さで追跡対象が動いた場合、状態推定装置はこの動きの軌跡を履歴として取得することができるため、次に、追跡対象が急激に動いた場合であっても、履歴を利用して状態を推定し、追跡対象を追跡することができる。
本願発明では、追跡が可能な程度の速さでゆっくり動く追跡対象の軌跡を、事前に履歴として取得していない場合であっても、急激な追跡対象の動きに応じた軌跡を予測して、履歴として取得することができる。これにより、速い動きで移動する追跡対象であって、正しくその軌跡を追跡できない場合であっても、推定された履歴に基づき、激しい動きに対応した高精度な事前確率分布推定を行うことができる。
なお、上述した第１〜２実施形態において、状態推定装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１１・・・事前確率分布予測部、１２・・・事後確率分布推定部、１３・・・推定結果算出部、１４・・・追跡安定性判定部、１５・・・欠損軌跡推定部、１６・・・履歴蓄積装置、１７・・・履歴蓄積部、１８・・・推定対象時刻設定部、１９・・・終了判定部
Claims (8)
- 過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴蓄積装置と、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測部と、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測部が作成した前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定部と、
前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定部と、
前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定部が算出する前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積部と、
を備えることを特徴とする状態推定装置。 - 前記欠損軌跡推定部は、
過去の前記状態情報と前記事後確率分布に基づき、線形補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする請求項１に記載の状態推定装置。 - 前記欠損軌跡推定部は、
過去の前記状態情報と前記事後確率分布に基づき、２次曲線補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする請求項１に記載の状態推定装置。 - 前記欠損軌跡推定部は、
過去の前記状態情報と前記事後確率分布に基づき、多次曲線補間によって前記補間部分に対応する前記状態情報を算出することを特徴とする請求項１に記載の状態推定装置。 - 前記欠損軌跡推定部は、
線形補間、２次曲線補間、あるいは多次曲線補間のうち、少なくとも２以上の補間を組み合わせて前記補間部分に対応する前記状態情報を算出することを特徴とする請求項２〜４のいずれか一項に記載の状態推定装置。 - 前記事前確率分布予測部は、
前記事前確率分布を作成する際に用いる前記状態情報が前記欠損軌跡推定部によって算出された前記状態情報である場合、当該状態情報をガウシアンノイズの分散を大きくすることを特徴とする請求項１〜５のいずれか一項に記載の状態推定装置。 - 過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴蓄積装置を備える状態推定装置における状態推定方法であって、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測ステップと、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測ステップにおいて作成された前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定ステップと、
前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定ステップと、
前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定ステップにおいて算出される前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積ステップと
を備えることを特徴とする状態推定方法。 - コンピュータを、
過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴記憶手段、
過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測手段、
外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測情報と前記事前確率分布予測手段が作成した前記事前確率分布に基づき、観測結果からみた前記事前確率分布の観測尤度を算出し、当該観測尤度に応じた重み付けを前記事前確率分布に行い事後確率分布を作成する事後確率分布推定手段、
前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記補間部分の前記状態情報を算出する欠損軌跡推定手段、
前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定手段が算出する前記状態情報を前記履歴記憶手段に更新して蓄積する履歴蓄積手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010140962A JP5436351B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010140962A JP5436351B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012003720A JP2012003720A (ja) | 2012-01-05 |
| JP5436351B2 true JP5436351B2 (ja) | 2014-03-05 |
Family
ID=45535581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010140962A Active JP5436351B2 (ja) | 2010-06-21 | 2010-06-21 | 状態推定装置、状態推定方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5436351B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110509957A (zh) * | 2019-08-29 | 2019-11-29 | 交控科技股份有限公司 | 一种列车速度预测方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018147311A (ja) * | 2017-03-07 | 2018-09-20 | オムロン株式会社 | 画像処理装置、追跡方法、および追跡プログラム |
| CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
| US20220157580A1 (en) * | 2019-07-30 | 2022-05-19 | Hitachi High-Tech Corporation | Diagnosis apparatus, plasma processing apparatus and diagnosis method |
| CN112285694B (zh) * | 2020-10-16 | 2022-08-30 | 四川九洲电器集团有限责任公司 | 一种机动目标二次雷达航迹探测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4687772B2 (ja) * | 2008-11-06 | 2011-05-25 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2010
- 2010-06-21 JP JP2010140962A patent/JP5436351B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110509957A (zh) * | 2019-08-29 | 2019-11-29 | 交控科技股份有限公司 | 一种列车速度预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012003720A (ja) | 2012-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10782688B2 (en) | Method, control apparatus, and system for tracking and shooting target | |
| JP6140278B2 (ja) | ビジョン支援慣性カメラポーズ推定とビジョンベースのみのカメラポーズ推定との間の適応的な切替え | |
| JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
| JP5436351B2 (ja) | 状態推定装置、状態推定方法、およびプログラム | |
| JP5778187B2 (ja) | 汎用プラットフォーム・ビデオ画像安定化 | |
| JP4469275B2 (ja) | ポーズ角度を推定するためのシステムおよび方法 | |
| EP3817360A1 (en) | Method for tracking target in panoramic video, and panoramic camera | |
| US20100067802A1 (en) | Estimating a location of an object in an image | |
| CN111462185A (zh) | 跟踪器辅助的图像捕获 | |
| KR101885839B1 (ko) | 객체추적을 위한 특징점 선별 장치 및 방법 | |
| WO2019064375A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| WO2014010174A1 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
| JP4979480B2 (ja) | 顔認証装置 | |
| JP5340228B2 (ja) | 状態推定装置、状態推定方法、およびプログラム | |
| JP5530399B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| JP4496992B2 (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
| JP2010108496A (ja) | データをあらわす属性を選択する方法、コンピューター読み取り可能な媒体、生成モデルを形成する方法および生成モデルを形成するシステム | |
| JP5791555B2 (ja) | 状態追跡装置、方法、及びプログラム | |
| JP5848665B2 (ja) | 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム | |
| JP2009042910A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| CN110856014A (zh) | 动态图像生成方法、装置、电子设备及存储介质 | |
| JP7452620B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2020160901A (ja) | 物体追跡装置および物体追跡方法 | |
| CN113743283A (zh) | 网状拓扑结构获取方法、装置、电子设备及存储介质 | |
| JP5746078B2 (ja) | 時間的再現確率推定装置、状態追跡装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121029 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130719 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5436351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |