WO2021075004A1

WO2021075004A1 - 情報処理装置、情報処理装置の制御方法、及びプログラム

Info

Publication number: WO2021075004A1
Application number: PCT/JP2019/040753
Authority: WO
Inventors: 良徳大橋; 敬太望月; 康隆福本
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント; ソニー株式会社
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2021-04-22
Also published as: JP7216222B2; US20220409991A1; JPWO2021075004A1

Abstract

複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得し、当該取得した移動加速度及び姿勢角速度の情報に基づいて、センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する。そして予め定められた対象者の各部位の位置を、上記推定された各装着部位の移動速度の情報に基づいて推定する。

Description

情報処理装置、情報処理装置の制御方法、及びプログラム

　本発明は、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。

　対象者の姿勢の情報を推定する処理として、対象者の頭部、両手、腰、両足首に装着したマーカー等の三次元空間内での位置の情報を、対象者を複数のカメラで撮像する等の方法によって取得し、これら取得した情報に基づく逆運動学（Inverse Kinematics）的方法によって、上記三次元空間内での対象者の姿勢の情報を推定するものが知られている。

　しかしながら、上記従来のマーカーの位置を用いた逆運動学的な方法では、対象者の上記各部の位置の情報を取得する必要があり、対象者は、マーカー等を上記各部に装着することが求められていた。しかしながら、マーカーの装着は手間がかかり、対象者が装着するマーカーの数はなるべく低減することが好ましい。また、対象者の姿勢によっては上記各部の全てのマーカーの位置を常に撮影して検出できるとは限らない。

　そこでこのような場合を考慮して、マーカーとともにＩＭＵ（慣性計測）センサを対象者に装着させ、マーカーの位置が検出できない場合にＩＭＵセンサによる検出結果を用いて、当該マーカーの位置の情報を推定することが考えられている。しかしながら、ＩＭＵセンサの出力にはノイズが含まれており、また位置を得るためには二度の積分演算を要するため、これらのノイズによる誤差が累積してしまい、ＩＭＵセンサによる検出結果だけでは数秒程度の時間でも位置推定誤差が大きくなって、そのままでは利用できない。

　本発明は上記実情に鑑みて為されたもので、比較的少ない数のデバイスを使用し、またデバイスの位置が直接的方法により検出できない場合でも、例えば、誤差を低減した、ＩＭＵセンサの出力に基づく対象者の姿勢推定を行うことができる情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを、その目的の一つとする。

　上記従来例の問題点を解決する本発明は、対象者の複数の装着部位に装着され、当該装着部位の移動加速度及び姿勢角速度の情報を少なくとも検出するセンサに接続される情報処理装置であって、前記複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得する取得手段と、前記取得した移動加速度及び姿勢角速度の情報に基づいて、前記センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する速度推定手段と、前記対象者の姿勢を逆運動学により推定するために必要となる部位として、予め定められた前記対象者の各部位の位置を、前記推定された各装着部位の移動速度の情報に基づいて推定する位置推定手段と、を含み、当該推定した前記各部位の位置の情報を、所定の処理に供することとしたものである。

　これにより、少なくとも頭部と一方の手とに装着したデバイスなど、比較的少ない数のデバイスを使用し、またデバイスの位置が直接検出できない場合でも、対象者の姿勢を推定できる。

本発明の実施の形態に係る情報処理装置の構成及びその接続例を表すブロック図である。本発明の実施の形態に係る情報処理装置に接続されるセンサデバイスの装着例を表す説明図である。本発明の実施の形態に係る情報処理装置の処理例を表す機能ブロック図である。本発明の実施の形態に係る情報処理装置の処理例を表すもう一つの機能ブロック図である。本発明の実施の形態に係る情報処理装置が用いる人体モデルの例を表す説明図である。本発明の実施の形態に係る情報処理装置の一部の動作例を表す説明図である。

　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態の一例にかかる情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作制御部１３と、出力制御部１４とを基本的に含んで構成され、対象者が各装着部位に装着した複数のセンサデバイス２０ａ，ｂ…との間で有線または無線にて通信可能に接続されている。

　ここでセンサデバイス２０は、図２に例示するように、頭部センサデバイス２０１と、対象者が左右のそれぞれの手に把持するコントローラデバイス２０２と、対象者の左右の足首にそれぞれ装着される足センサデバイス２０３とを含む。

　頭部センサデバイス２０１は、例えば、対象者の頭部に装着されるヘッドマウントディスプレイＨＭＤと、対象者を撮像するカメラＣとを含む。このカメラＣは例えばステレオカメラであり、カメラＣと撮像された対象物までの距離の情報を取得可能なものとする。

　ヘッドマウントディスプレイＨＭＤは、情報処理装置１の出力制御部１４から入力される映像を表示するディスプレイを備えるとともに、ＬＥＤなどのマーカーを有し、情報処理装置１はカメラＣが撮像した画像から対象者が頭部に装着したヘッドマウントディスプレイＨＭＤのマーカーを検出して、ヘッドマウントディスプレイＨＭＤの位置や向き（従ってそれを装着する対象者の頭部の位置や向き）等の姿勢情報を取得する。

　コントローラデバイス２０２は、実質的に円柱状の形状を備え、対象者が手に把持して利用するものである。このコントローラデバイス２０２には、ヘッドマウントディスプレイＨＭＤと同様、その筐体にＬＥＤなどのマーカーが配され、情報処理装置１はカメラＣが撮像した画像から対象者が両手にそれぞれ把持したコントローラデバイス２０２のマーカーを検出して、各コントローラデバイス２０２の位置や向き（従ってそれを把持する対象者の手の位置や向き）等の姿勢情報を取得してもよい。

　なお、本実施の形態では、ヘッドマウントディスプレイＨＭＤである頭部センサデバイス２０１や、コントローラデバイス２０２は、さらに互いに直交する３つの軸方向の移動加速度及び当該各軸周りの角速度を計測するＩＭＵセンサ（慣性計測センサ）を内部に備えて、当該計測した各軸方向の移動加速度の情報と、各軸周りの角速度（姿勢角速度）の情報とを、慣性情報として情報処理装置１に対して有線または無線にて出力する。

　また、ここで足センサデバイス２０３は、図２の例では、対象者の足首に巻き付けて締結可能なベルト２０３１と、このベルト２０３１に固定されている本体デバイス２０３２とを含んでいる。

　この本体デバイス２０３２は、互いに直交する３つの軸方向の加速度及び当該各軸周りの角速度を計測するＩＭＵセンサ（慣性計測センサ）を内部に備えて、当該計測した各軸方向の移動加速度の情報と、各軸周りの角速度（姿勢角速度）の情報とを、慣性情報として、有線または無線で、情報処理装置１に対して出力する。

　なお、この本体デバイス２０３２にも、ＬＥＤなどのマーカーが配されてもよく、情報処理装置１はカメラＣが撮像した画像から、対象者の各足に装着された足センサデバイス２０３のマーカーを検出できたときには、各足センサデバイス２０３の位置や向き（従ってそれを装着する対象者の各足の位置や向き）等の姿勢情報を取得することとしてもよい。もっともカメラＣは必ずしも対象者の足首までを撮像できなくても構わない。

　つまり、本実施の形態では、各センサデバイス２０の位置や姿勢情報は、カメラＣ等で撮像された画像データに基づいて直接的に得ることも可能であり、また、カメラＣで撮像されていない（カメラＣの画角外にある）場合は、その内部の慣性計測センサに基づく慣性情報を得て、この慣性情報に基づいて間接的に、各センサデバイス２０の位置や姿勢情報を得ることも可能となっている。

　制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。例えばこの制御部１１は、ゲームアプリケーションの処理として、コントローラデバイス２０２の操作や、対象者の姿勢情報等に基づいてゲームアプリケーションの処理を実行する。制御部１１は、また、当該ゲームアプリケーションの処理として、ゲーム画面の情報を生成して、出力制御部１４を介してヘッドマウントディスプレイＨＭＤ等に対して当該ゲーム画面を表示するよう指示する。

　また本実施の形態では、対象者の姿勢情報を得るため、制御部１１は、対象者の複数の装着部位に装着され、当該装着部位の移動加速度及び姿勢角速度の情報を少なくとも検出するセンサデバイス２０から各センサデバイス２０が取り付けられた、対象者の装着部位の移動加速度の情報を少なくとも取得する。

　一例として既に述べたように、センサデバイス２０である頭部センサデバイス２０１（具体的にはそのヘッドマウントディスプレイＨＭＤ）やコントローラデバイス２０２、並びに、足センサデバイス２０３（具体的にはその本体デバイス２０３２）は互いに直交する３つの軸方向の加速度と、姿勢角速度とを計測するＩＭＵセンサ（慣性計測センサ）を内部に備えるので、情報処理装置１の制御部１１は、このＩＭＵセンサで計測された移動加速度及び姿勢角速度の情報を取得することとする。

　ここで、移動加速度の情報は、それぞれのセンサデバイス２０に固有の座標系で取得される。例えばコントローラデバイス２０２では、内部の加速度センサが取り付けられる方向から、対象者が把持する筐体の長手方向をＺ軸とし、このＺ軸に直交する面内で、筐体の前後（例えば操作のためのボタンが配置されている位置から前後の軸が決定される）方向をＹ軸、これらＺ，Ｙ軸に直交する方向をＸ軸として移動加速度の情報が得られる。

　また姿勢角速度の情報は、これらＸ，Ｙ，Ｚの各軸まわりの角速度の情報として各センサデバイス２０により出力される。

　制御部１１は、取得した移動加速度の情報に基づいて、センサデバイス２０の各々が取り付けられた対象者の装着部位の移動速度を推定し、逆運動学により当該対象者の姿勢情報を推定するために必要となる部位として予め定められた当該対象者の各部位について、それら各部位の位置を、推定された各装着部位の移動速度の情報に基づいて推定する。

　そして制御部１１は、当該推定した上記対象者の各部位の位置や移動速度の情報を、対象者の姿勢を推定する処理等に利用する。この制御部１１の詳しい動作については後に述べる。

　記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記憶媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。

　操作制御部１３は、コントローラデバイス２０２（及びカメラＣ）から受信した情報に基づいてコントローラデバイス２０２を把持する対象者の操作の内容を受け入れ、当該操作の内容を表す情報を制御部１１に出力する。

　出力制御部１４は、制御部１１から入力される指示に従い、表示するべき画像の情報をヘッドマウントディスプレイＨＭＤや、他のディスプレイ装置等に出力する。

［対象者の姿勢検出］
　次に、制御部１１による対象者の姿勢検出の処理について説明する。本実施の形態の一例では、この処理を行う制御部１１は、図３に例示するように、機能的に、慣性速度推定部３１と、逆運動学モデル演算部３２と、部位位置速度推定部３３と、補正速度演算部３４と、補正位置演算部３５と、出力部３６とを含んで構成される。

　慣性速度推定部３１は、各センサデバイス２０が出力する移動加速度の情報及び姿勢角速度の情報を所定のタイミングごとに繰り返し（例えば時刻Δｔごとに繰り返し）受け入れて、これら移動加速度の情報及び姿勢角速度の情報に基づいて推定される各センサデバイス２０の各装着部位の移動加速度や姿勢角速度の情報に基づいて、各センサデバイス２０の装着部位の移動速度の情報等を得る。

　本実施の形態のある例では、この慣性速度推定部３１は、図４に例示するように、さらに機能的に、角速度キャリブレーション部３１１と、姿勢推定部３１２と、重力加速度除去部３１４と、速度推定処理部３１５とを含んで構成される。

　ここで角速度キャリブレーション部３１１は、各センサデバイス２０が出力する移動加速度の情報及び姿勢角速度の情報を受け入れて、所定のタイミング（例えば最初の情報が受け入れられた時点）で、対象者に対して一時的に静止するように指示する画面を表示する。そして角速度キャリブレーション部３１１は、対象者が静止したと判断したとき（移動加速度の時間変化が所定のしきい値を下回った状態となったときなど）に、その時点での姿勢角速度の情報を複数回取得して、その平均（各成分ごとに求められる）を、角速度バイアスとして求め、記憶部１２等に保持する。その後、角速度キャリブレーション部３１１は、対象者に対して計測が終了したことを示す画面を提示する。

　また角速度キャリブレーション部３１１は、角速度バイアスを得た後は、各センサデバイス２０が出力する移動加速度の情報及び姿勢角速度の情報を受け入れて、当該姿勢角速度の各成分の値から、対応する角速度バイアスの成分の値を差し引いて、キャリブレーション後の角速度の情報を出力する。

　なお、この角速度キャリブレーション部３１１の動作は一例であり、姿勢角速度のバイアスを、姿勢角速度の値から差し引く処理を行うことができれば、他の方法が採用されてもよい。

　姿勢推定部３１２は、角速度キャリブレーション部３１１が出力する、キャリブレーション後の姿勢角速度の情報と、各センサデバイス２０が出力する移動加速度の情報とに基づいて、各センサデバイス２０の装着部位の姿勢情報と、その装着部位での重力方向とを推定する。そしてこの姿勢推定部３１２は、これにより、各センサデバイス２０が出力する姿勢角速度の情報（各センサデバイスに固有の座標系で表される）を、対象者が立っている床面を基準とし、床面に平行で、対象者の初期の姿勢での前後方向（前方向を例えば正の方向とする）をＹ軸、左右方向（対象者から見て左方向を正の方向とする）をＸ軸とし、さらに床面に垂直な方向をＺ軸としたグローバル座標系での各軸まわりの姿勢角速度の情報に変換して出力する。

　さらに、この姿勢推定部３１２は、各センサデバイス２０が出力する移動加速度の情報に加え、上述のグローバル座標系に変換された姿勢角速度の情報と、各センサデバイス２０の装着部位の姿勢情報（グローバル座標の各軸まわりの回転を用いた姿勢クオータニオン）とを出力する。

　ここで姿勢推定部３１２が行う姿勢情報と重力方向の推定の処理は、広く知られたマッジウィックフィルタ（S. Madgwick, An efficient orientation filter for inertial and inertial/magnetic sensor arrays, April 30, 2010（https://www.samba.org/tridge/UAV/madgwick_internal_report.pdf））を用いて行うことができるので、ここでの詳しい説明を省略する。

　重力加速度除去部３１４は、各センサデバイス２０が出力した移動加速度の情報と、各センサデバイス２０の装着部位の姿勢情報（姿勢推定部３１２により得られた情報）の入力を受けて、移動加速度の情報から、対応する加速度オフセットの値を差し引いて補正したうえで、対応する姿勢情報を用いて、上記グローバル座標系での、各センサデバイス２０の装着部位の移動加速度の情報を得て出力する。

　速度推定処理部３１５は、姿勢推定部３１２が出力する、グローバル座標系での各センサデバイス２０の装着部位の姿勢角速度の情報と、重力加速度除去部３１４が出力する、グローバル座標系での、各センサデバイス２０の装着部位の移動加速度の情報とを用い、グローバル座標系での、各センサデバイス２０の装着部位の移動速度の情報を演算して出力する。

　この演算は例えば、移動加速度の情報を時間積分することによって行ってもよい。また本実施の形態の一例では、次のようにして移動速度の情報を得てもよい。すなわち、速度推定処理部３１５は、複数の時点で得られた、グローバル座標系での各センサデバイス２０の装着部位の姿勢角速度及び移動加速度の情報（つまりこれらの時系列変化の情報）を用いて、当該姿勢角速度の情報に基づいてグローバル座標系での装着部位の姿勢情報を得る。次に、速度推定処理部３１５は、この姿勢情報と、移動加速度の情報とを入力とし、各センサデバイス２０の装着部位の位置の情報との関係を機械学習した移動速度推定用ニューラルネットワーク（移動速度推定用機械学習結果に相当する）を用いて、各センサデバイス２０の装着部位の位置の情報を逐次的に得る。

　そして速度推定処理部３１５は、ここで逐次的に得られた、各センサデバイス２０の装着部位の位置の情報の時間差分（微分）により、各センサデバイスの装着部位の移動速度の情報を得る。

　このような移動速度推定用ニューラルネットワークは、例えば、入力層と、ＬＳＴＭ（Long-Short Term Memory）ブロックと、出力層とを含む、多層ネットワークにより実現できる。この例では入力層は、２層の全結合層を含み、出力層は３層の全結合層を含む。ここで入力層、及び出力層の最終層を除く各層の出力に用いられる活性化関数はＲｅＬＵなどの非線形関数を用い、出力層の最終層のみ線形関数を用いて出力を得るものとする。

　またこの移動速度推定用ニューラルネットワークを機械学習するときには、予め複数の時点での、各装着部位の位置が別途計測されて既知であるときの、各装着部位に装着したセンサデバイス２０の各出力を得る。そして当該出力を、角速度キャリブレーション部３１１と、姿勢推定部３１２と、重力加速度除去部３１４とで処理して、複数組の（各時点、各装着部位での）グローバル座標系での各センサデバイス２０の装着部位の姿勢角速度に基づく姿勢情報を得て、当該姿勢情報及び移動加速度の情報を得る。そして、当該得られた姿勢情報及び移動加速度を入力として、機械学習の対象とする移動速度推定用ニューラルネットワークの出力を得て、当該出力と、既知である位置との差に基づくバックプロパゲーションの処理によって、当該移動速度推定用ニューラルネットワークを機械学習する。

　なお、ここでは移動速度推定用ニューラルネットワーク（移動速度推定用機械学習結果）は、各センサデバイス２０の各装着部位の移動加速度及び姿勢情報と、各センサデバイス２０の位置との関係を機械学習したものとしたが、本実施の形態はこれに限られず、例えば、各センサデバイス２０の各装着部位の移動加速度や姿勢情報と、各センサデバイス２０の装着部位の移動速度との関係を機械学習したニューラルネットワークを用いてもよい。

　そして、センサデバイス２０ごとに、ここで得た各時点での姿勢角速度及び移動加速度の情報を移動速度推定用ニューラルネットワークの入力とし、また、その移動速度推定用ニューラルネットワークの出力と、対応する、既知である当該センサデバイス２０の装着部位の移動速度及び移動加速度との差を用いたバックプロパゲーションにより、移動速度推定用ニューラルネットワークの各層間の重みを補正することを繰り返して行う。あるいは、既に機械学習済みとなっている他の移動速度推定用ニューラルネットワークを利用する、いわゆる蒸留の方法によって機械学習を行ってもよい。

　このようにして、慣性速度推定部３１は、各センサデバイス２０が出力する移動加速度の情報及び姿勢角速度の情報を所定のタイミングごとに受け入れて、これら移動加速度の情報及び姿勢角速度の情報に基づいて推定される各センサデバイス２０の各装着部位の移動速度や移動加速度の情報を得る。また本実施の形態の例では、この慣性速度推定部３１は、各センサデバイス２０の各装着部位のグローバル座標系での移動速度や移動加速度の情報のほか、これらの演算の過程で得られたグローバル座標系での姿勢角速度の情報や姿勢情報を併せて出力してもよい。

　以下の例では、慣性速度推定部３１が、各センサデバイス２０の各装着部位のグローバル座標系での移動速度の情報及び姿勢角速度の情報を推定し、また、姿勢角速度の情報を積分（姿勢角速度の情報に時刻Δｔを乗じた値を乗じて、対応する部位について前回のタイミングで得た姿勢情報に加算して）、今回のタイミングに対応する各部位の姿勢情報を得る。

　さらに慣性速度推定部３１は、各部位の移動速度の情報を積分（移動速度に時刻Δｔを乗じた値を乗じて、対応する部位について前回のタイミングで得た位置の情報に加算）して、今回のタイミングでの各部位の位置の情報を得る。

　逆運動学モデル演算部３２は、手や手首のように、互いの位置や姿勢情報の間に相関のある部位について、その一方（例えば手）に関する位置や向きの情報から、他方（例えば手首）の姿勢情報を求めるものである。具体的にこの逆運動学モデル演算部３２は、所定のタイミングごとに（例えば慣性速度推定部３１がセンサデバイス２０からの慣性情報等を受け入れる時刻Δｔごとのタイミングごとに）繰り返して、人体の所定部位の位置及び姿勢情報の入力を受け入れる。そして逆運動学モデル演算部３２は、各タイミングでの人体の他の所定部位の位置や姿勢情報を推定して順次出力する。

　ここでの推定の方法は、逆運動学モデル演算、例えば、FABRIK（Forward and Backward Reaching Inverse Kinematics）などの逆運動学ソルバーを用いる方法や、ディープラーニングを用いた方法、山根克ほか，「ヒューマンフィギュアの全身運動生成の協応構造化インタフェース」，日本ロボット学会誌，第２０巻，第３号，１１３ページ（２００２年４月）に記載の方法など、広く知られている種々の技術を採用して実現できる。

　本実施の形態のある例では、この逆運動学モデル演算部３２は、慣性速度推定部３１が出力する、手の部位の姿勢情報と、手の位置の情報とに基づいて、これらから手首の位置を推定する。またこの逆運動学モデル演算部３２は、当該推定した手首の位置及び手の姿勢情報に基づいて手首の姿勢情報を推定する。

　このための具体的処理は、本出願人が先に出願した、PCT/JP2018/036973及び、PCT/JP2018/033069の明細書に記載の方法を採用できる。

　さらに本実施の形態では、この逆運動学モデル演算部３２は、直近複数回の手首の位置の推定結果を記憶し、これらの差分から、直近複数回分の手首の移動速度の情報を得るとともに、さらに当該移動速度の情報の差分から手首の移動加速度の情報を得て、それぞれ出力する。

　部位位置速度推定部３３は、予め定められた人体モデル上の一部の部位の位置や移動速度の情報、姿勢情報、移動加速度等の入力を受けて、当該人体モデル上の上記一部とは異なる他の部位の位置及び速度の情報を推定して求める。

　本実施の形態の一例において、ここで用いられる人体モデルは、図５に例示するように、頭部ノードＰ１，首部ノードＰ２，胸部ノードＰ３，腰部ノードＰ４と、首部ノードＰ２から左右に分岐したそれぞれの先にある肩部ノードＰ５，Ｐ６と、各肩部ノードに連結された肘部ノードＰ７，Ｐ８と、さらにその先に連結されたノードである手首部ノードＰ９，Ｐ１０とを含む。また、この人体モデルは、腰部ノードＰ４から左右に分岐した先にそれぞれ連結される股関節部ノードＰ１１，Ｐ１２と、これら各股関節部ノードの先に連結された膝部ノードＰ１３，Ｐ１４と、各膝部ノードの先に連結され、末端のノードとなっている足首部ノードＰ１５，Ｐ１６とを含む。さらに本実施の形態では、この人体モデルは、手首部ノードＰ９，Ｐ１０のそれぞれからさらに末端側に連結された手のノードＰ１７，Ｐ１８を含む。これら各ノードが人体モデル上の各部位に相当する。

　本実施の形態において、部位位置速度推定部３３は、人体モデルのうち、ノード（ノードに対応する部位）にセンサデバイス２０が装着されている場合は、当該ノードの位置や姿勢情報を当該センサデバイス２０によって得られる位置や姿勢情報（慣性情報に基づいて推定された場合を含む）を用いて設定する。またノードにセンサデバイス２０が装着されていても、カメラＣがそのセンサデバイス２０を撮影できない場合（視野の外になっている場合等、直接的な方法で位置が検出できない場合）には、当該ノードの姿勢情報や移動加速度の情報（慣性情報）を用いた該ノードの位置や姿勢情報等の推定結果を用いて設定する。

　そしてノードの部位にセンサデバイス２０が装着されていない場合は、他の部位（近接する部位）に装着されたセンサデバイス２０の位置や姿勢の情報（慣性情報に基づいて推定された場合を含む）を用いて当該ノードの位置や姿勢の情報を推定して設定する。

　ここでの例では、部位位置速度推定部３３は、この人体モデルの頭部ノードＰ１の位置及び姿勢（向き）と、左右の手のノード（手首部ノードの先に連結されるＰ１７，Ｐ１８）の位置及び移動加速度（手に把持されたセンサデバイス２０２がカメラＣで撮影できている場合）または姿勢情報及び移動加速度（対象者が手に持ったコントローラデバイス２０２のＩＭＵセンサが出力する、姿勢角速度及び移動加速度に基づいて得られる。手に把持されたセンサデバイス２０２がカメラＣで撮影できない場合に用いる）と、左右の足首部ノードＰ１５，Ｐ１６の位置及び姿勢情報または姿勢情報及び移動加速度との入力を受け入れる。

　また、逆運動学モデル演算部３２により、左右の手のノードＰ１７，Ｐ１８の位置及び姿勢情報に基づく左右の手首部ノードＰ９，Ｐ１０の位置や姿勢情報、並びに移動加速度の情報が推定されると、部位位置速度推定部３３は、これら左右の手首部ノードＰ９，Ｐ１０の各位置及び姿勢情報や移動加速度の情報と、推定した胸部ノードＰ３，腰部ノードＰ４の各位置及び姿勢情報と、入力された各部位の位置及び姿勢情報、並びに、推定された各部位の位置及び姿勢情報に基づき、先の人体モデルを用いて、人体モデルの各ノード（部位）の位置を推定する。この推定には人体モデル内の各ノード間の関係に関する機械学習の結果が利用されてもよい。

　部位位置速度推定部３３は、当初は、対象者の少なくとも頭部及び左右の手の位置や姿勢の情報（グローバル座標系での位置や姿勢情報（回転角度））を、当該位置に装着（あるいは当該位置で把持）された各センサデバイス２０をカメラＣが撮像した画像等から直接的に取得する（本発明の位置検出手段に相当する）。この当初の状態では、部位位置速度推定部３３は当該直接的に取得された情報を利用して、人体モデルの胸部ノードＰ３の位置及び姿勢情報や、左右の手首部ノードＰ９，Ｐ１０の位置等、必要なノードの位置や姿勢情報等を求め、各末端のノードなど、人体モデルに基づく対象者の姿勢情報を推定するために必要となる部位として予め定められた部位（以下基準部位と呼ぶ）のノード（具体的な例としては、頭部ノードＰ１，胸部ノードＰ３，手首部ノードＰ９，Ｐ１０，及び足首部ノードＰ１５，Ｐ１６）の位置、姿勢情報、及び移動加速度の情報を設定する。この移動加速度の情報は、位置の情報の差分を用いてもよいし、またはセンサデバイス２０が出力する移動加速度の情報を用いてもよい。

　そして、この部位位置速度推定部３３は、その後は、上記基準部位のノードのうち、その位置及び姿勢が、センサデバイス２０をカメラＣが撮像した画像等から直接的に取得できたノードあるいは、当該直接的に取得した情報から推定できたノードについては、当該取得あるいは推定した情報により、その位置、姿勢情報、及び移動加速度を設定する。

　また部位位置速度推定部３３は、上記基準部位のノードのうち、その位置及び姿勢が、センサデバイス２０をカメラＣが撮像した画像等から直接的に取得できなかったノードについては、慣性速度推定部３１が出力する位置や姿勢情報の推定値や、移動加速度の情報を用いて、その位置、姿勢情報、及び移動加速度を設定する。

　なお、手首のノードについては、部位位置速度推定部３３はその姿勢情報や移動加速度の情報等を、逆運動学モデル演算部３２が出力する情報から得る。

　そして部位位置速度推定部３３は、当該設定したノード（基準部位に相当するノード）の位置、姿勢情報、及び移動加速度に基づいて所定の人体モデルの各ノードの位置及び移動速度を推定する。

　つまり、この部位位置速度推定部３３は、手首部ノードＰ９，Ｐ１０の位置や姿勢情報、移動速度等の情報を得た後、逆運動学ソルバー等により、手のノードＰ１７，Ｐ１８の位置や移動速度を推定することとなる。

　そして部位位置速度推定部３３は、人体モデルの各ノードの位置と移動速度との推定の結果を出力する。

　補正速度演算部３４は、慣性速度推定部３１が出力する各センサデバイス２０の装着部位の、グローバル座標系での移動速度の情報と、部位位置速度推定部３３が出力する、人体モデルの各ノードの各部位の移動速度の情報と用いて、各部位の補正された移動速度の情報を得る。

　具体的に、この補正速度演算部３４は、頭部ノードＰ１についてセンサデバイス２０の位置が直接得られた場合は、当該頭部に装着されたセンサデバイス２０の出力に基づいて頭部のグローバル座標系での移動速度の情報を得る。

　また補正速度演算部３４は、手のノードＰ１７，Ｐ１８について、左右の手に装着された各センサデバイス２０の位置が直接得られなかった場合は、これらセンサデバイス２０が出力する慣性情報に基づく、慣性速度推定部３１及び部位位置速度推定部３３の出力を用いて、グローバル座標系での移動速度の情報を得る。

　この補正速度演算部３４は、センサデバイス２０が装着されている部位であって、装着されたセンサデバイス２０の位置が直接得られなかった各部位について、慣性速度推定部３１が出力する部位の移動速度と、部位位置速度推定部３３が出力する対応する部位の移動速度とをカルマンフィルタを用いて合成して、補正速度として出力する。

　また、補正速度演算部３４は、手首の部位について、逆運動学モデル演算部３２が推定した手首の部位の移動速度の情報と、部位位置速度推定部３３が出力する対応する手首の部位の移動速度とをカルマンフィルタを用いて合成して、補正速度として出力する。

　なお、このカルマンフィルタを用いた合成の処理の際、補正速度演算部３４は、慣性速度推定部３１または逆運動学モデル演算部３２等が出力する移動速度の情報と、部位位置速度推定部３３が人体モデルを利用して得た移動速度の情報との合成に係る重みを、ノードごとに、当該ノードの位置の情報等が、カメラＣがセンサデバイス２０を撮像した画像等から直接的に、あるいは当該直接的に得られた情報から推定できた（つまり、直接的方法により取得できた）最後の時刻と、現在の時刻との差（位置が直接的方法により取得できない状態となってからの経過時間）に基づいて定めてもよい。

　具体的に本実施の形態では、制御部１１は、センサデバイス２０ごとに、当該センサデバイス２０の位置の情報等が、カメラＣが撮像した画像等から直接的に取得できた時点を表す時刻の情報を取得する。時刻の情報の取得は、時計ＩＣやネットワークを介してＮＴＰサーバ等から取得するなどの広く知られた方法で行えばよい。

　そして補正速度演算部３４は、ノードごとに最後に直接的方法により取得した最後の時刻を記録する。具体的には、各ノードについて、当該ノードの位置の情報等が、カメラＣがセンサデバイス２０を撮像した画像等から直接的方法で取得できたときには、当該直接的方法で用いたセンサデバイス２０の位置をカメラＣが撮像した情報から直接的に取得した最後の時刻（複数ある場合はそのうち最先のもの）を、当該ノードについての最後の時刻として記録する。

　補正速度演算部３４は、当該ノードごとに記録した最後の時刻を参照し、最後の時刻と現在の時刻（処理の時点の時刻）との差を求め、その差に基づいて当該ノードに関する速度を推定するためのカルマンフィルタによる合成に係る重みを変更する。具体的には、補正速度演算部３４は、当該時刻差が比較的小さい場合には、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力する移動速度に係る重みを大きく、部位位置速度推定部３３が演算した移動速度に係る重みを小さくする。

　また、当該時刻差が比較的大きい場合には、補正速度演算部３４は、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力する移動速度に係る重みを小さく、部位位置速度推定部３３が演算した移動速度に係る重みを大きくする。

　また、ここでは時刻の差から重みを制御する例について述べたが、時刻の差だけでなく、最後に直接的方法により情報が得られた時点以降の、推定された移動量や、ＩＭＵセンサが出力する慣性情報等から得られる加速度、推定された速度の大きさを演算して記憶し、これらの情報を考慮に入れてもよい。例えば、上記時刻差が比較的大きい場合であっても、その間の移動量や移動速度、あるいは移動加速度（の最大値）が小さい場合は、ノードは静止していると判断して、補正速度演算部３４は、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力する移動速度に係る重みを大きく、部位位置速度推定部３３が演算した移動速度に係る重みを小さくすることとしてもよい。

　補正位置演算部３５は、慣性速度推定部３１（手首以外）または逆運動学モデル演算部３２（手首の部位）が出力する各基準部位の位置の情報と、部位位置速度推定部３３において求められた、対応する基準部位のノードの位置とをカルマンフィルタにより合成して、各基準部位の補正位置を求め、当該各基準部位の補正位置を出力する。

　なお、この位置に関するカルマンフィルタを用いた合成の処理においても、補正速度演算部３４におけるのと同様、補正位置演算部３５は、慣性速度推定部３１または逆運動学モデル演算部３２が出力する基準部位の位置の情報と、部位位置速度推定部３３において求められた位置の情報とのそれぞれの合成に係る重みを、ノードごとに、当該ノードの位置の情報等が直接的方法により取得できた最後の時刻と、現在の時刻との差（位置が直接的方法により検出されない状態となってからの経過時間）に基づいて定めてもよい。

　具体的に補正位置演算部３５は、当該時刻の差が比較的小さい場合には、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力した位置に係る情報の重みを大きく、部位位置速度推定部３３が演算した人体モデルの位置の情報に係る重みを小さくする。

　また、当該時刻差が比較的大きい場合には、補正位置演算部３５は、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力した位置に係る情報の重みを小さく、部位位置速度推定部３３が演算した人体モデルの位置の情報に係る重みを大きくする。

　また、ここでの例でも、時刻の差だけでなく、最後に直接的方法により情報が得られた時点以降の、推定された移動量や、ＩＭＵセンサが出力する情報等から得られる加速度、推定された速度の大きさを演算して記憶し、これらの情報を考慮に入れてもよい。例えば、上記時刻差が比較的大きい場合であっても、その間の移動量や加速度（の最大値）が小さい場合は、ノードは静止していると判断できるので、補正位置演算部３５は、対応するノードについて慣性速度推定部３１または逆運動学モデル演算部３２が出力した位置に係る情報の重みを大きく、部位位置速度推定部３３が演算した人体モデルの位置の情報に係る重みを小さくすることとしてもよい。

　本実施の形態のこの例によると、次のような効果がある。すなわち、例えば手の動きは自由度が高いために、手の姿勢と位置との相関は低く、コントローラデバイス２０２のように手に持って使用する装置が備えるセンサ（特にＩＭＵセンサ）の出力する姿勢や加速度の情報に基づき位置を推定することが困難なものである。しかしながら、手首の姿勢と位置（位置によってその姿勢が変化するため）とは相関があることが知られており、本実施の形態のここでの例のように、逆運動学ソルバーにより手の姿勢や加速度の情報から手首の姿勢を求め、手首の姿勢と加速度とからその位置を（例えば機械学習の方法等により）推定した上で、さらに推定した手首の位置の情報に基づいて手の（末端の）位置や姿勢を逆運動学ソルバーによって推定できる。つまり、人体の動きの制約の情報を利用して、手の位置や姿勢が推定できるため、この推定の結果を利用してＩＭＵセンサ等によって得られた情報に基づく位置推定の精度を向上できる。

　このことは手と手首とに限られず、姿勢と位置とに相関がある有相関ノードが、そのような相関のない無相関ノードに隣接しているなど、有相関ノードの姿勢が、無相関ノードの位置の情報から逆運動学あるいは順運動学的に推定可能なボーンモデルがある場合に、運動学的なソルバーにより無相関ノードの姿勢や加速度から有相関ノードの姿勢や加速度を求め、有相関ノードの姿勢や加速度からその位置を（例えば機械学習の方法等により）推定した上で、さらに推定した有相関ノードの位置の情報に基づいて無相関ノードの位置を運動学的なソルバーによって推定することとしてもよい。つまり、動きの制約の情報を利用して、無相関ノードの位置や姿勢が推定できるため、この推定の結果を利用してＩＭＵセンサ等によって得られた無相関ノードの情報に基づく位置推定の精度を向上できる。

　出力部３６は、補正位置演算部３５が出力する、各基準部位の補正位置を、部位位置速度推定部３３に出力する。また、この出力の値を、慣性速度推定部３１にて一時的に保持する。

　また、この出力部３６は、補正速度演算部３４が出力する各部位の補正速度と、補正位置演算部３５が出力する、各部位の補正位置とを出力して、種々の処理（例えば対象者の姿勢（どのようなポーズとなっているか）を推定するなどの処理）に供する。

　さらに出力部３６は、補正速度演算部３４が出力する各部位の補正速度のうち、手の部位の補正速度については、手首の部位の補正速度を用いて、別途演算して求めてもよい。この例では、例えば出力部３６は、手首の部位の補正速度と、手の部位の補正速度とは、手首の速度に対し、手首に対する手の動きの相対速度を加算して得られるものとして、手首の部位の補正速度に、慣性速度推定部３１が出力する手の移動速度を加算し、逆運動学モデル演算部３２が出力する手首の移動速度を差し引くことで、手の移動速度を求めることとしてもよい。

　また、出力部３６は、補正速度演算部３４が出力する手首の部位の補正速度と、慣性速度推定部３１が出力する手の移動速度（さらに逆運動学モデル演算部３２が出力する手首の移動速度が用いられてもよい）を入力として、これらの入力に対する手の移動速度を事前の計測結果に基づいて機械学習した機械学習結果（ニューラルネットワーク等）を用いて手の移動速度を求めてもよい。

　出力部３６はさらに、補正位置演算部３５が出力する各部位の補正位置のうち、手の部位の補正位置について、手首の部位の補正位置を用いて、別途演算して求めてもよい。例えば出力部３６は、手首の部位の補正位置と、手の部位の補正位置とは、手首に対し、手の姿勢情報が表す方向に所定の距離だけ相対移動した位置として得られるものとして、手首の部位の補正位置に、慣性速度推定部３１が出力する手の姿勢情報が表すグローバル座標系内での方向ベクトルに、所定の値（予め平均的な人物の手の大きさとして定めておく）を乗じて加算して、手の位置を求めることとしてもよい。

　また出力部３６は、補正位置演算部３５が出力する手首の部位の補正位置と、慣性速度推定部３１が出力する手の姿勢情報とを入力として、これらの入力に対する手の位置を、事前の計測結果に基づいて機械学習した機械学習結果（ニューラルネットワーク等）を用いて手の位置を求めてもよい。

　このように出力部３６は、手の部位の補正速度や補正位置を手首の部位の補正速度や補正速度を用いて求める場合、部位位置速度推定部３３が用いる人体モデルには必ずしも手のノードが含まれなくてもよい。つまり、部位位置速度推定部３３が必ずしも手のノードの移動速度や位置を推定する必要はない。

［動作］
　本実施の形態は以上の構成を備えており、次のように動作する。本実施の形態の一例では、例えばゲームアプリケーションのプレイヤが対象者となる。このプレイヤは、頭部センサデバイス２０１であるヘッドマウントディスプレイＨＭＤを頭部に装着し、両手にそれぞれコントローラデバイス２０２を把持する。また、その左右の足首には、それぞれ足センサデバイス２０３を装着する。

　またプレイヤは、カメラＣを設置して、当初は自身の全身（あるいは少なくとも上半身）が撮像される状態として、所定のポーズ（例えばＴポーズ）をとる。プレイヤが本発明の実施の形態の情報処理装置１を起動してプレイヤの各部位の姿勢を検出して利用するゲームアプリケーションの実行を開始すると、情報処理装置１の制御部１１は、当初は、プレイヤの頭部と、左右の手、及び足首部の各部位のグローバル座標系での位置及び姿勢（向き）を、カメラＣが撮像した各センサデバイス２０の画像に基づいて推定して得る。

　制御部１１はそして、これらの部位の位置及び姿勢の情報から、プレイヤに対応する人体モデルの首部，胸部，腰部、肩部，肘部，手首部，股関節部，膝部，足首部の各部位に対応するノードの位置及び姿勢を設定する（対応する部位にセンサデバイス２０が装着されていない場合は、その位置及び姿勢を、センサデバイス２０の情報によって設定された部位の位置及び姿勢から推定して求める）。

　また制御部１１は、プレイヤが静止している間に、各センサデバイス２０が出力する姿勢角速度の情報を複数回取得し、それぞれセンサデバイス２０について得られた姿勢角速度の情報の平均を、各センサデバイス２０の角速度バイアスとして求め、記憶部１２等に保持する。

　制御部１１は、角速度バイアスを求めた後、ゲームアプリケーションの処理を進める。以降、プレイヤはゲームアプリケーションのゲームをプレイすることとなる。

　制御部１１は、この後、所定のタイミングごと（例えば時刻Δｔごととする）に、カメラＣが撮像した画像を取得し、当該画像に撮像されているセンサデバイス２０について、そのセンサデバイス２０が装着されたプレイヤの各部位のグローバル座標系での位置及び姿勢（向き）を当該画像に基づいて推定して得る。

　また制御部１１は、各センサデバイス２０から慣性情報（センサの座標系での移動加速度及び姿勢角速度の情報）を得て、次の処理を行う。

　すなわち制御部１１は、センサデバイス２０を順次（あるいは並列的に処理されてもよい）選択して、選択したセンサデバイス２０（説明のため、これを注目センサと呼ぶ）から入力された姿勢角速度の情報から、対応する角速度バイアスとして記憶部１２に格納された値を差し引いて（姿勢角速度はベクトル値であるので対応する各成分をそれぞれ差し引いて）、キャリブレーション後の姿勢角速度の情報を得る。なお制御部１１は、注目センサの装着部位の姿勢情報（前回のタイミングで得られたもの）と、その装着部位での重力方向とを推定し（マッジウィックフィルタの処理）、この推定結果を利用して、注目センサが出力する姿勢角速度の情報（注目センサに固有の座標系で表されている）を、グローバル座標系での情報に変換する。

　以下、制御部１１は、図６に例示するように、このキャリブレーション（及びグローバル座標系に変換した）後の姿勢角速度の情報（ａ）と前回のタイミングで得られた、対応する部位の姿勢情報とを加算して積分し（Ｓ１１）、姿勢情報（姿勢クオータニオンとして表される）を得る。

　また制御部１１は、注目センサが出力する移動加速度（グローバル座標系における値に変換しておく）の情報と、前回のタイミングで得られた、対応する部位の移動速度とを加算して積分し（Ｓ１２）、仮の移動速度の情報（Ｖｐ）を得る。また、この移動速度をさらに、前回のタイミングで得られた、対応する部位の位置の情報に加算して積分し（Ｓ１３）、仮の位置の情報（Ｐｐ）を得る。

　もっとも制御部１１は、過去の複数回の処理（時刻Δｔごとの処理）で得られた、グローバル座標系での注目センサの装着部位の姿勢角速度及び移動加速度の情報を入力とし、各センサデバイス２０が出力するべき移動加速度及び、当該センサデバイス２０の装着部位の移動速度との関係を機械学習した移動速度推定用ニューラルネットワークを用いて、注目センサの装着部位の移動速度の情報を得てもよい。なお、この場合のニューラルネットワークとしては、各センサデバイス２０で共通のもの（各層間の重みも共通のもの）を利用してよい。

　制御部１１は、以上の処理を、各センサデバイス２０について行うことで、各センサデバイス２０の各装着部位のグローバル座標系での位置、移動速度、移動加速度、及び姿勢情報を得る。

　制御部１１は、上記部位のうち、手の部位の位置及び姿勢情報を用いて、手首の位置を推定する（Ｓ１４）。この推定処理については既に述べたので、繰り返しての説明を省略する。また、制御部１１は、過去のタイミングで推定した手首の位置の情報を用いて（その差分により）、手首の速度を求め（Ｓ１５）、さらに過去の複数回のタイミングで推定した手首の速度の情報から（その差分により）、手首の移動加速度を求める（Ｓ１６）。

　制御部１１は、ここで求めた手首の位置、及び、手についての仮の姿勢情報から、手首の姿勢情報を推定する（Ｓ１７）。この推定処理についても既に述べたものである。

　制御部１１は、プレイヤに対応する所定の人体モデルを用いて、予め、運動学的に対象者の姿勢を推定するために必要となる部位として定められた基準部位のノード（ここでも頭部ノードＰ１，胸部ノードＰ３，手首部ノードＰ９，Ｐ１０，及び足首部ノードＰ１５，Ｐ１６であるとする）の位置の情報（仮の位置やステップＳ１４で推定されたもの、あるいは直接的方法で取得できた場合は、当該直接的方法で取得したもの）と、姿勢情報（仮の姿勢情報やステップＳ１７で推定されたもの）と、移動加速度の情報（仮の移動加速度の情報やステップＳ１６で得られたもの）とを設定する。

　そして制御部１１は、予めこれら基準部位のノードの位置、姿勢情報、及び移動加速度の情報と、各ノードの位置及び移動速度との関係を機械学習した機械学習結果（ニューラルネットワーク等）を用いて、上記人体モデルの各部位に対応するノードの位置及び移動速度を推定する（Ｓ１８）。

　制御部１１は、こうして人体モデルの各ノードの位置や移動速度（以下、モデル位置及びモデル移動速度と呼ぶ）の情報を、上記所定のタイミングごと（時刻Δｔごと）に更新する。

　制御部１１は、各部位のモデル位置に対して、ステップＳ１３で得た対応するノード（手首のノードを除く）の位置と、ステップＳ１４で得た手首の位置とを、カルマンフィルタを用いて合成して、各ノードの補正位置とする（Ｓ１９）。また制御部１１は、この補正位置のうち左右の手首の補正位置と、ステップＳ１１で求めた左右の手の姿勢情報とを用いて左右の手の位置をそれぞれ求める（Ｓ２０）。そして制御部１１は、（手の位置を除く）各ノードの補正位置と、ステップＳ２０で求めた手の位置とを出力する（位置の出力）。

　また制御部１１は、各部位のモデル移動速度に対して、ステップＳ１２で得た対応するノード（手首のノードを除く）の移動速度と、ステップＳ１５で得た手首の移動速度とを、カルマンフィルタを用いて合成して、各ノードの補正速度とする（Ｓ２１）。また制御部１１は、この補正速度のうち左右の手首の補正速度と、ステップＳ１２で求めた左右の手の補正速度、及びステップＳ１５で求めた手首の移動速度とを用いて左右の手の移動速度をそれぞれ求める（Ｓ２２）。そして制御部１１は、（手のノードを除く）各ノードの補正速度と、ステップＳ２２で求めた手の移動速度とを出力する（速度の出力）。

　制御部１１は、プレイヤに対応する人体モデルのうち、予め、逆運動学に基づく対象者の姿勢を推定するために必要となる部位として定められた基準部位のノード（ここでも頭部ノードＰ１，胸部ノードＰ３，手首部ノードＰ９，Ｐ１０，及び足首部ノードＰ１５，Ｐ１６であるとする）の位置及び姿勢情報を設定する。

　すなわち制御部１１は、上記基準部位のノードのうち、その位置及び姿勢が、センサデバイス２０をカメラＣが撮像した画像等から直接的に取得できたノードあるいは、当該直接的に取得した情報から推定できたノードについては、当該取得あるいは推定した情報により、その位置及び姿勢情報を設定する。

　また制御部１１は、上記基準部位のノードのうち、その位置及び姿勢情報が、センサデバイス２０をカメラＣが撮像した画像等から直接的に取得できなかった基準部位のノードについては、先の処理により得た各基準部位のノードの補正位置及び姿勢情報により、その位置や姿勢情報を設定して、次のタイミングでの処理に用いる。

　さらに制御部１１は、ここで推定した各部位の位置や移動速度の情報（さらに姿勢情報を含んでもよい）を、ゲームアプリケーションに出力して、その処理に供する。

　本実施の形態ではこのようにしたことで、プレイヤが歩き回ることにより、その足首に装着したセンサデバイス２０がカメラＣの視野外となった場合でも、またプレイヤが手を動かすことによって、その手に把持したセンサデバイス２０がカメラＣの視野外となった場合であっても、各センサデバイス２０が備えるＩＭＵセンサの出力（慣性情報）を用いてプレイヤの各部位のトラッキングが可能となる。

　また、本実施の形態では、移動速度推定用機械学習結果により各センサデバイスの出力する慣性情報を補正しており、ＩＭＵセンサの出力に現れるランダムノイズ等の影響を軽減している。

　なお、本実施の形態のここまでの説明においては、所定の位置に固定したカメラＣを利用して各センサデバイス２０の位置等を検出するものとしたが、本実施の形態はこれに限られず、センサデバイス２０の一部が（ＬＥＤ等のマーカーではなく）カメラを備えて、当該カメラが逐次的に撮像した画像を処理して、その特徴点の位置を追跡する、いわゆるＳＬＡＭ（Simultaneous Localization and Mapping）の処理によってその位置や姿勢等を推定してもよい。

　またセンサデバイス２０のうち、例えば足首に装着する足センサデバイス２０３等についてはマーカーを備えず、ＩＭＵセンサの出力のみによってその位置や姿勢等が推定されてもよい。この場合、当初は、足元の位置を、逆運動学的な方法により推定して求めておく等の処理を行ってもよい。

　さらに、足センサデバイス２０３を用いない場合でも本実施の形態の処理は適用可能である。この場合、情報処理装置１は、頭から手までの各部位の位置等を推定するか、あるいは、足の部位の位置等まで人体モデルを用いて推定する。

　１　情報処理装置、１１　制御部、１２　記憶部、１３　操作制御部、１４　出力制御部、２０　センサデバイス、３１　慣性速度推定部、３２　逆運動学モデル演算部、３３　部位位置速度推定部、３４　補正速度演算部、３５　補正位置演算部３５　出力部、２０１　頭部センサデバイス、２０２　コントローラデバイス、２０３　足センサデバイス、３１１　角速度キャリブレーション部、３１２　姿勢推定部、３１４　重力加速度除去部、３１５　速度推定処理部、２０３１　ベルト、２０３２　本体デバイス。

Claims

　対象者の複数の装着部位に装着され、当該装着部位の移動加速度及び姿勢角速度の情報を少なくとも検出するセンサに接続され、
　前記複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得する取得手段と、
　前記取得した移動加速度及び姿勢角速度の情報に基づいて、前記センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する速度推定手段と、
　予め定められた前記対象者の各部位の位置を、前記推定された各装着部位の移動速度の情報に基づいて推定する位置推定手段と、
　を含み、
　当該推定した前記各部位の位置の情報を、所定の処理に供する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記速度推定手段は、前記座標系内での重力方向を推定し、当該推定された重力方向の情報を用いて、前記各装着部位の移動加速度を補正し、当該補正した移動加速度の情報に基づいて前記センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する情報処理装置。
　請求項１または２に記載の情報処理装置であって、
　前記速度推定手段は、前記移動加速度の情報及び取得した姿勢角速度の情報に基づいて推定される装着部位の前記座標系内での移動加速度及び姿勢角速度の時系列変化の情報を用いて、前記各装着部位の移動速度を推定する情報処理装置。
　請求項１から３のいずれか一項に記載の情報処理装置であって、
　当該推定した前記各部位の位置の情報を、前記所定の処理として、逆運動学モデル演算を用いた対象者の姿勢を推定する処理に供する情報処理装置。
　請求項４に記載の情報処理装置であって、
　前記位置推定手段は、逆運動学モデル演算を利用して推定された対象者の、前記予め定められた各部位の位置及び姿勢情報を取得し、当該取得した情報と、前記推定された各装着部位の移動速度の情報とを合成して前記予め定められた各部位の位置を推定する情報処理装置。
　請求項４または５に記載の情報処理装置であって、
　センサが取り付けられた装着部位の位置を、当該センサの位置が直接的方法により得られている間は、当該直接的に得られた位置の情報を出力する位置検出手段をさらに含み、
　前記位置推定手段は、前記位置検出手段が位置の情報を出力している部位については、当該部位の位置を前記位置検出手段が出力する情報に基づいて定める情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記位置推定手段は、当該取得した情報と、前記推定された各装着部位の移動速度の情報とをそれぞれ所定の重みで合成して前記予め定められた各部位の位置を推定する情報処理装置。
　請求項７に記載の情報処理装置であって、
　前記合成の重みは、装着部位ごとに、当該装着部位の位置が前記位置検出手段により出力されない状態となってからの経過時間により決定する情報処理装置。
　請求項７に記載の情報処理装置であって、
　前記合成の重みは、装着部位ごとに、当該装着部位の移動量、移動速度、移動加速度の少なくともいずれかに基づいて決定する情報処理装置。
　請求項１から９のいずれか一項に記載の情報処理装置であって、
　前記センサが装着される部位には、対象者の手の部位を含み、
　前記位置推定手段は、前記手の部位の姿勢角速度及び移動加速度の情報に基づき、所定の人体モデルを用いた逆運動学モデル演算を利用して手首部の姿勢を推定し、さらに手首部の姿勢に基づいて手首部の位置を推定し、当該推定した手首部の位置の情報に基づいて、手の位置を推定する情報処理装置。
　対象者の複数の装着部位に装着され、当該装着部位の移動加速度の情報を少なくとも検出するセンサに接続される情報処理装置の制御方法であって、
　取得手段が前記複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得し、
　速度推定手段が前記取得した移動加速度及び姿勢角速度の情報に基づいて、前記センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定し、
　位置推定手段が、予め定められた前記対象者の各部位の位置を、前記推定された各装着部位の移動速度の情報に基づいて推定して、
　当該推定した前記各部位の位置の情報を、所定の処理に供する情報処理装置の制御方法。
　対象者の複数の装着部位に装着され、当該装着部位の移動加速度の情報を少なくとも検出するセンサに接続される情報処理装置を、
　前記複数のセンサから各センサが取り付けられた装着部位の移動加速度及び姿勢角速度の情報を少なくとも取得する取得手段と、
　前記取得した移動加速度及び姿勢角速度の情報に基づいて、前記センサの各々が取り付けられた装着部位の所定の座標系内での移動速度を推定する速度推定手段と、
　予め定められた前記対象者の各部位の位置を、前記推定された各装着部位の移動速度の情報に基づいて推定する位置推定手段と、
　として機能させ、
　当該推定した前記各部位の位置の情報を、所定の処理に供させるプログラム。