JP7444646B2 - ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム - Google Patents

Description

本発明は、移動可能であり、かつ、その姿勢が可変である、人、生物、物体等のポーズを推定する技術に関する。

近年、現実の人や物体の動きを記録する技術であるモーションキャプチャーが注目されており、高精度なモーションキャプチャーを実現するために、人のポーズを高精度に推定する技術が求められている。

例えば、非特許文献１には、処理対象とする人（被写体人物）を異なる複数の位置に設置した撮像装置により撮像した映像から取得した被写体人物の３次元データ（当該被写体人物の３次元形状データ）と、当該被写体人物の複数の部位に取り付けた慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）により取得したデータ（ＩＭＵデータ）とを用いて、ニューラルネットワークによる処理を行うことで、被写体人物の３次元ポーズデータを取得する技術の開示がある。

また、非特許文献２には、撮像装置により被写体人物を撮像した映像と、当該被写体人物の複数の部位に取り付けた慣性計測装置により取得したデータ（ＩＭＵデータ）とを融合させたデータを用いて、予測処理を行うことで、当該被写体人物のポーズデータを取得する技術の開示がある。具体的には、非特許文献２には、ＩＭＵデータ（方向データ）から導出した線形方程式と、被写体人物を撮像した映像から取得したシルエット画像から導出した線形方程式とを結合させた線形方程式を用いて、予測処理を行うことで、被写体人物のポーズデータを取得する。

Andrew Gilbert, Matthew Trumble, Charles Malleson, Adrian Hilton, John Collomosse, "Fusing Visual and Inertial Sensors with Semantics for 3D Human Pose Estimation" International Journal of Computer Vision (2019) 127:381-397. Gerard Pons-Moll, Andreas Baak, Thomas Helten, Meinard Mueller, Hans-Peter Seidel, Bodo Rosenhahn, "Multisensor-Fusion for 3D Full-Body Human Motion Capture" Conference Paper in Proceedings/CVPR, IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society Conference on Computer Vision and Pattern Recognition ・ June 2010

しかしながら、上記非特許文献１の技術では、（１）映像から取得した被写体人物の３次元データを入力とするニューラルネットワークと、（２）ＩＭＵデータを入力とするニューラルネットワークとを設け、（３）さらに、上記２つのニューラルネットワークの出力を統合するニューラルネットワークを設けて学習を行う必要がある。つまり、非特許文献１の技術では、学習済みモデルを取得するために、複雑な学習モデルを用いて学習処理を実行する必要があり、学習済みモデルを構築のための負荷が大きい。さらに、非特許文献２の技術では、予測処理において、複雑な構成の学習済みモデルを用いて処理を行うため、例えば、ハードウェアで実現する場合、当該ハードウェアの規模が大きくなり、その結果、非特許文献１の技術を実現するためのコストも高くなる。

上記非特許文献２の技術では、ＩＭＵデータ（方向データ）から導出した線形方程式と、被写体人物を撮像した映像から取得したシルエット画像から導出した線形方程式とを結合させた線形方程式を用いて、予測処理を行うことで、被写体人物のポーズデータを取得する。このため、非特許文献２の技術では、常時、ＩＭＵデータとシルエット画像（被写体人物を撮像した映像より取得される画像データ）とを取得し続ける必要がある。非特許文献２の技術により、高精度のポーズデータを取得する場合、被写体人物を撮像した映像のフレームレートを高くする必要があり、その結果、当該高いフレームレートに対応する短い時間間隔で予測処理を実行する必要がある。つまり、非特許文献２の技術では、高精度のポーズデータを取得する場合、常時、高フレームレートで、ＩＭＵデータとシルエット画像の両方を取得し、両データを用いた予測処理を実行する必要がある。このように、非特許文献２の技術で高精度のポーズデータを取得しようと、高フレームレートで処理できる装置が必要となるため、非特許文献２の技術を実現するためのコストが高くなる。

そこで、本発明は、上記課題に鑑み、低コストで実現でき、かつ、高精度なポーズデータを取得するポーズデータ生成装置、ＣＧデータ生成システム、ポーズデータ生成方法、および、プログラムを実現することを目的とする。

上記課題を解決するために、第１の発明は、画像ベースポーズデータ取得部と、ＩＭＵデータ取得処理部と、補間部と、を備えるポーズデータ生成装置である。

画像ベースポーズデータ取得部は、時間ステップｔ（ｔ：整数）において３次元空間内の被写体を撮像することで取得される画像データから、被写体の姿勢情報を含むデータである画像ベースポーズデータを取得する。

ＩＭＵデータ取得処理部は、被写体に取り付けられた慣性計測装置から出力されるデータであって、被写体に取り付けられた慣性計測装置の３次元空間内での位置データ、変位データ、速度データ、加速度データ、角速度データ、角加速度データの少なくとも１つを含むデータであるＩＭＵデータを取得する。

補間部は、時間ステップｔに取得された画像データの次に画像データが取得されるタイミングを時間ステップｔ＋ｋ（ｋ：自然数）とすると、時間ステップｔよりも後で、かつ、時間ステップｔ＋ｋよりも前の期間である第１期間において、画像ベースポーズデータ取得部により時刻ｔに取得された画像データを用いて取得された画像ベースポーズデータと、第１期間においてＩＭＵデータ取得処理部により取得されたＩＭＵデータとに基づいて補間処理を行うことで、被写体の画像ベースポーズデータの補間データである補間ポーズデータを取得する。

このポーズデータ生成装置では、（１）画像データが撮像されて取得される時間ステップでは、当該画像データに基づいて、画像ベースポーズデータを取得することができ、（２）画像データが取得される時間ステップ間の期間（画像データが取得されない期間）では、ＩＭＵデータを用いて前時間ステップから現時間ステップのポーズデータを予測して補間する処理により、ポーズデータを取得することができる。したがって、このポーズデータ生成装置では、画像データ（例えば、フレーム画像）の取得レート（フレームレート）が低い場合であっても、ＩＭＵデータを用いた上記補間処理により、高フレームレートのポーズデータを取得することができる。つまり、このポーズデータ生成装置では、高フレームレートの撮像装置を用いる必要がないので、低コストで実現でき、かつ、ＩＭＵデータを用いた補間処理によりポーズデータを取得できるので、高精度なポーズデータを取得することができる。

なお、「画像データ」は、１または複数の画像データであってもよい。

また、「画像データ」は、空間的に異なる位置から撮像された１または複数の画像であってもよく、あるいは、時間的に異なる１または複数の画像（例えば、時系列に連続する複数のフレーム画像）であってもよい。

また、「ポーズデータ」とは、ポーズを特定するためのデータである。そして、「ポーズ」とは、姿勢を含む概念であり、ポーズは、人のポーズに限定されることはなく、あらゆる物体の姿勢制御対象となりうるものを含む概念である。ポーズは、例えば、行列（回転行列）、クォータニオン（ｑｕａｔａｒｎｉｏｎ）、あるいは、オイラー角を用いて、特定、変更、および／または、調整することが可能である。

また、「被写体」は、移動可能であり、かつ、その姿勢が可変である、人、生物、物体等を含む概念である。

第２の発明は、第１の発明であって、画像ベースポーズデータ取得部は、画像データから、３次元データである画像ベースポーズデータを取得する。

これにより、このポーズデータ生成装置では、３次元データである画像ベースポーズデータを用いて処理を行うことができる。

第３の発明は、第１の発明であって、画像ベースポーズデータ取得部は、画像データから、２次元データである画像ベースポーズデータを取得する。

そして、ＩＭＵデータは、３次元データある。

ＩＭＵデータ取得処理部は、３次元データであるＩＭＵデータに対して、３次元－２次元変換処理を実行することで、２次元データであるＩＭＵデータを取得する。

これにより、このポーズデータ生成装置では、画像データから取得した２次元の画像ベースポーズデータと、２次元データであるＩＭＵデータとを用いて処理を行うことができる。

第４の発明は、第１の発明であって、誤差取得部と、２Ｄ／３Ｄ変換部と、をさらに備える。

画像ベースポーズデータ取得部は、画像データから、２次元データである画像ベースポーズデータを取得する。

ＩＭＵデータは、３次元データある。

補間ポーズデータは、３次元データである。

誤差取得部は、３次元データである補間ポーズデータを２次元に変換したデータである２次元補間ポーズデータと、前記画像ベースポーズデータとの誤差を含むデータである２次元誤差データを取得する。

２Ｄ／３Ｄ変換部は、２次元誤差データを３次元に変換することで、３次元誤差データを取得する。

そして、補間部は、補間ポーズデータに対して、３次元誤差データに基づく誤差を修正する処理を行うことで、誤差修正処理後の補間ポーズデータを取得する。

これにより、このポーズデータ生成装置では、３次元誤差データに基づく誤差を修正する処理により取得した補間ポーズデータにより処理ができるため、さらに高精度なポーズデータ生成処理を行うことができる。

第５の発明は、第１から第４のいずれかの発明であって、画像ベースポーズデータ取得部は、ポーズデータ生成装置により生成されるポーズデータのフレームレートをＲ_１ｆｐｓ（Ｒ_１：実数、ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）とすると、０．５×Ｒ_１ｆｐｓ以下のフレームレートで取得される画像データから画像ベースポーズデータを取得する。

これにより、このポーズデータ生成装置では、低レートで取得される画像データを用いて、高レートの画像ベースポーズデータを取得することができる。例えば、画像ベースポーズデータ取得部が１０ｆｐｓ（≦０．５×３０ｆｐｓ）のフレームレートで取得される画像データから画像ベースポーズデータを取得し、画像データが取得される時間ステップ間の期間において、２つのポーズデータを補間処理により取得する場合、このポーズデータ生成装置で取得（生成）されるポーズデータのフレームレートは、３０ｆｐｓ（＝１０ｆｐｓ×３）となる。したがって、このポーズデータ生成装置では、低レートの画像データを用いて、高レートのポーズデータを取得することができる。

第６の発明は、第１から第３のいずれかの発明であって、補間部は、画像データが取得される時間ステップにおいて、画像データから取得された画像ベースポーズデータと、補間処理により取得された補間ポーズデータとを比較する。そして、補間部は、
（１）画像データから取得された画像ベースポーズデータと、補間処理により取得された補間ポーズデータとの差が所定の閾値よりも大きい場合、画像データから取得された画像ベースポーズデータをポーズデータ生成装置からの出力データとし、
（２）画像データから取得された画像ベースポーズデータと、補間処理により取得された補間ポーズデータとの差が所定の閾値以下である場合、補間処理により取得された補間ポーズデータをポーズデータ生成装置からの出力データとする。

これにより、このポーズデータ生成装置では、画像データが取得される時間ステップにおいて、画像データから取得された画像ベースポーズデータと、補間処理により取得された補間ポーズデータとの精度差を検証することができる。つまり、このポーズデータ生成装置では、画像データが取得される時間ステップにおいて、補間処理の精度を検証することができる。そして、このポーズデータ生成装置では、補間処理の精度が悪いと判断した場合、画像データから取得された画像ベースポーズデータを出力データとすることができるので、このポーズデータ生成装置により取得されるポーズデータの精度を常に一定レベル以上に維持することができる。

第７の発明は、第１から第６のいずれかの発明であって、補間部は、時系列フィルタを用いた処理を実行することで補間処理を実行する。

これにより、このポーズデータ生成装置では、時系列フィルタを用いて、補間処理を実行できるため、例えば、運動方程式等で処理対象（例えば、人）の動作（または人の特定部位の移動）が表現（予測）できる場合、当該運動方程式等により予測したデータと、実際の観測データ（ＩＭＵデータから特定されるデータ）とを用いて、時系列フィルタ（例えば、カルマンフィルタ、拡張カルマンフィルタ、アンセンテッドカルマンフィルタ、パーティクルフィルタ等）を適用して、ポーズデータの補間処理を実行することができる。

第８の発明は、第３の発明であるポーズデータ生成装置と、３次元ＣＧデータから２次元ＣＧデータを生成するとともに、２次元のポーズデータから２次元ＣＧデータを生成するＣＧデータ生成部と、を備えるＣＧデータ生成システムである。

ＣＧデータ生成部は、ＩＭＵデータ取得処理部が２次元データであるＩＭＵデータを取得するための３次元―２次元変換処理に用いた変換パラメータに基づいて、３次元ＣＧデータを２次元ＣＧデータに変換する処理を実行することで、２次元合成用ＣＧデータを取得し、取得した２次元合成用ＣＧデータを２次元のポーズデータから生成された２次元ＣＧデータを合成することで、出力用ＣＧデータを取得する。

このＣＧデータ生成システムでは、ポーズデータ生成装置により取得される２次元のポーズデータをＣＧ合成することで、２次元のポーズデータに対応する２次元ＣＧ画像を取得することができる。

なお、このＣＧデータシステムにおいて、３次元のＩＭＵデータを２次元のＩＭＵデータに変換したときの３次元―２次元変換処理のパラメータを、３次元ＣＧデータを２次元ＣＧデータに変換するときの３次元―２次元変換処理のパラメータと一致させるようにしてもよい。このようにすることで、３次元―２次元変換処理を共通にすることができ、３次元―２次元変換処理を簡易化することが可能となる。

第９の発明は、第４の発明であるポーズデータ生成装置と、３次元ＣＧデータ生成部と、２次元ＣＧデータ生成部と、を備えるＣＧデータ生成システムである。

３次元ＣＧデータ生成部は、３次元のポーズデータに基づいて、ＣＧ処理を行うことで、３次元ＣＧデータを生成する。

２次元ＣＧデータ生成部は、３次元ＣＧデータ生成部により生成された３次元ＣＧデータを２次元に変換する３Ｄ／２Ｄ変換処理を実行することで、２次元ＣＧデータを取得する。

そして、誤差取得部は、２次元ＣＧデータ生成部により取得される２次元ＣＧデータに対応する２次元ポーズデータを２次元補間ポーズデータとして、当該２次元補間ポーズデータと、画像ベースポーズデータとの誤差を含むデータである２次元誤差データを取得する。

これにより、このＣＧデータ生成システムでは、３次元誤差データに基づく誤差を修正する処理により取得した補間ポーズデータにより処理ができるため、さらに高精度なポーズデータ生成処理、および、ＣＧデータ生成処理を行うことができる。

第１０の発明は、画像ベースポーズデータ取得ステップと、ＩＭＵデータ取得処理ステップと、補間ステップと、を備えるポーズデータ生成方法である。

画像ベースポーズデータ取得ステップは、時間ステップｔ（ｔ：整数）において３次元空間内の被写体を撮像することで取得される画像データから、被写体の姿勢情報を含むデータである画像ベースポーズデータを取得する。

ＩＭＵデータ取得処理ステップは、被写体に取り付けられた慣性計測装置から出力されるデータであって、被写体に取り付けられた慣性計測装置の３次元空間内での位置データ、変位データ、速度データ、加速度データ、角速度データ、角加速度データの少なくとも１つを含むデータであるＩＭＵデータを取得する。

補間ステップは、時間ステップｔに取得された画像データの次に画像データが取得されるタイミングを時間ステップｔ＋ｋ（ｋ：自然数）とすると、時間ステップｔよりも後で、かつ、時間ステップｔ＋ｋよりも前の期間である第１期間において、画像ベースポーズデータ取得ステップにより時刻ｔに取得された画像データを用いて取得された画像ベースポーズデータと、第１期間においてＩＭＵデータ取得処理ステップにより取得されたＩＭＵデータとを用いて補間処理を行うことで、被写体のポーズデータの補間データである補間ポーズデータを取得する。

これにより、第１の発明と同様の効果を奏するポーズデータ生成方法を実現することができる。

第１１の発明は、第１０の発明であるポーズデータ生成方法をコンピュータに実行させるためのプログラムである。

これにより、第１の発明と同様の効果を奏するポーズデータ生成方法をコンピュータに実行させるためのプログラムを実現することができる。

本発明によれば、低コストで実現でき、かつ、高精度なポーズデータを取得するポーズデータ生成装置、ＣＧデータ生成システム、ポーズデータ生成方法、および、プログラムを実現することができる。

第１実施形態に係るポーズデータ生成システム１０００の概略構成図。 第１実施形態に係る画像ベースポーズデータ取得部１の概略構成図。 キーポイントデータを説明するための図。 撮像装置Ｃａｍ１により第Ｎフレーム画像を撮像した時間ステップｔ、および、撮像装置Ｃａｍ１により第Ｎ＋１フレーム画像を撮像した時間ステップｔ＋４における被写体人物Ｓｕｂ１の姿勢を模式的に示した図。 被写体人物Ｓｕｂ１に取り付けた慣性計測装置ＩＭＵｋの位置を示す図。 ポーズデータ生成システム１０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム１０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム１０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム１０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム１０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム１０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム１０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム１０００で実行される処理のシーケンス図。 ポーズデータ生成システム１０００で実行される処理のシーケンス図。 第２実施形態に係るポーズデータ生成システム２０００の概略構成図。 第２実施形態に係る画像ベースポーズデータ取得部１Ａの概略構成図。 ポーズデータ生成システム２０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム２０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム２０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム２０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図。 ポーズデータ生成システム２０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム２０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム２０００で実行される判定選択処理を説明するための図。 ポーズデータ生成システム２０００で実行される処理のシーケンス図。 ポーズデータ生成システム２０００で実行される処理のシーケンス図。 第３実施形態に係るＣＧデータ生成システム３０００の概略構成図。 第４実施形態に係るＣＧデータ生成システム４０００の概略構成図。 ＣＧデータ生成システム４０００で実行される処理のシーケンス図。 ＣＧデータ生成システム４０００で実行される処理のシーケンス図。 ＣＰＵバス構成を示す図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：ポーズデータ生成システムの構成＞
図１は、第１実施形態に係るポーズデータ生成システム１０００の概略構成図である。

図２は、第１実施形態に係る画像ベースポーズデータ取得部１の概略構成図である。

ポーズデータ生成システム１０００は、図１に示すように、被写体人物Ｓｕｂ１を撮影するための撮像装置Ｃａｍ１と、被写体人物Ｓｕｂ１に取り付けたｎ個（ｎ：自然数）の慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎと、ポーズデータ生成装置１００とを備える。

撮像装置Ｃａｍ１は、被写体光を集光する光学系（例えば、複数のレンズにより構成される光学系）と、光学系により集光された光を光電効果により電気信号に変換する撮像素子とを備える。撮像装置Ｃａｍ１は、動画撮影が可能であり、例えば、被写体人物Ｓｕｂ１を撮影することで、動画像を構成する、時系列に連続したフレーム画像（２次元画像）を取得する。撮像装置Ｃａｍ１は、例えば、被写体人物Ｓｕｂ１を撮影することで取得したフレーム画像データ（２次元画像データ）をデータＤ＿ｉｍｇとして画像ベースポーズデータ取得部１に出力する。

慣性計測装置ＩＭＵ_１は、例えば、加速度計測器、ジャイロスコープ、磁気センサ、気圧センサ等を搭載しており、慣性計測装置を取り付けた物体の角度（姿勢）、角速度、位置データ、変位データ、速度データ等を取得する装置である。なお、慣性計測装置ＩＭＵ_２～ＩＭＵ_ｎは、慣性計測装置ＩＭＵ_１と同様の構成、機能を有している。

慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎは、被写体人物Ｓｕｂ１のそれぞれ異なる位置に取り付けられている。慣性計測装置ＩＭＵ_ｋは（ｋ：自然数、１≦ｋ≦ｎ）、取り付けられた位置における、被写体人物Ｓｕｂ１の角度（姿勢）、角速度、位置データ、変位データ、速度データの少なくとも１つを含むデータをＩＭＵデータとして取得する。そして、慣性計測装置ＩＭＵ_ｋは、取得したＩＭＵデータをデータＤ０_ｋとして、ＩＭＵデータ取得部２に出力する。なお、慣性計測装置ＩＭＵ_ｋは、ポーズデータ生成装置１００と、有線または無線により、データ通信を行うことができる機能を有している。

ポーズデータ生成装置１００は、画像ベースポーズデータ取得部１と、ＩＭＵデータ取得部２（ＩＭＵデータ取得処理部）と、補間部３とを備える。

画像ベースポーズデータ取得部１は、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇと、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍ（例えば、撮像装置Ｃａｍ１の設置位置、撮像装置Ｃａｍ１のレンズ光学系の光軸についての情報（光軸の方向等）、画角、絞り、焦点距離、シャッタースピード等）とを入力する。撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅは、予め、ポーズデータ生成装置１００の記憶部（不図示）に記憶されているものであってもよいし、また、例えば、ユーザにより、ポーズデータ生成装置１００のユーザーインターフェース（不図示）を介して入力されるものであってもよい。撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅは、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）を特定するための情報を含むものであり、撮像空間において、所定の座標系を設定する場合に、当該情報が用いられる。例えば、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅは、フレーム画像データ（２次元画像データ）Ｄ＿ｉｍｇから取得されたポーズデータ（画像ベースポーズデータ）と、記憶部に記憶保持されている所定のポーズデータとを比較することで設定できる。撮像装置Ｃａｍ１の撮影パラメータは、予め、ポーズデータ生成装置１００の記憶部（不図示）に記憶されているものであってもよいし、また、例えば、ユーザにより、ポーズデータ生成装置１００のユーザーインターフェース（不図示）を介して入力されるものであってもよい。

画像ベースポーズデータ取得部１は、時系列に連続して入力されるフレーム画像データＤ＿ｉｍｇを用いて、ポーズデータ取得処理を実行することで、被写体人物Ｓｕｂ１のポーズデータ（画像ベースポーズデータ）を取得する。そして、画像ベースポーズデータ取得部１は、取得した画像ベースポーズデータをデータＤ１＿ｐｏｓｅ＿３Ｄとして、補間部３に出力する。

画像ベースポーズデータ取得部１は、例えば、図２に示すように、２Ｄキーポイントデータ取得部１１と、３Ｄポーズデータ取得部１２とを備える。

２Ｄキーポイントデータ取得部１１は、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇを入力する。２Ｄキーポイントデータ取得部１１は、入力されたフレーム画像データＤ＿ｉｍｇから、被写体人物Ｓｕｂ１の所定の部位の位置を示すキーポイントデータを取得する。具体的には、２Ｄキーポイントデータ取得部１１は、（１）フレーム画像データＤ＿ｉｍｇにより形成されるフレーム画像上において、被写体人物Ｓｕｂ１に相当する画像領域を抽出し、（２）画像ベースポーズデータ取得部１に入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、被写体人物Ｓｕｂ１の所定の部位の上記フレーム画像上の位置（２次元画像上の位置）を特定する。これにより、２Ｄキーポイントデータ取得部１１は、キーポイントデータを取得する（トップダウン型姿勢推定方式によるキーポイントデータの取得処理）。キーポイントデータは、例えば、被写体人物Ｓｕｂ１の所定の部位の位置（複数の位置）の２次元画像上の座標の情報を含むデータである。

なお、２Ｄキーポイントデータ取得部１１は、上記の処理（トップダウン型姿勢推定方式によるキーポイントデータの取得処理）の代わりに、ボトムアップ型姿勢推定方式によるキーポイントデータの取得処理を行い、キーポイントデータを取得してもよい。具体的には、２Ｄキーポイントデータ取得部１１は、先に姿勢推定の鍵となるキーポイントを抽出し、その後、キーポイントを人物ごとにマッチングさせる。そして、マッチングしたキーポイントのみを残し、当該キーポイントを被写体人物Ｓｕｂ１のキーポイントに設定する。２Ｄキーポイントデータ取得部１１は、上記のように設定したキーポイントについて、キーポイントデータを取得する（ボトムアップ型姿勢推定方式によるキーポイントデータの取得処理）。

そして、２Ｄキーポイントデータ取得部１１は、取得したキーポイントデータをデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓとして３Ｄポーズデータ取得部１２に出力する。

３Ｄポーズデータ取得部１２は、２Ｄキーポイントデータ取得部１１から出力されるキーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓを入力する。３Ｄポーズデータ取得部１２は、画像ベースポーズデータ取得部１に入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓから、３次元のポーズデータを取得する。具体的には、３Ｄポーズデータ取得部１２は、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元座標データ）が示すフレーム画像（２次元画像）上の点に対応する、ポーズデータ生成装置１００において設定される３次元空間の座標系における位置（座標位置）を推定し、推定した当該位置の３次元の座標情報を取得する。そして、３Ｄポーズデータ取得部１２は、上記により推定したキーポイントデータに対応する、上記３次元空間内の点（複数の点）の３次元座標データを含むデータを、３次元のポーズデータＤ１＿ｐｏｓｅ＿３Ｄとして取得する。そして、３Ｄポーズデータ取得部１２は、取得した３次元のポーズデータ（３次元の画像ベースポーズデータ）Ｄ１＿ｐｏｓｅ＿３Ｄを補間部３に出力する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎからそれぞれ出力されるデータＤ０_１～Ｄ０_ｎを入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕとして取得し、取得したデータＤ１＿ｉｍｕを補間部３に出力する。

補間部３は、画像ベースポーズデータ取得部１から出力されるデータＤ１＿ｐｏｓｅ＿３Ｄと、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕとを入力する。また、補間部３は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。
（１）補間部３は、フレーム画像データが取得された時間ステップにおいて画像ベースポーズデータ取得部１から最初にポーズデータＤ１＿ｐｏｓｅ＿３Ｄが入力された場合、当該入力されたポーズデータＤ１＿ｐｏｓｅ＿３Ｄを出力データＤｏｕｔ（３次元ポーズデータＤｏｕｔ）として出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（２）補間部３は、フレーム画像データが取得されていない時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３が記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ１＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータを取得する。そして、補間部３は、取得した補間処理後のポーズデータを出力データＤｏｕｔとして出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（３）補間部３は、フレーム画像データが取得された時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３が記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ１＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータを取得する。また、補間部３は、入力されたポーズデータＤ１＿ｐｏｓｅ＿３Ｄ（フレーム画像データから取得したポーズデータ）と、上記補間処理後のポーズデータとを比較し、当該比較の結果に従って、入力されたポーズデータＤ１＿ｐｏｓｅ＿３Ｄ（フレーム画像データから取得したポーズデータ）、および、上記補間処理後のポーズデータのいずれかを選択する。そして、補間部３は、選択したポーズデータを出力データＤｏｕｔとして出力するとともに、当該出力データＤｏｕｔを記憶保持する。

＜１．２：ポーズデータ生成システムの動作＞
以上のように構成されたポーズデータ生成システム１０００の動作について、以下、説明する。

図３は、キーポイントデータを説明するための図である。

図４は、撮像装置Ｃａｍ１により第Ｎフレーム画像を撮像した時間ステップ（時刻）（この時間ステップを時間ステップｔとする）、および、撮像装置Ｃａｍ１により第Ｎ＋１フレーム画像を撮像した時間ステップ（この時間ステップを時間ステップｔ＋４とする）における被写体人物Ｓｕｂ１の姿勢を模式的に示した図である。

以下では、説明便宜のために、被写体人物Ｓｕｂ１が図４に示す動作を行った場合におけるポーズデータ生成システム１０００の動作について説明する。なお、図４に示すように、被写体人物Ｓｕｂ１は、第Ｎフレーム画像が取得された時間ステップｔにおいて、直立した姿勢（状態）であり、時間ステップｔから時間ステップｔ＋４の期間において、図４に示す矢印Ｄｉｒ１の方向に、左手を動かすものとする。そして、この場合についてのポーズデータ生成システム１０００の動作について、以下説明する。

また、図４に示すように、原点ｏ、ｘ軸、ｙ軸、ｚ軸を設定した３次元の座標系を設定する。そして、この３次元座標系により規定される３次元空間を撮像空間（撮像装置Ｃａｍ１により撮像する対象の空間（図４の場合、空間ＳＰ１））に設定する。

図５は、被写体人物Ｓｕｂ１に取り付けた慣性計測装置ＩＭＵ_ｋの位置を示す図である。なお、説明便宜のため、被写体人物Ｓｕｂ１に３つの慣性計測装置ＩＭＵ_１～ＩＭＵ_３が取り付けられているものとし、慣性計測装置ＩＭＵ_１は、被写体人物Ｓｕｂ１の頭部に取り付けられており、慣性計測装置ＩＭＵ_２は、被写体人物Ｓｕｂ１の右手首部分に取り付けられており、慣性計測装置ＩＭＵ_３は、被写体人物Ｓｕｂ１の左手首部分に取り付けられているものとする。

図６～図９は、ポーズデータ生成システム１０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図である。

図１０～図１２は、ポーズデータ生成システム１０００で実行される判定選択処理を説明するための図である。

図１３～図１４は、ポーズデータ生成システム１０００で実行される処理のシーケンス図である。図１３、図１４において、「ＰｏｓｅＤａｔａ１」で示した欄は、フレーム画像データから取得したポーズデータを示しており、「ＰｏｓｅＤａｔａ２」で示した欄は、補間処理により取得したポーズデータを示している。

以下では、図面を参照しながら、ポーズデータ生成システム１０００の動作について、説明する。

なお、撮像空間は、図４に示すように、３次元空間ＳＰ１に設定されており、図４に示すように、３次元座標系（原点ｏ、ｘ軸、ｙ軸、ｚ軸）が設定されているものとし、被写体人物Ｓｕｂ１を追跡対象とする。

また、一例として、ポーズデータ生成システム１０００において、４時間ステップ間隔で、フレーム画像が取得され、フレーム画像が取得されていない期間において、３つのポーズデータを補間処理により生成する場合について、以下説明する。

≪時間ステップｔの処理≫
時間ステップｔにおいて、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ）を取得する。なお、時間ステップｔに取得されたフレーム画像データをＤ＿ｉｍｇ（ｔ）と表記する。フレーム画像データＤ＿ｉｍｇ（ｔ）により形成される画像（フレーム画像）は、図２の上左図に示す画像Ｉｍｇ１である。

画像ベースポーズデータ取得部１は、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ）を入力し、当該フレーム画像データＤ＿ｉｍｇ（ｔ）から、３次元ポーズデータ（３次元の画像ベースポーズデータ）を取得する処理を実行する。具体的には、以下の処理が実行される。

画像ベースポーズデータ取得部１の２Ｄキーポイントデータ取得部１１は、（１）フレーム画像データＤ＿ｉｍｇ（ｔ）により形成されるフレーム画像（画像Ｉｍｇ１）上において、被写体人物Ｓｕｂ１に相当する画像領域を抽出し、（２）画像ベースポーズデータ取得部１に入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、被写体人物Ｓｕｂ１の所定の部位の上記フレーム画像上の位置（２次元画像上の位置）を特定する。なお、ここでは、「所定の部位」は、（１）人の頭部および脊椎に含まれる所定の位置（図３のキーポイントｋｐ_１～ｋｐ_４に対応）、（２）人の左右の腕に含まれる所定の位置（図３のキーポイントｋｐ_５～ｋｐ_７、ｋｐ_１４～ｋｐ_１６に対応）、（３）人の左右の脚部に含まれる所定の位置（図３のキーポイントｋｐ_８～ｋｐ_１０、ｋｐ_１１～ｋｐ_１３に対応）であるものとする。そして、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓにより特定されるキーポイントは、図３に示すように、１６個の点ｋｐ_１～ｋｐ_１６に対応するものとする。

なお、ポーズデータ生成システム１０００では、追跡対象を人としており（標準的な人間の大きさが既知であり）、３次元空間内の撮像装置Ｃａｍ１の設置位置、カメラ光軸の向き、焦点距離、画角が既知であるので、撮像装置Ｃａｍ１により取得されたフレーム画像から、被写体人物Ｓｕｂ１に相当する画像領域を抽出することができ、かつ、被写体人物Ｓｕｂ１の特定の部位のフレーム画像上の位置を特定することができる。

そして、２Ｄキーポイントデータ取得部１１は、上記処理により取得したキーポイントデータをデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓとして３Ｄポーズデータ取得部１２に出力する。

３Ｄポーズデータ取得部１２は、画像ベースポーズデータ取得部１に入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓから、３次元のポーズデータを取得する。具体的には、３Ｄポーズデータ取得部１２は、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元座標データ）が示すフレーム画像（２次元画像）上の点に対応する、ポーズデータ生成装置１００において設定される３次元空間ＳＰ１の座標系における位置（座標位置）を推定し、推定した当該位置の３次元の座標情報を取得する。

なお、ポーズデータ生成システム１０００では、追跡対象を人としており（標準的な人間の大きさが既知であり）、３次元空間内の撮像装置Ｃａｍ１の設置位置、カメラ光軸の向き、焦点距離、画角が既知であり、さらに、撮像空間とした３次元空間ＳＰ１を特定する情報が既知であるので、被写体人物Ｓｕｂ１の特定の部位のフレーム画像上の位置から、当該部位の３次元空間ＳＰ１（撮像空間ＳＰ１）内の座標位置を推定することができる。つまり、ポーズデータ生成システム１０００では、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの３次元空間ＳＰ１内の座標情報（３次元座標データ）を推定することができる。

なお、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの３次元空間ＳＰ１内の座標情報（３次元座標データ）を推定する処理（推定処理）は、２次元座標空間を３次元座標空間に変換する算出処理を利用するものであってもよく、また、ニューラルネットワークによる処理を利用するものであってもよい。上記推定処理としてニューラルネットワークによる処理を利用する場合、例えば、以下のように処理を行う。つまり、人を撮影した２次元画像（フレーム画像）から取得した当該人のキーポイントデータを入力とし、当該キーポイントデータの各キーポイントの３次元空間内の座標データ（３次元座標データ）を出力データの教師データとして、ニューラルネットワークモデルの学習処理を行う。そして、当該学習処理により、人を撮影した２次元画像（フレーム画像）から取得した当該人のキーポイントデータを入力とし、当該キーポイントデータの各キーポイントの３次元空間内の座標データ（３次元座標データ）の予測データを出力する学習済みモデルを取得する。そして、当該学習済みモデルを用いて処理を行うことで、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの３次元空間ＳＰ１内の座標情報（３次元座標データ）を推定する処理（推定処理）を実現できる。

３Ｄポーズデータ取得部１２は、上記処理により取得した各キーポイントの３次元空間内の座標データ（３次元座標データ）を含むデータを、データＤ１＿ｐｏｓｅ＿３Ｄ（時間ステップｔに取得されるデータＤ１＿ｐｏｓｅ＿３ＤをＤ１＿ｐｏｓｅ＿３Ｄ（ｔ）と表記する）として、補間部３に出力する。

なお、図２の上右図に示すように、データＤ１＿ｐｏｓｅ＿３Ｄ（３Ｄポーズデータ）を、各キーポイントの３次元空間内の座標データ（３次元座標データ）で特定される点を線で接続した図により示す。また、時間ステップｔにおいて、画像ベースポーズデータ取得部１により取得された３ＤポーズデータＤ１＿ｐｏｓｅ＿３ＤをＶ＿３ｄ^（ｔ）と表記する。

時間ステップｔにおいて、補間部３は、画像ベースポーズデータ取得部１から出力されるデータＤ１＿ｐｏｓｅ＿３Ｄ（＝Ｖ＿３ｄ^（ｔ））を入力し、当該入力データを、そのまま出力データＤｏｕｔとして出力する（図６の時間ステップｔの図、図１３の時間ステップｔの処理を参照）。また、補間部３は、出力データＤｏｕｔを時間ステップｔの３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）（＝Ｖ＿３ｄ^（ｔ））として、記憶保持する。なお、時間ステップｔにおいて、補間部３から出力されるデータをデータＰｏｓｅ＿３ｄ^（ｔ）と表記する。

また、補間部３は、３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）を用いて、時間ステップｔにおける慣性計測装置ＩＭＵ_ｋ（ｋ：自然数、１≦ｋ≦３）の３次元空間ＳＰ１内の位置（座標位置）を特定（推定）する。慣性計測装置ＩＭＵ_ｋの取り付け位置は既知であるので、慣性計測装置ＩＭＵ_ｋの取り付け位置に相当する３次元空間ＳＰ１内の位置を、３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）に基づいて、特定（推定）する。例えば、図５の右図に示すように、慣性計測装置ＩＭＵ_１は、被写体人物Ｓｕｂ１の左リスト部分に取り付けられているので、３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）を参照して、被写体人物Ｓｕｂ１の左リスト部分に対応する位置（３次元空間ＳＰ１内の座標位置）（図５の右図のＰ_１ ^（ｔ）で示した位置）を特定できる。したがって、補間部３は、この位置の３次元空間ＳＰ１内の座標位置のデータをＰ_１ ^（ｔ）として特定し、当該データを記憶保持する。なお、Ｐ_１ ^（ｔ）は、
Ｐ^Ｔ _１ ^（ｔ）＝［ｘ_１ ^（ｔ），ｙ_１ ^（ｔ），ｚ_１ ^（ｔ）］
ｘ_１ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_１のｘ座標
ｙ_１ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_１のｙ座標
ｚ_１ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_１のｚ座標
Ｐ^Ｔ _１ ^（ｔ）：Ｐ_１ ^（ｔ）転置行列
である。

同様に、慣性計測装置ＩＭＵ_２は、被写体人物Ｓｕｂ１の右リスト部分に取り付けられているので、３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）を参照して、被写体人物Ｓｕｂ１の右リスト部分に対応する位置（３次元空間ＳＰ１内の座標位置）（図５の右図のＰ_２ ^（ｔ）で示した位置）を特定できる。したがって、補間部３は、この位置の３次元空間ＳＰ１内の座標位置のデータをＰ_２ ^（ｔ）として特定し、当該データを記憶保持する。なお、Ｐ_２ ^（ｔ）は、
Ｐ^Ｔ _２ ^（ｔ）＝［ｘ_２ ^（ｔ），ｙ_２ ^（ｔ），ｚ_２ ^（ｔ）］
ｘ_２ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_２のｘ座標
ｙ_２ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_２のｙ座標
ｚ_２ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_２のｚ座標
Ｐ^Ｔ _２ ^（ｔ）：Ｐ_２ ^（ｔ）転置行列
である。

同様に、慣性計測装置ＩＭＵ_３は、被写体人物Ｓｕｂ１の頭部に取り付けられているので、３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）を参照して、被写体人物Ｓｕｂ１の頭部に対応する位置（３次元空間ＳＰ１内の座標位置）（図５の右図のＰ_３ ^（ｔ）で示した位置）を特定できる。したがって、補間部３は、この位置の３次元空間ＳＰ１内の座標位置のデータをＰ_３ ^（ｔ）として特定し、当該データを記憶保持する。なお、Ｐ_３ ^（ｔ）は、
Ｐ^Ｔ _３ ^（ｔ）＝［ｘ_３ ^（ｔ），ｙ_３ ^（ｔ），ｚ_３ ^（ｔ）］
ｘ_３ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_３のｘ座標
ｙ_３ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_３のｙ座標
ｚ_３ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_３のｚ座標
Ｐ^Ｔ _３ ^（ｔ）：Ｐ_３ ^（ｔ）転置行列
である。

≪時間ステップｔ＋１の処理≫
時間ステップｔ＋１において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）を取得し、取得したＩＭＵデータをポーズデータ生成装置１００のＩＭＵデータ取得部２に送信する。なお、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、角速度のデータを取得するものとして、以下説明する。また、慣性計測装置ＩＭＵ_１が時間ステップｔにおいて取得するＩＭＵデータをＤ０_ｋ（ｔ）と表記する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（時間ステップｔ＋１に取得されるデータＤ１＿ｉｍｕをＤ１＿ｉｍｕ（ｔ＋１）と表記する）として取得し、取得したデータＤ１＿ｉｍｕ（＝Ｄ１＿ｉｍｕ（ｔ＋１））を補間部３に出力する。

補間部３は、（１）時間ステップｔ＋１において取得したＩＭＵデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）と、（２）記憶保持している、時間ステップｔの慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^（ｔ）～Ｐ_３ ^（ｔ）とを用いて、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を取得する。具体的には、補間部３は、下記数式に相当する処理を実行することで、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を取得する。

（ｋ：自然数、１≦ｋ≦３）
Δ_ｋ ^{（ｔ＋１）}＝Ｏ_ｋ ^{（ｔ＋１）}×Δｔ
Ｏ^Ｔ _ｋ ^{（ｔ＋１）}＝［ωｘ_ｋ ^{（ｔ＋１）}，ωｙ_ｋ ^{（ｔ＋１）}，ωｚ_ｋ ^{（ｔ＋１）}］
Δｔ：時間ステップｔと時間ステップｔ＋１と時間間隔
Ｏ^Ｔ _ｋ ^{（ｔ＋１）}：Ｏ_ｋ ^{（ｔ＋１）}の転置行列
なお、ωｘ_ｋ ^{（ｔ＋１）}は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度のｘ成分データであり、ωｙ_ｋ ^{（ｔ＋１）}は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度のｙ成分データであり、ωｚ_ｋ ^{（ｔ＋１）}は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度のｚ成分データである。

補間部３は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度の各成分に、時間ステップｔから時間ステップｔ＋１までの経過時間Δｔを乗算することで、各成分（ｘ、ｙ、ｚ成分）の変位量を取得（推定）する。すなわち、補間部３は、
Δｘ_ｋ ^{（ｔ＋１）}＝ωｘ_ｋ ^{（ｔ＋１）}×Δｔ
Δｙ_ｋ ^{（ｔ＋１）}＝ωｙ_ｋ ^{（ｔ＋１）}×Δｔ
Δｚ_ｋ ^{（ｔ＋１）}＝ωｚ_ｋ ^{（ｔ＋１）}×Δｔ
に相当する処理により、慣性計測装置ＩＭＵ_ｋの時間ステップｔから時間ステップｔ＋１までの変位量（移動量）を取得（推定）する。

そして、補間部３は、（１）時間ステップｔの３ＤポーズデータＰｏｓｅ＿３ｄ^（ｔ）（＝Ｖ＿３ｄ^（ｔ））と、（２）上記により取得した時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}とを用いて、補間処理を実行することで、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}を取得する。

具体的には、補間部３は、
Ｐｏｓｅ＿３ｄ^{（ｔ＋１）}＝ｆ１（Ｐ_１ ^{（ｔ＋１）}，Ｐ_２ ^{（ｔ＋１）}，Ｐ_３ ^{（ｔ＋１）}，Ｐｏｓｅ＿３ｄ^（ｔ））
に相当する処理を実行することで、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}を取得する。なお、関数ｆ１は、Ｐ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}、および、Ｐｏｓｅ＿３ｄ^（ｔ）から、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}を取得する関数である。

具体的には、補間部３は、慣性計測装置ＩＭＵ_ｋの位置が、時間ステップｔ＋１において、上記推定位置であると仮定したときに、人間の関節の自由度、各部位の移動可能範囲を考慮して、各キーポイントがどのように移動するかを予測する。例えば、図６の右図（時間ステップｔ＋１の図の拡大図）に示すように、慣性計測装置ＩＭＵ_１の位置が、Ｐ_１ ^（ｔ）からＰ_１ ^{（ｔ＋１）}に移動したと推定されているので（Ｐ_１ ^（ｔ）からＰ_１ ^{（ｔ＋１）}へのベクトルをベクトルｖｅｃ＿Ｐ_１とする）、補間部３は、ベクトルｖｅｃ＿Ｐ_１を考慮して、キーポイントｋｐ_１５（Ｐｏｓｅ＿３ｄ^（ｔ）から特定されるキーポイントデータ）の時間ステップｔから時間ステップｔ＋１の移動ベクトルをベクトルｖｅｃ＿ｋｐ_１５（図６のベクトルｖｅｃ＿ｋｐ_１５）と推定し、キーポイントｋｐ_１５の時間ステップｔ＋１の位置を図６に示す位置ｋｐ’_１５と推定する。同様に、補間部３は、ベクトルｖｅｃ＿Ｐ_１を考慮して、キーポイントｋｐ_１６（Ｐｏｓｅ＿３ｄ^（ｔ）から特定されるキーポイントデータ）の時間ステップｔから時間ステップｔ＋１の移動ベクトルをベクトルｖｅｃ＿ｋｐ_１６（図６のベクトルｖｅｃ＿ｋｐ_１６）と推定し、キーポイントｋｐ_１６の時間ステップｔ＋１の位置を図６に示す位置ｋｐ’_１６と推定する。

なお、慣性計測装置ＩＭＵ_２、ＩＭＵ_２の位置は、変化していないので、キーポイントｋｐ_１～ｋｐ_１４（Ｐｏｓｅ＿３ｄ^（ｔ）から特定されるキーポイントデータ）の位置は、時間ステップｔから時間ステップｔ＋１の期間において変化していないと推定する。

そして、補間部３は、上記のように処理（推定）（関数ｆ１の処理に相当）すること取得したキーポイントの３次元座標データに基づいて、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}（図６に示す３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}）を取得する。

そして、補間部３は、上記処理により取得した３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}を出力する（図１３のシーケンス図の時間ステップｔ＋１の処理）とともに、記憶保持する。

また、補間部３は、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を記憶保持する。

≪時間ステップｔ＋２の処理≫
時間ステップｔ＋２において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）を取得し、取得したＩＭＵデータをポーズデータ生成装置１００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋２）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋２）を補間部３に出力する。

補間部３は、（１）時間ステップｔ＋２において取得したＩＭＵデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）と、（２）記憶保持している、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}とを用いて、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を取得する。

具体的には、補間部３は、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を取得する。

そして、補間部３は、時間ステップｔ＋１のときと同様に、
Ｐｏｓｅ＿３ｄ^{（ｔ＋２）}＝ｆ１（Ｐ_１ ^{（ｔ＋２）}，Ｐ_２ ^{（ｔ＋２）}，Ｐ_３ ^{（ｔ＋２）}，Ｐｏｓｅ＿３ｄ^{（ｔ＋１）}）
に相当する処理を実行することで、時間ステップｔ＋２の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋２）}を取得する。これにより、補間部３は、図７に示すような時間ステップｔ＋２の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋２）}を取得する。

そして、補間部３は、上記処理により取得した３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋２）}を出力する（図１３のシーケンス図の時間ステップｔ＋２の処理）とともに、記憶保持する。

また、補間部３は、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を記憶保持する。

≪時間ステップｔ＋３の処理≫
時間ステップｔ＋３において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）を取得し、取得したＩＭＵデータをポーズデータ生成装置１００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋３）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋３）を補間部３に出力する。

補間部３は、（１）時間ステップｔ＋３において取得したＩＭＵデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）と、（２）記憶保持している、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}とを用いて、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を取得する。

具体的には、補間部３は、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を取得する。

そして、補間部３は、時間ステップｔ＋１のときと同様に、
Ｐｏｓｅ＿３ｄ^{（ｔ＋３）}＝ｆ１（Ｐ_１ ^{（ｔ＋３）}，Ｐ_２ ^{（ｔ＋３）}，Ｐ_３ ^{（ｔ＋３）}，Ｐｏｓｅ＿３ｄ^{（ｔ＋２）}）
に相当する処理を実行することで、時間ステップｔ＋３の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋３）}を取得する。これにより、補間部３は、図８に示すような時間ステップｔ＋３の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋３）}を取得する。

そして、補間部３は、上記処理により取得した３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋３）}を出力する（図１３のシーケンス図の時間ステップｔ＋３の処理）とともに、記憶保持する。

また、補間部３は、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を記憶保持する。

≪時間ステップｔ＋４の処理≫
時間ステップｔ＋４において、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）を取得する。

画像ベースポーズデータ取得部１は、時間ステップｔのときの処理と同様の処理を実行し、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ＋４）から、３次元ポーズデータＤ１＿ｐｏｓｅ＿３Ｄ（ｔ＋４）（＝Ｖ＿３ｄ^{（ｔ＋４）}）を取得する。

補間部３は、時間ステップｔの処理と同様に、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}を用いて、時間ステップｔにおける慣性計測装置ＩＭＵ_ｋ（ｋ：自然数、１≦ｋ≦３）の３次元空間ＳＰ１内の位置（座標位置）を特定（推定）する。これにより、補間部３は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

また、補間部３は、時間ステップｔ＋１と同様の補間処理を行う。つまり、補間部３は、以下の処理を実行する。

時間ステップｔ＋４において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）を取得し、取得したＩＭＵデータをポーズデータ生成装置１００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋４）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋４）を補間部３に出力する。

補間部３は、（１）時間ステップｔ＋４において取得したＩＭＵデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）と、（２）記憶保持している、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}とを用いて、時間ステップｔ＋４の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

具体的には、補間部３は、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋４の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

そして、補間部３は、時間ステップｔ＋１のときと同様の処理により、３Ｄポーズデータ（補間処理による３Ｄポーズデータ）を取得する。なお、時間ステップｔ＋４において、補間部３が補間処理による取得する３Ｄポーズデータを３ＤポーズデータＰｏｓｅ＿３ｄＨ^{（ｔ＋４）}と表記する。つまり、補間部３は、
ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}＝ｆ１（Ｐ_１ ^{（ｔ＋４）}，Ｐ_２ ^{（ｔ＋４）}，Ｐ_３ ^{（ｔ＋４）}，Ｐｏｓｅ＿３ｄ^{（ｔ＋３）}）
に相当する処理を実行することで、時間ステップｔ＋４の補間処理による３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を取得する。

そして、補間部３は、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}とに対して、判定選択処理を行う（図１４のシーケンス図の時間ステップｔ＋４の処理）。

具体的には、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}とを比較し、両者の差が所定の範囲内であれば、補間処理の予測精度が高いと判断し、補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を時間ステップｔ＋４の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋４）}として出力し、一方、両者の差が所定の範囲から外れている場合、補間処理の予測精度が低いと判断し、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}を時間ステップｔ＋４の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋４）}として出力する。

図１０に、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}との差が小さい場合を示す。また、図１１に、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}との差が大きい場合を示す。

図１０の場合、補間部３は、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}とにおいて、対応するキーポイント間のベクトルのノルム（あるいは、ユークリッド距離）の総和の合計が所定の閾値よりも大きいか否かについての比較判定処理を行う。対応するキーポイント間のベクトルは、例えば、図１２に示すように、設定されるものとする。

すなわち、ｖｅｃ（ａ，ｂ）を、３次元空間ＳＰ１内の点ａから点ｂへのベクトルとすると、対応するキーポイント間のベクトルは、以下の１５個のベクトルｖ_１～ｖ_１５である。
ｖ_１＝ｖｅｃ（ｋｐ_３，ｋｐ_２）
ｖ_２＝ｖｅｃ（ｋｐ_２，ｋｐ_１）
ｖ_３＝ｖｅｃ（ｋｐ_３，ｋｐ_５）
ｖ_４＝ｖｅｃ（ｋｐ_５，ｋｐ_６）
ｖ_５＝ｖｅｃ（ｋｐ_６，ｋｐ_７）
ｖ_６＝ｖｅｃ（ｋｐ_３，ｋｐ_４）
ｖ_７＝ｖｅｃ（ｋｐ_３，ｋｐ_１４）
ｖ_８＝ｖｅｃ（ｋｐ_１４，ｋｐ_１５）
ｖ_９＝ｖｅｃ（ｋｐ_１５，ｋｐ_１６）
ｖ_１０＝ｖｅｃ（ｋｐ_４，ｋｐ_８）
ｖ_１１＝ｖｅｃ（ｋｐ_８，ｋｐ_９）
ｖ_１２＝ｖｅｃ（ｋｐ_９，ｋｐ_１０）
ｖ_１３＝ｖｅｃ（ｋｐ_４，ｋｐ_１１）
ｖ_１４＝ｖｅｃ（ｋｐ_１１，ｋｐ_１２）
ｖ_１５＝ｖｅｃ（ｋｐ_１２，ｋｐ_１３）
なお、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}に対応するキーポイント間のベクトルをベクトルｖ_１～ｖ_１５とし、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}に対応するキーポイント間のベクトルをベクトルｖ’_１～ｖ’_１５とする。

そして、補間部３は、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}とにおいて、対応するキーポイント間のベクトルの差ベクトルのノルム（あるいは、ユークリッド距離）の総和の合計Ｅｖ（評価値Ｅｖ）を下記数式に相当する処理を実行することで取得する。

Ｍ：キーポイント間のベクトルの数
そして、補間部３は、上記により取得した評価値Ｅｖを所定の閾値Ｔｈ１と比較する。なお、３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}と、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}とに対する評価値ＥｖをＥｖ（ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}，Ｖ＿３ｄ^{（ｔ＋４）}）と標記する。
（１）Ｅｖ（ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}，Ｖ＿３ｄ^{（ｔ＋４）}）＞Ｔｈ１である場合、補間部３は、ポーズデータ生成装置１００で実行されている補間処理の予測精度が低いと判断し、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}を時間ステップｔ＋４の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋４）}として出力する（例えば、図１１の場合）。
（２）Ｅｖ（ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}，Ｖ＿３ｄ^{（ｔ＋４）}）≦Ｔｈ１である場合、補間部３は、ポーズデータ生成装置１００で実行されている補間処理の予測精度が高いと判断し、補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を時間ステップｔ＋４の３ＤポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋４）}として出力する（例えば、図１０の場合）。

以上のように処理することで、ポーズデータ生成装置１００では、フレーム画像が取得される時間ステップｔ＋４において、（１）フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}、および、（２）補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}の精度の高い方の３Ｄポーズデータを出力することができる。つまり、ポーズデータ生成装置１００は、フレーム画像が取得される時間ステップｔ＋４において、当該時間ステップまでに実行された補間処理の精度を検証することができ、補間処理の精度が悪い場合、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}を出力する。したがって、ポーズデータ生成装置１００により取得される３Ｄポーズデータの精度を常に一定レベル以上に維持することができる。

なお、上記では、ベクトル（対応するキーポイント間のベクトル）を用いる場合について、説明したが、これに限定されることはない。例えば、ポーズデータ生成装置１００において、行列（回転行列）、クォータニオン（ｑｕａｔａｒｎｉｏｎ）、オイラー角を用いて、（１）フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}、および、（２）補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}の精度の高い方を選択（出力）するようにしてもよい。具体的には、ポーズデータ生成装置１００は、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}のキーポイントと、当該キーポイントに対応する３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}のキーポイントとを、行列（回転行列）、クォータニオン（ｑｕａｔａｒｎｉｏｎ）、あるいは、オイラー角を用いて表現（特定）する。そして、ポーズデータ生成装置１００は、行列（回転行列）、クォータニオン（ｑｕａｔａｒｎｉｏｎ）、あるいは、オイラー角を用いて、３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}のキーポイントと、当該キーポイントに対応する３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}のキーポイントとの間のズレ量を示すデータ（例えば、スカラー、ベクトル、テンソル）を取得し、当該ズレ量を示すデータ（例えば、スカラー、ベクトル、テンソル）により、（１）フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した３ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}、および、（２）補間処理により取得した３ＤポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}の精度の高い方を選択（出力）するようにしてもよい。

≪時間ステップｔ＋５以降の処理≫
時間ステップｔ＋５以降、ポーズデータ生成システム１０００は、上記と同様の処理を繰り返し実行する。すなわち、フレーム画像が取得される時間ステップでは、時間ステップｔ＋４の処理と同様の処理が実行され、フレーム画像が取得されない時間ステップでは、時間ステップｔ＋１～ｔ＋３の処理と同様の処理が実行される。

以上のように、ポーズデータ生成システム１０００では、（１）撮像装置Ｃａｍ１によりフレーム画像が取得される時間ステップでは、撮像したフレーム画像に基づいて、３Ｄポーズデータを取得することができ、（２）フレーム画像が取得される時間ステップ間の期間（フレーム画像が取得されない期間）では、ＩＭＵデータを用いて前時間ステップから現時間ステップの３Ｄポーズデータを予測して補間する処理（上記補間処理）により、３Ｄポーズデータを取得することができる。したがって、ポーズデータ生成システム１０００では、撮像装置Ｃａｍ１によるフレーム画像の取得レート（フレームレート）が低い場合であっても、ＩＭＵデータを用いた上記補間処理により、高フレームレートの３Ｄポーズデータを取得することができる。つまり、ポーズデータ生成システム１０００では、高フレームレートの撮像装置を用いる必要がないので、低コストで実現でき、かつ、ＩＭＵデータを用いた補間処理により３Ｄポーズデータを取得できるので、高精度なポーズデータ（３Ｄポーズデータ）を取得することができる。

≪第１変形例≫
次に、第１実施形態の第１変形例について、説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

本変形例のポーズデータ生成システムは、第１実施形態のポーズデータ生成システム１０００と同様の構成を有しており、補間部３での処理が、第１実施形態とは異なる。

本変形例の補間部３では、時系列フィルタ（例えば、カルマンフィルタ、拡張カルマンフィルタ（ＥＫＦ：Extended Kalman Filter）、アンセンテッドカルマンフィルタ（ＵＫＦ：Unscented Kalman Filter）、パーティクルフィルタ等）を用いた処理が実行される。

時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時間ステップｔ（時刻ｔ）における対象の内部状態を状態ベクトルｘ_ｔとし、時間ステップｔ（時刻ｔ）において観測された特徴を観測ベクトルｙ_ｔとしたとき、観測された観測ベクトルｙ_ｔから、直接観測できない対象の内部状態ｘ_ｔを推定する手法である。

観測対象の内部状態のシステムモデルおよび対象を観測した時の観測モデル（状態空間モデル）は、以下のように表すことができる。
システムモデル（状態方程式）：
ｘ_ｔ＝ｆ（ｘ_ｔ－１，ｕ_ｔ，ｗ_ｔ）
ｆ：時間ステップｔ－１と時間ステップｔとの状態変化を表す状態遷移関数
ｕ_ｔ：時間ステップｔの制御入力
ｗ_ｔ：時間ステップｔのシステムノイズ
観測モデル（観測方程式）：
ｚ_ｔ＝ｈ（ｘ_ｔ，ｖ_ｔ）
ｈ：状態ｘ_ｔのときに得られる観測ベクトルを表す関数
ｖ_ｔ：時間ステップｔの観測ノイズ
運動方程式等で人の動作（または人の特定部位の移動）が表現（予測）できる場合、当該運動方程式等により予測したデータと、実際の観測データ（ＩＭＵデータから特定されるデータ）とを用いて、時系列フィルタを適用することができる。

本変形例のポーズデータ生成システムでは、補間部３において、（１）前時間ステップ（時間ステップｔ－１）で取得された３Ｄポーズデータ（１時間ステップ前の観測対象の内部状態を示すデータ（上記の内部状態ｘ_ｔ－１に相当））と、（２）処理対象としている被写体人物Ｓｕｂ１の動作（または、被写体人物Ｓｕｂ１の特定部位の移動）についての物理現象を表現する方程式（例えば、運動方程式等）から予測した３Ｄポーズデータ（観測データ（上記の観測ベクトルｚ_ｔに相当））とを用いて時系列フィルタによる処理を行うことで、現時間ステップ（時間ステップｔ）での観測対象の内部状態（被写体人物Ｓｕｂ１のポーズデータ）を取得（推定）する。

例えば、非線形カルマンフィルタを用いる場合、補間部３は、以下の処理により、現時間ステップ（時間ステップｔ）での観測対象の内部状態（被写体人物Ｓｕｂ１のポーズデータ）を取得（推定）する。
（Ａ）予測
ｘ_{ｔ｜ｔ－１}＝ｆ（ｘ_{ｔ－１｜ｔ－１}），ｕ_ｔ，０）
Ｐ_{ｔ｜ｔ－１}＝Ｆ_ｔＰ_{ｔ－１｜ｔ－１}Ｆ^Ｔ _ｔ＋Ｇ_ｔＱ_ｔＧ^Ｔ _ｔ
ｘ_{ｔ｜ｔ－１}：時間ステップｔ－１における時間ステップｔの状態推定値（状態推定ベクトル）
ｘ_{ｔ－１｜ｔ－１}：時間ステップｔ－１における更新処理後の状態推定値（状態推定ベクトル）
Ｆ_ｔ：システムの時間遷移に関する線形モデル
Ｐ_{ｔ－１｜ｔ－１}：誤差の共分散行列
Ｆ^Ｔ _ｔ：Ｆ_ｔの転置行列
Ｇ_ｔ：時間遷移に関するノイズモデルの行列
Ｑ_ｔ：時間遷移に関するノイズモデルの共分散行列
Ｇ^Ｔ _ｔ：Ｇ_ｔの転置行列
（Ｂ）更新
ｅ_ｔ＝ｚ_ｔ－ｈ（ｘ_{ｔ｜ｔ－１}，０）
Ｓ_ｔ＝Ｈ_ｔＰ_{ｔ｜ｔ－１}Ｈ^Ｔ _ｔ＋Ｒ_ｔ
Ｋ_ｔ＝Ｐ_{ｔ｜ｔ－１}Ｈ^Ｔ _ｔ＋Ｓ^－１ _ｔ
ｘ_ｔ｜ｔ＝ｘ_{ｔ｜ｔ－１}＋Ｋ_ｔｅ_ｔ
Ｐ_ｔ｜ｔ＝（Ｉ－Ｋ_ｔＨ_ｔ）Ｐ_{ｔ｜ｔ－１}
ｅ_ｔ：時間ステップｔの観測残差
Ｓ_ｔ：時間ステップｔの観測残差の共分散
Ｋ_ｔ：時間ステップｔの最適カルマンゲイン
ｘ_ｔ｜ｔ：時間ステップｔにおいて更新された状態の推定値（推定ベクトル）
Ｐ_ｔ｜ｔ：時間ステップｔにおいて更新された誤差の共分散
Ｈ_ｔ：観測モデルに関する線形モデル
Ｒ_ｔ：時間ステップｔの観測ノイズの共分散
なお、Ｆ_ｔ、および、Ｈ_ｔは、非線形カルマンフィルタとして拡張カルマンフィルタを用いる場合、下記の数式により示されるものとなる。

すなわち、前述した状態空間モデルの関数ｆ、関数ｈは非線形関数である場合、テイラー展開より、２次微分以降の項目を省略して、非線形である関数ｆ、ｈのそれぞれ１次微分の項までで近似し、線形化することで、カルマンフィルタのアルゴリズムが適用可能となる。

なお、上記では、本変形例のポーズデータ生成システムにおいて、時系列フィルタとして、非線形カルマンフィルタとして拡張カルマンフィルタを適用して３Ｄポーズデータの補間処理を実現する場合について、説明したが、これに限定されることなく、例えば、時系列フィルタとして、カルマンフィルタ、アンセンテッドカルマンフィルタ（ＵＫＦ：Unscented Kalman Filter）、パーティクルフィルタ等を用いて、３Ｄポーズデータの補間処理を実現するようにしてもよい。

以上のように、本変形例のポーズデータ生成システムでは、運動方程式等で人の動作（または人の特定部位の移動）が表現（予測）できる場合、当該運動方程式等により予測したデータと、実際の観測データ（ＩＭＵデータから特定されるデータ）とを用いて、時系列フィルタを適用して、３Ｄポーズデータの補間処理を実現できる。そして、本変形例のポーズデータ生成システムでは、第１実施形態のポーズデータ生成システム１０００に比べて、より滑らかな動きを再現できる３Ｄポーズデータ（補間処理後の３Ｄポーズデータ）を取得できる。

［第２実施形態］
次に、第２実施形態について説明する。なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜２．１：ポーズデータ生成システムの構成＞
図１５は、第２実施形態に係るポーズデータ生成システム２０００の概略構成図である。

図１６は、第２実施形態に係るポーズデータ取得部１Ａの概略構成図である。

第２実施形態のポーズデータ生成システム２０００は、図１５に示すように、第１実施形態のポーズデータ生成システム１０００において、ポーズデータ生成装置１００をポーズデータ生成装置２００に置換した構成を有している。そして、ポーズデータ生成装置２００は、ポーズデータ生成装置１００において、画像ベースポーズデータ取得部１を画像ベースポーズデータ取得部１Ａに置換し、補間部３を補間部３Ａに置換し、ＩＭＵデータ変換部４を追加した構成を有している。

そして、第１実施形態のポーズデータ生成システム１０００は、３Ｄポーズデータを取得するものであったが、第２実施形態のポーズデータ生成システム２０００は、２Ｄポーズデータを取得するものである。

画像ベースポーズデータ取得部１Ａは、例えば、図１６に示すように、２Ｄキーポイントデータ取得部１１と、２Ｄポーズデータ取得部１２Ａとを備える。

２Ｄキーポイントデータ取得部１１は、第１実施形態の２Ｄキーポイントデータ取得部１１と同様の構成、機能を有している。

２Ｄポーズデータ取得部１２Ａは、２Ｄキーポイントデータ取得部１１から出力されるキーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓを入力する。２Ｄポーズデータ取得部１２Ａは、画像ベースポーズデータ取得部１Ａに入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓから、２次元のポーズデータを取得する。具体的には、２Ｄポーズデータ取得部１２Ａは、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元座標データ）が示すフレーム画像（２次元画像）上の点（複数の点）の２次元座標データを含むデータを、２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄとして取得する。そして、２Ｄポーズデータ取得部１２Ａは、取得した２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄを補間部３Ａに出力する。

ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕを入力する。また、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力される３次元のデータＤ１＿ｉｍｕ（例えば、各慣性計測装置ＩＭＵ_ｋにより取得された３次元空間ＳＰ内における角速度ベクトル（３次元データ））を、２次元のデータに変換する。具体的には、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、３次元空間（撮像空間）の３次元座標データ（３次元のデータＤ１＿ｉｍｕ）を、撮像装置Ｃａｍ１により撮像したときに得られるフレーム画像（２次元画像）上の２次元座標データに変換する。そして、ＩＭＵデータ変換部４は、３次元のデータＤ１＿ｉｍｕに対して、上記の３次元／２次元座標変換により取得したデータを、データＤ２＿ｉｍｕとして、補間部３Ａに出力する。

補間部３Ａは、画像ベースポーズデータ取得部１Ａから出力される２次元のデータＤ１＿ｐｏｓｅ＿２Ｄと、ＩＭＵデータ変換部４から出力される２次元のデータＤ２＿ｉｍｕとを入力する。また、補間部３Ａは、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。
（１）補間部３Ａは、フレーム画像データが取得された時間ステップにおいて画像ベースポーズデータ取得部１Ａから最初にポーズデータＤ１＿ｐｏｓｅ＿２Ｄが入力された場合、当該入力されたポーズデータＤ１＿ｐｏｓｅ＿２Ｄを出力データＤｏｕｔ（２次元ポーズデータＤｏｕｔ）として出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（２）補間部３Ａは、フレーム画像データが取得されていない時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３Ａが記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ２＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータを取得する。そして、補間部３Ａは、取得した補間処理後のポーズデータを出力データＤｏｕｔとして出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（３）補間部３Ａは、フレーム画像データが取得された時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３Ａが記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ２＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータを取得する。また、補間部３Ａは、入力されたポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（フレーム画像データから取得したポーズデータ）と、上記補間処理後のポーズデータとを比較し、当該比較の結果に従って、入力されたポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（フレーム画像データから取得したポーズデータ）、および、上記補間処理後のポーズデータのいずれかを選択する。そして、補間部３Ａは、選択したポーズデータを出力データＤｏｕｔとして出力するとともに、当該出力データＤｏｕｔを記憶保持する。

なお、ＩＭＵデータ取得処理部は、ＩＭＵデータ取得部２、および、ＩＭＵデータ変換部４に対応する。

＜２．２：ポーズデータ生成システムの動作＞
以上のように構成されたポーズデータ生成システム２０００の動作について、以下、説明する。

以下では、説明便宜のために、第１実施形態と同様に、被写体人物Ｓｕｂ１が図４に示す動作を行った場合におけるポーズデータ生成システム２０００の動作について説明する。

また、説明便宜のため、第１実施形態と同様に、被写体人物Ｓｕｂ１に３つの慣性計測装置ＩＭＵ_１～ＩＭＵ_３が取り付けられているものとし、慣性計測装置ＩＭＵ_１は、被写体人物Ｓｕｂ１の頭部に取り付けられており、慣性計測装置ＩＭＵ_２は、被写体人物Ｓｕｂ１の右手首部分に取り付けられており、慣性計測装置ＩＭＵ_３は、被写体人物Ｓｕｂ１の左手首部分に取り付けられているものとする。

図１７～図２０は、ポーズデータ生成システム２０００で実行されるポーズデータ生成処理（補間処理を含む）を説明するための図である。

図２１～図２３は、ポーズデータ生成システム２０００で実行される判定選択処理を説明するための図である。

図２４～図２５は、ポーズデータ生成システム２０００で実行される処理のシーケンス図である。図２４、図２５において、「ＰｏｓｅＤａｔａ１」で示した欄は、フレーム画像データから取得したポーズデータを示しており、「ＰｏｓｅＤａｔａ２」で示した欄は、補間処理により取得したポーズデータを示している。

以下では、図面を参照しながら、ポーズデータ生成システム２０００の動作について、説明する。

なお、撮像空間は、第１実施形態と同様、図４に示すように、３次元空間ＳＰ１に設定されており、図４に示すように、３次元座標系（原点ｏ、ｘ軸、ｙ軸、ｚ軸）が設定されているものとし、被写体人物Ｓｕｂ１を追跡対象とする。

また、一例として、ポーズデータ生成システム２０００において、４時間ステップ間隔で、フレーム画像が取得され、フレーム画像が取得されていない期間において、３つのポーズデータを補間処理により生成する場合について、以下説明する。

≪時間ステップｔの処理≫
時間ステップｔにおいて、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ）を取得する。フレーム画像データＤ＿ｉｍｇ（ｔ）により形成される画像（フレーム画像）は、図１６の上左図に示す画像Ｉｍｇ１である。

画像ベースポーズデータ取得部１Ａは、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ）を入力し、当該フレーム画像データＤ＿ｉｍｇ（ｔ）から、２次元ポーズデータを取得する処理を実行する。具体的には、以下の処理が実行される。

画像ベースポーズデータ取得部１Ａの２Ｄキーポイントデータ取得部１１は、（１）フレーム画像データＤ＿ｉｍｇ（ｔ）により形成されるフレーム画像（画像Ｉｍｇ１）上において、被写体人物Ｓｕｂ１に相当する画像領域を抽出し、（２）画像ベースポーズデータ取得部１Ａに入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、被写体人物Ｓｕｂ１の所定の部位の上記フレーム画像上の位置（２次元画像上の位置）を特定する。なお、ここでは、「所定の部位」は、（１）人の頭部および脊椎に含まれる所定の位置（図３のキーポイントｋｐ_１～ｋｐ_４に対応）、（２）人の左右の腕に含まれる所定の位置（図３のキーポイントｋｐ_５～ｋｐ_７、ｋｐ_１４～ｋｐ_１６に対応）、（３）人の左右の脚部に含まれる所定の位置（図３のキーポイントｋｐ_８～ｋｐ_１０、ｋｐ_１１～ｋｐ_１３に対応）であるものとする。そして、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓにより特定されるキーポイントは、図３に示すように、１６個の点ｋｐ_１～ｋｐ_１６に対応するものとする。

なお、ポーズデータ生成システム２０００では、追跡対象を人としており（標準的な人間の大きさが既知であり）、３次元空間内の撮像装置Ｃａｍ１の設置位置、カメラ光軸の向き、焦点距離、画角が既知であるので、撮像装置Ｃａｍ１により取得されたフレーム画像から、被写体人物Ｓｕｂ１に相当する画像領域を抽出することができ、かつ、被写体人物Ｓｕｂ１の特定の部位のフレーム画像上の位置を特定することができる。

そして、２Ｄキーポイントデータ取得部１１は、上記処理により取得したキーポイントデータをデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓとして２Ｄポーズデータ取得部１２Ａに出力する。

２Ｄポーズデータ取得部１２Ａは、２Ｄキーポイントデータ取得部１１から出力されるキーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓを入力する。２Ｄポーズデータ取得部１２Ａは、画像ベースポーズデータ取得部１Ａに入力される撮像空間の情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータの情報Ｉｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓから、２次元のポーズデータを取得する。具体的には、２Ｄポーズデータ取得部１２Ａは、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元座標データ）が示すフレーム画像（２次元画像）上の点（複数の点）の２次元座標データを含むデータを、２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄとして取得する。そして、２Ｄポーズデータ取得部１２Ａは、取得した２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄを補間部３Ａに出力する。

なお、ポーズデータ生成システム２０００では、追跡対象を人としており（標準的な人間の大きさが既知であり）、３次元空間内の撮像装置Ｃａｍ１の設置位置、カメラ光軸の向き、焦点距離、画角が既知であり、さらに、撮像空間とした３次元空間ＳＰ１を特定する情報が既知であるので、被写体人物Ｓｕｂ１の特定の部位のフレーム画像上の位置から、当該部位の３次元空間ＳＰ１（撮像空間ＳＰ１）内の座標位置を推定することができる。つまり、ポーズデータ生成システム２０００では、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの３次元空間ＳＰ１内の座標情報（３次元座標データ）を推定することができ、さらに、各キーポイントのフレーム画像上の座標情報（２次元座標データ）を推定することができる。

なお、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの２次元座標情報（フレーム画像上の２次元座標データ）を推定する処理（推定処理）は、撮像空間ＳＰ１の情報と、撮像装置Ｃａｍ１の撮影パラメータとに基づいて、算出するものであってもよく、また、ニューラルネットワークによる処理を利用するものであってもよい。上記推定処理としてニューラルネットワークによる処理を利用する場合、例えば、以下のように処理を行う。つまり、人を撮影した２次元画像（フレーム画像）から取得した当該人のキーポイントデータを入力とし、当該キーポイントデータの各キーポイントの２次元画像（撮像したフレーム画像）上の座標データ（２次元座標データ）を出力データの教師データとして、ニューラルネットワークモデルの学習処理を行う。そして、当該学習処理により、人を撮影した２次元画像（フレーム画像）から取得した当該人のキーポイントデータを入力とし、当該キーポイントデータの各キーポイントの２次元座標データ（フレーム画像上の２次元座標データ）の予測データを出力する学習済みモデルを取得する。そして、当該学習済みモデルを用いて処理を行うことで、キーポイントデータＤ＿２ｄ＿ｋｅｙ＿ｐｏｉｎｔｓ（２次元画像上の各キーポイントの２次元座標データ）から、各キーポイントの２次元座標情報（２次元座標データ）を推定する処理（推定処理）を実現できる。

２Ｄポーズデータ取得部１２Ａは、上記処理により取得した各キーポイントの２次元画像（フレーム画像）上の座標データ（２次元座標データ）を含むデータを、データＤ１＿ｐｏｓｅ＿２Ｄ（時間ステップｔに取得されるデータＤ１＿ｐｏｓｅ＿２ＤをＤ１＿ｐｏｓｅ＿２Ｄ（ｔ）と表記する）として、補間部３Ａに出力する。

なお、図１６の上右図に示すように、データＤ１＿ｐｏｓｅ＿２Ｄ（２Ｄポーズデータ）を、各キーポイントの２次元画像上の座標データ（２次元座標データ）で特定される点を線で接続した図により示す。また、時間ステップｔにおいて、画像ベースポーズデータ取得部１Ａにより取得された２ＤポーズデータＤ１＿ｐｏｓｅ＿２ＤをＶ＿２ｄ^（ｔ）と表記する。

時間ステップｔにおいて、補間部３Ａは、画像ベースポーズデータ取得部１Ａから出力されるデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^（ｔ））を入力し、当該入力データを、そのまま出力データＤｏｕｔとして出力する（図１７の時間ステップｔの図、図２４の時間ステップｔの処理を参照）。また、補間部３Ａは、出力データＤｏｕｔを時間ステップｔの２ＤポーズデータＰｏｓｅ＿２ｄ^（ｔ）（＝Ｖ＿２ｄ^（ｔ））として、記憶保持する。なお、時間ステップｔにおいて、補間部３Ａから出力されるデータをデータＰｏｓｅ＿２ｄ^（ｔ）と表記する。

また、補間部３Ａは、２ＤポーズデータＰｏｓｅ＿２ｄ^（ｔ）を用いて、時間ステップｔにおける慣性計測装置ＩＭＵ_ｋ（ｋ：自然数、１≦ｋ≦３）の３次元空間ＳＰ１内の位置（座標位置）を特定（推定）する。慣性計測装置ＩＭＵ_ｋの取り付け位置は既知であり、フレーム画像を取得したときの撮像装置Ｃａｍ１の撮影パラメータは既知であるので、慣性計測装置ＩＭＵ_ｋの取り付け位置に相当する３次元空間ＳＰ１内の位置を、２ＤポーズデータＰｏｓｅ＿２ｄ^（ｔ）に基づいて、特定（推定）し、さらに、慣性計測装置ＩＭＵ_ｋの取り付け位置に相当する２次元画像上の位置を特定（推定）する。例えば、図５の右図に示すように、慣性計測装置ＩＭＵ_１は、被写体人物Ｓｕｂ１の左リスト部分に取り付けられているので、２ＤポーズデータＰｏｓｅ＿２ｄ^（ｔ）を参照して、被写体人物Ｓｕｂ１の左リスト部分に対応する位置（３次元空間ＳＰ１内の座標位置）（図５の右図のＰ_１ ^（ｔ）で示した位置）を特定でき、さらに、２次元画像上の位置を特定（推定）できる。したがって、補間部３Ａは、上記のようにして特定（推定）した慣性計測装置ＩＭＵ_ｋの２次元座標データを、データＰ_ｋ（ｔ）として記憶保持する。なお、本実施形態において、Ｐ_ｋ ^（ｔ）は、
Ｐ^Ｔ _ｋ ^（ｔ）＝［ｘ_ｋ ^（ｔ），ｙ_ｋ ^（ｔ）］
ｘ_ｋ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_１の２次元画像上のｘ座標
ｙ_ｋ ^（ｔ）：時間ステップｔにおける慣性計測装置ＩＭＵ_１の２次元画像上のｙ座標
Ｐ^Ｔ _１ ^（ｔ）：Ｐ_１ ^（ｔ）転置行列
ｋ：１≦ｋ≦３を満たす自然数
である。

≪時間ステップｔ＋１の処理≫
時間ステップｔ＋１において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）を取得し、取得したＩＭＵデータをポーズデータ生成装置２００のＩＭＵデータ取得部２に送信する。なお、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、角速度のデータを取得するものとして、以下説明する。また、慣性計測装置ＩＭＵ_１が時間ステップｔにおいて取得するＩＭＵデータをＤ０_ｋ（ｔ）と表記する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋１）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋１）をＩＭＵデータ変換部４に出力する。

ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕ（ｔ＋１）を入力する。また、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力される３次元のデータＤ１＿ｉｍｕ（ｔ＋１）（例えば、各慣性計測装置ＩＭＵ_ｋにより取得された３次元空間ＳＰ内における角速度ベクトル（３次元データ））を、２次元のデータに変換する。具体的には、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、３次元空間（撮像空間）の３次元座標データ（３次元のデータＤ１＿ｉｍｕ（ｔ＋１））を、撮像装置Ｃａｍ１により撮像したときに得られるフレーム画像（２次元画像）上の２次元座標データに変換する。そして、ＩＭＵデータ変換部４は、３次元のデータＤ１＿ｉｍｕに対して、上記の３次元／２次元座標変換により取得したデータを、データＤ２＿ｉｍｕ（ｔ＋１）として、補間部３Ａに出力する。

補間部３Ａは、（１）時間ステップｔ＋１において取得したＩＭＵデータＤ０_１（ｔ＋１）～Ｄ０_３（ｔ＋１）から３次元座標－２次元座標変換した後のデータ（データＤ２＿ｉｍｕ（ｔ＋１））と、（２）記憶保持している、時間ステップｔの慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^（ｔ）～Ｐ_３ ^（ｔ）とを用いて、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を取得する。具体的には、補間部３Ａは、下記数式に相当する処理を実行することで、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を取得する。

（ｋ：自然数、１≦ｋ≦３）
Δ_ｋ ^{（ｔ＋１）}＝Ｏ_ｋ ^{（ｔ＋１）}×Δｔ
Ｏ^Ｔ _ｋ ^{（ｔ＋１）}＝［ωｘ_ｋ ^{（ｔ＋１）}，ωｙ_ｋ ^{（ｔ＋１）}］
Δｔ：時間ステップｔと時間ステップｔ＋１と時間間隔
Ｏ^Ｔ _ｋ ^{（ｔ＋１）}：Ｏ_ｋ ^{（ｔ＋１）}の転置行列
なお、ωｘ_ｋ ^{（ｔ＋１）}は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度の３次元空間座標のｘ成分データを３次元座標－２次元座標変換した後のデータ、すなわち、２次元画像上のｘ成分データであり、ωｙ_ｋ ^{（ｔ＋１）}は、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度の３次元空間座標のｙ成分データを３次元座標－２次元座標変換した後のデータ、すなわち、２次元画像上のｙ成分データである。

補間部３Ａは、時間ステップｔ＋１において慣性計測装置ＩＭＵ_ｋで取得された角速度の２次元画像上の各成分に、時間ステップｔから時間ステップｔ＋１までの経過時間Δｔを乗算することで、各成分（ｘ、ｙ成分）の変位量を取得（推定）する。すなわち、補間部３は、
Δｘ_ｋ ^{（ｔ＋１）}＝ωｘ_ｋ ^{（ｔ＋１）}×Δｔ
Δｙ_ｋ ^{（ｔ＋１）}＝ωｙ_ｋ ^{（ｔ＋１）}×Δｔ
に相当する処理により、慣性計測装置ＩＭＵ_ｋの時間ステップｔから時間ステップｔ＋１までの変位量（移動量）を取得（推定）する。

そして、補間部３Ａは、（１）時間ステップｔの３ＤポーズデータＰｏｓｅ＿２ｄ^（ｔ）（＝Ｖ＿２ｄ^（ｔ））と、（２）上記により取得した時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}とを用いて、補間処理を実行することで、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}を取得する。

具体的には、補間部３は、
Ｐｏｓｅ＿２ｄ^{（ｔ＋１）}＝ｆ２（Ｐ_１ ^{（ｔ＋１）}，Ｐ_２ ^{（ｔ＋１）}，Ｐ_３ ^{（ｔ＋１）}，Ｐｏｓｅ＿２ｄ^（ｔ））
に相当する処理を実行することで、時間ステップｔ＋１の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}を取得する。なお、関数ｆ２は、Ｐ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}、および、Ｐｏｓｅ＿２ｄ^（ｔ）から、時間ステップｔ＋１の３ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}を取得する関数である。

具体的には、補間部３Ａは、慣性計測装置ＩＭＵ_ｋの位置が、時間ステップｔ＋１において、上記推定位置であると仮定したときに、人間の関節の自由度、各部位の移動可能範囲を考慮して、各キーポイントがどのように移動するかを予測する。例えば、図１７の右図（時間ステップｔ＋１の図の拡大図）に示すように、慣性計測装置ＩＭＵ_１の位置が、Ｐ_１ ^（ｔ）からＰ_１ ^{（ｔ＋１）}に移動したと推定されているので（Ｐ_１ ^（ｔ）からＰ_１ ^{（ｔ＋１）}へのベクトル（２次元画像上のベクトル）をベクトルｖｅｃ２Ｄ＿Ｐ_１とする）、補間部３Ａは、ベクトルｖｅｃ２Ｄ＿Ｐ_１を考慮して、キーポイントｋｐ_１５（Ｐｏｓｅ＿２ｄ^（ｔ）から特定されるキーポイントデータ）の時間ステップｔから時間ステップｔ＋１の移動ベクトルをベクトルｖｅｃ２Ｄ＿ｋｐ_１５（図１７のベクトルｖｅｃ２Ｄ＿ｋｐ_１５）と推定し、キーポイントｋｐ_１５の時間ステップｔ＋１の位置を図１７に示す位置ｋｐ’_１５と推定する。同様に、補間部３Ａは、ベクトルｖｅｃ２Ｄ＿Ｐ_１を考慮して、キーポイントｋｐ_１６（Ｐｏｓｅ＿２ｄ^（ｔ）から特定されるキーポイントデータ）の時間ステップｔから時間ステップｔ＋１の移動ベクトルをベクトルｖｅｃ２Ｄ＿ｋｐ_１６（図１７のベクトルｖｅｃ２Ｄ＿ｋｐ_１６）と推定し、キーポイントｋｐ_１６の時間ステップｔ＋１の位置を図１７に示す位置ｋｐ’_１６と推定する。

なお、慣性計測装置ＩＭＵ_２、ＩＭＵ_２の位置は、変化していないので、キーポイントｋｐ_１～ｋｐ_１４（Ｐｏｓｅ＿２ｄ^（ｔ）から特定されるキーポイントデータ）の位置は、時間ステップｔから時間ステップｔ＋１の期間において変化していないと推定する。

そして、補間部３Ａは、上記のように処理（推定）（関数ｆ２の処理に相当）すること取得したキーポイントの２次元座標データに基づいて、時間ステップｔ＋１の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}（図１７に示す２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}）を取得する。

そして、補間部３Ａは、上記処理により取得した２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋１）}を出力する（図２４のシーケンス図の時間ステップｔ＋１の処理）とともに、記憶保持する。

また、補間部３Ａは、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}を記憶保持する。

≪時間ステップｔ＋２の処理≫
時間ステップｔ＋２において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）を取得し、取得したＩＭＵデータをポーズデータ生成装置２００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋２）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋２）をＩＭＵデータ変換部４に出力する。

ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕ（ｔ＋２）を入力する。また、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力される３次元のデータＤ１＿ｉｍｕ（ｔ＋２）（例えば、各慣性計測装置ＩＭＵ_ｋにより取得された３次元空間ＳＰ内における角速度ベクトル（３次元データ））を、２次元のデータに変換する。具体的には、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、３次元空間（撮像空間）の３次元座標データ（３次元のデータＤ１＿ｉｍｕ（ｔ＋２））を、撮像装置Ｃａｍ１により撮像したときに得られるフレーム画像（２次元画像）上の２次元座標データに変換する。そして、ＩＭＵデータ変換部４は、３次元のデータＤ１＿ｉｍｕに対して、上記の３次元／２次元座標変換により取得したデータを、データＤ２＿ｉｍｕ（ｔ＋２）として、補間部３Ａに出力する。

補間部３Ａは、（１）時間ステップｔ＋２において取得したＩＭＵデータＤ０_１（ｔ＋２）～Ｄ０_３（ｔ＋２）から３次元座標－２次元座標変換した後のデータ（データＤ２＿ｉｍｕ（ｔ＋２））と、（２）記憶保持している、時間ステップｔ＋１の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋１）}～Ｐ_３ ^{（ｔ＋１）}とを用いて、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を取得する。

具体的には、補間部３Ａは、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を取得する。

そして、補間部３Ａは、時間ステップｔ＋１のときと同様に、
Ｐｏｓｅ＿２ｄ^{（ｔ＋２）}＝ｆ２（Ｐ_１ ^{（ｔ＋２）}，Ｐ_２ ^{（ｔ＋２）}，Ｐ_３ ^{（ｔ＋２）}，Ｐｏｓｅ＿２ｄ^{（ｔ＋１）}）
に相当する処理を実行することで、時間ステップｔ＋２の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋２）}を取得する。これにより、補間部３Ａは、図１８に示すような時間ステップｔ＋２の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋２）}を取得する。

そして、補間部３Ａは、上記処理により取得した２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋２）}を出力する（図２４のシーケンス図の時間ステップｔ＋２の処理）とともに、記憶保持する。

また、補間部３Ａは、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}を記憶保持する。

≪時間ステップｔ＋３の処理≫
時間ステップｔ＋３において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）を取得し、取得したＩＭＵデータをポーズデータ生成装置２００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋３）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋３）をＩＭＵデータ変換部４に出力する。

ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕ（ｔ＋３）を入力する。また、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力される３次元のデータＤ１＿ｉｍｕ（ｔ＋３）（例えば、各慣性計測装置ＩＭＵ_ｋにより取得された３次元空間ＳＰ内における角速度ベクトル（３次元データ））を、２次元のデータに変換する。具体的には、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、３次元空間（撮像空間）の３次元座標データ（３次元のデータＤ１＿ｉｍｕ（ｔ＋３））を、撮像装置Ｃａｍ１により撮像したときに得られるフレーム画像（２次元画像）上の２次元座標データに変換する。そして、ＩＭＵデータ変換部４は、３次元のデータＤ１＿ｉｍｕに対して、上記の３次元／２次元座標変換により取得したデータを、データＤ２＿ｉｍｕ（ｔ＋３）として、補間部３Ａに出力する。

補間部３Ａは、（１）時間ステップｔ＋３において取得したＩＭＵデータＤ０_１（ｔ＋３）～Ｄ０_３（ｔ＋３）から３次元座標－２次元座標変換した後のデータ（データＤ２＿ｉｍｕ（ｔ＋３））と、（２）記憶保持している、時間ステップｔ＋２の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋２）}～Ｐ_３ ^{（ｔ＋２）}とを用いて、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を取得する。

具体的には、補間部３Ａは、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を取得する。

そして、補間部３Ａは、時間ステップｔ＋１のときと同様に、
Ｐｏｓｅ＿２ｄ^{（ｔ＋３）}＝ｆ２（Ｐ_１ ^{（ｔ＋３）}，Ｐ_２ ^{（ｔ＋３）}，Ｐ_３ ^{（ｔ＋３）}，Ｐｏｓｅ＿２ｄ^{（ｔ＋２）}）
に相当する処理を実行することで、時間ステップｔ＋３の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋３）}を取得する。これにより、補間部３Ａは、図１９に示すような時間ステップｔ＋３の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋３）}を取得する。

そして、補間部３Ａは、上記処理により取得した２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋３）}を出力する（図２４のシーケンス図の時間ステップｔ＋３の処理）とともに、記憶保持する。

また、補間部３Ａは、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}を記憶保持する。

≪時間ステップｔ＋４の処理≫
時間ステップｔ＋４において、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）を取得する。

画像ベースポーズデータ取得部１Ａは、時間ステップｔのときの処理と同様の処理を実行し、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ＋４）から、２次元ポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（ｔ＋４）（＝Ｖ＿２ｄ^{（ｔ＋４）}）を取得する。

補間部３Ａは、時間ステップｔの処理と同様に、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}を用いて、時間ステップｔにおける慣性計測装置ＩＭＵ_ｋ（ｋ：自然数、１≦ｋ≦３）の３次元空間ＳＰ１内の位置（座標位置）を特定（推定）する。これにより、補間部３Ａは、慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

また、補間部３Ａは、時間ステップｔ＋１と同様の補間処理を行う。つまり、補間部３Ａは、以下の処理を実行する。

時間ステップｔ＋４において、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）を取得し、取得したＩＭＵデータをポーズデータ生成装置２００のＩＭＵデータ取得部２に送信する。

ＩＭＵデータ取得部２は、慣性計測装置ＩＭＵ_１～ＩＭＵ_３からそれぞれ出力されるデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）を入力する。ＩＭＵデータ取得部２は、入力されたＤ０_１～Ｄ０_ｎを統合したデータをデータＤ１＿ｉｍｕ（ｔ＋４）として取得し、取得したデータＤ１＿ｉｍｕ（ｔ＋４）をＩＭＵデータ変換部４に出力する。

ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕ（ｔ＋４）を入力する。また、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。ＩＭＵデータ変換部４は、ＩＭＵデータ取得部２から出力される３次元のデータＤ１＿ｉｍｕ（ｔ＋４）（例えば、各慣性計測装置ＩＭＵ_ｋにより取得された３次元空間ＳＰ内における角速度ベクトル（３次元データ））を、２次元のデータに変換する。具体的には、ＩＭＵデータ変換部４は、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとに基づいて、３次元空間（撮像空間）の３次元座標データ（３次元のデータＤ１＿ｉｍｕ（ｔ＋４））を、撮像装置Ｃａｍ１により撮像したときに得られるフレーム画像（２次元画像）上の２次元座標データに変換する。そして、ＩＭＵデータ変換部４は、３次元のデータＤ１＿ｉｍｕに対して、上記の３次元／２次元座標変換により取得したデータを、データＤ２＿ｉｍｕ（ｔ＋４）として、補間部３Ａに出力する。

補間部３Ａは、（１）時間ステップｔ＋４において取得したＩＭＵデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）から３次元座標－２次元座標変換した後のデータ（データＤ２＿ｉｍｕ（ｔ＋４））と、（２）記憶保持している、時間ステップｔ＋３の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の３次元座標位置データＰ_１ ^{（ｔ＋３）}～Ｐ_３ ^{（ｔ＋３）}とを用いて、時間ステップｔ＋４の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

具体的には、補間部３Ａは、時間ステップｔ＋１のときの処理と同様の処理により、時間ステップｔ＋４の慣性計測装置ＩＭＵ_１～ＩＭＵ_３の２次元座標位置データＰ_１ ^{（ｔ＋４）}～Ｐ_３ ^{（ｔ＋４）}を取得する。

そして、補間部３Ａは、時間ステップｔ＋１のときと同様の処理により、２Ｄポーズデータ（補間処理による２Ｄポーズデータ）を取得する。なお、時間ステップｔ＋４において、補間部３Ａが補間処理による取得する２Ｄポーズデータを２ＤポーズデータＰｏｓｅ＿２ｄＨ^{（ｔ＋４）}と表記する。つまり、補間部３Ａは、
ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}＝ｆ２（Ｐ_１ ^{（ｔ＋４）}，Ｐ_２ ^{（ｔ＋４）}，Ｐ_３ ^{（ｔ＋４）}，Ｐｏｓｅ＿２ｄ^{（ｔ＋３）}）
に相当する処理を実行することで、時間ステップｔ＋４の補間処理による２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}を取得する。

そして、補間部３Ａは、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、補間処理により取得した２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}とに対して、判定選択処理を行う（図２５のシーケンス図の時間ステップｔ＋４の処理）。

具体的には、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}とを比較し、両者の差が所定の範囲内であれば、補間処理の予測精度が高いと判断し、補間処理により取得した２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}を時間ステップｔ＋４の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋４）}として出力し、一方、両者の差が所定の範囲から外れている場合、補間処理の予測精度が低いと判断し、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}を時間ステップｔ＋４の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋４）}として出力する。

図２１に、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}との差が小さい場合を示す。また、図２２に、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}との差が大きい場合を示す。

図２１の場合、補間部３Ａは、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}とにおいて、対応するキーポイント間のベクトルのノルム（あるいは、ユークリッド距離）の総和の合計が所定の閾値よりも大きいか否かについての比較判定処理を行う。対応するキーポイント間のベクトルは、例えば、図２３に示すように、設定されるものとする。

すなわち、ｖｅｃ（ａ，ｂ）を、２次元画像上の点ａから点ｂへのベクトルとすると、対応するキーポイント間のベクトルは、以下の１５個のベクトルｖ_１～ｖ_１５である。
ｖ_１＝ｖｅｃ（ｋｐ_３，ｋｐ_２）
ｖ_２＝ｖｅｃ（ｋｐ_２，ｋｐ_１）
ｖ_３＝ｖｅｃ（ｋｐ_３，ｋｐ_５）
ｖ_４＝ｖｅｃ（ｋｐ_５，ｋｐ_６）
ｖ_５＝ｖｅｃ（ｋｐ_６，ｋｐ_７）
ｖ_６＝ｖｅｃ（ｋｐ_３，ｋｐ_４）
ｖ_７＝ｖｅｃ（ｋｐ_３，ｋｐ_１４）
ｖ_８＝ｖｅｃ（ｋｐ_１４，ｋｐ_１５）
ｖ_９＝ｖｅｃ（ｋｐ_１５，ｋｐ_１６）
ｖ_１０＝ｖｅｃ（ｋｐ_４，ｋｐ_８）
ｖ_１１＝ｖｅｃ（ｋｐ_８，ｋｐ_９）
ｖ_１２＝ｖｅｃ（ｋｐ_９，ｋｐ_１０）
ｖ_１３＝ｖｅｃ（ｋｐ_４，ｋｐ_１１）
ｖ_１４＝ｖｅｃ（ｋｐ_１１，ｋｐ_１２）
ｖ_１５＝ｖｅｃ（ｋｐ_１２，ｋｐ_１３）
なお、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}に対応するキーポイント間のベクトルをベクトルｖ_１～ｖ_１５とし、２ＤポーズデータＶ＿３ｄ^{（ｔ＋４）}に対応するキーポイント間のベクトルをベクトルｖ’_１～ｖ’_１５とする。

そして、補間部３Ａは、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}とにおいて、対応するキーポイント間のベクトルの差ベクトルのノルム（あるいは、ユークリッド距離）の総和の合計Ｅｖ（評価値Ｅｖ）を下記数式に相当する処理を実行することで取得する。

Ｍ：キーポイント間のベクトルの数
そして、補間部３Ａは、上記により取得した評価値Ｅｖを所定の閾値Ｔｈ２と比較する。なお、２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}と、２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}とに対する評価値ＥｖをＥｖ（ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}，Ｖ＿２ｄ^{（ｔ＋４）}）と標記する。
（１）Ｅｖ（ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}，Ｖ＿２ｄ^{（ｔ＋４）}）＞Ｔｈ２である場合、補間部３Ａは、ポーズデータ生成装置２００で実行されている補間処理の予測精度が低いと判断し、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}を時間ステップｔ＋４の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋４）}として出力する（例えば、図２２の場合）。
（２）Ｅｖ（ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}，Ｖ＿２ｄ^{（ｔ＋４）}）≦Ｔｈ２である場合、補間部３Ａは、ポーズデータ生成装置２００で実行されている補間処理の予測精度が高いと判断し、補間処理により取得した２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}を時間ステップｔ＋４の２ＤポーズデータＰｏｓｅ＿２ｄ^{（ｔ＋４）}として出力する（例えば、図２１の場合）。

以上のように処理することで、ポーズデータ生成装置２００では、フレーム画像が取得される時間ステップｔ＋４において、（１）フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}、および、（２）補間処理により取得した２ＤポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}の精度の高い方の２Ｄポーズデータを出力することができる。つまり、ポーズデータ生成装置２００は、フレーム画像が取得される時間ステップｔ＋４において、当該時間ステップまでに実行された補間処理の精度を検証することができ、補間処理の精度が悪い場合、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）から取得した２ＤポーズデータＶ＿２ｄ^{（ｔ＋４）}を出力する。したがって、ポーズデータ生成装置２００により取得される２Ｄポーズデータの精度を常に一定レベル以上に維持することができる。

≪時間ステップｔ＋５以降の処理≫
時間ステップｔ＋５以降、ポーズデータ生成システム２０００は、上記と同様の処理を繰り返し実行する。すなわち、フレーム画像が取得される時間ステップでは、時間ステップｔ＋４の処理と同様の処理が実行され、フレーム画像が取得されない時間ステップでは、時間ステップｔ＋１～ｔ＋３の処理と同様の処理が実行される。

以上のように、ポーズデータ生成システム２０００では、（１）撮像装置Ｃａｍ１によりフレーム画像が取得される時間ステップでは、撮像したフレーム画像に基づいて、２Ｄポーズデータを取得することができ、（２）フレーム画像が取得される時間ステップ間の期間（フレーム画像が取得されない期間）では、ＩＭＵデータを用いて前時間ステップから現時間ステップの３Ｄポーズデータを予測して補間する処理（上記補間処理）により、２Ｄポーズデータを取得することができる。したがって、ポーズデータ生成システム２０００では、撮像装置Ｃａｍ１によるフレーム画像の取得レート（フレームレート）が低い場合であっても、ＩＭＵデータを用いた上記補間処理により、高フレームレートの２Ｄポーズデータを取得することができる。つまり、ポーズデータ生成システム２０００では、高フレームレートの撮像装置を用いる必要がないので、低コストで実現でき、かつ、ＩＭＵデータを用いた補間処理により２Ｄポーズデータを取得できるので、高精度なポーズデータ（２Ｄポーズデータ）を取得することができる。

なお、第２実施形態のポーズデータ生成システム２０００において、第１実施形態の第１変形例と同様に、時系列フィルタを用いた処理により、補間処理を実現するようにしてもよい。具体的には、第２実施形態の補間部３Ａにおいて、運動方程式等で人の動作（または人の特定部位の移動）が表現（予測）できる場合、当該運動方程式等により予測したデータと、実際の観測データ（ＩＭＵデータから特定されるデータ）とを用いて、時系列フィルタ（例えば、カルマンフィルタ、拡張カルマンフィルタ、アンセンテッドカルマンフィルタ、パーティクルフィルタ等）を適用して、２Ｄポーズデータの補間処理を実行するようにしてもよい。

［第３実施形態］
次に、第３実施形態について説明する。第３実施形態では、ポーズデータ生成システムを用いたＣＧデータ生成システムを実現させる。

なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜３．１：ＣＧデータ生成システムの構成＞
図２６は、第３実施形態に係るＣＧデータ生成システム３０００の概略構成図である。

第３実施形態のＣＧデータ生成システム３０００は、図２６に示すように、被写体人物Ｓｕｂ１を撮影するための撮像装置Ｃａｍ１と、被写体人物Ｓｕｂ１に取り付けたｎ個（ｎ：自然数）の慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎと、ポーズデータ生成装置２００Ａと、２次元ＣＧデータ生成部Ｄｅｖ１と、３次元ＣＧデータ生成部Ｄｅｖ２とを備える。

撮像装置Ｃａｍ１、および、慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎは、第１実施形態、第２実施形態の撮像装置Ｃａｍ１、および、慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎと同様の構成、機能を有している。

ポーズデータ生成装置２００Ａは、第２実施形態のポーズデータ生成装置２００において、ＩＭＵデータ変換部４をＩＭＵデータ変換部４Ａに置換し、補間部３Ａを補間部３Ｂに置換した構成を有している。それ以外について、ポーズデータ生成装置２００Ａは、ポーズデータ生成装置２００と同様である。

ＩＭＵデータ変換部４Ａは、ＩＭＵデータ取得部２から出力される３次元データであるデータＤ１＿ｉｍｕを２次元データであるＤ２＿ｉｍｕに変換（３次元―２次元変換）したときの変換パラメータを含むデータをデータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍとして取得し、当該データＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍを２次元ＣＧデータ生成部Ｄｅｖ１に出力する。これに以外については、ＩＭＵデータ変換部４Ａは、ＩＭＵデータ変換部４と同様である。

補間部３Ｂは、補間処理に用いた、（１）３次元空間座標を特定するためのデータと、（２）２次元座標（２次元画像上の座標）を特定するためのデータとを含むデータをデータＩｎｆｏ＿ｃｒｄとして、２次元ＣＧデータ生成部Ｄｅｖ１に出力する。これに以外については、補間部３Ｂは、第２実施形態の補間部３Ａと同様である。なお、補間部３Ａは、出力データＤｏｕｔを２次元ＣＧデータ生成部Ｄｅｖ１に出力する。

２次元ＣＧデータ生成部Ｄｅｖ１は、（１）ポーズデータ生成装置２００Ａの補間部３Ｂから出力されるデータＤｏｕｔ（２次元のポーズデータ）および座標情報のデータＩｎｆｏ＿ｃｒｄと、（２）ＩＭＵデータ変換部４Ａから出力される３次元―２次元変換パラメータのデータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍと、（３）ＣＧ（コンピュータ・グラフィックス）のレンダリングに必要な情報（レンダリングに必要なパラメータ）Ｉｎｆｏ＿ｒｅｎｄｅｒと、（４）３次元ＣＧデータ生成部Ｄｅｖ２から出力される３次元ＣＧデータＤ＿ＣＧ＿３Ｄと、を入力する。なお、データＩｎｆｏ＿ｒｅｎｄｅｒは、ＣＧデータ生成システム３０００の外部から所定のインターフェースを介して入力されるものであってもよく、また、ＣＧデータ生成システム３０００の記憶部（不図示）に記憶保持されており、当該記憶部から入力されるものであってもよい。

２次元ＣＧデータ生成部Ｄｅｖ１は、座標情報のデータＩｎｆｏ＿ｃｒｄと、３次元―２次元変換パラメータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍと、レンダリングに必要なパラメータＩｎｆｏ＿ｒｅｎｄｅｒと、３次元ＣＧデータＤ＿ＣＧ＿３Ｄとに基づいて、２次元のポーズデータＤｏｕｔに対して、ＣＧデータを生成する処理を実行し、２次元ＣＧデータ（２次元ＣＧ画像を形成できるデータ）を生成し、生成した２次元ＣＧデータをデータＣＧ＿ｏｕｔとして出力する。

３次元ＣＧデータ生成部Ｄｅｖ２は、３次元のＣＧデータを生成し、生成した３次元ＣＧデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１に出力する。

＜３．２：ＣＧデータ生成システムの動作＞
以上のように構成されたＣＧデータ生成システム３０００の動作について、以下説明する。

本実施形態のポーズデータ生成装置２００Ａは、第２実施形態のポーズデータ生成装置２００と同様の処理を実行し、２次元のポーズデータＤｏｕｔを取得する。そして、ポーズデータ生成装置２００Ａは、取得した２次元ポーズデータＤｏｕｔを２次元ＣＧデータ生成部Ｄｅｖ１に出力する。

ＩＭＵデータ変換部４Ａは、ＩＭＵデータ取得部２から出力される３次元データであるデータＤ１＿ｉｍｕを２次元データであるＤ２＿ｉｍｕに変換（３次元―２次元変換）したときの変換パラメータを含むデータをデータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍとして取得し、当該データＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍを２次元ＣＧデータ生成部Ｄｅｖ１に出力する。

補間部３Ｂは、補間処理に用いた、（１）３次元空間座標を特定するためのデータと、（２）２次元座標（２次元画像上の座標）を特定するためのデータとを含むデータをデータＩｎｆｏ＿ｃｒｄとして、２次元ＣＧデータ生成部Ｄｅｖ１に出力する。

３次元ＣＧデータ生成部Ｄｅｖ２は、３次元のＣＧデータを生成し、生成した３次元ＣＧデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１に出力する。例えば、３次元ＣＧデータ生成部Ｄｅｖ２は、被写体人物Ｓｕｂ１の２次元ポーズデータから生成されえるＣＧオブジェクト（２次元ＣＧ画像）の背景に相当する３次元のＣＧデータをデータＤ＿ＣＧ＿３Ｄとして生成し、２次元ＣＧデータ生成部Ｄｅｖ１に出力する。なお、３次元ＣＤデータＤ＿ＣＧ＿３Ｄは、３次元ＣＧデータを生成したときの３次元空間を特定する座標情報、３次元ＣＧデータの各点の座標情報、テクスチャー等のレンダリングに必要なデータを含むものとする。

２次元ＣＧデータ生成部Ｄｅｖ１は、座標情報のデータＩｎｆｏ＿ｃｒｄと、３次元―２次元変換パラメータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍと、レンダリングに必要なパラメータＩｎｆｏ＿ｒｅｎｄｅｒと、３次元ＣＧデータＤ＿ＣＧ＿３Ｄとに基づいて、２次元のポーズデータＤｏｕｔに対して、ＣＧデータを生成する処理を実行し、２次元ＣＧデータ（２次元ＣＧ画像を形成できるデータ）を生成する。具体的には、２次元ＣＧデータ生成部Ｄｅｖ１は、座標情報のデータＩｎｆｏ＿ｃｒｄと、３次元―２次元変換パラメータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍと、レンダリングに必要なパラメータＩｎｆｏ＿ｒｅｎｄｅｒと、に基づいて、被写体人物Ｓｕｂ１に相当する２次元ＣＧデータを生成する。さらに、２次元ＣＧデータ生成部Ｄｅｖ１は、座標情報のデータＩｎｆｏ＿ｃｒｄと、３次元―２次元変換パラメータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍと、に基づいて、３次元ＣＤデータＤ＿ＣＧ＿３Ｄを、被写体人物Ｓｕｂ１に相当する２次元ＣＧデータと合成できるように処理し、３次元ＣＤデータＤ＿ＣＧ＿３Ｄに対応する２次元ＣＧデータを生成する。そして、２次元ＣＧデータ生成部Ｄｅｖ１は、上記により取得した、被写体人物Ｓｕｂ１に相当する２次元ＣＧデータと、３次元ＣＤデータＤ＿ＣＧ＿３Ｄに対応する２次元ＣＧデータ（例えば、背景のデータ）とを合成することで、２次元ＣＧデータＣＧ＿ｏｕｔを取得し、当該２次元ＣＧデータＣＧ＿ｏｕｔを出力する。

このように、第３実施形態のＣＧデータ生成システム３０００では、ポーズデータ生成装置２００Ａにより取得される２次元のポーズデータをＣＧ合成することで、２次元のポーズデータに対応する２次元ＣＧ画像を取得することができる。

なお、ＣＧデータ生成システム３０００において、３次元のＩＭＵデータを２次元のＩＭＵデータに変換したときの３次元―２次元変換処理のパラメータを、３次元ＣＧデータを２次元ＣＧデータに変換するときの３次元―２次元変換処理のパラメータと一致させるようにしてもよい。このようにすることで、３次元―２次元変換処理を共通にすることができ、３次元―２次元変換処理を簡易化することが可能となる。

［第４実施形態］
次に、第４実施形態について説明する。第４実施形態では、ポーズデータ生成システムを用いたＣＧデータ生成システムを実現させる。

なお、上記実施形態（変形例を含む）と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜４．１：ＣＧデータ生成システムの構成＞
図２７は、第４実施形態に係るＣＧデータ生成システム４０００の概略構成図である。

第４実施形態のＣＧデータ生成システム４０００は、図２７に示すように、被写体人物Ｓｕｂ１を撮影するための撮像装置Ｃａｍ１と、被写体人物Ｓｕｂ１に取り付けたｎ個（ｎ：自然数）の慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎと、ポーズデータ生成装置２００Ｂと、３次元ＣＧデータ生成部Ｄｅｖ２Ａと、２次元ＣＧデータ生成部Ｄｅｖ１Ａとを備える。

撮像装置Ｃａｍ１、および、慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎは、第１実施形態、第２実施形態の撮像装置Ｃａｍ１、および、慣性計測装置ＩＭＵ_１～ＩＭＵ_ｎと同様の構成、機能を有している。

ポーズデータ生成装置２００Ｂは、第２実施形態のポーズデータ生成装置２００において、ＩＭＵデータ変換部４を削除し、補間部３Ａを補間部３Ｃに置換し、誤差取得部５と、２Ｄ－３Ｄ変換部６とを追加した構成を有している。

補間部３Ｃは、２Ｄ－３Ｄ変換部６から出力される誤差データｅｒｒ＿３Ｄと、ＩＭＵデータ取得部２から出力されるデータＤ１＿ｉｍｕとを入力する。また、補間部３Ｃは、撮像装置Ｃａｍ１が撮像する３次元空間（撮像空間）に関する情報Ｉｎｆｏ＿ｓｐａｃｅと、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍとを入力する。
（１）補間部３Ｃは、フレーム画像データが取得された時間ステップであって、初期化処理を行う時間ステップにおいて、画像ベースポーズデータ取得部１Ａから出力されるデータＤ１＿ｐｏｓｅ＿２Ｄを２Ｄ－３Ｄ変換部６により２Ｄ－３Ｄ変換されたデータｅｒｒ＿３Ｄ（データＤ１＿ｐｏｓｅ＿２Ｄに対応する３Ｄデータ）を入力し、入力された当該データを出力データＤｏｕｔ（３次元ポーズデータＤｏｕｔ）として出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（２）補間部３Ｃは、フレーム画像データが取得されていない時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３Ｃが記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ１＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータを取得する。そして、補間部３Ｃは、取得した補間処理後のポーズデータを出力データＤｏｕｔとして出力するとともに、当該出力データＤｏｕｔを記憶保持する。
（３）補間部３Ｃは、フレーム画像データが取得された時間ステップであって、初期化処理を実行しない時間ステップにおいて、撮像空間に関する情報Ｉｎｆｏ＿ｓｐａｃｅ、および、撮像装置Ｃａｍ１の撮影パラメータＩｎｆｏ＿ｃａｍ＿ｐｒｍに基づいて、補間部３Ｃが記憶保持している３次元ポーズデータＤｏｕｔと、現時間ステップにおいて取得されたデータＤ１＿ｉｍｕとを用いて、補間処理を実行することで、補間処理後のポーズデータＰｏｓｅＨ＿３ｄを取得する。そして、補間部３Ｃは、取得した補間処理後のポーズデータを出力データＤｏｕｔとして出力する。さらに、補間部３Ｃは、２Ｄ－３Ｄ変換部６から入力した誤差データｅｒｒ＿３Ｄと、補間処理後のポーズデータＰｏｓｅＨ＿３ｄとを用いて、補間処理後のポーズデータＰｏｓｅＨ＿３ｄを誤差データｅｒｒ＿３Ｄにより修正する処理（誤差修正処理）を実行することで、修正処理後のポーズデータをポーズデータＰｏｓｅ＿３ｄとして取得する。そして、補間部３Ｃは、取得したポーズデータＰｏｓｅ＿３ｄを出力データＤｏｕｔとして、３次元ＣＧデータ生成部Ｄｅｖ２に出力するとともに、当該出力データＤｏｕｔを記憶保持する。

また、補間部３Ｃは、補間処理に用いた、３次元空間座標を特定するためのデータを含むデータをデータＩｎｆｏ＿ｃｒｄとして、３次元ＣＧデータ生成部Ｄｅｖ２Ａに出力する。

誤差取得部５は、画像ベースポーズデータ取得部１Ａから出力されるデータＤ１＿ｐｏｓｅ＿２Ｄ（２次元のポーズデータ）と、２次元ＣＧデータ生成部Ｄｅｖ１Ａから出力されるデータＤ２＿ｐｏｓｅ＿２Ｄ（２次元のポーズデータ）とを入力する。誤差取得部５は、データＤ１＿ｐｏｓｅ＿２Ｄから、データＤ２＿ｐｏｓｅ＿２Ｄを減算する処理、すなわち、
ｅｒｒ＿２Ｄ＝Ｄ１＿ｐｏｓｅ＿２Ｄ－Ｄ２＿ｐｏｓｅ＿２Ｄ
に相当する処理を実行することで、２次元のポーズデータの誤差データｅｒｒ＿２Ｄを取得する。そして、誤差取得部５は、取得した２次元のポーズデータの誤差データｅｒｒ＿２Ｄを２Ｄ－３Ｄ変換部６に出力する。

２Ｄ－３Ｄ変換部６は、誤差取得部５から出力される誤差データｅｒｒ＿２Ｄと、２次元ＣＧデータ生成部Ｄｅｖ１Ａから出力される３次元－２次元変換処理のパラメータを含むデータＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍとを入力する。２Ｄ－３Ｄ変換部６は、誤差データｅｒｒ＿２Ｄに対して、データＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍに基づいて、２次元ＣＧデータ生成部Ｄｅｖ１Ａで実行された２Ｄ－３Ｄ変換の逆変換（３Ｄ－２Ｄ変換）を実行することで、２次元の誤差データｅｒｒ＿２Ｄに対応する３次元の誤差データｅｒｒ＿３Ｄを取得する。そして、２Ｄ－３Ｄ変換部６は、取得した３次元の誤差データｅｒｒ＿３Ｄを補間部３Ｃに出力する。

３次元ＣＧデータ生成部Ｄｅｖ２Ａは、補間部３Ｃから出力されるデータＩｎｆｏ＿ｃｒｄと、補間部３Ｃから出力されるデータＤｏｕｔとを入力する。また、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、ＣＧ（コンピュータ・グラフィックス）のレンダリングに必要な情報（レンダリングに必要なパラメータ）Ｉｎｆｏ＿ｒｅｎｄｅｒを入力する。なお、ＣＧ（コンピュータ・グラフィックス）のレンダリングに必要な情報（レンダリングに必要なパラメータ）であるデータＩｎｆｏ＿ｒｅｎｄｅｒは、ＣＧデータ生成システム４０００の外部から所定のインターフェースを介して入力されるものであってもよく、また、ＣＧデータ生成システム４０００の記憶部（不図示）に記憶保持されており、当該記憶部から入力されるものであってもよい。また、データＩｎｆｏ＿ｒｅｎｄｅｒは、３次元ＣＧデータ生成部Ｄｅｖ２Ａに、予め記憶保持されているものであってもよい。

３次元ＣＧデータ生成部Ｄｅｖ２Ａは、３次元のポーズデータであるデータＤｏｕｔに対して、データＩｎｆｏ＿ｒｅｎｄｅｒ、および、データＩｎｆｏ＿ｃｒｄに基づいて、ＣＧデータ生成処理を実行することで、３次元ＣＧデータを取得する。そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、取得した３次元ＣＧデータと、３次元ポーズデータＤｏｕｔとを含むデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１Ａに出力する。

２次元ＣＧデータ生成部Ｄｅｖ１Ａは、３次元ＣＧデータ生成部Ｄｅｖ２Ａから出力されるデータＤ＿ＣＧ＿３Ｄを入力する。２次元ＣＧデータ生成部Ｄｅｖ１Ａは、データＤ＿ＣＧ＿３Ｄに含まれる３次元ＣＧデータに対して、３次元―２次元変換を行うことで、２次元ＣＧデータＣＧ＿ｏｕｔを生成する。そして、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、生成した２次元ＣＧ＿ｏｕｔを出力する。

また、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、データＤ＿ＣＧ＿３Ｄに含まれる３次元ポーズデータに対して、３次元―２次元変換を行うことで、２次元ポーズデータを取得する。そして、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、取得した２次元ポーズデータを含むデータをデータＤ２＿ｐｏｓｅ＿２Ｄとして、ポーズデータ生成装置２００Ｂの誤差取得部５に出力する。

＜４．２：ＣＧデータ生成システムの動作＞
以上のように構成されたＣＧデータ生成システム４０００の動作について、以下説明する。

図２８、図２９は、ＣＧデータ生成システム４０００で実行される処理のシーケンス図である。図２８、図２９において、「ＰｏｓｅＤａｔａ１」で示した欄は、フレーム画像データを用いた処理により取得されるポーズデータを示しており、「ＰｏｓｅＤａｔａ２」で示した欄は、補間処理により取得されるポーズデータを示している。

以下、図２８、図２９を参照しながら、ＣＧデータ生成システム４０００の動作について説明する。なお、上記実施形態と同様の部分については、詳細な説明を省略する。

≪時間ステップｔの処理≫
時間ステップｔにおいて、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ）を取得する。フレーム画像データＤ＿ｉｍｇ（ｔ）により形成される画像（フレーム画像）は、例えば、図１６の上左図に示す画像Ｉｍｇ１である。

画像ベースポーズデータ取得部１Ａは、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ）を入力し、当該フレーム画像データＤ＿ｉｍｇ（ｔ）から、２次元ポーズデータを取得する処理を実行し、２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^（ｔ））を取得する。

そして、２Ｄポーズデータ取得部１Ａは、取得した２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^（ｔ））を誤差取得部５に出力する。

誤差取得部５は、画像ベースポーズデータ取得部１Ａから出力されるデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^（ｔ））から、２次元ＣＧデータ生成部Ｄｅｖ１Ａから出力されるデータＤ２＿ｐｏｓｅ＿２Ｄを減算する処理、すなわち、
ｅｒｒ＿２Ｄ＝Ｄ１＿ｐｏｓｅ＿２Ｄ－Ｄ２＿ｐｏｓｅ＿２Ｄ
に相当する処理を実行する。時刻ｔにおいては、初期化処理を実行するので、データＤ２＿ｐｏｓｅ＿２Ｄは「０」（あるいは、無入力）であるので、
ｅｒｒ＿２Ｄ＝Ｄ１＿ｐｏｓｅ＿２Ｄ
である。

誤差取得部５は、上記により取得した２次元ポーズデータの誤差データｅｒｒ＿２Ｄ（＝Ｄ１＿ｐｏｓｅ＿２Ｄ＝Ｖ＿２ｄ^（ｔ））を２Ｄ－３Ｄ変換部６に出力する。

２Ｄ－３Ｄ変換部６は、誤差データｅｒｒ＿２Ｄ（＝Ｖ＿２ｄ^（ｔ））に対して、データＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍに基づいて、２次元ＣＧデータ生成部Ｄｅｖ１Ａで実行される２Ｄ－３Ｄ変換の逆変換（３Ｄ－２Ｄ変換）を実行することで、２次元の誤差データｅｒｒ＿２Ｄに対応する３次元の誤差データｅｒｒ＿３Ｄ（＝Ｐｏｓｅ＿３ｄ^（ｔ））を取得する。そして、２Ｄ－３Ｄ変換部６は、取得した３次元の誤差データｅｒｒ＿３Ｄ（＝Ｐｏｓｅ＿３ｄ^（ｔ））を補間部３Ｃに出力する。

補間部３Ｃは、時間ステップｔが、フレーム画像データが取得された時間ステップであって、初期化処理を行う時間ステップであるので、２Ｄ－３Ｄ変換部６から入力されたデータｅｒｒ＿３Ｄ（＝Ｐｏｓｅ＿３ｄ^（ｔ））を、出力データＤｏｕｔ（３次元ポーズデータＤｏｕｔ）として、３次元ＣＧデータ生成部Ｄｅｖ２Ａに出力するとともに、当該出力データＤｏｕｔを記憶保持する。また、補間部３Ｃは、補間部３Ｃでの処理（補間処理等）に用いる３次元空間座標を特定するためのデータを含むデータをデータＩｎｆｏ＿ｃｒｄとして、３次元ＣＧデータ生成部Ｄｅｖ２Ａに出力する。

３次元ＣＧデータ生成部Ｄｅｖ２Ａは、補間部３Ｃから出力されるデータＩｎｆｏ＿ｃｒｄと、補間部３Ｃから出力されるデータＤｏｕｔとを入力する。また、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、ＣＧ（コンピュータ・グラフィックス）のレンダリングに必要な情報（レンダリングに必要なパラメータ）Ｉｎｆｏ＿ｒｅｎｄｅｒを入力する。

そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、３次元のポーズデータであるデータＤｏｕｔ（＝Ｐｏｓｅ＿３ｄ^（ｔ））に対して、データＩｎｆｏ＿ｒｅｎｄｅｒ、および、データＩｎｆｏ＿ｃｒｄに基づいて、ＣＧデータ生成処理を実行することで、３次元ＣＧデータを取得する。そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、取得した３次元ＣＧデータと、３次元ポーズデータＤｏｕｔ（＝Ｐｏｓｅ＿３ｄ^（ｔ））とを含むデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１Ａに出力する。

２次元ＣＧデータ生成部Ｄｅｖ１Ａは、３次元ＣＧデータ生成部Ｄｅｖ２Ａから出力されるデータＤ＿ＣＧ＿３Ｄを入力する。２次元ＣＧデータ生成部Ｄｅｖ１Ａは、データＤ＿ＣＧ＿３Ｄに含まれる３次元ＣＧデータに対して、３次元―２次元変換を行うことで、２次元ＣＧデータＣＧ＿ｏｕｔを生成する。そして、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、生成した２次元ＣＧ＿ｏｕｔを出力する。

≪時間ステップｔ＋１～ｔ＋３の処理≫
時間ステップｔ＋１～ｔ＋３の各時間ステップにおいて、ＣＧデータ生成システム４０００では、第１実施形態（変形例を含む）と同様の処理（時間ステップｔ＋１～ｔ＋３の処理の各時間ステップの処理）が実行され、３次元ポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}～Ｐｏｓｅ＿３ｄ^{（ｔ＋３）}が取得される。そして、ＣＧデータ生成システム４０００では、３次元ポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋１）}～Ｐｏｓｅ＿３ｄ^{（ｔ＋３）}を用いて、上記と同様に、３次元ＣＧデータ生成部Ｄｅｖ２Ａでの処理、２次元ＣＧデータ生成部Ｄｅｖ１Ａでの処理が実行されることで、２次元ＣＧデータＣＧ＿ｏｕｔが取得される。

≪時間ステップｔ＋４の処理≫
時間ステップｔ＋４において、時間ステップｔ＋１～ｔ＋３の処理と同様に、慣性計測装置ＩＭＵ_１～ＩＭＵ_３は、それぞれ、ＩＭＵデータＤ０_１（ｔ＋４）～Ｄ０_３（ｔ＋４）を取得し、取得したＩＭＵデータをポーズデータ生成装置２００ＢのＩＭＵデータ取得部２に送信する。そして、補間部３Ｃは、時間ステップｔ＋１～ｔ＋３の処理と同様の補間処理を実行し、補間処理後の３次元ポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を取得する。そして、補間部３Ｃは、補間処理後の３次元ポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を、データＤｏｕｔとして、３次元ＣＧデータ生成部Ｄｅｖ２Ａに出力する。

３次元ＣＧデータ生成部Ｄｅｖ２Ａは、補間部３Ｃから出力されるデータＩｎｆｏ＿ｃｒｄと、補間部３Ｃから出力されるデータＤｏｕｔ（＝ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}）とを入力する。また、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、ＣＧ（コンピュータ・グラフィックス）のレンダリングに必要な情報（レンダリングに必要なパラメータ）Ｉｎｆｏ＿ｒｅｎｄｅｒを入力する。

そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、３次元のポーズデータであるデータＤｏｕｔ（＝ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}）に対して、データＩｎｆｏ＿ｒｅｎｄｅｒ、および、データＩｎｆｏ＿ｃｒｄに基づいて、ＣＧデータ生成処理を実行することで、３次元ＣＧデータを取得する。そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、取得した３次元ＣＧデータと、３次元ポーズデータＤｏｕｔ（＝ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}）とを含むデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１Ａに出力する。

２次元ＣＧデータ生成部Ｄｅｖ１Ａは、３次元ＣＧデータ生成部Ｄｅｖ２Ａから出力されるデータＤ＿ＣＧ＿３Ｄを入力する。２次元ＣＧデータ生成部Ｄｅｖ１Ａは、データＤ＿ＣＧ＿３Ｄに含まれる３次元ＣＧデータに対して、３次元―２次元変換を行うことで、２次元ＣＧデータＣＧ＿ｏｕｔを生成するとともに、データＤ＿ＣＧ＿３Ｄに含まれる３次元ポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}に対して、３次元―２次元変換を行うことで、２次元ポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}を取得する。そして、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、取得した２次元ポーズデータＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}を含むデータをデータＤ２＿ｐｏｓｅ＿２Ｄとして、ポーズデータ生成装置２００Ｂの誤差取得部５に出力する。

また、時間ステップｔ＋４において、撮像装置Ｃａｍ１により、被写体人物Ｓｕｂ１を含む３次元空間（撮像空間ＳＰ１）を撮像することで、フレーム画像データＤ＿ｉｍｇ（ｔ＋４）を取得する。

画像ベースポーズデータ取得部１Ａは、時間ステップｔのときの処理と同様の処理を実行し、撮像装置Ｃａｍ１から出力されるフレーム画像データＤ＿ｉｍｇ（ｔ＋４）から、２次元ポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（ｔ＋４）（＝Ｖ＿２ｄ^{（ｔ＋４）}）を取得する。

そして、２Ｄポーズデータ取得部１Ａは、取得した２次元のポーズデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^{（ｔ＋４）}）を誤差取得部５に出力する。

誤差取得部５は、画像ベースポーズデータ取得部１Ａから出力されるデータＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^{（ｔ＋４）}）と、２次元ＣＧデータ生成部Ｄｅｖ１Ａから出力されるデータＤ２＿ｐｏｓｅ＿２Ｄ（＝ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}）とを入力する。誤差取得部５は、データＤ１＿ｐｏｓｅ＿２Ｄ（＝Ｖ＿２ｄ^{（ｔ＋４）}）から、データＤ２＿ｐｏｓｅ＿２Ｄ（＝ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}）を減算する処理、すなわち、
ｅｒｒ＿２Ｄ＝Ｄ１＿ｐｏｓｅ＿２Ｄ－Ｄ２＿ｐｏｓｅ＿２Ｄ
（ｅｒｒ＿２ｄ^{（ｔ＋４）}＝Ｖ＿２ｄ^{（ｔ＋４）}―ＰｏｓｅＨ＿２ｄ^{（ｔ＋４）}）
に相当する処理を実行することで、２次元のポーズデータの誤差データｅｒｒ＿２Ｄ（＝ｅｒｒ＿２ｄ^{（ｔ＋４）}）を取得する。そして、誤差取得部５は、取得した２次元のポーズデータの誤差データｅｒｒ＿２Ｄ（＝ｅｒｒ＿２ｄ^{（ｔ＋４）}）を２Ｄ－３Ｄ変換部６に出力する。

２Ｄ－３Ｄ変換部６は、誤差データｅｒｒ＿２Ｄ（＝ｅｒｒ＿２ｄ^{（ｔ＋４）}）に対して、データＩｎｆｏ＿３Ｄ－２Ｄ＿ｃｏｎｖ＿ｐｒｍに基づいて、２次元ＣＧデータ生成部Ｄｅｖ１Ａで実行される２Ｄ－３Ｄ変換の逆変換（３Ｄ－２Ｄ変換）を実行することで、２次元の誤差データｅｒｒ＿２Ｄに対応する３次元の誤差データｅｒｒ＿３Ｄ（＝ｅｒｒ＿３ｄ^{（ｔ＋４）}）を取得する。そして、２Ｄ－３Ｄ変換部６は、取得した３次元の誤差データｅｒｒ＿３Ｄ（＝ｅｒｒ＿３ｄ^{（ｔ＋４）}）を補間部３Ｃに出力する。

補間部３Ｃは、２Ｄ－３Ｄ変換部６から入力した誤差データｅｒｒ＿３Ｄ（＝ｅｒｒ＿３ｄ^{（ｔ＋４）}）と、補間処理後のポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}とを用いて、補間処理後のポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}を誤差データｅｒｒ＿３Ｄ（＝ｅｒｒ＿３ｄ^{（ｔ＋４）}）により修正する処理（誤差修正処理）を実行する。例えば、補間部３Ｃは、補間処理後のポーズデータＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}と、画像ベースポーズデータ取得部１Ａにより取得された２次元ポーズデータＶ＿２ｄ^{（ｔ＋４）}に対応する３次元ポーズデータＶ＿３ｄ^{（ｔ＋４）}（２次元ポーズデータＶ＿２ｄ^{（ｔ＋４）}を２次元－３次元変換して取得される３次元ポーズデータＶ＿３ｄ^{（ｔ＋４）}）に近づくように、誤差データｅｒｒ＿３Ｄ（＝ｅｒｒ＿３ｄ^{（ｔ＋４）}）を減算する処理（誤差が少なくなるにする処理）を実行することで、誤差修正処理を実行する。例えば、補間部３Ｃは、
Ｐｏｓｅ＿３ｄ^{（ｔ＋４）}＝ＰｏｓｅＨ＿３ｄ^{（ｔ＋４）}－ｋ１×ｅｒｒ＿３ｄ^{（ｔ＋４）}
ｋ１：係数
に相当する処理を実行することで、誤差修正処理を実行する。

そして、補間部３Ｃは、誤差修正処理により取得した誤差修正処理後のポーズデータＰｏｓｅ＿３ｄ^{（ｔ＋４）}を出力データＤｏｕｔとして、３次元ＣＧデータ生成部Ｄｅｖ２に出力するとともに、当該出力データＤｏｕｔを記憶保持する。

３次元ＣＧデータ生成部Ｄｅｖ２Ａは、補間部３Ｃから出力される３次元ポーズデータＤｏｕｔ（＝Ｐｏｓｅ＿３ｄ^{（ｔ＋４）}）に対して、データＩｎｆｏ＿ｒｅｎｄｅｒ、および、データＩｎｆｏ＿ｃｒｄに基づいて、ＣＧデータ生成処理を実行することで、３次元ＣＧデータを取得する。そして、３次元ＣＧデータ生成部Ｄｅｖ２Ａは、取得した３次元ＣＧデータと、３次元ポーズデータＤｏｕｔ（＝Ｐｏｓｅ＿３ｄ^{（ｔ＋４）}）とを含むデータをデータＤ＿ＣＧ＿３Ｄとして、２次元ＣＧデータ生成部Ｄｅｖ１Ａに出力する。

２次元ＣＧデータ生成部Ｄｅｖ１Ａは、３次元ＣＧデータ生成部Ｄｅｖ２Ａから出力されるデータＤ＿ＣＧ＿３Ｄを入力する。２次元ＣＧデータ生成部Ｄｅｖ１Ａは、データＤ＿ＣＧ＿３Ｄに含まれる３次元ＣＧデータに対して、３次元―２次元変換を行うことで、２次元ＣＧデータＣＧ＿ｏｕｔを生成する。そして、２次元ＣＧデータ生成部Ｄｅｖ１Ａは、生成した２次元ＣＧ＿ｏｕｔを出力する。

≪時間ステップｔ＋５以降の処理≫
時間ステップｔ＋５以降、ＣＧデータ生成システム４０００は、上記と同様の処理を繰り返し実行する。すなわち、フレーム画像が取得される時間ステップでは、時間ステップｔ＋４の処理と同様の処理が実行され、フレーム画像が取得されない時間ステップでは、時間ステップｔ＋１～ｔ＋３の処理と同様の処理が実行される。

以上のように、ＣＧデータ生成システム４０００では、撮像装置Ｃａｍ１によりフレーム画像が取得される時間ステップでは、撮像したフレーム画像と、ＩＭＵデータからの補間処理、３次元ＣＧデータ生成処理、および、２次元ＣＧデータ生成処理により取得される２次元ポーズデータとの誤差データを用いて、ＩＭＵデータから補間処理により取得される３次元ポーズデータに対して、誤差修正処理を実行する。これにより、ＣＧデータ生成システム４０００では、誤差修正処理後の３次元ポーズデータを取得することができる。つまり、ＣＧデータ生成システム４０００では、フレーム画像が取得される時間ステップで、上記誤差修正処理を行うので、さらに、高精度の３次元ポーズデータを取得することができ、さらに、当該３次元ポーズデータを用いて３次元ＣＧデータ生成処理、２次元ＣＧデータ生成処理を行うことで、高精度のＣＧデータを生成することができる。

また、ＣＧデータ生成システム４０００では、上記実施形態（変形例を含む）と同様に、フレーム画像が取得される時間ステップ間の期間（フレーム画像が取得されない期間）では、ＩＭＵデータを用いて前時間ステップから現時間ステップの３Ｄポーズデータを予測して補間する処理（上記補間処理）により、３Ｄポーズデータを取得することができる。したがって、ＣＧデータ生成システム４０００では、撮像装置Ｃａｍ１によるフレーム画像の取得レート（フレームレート）が低い場合であっても、ＩＭＵデータを用いた上記補間処理により、高フレームレートの３Ｄポーズデータを取得することができる。

なお、ＣＧデータ生成システム４０００において、フレーム画像が取得される時間ステップであり、かつ、初期化処理を実行する時間ステップにおいて、被写体人物Ｓｕｂ１が、容易に３次元ポーズデータを推定することができる予め決めたポーズをとるようにしてもよい。このようにすることで、初期化処理時の被写体人物Ｓｕｂ１のポーズと、ＣＧデータ生成システム４０００で取得される３次元ポーズデータとの誤差がゼロ、あるいは、極小にすることができる。その結果、ＣＧデータ生成システム４０００では、さらに高精度な３次元ポーズデータを取得することができる。

［他の実施形態］
上記実施形態（変形例を含む）では、画像ベースポーズデータ取得部において、フレーム画像データからポーズデータ（画像ベースポーズデータ）を取得するときに、単独のフレーム画像を用いて処理する場合について説明したが、これに限定されることはない。例えば、ポーズデータ取得部において、複数のフレーム画像（例えば、時系列に連続する複数のフレーム画像）を用いて、フレーム画像データからポーズデータ（画像ベースポーズデータ）を取得する処理（例えば、ニューラルネットワークによる処理）を実行することで、ポーズデータ（画像ベースポーズデータ）を取得するようにしてもよい。なお、ポーズデータ（画像ベースポーズデータ）が取得されるタイミングとＩＭＵデータが取得されるタイミングがずれる場合、ポーズデータ生成装置において、例えば、ＩＭＵデータを遅延させて、両者のタイミングを一致させるようにして、補間処理等を実行するようにすればよい。

また、上記実施形態（変形例を含む）では、慣性計測装置の数が「３」である場合について、説明したが、これに限定されることはなく、慣性計測装置は、３以外の数であってもよい。また、慣性計測装置の設置位置も上記実施形態（変形例を含む）の場合に限定されることはなく、慣性計測装置は、処理対象（例えば、人）の任意の部位に取り付けてもよい。

また、第１実施形態（変形例を含む）のポーズデータ生成システムにおいて、ポーズデータ生成装置の後段に、３次元ＣＧデータ生成部を設け、３次元ポーズデータから、３次元ＣＧデータを取得（生成）するようにしてもよい。

また、上記実施形態（変形例を含む）における座標系の設定例は一例であり、上記に限定されるものではない。また、デカルト座標系ではなく、他の座標系（例えば、極座標系）を用いても良い。

また、上記実施形態で説明したポーズデータ生成システム、ＣＧデータシステム、ポーズデータ生成装置の各ブロック（各機能部）は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、上記実施形態で説明したポーズデータ生成システム、ＣＧデータシステム、ポーズデータ生成装置の各ブロック（各機能部）は、複数のＬＳＩなどの半導体装置により実現されるものであってもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図３０に示したハードウェア構成（例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。

ここに開示される要素の機能は、当該開示される要素を実行するように構成された、あるいは当該開示される機能を実行するようにプログラミングされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（「特定用途向け集積回路」）、従来の回路構成及び／またはそれらの組み合わせを含む回路構成あるいは処理回路構成が用いられて実装されてもよい。プロセッサは、それが、その中にトランジスタ及び他の回路構成を含むとき、処理回路構成あるいは回路構成として見なされる。本開示において、回路構成、ユニットあるいは手段は、挙げられた機能を実行するハードウェア、あるいは当該機能を実行するようにプログラミングされたハードウェアである。ハードウェアは、挙げられた機能を実行するようにプログラミングされた、あるいは当該機能を実行するように構成された、ここで開示されるいかなるハードウェアあるいは既知の他のものであってもよい。ハードウェアが、あるタイプの回路構成として見なされるかもしれないプロセッサであるとき、回路構成、手段あるいはユニットは、ハードウェアとソフトウェアの組み合わせ、ハードウェアを構成するために用いられるソフトウェア及び／またはプロセッサである。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００、２０００ ポーズデータ生成システム
３０００、４０００ ＣＧデータ生成システム
１００、２００、２００Ａ、２００Ｂ ポーズデータ生成装置
１、１Ａ 画像ベースポーズデータ取得部
２ ＩＭＵデータ取得部
３、３Ａ、３Ｂ 補間部
４、４Ａ ＩＭＵデータ変換部
５ 誤差取得部
６ ２Ｄ－３Ｄ変換部
ＩＭＵ_１～ＩＭＵ_ｎ 慣性計測装置

Claims (11)

1. 時間ステップｔ（ｔ：整数）において３次元空間内の被写体を撮像することで取得される画像データから、前記被写体の姿勢情報を含むデータである画像ベースポーズデータを取得する画像ベースポーズデータ取得部と、
   前記被写体の異なる位置に取り付けられた複数の慣性計測装置から出力されるデータであって、前記被写体に取り付けられた前記慣性計測装置の３次元空間内での位置データ、変位データ、速度データ、加速度データ、角速度データの少なくとも１つを含むデータであるＩＭＵデータを取得するＩＭＵデータ取得処理部と、
   時間ステップｔに取得された前記画像データの次に画像データが取得されるタイミングを時間ステップｔ＋ｋ（ｋ：自然数）とすると、時間ステップｔよりも後で、かつ、時間ステップｔ＋ｋよりも前の期間である第１期間において、前記画像ベースポーズデータ取得部により時刻ｔに取得された前記画像データを用いて取得された前記画像ベースポーズデータと、前記第１期間において前記ＩＭＵデータ取得処理部により取得された前記ＩＭＵデータとに基づいて補間処理を行うことで、前記被写体のポーズデータの補間データである補間ポーズデータを取得する補間部と、
   を備えるポーズデータ生成装置。
2. 前記画像ベースポーズデータ取得部は、前記画像データから、３次元データである前記画像ベースポーズデータを取得する、
   請求項１に記載のポーズデータ生成装置。
3. 前記画像ベースポーズデータ取得部は、前記画像データから、２次元データである前記画像ベースポーズデータを取得し、
   前記ＩＭＵデータは、３次元データであり、
   前記ＩＭＵデータ取得処理部は、３次元データである前記ＩＭＵデータに対して、３次元－２次元変換処理を実行することで、２次元データであるＩＭＵデータを取得する、
   請求項１に記載のポーズデータ生成装置。
4. 前記画像ベースポーズデータ取得部は、前記画像データから、２次元データである前記画像ベースポーズデータを取得し、
   前記ＩＭＵデータは、３次元データであり、
   前記補間ポーズデータは、３次元データであり、
   ３次元データである前記補間ポーズデータを２次元に変換したデータである２次元補間ポーズデータと、前記画像ベースポーズデータとの誤差を含むデータである２次元誤差データを取得する誤差取得部と、
   前記２次元誤差データを３次元に変換することで、３次元誤差データを取得する２Ｄ／３Ｄ変換部と、
   をさらに備え、
   前記補間部は、前記補間ポーズデータに対して、前記３次元誤差データに基づく誤差を修正する処理を行うことで、誤差修正処理後の補間ポーズデータを取得する、
   請求項１に記載のポーズデータ生成装置。
5. 前記画像ベースポーズデータ取得部は、
   ポーズデータ生成装置により生成されるポーズデータのフレームレートをＲ_１ｆｐｓ（Ｒ_１：実数、ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）とすると、０．５×Ｒ_１ｆｐｓ以下のフレームレートで取得される前記画像データから前記画像ベースポーズデータを取得する、
   請求項１から４のいずれかに記載のポーズデータ生成装置。
6. 前記補間部は、
   前記画像データが取得される時間ステップにおいて、前記画像データから取得された前記画像ベースポーズデータと、前記補間処理により取得された前記補間ポーズデータとを比較し、
   （１）前記画像データから取得された前記画像ベースポーズデータと、前記補間処理により取得された前記補間ポーズデータとの差が所定の閾値よりも大きい場合、前記画像データから取得された前記画像ベースポーズデータを前記ポーズデータ生成装置からの出力データとし、
   （２）前記画像データから取得された前記画像ベースポーズデータと、前記補間処理により取得された前記補間ポーズデータとの差が所定の閾値以下である場合、前記補間処理により取得された前記補間ポーズデータを前記ポーズデータ生成装置からの出力データとする、
   請求項１から３のいずれかに記載のポーズデータ生成装置。
7. 前記補間部は、時系列フィルタを用いた処理を実行することで前記補間処理を実行する、
   請求項１から６のいずれかに記載のポーズデータ生成装置。
8. 請求項３に記載のポーズデータ生成装置と、
   ３次元ＣＧデータから２次元ＣＧデータを生成するとともに、２次元のポーズデータから２次元ＣＧデータを生成するＣＧデータ生成部と、
   を備えるＣＧデータ生成システムであって、
   前記ＣＧデータ生成部は、
   前記ＩＭＵデータ取得処理部が２次元データであるＩＭＵデータを取得するための３次元―２次元変換処理に用いた変換パラメータに基づいて、３次元ＣＧデータを２次元ＣＧデータに変換する処理を実行することで、２次元合成用ＣＧデータを取得し、取得した前記２次元合成用ＣＧデータを前記２次元のポーズデータから生成された２次元ＣＧデータを合成することで、出力用ＣＧデータを取得する、
   ＣＧデータ生成システム。
9. 請求項４に記載のポーズデータ生成装置と、
   ３次元のポーズデータに基づいて、ＣＧ処理を行うことで、３次元ＣＧデータを生成する３次元ＣＧデータ生成部と、
   前記３次元ＣＧデータ生成部により生成された３次元ＣＧデータを２次元に変換する３Ｄ／２Ｄ変換処理を実行することで、２次元ＣＧデータを取得する２次元ＣＧデータ生成部と、
   を備え、
   前記誤差取得部は、前記２次元ＣＧデータ生成部により取得される前記２次元ＣＧデータに対応する２次元ポーズデータを前記２次元補間ポーズデータとして、当該２次元補間ポーズデータと、前記画像ベースポーズデータとの誤差を含むデータである２次元誤差データを取得する、
   ＣＧデータ生成システム。
10. 時間ステップｔ（ｔ：整数）において３次元空間内の被写体を撮像することで取得される画像データから、前記被写体の姿勢情報を含むデータである画像ベースポーズデータを取得する画像ベースポーズデータ取得ステップと、
    前記被写体の異なる位置に取り付けられた複数の慣性計測装置から出力されるデータであって、前記被写体に取り付けられた前記慣性計測装置の３次元空間内での位置データ、変位データ、速度データ、加速度データ、角速度データの少なくとも１つを含むデータであるＩＭＵデータを取得するＩＭＵデータ取得処理ステップと、
    時間ステップｔに取得された前記画像データの次に画像データが取得されるタイミングを時間ステップｔ＋ｋ（ｋ：自然数）とすると、時間ステップｔよりも後で、かつ、時間ステップｔ＋ｋよりも前の期間である第１期間において、前記画像ベースポーズデータ取得ステップにより時刻ｔに取得された前記画像データを用いて取得された前記画像ベースポーズデータと、前記第１期間において前記ＩＭＵデータ取得処理ステップにより取得された前記ＩＭＵデータとを用いて補間処理を行うことで、前記被写体のポーズデータの補間データである補間ポーズデータを取得する補間ステップと、
    を備えるポーズデータ生成方法。
11. 請求項１０に記載のポーズデータ生成方法をコンピュータに実行させるためのプログラム。
    
    

Images