JPWO2018207388A1 - モーションキャプチャに関するプログラム、装置および方法 - Google Patents

Abstract

【課題】 人物等のオブジェクトの動作を撮影した２次元動画に基づいて３次元動画を作成することができる、モーションキャプチャに関するプログラム、装置および方法を提供する。【解決手段】 ２次元動画を構成する所定のフレーム画像を取得するフレーム画像取得部３１と、フレーム画像内のパーツを特定する２次元パーツ特定部３２と、フレーム画像内のジョイントの位置を特定する２次元ジョイント位置特定部３３と、３次元オブジェクトモデルの縮尺を決定する縮尺決定部３４と、３次元オブジェクトモデルの基準パーツの位置および方向を整合させる基準パーツ整合部３６と、３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合部３７と、３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向をジョイントの自由度に応じて整合させるパーツ整合部３８とを有する。

Description

本発明は、モーションキャプチャの技術に関し、特に人物等のオブジェクトの動作に係る２次元動画を３次元データ化して３次元動画を作成するモーションキャプチャに係るプログラム、装置および方法に関するものである。

モーションキャプチャ技術は、オブジェクトの動作を３次元データ化して記録するものであり、スポーツ分野、医療分野およびエンターテイメント分野等において広く利用されている。例えば、スポーツ分野では、スポーツ選手の動作を３次元データ化して動作を詳細に解析し、技術の向上や怪我の防止などに用いられている。また、医療分野では、身体的なリハビリテーションにおいて、リハビリテーション前後の動作を３次元データ化することで、効果的なリハビリ方法の選択や快復への進捗状況の確認などに用いられている。さらに、エンターテイメント分野では、映画やゲームにおいて、実際の人間が演じた動作を３次元データ化し、その３次元データにコンピュータグラフィックによって作成したキャラクターを当てはめることで、前記キャラクターに人間のようなスムーズな動作をさせるために用いられている。

このようなモーションキャプチャ技術に関するものとして、例えば、特開２０１７−５３７３９号公報では、マーカーを装着したオブジェクトと、角度の異なる位置に配置し、前記マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、複数のカメラの撮影情報よりマーカーの３次元時系列位置情報を得る画像処理装置とを備えたモーションキャプチャシステムが提案されている（特許文献１）。この他にも、ジャイロセンサや加速度計等の各種センサをオブジェクトに装着させ、前記各種センサにより計測された数値から動作をデータ化する方法等がある。

特開２０１７−５３７３９号公報

しかしながら、特許文献１に記載された発明など、従来のモーションキャプチャ技術や方法では、オブジェクトに対してマーカーや各種センサーを装着しなければならない。このため競技中のスポーツ選手に装着させることはコンマ数秒の世界における繊細な動作を争う競技においては実質的に不可能である。また、特許文献１に記載された発明のように複数台のカメラを使用する方法では、撮影可能な範囲が限られるため、スキー競技などの屋外競技に利用する場合には莫大な費用が必要となる。したがって、従来のモーションキャプチャ技術では、オブジェクトの動作が制限されており、マーカーの動きが取得しやすい条件下での動作しか３次元データ化できておらず、競技中の動作を３次元データ化することができない。

ところで、スポーツ分野では、ビデオカメラなどにより２次元動画を撮影し、その動画をチェックしながら技術の分析や技術指導などが行われている。しかし、一台のビデオカメラでは１方向から撮影した情報しか得られず、同じ姿勢であっても撮影される方向によって異なる姿勢に見えるため、錯覚することがある。例えば、図１５はスキー選手の右ターン中の同じ姿勢を正面、左前方および右前方から見たものであるが、図１５（ａ）および図１５（ｂ）に示すように、下腿部の姿勢は本来ハの字である。しかし、図１５（ｃ）に示すように、右前方から見た場合、下腿部の姿勢は左右平行のように見える。このように、一方向から撮影された２次元動画だけでは、競技中の姿勢および動作を誤って把握することがある。よって、実際に競技を行っているスポーツ選手の３次元の動画が取得できれば、適宜、見る方向を変えながら分析や検討することが可能となり、利用価値は極めて高い。

本発明は、以上のような問題点を解決するためになされたものであって、人物等のオブジェクトの動作を撮影した２次元動画に基づいて前記オブジェクトに関する３次元動画を作成することができる、モーションキャプチャプログラム、モーションキャプチャ装置およびモーションキャプチャ方法を提供することを目的としている。

本発明に係るモーションキャプチャ装置およびモーションキャプチャプログラムは、オブジェクトの動作を撮影した２次元動画から前記オブジェクトに関する３次元動画を作成するという課題を解決するために、オブジェクトの動作を撮影した２次元動画に基づいて、前記オブジェクトを構成する複数のパーツおよび各パーツ同士を連結するジョイントからなる３次元オブジェクトモデルを使って前記オブジェクトに関する３次元動画を作成するモーションキャプチャ装置およびモーションキャプチャプログラムであって、前記２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するフレーム画像取得部と、前記フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する２次元パーツ特定部と、前記２次元オブジェクトのジョイントの位置を特定する２次元ジョイント位置特定部と、前記２次元オブジェクトの大きさに合わせて前記３次元オブジェクトモデルの縮尺を決定する縮尺決定部と、前記２次元パーツ特定部により特定された前記２次元オブジェクトの所定のパーツに対して、前記３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる基準パーツ整合部と、前記２次元ジョイント位置特定部により特定された前記２次元オブジェクトのジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合部と、前記２次元オブジェクトにおける前記基準パーツに対応するパーツ以外の各パーツに対して、前記基準パーツを整合させた後の前記３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させるパーツ整合部とを有する。

また、本発明の一態様として、フレーム画像内の２次元オブジェクトに３次元オブジェクトモデルを整合させる時間の短縮を図るとともに整合の精度を向上させるという課題を解決するために、前記オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルが記憶されている３次元オブジェクトモデル記憶部から前記フレーム画像内の前記２次元オブジェクトに整合させる３次元オブジェクトモデルを取得するモデル取得部を有するようにしてもよい。

さらに、本発明の一態様として、フレーム画像内の２次元オブジェクトに３次元オブジェクトモデルを整合させる時間の短縮を図るとともに整合の精度を向上させるという課題を解決するために、前記オブジェクトが人物または動物の場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの骨盤を前記基準パーツとして設定されていてもよい。

また、本発明の一態様として、フレーム画像内の２次元オブジェクトに３次元オブジェクトモデルを整合させる時間の短縮を図るとともに整合の精度を向上させるという課題を解決するために、前記オブジェクトが人物または動物の場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの頭部を前記基準パーツとして設定されていてもよい。

さらに、本発明の一態様として、フレーム画像内の２次元オブジェクトに３次元オブジェクトモデルを整合させる時間の短縮を図るとともに整合の精度を向上させるという課題を解決するために、前記オブジェクトが用具を装着している場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの前記用具を基準パーツとして設定されていてもよい。

また、本発明の一態様として、フレーム画像内の２次元オブジェクトに３次元オブジェクトモデルを整合させる時間の短縮を図るとともに整合の精度を向上させるという課題を解決するために、前記オブジェクトが用具を装着している場合、前記縮尺決定部では、前記用具の大きさに合わせて縮尺を決定するようにしてもよい。

本発明に係るモーションキャプチャ方法は、オブジェクトの動作を撮影した２次元動画から前記オブジェクトに関する３次元動画を作成するという課題を解決するために、オブジェクトの動作を撮影した２次元動画に基づいて、前記オブジェクトを構成する複数のパーツおよび各パーツ同士を連結するジョイントからなる３次元オブジェクトモデルを使って前記オブジェクトに関する３次元動画を作成するモーションキャプチャ方法であって、前記２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するフレーム画像取得ステップと、前記フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する２次元パーツ特定ステップと、前記２次元オブジェクトのジョイントの位置を特定する２次元ジョイント位置特定ステップと、前記２次元オブジェクトの大きさに合わせて前記３次元オブジェクトモデルの縮尺を決定する縮尺決定ステップと、前記２次元パーツ特定ステップにより特定された前記２次元オブジェクトの所定のパーツに対して、前記３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる基準パーツ整合ステップと、前記２次元ジョイント位置特定ステップにより特定された前記２次元オブジェクトのジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合ステップと、前記２次元オブジェクトにおける前記基準パーツに対応するパーツ以外の各パーツに対して、前記基準パーツを整合させた後の前記３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させるパーツ整合ステップとを有する。

本発明によれば、オブジェクトの動作を撮影した２次元動画に基づいて前記オブジェクトに関する３次元動画を作成することができる。

本発明に係るモーションキャプチャ装置の一実施形態を示すブロック図である。 本実施形態において２次元動画を構成する一フレーム画像内の２次元オブジェクトを示す画像である。 本実施形態における３次元オブジェクトモデルおよびこれを構成する各パーツの名称の一例を示すコンピュータグラフィック図である。 本実施形態においてスキー選手モデルの各パーツの長さ比率を設定するために使用した欧米人の身体データの統計値を示す模式図である。 本実施形態における３次元オブジェクトモデルの各ジョイントの名称を示すコンピュータグラフィック図である。 スキー競技の１つのターンにおける基本的な姿勢を示す模式図である。 本実施形態における左ターン中の基本姿勢として設定された様々な３次元オブジェクトモデルの一例を示す図である。 本実施形態における右ターン中の基本姿勢として設定された様々な３次元オブジェクトモデルの一例を示す図である。 本実施形態のモーションキャプチャ方法の処理工程を示すフローチャートである。 本実施形態における直立姿勢の３次元オブジェクトモデルとその基準パーツを示す斜視図である。 本実施形態における３次元オブジェクトモデルの基準パーツ（骨盤）をフレーム画像内の２次元オブジェクトに重ね合わせた状態を示す画像である。 本実施形態における３次元オブジェクトモデルの大腿をフレーム画像内の２次元オブジェクトに重ね合わせた状態を示す画像である。 本実施形態における３次元オブジェクトモデルの全てのパーツをフレーム画像内の２次元オブジェクトに重ね合わせた状態およびその３次元オブジェクトモデルの姿勢を示す画像である。 本実施形態における整合された３次元オブジェクトモデルを背後から見た状態を時系列に並べた３次元動画の例を示す画像である。 スキー選手の右ターン中の同じ姿勢を（ａ）正面、（ｂ）左前方および（ｃ）右前方から見た状態を示す模式図である。

以下、本発明に係るモーションキャプチャプログラム、モーションキャプチャ装置およびモーションキャプチャ方法の一実施形態について図面を用いて説明する。

本実施形態のモーションキャプチャ装置１は、オブジェクトの動作を撮影した２次元動画に基づいて前記オブジェクトに関する３次元動画を作成するための装置であり、図１に示すように、主として、モーションキャプチャプログラム１ａおよび各種データを記憶する記憶手段２と、この記憶手段２から各種データを取得して演算処理を実行する演算処理手段３とを有する。以下、各構成の詳細について説明する。

記憶手段２は、ＲＯＭ、ＲＡＭ、ハードディスク、フラッシュメモリ等によって構成されており、各種のデータを記憶するとともに、演算処理手段３が演算を実行する際のワーキングエリアとして機能するものである。図１に示すように、本実施形態における記憶手段２は、主に、モーションキャプチャプログラム１ａを記憶するプログラム記憶部２１と、オブジェクトの動作を撮影した２次元動画を記憶する２次元動画記憶部２２と、前記オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルを記憶させる３次元オブジェクトモデル記憶部２３と、２次元動画と整合させた３次元オブジェクトモデルを時系列で並べて作成される３次元動画を記憶する３次元動画記憶部２４とを有する。

プログラム記憶部２１には、本実施形態のモーションキャプチャプログラム１ａがインストールされている。そして、演算処理手段３が、前記モーションキャプチャプログラム１ａを実行し、後述する演算処理手段３の各構成部として機能させることにより、コンピュータをモーションキャプチャ装置１として機能させるようになっている。

なお、モーションキャプチャプログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ−ＲＯＭやＵＳＢメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体にモーションキャプチャプログラム１ａを記憶させておき、この記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（application service provider）方式等で利用してもよい。

２次元動画記憶部２２には、オブジェクトの動作を撮影した２次元動画が記憶されており、本実施形態では、前記２次元動画を構成する複数のフレーム画像が記憶されている。具体的には、例えばスキー競技を撮影した２次元動画に関して、１秒当たり３０コマのフレーム画像が記憶されている。また、フレーム画像内にはオブジェクトを撮影することで得られる２次元オブジェクトを備えている。ここで２次元オブジェクトとは、フレーム画像内において３次元動画を作成する対象物である。オブジェクトの例としては、人物、動物、ロボット、キャラクター、用具等の各種のものが挙げられる。本実施形態では、図２に示すように、フレーム画像内のスキー選手およびこのスキー選手が装着するスキー板の部分がフレーム画像内の２次元オブジェクトに該当する。

３次元オブジェクトモデル記憶部２３には、フレーム画像内の２次元オブジェクトに整合させるための３次元オブジェクトモデルが記憶されており、本実施形態では、前記オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルが記憶されている。

ここで、３次元オブジェクトモデルについて説明する。３次元オブジェクトモデルは、フレーム画像内の２次元オブジェクトに整合させるための３次元モデルである。この３次元オブジェクトモデルはＣＡＤソフトやコンピュータグラフィックに用いられる剛体モデリングソフト等によって作成される。本実施形態の３次元オブジェクトモデルは、スキー競技を撮影した２次元動画のフレーム画像内のスキー選手およびスキー板に整合させるため、図３に示すように、スキー選手モデルと、当該スキー選手が装着しているスキー板モデルとから構成されている。

スキー選手モデルは、人物の主な構成に合わせて、頭部、胴部、骨盤、左上腕、左前腕、左手部、右上腕、右前腕、右手部、左大腿、左下腿、左足部、右大腿、右下腿および右足部の合計１５個のパーツから構成されている。

本実施形態では、複数のスキー選手の２次元動画に整合させるため、スキー選手モデルにおける各パーツの長さ比率は、図４に示すように、欧米人の身体データの統計値（R.Contini著、"Body Segment Parameters, PartII"、Artificial Limbs 16, (1972), pp.1-19.）に基づき設定している。なお、各パーツの長さやその比率は、整合させる対象が特定されている場合は、その対象のデータ、例えばスキー選手の場合はその選手の実際の体型に基づいて設定してもよい。

また、３次元オブジェクトモデルは、各パーツがジョイントによって連結されており、各ジョイントには曲がる方向を示す自由度が設定されている。例えばスキー選手モデルでは、図５に示すように、頭部と胴部とを連結する首関節、胴部と左右の上腕とを連結する肩関節、上腕と前腕とを連結する肘関節、前腕と手部とを連結する手関節、胴部と左右の大腿とを連結する股関節、大腿と下腿とを連結する膝関節、および、下腿と足部とを連結する足関節を有する。

また、各ジョイントの自由度は、人間の関節の自由度に基づいて設定されている。具体的には、表１に示すように、首関節には自由度３が設定されており、前後方向、左右方向および回転方向にジョイントが動かせるようになっている。また、肩関節、股関節も同様に、前後方向、左右方向および回転方向に動かせるように自由度３が設定されている。手関節は、手首関節の自由度２と、前腕の回内・回外の自由度１とを合わせて自由度３が設定されている。さらに、肘関節および膝関節は、曲げ伸ばしのみの動きであるため自由度１が設定されている。一方、人間の足関節は前後方向および左右方向に動かせるため、その自由度は２であるが、スキー選手は足関節がスキーブーツで覆われることにより左右方向への移動が制限されており、前後方向の曲げ伸ばしに限定される。よって、本実施形態におけるスキー選手モデルの足関節の自由度は、自由度１に設定している。このように、ジョイントの自由度は、オブジェクトが装着する用具やオブジェクトの動作の制約等に合わせて自由に設定可能である。

［表１］

また、スキー板モデルは、図３に示すように、長さ方向に対して分割された８個のパーツとビンディングプレートに係る１個のパーツとして構成されており、左右一対であることから合計１８個のパーツから構成されている。また、スキー板モデルの長さは、複数のスキー選手の２次元動画に対して整合させるため、ＦＩＳ（国際スキー連盟）のアルペンスキー用具規格に基づき設定されている。なお、スキー板モデル等、オブジェクトが装着している用具の長さは、規格に基づいて設定されるものに限定されず、その対象のデータ、例えば、スキー選手が装着している実際のスキーの長さ寸法に基づいて設定してもよい。

また、スキー板モデルの各パーツはジョイントで連結されており、スキー板の先端側または後端側が上下方向に反り返るたわみを表現できるように、その反る方向に対して自由度１が設定されている。

さらに、スキー板モデルのスキー板部分とビンディングプレート、ビンディングプレートとスキー選手モデルの足部とは、２次元モデルにおいてそれぞれ固定されているため、３次元オブジェクトモデルにおけるこれらのジョイントの自由度は、自由度０に設定されている。

また、本実施形態における３次元オブジェクトモデル記憶部２３には、前記オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルが記憶されている。スキー競技の場合、１つのターンにおいて、図６に示すように、主に、ターンの切り換え時であるニュートラル姿勢、斜面に対してスキーのエッジを立てるエッジングといわれる動作を開始するエッジング開始姿勢、前記エッジを立てる角度や体をターン方向に傾斜させる角度が最も大きくなるターンマキシマム姿勢、前記エッジングを終了するエッチング終了姿勢がある。そこで、本実施形態では、これらのターン時の姿勢を基本姿勢として、図７および図８に示すように、各種の３次元オブジェクトモデルを設定している。なお、図７および図８に示す複数の３次元オブジェクトモデルの基本姿勢は一例であり、各基本姿勢同士の間にはその中間姿勢となる複数の基本姿勢が設定されている。

３次元動画記憶部２４は、フレーム画像ごとに整合された３次元オブジェクトモデルをフレーム画像と同じ時系列順で表示可能なデータとして作成された３次元動画を記憶するものである。本実施形態における３次元動画記憶部２４は、３次元動画とともに、３次元オブジェクトモデルにおける所定のジョイントの角度を、フレーム画像の順と同じ時系列で記憶するようになっている。

つぎに、演算処理手段３について説明する。演算処理手段３は、ＣＰＵ（Central Processing Unit）等から構成されており、記憶手段２にインストールされたモーションキャプチャプログラム１ａを実行させることにより、図１に示すように、モーションキャプチャ装置１としてのコンピュータを、フレーム画像取得部３１、２次元パーツ特定部３２、２次元ジョイント位置特定部３３、モデル取得部３４、縮尺決定部３５、基準パーツ整合部３６、ジョイント位置整合部３７、パーツ整合部３８および３次元動画作成部３９として機能させるようになっている。

フレーム画像取得部３１は、２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するものであり、本実施形態では、２次元動画記憶部２２に記憶されているフレーム画像を２次元動画の時系列にしたがって取得するようになっている。

２次元パーツ特定部３２は、フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定するものである。本実施形態では、フレーム画像内のどの部分が頭部、胴部、骨盤、左上腕、左前腕、左手部、右上腕、右前腕、右手部、左大腿、左下腿、左足部、右大腿、右下腿、右脚部およびスキー部分に相当するかを識別して特定するようになっている。本実施形態における２次元パーツ特定部３２は、ディープラーニングによる画像認識技術や顔認証に用いられる画像認識技術等を用いて、各パーツを特定するとともに、特定された各パーツに係る部分（範囲）を示すフレーム画像内における位置座標を取得するようになっている。これにより、各パーツのフレーム画像内における位置および大きさに関するデータを得ることができる。

２次元ジョイント位置特定部３３は、フレーム画像内の２次元オブジェクトのジョイントの位置を特定するものである。本実施形態における２次元ジョイント位置特定部３３は、２次元パーツ特定部３２と同様、ディープラーニングによる画像認識技術や顔認証に用いられる画像認識技術等を用いて２次元オブジェクトのジョイントの位置座標を取得するようになっている。なお、ジョイント位置を特定する方法は、画像認識技術に限定されるものではなく、例えば、２次元パーツ特定部３２により特定された各パーツの境界をジョイント位置として特定してもよい。

モデル取得部３４は、３次元オブジェクトモデル記憶部２３から、フレーム画像内の２次元オブジェクトに整合させる３次元オブジェクトモデルを取得するものである。また、本実施形態におけるモデル取得部３４は、整合時間の短縮や整合精度を向上させるため、図７および図８に示すように、オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルからフレーム画像内の２次元オブジェクトに対する整合に適した３次元オブジェクトモデルを等を用いて判別し、取得するようになっている。この際、解析的に求まらない最適解を試行錯誤的に収束解として獲得する進化的アルゴリズム（Evolutionary Algorithm：EA）に基づくＡＩ（人工知能）技術等を利用する。前記進化的アルゴリズムは、特別な理論的背景なしで、人間が手作業でマッチさせる作業と同様のプロセスで自動的に各パーツのマッチングを行うことができるアルゴリズムの一つであり、遺伝的アルゴリズム（Genetic Algorithm、：GA）、遺伝的プログラミング（Genetic Programming：GP）、進化戦略（Evolution Strategy：ES）、進化的プログラミング（Evolutionary Programming：EP）等が利用可能である。

２次元オブジェクトに対する整合に最も適しているか否かの判別方法は、特に限定されるものではないが、例えば、フレーム画像内から２次元オブジェクト部分とその他の部分とを２値化し、前記２次元オブジェクト部分から算出された面積値と、３次元オブジェクトモデルの所定の方向から投影された面積値とを比較して差分値の小さいものを適していると判別してもよい。あるいは２次元オブジェクトにおける所定のパーツ同士の距離と３次元オブジェクトモデルの対応するパーツ同士の距離との差分値から判別してもよい。または、取得された３次元オブジェクトモデルをフレーム画像の２次元オブジェクトを整合させる際に、前記３次元オブジェクトモデルにおける所定のパーツの移動量や移動角度が所定値以上になった場合に、異なる３次元オブジェクトモデルを再取得するようにしてもよい。さらに、直前の整合に用いられた３次元オブジェクトモデルをそのまま用いてもよい。また、前記３次元オブジェクトモデルを用いた場合の整合に係る処理時間が所定の時間よりも長くなった場合には、予め定めておいた順に従って次の基本姿勢に係る３次元オブジェクトモデルを取得するようにしてもよい。

縮尺決定部３５は、２次元オブジェクトの全体の大きさまたは任意に選択されたパーツの大きさに合わせて３次元オブジェクトモデルの縮尺を決定するものである。本実施形態では、オブジェクトが人物に係るスキー選手であるため、２次元パーツ特定部３２により特定された骨盤部分に係る位置座標から当該骨盤の大きさを算出し、３次元オブジェクトモデルの骨盤をその大きさに合わせることで３次元オブジェクトモデルの縮尺を決定するようになっている。

なお、３次元オブジェクトモデルの縮尺を決定する基準となるパーツは、骨盤などの人物または動物の一部のパーツに限定されるものではなく、適宜、オブジェクトの特徴に応じて選択してよい。例えば、オブジェクトが用具を装着している場合には、その用具の大きさに合わせて縮尺を決定してもよい。本実施形態では、上述のとおり、スキー選手が足部にスキーを装着しており、当該スキーの寸法はＦＩＳの規格に基づきほぼ一定の寸法を有しているため、フレーム画像内のスキー部分の大きさを基準にすることにより縮尺の精度向上が期待される。また、２次元オブジェクトの全体の大きさに合わせる場合には、フレーム画像内から２次元オブジェクト部分とその他の部分とを２値化し、２値化した前記２次元オブジェクト全体の大きさに合わせて３次元オブジェクトモデルの縮尺を決定してもよい。

基準パーツ整合部３６は進化的アルゴリズムに基づくＡＩ技術等を用いることにより、２次元パーツ特定部３２によって特定された２次元オブジェクトの所定のパーツに対して、３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させるものである。本実施形態では、基準パーツとして３次元オブジェクトモデルの骨盤を採用している。骨盤は人物または動物の動作の中心となる部分であり、かつ体の中心位置にあって画像認識技術において特定し易く、他のパーツに比べて捻りや傾き等が少ないため、位置および方向を整合し易く、整合時間の短縮や整合精度の向上が期待できる。

なお、基準パーツは、骨盤に限定されるものではなく、パーツの特徴やオブジェクトの動作の特徴に応じて適宜選択してもよい。例えば、頭部は、人物の各パーツにおいて特徴的な球状パーツであるため、他のパーツに比べて画像認識技術によって特定し易い。また、頭部は目、鼻、口等があるため方向も合わせ易い。よって、基準パーツとして頭部を採用しても整合時間の短縮や整合精度の向上が期待できる。また、オブジェクトが用具を装着している場合には、前記用具を基準パーツとしてもよい。用具は、色や形などから人物等と区別が容易であって画像認識技術により特定し易いからである。また、スキー板やゴルフクラブ等の長尺状の用具やテニスラケット等の打撃面がある用具は、傾斜角度や傾斜面の方向が判別し易い。よって、用具を基準パーツとする場合も、整合時間の短縮や整合精度の向上が期待できる。

ジョイント位置整合部３７は、２次元ジョイント位置特定部３３により特定された２次元オブジェクトの各ジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるものである。本実施形態におけるジョイント位置整合部３７は、前記２次元オブジェクトのジョイント位置座標に対して、３次元オブジェクトモデルを構成する各ジョイント位置を整合させるようになっている。

パーツ整合部３８は、進化的アルゴリズムに基づくＡＩ技術等を用いて、２次元オブジェクトに対して、基準パーツを整合させた後の３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向をジョイントの自由度に応じて整合させるものである。本実施形態におけるパーツ整合部３８は、基準パーツ整合部３６またはパーツ整合部３８により位置および方向が整合されたパーツに連結されている他のパーツを、それらを連結するジョイントにおける自由度に応じて屈曲させて、前記パーツの位置および方向を整合させるようになっている。つまり、パーツ整合部３８では、各パーツの位置および方向をジョイントの自由度の条件下で整合させるため、３次元オブジェクトモデルが現実のオブジェクトではあり得ない姿勢になるのを防ぐことができる。

３次元動画作成部３９は、フレーム画像ごとに整合された３次元オブジェクトモデルをフレーム画像の順と同じ時系列で連続的に表示可能なデータとして３次元動画を作成するものである。本実施形態における３次元動画作成部３９は、３次元オブジェクトモデルに対する視点を任意に設定することで、当該視点に基づく３次元オブジェクトモデルの動画を作成し、３次元動画記憶部２４に記憶するようになっている。また、３次元動画作成部３９は、３次元オブジェクトモデルにおける所定のジョイントの角度について、フレーム画像の順と同じ時系列で取得し、前記３次元動画記憶部２４に記憶するようになっている。

つぎに、本実施形態のモーションキャプチャプログラム１ａおよびモーションキャプチャ装置１における各構成の作用について、モーションキャプチャ方法とともに説明する。

本実施形態のモーションキャプチャ方法では、図９に示すように、２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得する（フレーム画像取得ステップＳ１）。本実施形態では、フレーム画像取得部３１が、２次元動画記憶部２２に記憶されている複数のフレーム画像を適切な間隔で時系列順に取得する。

そして、取得したフレーム画像内の２次元オブジェクトに対して、３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する（２次元パーツ特定ステップＳ２）。本実施形態では、２次元パーツ特定部３２が、ディープラーニングなどによる画像認識技術等によってフレーム画像のいずれの部分（範囲）が３次元オブジェクトモデルを構成する各パーツのいずれのパーツに相当するかを特定し、その部分の位置座標を取得する。

そして、取得したフレーム画像内の２次元オブジェクトに対して、２次元オブジェクトのジョイントの位置を特定する（２次元ジョイント位置特定ステップＳ３）。本実施形態では、２次元ジョイント位置特定部３３が、ディープラーニングなどによる画像認識技術等によってフレーム画像のいずれの部分がジョイントの位置に相当するかを特定し、その位置の位置座標を取得する。

つぎに、取得されたフレーム画像に対して３次元オブジェクトモデルを整合させる。具体的には、フレーム画像内の前記２次元オブジェクトに整合させる３次元オブジェクトモデルを取得する（モデル取得ステップＳ４）。本実施形態では、モデル取得部３４が、２値化された２次元オブジェクトと３次元オブジェクトモデルの所定の方向からの投影面積との差分値等に基づき、３次元オブジェクトモデル記憶部２３に記憶されている複数の３次元オブジェクトモデルから、フレーム画像内の２次元オブジェクトに対する整合に最も適した基本姿勢として設定された３次元オブジェクトモデルを取得する。このように、フレーム画像内の２次元オブジェクトの姿勢に近い３次元オブジェクトモデルを用いることで、整合に係る時間の短縮および整合精度の向上を図ることができる。

なお、以下において、整合前と整合後の３次元オブジェクトモデルの各パーツの変化をわかり易くするため、２次元オブジェクトに対する整合に最も適している３次元オブジェクトモデルが、図１０に示すように、直立した姿勢の３次元オブジェクトモデルであった場合を例に説明する。

まずは２次元オブジェクトの大きさに合わせて３次元オブジェクトモデルの縮尺を決定する（縮尺決定ステップＳ５）。本実施形態では、縮尺決定部３５が、２次元パーツ特定部３２によって骨盤と特定されたフレーム画像内の所定の部分の位置座標からフレーム画面上における骨盤の大きさを算出し、３次元オブジェクトモデルの骨盤を前記算出された骨盤の大きさに合わせることで縮尺を決定する。

つぎに、２次元オブジェクトに対して、３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる（基準パーツ整合ステップＳ６）。本実施形態では、図１０に示すように、３次元オブジェクトモデルの骨盤を基準パーツとしている。よって、基準パーツ整合部３６は、進化的アルゴリズムに基づくＡＩ技術等を用いて、図１１に示すように、３次元オブジェクトモデルの骨盤を２次元パーツ特定部３２が骨盤として特定した部分に重ね合わせることでその位置および方向を整合させる。骨盤は、画像認識技術等において特定し易く、他のパーツに比べて捻りや傾き等が少ないため、整合に係る時間の短縮を図ることができるとともに整合の精度を向上させることができる。

基準パーツの整合処理が終了すると、その後、２次元オブジェクトの特定された各ジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させる（ジョイント位置整合ステップＳ７）。本実施形態では、ジョイント位置整合部３７が、例えば、２次元ジョイント位置特定部３３により特定された膝関節の位置座標に合わせて、基準パーツに連結された大腿の膝関節の位置を整合させる。

そして、２次元オブジェクトの特定された各パーツに対して、基準パーツを整合させた後の３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させる（パーツ整合ステップＳ８）。本実施形態では、パーツ整合部３８が、進化的アルゴリズムに基づくＡＩ技術等を用いて、図１２に示すように、基準パーツ整合部３６により位置および方向が整合された骨盤に連結されている大腿を、それらを連結する股関節における自由度３の条件下で屈曲させて、前記大腿の位置および方向を整合させる。ここで大腿は、股関節の自由度の条件下で屈曲されるため、実際の関節の動きでは取り得ない姿勢になることはない。

そして、パーツ整合部３８が、全てのパーツの整合処理が終了したか否かを判別する（パーツ整合終了判別ステップＳ９）。ここで、全てのパーツの整合処理が終了していない場合は（Ｓ９：ＮＯ）、ジョイント位置整合ステップＳ６に戻って、全てのパーツの整合処理が終了するまで各処理を繰り返す。そして、全てのパーツの整合処理が終了した場合は（Ｓ９：ＹＥＳ）、１つのフレーム画像に対する整合処理が終了する。これにより、図１３に示すように、取得したフレーム画像の２次元オブジェクトに対する３次元オブジェクトモデルの姿勢が決定する。

つぎに、フレーム画像取得部３１が、全てのフレーム画像の整合処理が終了したか否かを判別する（全フレーム整合終了判別ステップＳ１０）。ここで、全てのフレーム画像の整合処理が終了していない場合は（Ｓ１０：ＮＯ）、フレーム画像取得ステップＳ１に戻って、全てのフレーム画像の整合が終了するまで処理を繰り返す。そして、全てのフレーム画像の整合処理が終了した場合は（Ｓ１０：ＹＥＳ）、当該２次元動画に対する整合処理を終了する。

２次元動画に対する全てのフレーム画像の整合処理が終了すると、３次元動画作成部３９が、各フレーム画像ごとに整合された３次元オブジェクトモデルを時系列に並べることにより表示可能な３次元動画を作成し、３次元動画記憶部２４に記憶する（３次元動画作成ステップＳ１１）。例えば、３次元動画の視点をスキー選手の背後から見た状態に設定すれば、図１４に示すように、ニュートラル姿勢から左ターンを行い再びニュートラル姿勢から右ターンを行う一連の動作を真後ろから追いかけるような動画として見ることができる。よって、模範的な動作を行う選手の背面から見た３次元動画を作成できれば、そのターン姿勢を参考にしつつ自らの姿勢の良否をチェックすることも可能になり、有用なトレーニングの一つとなり得る。

最後に、３次元動画作成部３９が、３次元オブジェクトモデルにおける所定のジョイントの角度について、フレーム画像の順と同じ時系列で取得し、３次元動画記憶部２４に記憶する（ジョイント角度取得ステップＳ１２）。例えば、３次元オブジェクトモデルの股関節や膝関節の角度についての時系列データを取得する。これにより選手の全体的な姿勢のみならず、大腿および下腿からなる下肢部分の屈伸にかかる角度変化量や仕事量等を算出することができる。よって、模範的な動作を行う選手の所定のジョイントの角度についての時系列データを取得できれば、当該ジョイントの屈伸に必要とされるスキルの分析が可能となり、当該分析に基づき計画された筋力トレーニングや持久力トレーニング等を実施することで、選手のスキルを効率的にアップさせることができる。

以上のような本実施形態によれば、以下の効果を奏することができる。
１．オブジェクトの動作を撮影した２次元動画を構成する各フレーム画像に対して３次元オブジェクトモデルを重ね合わせることにより、前記オブジェクトの姿勢を特定することができ、これに基づいて前記オブジェクトに関する３次元動画を作成することができる。
２．フレーム画像内の２次元オブジェクトに対して３次元オブジェクトモデルを整合させる際に、各ジョイントがオブジェクトに応じた適切な自由度に設定されているため、３次元オブジェクトモデルが当該オブジェクトにとって実際にはあり得ない姿勢になるのを防ぐことができる。
３．オブジェクトの動作に関する基本姿勢として設定された各種の３次元オブジェクトモデルを備えることにより、フレーム画像内の２次元オブジェクトに対して３次元オブジェクトモデルを整合させる時間を短縮することができる。
４．３次元オブジェクトモデルを整合させる際に使用する基準パーツについて、パーツの特徴やオブジェクトの動作の特徴に合わせて適宜設定することにより、整合時間を短縮し、整合精度も向上させることができる。

なお、本発明に係るモーションキャプチャプログラム、モーションキャプチャ装置およびモーションキャプチャ方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。例えば、本実施形態では、スポーツ分野のスキー競技を対象としているが、本発明の対象はスポーツ分野に限られるものではなく、医療分野およびエンターテイメント分野等を対象としてもよい。

１ モーションキャプチャ装置
１ａ モーションキャプチャプログラム
２ 記憶手段
３ 演算処理手段
２１ プログラム記憶部
２２ ２次元動画記憶部
２３ ３次元オブジェクトモデル記憶部
２４ ３次元動画記憶部
３１ フレーム画像取得部
３２ ２次元パーツ特定部
３３ ２次元ジョイント位置特定部
３４ モデル取得部
３５ 縮尺決定部
３６ 基準パーツ整合部
３７ ジョイント位置整合部
３８ パーツ整合部
３９ ３次元動画作成部

Claims (8)

1. オブジェクトの動作を撮影した２次元動画に基づいて前記オブジェクトを構成する複数のパーツおよび各パーツ同士を連結するジョイントからなる３次元オブジェクトモデルを使って前記オブジェクトに関する３次元動画を作成するモーションキャプチャプログラムであって、
   前記２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するフレーム画像取得部と、
   前記フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する２次元パーツ特定部と、
   前記２次元オブジェクトのジョイントの位置を特定する２次元ジョイント位置特定部と、
   前記２次元オブジェクトの大きさに合わせて前記３次元オブジェクトモデルの縮尺を決定する縮尺決定部と、
   前記２次元パーツ特定部により特定された前記２次元オブジェクトの所定のパーツに対して、前記３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる基準パーツ整合部と、
   前記２次元ジョイント位置特定部により特定された前記２次元オブジェクトのジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合部と、
   前記２次元オブジェクトにおける前記基準パーツに対応するパーツ以外の各パーツに対して、前記基準パーツを整合させた後の前記３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させるパーツ整合部
   としてコンピュータを機能させる、前記モーションキャプチャプログラム。
2. 前記オブジェクトの動作に関する基本姿勢として設定された複数の３次元オブジェクトモデルが記憶されている３次元オブジェクトモデル記憶部から前記フレーム画像内の前記２次元オブジェクトに整合させる３次元オブジェクトモデルを取得するモデル取得部としてコンピュータを機能させる、請求項１に記載のモーションキャプチャプログラム。
3. 前記オブジェクトが人物または動物の場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの骨盤を前記基準パーツとして設定されている、請求項１または請求項２に記載のモーションキャプチャプログラム。
4. 前記オブジェクトが人物または動物の場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの頭部を前記基準パーツとして設定されている、請求項１または請求項２に記載のモーションキャプチャプログラム。
5. 前記オブジェクトが用具を装着している場合、前記基準パーツ整合部では、前記３次元オブジェクトモデルの前記用具を基準パーツとして設定されている、請求項１または請求項２に記載のモーションキャプチャプログラム。
6. 前記オブジェクトが用具を装着している場合、前記縮尺決定部では、前記用具の大きさに合わせて縮尺を決定する、請求項１から請求項５のいずれかに記載のモーションキャプチャプログラム。
7. オブジェクトの動作を撮影した２次元動画に基づいて、前記オブジェクトを構成する複数のパーツおよび各パーツ同士を連結するジョイントからなる３次元オブジェクトモデルを使って前記オブジェクトに関する３次元動画を作成するモーションキャプチャ方法であって、
   前記２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するフレーム画像取得ステップと、
   前記フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する２次元パーツ特定ステップと、
   前記２次元オブジェクトのジョイントの位置を特定する２次元ジョイント位置特定ステップと、
   前記２次元オブジェクトの大きさに合わせて前記３次元オブジェクトモデルの縮尺を決定する縮尺決定ステップと、
   前記２次元パーツ特定ステップにより特定された前記２次元オブジェクトの所定のパーツに対して、前記３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる基準パーツ整合ステップと、
   前記２次元ジョイント位置特定ステップにより特定された前記２次元オブジェクトのジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合ステップと、
   前記２次元オブジェクトにおける前記基準パーツに対応するパーツ以外の各パーツに対して、前記基準パーツを整合させた後の前記３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させるパーツ整合ステップと
   を有する、前記モーションキャプチャ方法
8. オブジェクトの動作を撮影した２次元動画に基づいて前記オブジェクトを構成する複数のパーツおよび各パーツ同士を連結するジョイントからなる３次元オブジェクトモデルを使って前記オブジェクトに関する３次元動画を作成するモーションキャプチャ装置であって、
   前記２次元動画を構成する複数のフレーム画像のうち所定のフレーム画像を取得するフレーム画像取得部と、
   前記フレーム画像内の２次元オブジェクトに対して、前記３次元オブジェクトモデルを構成する各パーツに対応するパーツを特定する２次元パーツ特定部と、
   前記２次元オブジェクトのジョイントの位置を特定する２次元ジョイント位置特定部と、
   前記２次元オブジェクトの大きさに合わせて前記３次元オブジェクトモデルの縮尺を決定する縮尺決定部と、
   前記２次元パーツ特定部により特定された前記２次元オブジェクトの所定のパーツに対して、前記３次元オブジェクトモデルの基準パーツを重ね合わせて当該基準パーツの位置および方向を整合させる基準パーツ整合部と、
   前記２次元ジョイント位置特定部により特定された前記２次元オブジェクトのジョイントに対して、前記基準パーツを整合させた後の３次元オブジェクトモデルにおけるジョイントの位置を整合させるジョイント位置整合部と、
   前記２次元オブジェクトにおける前記基準パーツに対応するパーツ以外の各パーツに対して、前記基準パーツを整合させた後の前記３次元オブジェクトモデルにおける基準パーツ以外のパーツの位置および方向を前記ジョイントの自由度に応じて整合させるパーツ整合部と
   を有する、前記モーションキャプチャ装置。

Images