JP3862348B2 - モーションキャプチャシステム - Google Patents

Description

【０００１】
【発明が属する技術分野】
本発明は、モーションキャプチャシステムに関するものである。
【０００２】
【従来の技術】
バーチャルリアリティシステムの一形態として、表示装置上に使用者の分身（キャラクタ）を表示させ、その表示させたキャラクタを実際に使用者が動くのとほぼ同じ動きをさせることにより、使用者が表示装置に表示された仮想空間（映像空間）内に自分自身があたかも存在している（入り込んでいる）と感じることができるとともに、インタラクティブに仮想空間内で疑似体験ができるようなものがある。
【０００３】
そして、係る処理を行うため、従来のモーションキャプチャ入力装置としては、使用者の身体の所定位置にセンサを取り付け、そのセンサを検出して使用者の存在位置並びに姿勢や動作を求め、それに基づいて表示装置上に形成された前記キャラクタを移動等させるようになっている。
【０００４】
具体的には、使用者の体中に多数の磁界式三次元センサを取り付け、そのセンサの位置情報と角度情報により使用者の体の各部の位置と向きを検出するようにしたものがある。つまり、たとえばセンサを手の甲側の手首に付けた場合には、センサの位置が同じであっても、その角度が異なると掌を下に向けているか上に向けているのかの判別もできるようになる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来のものは、掌の向きも判別できることから、逆にセンサを身体に強固に固定し、移動しないようにする必要がある。つまり、例えば上記のように手の甲側の手首に装着した場合に、センサが回って掌側に移動してしまうと、使用者は移動していないのにもかかわらず掌を返したような動作をしたように判断されてしまう。
【０００６】
その結果、センサをきつく固定することになり、装着に時間がかかるとともに装着感も悪くなる。よって、例えばアミューズメントや広報設備などの一般の人を対象としたシステムには適用できない。
【０００７】
また、例えば使用者がどちらの方向を向いているかを検出するためには、従来首にセンサを取り付けている。しかし、上記と同様に首の周りでセンサが移動してしまうことは許されないが、あまりきつく取り付けることはできないので、結局やや弱めに取り付けるとになり、そうすると精度よく向きを検出できなくなる。さらに、従来は、身体の各部に多数のセンサを取り付け、それに基づいて精度よく再現して表示装置に表示したため、計算すべき処理量が大きくなり、インタラクティブな迅速な表示がしにくくなるばかりでなく、そのように多数のセンサを身体に付けた状態では、動きにくい等の操作性の問題もあった。しかも、各センサの検出結果には、誤差成分が含まれており、時間遅延からかなり振動を伴い安定性に欠ける。特に角度情報は、角度自体の誤差が小さくても、ベクトル両端点における距離の誤差は大きくなってしまう。
【０００８】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、少ないセンサ数でもって、使用者の向きや姿勢を検出でき、演算も簡単に行え、また、センサの装着も短時間で行えるとともに、装着感も良好となり、一般の人であっても違和感なくすぐに使用することができるモーションキャプチャシステムを提供するものである。
【０００９】
【課題を解決するための手段】
上記した目的を達成するため、本発明に係るモーションキャプチャシステムでは、使用者の両肩と両手首にそれぞれ取り付けた三次元位置センサの出力に基づいて、以下の要件▲１▼〜▲３▼を実行し使用者の動作状態を検出する（請求項１）。
▲１▼三次元位置センサの存在する場所を特定する位置情報のみを用いる。
▲２▼両肩のセンサの位置から使用者の向きを特定する。
▲３▼同一側に位置する肩と手首に装着したセンサ間の距離から、肘の曲げ角を算出し、前記同一側に位置する肩と手首に装着したセンサの相対位置関係から腕の振れ角を算出し、それら算出した肘の曲げ角並びに腕の振れ角に基づいて腕の状態・姿勢を特定する。
【００１０】
また、前記特定した使用者の向きと姿勢から、仮想空間を構成する表示装置に、その使用者の動作状態に応じた姿勢のキャラクタの状態を求め表示するようにし、前記使用者が、コマンド入力に対応する特定の動作を行った場合は、それを検知してコマンドを実行するようにしてもよい（請求項２）。
【００１１】
そして好ましくは、少なくとも肩に装着するセンサは、上着の肩部に固定しておき、前記使用者はその上着を装着することにより、センサの肩への取り付けを行うようにすることである（請求項３）。
【００１２】
本発明で言う「モーションキャプチャ」とは、使用者の動き（モーション）を検出・捕捉（キャプチャ）することをいい、そのように動きを検出することにより、例えば表示装置（画面）内に表示したキャラクタを使用者の動きに合わせて動作させて、仮想空間内を自由に動き回ることができインタラクション機能を実現するための入力装置として用いられるものである。そして、キャラクタを使用者の動きに合わせて動作させるとは、使用者の動きの通りにキャラクタを動かす場合と、使用者が特定の動作を行うことによりコマンド入力をし、そのコマンドに合わせてキャラクタを動作させることなどがある。
【００１３】
本発明では、センサの位置情報のみを利用することにより、振動を伴わない安定したなめらかなモーションキャプチャが可能となる。また、角度情報を見ないことから取付も比較的ラフに行えるとともに、取付後に軸周りで回転しても問題がないので、比較的ゆるく装着することも可能となり取付作業が容易で短時間に行える。しかも、使用するセンサ数が４つで済むので、軽量化が可能となるばかりでなく、動作・姿勢を特定するための演算処理も軽くなり、迅速に姿勢・動作を算出できる。
【００１４】
【発明の実施の形態】
図１は、本発明が適用されるシステム構成の一例を示している。同図に示すように、使用者１０の両肩と両手首にそれぞれ三次元位置センサ（子局）Ｓ１〜Ｓ４を取り付けている。以下、便宜上右肩に装着するセンサを第１センサＳ１，左肩に装着するセンサを第２センサＳ２，右手首に装着するセンサを第３センサＳ３，左手首に装着するセンサを第４センサＳ４と称する。また、システム稼働中における実際の使用者１０の存在可能領域に対して交流磁場を作る三次元位置センサの親局１２が、設けられている。そして、親局１２と各センサＳ１〜Ｓ４は三次元位置端末１４に接続され、信号の送受が行われる。
【００１５】
さらに、各センサＳ１〜Ｓ４は、いずれもコイルが内蔵されており、親局１２から放射される交流磁場からの誘導を測定することにより自己の親局１２に対する相対的な位置を検出できるものである。そして、その検出結果を三次元位置センサ端末１４に送る。すると、端末１４では、親局１２の位置はわかっており、その親局１２と子局である各センサＳ１〜Ｓ４の位置関係から三次元空間上での各センサＳ１〜Ｓ４の絶対位置を算出する。なお、係る絶対位置を求めるまでの装置・アルゴリズムは従来のものと同様であるので、その詳細な説明を省略する。
【００１６】
また、本形態では、４つのセンサＳ１〜Ｓ４の使用者１０の装着を容易にすべく、各センサＳ１〜Ｓ４は上着１１等に取り付けられ、使用者はその上着１１を着用することにより、身体の所定位置にセンサが位置するようにしている。つまり、上着１１は、ベスト状態からなり、その両肩の部分に第１，第２センサＳ１，Ｓ２を固定する。よって、上着１１を着用すると、両センサＳ１，Ｓ２は、自動的に使用者１０の肩の位置にくる。また、第３，第４センサＳ３，Ｓ４は、リストバンド１１ａに取り付けられ、そのリストバンド１１ａを手首に巻き付け固定することにより、各センサＳ３，Ｓ４をそれぞれ固定する。この時、本発明では角度情報は見ないので、仮にリストバンド１１ａが回ってしまい、第３，第４センサＳ３，Ｓ４が当初手首に取り付けた位置からずれても問題がない。よって、リストバンド１１ａは、手首から落下しない程度に取り付ければよいので、使用者１０は圧迫感がない。また、使用中にセンサＳ３，Ｓ４が手首の周囲に沿って移動しても問題がないため、装着する際にも取付位置を気にすることなく行える。このことは、肩に取り付ける第１，第２センサＳ１，Ｓ２に対してもいえる。よって、単に上着１１を着るとともに、リストバンド１ａで手首に固定すればよいので、各センサＳ１〜Ｓ４の装着作業が極めて簡単で、短時間に行える。そして、各センサＳ１〜Ｓ４は、ともに信号線１３により三次元位置センサ端末１４に接続され、それら各信号線１３は、上着１３の背面で一旦束ねられる。もちろん無線により端末１４に情報を伝達するようにしても良い。
【００１７】
そして、後述するように三次元位置端末１４で検出されたセンサ位置情報が、キャラクタ姿勢算出部１５に与えられ、そこにおいて４つのセンサ位置情報からキャラクタの姿勢を決定し、それに基づいてグラフィックワークステーション１６を用いて表示装置１８に表示するようにしている。なお、図示の例では、本発明との関係でキャラクタ姿勢算出部１５をグラフィックワークステーション１６の外部におき、別の装置として示したが、本発明はこれに限ることはなく、グラフィックワークステーション１６の一部の機能として実現するようにしても良い。
【００１８】
ここで、本発明の要部の一つとなるキャラクタ姿勢算出部１５の機能について説明する。まず、このキャラクタ姿勢算出部１５は、第１，第２センサＳ１，Ｓ２の位置情報から使用者１０の向きを検出する機能と、第１，第３センサＳ１，Ｓ３から右腕の状態を検出する機能と、第２，第４センサＳ２，Ｓ４から左腕の状態を検出する機能を備えている。そして、腕の状態を検出する機能は、使用するセンサ情報が異なるだけで、具体的な処理は同じである。よって、以下では、向きを検出する機能と、腕の状態を検出する機能の２つに分けて説明する。
【００１９】
図２は、使用者である人間のスケルトンモデルを示しており、同図中ｎx （x ＝１，２，３，…）は、代表的な関節点を示している。そして、図中Ｓ１〜Ｓ４が各センサの設置位置である。そして、このスケルトンモデルをさらに模式化すると、図３に示すように、Ｙ軸回りの回転が行われる胴体（Ｂｏｄｙ）についてのモデルＢと、Ｘ軸回りの回転が行われる腕（Ａｒｍ）についてのモデルＡに分けることができる。
【００２０】
そして、モデルＢからは、Ｓ１とＳ２の三次元座標系における座標点のうちＸ座標値がＳ１とＳ２のどちらが大きいかにより、前方を向いているか後方を向いているかが判別できる。そして、正面に対して真っ直ぐに向いているか否かは、Ｚ座標値が等しいか否かにより判断できる。さらに、右または左のどちらを向いているかは、Ｓ１とＳ２のＺ座標値の大小関係により求めることができる。もちろん、右または左にどのくらいの角度で向いているかまで知りたい場合には、Ｓ１とＳ２の座標値の差から求めることができる。係る処理を行うのが、向きを検出する機能である。
【００２１】
また、モデルＡは、Ｘ軸回りの回転に限定され、肩と手首の位置関係から腕の方向を決定できる。さらに、肩と手首の間の関節は肘Ｑが１つあるだけで、肩Ｐと肘Ｑまでの上腕部分Ａ１と、肘Ｑから手首Ｒまでの前腕部分Ａ２の長さは一定である。なお、具体的な長さは個人差があるが、これは例えばセンサを取り付けた際に腕を伸ばした状態をとり、その時の各センサの位置情報から腕全体の長さｄ0 を知ることができる。そして、例えば上腕部分と前腕部分の長さの比を１：１と仮定することにより各部の長さ（ｄ0 ／２）を求めることができる。なお、本形態では、計算を簡単にするために１：１としたが、その比は統計などにより適宜の値に設定してもよく、或いはそのように固定するのではなく、使用者に応じて比を調整・設定できるようにしていても良い。
【００２２】
具体的な腕の状態を求めるには、まず、肩と手首のセンサＳ１とＳ３（Ｓ２とＳ４）間の距離ｄを求める。そして、その距離ｄが上記した予め求めた腕の全長ｄ0 と等しければ、腕を伸ばした状態であることがわかる。そして、どちらの方向に伸ばしているかは、各センサの三次元座標上の位置により特定できる。
【００２３】
また、両センサ間の距離ｄが全長ｄ0 よりも小さい場合には、肘を曲げた状態であることがわかり、距離ｄが小さいほど、肘を大きく曲げているといえる。そして、腕の部分のみをモデル化すると、図４に示すように表現でき、距離ｄを底辺とする二等辺三角形となる。そして、その三角形の斜辺の長さは（ｄ0 ／２）で既知であるので、底辺の長さｄが求められると、底角θの角度が算出できる。この角度θが、肘の曲げ角度である。
【００２４】
さらに、図５に示すように、左肩に設置した第２センサＳ２の存在位置を原点とした三次元座標系を想定した場合の左手首に設置した第４センサＳ４の存在位置から、Ｘ軸に対する腕の回転角（振れ角）ｒx0が求められる。ここで、肘の位置Ｑは直接求められないので、肘Ｑは幾何学的には図５中に示した円錐の底面の周囲に存在し、上腕部分Ａ１は円錐の側面に位置することになる。但し、関節の機構上、肘は３６０度回転するわけではないので、実際に存在する位置は図示した円錐のうち一定の角度範囲内に制限される。そこで限定された範囲の中から適当な位置を決定する。この決定に際しては、例えば角度範囲内の中央位置であったりすることができる。また、予め使用者のとりうる動作に制限を持たせることにより、より正確に特定できる。係る処理を行うのが、腕の状態を検出する機能である。
【００２５】
本形態では、具体的な使用者が行うモーションによるコマンドとして、
▲１▼両手を振る→前進する
▲２▼左右を向く→左右に回転する
▲３▼両手を上に上げる→飛ぶ
等の限られた動作に限定しているので、モデルの動作が安定し、自然なモーションキャプチャが実現できる。そして、上記各機能を用いて使用者１０の向きや腕の状態から、使用者の姿勢を判定するとともに、使用者が意図するモーションによるコマンドの内容も判断する機能も、キャラクタ姿勢算出部１５が備えている。
【００２６】
もちろん、両手を振る際の速度や、振れ角の大きさなどから前進する速度を変えたり、歩く／走るを判別するようにしたり、左右を向く角度に応じて回転角度を変化させたり、両手をあげた際の速度や、手首の第３，第４センサのＹ軸方向の位置の変位から、ジャンプする飛距離などを求めるなど使用者１０の動作に応じて対応することができる。
【００２７】
一方、表示装置１８としては、使用者が表示装置１８に表示された仮想空間（映像空間）内に自分自身があたかも存在している（入り込んでいる）と感じることのできる没入感・臨場感を発生する必要がある。そして、係る没入感・臨場感を得るために、視野角の大きく（好ましくは両眼で１２０度以上）とれるものがよい。
【００２８】
視野角を大きくとる点では、例えばＣＡＶＥ（立方体配置：全周型ディスプレイ）表示と称される方式をとることができる。係る方式は、所定の大きさの平板状のスクリーンを、立方体の６つの内面に配置し、使用者は、その立方体の内部に位置した状態で任意のスクリーンを介して画像を見るようにしている。これにより、使用者の前後左右並びに上下のどの方向にも画像が表示されることになり、立体視が１２０度以上の視野角を得ることができる。
【００２９】
また、図６，図７に示すような表示装置を適用することもできる。図６は広視野角の表示装置１８の外観図の一例を示している。同図に示すように、ある室内に４つのスクリーン２０ａ〜２０ｄを所定の位置関係に配置し、各スクリーン２０ａ〜２０ｄには、それぞれ対応して配置された４つのプロジェクタ２１ａ〜２１ｄを用いて所定の映像を表示するようになっている。つまり、マルチプロジェクタ方式により構成されている。そして、各プロジェクタ２１ａ〜２１ｄに対して上記のグラフィックワークステーション１６からの出力信号が送られ、所定の映像を映写するようになっている。さらに、各スクリーン２０ａ〜２０ｄの相対位置関係は、図７に示すように、正面のスクリーン２０ａの両側に４５度傾斜状に左右のスクリーン２０ｂ，２０ｃを配置し、正面のスクリーン２０ａの手前側下方に７０度傾斜状にスクリーン２０ｄを配置している。
【００３０】
任意の地点Ｐから各スクリーン２０ａ〜２０ｃへの入射角をＲａ，Ｒｂ，Ｒｃとした場合に、係る入射角の角度が小さいスクリーンに映った映像は、その地点Ｐに立った人に迫ってくる感じが生じるので、実空間のものと異なり臨場感・没入感が低くなる。そこで、１つのスクリーンでも入射角の小さいものがあると、表示装置全体における当該部分で違和感を生じてしまい好ましくない。よって、任意の地点Ｐにおける見やすさの指標ｈを、各スクリーンに対する入射角に基づいて下記式（１）のように定義し、その指標ｈが正になる箇所を求めた。
【００３１】
【数１】
ｈ＝ｍｉｎ（Ｒａ，Ｒｂ，Ｒｃ）−６０度 …（１）
その結果、本形態のようにスクリーン角度を４５度にすると、図９（Ａ）中円筒で示すように広範囲の領域にわたって条件を具備する箇所が得られる。なお、円筒の高さが高いものほど指標ｈも大きいことを意味する。そして、同図（Ｂ），（Ｃ）に示すように、スクリーン角度を大きくするにつれて、スクリーン入射角Ｒが、所定の条件を具備する領域が狭くなることがわかる。そして、従来のＣＡＶＥ方式の場合（同図（Ｃ））には、スクリーン角度は９０度であるので、条件を具備する領域は非常に狭い。そして、見やすさの指標が最も高い箇所をスイートスポットとし、図中黒丸で示した。
【００３２】
また、図８（Ｂ）に示すように、任意の地点Ｐにおける各スクリーン２０ａ〜２０ｃに対する視野角をそれぞれＨａ〜Ｈｃで表わすことができるので、結局、その地点Ｐにおける表示装置の水平方向の視野角は、各スクリーンＨａ〜Ｈｃの総和となる。そこで、下記式（２）に基づいてｄを求める。そして、得られた値ｄに比例する長さを、図９に示した各円筒（見やすさの指標が正の箇所）の底面の直径となるように表わした。
【００３３】
ｄ＝Ｈａ＋Ｈｂ＋Ｈｃ …（２）
従って、図９中に示す円筒の直径が大きいものほど視野角が大きいことを意味し、円筒の高さが高いものほど見やすいものとなる。つまり、より高い没入感・臨場感が得られることを意味する。そして、スクリーン角度が４５度とすると、視野角は１３５度以上確保できた。
【００３４】
なお、垂直方向、つまり、正面スクリーン２０ａと下面スクリーン２０ｄとの関係については、図９のような具体的な図示は省略するが、スクリーン角度を７０度とすることにより、視野角は５１度となった。これは、人間の頭部の垂直方向の回転角度が下に４０度であることを鑑みると、頭部の回転方向をカバーでき、臨場感が良好なものとなることが確認できた。
【００３５】
なおまた、各スクリーンを上記のように配置すると、左右の側面スクリーン２０ｂ，２０ｃと、下面スクリーン２０ｄとの間に、三角形状の隙間（スクリーンのない領域）が発生する。しかし、人間は、前進しているときには、前方及びやや斜め前下方に大部分の注意を向けながら、左右方向を意識する。従って、斜め下方のさらに両サイドの上記したスクリーン未形成領域に対しては、元々あまり注意して見ない部分である。同様のことは、左右に旋回する場合にもいえ、回転方向の側面に注意が向く。よって、三角形状のスクリーン未形成領域は、実用上問題がなく、これは実験の結果でも確認できた。
【００３６】
次に、上記の各スクリーン２０ａ〜２０ｄに所定の映像を映し出すための出力装置について説明する。上記のように各スクリーン２０ａ〜２０ｄに対してそれぞれプロジェクタ２１ａ〜２１ｄを有しており、正面用のプロジェクタ２１ａは、直接正面スクリーン２０ａの裏面側から映像を表示させ、他のプロジェクタ２１ｂ〜２１ｄは、いずれもミラー１２ｂ〜１２ｄに反射させて裏面側から映像を表示させるようにしている。これは、限られた空間内にコンパクトに配置するためである。
【００３７】
そして、各プロジェクター２１ａ〜２１ｄから出力される画像は、各スクリーン２０ａ〜２０ｄの視点方向が異なることに鑑み、係る視点方向を考慮した画面が出力される。一例を示すと、「Ｔ型に組まれた板」を表示する場合には、各画面に対しては図１０に示すようになる。係る状態で出力すると、左右側面スクリーン２０ｂ，２０ｃと下面スクリーン２０ｄが、所定のスクリーン角度で傾斜していることから、正面スクリーン２０ａの前に立った使用者は、ゆがみのない「Ｔ型」の状態をみることができる。上記したスクリーン，プロジェクタ及びミラーが表示装置１８を構成する。
【００３８】
そこで、コンピュータグラフィックによる画像データを製造する場合には、上記の視点方向の相違を考慮し、画面ごとに計算して作成することになる。そして、キャラクタ姿勢算出部１５で求めた使用者の姿勢に基づいたキャラクタの姿勢をグラフィックワークステーション１６で作成し、背景画面に合成して出力する。もちろん、モーションによるコマンド入力があった場合には、そのコマンドを実行する。
【００３９】
【発明の効果】
以上のように本発明に係るモーションキャプチャシステムでは、４つという少ないセンサ数でもって、使用者の向きや姿勢を検出でき、しかも、位置情報しか見ないので、演算も簡単かつ迅速に行える。また、角度情報を見ないことから、角度に対する取付位置の調整が不要であるので、センサの装着も短時間で行えるとともに、取付後に回転移動してもさほど問題がないので手首にはゆるく取り付けることができ装着感も良好となる。よって、一般の人であっても違和感なくすぐに使用することができる。
【図面の簡単な説明】
【図１】本発明に係るモーションキャプチャシステムの一実施の形態を示す図である。
【図２】使用者のスケルトンモデル及びセンサの取付位置を説明する図である。
【図３】動作原理を説明する図である。
【図４】動作原理を説明する図である。
【図５】動作原理を説明する図である。
【図６】広視野角の表示装置の一例を示す外観図である。
【図７】各スクリーンの相対位置関係を説明する図である。
【図８】表示装置の動作原理を説明する図である。
【図９】表示装置の効果を説明する図である。
【図１０】各スクリーンへの表示態様の一例を示す図である。
【符号の説明】
１０ 使用者
１１ 上着
１１ａ リストバンド
１２ 親局
１３ 信号線
１４ 三次元位置センサ端末
１５ キャラクタ姿勢算出部
１６ グラフィックワークステーション
１８ 表示装置
Ｓ１，Ｓ２ 肩に取り付けるセンサ
Ｓ３，Ｓ４ 手首に取り付けるセンサ

Claims (3)

1. 使用者の両肩と両手首にそれぞれ取り付けた三次元位置センサの出力に基づいて、以下の要件▲１▼〜▲３▼を実行し使用者の動作状態を検出することを特徴とするモーションキャプチャシステム。
   ▲１▼三次元位置センサの存在する場所を特定する位置情報のみを用いる。
   ▲２▼両肩のセンサの位置から使用者の向きを特定する。
   ▲３▼同一側に位置する肩と手首に装着したセンサ間の距離から、肘の曲げ角を算出し、前記同一側に位置する肩と手首に装着したセンサの相対位置関係から腕の振れ角を算出し、それら算出した肘の曲げ角並びに腕の振れ角に基づいて腕の状態・姿勢を特定する。
2. 前記特定した使用者の向きと姿勢から、仮想空間を構成する表示装置に、その使用者の動作状態に応じた姿勢のキャラクタの状態を求め表示するようにし、
   前記使用者が、コマンド入力に対応する特定の動作を行った場合は、それを検知してコマンドを実行するようにしたことを特徴とする請求項１に記載のモーションキャプチャシステム。
3. 少なくとも肩に装着するセンサは、上着の肩部に固定しておき、前記使用者はその上着を装着することにより、センサの肩への取り付けを行うようにしたことを特徴とする請求項１または２に記載のモーションキャプチャシステム。

Images