JP4901752B2 - 顔動作および身体動作を取り込むシステムおよび方法 - Google Patents

Description

本発明は、３次元グラフィックスおよびアニメーションに関し、より詳細には、複数の俳優を収容することのできるボリューム内で顔動作と身体動作を共に同時に取り込むことを可能にするモーションキャプチャシステムに関する。

本願は、"System and Method for Capturing Facial and Body Motion"という名称の２００３年５月１日出願の米国特許出願第10/427,114号の一部継続出願として米国特許法第１２０条に従って優先権を主張するものである。

モーションキャプチャシステムは、実物体の運動を取り込み、それをコンピュータで生成された物体上にマッピングするのに使用される。そのようなシステムはしばしば、映画およびビデオゲームの製作で人物のデジタル表現を作成するのに使用され、人物のデジタル表現は、コンピュータグラフィックス（ＣＧ）アニメーションを作成するためのソースデータとして使用される。典型的なシステムでは、俳優は、様々な位置に取り付けられたマーカを有する（例えば、胴体および手足に取り付けられた小型の反射マーカを有する）衣服を着用し、マーカを照明中に、デジタルカメラが、俳優の運動を様々な角度から記録する。次いで、システムは、イメージを解析して、各フレーム内の俳優の衣服上のマーカの位置（例えば空間座標として）および向きを求める。マーカの位置を追跡することにより、システムは、経時的にマーカの空間表現を作成し、動作中の俳優のデジタル表現を構築する。次いで動作がデジタルモデルに適用され、次いでデジタルモデルをテクスチャリングおよびレンダリングして、俳優および／または演技の完全なＣＧ表現を生成することができる。この技法は特殊効果会社で使用されており、人気のある多くの映画で信じられないほどリアルなアニメーションが製作されてきた。

モーションキャプチャシステムはまた、俳優の顔の特徴の動作を追跡して俳優の顔の動作および表情（例えば笑い、泣き、微笑みなど）の表現を作成するのにも使用される。身体モーションキャプチャと同じく、マーカが俳優の顔に取り付けられ、カメラが俳優の表情を記録する。顔の運動は身体の運動に関係する大きい筋肉と比較して小さい筋肉が関係するので、顔マーカは通常、対応する身体マーカよりもずっと小さく、カメラは通常、身体モーションキャプチャのために通常使用されるカメラよりも高い解像度を有する。カメラは通常、俳優の顔にカメラの焦点を合わせたままに保つよう制限された俳優の物理的運動との共通平面内に位置合せされる。顔マーカを一様に照明し、カメラと顔の間の相対運動の度合を最小限に抑えるように、俳優に物理的に取り付けられたヘルメットまたはその他の器具に顔モーションキャプチャシステムを組み込むことができる。このために、顔動作および身体動作は通常、別々のステップで取り込まれる。次いで、後続のアニメーションプロセスの一部として、取り込まれた顔動作データが、取り込まれた身体動作データと後で組み合わされる。

キーフレーミングなどの従来のアニメーション技法に勝るモーションキャプチャシステムの利点は、リアルタイム視覚化の能力である。製作チームは、俳優の運動の空間表現をリアルタイムまたはほぼリアルタイムで検討することができ、最適なデータを取り込むために俳優が物理的演技を変更することが可能となる。さらに、モーションキャプチャシステムは、他のアニメーション技法を使用して容易に再現することのできない物理運動の微妙なニュアンスを検出し、それによって自然な運動を正確に反映するデータが生成される。その結果、モーションキャプチャシステムを使用して収集されたソース材料を使用して作成されたアニメーションは、真にせまった外観を示す。

モーションキャプチャシステムのこうした利点にも関わらず、顔動作と身体動作を別々に取り込む結果、しばしば、真にせまったものではないアニメーションデータが生じる。顔動作と身体動作は複雑に結びついており、それによって、顔の表情がしばしば、対応する身体動作によって強められる。例えば、俳優は、興奮して話すときに腕の動きを使用したり、不機嫌なときに肩をすくめるなどの一定の身体動作（すなわちボディランゲージ）を利用して感情を伝達し、対応する顔の表情を強調することがある。この顔動作と身体動作の間の連係は、動作が別々に取り込まれるときに失われ、これらの別々に取り込んだ動作を互いに同期させることは難しい。顔動作と身体動作が組み合わされるとき、得られるアニメーションはしばしば、目立つほどに異様に見える。ますますリアルなアニメーションの作成を可能にすることがモーションキャプチャの目的であるので、顔動作と身体動作の分離は、従来型モーションキャプチャシステムの著しい欠点を表す。

従来型モーションキャプチャシステムの別の欠点は、俳優の動作データが小道具や他の俳優などの他の物体に邪魔されて遮られることがあることである。具体的には、身体マーカまたは顔マーカの一部がデジタルカメラの視野から遮られた場合、その身体部分または顔部分に関するデータが収集されない。この結果、動作データ内にオクルージョンまたはホールが生じる。後で事後製作（ｐｏｓｔ−ｐｒｏｄｕｃｔｉｏｎ）中に従来型コンピュータグラフィックス技法を使用してオクルージョンを充填することができるが、充填データは、実際の動作データの品質が欠けており、その結果、観客が識別することができる可能性のあるアニメーションの不良が生じる。この問題を回避するために、従来型モーションキャプチャシステムは、一度に取り込むことのできる物体の数を例えば１人の俳優に制限する。俳優の演技の質はしばしば、他の俳優および物体との相互作用に依存するので、このことによっても動作データのリアルさが損なわれる傾向がある。さらに、こうした別々の演技を自然に見える仕方で一緒に組み合わせることは難しい。

従来型モーションキャプチャシステムのさらに別の欠点は、音声がモーションキャプチャと同時に記録されないことである。アニメーションでは、オーディオトラックをまず記録し、次いでオーディオトラックに合致するようにキャラクタをアニメーション化することが一般的である。顔モーションキャプチャ中に、俳優は、記録されたオーディオトラックに同期して唇を動かすことになる。俳優が顔動作を完璧にオーディオトラックと同期させることは難しいので、これにより、必然的に動作データの視覚的品質がさらに低下する。さらに、身体動作はしばしば、発話を述べる方式に影響を及ぼし、身体動作と顔動作を別々に取り込むことにより、オーディオトラックを同期させて結合性のある最終的作品（ｃｏｈｅｓｉｖｅ ｅｎｄ ｐｒｏｄｕｃｔ）を生み出すことの困難が増大する。

したがって、従来技術の上記およびその他の欠点を克服するモーションキャプチャシステムを提供することが望ましい。より具体的には、複数の俳優を収容することのできるボリューム内で身体動作と顔動作を共に同時に取り込むことを可能にするモーションキャプチャシステムを提供することが望ましい。身体モーションキャプチャおよび顔モーションキャプチャと同時にオーディオ記録を可能にするモーションキャプチャシステムを提供することも望ましい。

本発明の教示によれば、複数の俳優を収容することのできるボリューム内で身体動作と顔動作を共に同時に取り込むことを可能にするモーションキャプチャシステムおよび方法が提供される。このモーションキャプチャシステムおよび方法はまた、身体モーションキャプチャおよび顔モーションキャプチャと同時にオーディオ記録を可能にする。

より具体的には、動作を取り込むシステムおよび方法が、複数の身体地点を定義する身体マーカと、複数の顔地点を定義する顔マーカとを有する少なくとも１人の俳優を含むように適合されたモーションキャプチャボリュームを含む。モーションキャプチャボリュームは、楕円、円、矩形、多角形などの任意の所望の幾何形状を有することができる。複数のモーションカメラがモーションキャプチャボリュームの周辺部に配置される。モーションカメラは、モーションキャプチャボリューム内で動作中の俳優のすべての横方向露出面がほぼすべての時間に複数のモーションカメラのうちの少なくとも１つの視野内にあるように配置される。モーションキャプチャプロセッサが複数のモーションカメラに結合され、俳優の組合せ身体／顔動作を反映するデジタルモデルが生成される。モーションキャプチャボリュームから音声をピックアップするように少なくとも１つのマイクロフォンを配向することができる。

本発明の一実施形態では、モーションキャプチャボリュームは、各区間に細分された矩形エリアをさらに含む。複数のモーションカメラは、各区間にそれぞれ配向する第１サブグループのカメラをさらに含む。複数のモーションカメラは、各区間にそれぞれ配向し、第１サブグループのカメラから空間的に分離する第２サブグループのカメラをさらに含むことができる。第１サブグループのカメラは、第２サブグループのカメラに対して、それぞれの視野がほぼ重なるように配向する。第１および第２サブグループのカメラはそれぞれ、少なくとも３つのカメラをさらに含むことができる。複数のモーションカメラは、モーションキャプチャボリュームのコーナにそれぞれ配設され、概してモーションキャプチャボリュームの中心に配向する第３サブグループのカメラをさらに含むことができる。

以下の好ましい実施例の詳細な説明を考慮することにより、身体運動および顔運動を取り込むシステムおよび方法のより完全な理解、ならびにその追加の利点および目的の理解を当業者は得るであろう。最初に簡潔に説明される添付の図面に対して参照が行われる。

以下でさらに説明するように、本発明は、複数の俳優を収容することのできるボリューム内で顔動作と身体動作を共に同時に取り込むことを可能にするモーションキャプチャシステムの必要を満たす。さらに、本発明はまた、身体モーションキャプチャおよび顔モーションキャプチャと同時にオーディオ記録を可能にするモーションキャプチャシステムの必要を満たす。以下の詳細な説明では、図面のうちの１つまたは複数で示される同様の要素を記述するのに同様の要素番号が使用される。

まず図１を参照すると、ブロック図は、本発明の一実施形態によるモーションキャプチャシステム１０を示す。モーションキャプチャシステム１０は、複数の顔モーションカメラ１４_１〜１４_Ｎおよび複数の身体モーションカメラ１６_１〜１６_Ｎと通信するように適合されたモーションキャプチャプロセッサ１２を含む。モーションキャプチャプロセッサ１２は、関連するデータファイルの格納を可能にするように適合されたデータ記憶装置２０を有するプログラム可能コンピュータをさらに含むことができる。ネットワークを使用して１つまたは複数のコンピュータワークステーション１８_１〜１８_Ｎをモーションキャプチャプロセッサ１２に結合することができ、複数のグラフィックアーティストが、コンピュータグラフィックスアニメーションを作成するプロセスで、格納されたデータファイルで作業することが可能となる。顔モーションカメラ１４_１〜１４_Ｎおよび身体モーションカメラ１６_１〜１６_Ｎは、モーションキャプチャボリューム内で演技する１人または複数の俳優の組合せ動作を取り込むように、モーションキャプチャボリューム（以下で説明する）に対して配置される。

各俳優の顔および身体が、モーションキャプチャボリューム内の俳優の演技中に顔モーションカメラ１４_１〜１４_Ｎおよび身体モーションカメラ１６_１〜１６_Ｎによって検出されるマーカでマークされる。マーカは、反射性素子または受照素子（ｉｌｌｕｍｉｎａｔｅｄ ｅｌｅｍｅｎｔ）でよい。具体的には、頭部、脚部、胴を含む様々な身体位置に配置された複数の反射マーカで各俳優の身体をマークすることができる。俳優は、マーカがそれに取り付けられる非反射性材料で形成されたボディスーツを着用していることができる。俳優の顔も複数のマーカでマークされる。顔マーカは一般に身体マーカよりも小さく、身体マーカよりも多数の顔マーカが使用される。顔動作を十分な解像度で取り込むために、（例えば１００よりも多くの）多数の顔マーカが使用されることが予想される。ある例示的実装では、１５２個の小型の顔マーカと６４個のより大型の身体マーカが俳優に貼り付けられる。身体マーカは、５から９ミリメートルの範囲の幅または直径を有することができ、顔マーカは、２から４ミリメートルの範囲の幅または直径を有することができる。

顔マーカの配置の整合性を保証するために、所望のマーカ位置に対応する適切な位置に穴が開けられた各俳優の顔のマスクを形成することができる。俳優の顔の上にマスクを配置し、適切なペンを使用して穴の位置を顔の上に直接マークすることができる。次いで、マークした位置で顔マーカを俳優の顔に付着させることができる。メイクアップ糊（ｍａｋｅ−ｕｐ ｇｌｕｅ）などの演劇の分野で周知の適切な材料を使用して、顔マーカを俳優の顔に貼り付けることができる。このようにして、非常に長い期間（例えば数か月）にわたるモーションキャプチャ作品が、マーカが日ごとに付着され、取り外される場合であっても、俳優に関するかなり一貫したモーションデータを得ることができる。

モーションキャプチャプロセッサ１２は、顔モーションカメラ１４_１〜１４_Ｎおよび身体モーションカメラ１６_１〜１６_Ｎから受け取った２次元イメージを処理し、キャプチャした動作の３次元デジタル表現を生成する。具体的には、モーションキャプチャプロセッサ１２は、イメージ取込みプロセスの一部として、各カメラから２次元データを受け取り、データを複数のデータファイルの形態でデータ記憶装置２０に保存する。次いで、イメージ処理プロセスの一部として、２次元データファイルが、個々のマーカの運動を表す軌跡ファイルの形態で互いにリンクされる単一の組の３次元座標に分解される。イメージ処理プロセスは、１つまたは複数のカメラからのイメージを使用して、各マーカの位置を求める。例えば、マーカは、モーションキャプチャボリューム内の俳優の顔の特徴または身体部分によるオクルージョンのために、カメラのサブセットに対してのみ可視であることがある。その場合、イメージ処理は、そのマーカの視界が遮られていない他のカメラからのイメージを使用して、空間内のマーカの位置を求める。

複数のカメラからのイメージを使用してマーカの位置を求めることにより、イメージ処理プロセスは、複数の角度からイメージ情報を評価し、三角測量プロセスを使用して空間位置を求める。次いで、軌跡ファイルに対して運動計算が実施され、俳優の演技に対応する身体動作および顔動作を反映するデジタル表現が生成される。経時的な空間情報を使用して、計算は、各マーカが空間を移動するときにその進行を求める。適切なデータ管理プロセスを使用して、プロセス全体に関連する多数のファイルのデータ記憶装置２０への格納およびデータ記憶装置２０からの検索を制御することができる。モーションキャプチャプロセッサ１２およびワークステーション１８_１〜１８_Ｎは、Ｖｉｃｏｎ Ｍｏｔｉｏｎ ＳｙｓｔｅｍｓまたはＭｏｔｉｏｎ Ａｎａｌｙｓｉｓ Ｃｏｒｐ．から入手可能なものなどの市販のソフトウェアパッケージを使用して、上記およびその他のデータ処理機能を実行することができる。

モーションキャプチャシステム１０は、動作に加えて音声を記録する能力をさらに含む。複数のマイクロフォン２４_１〜２４_Ｎをモーションキャプチャボリュームの周りに配置して、俳優演技中に音声（例えば、発話された対話）をピックアップすることができる。モーションキャプチャプロセッサ１２を、直接的に、またはオーディオインターフェース２２を介してマイクロフォン２４_１〜２４_Ｎに結合することができる。マイクロフォン２４_１〜２４_Ｎを定位置に固定することができ、または動作に追従するようにブーム上で可動にすることができ、または俳優がマイクロフォン２４_１〜２４_Ｎを担持し、マイクロフォン２４_１〜２４_Ｎがモーションキャプチャプロセッサ１２またはオーディオインターフェース２２とワイヤレスに通信することができる。モーションキャプチャプロセッサ１２は、動作との同期を可能にする時間トラックまたはその他のデータと共に、記録された音声をデジタルファイルの形態で受け取り、データ記憶装置２０上に格納する。

図２および３に、複数のモーションキャプチャカメラによって囲まれた例示的モーションキャプチャボリューム３０を示す。モーションキャプチャボリューム３０は周縁部３２を含む。モーションキャプチャボリューム３０は、グリッド線で細分された矩形領域として示されている。実際にはモーションキャプチャボリューム３０はモーションキャプチャボリュームに対するフロアを定義するグリッドを有する３次元空間を含むことを理解されたい。フロアの上の３次元空間内で動作が取り込まれる。本発明の好ましい実施形態では、モーションキャプチャボリューム３０は、約１０フィート四方、フロアの上の高さ約６フィートのフロアエリアを含む。有利には、製作の特定の必要に適合するように、楕円、円、矩形、多角形などの他のサイズおよび形状のモーションキャプチャボリュームも使用することができる。

図２は、複数のモーションキャプチャカメラが周縁部３２の周りに概して円形のパターンで配置されたモーションキャプチャボリューム３０の上面図を示す。個々のカメラは、カメラのレンズの方向を表す鋭角を有する三角形として図形的に表されており、したがって、複数のカメラが複数の別個の方向からモーションキャプチャボリューム３０に向けられることを理解されたい。より具体的には、複数のモーションキャプチャカメラは、複数の身体モーションカメラ１６_１〜１６_８および複数の顔モーションカメラ１４_１〜１４_Ｎをさらに含む。図２の多数の顔モーションカメラに鑑みて、多くには符号を付けていないことを理解されたい。本発明のこの実施形態では、身体モーションカメラよりも多くの顔モーションカメラが存在する。身体モーションカメラ１６_１〜１６_８は、モーションキャプチャボリューム３０の辺ごとにおよそ２個配置され、顔モーションカメラ１４_１〜１４_Ｎは、モーションキャプチャボリューム３０の辺ごとにおよそ１２個配置される。顔モーションカメラ１４_１〜１４_Ｎと身体モーションカメラ１６_１〜１６_Ｎは、顔モーションカメラの焦点合せレンズが身体モーションカメラよりも狭い視野を与えるように選択されることを除いてほぼ同一である。

図３は、複数のモーションキャプチャカメラがモーションキャプチャボリュームのフロアの上のおよそ３つの階に配置されたモーションキャプチャボリューム３０の側面図を示す。下階は、モーションキャプチャボリューム３０の辺ごとにおよそ８個配置された複数の顔モーションカメラ１４_１〜１４_３２を含む。本発明の一実施形態では、下階顔モーションカメラ１４_１〜１４_３２のそれぞれは、モーションキャプチャボリューム３０のほぼ反対側のカメラが視野内に含まれないようにわずかに上方に向く。モーションキャプチャカメラは一般に、モーションキャプチャボリューム３０を照明するのに使用される光源（例えば発光ダイオードの配列）を含む。光源はモーションキャプチャカメラにとって反射マーカからのデータを圧倒する明るい反射率のように見えるので、モーションキャプチャカメラが別のモーションキャプチャカメラの光源を「見ない」ようにすることが望ましい。中階は、モーションキャプチャボリューム３０の辺ごとにおよそ２個配置された複数の身体モーションカメラ１６_３〜１６_７を含む。上記で議論したように、身体モーションカメラは、顔モーションカメラよりも広い視野を有し、各カメラが、それぞれの視野内により多くの量のモーションキャプチャボリューム３０を含むことが可能となる。

上階は、モーションキャプチャボリューム３０の辺ごとにおよそ５個配置された複数の顔モーションカメラ（例えば１４_３３〜１４_５２）を含む。本発明の一実施形態では、上階顔モーションカメラ１４_３３〜１４_５２のそれぞれは、モーションキャプチャボリューム３０のほぼ反対側のカメラが視野内に含まれないようにわずかに下方に向く。図２の左側に示すように、モーションキャプチャボリューム３０の前縁部に焦点を合わせたいくつかの顔モーションカメラ（例えば１４_５３〜１４_６０）が中階にも含まれる。俳優の演技は一般にモーションキャプチャボリューム３０の前縁部に向くので、その領域内のカメラの数が増加され、オクルージョンに対して失われるデータ量が低減される。さらに、モーションキャプチャボリューム３０のコーナに焦点を合わせたいくつかの顔モーションカメラ（例えば１４_６１〜１４_６４）が中階に含まれる。これらのカメラも、オクルージョンに対して失われるデータ量を低減する役割を果たす。

本発明の好ましい実施形態では、身体および顔モーションカメラは、マークされた俳優のイメージを多数の異なる角度から記録し、その結果、俳優の側面のほぼすべてが、すべての時間に少なくとも１つのカメラに対して露出する。より具体的には、カメラの配置により、俳優の側面のほぼすべてがすべての時間に少なくとも３つのカメラに対して露出することが実現されることが好ましい。カメラを複数の高さに配置することにより、俳優がモーションキャプチャフィールド３０内で移動するときに不規則な面をモデル化することができる。それによってこのモーションキャプチャシステム１０は、俳優の身体運動を顔運動（すなわち表情）と同時に記録する。上記で議論したように、音声記録もモーションキャプチャと同時に実施することができる
図４は、顔モーションカメラの例示的配置を示すモーションキャプチャボリューム３０の上面図である。モーションキャプチャボリューム３０は、ａ、ｂ、ｃ、およびｄと符号が付けられた象限に図形的に分割される。顔モーションカメラはクラスタ３６、３８にグループ化され、各カメラクラスタは複数のカメラを表す。例えば、そのような１つのカメラクラスタは、下階に配置された２つの顔モーションカメラと、上階に配置された１つの顔モーションカメラとを含むことができ、有利には、クラスタ内のカメラの他の配置も使用することができる。２つのカメラクラスタ３６、３８は互いに物理的に隣接して配設されるが、認識可能な距離だけ互いに水平方向に偏位する。２つのカメラクラスタ３６、３８はそれぞれ、約４５°の角度から、象限ｄの前縁部に焦点を合わせている。第１カメラクラスタ３６は、象限ｃの前縁部の一部から象限ｄの前縁部の右端まで延びる視野を有する。第２カメラクラスタ３８は、象限ｄの前縁部の左端から象限ｄの右縁部の一部まで延びる視野を有する。したがって、第１および第２カメラクラスタ３６、３８のそれぞれの視野は、象限ｄの前縁部のかなりの長さにわたって重なる。象限ａ、ｂ、ｃ、およびｄの（周縁部３２と一致する）他の外縁のそれぞれについて、カメラクラスタの同様の配置が含まれる。

図５は、顔モーションカメラの例示的配置を示すモーションキャプチャボリューム３０の上面図である。図４と同様に、モーションキャプチャボリューム３０は、象限ａ、ｂ、ｃ、およびｄに図形的に分割される。顔モーションカメラは、クラスタ４２、４４にグループ化され、各カメラクラスタは複数のカメラを表す。図４の実施形態と同様に、クラスタは、様々な高さに配置された１つまたは複数のカメラを含むことができる。この配置では、カメラクラスタ４２、４４は、モーションキャプチャボリューム３０のコーナに配置され、モーションキャプチャボリュームに面する。これらのコーナカメラクラスタ４２、４４は、オクルージョンなどのために他のカメラでピックアップされない俳優のイメージを記録する。他の同様のカメラクラスタもモーションキャプチャボリューム３０の他のコーナに配置される。

モーションキャプチャボリューム３０に対して様々なカメラの高さおよび角度を有することは、モーションキャプチャボリューム内の俳優から取り込まれる利用可能なデータを増大させる働きをし、データオクルージョンの可能性を低減する。モーションキャプチャボリューム３０内で複数の俳優を同時にモーションキャプチャすることも可能となる。さらに、多数の様々なカメラにより、モーションキャプチャボリューム３０を従来技術よりかなり大きくすることが可能となり、それによってモーションキャプチャボリューム内の動作の範囲を広くすることが可能となり、したがってより複雑な演技が可能となる。有利には、身体および顔モーションカメラの多数の代替配置も使用できることを理解されたい。例えば、より多数または少数の別々の階を使用することができ、個々の階の中の各カメラの実際の高さを変更することができる。

上記の本発明の好ましい実施形態の説明では、身体および顔モーションカメラは定位置のままである。このようにして、モーションキャプチャプロセッサ１２は、身体マーカおよび顔マーカの運動をそれに対して測定することのできる固定基準点を有する。この配置の欠点は、モーションキャプチャボリューム３０のサイズが限定されることである。より多くの量の空間を必要とする演技の動作を取り込むことが望まれる場合（例えば、登場人物が長い距離にわたって走っているシーン）、別々にモーションキャプチャされる複数のセグメントに演技を分割しなければならなくなる。本発明の代替実施形態では、カメラの一部が固定されたままとなり、他のカメラは、動作に追従するように移動する。可動カメラは、コンピュータ制御サーボモータを使用して可動にすることができ、または人間のカメラオペレータによって手動で移動することができる。モーションキャプチャプロセッサ１２は、カメラの運動を追跡し、取り込んだデータの後続の処理でこの運動を取り除いて、俳優の演技に対応する身体動作および顔動作を反映する３次元デジタル表現を生成する。

図６は、モーションキャプチャボリューム内の２人の俳優５２、５４を反映するモーションキャプチャデータを示すモーションキャプチャボリューム３０の斜視図である。図６は、モーションキャプチャデータが図１に関して上記で説明したワークステーション１８のオペレータにはどのように見えるかを反映する。図２および３（上記）と同様に、図６は、下階に配置されたカメラ１４_１〜１４_１２と、上階に配置されたカメラ１４_３３〜１４_４０と、モーションキャプチャボリューム３０のコーナに配置されたカメラ１４_６０、１４_６２とを含む複数の顔モーションカメラをさらに示す。２人の俳優５２、５４は、身体および顔上の反射マーカに対応する１群のドットとして見える。上記で図示および議論したように、俳優の身体よりも、俳優の顔上に位置するマーカの数の方がずっと多い。俳優の身体および顔の運動は、上記で説明したのとほぼ同様にモーションキャプチャシステム１０によって追跡される。

次に図７および８を参照すると、モーションキャプチャデータが、ワークステーション１８のオペレータが見ることとなるように示されている。図６と同様に、モーションキャプチャデータは２人の俳優５２、５４を反映し、高濃度のドットが俳優の顔を反映し、他のドットが身体地点を反映する。モーションキャプチャデータは、楕円形状として示される３つのオクルージョン領域６２、６４、６６をさらに含む。オクルージョン領域６２、６４、６６は、カメラの１つからの光が他のカメラの視野内に入るために信頼性の高い動作データが取り込まれなかった場所を表す。この光は、反射マーカからの照明を圧倒し、モーションキャプチャプロセッサ１２によって身体マーカまたは顔マーカと解釈される。モーションキャプチャプロセッサ１２によって実行されるイメージ処理プロセスは、図７および８に示されるオクルージョン領域６２、６４、６６を定義することによってカメラ照明を除去する仮想マスクを生成する。製作会社は、俳優の演技を制御して、オクルージョン領域によって隠される運動を物理的に回避しようと試みることができる。それでも、図８に示すように、何らかのデータキャプチャの損失が必然的に生じる。図８では、俳優５４の顔がオクルージョン領域６４への物理的運動によってほぼ完全に隠されている。

図９に、オクルージョン問題を低減するモーションキャプチャシステムの一実施形態を示す。具体的には、図９は、互いにモーションキャプチャボリューム（図示せず）の両端に物理的に配設されるカメラ８４および７４を示す。カメラ８４、７４は、カメラの視野を照明するように適合された光源８８、７８をそれぞれ含む。カメラ８４、７４は、カメラレンズの正面のに配設された偏光フィルタ８６、７６をさらに備える。以下の説明から明らかとなるであろうが、偏光フィルタ８６、７６は、互いに位相外れとなるように配置される（すなわち回転する）。光源８８は、偏光フィルタ８６で偏光された光を放出する。偏光はカメラ７４の偏光フィルタ７６に到達するが、偏光はカメラ７４を通過するのではなく、偏光フィルタ７６で反射し、または吸収される。その結果、カメラ８４は、カメラ７４からの照明を「見ず」、それによってオクルージョン領域の形成が回避され、仮想マスキングの必要がなくなる。

上記の説明では、身体および顔に貼り付けられた物理的マーカの光学的感知の使用して動作を追跡することを参照したが、有利には、動作を追跡する代替方式も使用できることを当業者は理解されたい。例えば、マーカを貼り付ける代わりに、俳優の物理的特徴（例えば鼻または目の形状）を自然マーカとして使用して動作を追跡することができる。そのような特徴ベースのモーションキャプチャシステムでは、各演技の前にマーカを俳優に貼り付ける作業が不要となる。さらに、光以外の代替媒体を使用して、対応するマーカを検出することができる。例えば、マーカは、モーションキャプチャボリュームの周りに配置された対応する受信機によって検出される超音波または電磁放射体を含むことができる。この点で、上述のカメラは単に光センサであり、有利には、他のタイプのセンサも使用できることを理解されたい。

次に図１０を参照すると、ブロック図は、本発明の代替実施形態によるモーションキャプチャシステム１００を示す。モーションキャプチャシステム１００は、上述の実施形態よりもデータ容量がかなり向上しており、拡張されたモーションキャプチャボリュームに関連するかなり大量のデータを取り込むのに適している。モーションキャプチャシステム１００は、収集されたデータに関するリポジトリとして働くマスタサーバ１１０によって共に結合された３つの別々のネットワークを含む。ネットワークは、データネットワーク１２０、アーティストネットワーク１３０、および再構築レンダネットワーク（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｒｅｎｄｅｒ ｎｅｔｗｏｒｋ）１４０を含む。マスタサーバ１１０は、モーションキャプチャシステム１００に関する中央制御およびデータ記憶を実現する。データネットワーク１２０は、演技中に取り込まれた２次元（２Ｄ）データをマスタサーバ１１０に通信する。その後で、アーティストネットワーク１３０および再構築レンダネットワーク１４０が、マスタサーバ１１０からこれらの同じ２Ｄデータファイルにアクセスすることができる。マスタサーバ１１０は、大量のデータを格納するのに適したメモリ１１２システムをさらに含む。

データネットワーク１２０は、モーションキャプチャカメラとのインターフェースを提供し、取り込まれた動作データの初期データ処理を実現し、次いでそれがマスタサーバ１００に供給され、メモリ１１２に格納される。より具体的には、データネットワーク１２０が、モーションキャプチャボリューム内で演技する１人または複数の俳優の組合せ動作を取り込むようにモーションキャプチャボリューム（以下で説明する）に対して配置された複数のモーションキャプチャカメラ１２２_１〜１２２_Ｎに結合される。データネットワーク１２０はまた、演技（例えば対話）に関連した音声を取り込むように、直接的に、または適切なオーディオインターフェース１２４を介して複数のマイクロフォン１２６_１〜１２６_Ｎにも結合することができる。１又はそれより多くのユーザワークステーション１２８をデータネットワーク１２０に結合して、データネットワークの機能の操作、制御、および監視を実現することができる。本発明の一実施形態では、データネットワーク１２０を，Ｖｉｃｏｎ Ｍｏｔｉｏｎ ＳｙｓｔｅｍｓまたはＭｏｔｉｏｎ Ａｎａｌｙｓｉｓ Ｃｏｒｐなどから入手可能な複数のモーションキャプチャデータ処理ステーションと、取り込まれたデータを２Ｄファイルとして照合する複数のスレーブ処理ステーションとで実現することができる。

アーティストネットワーク１３０は、適切なワークステーション１３２_１〜１３２_Ｎを使用して、複数のデータチェッカおよびアニメータに対する高速インフラストラクチャを提供する。データチェッカは、マスタサーバ１１０から２Ｄデータファイルにアクセスし、データの受諾可能性を検証する。例えば、データチェッカは、データを検討し、演技の重要な側面が取り込まれたことを検証する。データの一部が遮られた場合など、演技の重要な側面が取り込まれなかった場合、取り込まれたデータが受け入れられるとみなされるまで、必要に応じて演技を反復することができる。俳優および／またはシーンディレクタとの通信を容易にするために、データチェッカおよび関連するワークステーション１３２_１〜１３２_Ｎをモーションキャプチャボリュームに物理的に近接させて配置することができる。

再構築レンダネットワーク１４０は、２Ｄデータファイルの自動再構築を実施し、２Ｄデータファイルをマスタサーバ１１０によって格納される３次元（３Ｄ）アニメーションファイルにレンダリングするのに適した高速データ処理コンピュータを提供する。１又はそれより多くのユーザワークステーション１４２_１〜１４２_Ｎを再構築レンダネットワーク１４０に結合して、データネットワークの機能の操作、制御、および監視を実現することができる。アーティストネットワーク１３０にアクセスするアニメータは、最終的コンピュータグラフィックスアニメーションを製作する間に３Ｄアニメーションファイルにもアクセスする。

図１１に、例示的モーションキャプチャボリューム１５０の上面図を示す。上記の実施形態と同様に、モーションキャプチャボリューム１５０は一般に、グリッド線で細分された矩形領域である。この実施形態では、モーションキャプチャボリューム１５０は、著しく広いスペースを表すように意図され、４つの区間または象限（Ａ、Ｂ、Ｃ、Ｄ）にさらに細分することができる。各区間は、上述のモーションキャプチャボリューム３０のサイズにおおよそ等しいサイズを有し、したがってこのモーションキャプチャボリューム１５０は、上記の実施形態の４倍の表面積を有する。追加の区間Ｅが空間内の中心に置かれ、他の区間のそれぞれと部分的に重なる。グリッド線は、垂直軸に沿う数値座標（１〜５）と、水平軸に沿う英字座標（Ａ〜Ｅ）とをさらに含む。このようにして、モーションキャプチャボリューム上の特定の位置を、領域４Ａなどの英数字座標で定義することができる。そのような指定により、俳優の演技をどこで実施するか、および／または小道具をどこに配置するかに関して俳優に指示を与える点で、モーションキャプチャボリューム１５０の管理が可能となる。俳優および／またはシーンディレクタの便益のために、グリッド線および英数字座標を物理的にモーションキャプチャボリューム１５０のフロアにマークすることができる。こうしたグリッド線および英数字座標は２Ｄデータファイルには含まれないことを理解されたい。

本発明の好ましい実施形態では、各区間Ａ〜Ｅは、１０フィート四方の寸法を有する正方形の形状を有し、全面積４００平方フィート、すなわち上記の実施形態のモーションキャプチャボリュームのおよそ４倍である。有利には、モーションキャプチャボリューム１５０に対して他の形状およびサイズを使用することもできることを理解されたい。

次に図１２Ａ〜１２Ｃを参照すると、モーションキャプチャカメラ１２２_１〜１２２_Ｎの例示的配置が、モーションキャプチャボリューム１５０の周りの周辺領域に対して示されている。周辺領域は、カメラ、照明、およびその他の装置を支持するための足場の配置を与え、領域１５２_１〜１５２_４として示される。モーションキャプチャカメラ１２２_１〜１２２_Ｎが、様々なカメラの高さおよび角度で、モーションキャプチャボリューム１５０の周囲の領域１５２_１〜１５２_４のそれぞれに概して均等に配置される。さらに、モーションキャプチャカメラ１２２_１〜１２２_Ｎはそれぞれ、モーションキャプチャボリューム全体ではなく、モーションキャプチャボリューム１５０の区間のうちの個々の区間に焦点を合わせるように配向される。本発明の例示的実施形態では、合計２００個のモーションキャプチャカメラが存在し、４０個の個々のカメラのグループが、モーションキャプチャボリューム１５０の５つの区間Ａ〜Ｅのうちのそれぞれ１つ専用となる。

具体的には、モーションキャプチャボリュームからの距離およびモーションキャプチャボリューム１５０のフロアからの高さによってモーションキャプチャカメラ１２２_１〜１２２_Ｎの配置を定義することができる。図１２Ａは、モーションキャプチャボリューム１５０から最も遠い距離で配向され、概して最低の高さで配向される第１グループのモーションキャプチャカメラ１２２_１〜１２２_８０の例示的配置を示す。例示的領域１５２_１（他の領域はほぼ同一である）を参照すると、第１行１７２がフロアから最高の高さ（例えば６フィート）でモーションキャプチャボリューム１５０に対して半径方向に外側に配設され、第２行１７４がわずかに低い高さ（例えば４フィート）に配設され、第３行１７６が最低の高さ（例えば１フィート）で第１行および第２行に対して半径方向に内側に配設される、３行のカメラが存在する。例示的実施形態では、この第１グループには合計８０個のモーションキャプチャカメラが存在する。

図１２Ｂは、第１グループよりもモーションキャプチャボリューム１５０に近接し、第１グループよりも高い高さで配向される第２グループのモーションキャプチャカメラ１２２_８１〜１２２_１６０の配置を示す。例示的領域１５２_１（他の領域はほぼ同一である）を参照すると、第１行１８２がフロアから最高の高さ（例えば１４フィート）でモーションキャプチャボリュームに対して半径方向に外側に配設され、第２行１８４がわずかに低い高さ（例えば１１フィート）に配設され、第３行１８６が最低の高さ（例えば９フィート）で第１行および第２行に対して半径方向に内側に配設される、３行のカメラが存在する。例示的実施形態では、この第２グループには合計８０個のモーションキャプチャカメラが存在する。

図１２Ｃは、第２グループよりもモーションキャプチャボリューム１５０に近接し、第２グループよりも高い高さで配向される第３グループのモーションキャプチャカメラ１２２_１６１〜１２２_２００の配置を示す。例示的領域１５２_１（他の領域はほぼ同一である）を参照すると、第１行１９２がフロアから最高の高さ（例えば２１フィート）でモーションキャプチャボリュームに対して半径方向に外側に配設され、第２行１９４がわずかに低い高さ（例えば１８フィート）に配設され、第３行１９６が最低の高さ（例えば１７フィート）で第１行および第２行に対して半径方向に内側に配設される、３行のカメラが存在する。例示的実施形態では、この第３グループには合計４０個のモーションキャプチャカメラが存在する。有利には、モーションキャプチャカメラの他の配置および異なる数のモーションキャプチャカメラも使用できることを理解されたい。

図４に関して上記で説明したのと同様に、モーションキャプチャボリューム１５０のそれぞれの区間にモーションキャプチャカメラの焦点が合わせられる。モーションキャプチャボリューム１５０の区間Ａ〜Ｅのそれぞれについて、４つの辺のそれぞれから区間にモーションキャプチャカメラの焦点が合わせられる。例えば、モーションキャプチャボリュームから最も遠い第１グループのカメラは、それに対して最も近いモーションキャプチャボリュームの区間に焦点を合わせることができる。逆に、モーションキャプチャボリュームに最も近い第３グループのカメラは、そこから最も遠いモーションキャプチャボリュームの区間に焦点を合わせることができる。各辺のうちの１つの一端のカメラは、他端の区間に焦点を合わせることができる。より具体的な例では、モーションキャプチャボリューム１５０の区間Ａを、周辺領域１５２_１の第１行１８２および第３行１８６の高さの低いあるカメラと、周辺領域１５２_４の第１行１８２および第３行１８６の高さの低いカメラと、周辺領域１５２_３の第２行１８４および第３行１８６の中程度の高さのカメラと、周辺領域１５２_２の第２行１８４および第３行１８６の中程度の高さのカメラの組合せによってカバーすることができる。図１２Ａおよび１２Ｂは、中心区間Ｅ内の動作の取込みのために、周辺領域の中心にモーションカメラがより多く集中することを明らかにする。

様々な角度および高さを与え、モーションキャプチャボリューム１５０の各区間に対して多くのカメラの焦点を合わせることにより、望ましくないオクルージョンを最小限に抑えると共に演技全体を取り込む可能性がずっと高くなる。この配置で使用される多数のカメラに鑑みて、各カメラの周りに光シールドを配置して、モーションキャプチャボリュームの反対側に位置する別のカメラからの外部光の検出を低減することが有利である。本発明のこの例示的実施形態では、同じカメラを使用して、顔動作と身体動作を共に同時に取り込むことができ、したがって、別々の身体モーションカメラおよび顔モーションカメラは不要である。顔動作と身体動作を区別するために、俳優に対して異なるサイズのマーカを使用することができ、モーションキャプチャボリュームが大きいとすると、データキャプチャを保証するために、一般に大型のマーカが全般に使用される。例えば、身体に対して９ミリメートルのマーカを使用することができ、顔に対して６ミリメートルのマーカを使用することができる。

身体動作および顔動作を取り込むシステムおよび方法の好ましい実施形態をこのように説明したので、本発明のいくつかの利点が達成されたことは当業者には明らかなはずである。本発明の範囲および精神内で本発明の様々な修正形態、適合、および代替実施形態を作成できることも理解されたい。本発明は、添付の特許請求の範囲によってさらに定義される。

本発明の一実施形態によるモーションキャプチャシステムを示すブロック図である。 モーションキャプチャボリュームの周辺部に配置された複数のモーションキャプチャカメラを備えるモーションキャプチャボリュームの上面図である。 モーションキャプチャボリュームの周辺部に配置された複数のモーションキャプチャカメラを備えるモーションキャプチャボリュームの側面図である。 モーションキャプチャボリュームの象限に対する顔モーションカメラの例示的配置を示すモーションキャプチャボリュームの上面図である。 モーションキャプチャボリュームのコーナに対する顔モーションカメラの例示的配置を示すモーションキャプチャボリュームの上面図である。 モーションキャプチャボリューム内の２人の俳優を反映するモーションキャプチャデータを示すモーションキャプチャボリュームの斜視図である。 モーションキャプチャボリューム内の２人の俳優を反映し、データのオクルージョン領域を示すモーションキャプチャデータを示す図である。 ２人の俳優の一方がオクルージョン領域で遮られている、図７と同様のモーションキャプチャデータを示す図である。 モーションキャプチャシステムで使用されるモーションキャプチャカメラの代替実施形態を示すブロック図である。 本発明の別の実施形態によるモーションキャプチャシステムを示すブロック図である。 複数の演技領域を定義する拡張モーションキャプチャボリュームの上面図である。 モーションキャプチャカメラの例示的配置を示す図１１の拡張モーションキャプチャボリュームの上面図である。 モーションキャプチャカメラの例示的配置を示す図１１の拡張モーションキャプチャボリュームの上面図である。 モーションキャプチャカメラの例示的配置を示す図１１の拡張モーションキャプチャボリュームの上面図である。

Claims (15)

1. 動作を取り込むシステムであって、
   複数の身体地点を定義する身体マーカと、複数の顔地点を定義する顔マーカとを有する少なくとも１人の俳優を含むように適合されたモーションキャプチャボリュームと、
   前記モーションキャプチャボリュームの周辺部に配置された複数のモーションカメラであって、前記モーションキャプチャボリューム内で動作中の前記少なくとも１人の俳優のすべての横方向露出面がほぼすべての時間に前記複数のモーションカメラのうちの少なくとも１つの視野内にあるように配置される複数のモーションカメラと、
   前記複数のモーションカメラに結合され、前記少なくとも１人の俳優の身体動作および顔動作を反映する３次元（３D）デジタル表現を生成するモーションキャプチャデータ処理システムと
   を備え、
   前記モーションキャプチャデータ処理システムは、
   前記複数のモーションカメラに結合され、当該複数のモーションカメラによってキャプチャされた２次元（２Ｄ）データを処理し、複数の２Ｄデータファイルを生成するように適合されている少なくとも一つのコンピュータに結合されているデータネットワークと、
   前記データネットワークに結合されている少なくとも一つのワークステーションであって、前記３Ｄデジタル表現を生成するための適応性を判定するよう検証される前記複数の２Ｄデータファイルへのアクセスを提供するように適合されている少なくとも一つのワークステーションを有するアーティストネットワークと、
   前記複数の２Ｄデータファイルから前記３Ｄデジタル表現を生成するよう適合されている少なくとも一つのデータ処理用コンピュータを有する再構築レンダネットワークと、
   を有することを特徴とするシステム。
2. 前記モーションキャプチャボリュームが、複数の区間に細分された矩形エリアをさらに含む請求項１に記載のシステム。
3. 前記複数のモーションカメラが、第１の高さで前記モーションキャプチャボリュームから最も離れて配置された第１グループのカメラを含む請求項１に記載のシステム。
4. 前記複数のモーションカメラが、前記第１の高さよりも高い第２の高さで、前記第１グループのカメラよりも前記モーションキャプチャボリュームに近く配置された第２グループのカメラを含む請求項３に記載のシステム。
5. 前記複数のモーションカメラが、前記第２の高さよりも高い第３の高さで、前記第２グループのカメラよりも前記モーションキャプチャボリュームに近く配置された第３グループのカメラを含む請求項４に記載のシステム。
6. 前記複数の区間のそれぞれが、３．０４８メートル四方（１０フィート四方）のエリアを含む請求項２に記載のシステム。
7. 前記モーションカメラのうちの少なくとも４０個が、前記複数の区間のそれぞれに焦点が合わせられる請求項２に記載のシステム。
8. 前記モーションキャプチャボリュームが、３７．１６平方メートル（４００平方フィート）のエリアをさらに含む請求項１に記載のシステム。
9. 前記モーションキャプチャデータ処理システムが、前記データネットワークに結合され、前記複数の２Ｄデータファイルを格納するように適合されたマスタサーバをさらに備える請求項１に記載のシステム。
10. 動作を取り込む方法であって、
    複数の身体地点を定義する身体マーカと、複数の顔地点を定義する顔マーカとを有する少なくとも１人の俳優を含むように適合されたモーションキャプチャボリュームを定義すること、
    前記モーションキャプチャボリュームの周辺部に複数のモーションカメラを配置することであって、複数のモーションカメラが、前記モーションキャプチャボリューム内で動作中の前記少なくとも１人の俳優のすべての横方向露出面がほぼすべての時間に前記複数のモーションカメラのうちの少なくとも１つの視野内にあるように配置されること、および
    前記複数のモーションカメラからのデータを処理し、前記少なくとも１人の俳優の身体動作および顔動作を反映するデジタル表現を生成すること、
    を含み、
    前記モーションカメラからのデータについての処理は、
    前記複数のモーションカメラから受信される信号に基づいて２次元（２Ｄ）データファイルを生成すること、
    前記２Ｄデータファイルを中央データストアに格納すること、
    前記２Ｄデータファイルの正確さを検証すること、
    前記２Ｄデータファイルの自動再構築を実施すること、およびそれから３次元（３Ｄ）アニメーションファイルを生成すること
    を有することを特徴とする方法。
11. 前記定義するステップが、複数の区間に細分された矩形エリアとして前記モーションキャプチャボリュームを定義することをさらに含む請求項１０に記載の方法。
12. 前記配置するステップが、第１の高さで、前記モーションキャプチャボリュームから最も離れた前記モーションキャプチャボリュームの周辺領域内に第１グループの前記複数のモーションカメラを配置することを含む請求項１１に記載の方法。
13. 前記配置するステップが、前記第１の高さよりも高い第２の高さで、前記第１グループのカメラよりも前記モーションキャプチャボリュームに近い前記周辺領域内に第２グループの前記複数のモーションカメラを配置することを含む請求項１２に記載の方法。
14. 前記配置するステップが、前記第２の高さよりも高い第３の高さで、前記第２グループのカメラよりも前記モーションキャプチャボリュームに近い前記周辺領域内に第３グループの前記複数のモーションカメラを配置することを含む請求項１３に記載の方法。
15. 前記モーションキャプチャボリューム内から音声を記録することをさらに含む請求項１０に記載の方法。

Images