JP5662203B2 - コンピュータグラフィックスアニメーション用に顔面筋および眼球の運動を追跡するためのシステムおよび方法 - Google Patents

Description

本特許出願は下記の仮特許出願に対して米国特許法第119条(c)により優先権を主張する。

(a)仮出願番号60/616,049 (2004年10月4日出願) SYSTEM AND METHOD FOR CAPTURING FACIAL AND EYE MOTIONおよび(b)仮出願番号60/615,268 (2004年10月1日) TRACKING OF FACIAL FEATURE MOVEMENTS WITHOUT VISUAL FACE CAPTURE.
本発明は、三次元のグラフィックスおよびアニメーションに関し、具体的には、コンピュータグラフィックスアニメーションの生成用にカメラを使用することなく演技者の顔面および眼球の運動を捕捉できる運動追跡システムに関する。

運動捕捉システムは、実物体の運動を捕捉し、およびそれをコンピュータ生成された物体上に写像するために使用される。この種のシステムは、映画およびビデオゲームの製作でしばしば使用されて、コンピュータグラフィックス(CG)アニメーションを生成するためにソースデータとして使用される人間のデジタル表現を生成する。典型的なシステムでは、演技者は様々な箇所に付けられたマーカを有する(例えば、胴体および手足に付けられた小さい反射性のマーカを有する)スーツを着用し、デジタルカメラは、マーカを照光しながら、様々な角度から演技者の運動を記録する。次いで、システムは、各フレームで演技者のスーツ上のマーカの位置(例えば、空間座標として)および方位を決定するために画像を解析する。マーカの位置を追跡することによって、システムは時間にわたってマーカの空間的表現を生成し、運動中の演技者のデジタル表現を構築する。次いで、その運動はデジタルモデルに適用され、このデジタルモデルはその後、俳優および/または演技の完全なCG表現を生成するためにテクスチャ化およびレンダリングされてもよい。この技法は、多くの人気映画で極めてリアルなアニメーションを生成するために、特殊効果の会社によって使用されている。

運動捕捉システムは、俳優の顔面の造作の運動を追跡するためも使用されて、俳優の顔面の運動および表情(例えば、笑い、泣き、微笑みなど)の表現を生成する。胴体の運動捕捉と同様に、マーカが俳優の顔面に付着され、カメラが俳優の表情を記録する。顔面運動は、胴体運動に関与するより大きい筋肉に比べて比較的小さい筋肉を必要とするので、顔面マーカは典型的には対応する胴体マーカよりも非常に小さく、カメラは典型的には、胴体運動捕捉用に通常使用されるカメラよりも高い解像度を有する。俳優の物理的運動が、俳優の顔面上にカメラの焦点が合わされ続けるように制限されて、カメラは典型的に共通の面内に位置合せされる。顔面運動捕捉システムは、顔面のマーカを均一に照光し、カメラと顔面の間の相対的運動の度合いを最小限に抑えるために、ヘルメットまたは俳優に物理的に付着される他の実装手段に組み込まれてよい。

キーフレーミングなどの従来のアニメーション技術に勝る運動捕捉システムの利点は、実時間の可視化能力である。製作チームは、実時間でまたはほとんど実時間で演技者の運動の空間的表現を吟味することができ、それによって俳優は、最適データを捕捉するために物理的演技を変えることができる。さらに、運動捕捉システムは、他のアニメーション技術を使用して容易に再生できない物理的運動の微妙なニュアンスを検出し、それによって自然な運動をより正確に反映するデータをもたらす。その結果、運動捕捉システムを使用して収集された原データを使用して生成されたアニメーションは、より生きているような外見を示すことになる。

運動捕捉システムのこれらの利点にもかかわらず、従来の運動捕捉システムの欠点は、それらが眼球運動を捕捉できないことである。マーカが演技者の眼球に貼付されることができないので、眼球運動は運動捕捉カメラによって検出されない。この眼球運動はその後、後続のCGアニメーションプロセス中に追加されなければならない。アニメーションプロセスをより煩雑にすることに加えて、得られるアニメーション製品は、その製品が演技中に生じる微妙な眼球運動を含むことができないので、リアルさが低くなる。

カメラに頼る従来の運動捕捉システムの他の欠点は、演技者の運動データが、小道具などの他の物体または他の俳優による妨害によって妨げられる可能性があることである。具体的には、胴体または顔面のマーカの一部分がデジタルカメラの視野から遮られる場合、その胴体または顔面の部分に関するデータは収集されない。これが運動データで遮蔽(occlusion)または欠陥(hole)をもたらす。遮蔽は、従来のコンピュータグラフィックス技術を使用してポストプロダクション中に後で補充されることができるが、補充データは実際の運動データの品質を下げて、視聴者に見分けられる可能性があるアニメーションの欠陥をもたらす。この問題を回避するために、従来の運動捕捉システムは、一度に捕捉できる物体の数を限定する(例えば、単一の演技者)。演技者の演技の品質が、他の俳優および物体による妨害にしばしば依存するので、これも運動データをリアルさが低くなったように見せる結果となる。さらに、自然に見える方法でこれらの個別の演技を一緒に結合することは困難である。

娯楽産業以外では、光学カメラに依存することなく顔面筋運動および/または眼球運動を捕捉または追跡することが望ましいであろう多くの他の環境が存在する。例えば、自動音声認識装置、アクセス制御システム、個人プロフィール用の電子記憶および検索システム、ならびに医用/歯科用スクリーニングシステムがこの種の解析技術を使用することができよう。顔の造作の解析を使用する音声認識システムは、音響音声認識だけを使用することが困難である騒々しい環境(例えば、軍用機内または工場内)で広い用途を見出すことができる。現在、これらの可能性のある用途のそれぞれは、個々の顔の造作を有用な電子データに正確に変換する効果的手段を欠いている。これは特に、個人が検出装置に対して顔面の方位を持続的に変えている場合に問題である。

したがって、これらのおよび他の従来技術の欠点を克服する運動追跡システムを提供することが望ましいであろう。より具体的には、カメラを使用することなく、演技者の微妙な顔面および眼球運動を忠実に捕捉することができる運動追跡システムを提供することが望ましいであろう。

本発明は、微妙な顔面および眼球の運動を忠実に捕捉できる運動捕捉システムを提供することによって従来技術の欠点を克服する。本発明は、表面の筋電図(EMG)検出方法を使用して筋肉運動を検出し、眼電図(EOG)検出方法を使用して眼球運動を検出する。検出された筋肉および眼球運動に対応する信号が使用されて、演技者によって実行される同様の運動を示すようにアニメーション化されたキャラクタを制御する。

より具体的には、運動追跡アニメーションシステムの実施形態は、各筋肉に対応する複数の箇所で演技者の皮膚表面に貼付するようになされた複数対の節電図(EMG)電極と、複数対のEMG電極と動作上結合されたプロセッサとを備える。プロセッサは、複数対のEMG電極からEMGデータを取得する機能を実行するプログラミング命令を含む。EMGデータは、演技中の演技者の筋肉運動に対応する電気的信号を備える。プログラミング命令は、筋肉運動のデジタルモデルをもたらすようにEMGデータを処理することと、デジタルモデルをアニメーションキャラクタ上に写像することとをさらに含む。その結果、アニメーションキャラクタは、演技者と同様の筋肉運動を示すことになる。

本発明の一実施形態では、複数対の眼電図(EOG)電極が、演技者の眼球に隣接した箇所で演技者の皮膚表面に貼付されるようになされる。プロセッサは、複数対のEOG電極と動作上結合され、複数対のEOG電極からEOGデータを取得する機能を実行するプログラミング命令をさらに含む。EOGデータは、演技中の演技者の眼球運動に対応する電気的信号を備える。プログラミング命令は、EOGデータの処理と、アニメーションキャラクタ上への処理されたEOGデータの写像とをさらに提供する。これによってアニメーションキャラクタは演技者と同様の眼球運動を示すことができる。

下記の好ましい実施形態の詳細な説明を考慮することによって、コンピュータグラフィックスアニメーションの生成用に演技者の顔面および眼球の運動を捕捉可能にする運動追跡システムのより完全な理解が、そのさらなる利点および目的の理解と共に、当業者にもたらされる。まず簡単に説明される添付図面を参照する。

本発明の実施形態による運動追跡システムを示す構成図である。 例示の電極配置箇所を含む人間の顔面筋構造の正面図である。 本発明の実施形態による筋電図(EMG)信号を使用してアニメーションフレームを生成する方法である。 EMG信号を処理する方法である。 較正ポーズを処理する方法である。 角膜と眼底の間に存在する電圧ポテンシャルを示す人間の眼球の側断面図である。 図7Aおよび図7Bは眼球運動に対応する電界測定を示す概略図である。 顔面筋および眼球のポテンシャル電極を貼付された演技者の写真である。 図8の演技者から取得された顔面筋および眼球の運動データを使用してレンダリングされたアニメーションキャラクタの描写である。

下記にさらに説明するように、本発明は、カメラを使用することなく演技者の微妙な顔面および眼球の運動を忠実に捕捉可能にする運動追跡システムの要求を満たす。下記の詳細な説明では、同様の要素番号が、1つまたは複数の図面で示される同様の要素を説明するために使用される。

まず図1を参照すると、構成図は、本発明の一実施形態による運動追跡システム100を示す。運動追跡システム100は、適切な電極インターフェース112を介して、複数の顔面筋電極対および複数の眼球運動電極対と通信するようになされた運動追跡プロセッサ108を含む。運動追跡プロセッサ108は、関連データファイルを格納可能にするようになされたデータ格納装置106を有するプログラム可能なコンピュータをさらに備えてよい。当技術分野で知られているように、1つまたは複数のコンピュータワークステーションは、ネットワークを使用して運動追跡プロセッサ108と結合されてよく、このネットワークによって複数のグラフィックアーチストが、コンピュータグラフィックスアニメーションを生成するプロセスでその格納データファイルを用いて作業することができる。運動追跡プロセッサ108は、市版のソフトウェアパッケージによって提供されるようなコンピュータグラフィックスアニメーションシステムをさらに含んでもよく、その市販のソフトウェアパッケージは、Alias|Wavefront(商標)により販売されたMaya(登録商標)ソフトウェア製品ラインまたは他の同様の製品などの娯楽産業向けの3Dグラフィックスおよびアニメーションの生成を可能にする。コンピュータグラフィックスアニメーションシステムは、運動追跡プロセッサ108から完全に分離したコンピュータハードウェアおよびソフトウェアシステムを備えてよく、または代替として、共通のハードウェアおよびソフトウェアシステムの一部として運動追跡プロセッサ108と共に(例えば、「プラグイン」として)組み込まれてもよいことが理解されよう。

筋肉電極対は、各電気導体116₁、118₁から116_N、118_Nまでを介して、電極インターフェース112と結合されている電極120₁、122₁から120_N、122_Nまでを含む。また、接地電極126は、電気導体124を介して電極インターフェース112と結合されている。本発明の好ましい一実施形態では、筋肉電極対は表面の筋電図(EMG)電極を備え、その節電図電極は、筋肉が収縮するときに生じる筋肉の表面に沿って伝わる脱分極波によって引き起こされる電圧差を測定する。表面電極によって検出される信号は、典型的に5mVの範囲である。電極は電気的インパルスの予期される方向に位置合せ(または、排除されるべきインパルスと垂直に位置合せ)されるべきである。

眼球運動電極対は、各電気導体132₁、134₁および132₂、134₂を介して電極インターフェース112と結合されている電極136₁、138₁および136₂、138₂を含む。また、接地電極144は、電気導体142を介して電極インターフェース112と結合されている。好ましい一実施形態では、眼球運動は、眼球からの眼電図(EOG)を取得および測定することによって検出される。

図2は顔面筋システムを示す人間の解剖モデル200を示し、その顔面筋システムはEMG電極対に対する例示的に指定された顔面筋の箇所を有する。1対のEMG電極が使用されて、各筋肉グループのそれぞれからデータを捕捉する。例えば、電極対箇所1Lは左内側のまゆ毛を上げるように作用する筋肉に対応し、電極対箇所2Lは左外側のまゆ毛を上げるように作用する筋肉に対応し、電極対箇所3はまゆ毛を下げるように作用する筋肉に対応する。電極対は、化粧用接着剤を使用するなどの従来の方法によって指定箇所で演技者の皮膚表面に貼付される。演技者による対応筋肉の運動が、対応電極によって検出される関連の電気的信号を生成することは理解されよう。あらゆる人間の筋肉はわずかに異なるので、最適なデータ収集を実現するように各演技者用の電極を正確に配置および位置決めするために一定量の実験が必要となろう。

医学分野で知られているように、上顔面筋はまゆ毛、額、ならびに上まぶたおよび下まぶたの外見を変えるように作用する。顔面の上部の前頭筋は、頭蓋骨上の静的着点に向かって等張に収縮して、表面組織(すなわち、皮膚)を筋肉の方向に対して垂直にひだをつけ、しわを寄せることができる。下顔面筋は、唇から頬骨に向かう角方向に収縮する大頬骨筋と、実際は円形または楕円形であり、眼球の周りに広がっている眼輪筋と、口の周りに広がっている口輪筋と、耳に向かって水平に収縮する頬筋と、様々な雑多な活動を制御する他の筋肉とを含んで、いくつかの異なるグループで構成されている。口の筋肉は、特に複雑な筋肉の相互作用を有する。口輪筋は骨に付着していない括約筋である。3つの重要な筋肉、すなわち上唇挙筋(M. Levator Labii Superioris)および上唇鼻翼挙筋(M. Levator Labii Superioris Alaeque Nasi)は上から結合する一方、頬筋は口の大結節で結合し、水平に収縮する。口角下制筋(M. Depressor Anguli Oris)、下唇下制筋およびオトガイ筋はそれぞれ、斜めにおよび垂直に収縮する。顔面の表情は、これらの上顔面筋および下顔面筋の複雑なおよび合成された運動によって形成される。

図2は、EOG電極対に対する例示的な指定箇所も示す。眼球に隣接した電極対の箇所EO1およびEO2は、眼球の左/右運動に関連する信号を検出することに適している。片方の眼球の下方および上方の電極対箇所EO3およびEO4は、眼球の上/下運動に関連する信号を検出することに適している。接地電極箇所GDは額上に配置される。接地電極は、それが顔面筋の用途および作用を妨害しない身体(首、肩、ひじなど)上のどこでも貼付できることに留意されたい。額は、それが顔面筋の作用を妨害することなく他の電極に近接しているので、接地電極にとって便利な箇所を表す。第2の接地電極がEMG電極のために必要であり、この第2の接地電極はEOG接地電極と同じ領域に配置されてよいことに留意されたい。演技者の2つの眼球を表す双極子は並列に運動するので、片方の眼球から上/下運動を収集することだけが必要である。EMG電極と同様に、EOG電極は、化粧用接着剤を使用するなど従来の方法によって指定箇所で演技者の皮膚表面に貼付される。

簡単に図6を参照すると、人間の眼球600の側断面図が示されている。角膜602は眼球の前面に配置され、物体から反射される光線を透過する表面を形成する。光線は、角膜602、レンズ604、および硝子体612によって屈曲され、屈折され、および集束される。眼底608は、網膜606を含む凹形の眼球内部を形成する。レンズ602は網膜606上に物体の像を集束し、網膜606は光線を電気的インパルスに変換し、この電気的インパルスは視神経610を介して脳に伝達される。当技術分野で理解されているように、電圧ポテンシャルが角膜602と眼底608の間に存在する。この電圧ポテンシャルは、測定可能な電界を放射する双極子を備えて、電界の変動が眼球の運動に関連付けられるようにする。

図7Aおよび図7Bは電極対136₁、138₁によって囲まれる2つの双極子を示す。2つの双極子は演技者の眼球600L、600Rのそれぞれに対応する。図7Aに示すように、双極子(すなわち、眼球)が前方方向に向いているとき、電極136₁と電極138₁の間で測定された電界はゼロである。図7Bでは双極子は右側に配向し、それによって電極136₁と電極138₁の間で正の電界を誘起する。接地に対する電極136₁と電極138₁の間の電界変動は、眼球に関する適切な位置情報をもたらす。この電界変動は、名目上の前方方向から約±20°の範囲の眼球運動に対してほとんど線形を維持する。

ここで図1に戻ると、運動追跡プロセッサ108は、信号処理と、EMG電極およびEOG電極によって検出される信号の増幅とを提供する。EMG電極に関して、信号処理は受信信号の整流を含むことができる。未処理の信号は二相であるので、その平均値はゼロである。整流作用によって電流が一方向だけに流されるようになり、したがってゼロ軸の全域で信号の負の成分が「反転」して、信号全体が正になる。EOG電極から受信される信号の位相成分は、眼球の方向の判定にとって重要であり、したがってこれらの信号の整流が実行されないことはないであろう。信号処理は、受信信号のフィルタリングおよび線形包絡線の検出も含むことができる。EMG信号は、実際には多くの信号ならびに多少の雑音の合成物である。また、これらの電圧は、様々な比率または周波数で昇降して、周波数スペクトルを形成する。運動追跡プロセッサ108は合成信号をフィルタし、運動アーチファクトなどの望ましくなく、かつ無意味な電気的雑音を除去することができる。ほとんどのEMGは20Hzと200Hzの間の周波数範囲に存在する。運動アーチファクトは10Hz未満の周波数を有し、雑音は所望のEMG範囲を超える周波数範囲を有する。したがって、運動アーチファクトおよび雑音は、信号が帯域通過フィルタを通過することによって除去されることができる。電極インターフェース112および/または運動追跡プロセッサ108はまた、受信信号を増幅して、信号処理に適したレベルに受信信号を上げることができる。本発明の一実施形態では、電極インターフェースは、Run Technologiesにより作製されたMyopacシステムによって提供されてもよい。

図3は、本発明の一実施形態による顔面追跡方法の例示の実装形態を示す。まず、その方法はステップ302でEMG信号を取得する必要があり、ステップ302は上述のように顔面の特定部分に電極を配置することを含む。例えば、電極は選択された顔面筋グループの上方に配置されてよい。したがって、演技者が顔面の表情を作るとき、関連の顔面筋は、顔面筋の運動により筋肉作用ポテンシャルを生成する。取得されたEMG信号は、ステップ304で処理されて、適正に挙動するようになされた信号を生成する。EMG信号処理には、顔面の表情の各フレームに対する複数のEMGチャネルの処理が含まれる。次いで、n次元の「表情空間」を定義する1組の較正表情またはポーズが306で生成される。較正表情またはポーズは、較正ポーズとEMGチャネル値との行列積を表す行列を生成することによって数学的に表現されてもよい。各較正表情を生成するために、演技者は、ある隔離された筋肉グループを収集データの較正のために作動させる。例えば、演技者はまゆ毛を上方に動かし、関連したEMG電極からの信号が測定される。較正要因が、デジタルモデルの対応する運動を実現するために検出された信号に適用されてよい。EMG電極の位置も、より強い信号を検出するために、または隣接のEMGセンサからのクロストークを避けるために、わずかに移動されてもよい。次いで、同様のプロセスが、他の筋肉グループのそれぞれに対して繰返されるであろう。

後続の演技からのEMG信号が較正表情に適合されて、ステップ308で各表情成分に対する重み係数が生成される。重み係数(x)は、xに対して式F(x)=Bを解くことによって生成され、ここでFはステップ306で生成される較正表情の組であり、Bはステップ304で処理される各フレームに対する複数のEMGチャネルである。各顔面表情成分について、顔面の類似の3Dコンピュータグラフィックスモデルがステップ310で生成される。その3Dコンピュータグラフィックスモデルは、異なる組のパラメータを使用して同様の顔面表情を表す。例えば、幾何学的座標が、顔面の表情を表すためにパラメータとして使用されてもよい。別の実施例では、筋肉強度が、顔面の表情を表すためにパラメータとして使用されてもよい。重み付き成分が、ステップ312で3Dコンピュータグラフィックスモデルと結合されるとき、結果は、元の演技の顔面表情形状と一致する顔面表情形状である。顔面表情の最終的な形状は、1組のパラメータで構成された3Dコンピュータグラフィックスモデルと重み付き成分との和として表現され、ステップ314でアニメーションフレームとしてレンダリングされる。

図4は、ステップ304で上述したEMG信号の処理に関する電気回路をより詳細に示す構成図である。EMG信号は、大体は上述したように、顔面筋上に配置される電極を使用するなどして402で取得される。取得されたアナログEMG信号は、A/D変換器404によってデジタル信号に変換される。高域フィルタ406はEMG信号をフィルタし、整流器408はEMG信号を整流する。次いで、雑音は、雑音減算回路410によって、整流されたEMG信号から減算される。雑音低減信号は、積分器412によって積分され、および低域フィルタ414によって低域フィルタされる。最後に、EMGチャネル値がプロセッサ416によって処理される。

図5は、ステップ306で上述した較正表情を生成するためのプロセスをより詳細に示す流れ図である。ステップ502は較正ポーズに対するEMG信号の取得を行う。取得されたEMG信号はステップ504で処理される。次いで、ステップ506は、n次元の「表情空間」を定義する1組の較正表情またはポーズを生成する。上述のように、較正表情またはポーズは、較正ポーズとEMGチャネル値との行列積を表す行列を生成することによって数学的に表現される。

ここで図8を参照すると、実際の演技者は、その人の顔面に貼付された複数のEMGおよびEOG電極を有して示されている。電極が演技者の顔面に貼付される場合、演技者は所望の演技を行うことができる。図9で示すように、電極からの電気的信号は、電極インターフェース112によって受信および処理され、運動追跡プロセッサ108に伝達されて、格納およびアニメーションへの処理がなされるであろう。

電極導体の束は、演技者の容易な運動を助けるために一緒に束ねられてよい。電極インターフェース112は、運動追跡プロセッサ108に伝達するために、単一の導体上に種々の信号を多重化することができる。電極インターフェース112は、電気または光ファイバ導体によって運動追跡プロセッサ108につながれてよく、または無線接続が、演技者の運動の自由度をさらに高めるために使用されてもよい。あるいは、電極インターフェース112は、ハードディスク装置またはフラッシュメモリモジュールなどの格納装置を備えることができ、この格納装置によって演技データを局所的に格納し、次いで、その後に運動追跡プロセッサ108にダウンロードすることができる。本発明の一実施形態では、電極導体の束が演技者の頭部の後方に向けられ、および背骨に沿って電極インターフェース112まで下方に向けられて、電極インターフェース112は演技者の背中に背負われてよい。他の代替形態では、電極インターフェース112は、演技者により被られた帽子の中に携行されてもよく、それは、電極導体の束によって妨害されることなく、頭および首の自由運動を高めるであろう。電極および導体は、演技者の顔面にぴったりと合う柔軟なマスクと一体化されてもよいことが理解されよう。

運動追跡プロセッサは、既知の技術を使用してアニメーションキャラクタのデジタルモデルを生成する。デジタルモデルは、三次元(3D)の画像ファイルまたはデジタルモデルを生成するために一緒にまとめられる様々な角度から俳優を撮った複数のデジタル写真に基づかれてよい。上述のように、3D画像ファイルを生成するソフトウェアツールは、当技術分野でよく知られている。例えば、3D顔面構造は、それぞれが顔面構造の表面の一部分を定義する複数のスプライン曲面から生成されてよい。このスプライン曲面は、ひとまとめにして「ワイヤフレーム」と呼ばれる個々の線セグメントから形成される。顔面構造は、皮膚表面下に配置される顔面下構造を表す。所望の肌合いおよび色を有する表層組織が、アニメーションキャラクタを生成するために後続のアニメーションプロセスの一部として、この顔面下(sub-facie)構造に適用される。顔面構造の形状は、アニメーションキャラクタによって形成される顔面の表情を制御することが理解されよう。

デジタルモデルが生成されると、仮想の顔面筋構造が顔面構造のデジタルモデル上にオーバーレイされる。人間の顔面筋構造は医学文献でよく理解されており、個々の筋肉の配置および相互接続が、デジタルモデル上に容易に写像されることができる。筋肉の作動は、対応する複数の頂点の再配置を実行するために、選択された筋肉ベクトルまたは筋肉ベクトルのグループを圧縮することによってデジタルモデル内で実現され、それによってデジタルモデルの表面を再形成する。次いで、演技者から捕捉された顔面および眼球運動データは、デジタルモデルの各筋肉ベクトルに写像される。その結果、アニメーション化されたデジタルモデルは、捕捉された演技からの同様の顔面および眼球運動を示すことになる。演技者の行動および表情が、子供、動物、または様々な顔つきの大人の顔など、任意の他の種類のアニメーション化された顔面上に写像されてもよいことが理解されよう。

上述のように、前述の運動追跡システムは顔面筋と眼球運動の密接な協調を可能にする。例えば、目のまばたきは、眼球の周りの筋肉に関するEMGデータのスパイクとして検出される。スパイクが検出されるとき、アニメーションプロセスは、データと一致するように目のまばたきを挿入することができる。これによって得られるアニメーションのリアル性が著しく増すであろう。本発明の実装形態は、カメラまたは運動捕捉空間を必要としないので、上述の運動追跡システムは、従来の顔面運動追跡システムより勝る利点を有する。これは、たとえ追跡されるべき顔面が視野から遮蔽されても、この実装形態は依然として動作することを意味する。さらに、本発明の実装形態は、最終形状と無関係に、運動捕捉を筋肉運動に自動的にパラメータ化し、したがって新しい目標を定める顔面運動捕捉の支援をする。

前述の説明は顔面筋運動の捕捉だけを対処したが、同様の技術によって胴体筋肉運動の捕捉も可能であることは理解されよう。電極対は、上述の顔面筋と同様な方法で種々の胴体筋肉グループに貼付されることができる。同様に、ぴったりとしたボディスーツは、その中で与えられるEMG電極と共に設計されて、電極を演技者の胴体に貼付することの容易さおよび精度を改善することができる。この形式の胴体筋肉捕捉はさらに、関節回転に加えて筋肉屈曲が捕捉されることができるという点で、光学システムを使用する従来の運動捕捉に対してさらなる強化をもたらすことができよう。これによって、より生きているような人間運動のアニメーションをもたらすであろう。

上述の眼球運動プロセスが、運動を捕捉するために光学データを使用して、従来の運動捕捉システムと共に使用されてもよいことは理解されよう。次いで、眼球運動は、上述と同じ方法で光学的に捕捉された胴体運動および/または顔面運動と同期化されてよい。さらに、従来の光学運動捕捉システムと共に使用されるEMGデータ捕捉システムは、演技に関して強化されたデータを提供し、光学データが演技中の光学的妨害により遮られる場合にそのEMGデータ捕捉システムが適宜使用されてもよい。

したがって、カメラを使用することなく、演技者の顔面運動および眼球運動の捕捉を可能にするシステムおよび方法の好ましい実施形態を説明したので、本発明のある種の利点が達成されたことは当業者には明らかであろう。その様々な修正形態、適応形態および代替形態が、本発明の範囲および精神内で作成されてもよいことは理解されよう。本発明は特許請求の範囲によってさらに定義される。

Claims (22)

1. 運動追跡システムであって、
   演技者の顔面の表面に配置された複数の顔面筋電極対を備え、
   前記対のそれぞれは、顔面筋に位置合わせされており、受信されるべき筋電図のインパルスは、当該顔面筋からのものであり、そして、当該対は、ある筋肉に垂直であり、排除対象の筋電図のインパルスは、当該筋肉からのものであり、
   システムは、さらに、
   前記演技者の眼球の少なくとも一つに隣接し、当該演技者の顔面に配置されている少なくとも一つの対の眼電図(EOG)電極であって、当該演技者の眼球の少なくとも一つに関連している双極子の電界を測定するよう構成されている少なくとも一つの対のEOG電極と、
   運動追跡プロセッサと、
   を備え
   前記運動追跡プロセッサは、前記複数の顔面筋電極対に動作可能なよう接続されている筋電図処理回路であって、調整されたEMG信号を生成するよう構成されている筋電図処理回路を有し、
   前記筋電図処理回路は、
   前記複数の顔面筋電極対によって得られた筋電図のインパルスを整流するよう構成されている整流段と、
   前記複数の顔面筋電極対によって得られた筋電図のインパルスに帯域通過フィルタリングを行うよう構成されているフィルタリング段と、
   を含み、
   前記運動追跡プロセッサは、さらに、
   前記少なくとも一つの対のEOG電極に動作可能に接続されている眼電図処理回路であって、前記演技者の眼球の少なくとも一つに関連している双極子の電界の大きさ及び極性を測定するよう構成されている測定段を含む眼電図処理回路と、
   較正段と
   を有し、
   前記較正段は、
   前記演技者が１組の較正表情のそれぞれを行ったときに前記調整されたEMG信号を記録するメモリと、
   前記１組の較正表情のそれぞれに関連している複数の較正要因を計算するプロセッサと、
   を含み、
   前記運動追跡プロセッサは、さらに、仮想の顔面筋構造を含んでいるデジタルコンピュータグラフィックスモデルを有し、
   前記調整されたEMG信号に前記較正要因の選択された一つを乗じ、前記仮想の顔面筋構造に適用する筋肉強度を生成し、これにより、前記デジタルコンピュータグラフィックスモデルは、前記演技者の表情に一致する顔面表情を示し、
   さらに、前記少なくとも一つの対のEOG電極によって測定された前記演技者の眼球の少なくとも一つに関連している双極子の電界の大きさ及び極性は、前記デジタルコンピュータグラフィックスモデルに適用され、これにより、当該デジタルコンピュータグラフィックスモデルは、当該演技者の眼球運動に一致する眼球運動を示すことを特徴とする運動追跡システム。
2. 請求項１に記載の運動追跡システムにおいて、
   前記筋電図処理回路の前記フィルタリング段は、約２０Ｈｚより小さい周波数を排除し、さらに、約２００Ｈｚより大きい周波数を排除するよう構成されていることを特徴とする運動追跡システム。
3. 請求項１に記載の運動追跡システムにおいて、
   前記運動追跡プロセッサの前記較正段は、n次元の表情空間として整理されているメモリを含み、前記演技者が行った前記較正表情のそれぞれについて、ｎ個の較正要因が、前記デジタルコンピュータグラフィックスモデルのｎ個の仮想筋肉に関連して当該メモリに保存されていることを特徴とする運動追跡システム。
4. 請求項３に記載の運動追跡システムにおいて、
   前記演技者が行った表情からの前記調整されたＥＭＧ信号が前記n次元の表情空間に適合され、前記デジタルコンピュータグラフィックスモデルに適用される重み付き要因が計算され、これにより、当該デジタルコンピュータグラフィックスモデルは、当該n次元の表情空間に保存されている前記較正表情の重み付けされた組み合わせである表情を示すことを特徴とする運動追跡システム。
5. 請求項４に記載の運動追跡システムにおいて、
   前記重み付き要因は、異なるデジタルコンピュータグラフィックスモデルに適用され、これにより、前記演技者が行った表情は、子供、動物、または様々な顔つきの大人の顔のうちの１つであるアニメーション化されたキャラクタに写像されることを特徴とする運動追跡システム。
6. 請求項１に記載の運動追跡システムにおいて、
   前記運動追跡プロセッサは前記演技者の胴体上に携行されるように構成されていることを特徴とする運動追跡システム。
7. 請求項１に記載の運動追跡システムにおいて、
   前記運動追跡プロセッサは、前記演技者から離れて位置するよう構成されており、さらに、前記筋電図処理回路及び前記眼電図処理回路から無線インターフェースを介して信号を受信することを特徴とする運動追跡システム。
8. 請求項１に記載の運動追跡システムにおいて、
   前記複数の顔面筋電極対及び前記少なくとも一つの対の眼電図(EOG)電極は、化粧用接着剤を用いて前記演技者の顔面に貼付されていることを特徴とする運動追跡システム。
9. 請求項１に記載の運動追跡システムにおいて、
   前記複数の顔面筋電極対及び前記少なくとも一つの対の眼電図(EOG)電極は、演技者の顔面にぴったりと合う柔軟なマスクと一体化されていることを特徴とする運動追跡システム。
10. 運動追跡システムであって、
    演技者の顔面の表面に配置された複数の顔面筋電極対であって、筋肉が収縮したときに筋肉の表面に沿って伝わる脱分極波によって引き起こされる電圧差を測定するよう構成されている顔面筋電極対と、
    前記演技者の眼球の少なくとも一つに隣接し、当該演技者の顔面に配置されている少なくとも一つの対の眼電図(EOG)電極であって、当該演技者の眼球の少なくとも一つに関連している双極子の電界を測定するよう構成されている少なくとも一つの対のEOG電極と、
    仮想の顔面筋構造を含んでいるデジタルコンピュータグラフィックスモデルを有する運動追跡プロセッサと、
    を備え、
    前記運動追跡プロセッサは、前記複数の顔面筋電極対によって測定された電圧差を処理することで、前記仮想の顔面筋構造の対応する圧縮値を計算し、これにより、前記デジタルコンピュータグラフィックスモデルは、前記演技者の表情に一致する顔面表情を示し、
    前記運動追跡プロセッサは、前記少なくとも一つの対のEOG電極によって測定された双極子の電界を処理することで、前記仮想の顔面筋構造に適用される眼球運動を計算し、これにより、前記デジタルコンピュータグラフィックスモデルは、前記演技者の眼球運動に一致する眼球運動を示し、
    前記運動追跡プロセッサは較正段を有し、
    前記較正段は、
    前記演技者が１組の較正表情のそれぞれを行ったときに前記複数の顔面筋電極対によって測定された電圧差を記録するメモリと、
    前記１組の較正表情のそれぞれに関連している複数の較正要因を計算するプロセッサと、を含むことを特徴とする運動追跡システム。
11. 請求項１０に記載の運動追跡システムにおいて、
    前記運動追跡プロセッサは、前記複数の顔面筋電極対に動作可能なよう接続されている筋電図処理回路をさらに有し、
    前記筋電図処理回路は、
    前記複数の顔面筋電極対によって得られた筋電図のインパルスを整流するよう構成されている整流段と、
    前記複数の顔面筋電極対によって得られた筋電図のインパルスに帯域通過フィルタリングを行うよう構成されているフィルタリング段と、
    を含むことを特徴とする運動追跡システム。
12. 請求項１０に記載の運動追跡システムにおいて、
    前記運動追跡プロセッサは、
    前記少なくとも一つの対のEOG電極に動作可能に接続されている眼電図処理回路であって、前記演技者の眼球の少なくとも一つに関連している双極子の電界の大きさ及び極性を測定するよう構成されている測定段を含む眼電図処理回路をさらに有することを特徴とする運動追跡システム。
13. 請求項１０に記載の運動追跡システムにおいて、
    前記較正段は、n次元の表情空間として整理されているメモリを含み、前記演技者が行った前記較正表情のそれぞれについて、ｎ個の較正要因が、前記デジタルコンピュータグラフィックスモデルのｎ個の仮想筋肉に関連して当該メモリに保存されていることを特徴とする運動追跡システム。
14. 請求項１３に記載の運動追跡システムにおいて、
    前記演技者がある表情を行ったときに前記複数の顔面筋電極対によって測定される電圧差は、前記n次元の表情空間に適合され、前記デジタルコンピュータグラフィックスモデルに適用される重み付き要因が計算され、これにより、当該デジタルコンピュータグラフィックスモデルは、当該n次元の表情空間に保存されている前記較正表情の重み付けされた組み合わせである表情を示すことを特徴とする運動追跡システム。
15. 請求項１４に記載の運動追跡システムにおいて、
    前記重み付き要因は、異なるデジタルコンピュータグラフィックスモデルに適用され、これにより、前記演技者が行った表情は、子供、動物、または様々な顔つきの大人の顔のうちの１つであるアニメーション化されたキャラクタに写像されることを特徴とする運動追跡システム。
16. 請求項１０に記載の運動追跡システムにおいて、
    前記運動追跡プロセッサは前記演技者の胴体上に携行されるように構成されていることを特徴とする運動追跡システム。
17. 請求項１０に記載の運動追跡システムにおいて、
    前記運動追跡プロセッサは、前記演技者から離れて位置するよう構成されており、さらに、前記筋電図処理回路及び前記眼電図処理回路から無線インターフェースを介して信号を受信することを特徴とする運動追跡システム。
18. 仮想の顔面筋構造を有するデジタルコンピュータグラフィックスモデルを運動追跡を行いアニメーション化する方法であって、
    演技者の顔面の表面に複数の顔面筋電極対を配置するステップを含み、
    前記対のそれぞれは、顔面筋に位置合わせされており、受信されるべき筋電図のインパルスは、当該顔面筋からのものであり、そして、当該対は、ある筋肉に垂直であり、排除対象の筋電図のインパルスは、当該筋肉からのものであり、
    方法は、さらに、
    少なくとも一つの対の眼電図(EOG)電極を、前記演技者の眼球の少なくとも一つに隣接する当該演技者の顔面に配置するステップと、
    前記演技者が行った１組の較正表情のそれぞれについて較正プロシージャを実行するステップと、
    を含み、
    前記較正プロシージャは、
    前記複数の顔面筋電極対から筋電図のインパルスを取得するステップと、
    特定の較正表情に関連している１組の較正要因を計算するステップと、
    前記特定の較正表情に関連している前記１組の較正要因をメモリに保存するステップと、
    を有し、
    方法は、さらに、
    前記演技者が行った表情について、前記複数の顔面筋電極対から筋電図のインパルスを取得するステップと、
    前記演技者の眼球の少なくとも一つに関連している双極子の電界の大きさ及び極性を少なくとも一つの対のEOG電極から取得するステップと、
    前記複数の顔面筋電極対からの取得した前記筋電図のインパルスに前記１組の較正要因の選択された一つを乗じ、筋肉強度パラメータを生成するステップと、
    前記デジタルコンピュータグラフィックスモデルが前記演技者の表情に一致する顔面表情を示すよう、前記筋肉強度パラメータを当該デジタルコンピュータグラフィックスモデルの前記仮想の顔面筋構造に適用するステップと、
    前記デジタルコンピュータグラフィックスモデルが当該演技者の眼球運動に一致する眼球運動を示すよう、前記少なくとも一つの対のEOG電極から取得した前記大きさ及び極性の測定値を当該デジタルコンピュータグラフィックスモデルの前記仮想の顔面筋構造に適用するステップと、
    を含むことを特徴とする方法。
19. 請求項１８に記載の方法において、
    前記複数の顔面筋電極対から筋電図のインパルスを取得するステップは、
    前記複数の顔面筋電極対によって得られた筋電図のインパルスを整流するステップと、
    前記複数の顔面筋電極対によって得られた筋電図のインパルスに帯域通過フィルタリングを行うステップと、
    を含むことを特徴とする方法。
20. 請求項１９に記載の方法において、
    前記帯域通過フィルタリングを行うステップは、約２０Ｈｚより小さい周波数を排除ステップ、さらに、約２００Ｈｚより大きい周波数を排除するステップを含むことを特徴とする方法。
21. 請求項１８に記載の方法において、
    前記較正プロシージャは、さらに、
    前記演技者が行った前記較正表情のそれぞれについて、ｎ個の較正要因が、前記デジタルコンピュータグラフィックスモデルのｎ個の仮想筋肉に関連するよう、前記１組の較正要因をn次元の表情空間として整理するステップと、
    前記複数の顔面筋電極対によって得られた筋電図のインパルスを前記n次元の表情空間に適合するステップと、
    前記デジタルコンピュータグラフィックスモデルが前記n次元の表情空間に保存されている前記較正表情の重み付けされた組み合わせである表情を示すよう、当該デジタルコンピュータグラフィックスモデルに適用される重み付き要因を計算するステップと、
    を含むことを特徴とする方法。
22. 請求項２１に記載の方法において、
    前記演技者が行った表情が、子供、動物、または様々な顔つきの大人の顔のうちの１つであるアニメーション化されたキャラクタに写像されるよう、前記重み付き要因を異なるデジタルコンピュータグラフィックスモデルに適用するステップをさらに含むことを特徴とする方法。

Images