JP5785254B2 - 顔の表情のリアルタイムアニメーション - Google Patents

Description

本発明は、顔の表情のリアルタイムアニメーションに関する。

[0001]ビデオゲームコンソールは、一般に、ビデオゲームのプレーヤーが、そのようなコンソールによってディスプレイスクリーン上に表示されたインタラクティブな体験に参加することを可能にする。ビデオゲームコンソールは、低解像度のグラフィックスをサポートするマシンから、比較的高解像度でディスプレイ上にグラフィックスをレンダリングすることができるマシンへと進歩した。したがって、ビデオゲームのデザイナーは、ビデオゲームのプレーヤーに対して表示されるべき非常に詳細なシーンを設計する可能性がある。

[0002]概して、ビデオゲームのプレーヤーは、ディスプレイスクリーン上で個人に対して表示されるグラフィカルなオブジェクトのアクションを制御することができ、グラフィカルなオブジェクトはキャラクターであることが多い。ビデオゲームにおけるキャラクターは、人間または動物の比較的本物に近い表現から人間または動物のより漫画的な表現にまで及ぶ。典型的には、個人は、方向パッドおよびいくつかのボタンを含むコントローラーを用いて、ビデオゲームコンソールによってディスプレイスクリーン上に表示されたキャラクターの動き／アクションを制御する。

[0003]最近では、ビデオゲームコンソールは、個人がビデオゲームコンソールおよび／または特定のゲームに関するデータを保存することができるようにローカルのストレージを備えるようになった。特定の例において、個人は、その個人の表現またはそのような個人の分身であるアバターを作成する可能性がある。アバターは、３次元キャラクターとして表示されることが多く、ユーザーは、アバターの体の形状、アバターの肌の色調、アバターの顔の特徴、アバターのヘアスタイルなどを含むがこれらに限定されないアバターに関するさまざまなスタイルを選択することができる。これらのアバターは、概して、本質的にいくらか漫画的であるが、アバターの設計は、個人の漫画的な表現に限定されない。

[0004]特定の種類のゲームをプレーするとき、個人は、それらの個人のアバターとしてゲームをプレーする可能性がある。アバターは、個人またはその個人の分身に何らかの形で似ている可能性があるが、アバターは、個人のように感情を示すことはない。むしろ、ディスプレイスクリーン上に表示されるアバターの感情は、ビデオゲーム内の状況に応じて事前にプログラミングされる。したがって、アバターに関してビデオゲームにおいて何らかの望ましくないことが起こる場合にアバターが顔をしかめることが事前にプログラムされ得る。しかし、多くの場合、これらの感情は、実際のゲームのプレーヤーの感情を反映しない可能性がある。

[0005]以下は、本明細書においてより詳細に説明される主題の簡潔な概要である。この概要は、特許請求の範囲に関する限定であるようには意図されていない。
[0006]本明細書において説明されるのは、個人の顔の表情をキャプチャーし、そのような顔の表情をアニメーションされるアバターにリアルタイムで反映させることに関するさまざまな技術である。例によれば、センサーユニットが、ビデオカメラ（例えば、ＲＧＢカメラ）を内部に収容する可能性がある。ビデオカメラは、個人の方に向けられることができ、個人のアクションをキャプチャーすることができる。結果として得られるビデオストリームは、例えば、既存の顔認識アプリケーションを用いて分析され得る。ビデオストリーム内のキャプチャーされた個人の顔の表情を示すデータが、そのようなビデオストリームから抽出されてもよく、３次元のリグを駆動するために利用されてもよい。したがって、個人の顔の表情が変わるときに顔の表情のそのような変化が３次元のリグにおいても起こるように、個人の顔の表情を示すデータが、３次元のリグの特定の部分にマッピングされてもよい。一例において、３次元のリグは、その後、個人の顔の表情をリアルタイムで反映するように顔がアニメーションされるようにディスプレイにレンダリング可能である。

[0007]さらに、３次元のリグは、キャプチャーされたユーザーの顔の表情に対応するアバターの顔の表情をアニメーションすること関連して利用されることがある。個人は、その個人の思い描くアバターがその個人またはその個人の分身を十分に表現するようにアバターをカスタマイズすることができる。したがって、そのような個人は、アバターが個人またはその個人の分身を表すようにヘアスタイル、髪の色、目の格好、目の色、口の形、唇の形、およびさまざまなその他の顔の特徴を選択することができる。アバターに対応する個人の顔の特徴を表すようにアバターをレンダリングするとき、そのような個人によって選択されたスタイルを、３次元のリグに適用する（例えば、実質的に貼り付ける）ことができる。そして、（３次元のリグに対応するメッシュ／スキンを含む）３次元のリグは、２次元空間に射影される可能性があり、スタイルは、所望の２次元のオブジェクト上の特定のテクスチャーとして表され得る。３次元のリグがユーザーの顔の表情を表すように時間とともに変化するにつれて、スタイルは、３次元のリグと一緒に動く可能性がある。したがって、例えば、個人がゲームをプレーしながら眉毛を上げる場合、眉毛に対応する３次元のリグの部分が上がり、３次元のリグに適用されるスタイルも上がる。スタイルに対応する２次元のテクスチャーは、グラフィカル処理ユニット（ＧＰＵ）を利用して処理可能であり、個人がゲームのプレー中に感情を示すときに感情を示すアバターの見た目を与えるために漫画的な顔に配置されてもよい。

[0008]一例において、上述のこれらの特徴は、ユーザーが何らかの好適なモーションによってアバターのアクションを制御することができるビデオゲーム環境内で利用され得る。具体的には、センサーユニットが、ビデオストリーム、オーディオデータ、深度情報などを用いて個人のアクション／コマンドをキャプチャーするように構成可能であり、そのようなアクション／コマンドが、ディスプレイスクリーン上のアバターのアクションを制御することができる。さらに、個人がゲームをプレーしながら感情を表すとき、そのような感情がキャプチャーされ、ゲーム内のアバターの顔に表現されてもよい。したがって、一例において、個人は、アバターの感情を見ることによって、ビデオゲームをプレーするときに、その個人がどのように感情を示しているかを確かめることができる。

[0009]別の実施形態において、上述の特徴は、異なるプレーヤーが離れた場所におり、異なるスクリーンを見るマルチプレーヤー設定で利用されてもよい。つまり、第１の個人が、その第１の個人に対応するアバターを持つことができ、そのようなアバターが、マルチプレーヤーゲームで利用される。センサーユニットは、第１の個人の顔の画像を含むビデオストリームを出力するように構成可能である。その後、上述のように、そのビデオストリームが、第１の個人の顔の表情を示すデータをそのビデオストリームから抽出するために分析されてもよい。これは、第１の個人のビデオゲームコンソールで、および／または第２の個人によって利用されている別のビデオゲームコンソールで行われ得る。第２の個人のビデオゲームコンソールにおいて、３次元のリグが、第１の個人の顔の表情を示すデータに少なくとも部分的に基づいて駆動されてもよく、これらの顔の表情が、第２の個人によって見られるディスプレイ上で第１の個人を表すアバター上に表示されてもよい。したがって、第１の個人と第２の個人とが一緒にまたは対戦形式でゲームをプレーしているときに、第２の個人が、第１の個人がどのように感情を示しているかを見ることができるので、第１の個人は、第２の個人によって見られているディスプレイ上のアバターによるテレプレゼンスまたは疑似プレゼンス（ｐｓｅｕｄｏｐｒｅｓｅｎｃｅ）を持つことができる。

[0010]その他の態様は、添付の図面および説明を読み、理解すれば分かるであろう。

[0011]個人の実際の感情をリアルタイムで反映するためにアバターをアニメーションさせることを容易にする例示的なシステムの機能ブロック図である。 [0012]アバターに特定のスタイルを適用することを容易にする例示的なシステムの機能ブロック図である。 [0013]アバターにスタイルを適用することに関連して利用され得る例示的なグラフィカルユーザーインターフェースの図である。 [0014]２人の個人の感情がそれらの個人に対応するアバターによってリアルタイムで表現されるような、ゲームをプレーするそのような個人の例示的な図である。 [0015]２人の個人の感情がアニメーションされるアバターで表現される、別々の場所でゲームをプレーするそのような個人の例示的な図である。 [0016]アバターが表現する個人の顔の表情に対応する顔の表情を付けてディスプレイスクリーン上でアバターをアニメーションさせるための例示的な方法を示す流れ図である。 [0017]アバターによって表現される個人の顔の表情を反映するようにディスプレイスクリーン上でアバターをアニメーションさせるための例示的な方法を示す流れ図である。 [0018]例示的なコンピューティングシステムの図である。

[0019]リアルタイムでアバターによって表される個人の顔の表情／感情を反映するようにそのようなアバターをアニメーションすることに関連するさまざまな技術が、図面を参照して以降で説明され、それらの図面において、同様の参照番号は、図面全体を通じて同様の要素を表す。加えて、例示的なシステムのいくつかの機能ブロック図が、説明を目的として図示され、本明細書に記載されているが、特定のシステムコンポーネントによって実行されると記載されている機能が複数のコンポーネントによって実行される可能性があることを理解されたい。同様に、例えば、１つのコンポーネントが、複数のコンポーネントによって実行されると記載されている機能を実行するように構成される可能性がある。

[0020]図１を参照すると、アバターによって表される個人の顔の表情がディスプレイ上にレンダリングされるようにアバターをアニメーションすることを容易にする例示的なシステム１００が、示される。システム１００は、コンピューティング装置１０２を含む。例によれば、コンピューティング装置１０２は、テレビディスプレイなどのディスプレイスクリーンに通信可能なように結合され得るビデオゲームコンソールであってよい。別の例において、コンピューティング装置１０２は、ディスプレイスクリーンを備えるモバイル／ポータブルゲーム機であってもよい。さらに別の例において、コンピューティング装置１０２は、ポータブル電話またはマルチメディアデバイスなど、専用のゲームデバイスではないポータブルコンピューティングデバイスであってもよい。さらに、コンピューティング装置１０２は、通常のパーソナルコンピューターまたはラップトップコンピューターであってもよい。本明細書に記載のシステム１００の例はビデオゲーム環境に関するが、本明細書に記載の技術は、テレプレゼンスが望まれており、またアバター／キャラクターを利用して個人を表すことができる他の環境にも適用され得ることを理解されたい。したがって、例えば、本明細書に記載の技術は、２人の個人が擬似的なビデオ会議環境によって互いに連絡したいが、実際のビデオデータを送信または表示する代わりに、ビデオ会議の参加者を表すアバターがレンダリングされる環境で使用され得る。その他の実施形態は、当業者に容易に理解されるであろう。

[0021]システム１００は、コンピューティング装置１０２と通信するセンサーユニット１０４をさらに含む。例えば、センサーユニット１０４は、バッテリーを内蔵することができ、無線接続によってコンピューティング装置１０２と通信可能である。別の例において、センサーユニット１０４は、コンピューティング装置１０２への有線接続を有してもよく、コンピューティング装置１０２によって給電可能である。さらに別の例において、センサーユニット１０４は、コンピューティング装置１０２に含まれる（例えば、コンピューティング装置のプロセッサーおよびメモリーを含むのと同じハウジング内に含まれる）ことがある。センサーユニット１０４は、個人１０６の特定の動き／アクションをキャプチャーするために個人１０６に向けられることができる。具体的には、センサーユニット１０４は、個人１０６の画像および／またはモーションをキャプチャーすることができるＲＧＢビデオカメラなどの撮像センサー１０８を含み得る。センサーユニット１０４は、個人１０６の可聴出力をキャプチャーするように構成されるマイクロホン１１０も含み得る。加えて、図示されていないが、センサーユニット１０４は、センサーユニット１０４からの個人１０６および／または個人１０６の特定の部分の距離を感知するように構成される深度センサーをさらに含み得る。深度センサーは、赤外光および反射率を利用して、センサーユニット１０４から個人１０６の異なる部分までのさまざまな距離を判定することができる。もちろん、深度の感知を実行するためのその他の技術が企図され、本明細書に添付された特許請求の範囲に入るように意図される。

[0022]例によれば、センサーユニット１０４は、個人１０６が動いており、および／または顔の表情によって感情を表しているときに、撮像センサー１０８がそのような個人１０６に関するモーションデータ（例えば、ビデオまたはその他の好適なデータ）をキャプチャーするように、個人１０６に向けられてもよい。センサーユニット１０４は、コンピューター装置１０２によって受信されるように意図されるキャプチャーされた画像を出力するように構成可能である。したがって、センサーユニット１０４は、モーションデータストリームを出力するように構成可能であり、モーションデータストリームは、個人１０６の画像を含み、特に、個人１０６の顔の画像を含むビデオストリームであってもよい。他の例においては、赤外線カメラが、個人に関連するモーションデータをキャプチャーするように構成可能であり、そのようなモーションデータは、個人の顔の表情を示すデータを含み得る。その他のモーションキャプチャー技術が企図され、本明細書に添付された特許請求の範囲に入るように意図される。

[0023]コンピューティング装置１０２は、汎用プロセッサー、グラフィカル処理ユニット（ＧＰＵ）、および／またはその他の好適なプロセッサーであってもよいプロセッサー１１２を含む。コンピューティング装置１０２は、プロセッサー１１２によって実行可能であるさまざまなコンポーネントを含むメモリー１１４をも含む。一例において、メモリー１１４は、センサーユニット１０４から出力されたビデオストリームを受信し、そのようなビデオストリームを分析して個人１０６の顔の特徴を示すデータを抽出する顔認識コンポーネント１１６を含み得る。具体的には、顔認識コンポーネント１１６は、センサーユニット１０４によって出力されたモーションデータストリーム（例えば、ビデオデータストリーム）内の人間の顔の存在を認識可能であり、さらに、個人１０６の顔の表情を示すデータを抽出することができる。これは、顎のラインの位置、頬の動き、眉毛および個人１０６の顔の表情を示すことができる顔のその他の部分の位置および動きを含み得る。

[0024]ドライバーコンポーネント１１８が、個人１０６の顔の表情を示すデータを受信することができ、顔の表情を示すデータに少なくとも部分的に基づいて３次元のリグ１２０を駆動することができる。例えば、３次元（３Ｄ）のリグ１２０は、本質的に人間に似ている形態であり得る。グラフィカルアニメーションの分野に精通している者に理解されるように、３Ｄのリグ１２０は、アバターの表面を描くために利用されるスキンと、ボーンの階層的な組とを含み得る。各ボーンは、ボーンの位置、ボーンのスケール、およびボーンの向きを含む３Ｄ変換と、任意的に親ボーンとを有する。したがって、ボーンは、階層内の子ノード／ボーンの完全な変形が、そのボーンの親の変換とそのボーン自体の変換との積であるような階層を形成することができる。リギング（スケルタルアニメーション（ｓｋｅｌｅｔａｌ ａｎｉｍａｔｉｏｎ）を利用してキャラクターをグラフィカルにアニメーションさせること）は、グラフィカルアニメーションの分野に精通している者によって理解され、認識されるであろう。メモリー１１４は単一の３Ｄのリグを含むように示されているが、メモリー１１４は複数の３Ｄのリグを含む可能性があり、適切な３Ｄのリグが、撮像センサー１０８によってキャプチャーされている個人の顔の認識された形状に少なくとも部分的に基づいて選択され得ることを理解されたい。

[0025]ドライバーコンポーネント１１８が、個人１０６の顔の表情を示すデータに少なくとも部分的に基づいて３Ｄのリグ１２０を駆動するように構成されてもよい。したがって、顔の表情を示すデータが個人の顎のラインが下方向に動いていることを示す場合、ドライバーコンポーネント１１８は、３Ｄのリグ１２０の対応する顎のラインを下方向に動かすことができる。別の例において、個人１０６の顔の表情を示すデータが個人１０６の眉毛が上方向に動いていることを示す場合、ドライバーコンポーネント１１８は、３Ｄのリグ１２０の（３Ｄのリグの眉毛の近くの）対応する位置を上方向に動かすことができる。

[0026]レンダーコンポーネント１２２は、ドライバーコンポーネント１１８によって駆動された３Ｄのリグ１２０に少なくとも部分的に基づいてディスプレイ１２６上にアバター１２４をグラフィカルにレンダリングすることができる。より詳細には、レンダーコンポーネント１２２は、アバター１２４の顔の表情が個人１０６の顔の表情をリアルタイムで反映するようにアバター１２４をアニメーションすることができる。したがって、個人１０６が笑う、顔をしかめる、にやにや笑う、いぶかしげに見える、不安を表すなどといったときに、そのような表情が、ディスプレイ１２６内でアバター１２４上に表される。

[0027]ディスプレイ１２６は、テレビディスプレイであってもよく、そのようなテレビディスプレイは、コンピューティング装置１０２と通信する。別の例において、ディスプレイ１２６は、コンピューターモニターであってもよいし、（例えば、コンピューティング装置１０２がポータブルゲーム機であるときは）コンピューティング装置１０２に含まれているディスプレイであってもよい。

[0028]ドライバーコンポーネント１１８は撮像センサー１０８によって出力されたビデオデータのみに基づいて３Ｄのリグ１２０を駆動するように本明細書において説明されたが、ドライバーコンポーネント１１８は、その他のデータを利用することによって３Ｄのリグ１２０を駆動するように構成されてもよいことを理解されたい。例えば、ドライバーコンポーネント１１８は、マイクロホン１１０から可聴データを受信する可能性があり、そのようなオーディオデータは、個人１０６によって発せられた言葉を含む。特定の音は、個人１０６の口を特定の形状にする可能性があり、ドライバーコンポーネント１１８は、個人１０６によって出された特定の音に関連する形状に少なくとも部分的に基づいて３Ｄのリグ１２０を駆動する可能性がある。加えて、センサーユニット１０４が、深度センサーを含む可能性があり、ドライバーコンポーネント１１８は、深度センサーによって出力されたデータに少なくとも部分的に基づいて３Ｄのリグ１２０を駆動する可能性がある。

[0029]例示的な実施形態において、システム１００は、ビデオゲームに関連して利用され得る。個人１０６は、その個人１０６またはその個人１０６の分身を表すアバターを作成することができ、ユーザーまたは個人１０６がアバター１２４としてゲームをプレーすることを可能にするビデオゲームをプレーし始めてもよい。個人１０６の表情がゲームのプレー中に変わるとき、アバター１２４上でアニメーションされる表情も、リアルタイムで対応するように変わる。したがって、個人１０６は、ゲームのプレー中に、そのような個人１０６がどのように感情を示しているかを見ることができる。別の例において、ディスプレイ１２６は、個人１０６が別のゲームのプレーヤーと一緒に、または別のゲームのプレーヤーと対戦してプレーしているときのように、個人１０６から遠隔にあることがある。したがって、別のゲームのプレーヤーは、個人１０６の顔の表情がゲームのプレー中に変わるときに感情を示すアバター１２４を表示するディスプレイ１２６を見ることができる。その上さらに、システム１００は、個人１０６が別の人とコミュニケーションしており、アバター１２４によって表される擬似的なビデオ会議アプリケーションで使用され得る。個人１０６がコミュニケーションしている人に、個人１０６の感情／顔の表情に対応する感情を表し／顔の表情を示すアバター１２４を提示することができる。

[0030]ここで図２を参照すると、そのアバターに対応する個人の顔の表情を表現しながらアバターをディスプレイ上でアニメーションさせるように構成される別の例示的なコンピューティング装置２００が示される。コンピューティング装置２００は、上述のように、プロセッサー１１２およびメモリー１１４を含む。この例示的なコンピューティング装置２００において、メモリー１１４は、アバターに関連付けられ得る複数の異なる種類のスタイルを含むスタイルライブラリー２０２を含む。例えば、これらのスタイルは、顔の形、眉毛、目、鼻、口、耳、顎髭、髪などを含む異なる顔の特徴を含み得る。インターフェースコンポーネント１１８は、個人が、１つまたは複数のテンプレート（例えば、テンプレートの顔の形状、テンプレートの体の形状、．．．）にスタイルライブラリー２０２からのスタイルを適用することによってそのような個人を表すカスタマイズされたアバターを作成することを可能にすることができる。

[0031]例によれば、個人またはその個人の分身を表すアバターの作成について個人に解説するグラフィカルユーザーインターフェースを個人に提供することができる。グラフィカルユーザーインターフェースは、最初に、さまざまな体の種類を個人に提示することができる。その後、顔の異なる形状（例えば、丸形、楕円形、四角形、三角形など）を、個人に提示することができる。次に、個人は、目の形状、目の色、アバターの顔の上の目の位置、鼻の形状または鼻のサイズ、アバターの顔の上の鼻の位置、口の形状、口のサイズ、口の色などを選択することができる。アバターに適用すべき複数の事前に定義されたスタイルを選択することによって、個人は、その個人またはその個人の分身の表現を生成することができる。

[0032]コンピューティング装置２００のメモリー１１４は、上述のように動作できる顔認識コンポーネント１１６、ドライバーコンポーネント１１８、および３Ｄのリグ１２０をも含む。メモリー１１４は、インターフェースコンポーネント２０４を介して個人によって選択された少なくとも１つのスタイルを３Ｄのリグ１２０上の適切な位置に適用することができるアプライヤーコンポーネント２０６も含み得る。したがって、スタイルが眉毛である場合、眉毛は、３Ｄのリグ１２０のメッシュ上の適切な位置に配置され得る。同様に、スタイルが口である場合、そのような口は、３Ｄのリグ１２０のメッシュ上の適切な位置に配置され得る。

[0033]上で示されたように、３Ｄのリグ１２０は、人間に似た形であってもよい。レンダーコンポーネント１２２が人間に似ていないキャラクター（例えば、漫画的なアバター）をレンダリングすることが望まれる場合、スタイルをアニメーションさせるが、３Ｄのリグ１２０の人間に似た外観はアニメーションさせないことが望ましくなる。これらのスタイルは、アバターの２Ｄのテンプレートの頭の上でアニメーションされてもよい。特定のスタイルをアニメーションさせるために、そのスタイルは、３Ｄのリグ１２０上の適切な位置に配置可能であり、そのようなスタイルの動きは、個人が異なる顔の表情をするときにキャプチャーされてもよい。つまり、個人１０６がその個人の眉毛を上げるとき、３Ｄのリグ１２０の適切な部分も上がり、３Ｄのリグ１２０の眉毛の領域に配置されたスタイルが上がることになる。３Ｄのリグ１２０に貼り付けられるこれらのスタイルは、上がり下がりする眉毛を表すために（ＧＰＵであってもよい）プロセッサー１１２を用いてキャプチャーされ得る。つまり、プロセッサー１１２の各フレームが、スタイルに対応するテクスチャーを描くように構成可能であり、そのようなテクスチャーは、すべてのフレームで変わることがあり、アバターのテンプレートの顔に適用可能である。したがって、個人によって選択されたスタイルは、今や、撮像センサー１０８によってキャプチャーされた個人１０６の顔の表情にしたがってアニメーションしているかのように見える。

[0034]空のテンプレート上でスタイルのアニメーションを実行するために、プロセッサー１１２は、頂点を生成し、三角形をそれらの頂点に縫い合わせ、三角形をスタイルに対応する色で塗りつぶし、そのようなスタイルを３Ｄのリグ１２０の動きにしたがってアニメーションするように構成され得る。プロセッサー１１２は、ディスプレイスクリーン上に滑らかなアニメーションを表示するために各フレームでスタイルをアニメーションするように構成され得る。要約すると、ビデオデータが、コンピューティング装置２００で受信可能であり、ドライバーコンポーネント１１８によって３Ｄのリグ１２０にマッピングされる。スタイルが、３Ｄのリグ１２０の適切な位置に適用されてもよく、スタイルが適用された結果として得られる３Ｄモデルが、レンダーコンポーネント１２２によって２Ｄモデルに射影されてもよい。次いで、当該２Ｄモデルが、アバター上でアニメーションされ得る（スタイルに対応する）テクスチャーを生成するために利用され、このアニメーションは、リアルタイムで起こる。

[0035]ここで図３を参照すると、個人またはその個人の分身を表すアバターを生成するために利用することができる、そのような個人に提供され得る例示的なグラフィカルユーザーインターフェース３００が示されている。グラフィカルユーザーインターフェース３００は、個人によって現在選択されているスタイルをともなうアバター３０４を含む第１のウィンドウ３０２を含み得る。加えて、アバター３０４は、空であるように見えることがある（アバター３０４の顔が空であるように見えることがある）。グラフィカルユーザーインターフェース３００は、選択可能な顔の特徴を表す複数のグラフィカルなアイテム３０６〜３１０も含み得る。示されるように、この例における顔の特徴は、アバター３０４に適用され得る目の形状である。グラフィカルなアイテム３０６〜３１０のうちの１つを選択することによって、対応する目の形状が、アバター３０４上で見えるようになる。次に、個人は、選択可能なグラフィカルなアイテム３１２〜３２４のうちの１つを選択することによって目の色を選ぶことができる。個人が適切な目の形状および対応する色を選択すると、その他のスタイルが、選択のために個人に提示されてもよい。やはり、そのようなスタイルは、眉毛の形状、眉毛の種類、眉毛の色、鼻の形状、顎髭があるかどうかなどを含み得る。

[0036]ここで図４を参照すると、アバターが個人の顔の表情を示すようにアニメーションされ得る例示的な実施形態４００が示される。この例示的な実施形態４００においては、第１の個人４０２および第２の個人４０４が、特定のビデオゲームコンソール４０６でビデオゲームをプレーしている。ビデオゲームコンソール４０６は、テレビ４０８に結合されている。センサーユニット４１０が、ビデオゲームコンソール４０６に通信可能なように結合されており、第１の個人４０２および第２の個人４０４の画像をキャプチャーする撮像センサーを含む。

[0037]個人４０２および４０４によってプレーされているゲームにおいて、個人４０２および４０４を表す２体のアバター４１２および４１４が表示され、ゲームのプレー中に利用される。具体的には、アバター４１２が、第１の個人４０２を表すことができ、アバター４１４が、第２の個人４０４を表すことができる。個人４０２および４０４がゲームをプレーしているとき、それらの個人４０２および４０４は、アバター４１２〜４１４上でアニメーションされる顔の表情を見ることによって、それらの個人と一緒にプレーしている人／それらの個人の対戦者がどのように感情を示しているかを確かめることができる。これは、センサーユニット４１０によってリアルタイムでキャプチャーされた本物に近い感情をプレーヤーに提供することによってゲームのプレーを向上させることができる。

[0038]ここで図５に移ると、ビデオゲームのプレーに関連する別の例示的な実施形態５００が示されている。この実施形態においては、第１の個人５０２および第２の個人５０４が、離れた場所で一緒にまたは対戦形式でゲームをプレーしている。ゲームをプレーするために個人５０２および５０４によってそれぞれ利用される２台のビデオゲームコンソール５０６および５０８が、ネットワーク接続によって互いに結合される。これは、個人５０２および５０４が互いに地理的にかなり遠くに離れているとしても、個人５０２および５０４が互いに一緒にまたは対戦形式でプレーすることを可能にする。ビデオゲームコンソール５０６および５０８のそれぞれは、それらのビデオゲームコンソール５０６および５０８に対応するセンサーユニット５１０および５１２をそれぞれ有する。センサーユニット５１０は、第１の個人５０２の顔の表情をキャプチャーするビデオストリームを生成することができる撮像センサーを含む可能性があり、センサーユニット５１２は、そのような個人５０２および５０４が互いに一緒にまたは対戦形式でプレーしているときに第２の個人５０４の顔の表情をキャプチャーするビデオストリームを生成する撮像センサーを含むことがある。

[0039]ビデオゲームコンソール５０６は、アニメーションされるグラフィックスを第１の個人５０２に対するディスプレイ５１４上に表示させることができ、一方、ビデオゲームコンソール５０８は、ゲームに関連するアニメーションをディスプレイ５１６上に表示させることができる。第１の個人５０２に対するディスプレイ５１４上に表示されるアニメーションは、第２の個人５０４を表すアニメーションされるアバター５１８であってもよい。アバター５１８は、第２の個人５０４がゲームのプレーに反応しているときに、第２の個人５０４の顔の表情をリアルタイムで表示するようにアニメーションされ得る。同様に、ビデオゲームコンソール５０８は、第１の個人５０２を表すアバター５２０を第２の個人５０４に対して表示させることができる。このアバター５１８は、第１の個人５０２がゲームのプレー中に感情を示すときに、そのような第１の個人５０２の顔の表情を示すようにアニメーションされ得る。

[0040]プレーヤーの顔の表情がリアルタイムでアニメーションされる、このオンラインのゲームのプレーを可能にすることができるさまざまな実施形態が存在する。第１の実施形態においては、センサーユニット５１０によって出力されたビデオストリームが、第１の個人５０２の顔の表情を示すデータが第１のビデオゲームコンソール５０６で抽出されるように、第１のビデオゲームコンソール５０６で処理されてもよい。その後、個人５０２の顔の表情を示すこのデータは、第２の個人５０４によって使用されるビデオゲームコンソール５０８にネットワークを介して送信可能である。代替的な実施形態においては、センサーユニット５１０によって出力されたビデオストリームは、第２の個人５０４に対応するゲームコンソール５０８にゲームコンソール５０６を介してそのまま送信されてもよい。次に、ゲームコンソール５０８が、第１の個人５０２の顔の表情を示すデータをビデオゲームコンソール５０８で抽出可能であり、ビデオゲームコンソール５０８が、第１の個人５０２の顔の表情を反映するようにアバター５１８をアニメーションさせるように３Ｄのリグをそのビデオゲームコンソール５０８上で駆動することができる。その上さらに別の実施形態においては、集中サーバー（図示せず）が、データの処理を実行することができ、次に、サーバーが、処理されたデータを第２のビデオゲームコンソール５０８に送信することができる。したがって、要約すると、ビデオゲームコンソール５０６および５０８が個人５０２および５０４の顔の表情を反映するようにアバター５１６および５１８をそれぞれアニメーションすることを可能にするために行われる処理は、ビデオゲームコンソール５０６もしくはビデオゲームコンソール５０８のいずれかで行われてもよいし、ビデオゲームコンソール５０６とビデオゲームコンソール５０８の間で分割されてもよいし、またはサーバーにオフロードされてもよい。

[0041]加えて、本明細書に記載の実施形態はアバター上でユーザーの顔の表情をアニメーションさせることに関連するが、上述の１つまたは複数の特徴は、アバターのその他の部分をアニメーションさせるために利用され得る。例えば、個人が、アバターに特定のベルトのバックルを持たせることによってそれらの個人のアバターをカスタマイズしてもよい。ベルトのバックルは、人間の体の３Ｄのリグに適用可能であり、個人をキャプチャーするビデオストリームの分析が、３Ｄのリグを駆動するために利用されてもよい。このスタイル（ベルトのバックル）は、３Ｄのリグ上の適切な位置に配置可能であり、アバター上でアニメーションさせるために２次元のシーンに射影されてもよい。

[0042]ここで図６〜７を参照して、さまざまな例示的な方法が、示され説明される。方法はひと続きで実行される一連の行為であるものとして記載されているが、方法は、そのひと続きの順序によって限定されないことを理解されたい。例えば、一部の行為は、本明細書に記載の順序とは異なる順序で行われ得る。加えて、行為は、別の行為と同時に行われ得る。さらに、場合によっては、すべての行為が、本明細書に記載の方法を実施するのに必要とは限らないことがある。

[0043]さらに、本明細書に記載の行為は、１つもしくは複数のプロセッサーによって実施さされ、かつ／または１つもしくは複数のコンピューター可読媒体に記憶され得る、コンピューターが実行可能な命令であってもよい。コンピューターが実行可能な命令は、ルーチン、サブルーチン、プログラム、実行スレッドなどを含み得る。その上さらに、方法の行為の結果が、コンピューター可読媒体に記憶されること、ディスプレイデバイス上に表示されることなどが可能である。コンピューター可読媒体は、メモリー、ハードドライブ、ＣＤ、ＤＶＤ、フラッシュドライブなどの非一時的媒体である可能性がある。

[0044]ここで図６を参照すると、リアルタイムで個人の顔の表情を反映するようにディスプレイスクリーン上でキャラクター（アバター）をアニメーションさせることを容易にする方法６００が示される。方法６００は、６０２で始まり、６０４において、ビデオデータのストリームが、ビデオカメラを含むセンサーユニットから受信される。ビデオカメラは、個人の方に向けられ、したがって、ビデオストリームは、いくつかのフレームにわたって個人の画像を含む。

[0045]６０６において、ビデオフレーム内でキャプチャーされた個人の顔の表情を示すデータが、ビデオのストリームから抽出される。例えば、任意の好適な顔認識／分析ソフトウェアが、ビデオフレーム内でキャプチャーされた個人の顔の表情を示すデータをビデオストリームから抽出することに関連して利用され得る。

[0046]６０８において、キャラクターが、ビデオフレーム内でキャプチャーされた個人の１つまたは複数の顔の表情に対応する顔の表情を付けてディスプレイスクリーン上でアニメーションされるようになる。キャラクターは、個人の顔の表情を示す、ビデオフレームから抽出されたデータに少なくとも部分的に基づいてアニメーションされる。さらに、キャラクターは、個人が顔の表情を作るときに、そのような個人のそのような顔の表情を実質的に直ちに反映するようにリアルタイムでアニメーションされるようになる。方法６００は、６１０で終了する。

[0047]ここで図７を参照すると、リアルタイムで個人の顔の表情を反映するようにディスプレイスクリーン上でアバターをアニメーションさせることを容易にする例示的な方法７００が、示される。方法７００は、７０２で始まり、７０４において、アバターに含まれることが望ましいスタイルの、個人からの選択が受信される。この選択は、アバターに含まれることが望ましい顔の特徴の特定のスタイルの選択である可能性がある。

[0048]７０６において、リアルタイムで個人の顔の表情を示すデータが受信される。このデータは、撮像センサーから受信可能であり、上述のように、顔認識ソフトウェアによって処理されてもよい。

[0049]７０８において、スタイルが、人間の顔を表す３Ｄのリグ上の適切な位置に適用される。したがって、スタイルが眉毛である場合、眉毛の表現が、眉毛に対応する３Ｄのリグ上の位置に適用可能である。７１０において、３Ｄのリグが、行為７０６において受信されたデータに少なくとも部分的に基づいてリアルタイムで駆動される。したがって、３Ｄのリグは、個人の顔が動くときに動く。７１２において、アバターが、リアルタイムで個人の顔の表情を反映するようにディスプレイスクリーン上でアニメーションさせられる。方法７００は、７１４で終了する。

[0050]ここで図８を参照すると、本明細書において開示されたシステムおよび方法によって使用され得る例示的なコンピューティングデバイス８００の高レベルの図が示されている。例えば、コンピューティングデバイス８００は、リアルタイムで、アバターによって表される個人の顔の表情を表現するそのようなアバターをアニメーションすることをサポートするシステムにおいて使用され得る。別の例において、コンピューティングデバイス８００の少なくとも一部は、テレプレゼンスが望まれるオンラインゲームをサポートするシステムにおいて使用され得る。コンピューティングデバイス８００は、メモリー８０４に記憶される命令を実行する少なくとも１つのプロセッサー８０２を含む。メモリー８０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、もしくはその他の好適なメモリーであるか、またはそれらを含む可能性がある。命令は、例えば、上で検討された１つもしくは複数のコンポーネントによって実行されるものとして説明された機能を実施するための命令、または上述の方法のうちの１つもしくは複数を実施するための命令であり得る。プロセッサー８０２は、システムバス８０６を介してメモリー８０４にアクセスすることができる。実行可能な命令を記憶することに加えて、メモリー８０４は、３Ｄのリグ、個人のアバターに適用すべき複数の選択可能なスタイルなどをも記憶することができる。

[0051]コンピューティングデバイス８００は、システムバス８０６を介してプロセッサー８０２によってアクセス可能なデータストア８０８をさらに含む。データストアは、ハードディスク、メモリーなどを含む任意の好適なコンピューター可読ストレージであるか、または任意の好適なコンピューター可読ストレージを含む可能性がある。データストア８０８は、実行可能な命令、１人または複数の個人によって作成された１体または複数のアバター、ビデオゲームのデータ、３Ｄのリグなどを含み得る。コンピューティングデバイス８００は、外部のデバイスがコンピューティングデバイス８００と通信することを可能にする入力インターフェース８１０も含む。例えば、入力インターフェース８１０は、外部のコンピューターデバイス、ユーザーなどから命令を受信するために使用され得る。コンピューティングデバイス８００は、コンピューティングデバイス８００と１つまたは複数の外部のデバイスとのインターフェースをとる出力インターフェース８１２も含む。例えば、コンピューティングデバイス８００は、出力インターフェース８１２によってテキスト、画像などを表示することができる。

[0052]加えて、単一のシステムとして示されているが、コンピューティングデバイス８００は分散システムであってもよいことを理解されたい。したがって、例えば、いくつかのデバイスが、ネットワーク接続によって通信していることがあり、コンピューティングデバイス８００によって実行されるものとして説明されたタスクを集合的に実行することがある。

[0053]本明細書において使用されるとき、用語「コンポーネント」および「システム」は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを包含するように意図される。したがって、例えば、システムまたはコンポーネントは、プロセス、プロセッサー上で実行されるプロセス、またはプロセッサーであり得る。さらに、コンポーネントまたはシステムは、単一のデバイスに置かれることも、いくつかのデバイスに分散されることもある。さらに、コンポーネントまたはシステムは、メモリーの一部および／または一連のトランジスターを指すことがある。

[0054]いくつかの例は説明の目的で与えられたことが留意される。これらの例は、本明細書に添付された特許請求の範囲を限定すると解釈されてはならない。さらに、本明細書において与えられた例は、依然として特許請求の範囲内にありながら、並べ換えてもよいことが認識されるであろう。

Claims (16)

1. センサーから個人の顔の特徴を示すモーションデータストリームを受信するステップと、
   前記モーションデータストリームから前記個人の顔の特徴を取り出すステップと、
   前記個人の顔の特徴を示すデータを、３次元のリグ上に顔の特徴としてマッピングするステップと、
   前記個人の顔の特徴を示すデータが顔の特徴としてマッピングされた３次元のリグを駆動するステップであって、３次元のリグを駆動することとは、リアルタイムで３次元のリグの顔の特徴を更新することによって、前記個人の顔の特徴の変化に対応する変化を持たせるステップと、
   前記個人の顔の特徴の変化がキャラクターによって表現されるように、前記３次元のリグを駆動することによってディスプレイスクリーン上でキャラクターをアニメーションさせるステップと
   を含むコンピューターによって実行される方法であって、
   前記センサーは、深度センサーを含み、
   前記ディスプレイスクリーン上でキャラクターをアニメーションさせることとは、その一部が前記深度センサーの出力に基づく、方法。
2. 前記キャラクターが、カスタマイズできるスタイルを有するアバターである請求項１に記載の方法。
3. スタイルの選択を受信するステップと、
   前記選択されたスタイルに対応する前記３次元のリグ上の位置に前記選択されたスタイルをマッピングするステップと、
   前記キャラクター上の前記選択されたスタイルを、前記３次元のリグを駆動することによって前記個人の顔の特徴の変化が表現されるようにアニメーションするステップと
   をさらに含む請求項２に記載の方法。
4. 前記センサーは、マイクロホンを含み、
   前記ディスプレイスクリーン上でキャラクターをアニメーションさせることとは、更に、その一部が前記マイクロホンで取り込まれた可聴音に基づく、請求項１〜３のいずれか一項に記載の方法。
5. 第２の個人の顔の特徴を表す第２のモーションデータストリームを受信するステップと、
   前記第２の個人の顔の特徴が第２のキャラクターの顔の特徴となるように、前記第２の個人の顔の特徴を表す前記第２のモーションデータストリームに基づいて前記ディスプレイスクリーン上で第２のキャラクターをアニメーションさせるステップであって、前記第２のキャラクターをアニメーションさせることとは、前記第２のキャラクターの顔の特徴を、前記第２のモーションデータストリームで表現される前記第２の個人の顔の特徴のリアルタイムの変化を表現するように変化させるステップと、
   をさらに含む請求項１〜４のいずれか一項に記載の方法。
6. 前記モーションデータストリームを含むデータを、前記第２の個人によって用いられるコンピューターに対して送信することをさらに含む請求項５に記載の方法。
7. 前記３次元のリグが、骨格の階層的な組を覆う皮膚を含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記骨格の階層的な組の骨格はそれについての３次元の変形を含み、前記骨格の３次元の変形は、骨格の位置、骨格の大きさ、骨格の方向を含む、請求項７に記載の方法。
9. 請求項１〜８のいずれか一項に記載の方法を実行するためのプログラム。
10. 請求項１〜８のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
11. プロセッサーと、
    センサーと、
    前記プロセッサーによって実行可能であるコンポーネントを含むメモリーであって、前記コンポーネントとして、
    前記センサーからモーションデータストリームを受信し、前記モーションデータストリームから、個人の顔の特徴の変化を表現する前記個人の顔の特徴の位置を含むデータを抽出する顔認識コンポーネント、
    前記モーションデータストリームから抽出されたデータに基づき、３次元のリグを駆動する駆動コンポーネントであって、前記個人の顔の特徴の位置を対応する３次元のリグの顔の特徴にリアルタイムでマッピングする駆動コンポーネントと、
    前記個人の顔の特徴を反映するように前記３次元のリグに基づいて、ディスプレイスクリーン上でキャラクターをアニメーションさせるレンダーコンポーネント、
    を含む、メモリーと
    を含むコンピューティング装置であって、
    前記センサーは、深度センサーを含み、
    前記レンダーコンポーネントが、ディスプレイスクリーン上でキャラクターをアニメーションさせることとは、その一部が前記深度センサーの出力に基づく、コンピューティング装置。
12. 前記コンピューティング装置が、ビデオゲームコンソールである、請求項１１に記載のコンピューティング装置。
13. 前記コンピューティング装置が、ポータブルコンピューティングデバイスである、請求項１１に記載のコンピューティング装置。
14. 前記キャラクターに関係する複数の選択可能なスタイルから少なくとも一つのスタイルを選択できるインターフェースコンポーネントと、
    前記少なくとも一つのスタイルを前記３次元のリグの顔の特徴に適用する適用コンポーネントであって、その結果、前記レンダーコンポーネントが、前記キャラクターの前記少なくとも一つのスタイルを、前記モーションデータストリームから抽出したデータの少なくとも一部に基づいてアニメーションさせることとなる適用コンポーネント
    をさらに含む請求項１１〜１３のいずれか一項に記載のコンピューティング装置。
15. 計算機読み取り可能なメモリーを含むビデオゲームコンソールであって、
    計算機読み取り可能なメモリーは、プロセッサーで実行可能な命令を含み、
    前記命令は、
    顔の特徴を含む３次元のリグを受け取り、
    アバターに含まれるべき、個人の顔の特徴に関連するスタイルの選択を受けとり、
    前記個人の顔の特徴に対応する３次元のリグの顔の特徴に前記スタイルを適用し、
    センサーから前記個人の顔の特徴の位置を表現するビデオデータを受け取り、
    前記個人の顔の特徴の位置を前記３次元のリグの顔の特徴にリアルタイムでマッピングし、
    前記３次元のリグを、前記個人の顔の特徴の位置と前記３次元のリグの顔の特徴の間のマッピングの少なくとも一部に基づいて駆動し、
    ディスプレイスクリーン上の前記アバターを前記３次元のリグを駆動することによって前記個人の顔の特徴の変化をリアルタイムに反映するようにアニメーションさせることであって、前記スタイルを前記個人の顔の特徴の変化を反映するようにアニメーションさせることによって前記アバターをアニメーションさせる、
    ことを前記プロセッサーに実行させる命令であること、
    を含むビデオゲームコンソールであって、
    前記センサーは、深度センサーを含み、
    前記ディスプレイスクリーン上の前記アバターを前記３次元のリグを駆動することによって前記個人の顔の特徴の変化をリアルタイムに反映するようにアニメーションさせることとは、その一部が前記深度センサーの出力に基づく、ビデオゲームコンソール。
16. 前記３次元のリグが人間の形状であって、皮膚と骨格の階層的な組を含む、請求項１５に記載のビデオゲームコンソール。

Images