JP6392497B2 - ビデオを生成するためのシステムおよび方法 - Google Patents

Description

本発明は、画像生成に関し、特に限定されないが、ビデオシーケンス用の画像の生成に関する。

今ではデジタルカメラは多数の機種が存在しており、ユーザ生成コンテンツ（ＵＧＣ）も、ますます一般的になってきている。ユーザは、自分自身のビデオを記録し、ビデオを編集しないまま単にアップロードもしくは送信したり、アップロードの前にビデオを修正もしくは編集したりすることができる。

従来技術の画像処理ソフトウェアにより、ユーザは、写真にフィルタリングを適用して特殊効果を与えることができる。かかる効果の例には、色あせた画像や光漏れを通じて、またはフィルタを追加して特定の色を向上させることによって行われる、古いカメラのシミュレーティングが含まれる。

従来技術の画像処理ソフトウェアに関する問題は、フィルタがコンテンツ非依存性であるということである。フィルタリングされた画像は、最初は個別化されているように見えるが、いくつかの画像に同じフィルタが適用されることによって、それらの画像が、元々見えたものよりも、実際に互いにより類似して見えるようになる。

また、従来技術の個別化されたビデオ生成ソフトウェアによれば、ユーザは、自分自身の顔（または別のユーザの顔）をビデオシーケンスに追加することができる。その場合、ビデオは、少なくとも表面的レベルでは、そのユーザにカスタマイズされているように見える。

従来技術のビデオ生成ソフトウェアに関する問題は、ユーザによる入力が制限されているため、結果として表現の多様性が制限されてしまうことにある。
その対極にあるのは、映画用のコンピュータ生成アニメーションにおいて用いられるものなど、マニュアルビデオおよび画像の編集および生成ソフトウェアである。かかるソフトウェアによって、ユーザは、任意のタイプのビデオまたは画像を生成することが可能になるが、それは、一般に複雑で時間がかかり、したがって一般ユーザには適していない。
従来技術に関する先行技術文献として以下を開示する。
国際公開第２００３／０７３３２２Ａ１号パンフレット 米国特許出願公開第２００８／０３０６９５１号明細書

本発明の一部の実施形態の目的は、上記の従来技術に対する改善および利点をユーザに提供すること、および／または従来技術の上記欠点の１つまたは複数を克服および軽減すること、および／または有用な商業上の選択肢を提供することにある。

第１の態様によれば、本発明は、画像を生成する方法であって、
第１の画像を第１のコンピューティング装置で受信すること、
第１のコンピューティング装置のデータインタフェースで第１の画像をサーバに送信すること、
第１の画像の態様に対応する形状データをデータインタフェースでサーバから受信すること、
少なくとも形状データおよびアバターデータに基づいて、一次出力画像を第１のコンピューティング装置のプロセッサによって生成すること、
を備える方法に関する。

好ましくは、形状データは、画像において描写されるユーザの顔の３Ｄモデルを含む。任意選択的に、形状データは、画像において描写される数人のユーザの顔の３Ｄモデルを含む。一次出力画像を生成することは、形状データをアバターデータに適用することを含む。

代替として、形状データは、アクティブ外観モデル（ＡＡＭ: Active Appearance Model）パラメータを含み、一次出力画像を生成することは、ＡＡＭパラメータをアバターデータに適用することを含む。

好ましくは、一次出力画像を生成することは、アバターデータに応じた形状データへのマッピング機能を適用することをさらに含む。
好ましくは、方法は、アバターデータに関連する識別子をデータインタフェースで受信することをさらに備える。

好ましくは、方法は、
識別子をサーバに送信することをさらに備え、
サーバは、形状パラメータと、識別子に関連するサーバアバターデータとに基づいて、サーバ出力画像を生成する。

代替として、方法は、
アバターデータをサーバに送信することをさらに備え、
サーバアバターデータは、サーバに送信されたアバターデータを含む。

特定の実施形態によれば、サーバ出力画像は、一次出力画像と同一である。代替として、サーバは、第１のコンピューティング装置によって一次出力画像を生成するために用いられるアルゴリズムとは異なるアルゴリズムに従ってサーバ出力画像を生成する。

好ましくは、方法は、
サーバ出力画像を第２のコンピューティング装置のユーザに送信する要求をデータインタフェースでサーバに送信することであって、第２のコンピューティング装置のユーザの詳細な連絡先を含む当該要求をサーバに送信すること、
ユーザの詳細な連絡先を用いて、サーバから第２のコンピューティング装置のユーザにサーバ出力画像を送信すること、
をさらに備える。

好ましくは、方法は、
一次出力画像を第２のコンピューティング装置のユーザと共有する要求をデータインタフェースでサーバに送信することであって、第２のコンピューティング装置のユーザの詳細な連絡先および選択されたアバターを含む当該要求をサーバに送信すること、
第２のコンピューティング装置によって一次出力画像を生成するために、ユーザの詳細な連絡先を用いて、形状パラメータおよび選択されたアバターをサーバから第２のコンピューティング装置のユーザに送信すること、
をさらに備える。

好ましくは、選択されたアバターを送信することは、選択されたアバターに関連する識別子を送信することを含む。
好ましくは、一次出力画像を生成することは、第１の画像を修正することを含む。

好ましくは、方法は、
サーバ出力画像をソーシャルメディアサイトまたはビデオ共有サイトにアップロードする要求をデータインタフェースでサーバに送信することであって、ソーシャルメディアサイトまたはビデオ共有サイトの詳細および選択されたアバターを含む当該要求をサーバに送信すること、
ソーシャルメディアサイトまたはビデオ共有サイトの詳細を用いて、サーバからソーシャルメディアサイトまたはビデオ共有サイトにサーバ出力画像を送信すること、
をさらに備える。

特定の実施形態によれば、第１の画像は、符号化される。
好ましくは、第１の画像は、ビデオシーケンスの画像を含む。
好ましくは、方法は、
第１の画像および第２の画像がビデオシーケンスの画像を含むとき、第２の画像を第１のコンピューティング装置で受信すること、
第２の画像をデータインタフェースでサーバに送信すること、
第２の画像の態様に対応するさらなる形状データをデータインタフェースで受信すること、
少なくともさらなる形状データとアバターデータとに基づいて第２の一次出力画像をプロセッサよって生成すること、
をさらに備える。

好ましくは、方法は、
第１の画像および第２の画像がビデオシーケンスの画像を含むとき、第２の画像を第１のコンピューティング装置で受信すること、
第２の画像をデータインタフェースでサーバに送信すること、
第２の画像の態様に対応するさらなる形状データをデータインタフェースで受信すること、
少なくともさらなる形状データと第２のアバターデータとに基づいて第２の一次出力画像をプロセッサよって生成すること、
をさらに備える。

好ましくは、第２のアバターデータは、アバターデータを含む。
好ましくは、第１の画像は、第２の画像を受信する前にサーバに送信される。
好ましくは、方法は、
音声データを第１のコンピューティング装置で受信すること、
音声データをデータインタフェースでサーバに送信すること、
音声データに関係する音声パラメータをデータインタフェースで受信すること、
音声パラメータとアバターデータとに基づいた出力音声を第１のコンピューティング装置のプロセッサによって生成すること、
をさらに備える。

好ましくは、出力音声を生成することは、音声データにフィルタを適用することを含む。
好ましくは、アバターデータは、アバター画像を含む。

第２の態様によれば、本発明は、画像を生成するためのシステムであって、
第１のコンピューティング装置を備え、該第１のコンピューティング装置が、
データインタフェースと、
データインタフェースに接続されたプロセッサと、
前記プロセッサに接続されたメモリと
を含み、メモリが、プロセッサによって実行可能な命令として、
第１の画像を受信するための命令、
第１の画像をデータインタフェースでサーバに送信するための命令、
第１の画像の態様に対応する形状データをデータインタフェースで受信するための命令、および
少なくとも形状データとアバターデータとに基づいて出力画像を生成するための命令
を含む、システムに関する。

好ましくは、システムは、
プロセッサに接続された表示スクリーンをさらに含み、
メモリは、出力画像を表示スクリーン上に表示するための命令をさらに含む。

好ましくは、システムは、
プロセッサに接続されたカメラをさらに含み、
メモリは、第１の画像をカメラから受信するための命令をさらに含む。

第３の態様によれば、本発明は、画像を生成および送信するためのシステムであって、
パーソナルコンピューティング装置を備え、該パーソナルコンピューティング装置が、
データインタフェースと、
データインタフェースに接続されたプロセッサと、
プロセッサに接続されたメモリと
を含み、メモリが、プロセッサによって実行可能な命令として、
画像を受信するための命令、
画像をデータインタフェースでサーバに送信するための命令、
画像の態様に対応する形状データをデータインタフェースで受信するための命令、および
少なくとも形状データとアバターデータとに基づいて出力画像を生成するための命令
を含み、サーバが、
サーバデータインタフェースと、
サーバデータインタフェースに接続されたサーバプロセッサと、
サーバプロセッサに接続されたサーバメモリと
を含み、サーバメモリが、サーバプロセッサによって実行可能な命令として、
画像を受信するための命令、
画像の態様に応じた形状データをサーバプロセッサによって生成するための命令、
形状データをサーバデータインタフェースで第１のコンピューティング装置に送信するための命令、
少なくとも形状データとアバターデータとに基づいてサーバ出力画像をサーバプロセッサで生成するための命令、および
サーバ出力画像をサーバデータインタフェースで第２のコンピューティング装置に送信するための命令、
を含む、システムに関する。

好ましくは、システムは、複数のパーソナルコンピューティング装置をさらに含み、サーバ出力画像は、複数のパーソナルコンピューティング装置からの画像に関係する形状データに基づいて生成される。

本発明の実施形態による画像生成システムを示す図である。 本発明の実施形態による図１のシステムにおける第１のコンピューティング装置と対話するユーザを示す図である。 図３（ａ）は本発明の実施形態による図１のシステムにおける形状データの正面図、図３（ｂ）は形状データの側面図である。 本発明の実施形態による図１のシステムにおけるアバター選択スクリーンのスクリーンショットを示す図である。 本発明の実施形態による画像生成システムを示す図である。 本発明の実施形態による第１のコンピューティング装置とサーバとの間の通信を示すメッセージフロー図である。 本発明の実施形態による画像生成方法を示すフロー図である。 本発明の実施形態によるコンピューティング装置を示す図である。

本発明の理解を助けるために、および当業者が本発明を実施できるようにするために、本発明の好ましい実施形態の一例を、添付の図面を参照して以下に説明する。当業者は、図面に示されるような構成要素のレイアウトからの小さな逸脱が、本発明の開示した実施形態の適切な機能を損なうものでないことを理解し得る。

本発明の実施形態は、画像およびビデオ生成システムならびに方法を包含する。本発明の要素は、簡潔な概略形態で図面に示されており、これらの図面は、以下の説明により当業者に明らかとなる過度の詳細によって本開示を混乱させることがないように、本発明の実施形態の理解に必要な特定の詳細のみを示す。

本明細書において、第１および第２、左および右、前および後ろ、上端および底部などの形容詞は、その形容詞によって表現される特定の相対的位置または順序を必ずしも要求するものでなく、一つの要素または方法ステップを、別の要素または方法ステップと区別して定義するためにのみ用いる。「包含する」または「含む」などの用語は、要素または方法ステップの排他的な集まりを定義するために用いていない。むしろ、このような用語は単に、本発明のある特定の実施形態に含まれる要素または方法ステップの最小限の集まりを定義する。

本明細書における先行技術に対する参照は、先行技術が共通の一般的知識の一部を形成していることを認知または示唆するものでなく、また、そのように解釈されるべきではない。

一態様によれば、本発明は、画像を生成する方法であって、第１の画像を第１のコンピューティング装置で受信すること、第１の画像を第１のコンピューティング装置のデータインタフェースでサーバに送信すること、第１の画像の態様に対応する形状データをサーバからデータインタフェースで受信すること、少なくとも形状データとアバターデータとに基づいて一次出力画像を第１のコンピューティング装置のプロセッサよって生成することを備える方法に関する。

本発明のある実施形態における利点は、限られた処理能力の装置上で、ユーザがアバターをアニメ化する能力を含む。アニメーションは低遅延で生じさせることができ、アバターは動的に変更することができる。そして、得られたアニメ化されたアバターの画像またはビデオは、優れた帯域効率で、別のユーザ、ソーシャルメディア、またはビデオ共有サイトに送信することができる。

以下で説明する実施形態は、画像の生成に言及する。当業者によって容易に理解されるように、画像には、ビデオシーケンスの画像を含み得る。さらに、実施形態は、必ずしも各画像を単一の独立した画像として扱わずに、ビデオ生成を支援するように容易に拡張することができる。例えば、タイミング情報をビデオシーケンスの各画像に関連付けることができ、これにより、タイミング情報を任意の出力ビデオシーケンスに適用することができる。

なお、アバターデータという用語は、動作もしくは表情を転送できる任意のタイプの画像データおよび／または音声データを示すために用いられる。アバターは、漫画のキャラクターなどの人工のキャラクターに基づくか、または実在の人物の画像を含むことができる。さらに、アバターは、動物、もしくはエイリアンなどの空想生物など、人間以外のキャラクターに基づくか、または顔もしくは他の身体部分を上に置いた無生物もしくは空想上の産物を含むことができる。

図１は、本発明の実施形態による、画像を生成するためのシステム１００を示す。
システム１００は、第１のコンピューティング装置１０５およびサーバ１１０を含む。第１のコンピューティング装置１０５およびサーバ１１０は、データ通信ネットワーク１１５を介して結合される。

第１のコンピューティング装置１０５は、カメラ１２０、表示スクリーン１２５、およびマイクロホン１３０を含み、それら全てがプロセッサ（図示せず）に接続され、プロセッサはデータインタフェース（図示せず）に接続される。以下で説明するように、第１のコンピューティング装置１０５はさらに、プロセッサに接続され、本発明の方法を実行するためにプロセッサによって実行可能な命令を含むメモリ（図示せず）を含む。

第１のコンピューティング装置１０５は、携帯電話、携帯情報端末（ＰＤＡ）、タブレットコンピュータ、または他の類似装置などの下位装置とすることができる。サーバは、例えば専用コンピューティング装置とすることができ、幾つかの第１のコンピューティング装置１０５のために動作する場合には有利となる。

第１のコンピューティング装置１０５は、画像またはビデオをサーバ１１０に送信し、サーバ１１０は、画像またはビデオを処理して、形状パラメータを第１のコンピューティング装置１０５に返信する。次に、第１のコンピューティング装置１０５は、形状パラメータに従ってアバターモデルをアニメ化する。

アバターモデルのアニメーションは、携帯電話などの下位装置のグラフィック処理ユニット（ＧＰＵ）に特に適切化される。アニメーションは、ユーザの表情をアバターの表情に変換すること、または身体形状または動作を変換することを含み得る。これは、例えば、ユーザの表情を含むようにアバターをアニメ化すること、特定の方法でアバターを飛び跳ねさせたり動作させたりすること、または手話などの特定の動作を行わせることを含み得る。

アバターモデルは、第１のコンピューティング装置１０５か、サーバ１１０に配置することができる。あるいは、アバターモデルは、サーバ１１０および第１のコンピューティング装置１０５にそれぞれ部分的に配置することができる。また、アバターモデルは、第１のコンピューティング装置１０５とサーバ１１０との間で送受信することができる。

図２は、本発明の実施形態に従って、第１のコンピューティング装置１０５と対話するユーザ２０５を示す。
ユーザ２０５の複数の画像が、カメラ１２０によって捕捉される。複数の画像のうちの第１の画像が捕捉されると、その第１の画像がサーバ１１０に送信されて直ちに処理される。すなわち、第２の画像が捕捉されるのを待つことなく、またはビデオが完全に記録されることを待つことなく、第１の画像がサーバ１１０に送信されて直ちに処理される。

ネットワークが遅いかまたは利用不可の場合に、第１のコンピューティング装置１０５によって捕捉された画像を保存して、ネットワークが利用可能となるかまたは十分に速くなった場合にサーバ１１０に送信するようにしてもよい。

本発明の代替実施形態（図示せず）によれば、画像は、第１のコンピューティング装置１０５に送信される、すなわちダウンロードされたビデオシーケンスからなる。当業者によって容易に理解されるように、画像は、第１のコンピューティング装置１０５によって捕捉される必要はない。

サーバ１１０は、第１の画像の態様に対応する形状データを生成する。画像態様としては、ユーザの顔、身体形状、または任意の他の適切な態様とすることができる。ユーザの顔の場合、形状データは、画像に基づくユーザの顔の３Ｄモデルを含むものであってもよい。あるいは、形状データは、アクティブ外観モデル（Active Appearance Model: ＡＡＭ）のパラメータを含むものであってもよい。さらに、形状パラメータは、相対的なカメラ位置を含むものであってもよい。

サーバ１１０は、形状データを第１のコンピューティング装置１０５に送信し、第１のコンピューティング装置１０５は、少なくとも形状データおよびアバターデータに基づいて出力画像を生成する。

アバターデータには、例えば、形状データに従って変換されたアバター画像を含むことができる。
出力画像は、３Ｄモデル、ＡＡＭパラメータ、または他の形状データをアバターデータに適用して生成することを含む。また、出力画像は、アバターデータに応じた形状データへのマッピング機能を適用して生成することを含み得る。また、出力画像は、２０１２年３月２１日出願の「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＴＲＡＮＳＦＥＲ」（表情転送方法およびシステム）なる名称の国際出願ＰＣＴ／ＡＵ２０１２／０００２９５号明細書に説明されているような複数のソースアバターマッピング機能に従って生成することができる。サーバ１１０は、画像、アバターデータ、およびトレーニングデータに基づいて、ソースアバターマッピング機能を生成することができる。ソースアバターマッピング機能は、第１のコンピューティング装置１０５に送信されて使用される。

図３（ａ）は、本発明の実施形態による形状データ３００の正面図を示し、図３（ｂ）は、形状データ３００の側面図を示す。
形状データは、ユーザの顔の特徴に対応する複数の３Ｄ点３０５を含む。なお、特徴には、目、口、眉、あごの形状、または任意の他の特徴を含むことができる。

図４は、本発明の実施形態によるアバター選択スクリーンのスクリーンショット４００を示す。第１のコンピューティング装置１０５およびサーバ１１０は、複数のアバターに対応するアバターデータを含むことができ、アバター選択スクリーンは、複数のアバターからアバターを選択するために用いることができる。

アバター選択スクリーンは、アバター出力画像４０５および複数のアバター選択ボタン４１０を含む。アバター選択ボタン４１０を用いてアバターを選択すると、出力画像４０５が、選択されたアバターに従って更新される。

アバター選択スクリーンは、さらに、再生ボタン４１５、早送りボタン４２０、および巻き戻しボタン４２５を介した媒体制御機能を含む。再生ボタン４１５、早送りボタン４２０、および巻き戻しボタン４２５は、ビデオシーケンスの再生を制御するために用いることができる。本発明の特定の実施形態によれば、アバター選択ボタン４１０を用いて、再生中にアバターを変更することができる。

この場合、入力ビデオシーケンスは、第１の画像および第２の画像を含む複数の画像を含むことができ、これらの画像は、第１のコンピューティング装置１０５によって受信される。

上記のように、第１の画像は、第１のコンピューティング装置１０５によってサーバ１１０に送信される。サーバ１１０は、第１の画像の態様に対応する形状データを第１のコンピューティング装置１０５に送信する。次に、第１のコンピューティング装置１０５は、第１の選択されたアバターの形状データとアバターデータとに基づいて、一次出力画像を生成する。

続いて、第２の画像が、第１のコンピューティング装置１０５によってサーバ１１０に送信される。サーバ１１０は、第２の画像の態様に対応するさらなる形状データを第１のコンピューティング装置１０５に送信する。次に、第１のコンピューティング装置１０５は、そのさらなる形状データと、新しいアバターが選択された場合には第２の選択されたアバターデータまたは第１の選択されたアバターデータとに基づいて、さらなる一次出力画像を生成する。

したがって、一次出力画像およびさらなる一次出力画像によって出力ビデオシーケンスが形成される。出力ビデオシーケンスは、選択されたアバター（単数か複数）を含み、例えばアバター選択スクリーン上で再生することができる。

図５は、本発明の実施形態による、画像を生成するためのシステム５００を示す。
システム５００は、第１のコンピューティング装置５０５、サーバ５１０、および第２のコンピューティング装置５１５を含む。第１のコンピューティング装置５０５およびサーバ５１０は、図１の第１のコンピューティング装置１０５およびサーバ１１０に類似している。

第１のコンピューティング装置５０５は、上記のように、例えば第１のコンピューティング装置５０５のカメラ１２０から画像を受信し、それをサーバ５１０に送信する。次に、サーバ５１０は形状パラメータを生成し、その形状パラメータを第１のコンピューティング装置５０５に送信する。

これにより、図４を参照して上述したように、第１のコンピューティング装置５０５のユーザは、異なるアバターのデータに従って出力画像を生成し、アバターを選択することができる。

ユーザは、アバターを選択した後で、出力画像を別のユーザに転送することを選択してもよい。この場合、第２のユーザの詳細な連絡先および／または第２のユーザ装置５１５の詳細なアドレスとともに、選択されたアバターを含むメッセージが、第１のコンピューティング装置５０５からサーバ５１０に送信される。

各アバターは、固有の識別子に関連付けることができる。この場合、第１のコンピューティング装置５０５は、固有の識別子をサーバ５１０に送信するだけでよい。
特定の実施形態によれば、サーバ５１０は、識別子に関連するサーバアバターデータと形状パラメータとに基づいてサーバ出力画像を生成する。

サーバアバターデータは、第１のコンピューティング装置５０５のアバターデータと同一であってもよいし、またはサーバ５１０に利用可能な任意の追加の処理パワーに対応する追加の詳細を含んでもよい。同様に、サーバ５１０は、より正確なまたはより現実的なサーバ出力画像を生成するために、第１のコンピューティング装置５０５によって用いられるアルゴリズムとは異なるアルゴリズムを適用して一次出力画像を生成してもよい。

次に、サーバ５１０は、サーバ出力画像を第２のコンピューティング装置５１５に送信する。
他の実施形態によれば、サーバ５１０は、選択されたアバターの詳細、例えば選択されたアバターを識別する識別子を、形状パラメータとともに第２のコンピューティング装置５１５に送信する。次に、第２のコンピューティング装置５１５は、形状パラメータおよび選択されたアバターに従って出力画像を描画することができる。

さらに別の実施形態によれば、サーバ５１０は、サーバ出力画像を、ソーシャルネットワーキングサイトに、または、ファイル、画像もしくはビデオ共有サイトに、あるいは、別のサイトにアップロードする。

出力画像の生成は、独立した出力画像を生成することを含み得る。または、出力画像の生成は、第１の画像を修正することを含み得る。なお、第１の画像を符号化してもよく、また、後続の画像を第１の画像に対して差分符号化してもよい。

代替実施形態（図示せず）によれば、サーバ出力画像および／または一次出力画像は、いくつかの画像からの形状データに基づいて生成される。したがって、出力画像は、数人のユーザの表情など、いくつかの画像からの態様を組み合わせることができる。同様に、いくつかの画像からの形状データは、数人のユーザの表情など、数人のユーザに関連するデータを含むことができる。

図６は、本発明の実施形態による、第１のコンピューティング装置１０５，５０５と、サーバ１１０，５１０との間の通信のメッセージシーケンス６００を示す。
ステップ６０５において、第１の画像が、第１のコンピューティング装置１０５，５０５で受信される。第１の画像は、カメラまたは任意の他のソースからのものとすることができる。

ステップ６１０において、第１の画像は、サーバ１１０，５１０に送信されて処理される。
ステップ６１５において、第１の画像が処理されるのを待たずに、第２の画像がサーバ１１０，５１０に送信されて処理される。これによって、累積遅延でもビデオシーケンスの長さに対応する遅延でもなく単一の往復時間遅延が追加されるだけなので、ビデオのほぼリアルタイム処理が可能になる。

ステップ６２０において、第１の画像がサーバ１１０，５１０によって処理され、ステップ６２５において、形状パラメータがサーバ１１０，５１０から第１のコンピューティング装置１０５，５０５に送信される。次に、ステップ６３０において、第１のコンピューティング装置１０５，５０５は出力画像を生成し表示する。

ステップ６３５において、第２の画像がサーバ１１０，５１０によって処理される。
図７は、本発明の実施形態による、画像を生成する方法７００を示す。
ステップ７０５において、第１の画像が第１のコンピューティング装置によって受信される。第１の画像は、カメラから直接受信されるか、または別の手段によって受信することができる。

ステップ７１０において、第１の画像がサーバに送信される。
ステップ７１５において、第２の画像が第１のコンピューティング装置によって受信される。ステップ７２０において、第２の画像がサーバに送信される。

ステップ７２５において、第１の画像に関する形状データがサーバから送信され、第１のコンピューティング装置によって受信される。ステップ７３０において、第１のコンピューティング装置は、形状データとアバターデータとに基づいて第１の一次出力画像を生成する。

ステップ７３５において、第２の画像に関する形状データがサーバから送信され、第１のコンピューティング装置によって受信される。ステップ７４０において、第１のコンピューティング装置は、第２の画像の形状データとアバターデータとに基づいて第２の一次出力画像を生成する。

ステップ７２５および７３０は、ステップ７１５および７２０の前に実行することができる。しかしながら、システムの全体的な遅延を低減するためには、第２の画像が第１のコンピューティング装置によって受信されたときに第２の画像をサーバに送信して処理するのが有利である。

本発明の特定の実施形態によれば、方法は、さらに、スピーチなどの音声データを受信および処理することを含む。音声データは、有利にはマイクロホン１３０によって捕捉される。この音声データは、音声データを画像またはビデオデータと正確に同期させるためにタイミング情報を含んでもよい。

音声データは、上記の画像と同様の方法で、データインタフェース上でサーバに送信されて処理される。次に、サーバ１１０，５１０は、音声を処理して、音声データに関係する音声パラメータを生成する。音声パラメータは、第１のコンピューティング装置１０５，５０５に送信され、出力音声が、音声パラメータおよびアバターデータに基づいて生成される。

音声パラメータは、音声データをフィルタリングするために用いられるフィルタパラメータを含むことができる。
図８は、本発明の実施形態によるコンピューティング装置８００を示す。第１および第２のコンピューティング装置１０５，５０５，５１５、およびサーバ１１０，５１０は、コンピューティング装置８００と同じか、または類似したものとすることができる。同様に、図７の方法７００は、コンピューティング装置８００を用いて実行することができる。

コンピューティング装置８００は、中央処理装置８０２と、システムメモリ８０４と、システムバス８０６とを含む。システムバス８０６は、システムメモリ８０４と中央処理装置８０２との接続等、様々なシステム要素の接続を行う。システムバス８０６は、メモリバスまたはメモリコントローラ、周辺機器用バス、および様々なバスアーキテクチャのいずれかを用いたローカルバスを含む種々のバス構造のいずれかであってよい。システムメモリ８０４の構造は、当業者に周知であり、読み取り専用メモリ（ＲＯＭ）に記憶された基本入出力システム（ＢＩＯＳ）とともに、ランダムアクセスメモリ（ＲＡＭ）に記憶されたオペレーティングシステム、アプリケーションプログラム、およびプログラムデータなどの１つまたは複数のプログラムモジュールを含み得る。

コンピューティング装置８００はまた、データの読み出しおよび書き込みを行うための様々なインタフェースユニットおよびドライブも含み得る。データは、例えば、カメラと表示スクリーンとの間の変位を含むことができる。

具体的には、コンピューティング装置８００は、ハードディスクドライブ８１２およびリムーバブルメモリドライブ８１４をシステムバス８０６にそれぞれ接続するハードディスクインタフェース８０８およびリムーバブルメモリインタフェース８１０を含む。リムーバブルメモリドライブ８１４の例には、磁気ディスクドライブおよび光ディスクドライブが含まれる。ドライブおよびそれらに関連するデジタル多用途ディスク（ＤＶＤ）８１６等のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータシステム８００用の他のデータの不揮発性記憶装置を提供する。単に例示を目的とし、コンピューティング装置８００が幾つかの同様のドライブを含み得るという理解の下に、１つのハードディスクドライブ８１２および１つのリムーバブルメモリドライブ８１４を示している。さらに、コンピューティング装置８００は、他の種類のコンピュータ可読媒体とインタフェースをとるためのドライブを含み得る。

コンピューティング装置８００は、デバイスをシステムバス８０６に接続するための追加インタフェースを含んでもよい。図８は、装置をシステムバス８０６に接続するために使用可能なユニバーサル・シリアル・バス（ＵＳＢ）インタフェース８１８を示している。例えば、ＩＥＥＥ１３９４インタフェース８２０を使用して、追加のデバイスをコンピューティング装置８００に接続することが可能である。追加のデバイスの例には、画像もしくはビデオを受像するためのカメラ、または音声を記録するためのマイクロホンが含まれる。

コンピューティング装置８００は、１つまたは複数のリモートコンピュータ、あるいは、サーバ、ルータ、ネットワークパーソナルコンピュータ、ピアデバイスまたは他の共通のネットワークノード、無線電話、または無線携帯情報端末等の他のデバイスへの論理接続を用いたネットワーク環境において動作可能である。コンピューティング装置８００は、システムバス８０６をローカル・エリア・ネットワーク（ＬＡＮ）８２４に接続するネットワークインタフェース８２２を含む。ネットワーク環境は、オフィス、企業規模のコンピュータネットワークおよびホームコンピュータシステムにおいて一般的なものである。

インターネット等の広域ネットワーク（ＷＡＮ）は、例えばシリアルポートインタフェース８２６に接続されたモデムユニットを介して、またはＬＡＮ８２４を介して、コンピューティング装置によってアクセスすることもできる。

画像および／またはビデオの送信は、ＬＡＮ８２４、ＷＡＮ、またはそれらの組み合わせを用いて実行することができる。
図示し説明したネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の方法を使用可能であることが理解される。ＴＣＰ／ＩＰ、フレームリレー、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰなどの様々な周知なプロトコルのいずれかの存在が仮定され、コンピューティング装置８００は、ユーザが、例えばウェブベースのサーバからデータを検索できるようにするクライアント・サーバ構成で動作することができる。

コンピューティング装置８００の動作は、様々な異なるプログラムモジュールによって制御することができる。プログラムモジュールの例は、特定のタスクを実行するか、または特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造である。本発明はまた、携帯端末、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末などを含む他のコンピュータシステム構成で実施してもよい。さらに、本発明はまた、通信ネットワークを介して接続されるリモート処理装置によってタスクが実行される分散コンピューティング環境において実施してもよい。分散コンピューティング環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶装置の両方に配置することができる。

要約すれば、本発明の特定の実施形態における利点は、限られた処理能力の装置でユーザがアバターをアニメーション化することができることを含む。アニメーションを低遅延で生じさせることができ、かつアバターを動的に変更することができる。そして、得られたアニメ化されたアバターの画像またはビデオを優れた帯域効率で別のユーザに送信することができる。

本発明の様々な実施形態における上記の説明は、当業者への説明のために提供される。本発明を網羅的に記載すること、または本発明を単一の開示された実施形態に限定することを意図したものではない。上記教示を受けた当業者には、本発明の多数の代替形態および変更形態が明らかとなる。従って、一部の代替実施形態を具体的に説明したが、他の実施形態は、当業者によって明らかとなる、または比較的容易に開発され得る。従って、本明細書は、上記した本発明の全ての代替形態、変形形態、および変更形態、および本発明の思想および範囲に包含される他の実施形態を含む。

１００，５００：システム、１０５，５０５：第１のコンピューティング装置、１１０，５１０：サーバ、１１５：データ通信ネットワーク、１２０：カメラ、１２５：表示スクリーン、３００：形状データ、３０５：３Ｄ点、４００：スクリーンショット、４０５：アバター出力画像、４１０：アバター選択ボタン、５１５：第２のコンピューティング装置、８００：コンピューティング装置。

Claims (25)

1. 画像を生成する方法であって、
   第１の画像を第１のコンピューティング装置で受信すること、
   前記第１のコンピューティング装置のデータインタフェースで前記第１の画像をサーバに送信すること、
   前記第１の画像の態様に対応する形状データを前記データインタフェースで前記サーバから受信すること、
   少なくとも前記形状データおよびアバターデータに基づいて、一次出力画像を前記第１のコンピューティング装置のプロセッサによって生成すること、
   前記データインタフェースでメッセージを前記サーバに送信することであって、前記メッセージは、第２のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信すること、
   前記第２のコンピューティング装置による前記一次出力画像の生成のために前記形状データおよび前記アバターデータを、前記第２のコンピューティング装置の詳細を用いて前記サーバから前記第２のコンピューティング装置に送信すること
   を備える方法。
2. 前記形状データが、前記第１の画像において描写されるユーザの顔の３Ｄモデルを含み、前記一次出力画像を生成することが、前記３Ｄモデルを前記アバターデータに適用することを含む、請求項１に記載の方法。
3. 前記形状データが、ＡＡＭ（アクティブ外観モデル）パラメータを含み、前記一次出力画像を生成することが、前記ＡＡＭパラメータをアバターデータに適用することを含む、請求項１に記載の方法。
4. 前記一次出力画像を生成することが、前記アバターデータに応じた前記形状データへのマッピング機能を適用することをさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記アバターデータに関連する識別子を前記データインタフェースで受信することをさらに備える請求項１〜４のいずれか一項に記載の方法。
6. 前記識別子を前記サーバに送信することをさらに備え、
   前記サーバが、前記形状データと、前記識別子に関連するサーバアバターデータとに基づいて、サーバ出力画像を生成する、請求項５に記載の方法。
7. 前記サーバ出力画像が、前記一次出力画像と同一である、請求項６に記載の方法。
8. 前記サーバは、前記第１のコンピューティング装置によって前記一次出力画像を生成するために用いられるアルゴリズムとは異なるアルゴリズムに従って前記サーバ出力画像を生成する、請求項６に記載の方法。
9. 前記アバターデータを前記サーバに送信することをさらに備え、
   前記サーバアバターデータが、前記サーバに送信されたアバターデータを含む、請求項６〜８のいずれか一項に記載の方法。
10. 前記第２のコンピューティング装置の詳細を用いて、前記サーバ出力画像を前記サーバから前記第２のコンピューティング装置のユーザに送信すること
    をさらに備える請求項６〜９のいずれか一項に記載の方法。
11. 前記一次出力画像を生成することが、前記第１の画像を修正することを含む、請求項１〜１０のいずれか一項に記載の方法。
12. サーバ出力画像をソーシャルメディアサイトまたはビデオ共有サイトにアップロードする要求を、前記データインタフェースで前記サーバに送信することであって、前記ソーシャルメディアサイトまたは前記ビデオ共有サイトの詳細および選択されたアバターを含む前記要求を前記サーバに送信すること、
    前記ソーシャルメディアサイトまたは前記ビデオ共有サイトの詳細を用いて、前記サーバから前記ソーシャルメディアサイトまたは前記ビデオ共有サイトに前記サーバ出力画像を送信すること、
    をさらに備える請求項６〜１１のいずれか一項に記載の方法。
13. 前記第１の画像が、ビデオシーケンスの画像を含む、請求項１〜１２のいずれか一項に記載の方法。
14. 前記第１の画像および第２の画像がビデオシーケンスの画像を含むときに、前記第２の画像を前記第１のコンピューティング装置で受信すること、
    前記第２の画像を前記データインタフェースで前記サーバに送信すること、
    前記第２の画像の態様に対応するさらなる形状データを前記データインタフェースで受信すること、
    少なくとも前記さらなる形状データおよび前記アバターデータに基づいて、第２の一次出力画像を前記プロセッサよって生成すること、
    をさらに備える請求項１〜１３のいずれか一項に記載の方法。
15. 前記第１の画像および第２の画像がビデオシーケンスの画像を含むときに、前記第２の画像を前記第１のコンピューティング装置で受信すること、
    前記第２の画像を前記データインタフェースで前記サーバに送信すること、
    前記第２の画像の態様に対応するさらなる形状データを前記データインタフェースで受信すること、
    少なくとも前記さらなる形状データおよび第２のアバターデータに基づいて、第２の一次出力画像を前記プロセッサよって生成すること、
    をさらに備える請求項１〜１３のいずれか一項に記載の方法。
16. 前記第２のアバターデータが、前記アバターデータを含む、請求項１５に記載の方法。
17. 前記第１の画像が、前記第２の画像を受信する前に前記サーバに送信される、請求項１４〜１６のいずれか一項に記載の方法。
18. 音声データを前記第１のコンピューティング装置で受信すること、
    前記音声データを前記データインタフェースで前記サーバに送信すること、
    前記音声データに関係する音声パラメータを前記データインタフェースで受信すること、
    前記音声パラメータおよび前記アバターデータに基づいて、出力音声を前記第１のコンピューティング装置のプロセッサによって生成すること、
    をさらに備える請求項１〜１７のいずれか一項に記載の方法。
19. 前記出力音声を生成することが、前記音声データにフィルタを適用することを含む、請求項１８に記載の方法。
20. 前記アバターデータが、アバター画像を含む、請求項１〜１９のいずれか一項に記載の方法。
21. 画像を生成するためのシステムであって、
    第１のコンピューティング装置を備え、該第１のコンピューティング装置が、
    データインタフェースと、
    前記データインタフェースに接続されたプロセッサと、
    前記プロセッサに接続されたメモリと
    を含み、前記メモリが、前記プロセッサによって実行可能な命令として、
    第１の画像を受信する命令、
    前記第１の画像を前記データインタフェースでサーバに送信する命令、
    前記第１の画像の態様に対応する形状データを前記データインタフェースで受信する命令、
    少なくとも前記形状データとアバターデータとに基づいて出力画像を生成する命令
    前記データインタフェースでメッセージを前記サーバに送信する命令であって、前記メッセージは、第２のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信する命令、
    前記第２のコンピューティング装置による前記出力画像の生成のために前記形状データおよび前記アバターデータを前記第２のコンピューティング装置の詳細を用いて前記サーバから前記第２のコンピューティング装置に送信する命令
    を含む、システム。
22. 前記プロセッサに接続された表示スクリーンをさらに含み、
    前記メモリが、前記出力画像を前記表示スクリーン上に表示するための命令をさらに含む、請求項２１に記載のシステム。
23. 前記プロセッサに接続されたカメラをさらに含み、
    前記メモリが、前記カメラから前記第１の画像を受信するための命令をさらに含む、請求項２１または２２に記載のシステム。
24. 画像を生成および送信するためのシステムであって、
    第１のコンピューティング装置を備え、該第１のコンピューティング装置が、
    データインタフェースと、
    前記データインタフェースに接続されたプロセッサと、
    前記プロセッサに接続されたメモリと
    を含み、前記メモリが、前記プロセッサによって実行可能な命令として、
    第１の画像を受信する命令、
    前記第１の画像を前記データインタフェースでサーバに送信する命令、
    前記第１の画像の態様に対応する形状データを前記データインタフェースで受信する命令、および
    少なくとも前記形状データとアバターデータとに基づいて出力画像を生成する命令
    前記データインタフェースでメッセージを前記サーバに送信する命令であって、前記メッセージは、第２のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信する命令、
    を含み、前記サーバが、
    サーバデータインタフェースと、
    前記サーバデータインタフェースに接続されたサーバプロセッサと、
    前記サーバプロセッサに接続されたサーバメモリと
    を含み、前記サーバメモリが、前記サーバプロセッサによって実行可能な命令として、
    前記第１の画像を受信する命令、
    前記第１の画像の態様に応じた前記形状データを前記サーバプロセッサによって生成する命令、
    前記形状データを前記サーバデータインタフェースで前記第１のコンピューティング装置に送信する命令、
    前記サーバデータインタフェースで前記メッセージを前記第１のコンピューティング装置から受信する命令であって、前記メッセージは、前記第２のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを受信する命令、
    前記第２のコンピューティング装置による前記出力画像の生成のために前記形状データおよび前記アバターデータを前記第２のコンピューティング装置の詳細を用いて前記第２のコンピューティング装置に送信する命令
    を含む、システム。
25. 前記サーバプロセッサに接続されたサーバメモリが、前記サーバプロセッサによって実行可能な命令として、
    少なくとも前記形状データと前記アバターデータとに基づいてサーバ出力画像を前記サーバプロセッサで生成する命令、
    前記サーバデータインタフェースで前記サーバ出力画像を第２のコンピューティング装置に前記第２のコンピューティング装置の詳細を用いて送信する命令
    をさらに含む、請求項２４に記載のシステム。