JP6392497B2 - ビデオを生成するためのシステムおよび方法 - Google Patents

ビデオを生成するためのシステムおよび方法 Download PDF

Info

Publication number
JP6392497B2
JP6392497B2 JP2013038804A JP2013038804A JP6392497B2 JP 6392497 B2 JP6392497 B2 JP 6392497B2 JP 2013038804 A JP2013038804 A JP 2013038804A JP 2013038804 A JP2013038804 A JP 2013038804A JP 6392497 B2 JP6392497 B2 JP 6392497B2
Authority
JP
Japan
Prior art keywords
server
image
data
computing device
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013038804A
Other languages
English (en)
Other versions
JP2013243646A (ja
JP2013243646A5 (ja
Inventor
ルーシー サイモン
ルーシー サイモン
テンドルカール ゴータム
テンドルカール ゴータム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commonwealth Scientific and Industrial Research Organization CSIRO
Original Assignee
Commonwealth Scientific and Industrial Research Organization CSIRO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2012902108A external-priority patent/AU2012902108A0/en
Application filed by Commonwealth Scientific and Industrial Research Organization CSIRO filed Critical Commonwealth Scientific and Industrial Research Organization CSIRO
Publication of JP2013243646A publication Critical patent/JP2013243646A/ja
Publication of JP2013243646A5 publication Critical patent/JP2013243646A5/ja
Application granted granted Critical
Publication of JP6392497B2 publication Critical patent/JP6392497B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像生成に関し、特に限定されないが、ビデオシーケンス用の画像の生成に関する。
今ではデジタルカメラは多数の機種が存在しており、ユーザ生成コンテンツ(UGC)も、ますます一般的になってきている。ユーザは、自分自身のビデオを記録し、ビデオを編集しないまま単にアップロードもしくは送信したり、アップロードの前にビデオを修正もしくは編集したりすることができる。
従来技術の画像処理ソフトウェアにより、ユーザは、写真にフィルタリングを適用して特殊効果を与えることができる。かかる効果の例には、色あせた画像や光漏れを通じて、またはフィルタを追加して特定の色を向上させることによって行われる、古いカメラのシミュレーティングが含まれる。
従来技術の画像処理ソフトウェアに関する問題は、フィルタがコンテンツ非依存性であるということである。フィルタリングされた画像は、最初は個別化されているように見えるが、いくつかの画像に同じフィルタが適用されることによって、それらの画像が、元々見えたものよりも、実際に互いにより類似して見えるようになる。
また、従来技術の個別化されたビデオ生成ソフトウェアによれば、ユーザは、自分自身の顔(または別のユーザの顔)をビデオシーケンスに追加することができる。その場合、ビデオは、少なくとも表面的レベルでは、そのユーザにカスタマイズされているように見える。
従来技術のビデオ生成ソフトウェアに関する問題は、ユーザによる入力が制限されているため、結果として表現の多様性が制限されてしまうことにある。
その対極にあるのは、映画用のコンピュータ生成アニメーションにおいて用いられるものなど、マニュアルビデオおよび画像の編集および生成ソフトウェアである。かかるソフトウェアによって、ユーザは、任意のタイプのビデオまたは画像を生成することが可能になるが、それは、一般に複雑で時間がかかり、したがって一般ユーザには適していない。
従来技術に関する先行技術文献として以下を開示する。
国際公開第2003/073322A1号パンフレット 米国特許出願公開第2008/0306951号明細書
本発明の一部の実施形態の目的は、上記の従来技術に対する改善および利点をユーザに提供すること、および/または従来技術の上記欠点の1つまたは複数を克服および軽減すること、および/または有用な商業上の選択肢を提供することにある。
第1の態様によれば、本発明は、画像を生成する方法であって、
第1の画像を第1のコンピューティング装置で受信すること、
第1のコンピューティング装置のデータインタフェースで第1の画像をサーバに送信すること、
第1の画像の態様に対応する形状データをデータインタフェースでサーバから受信すること、
少なくとも形状データおよびアバターデータに基づいて、一次出力画像を第1のコンピューティング装置のプロセッサによって生成すること、
を備える方法に関する。
好ましくは、形状データは、画像において描写されるユーザの顔の3Dモデルを含む。任意選択的に、形状データは、画像において描写される数人のユーザの顔の3Dモデルを含む。一次出力画像を生成することは、形状データをアバターデータに適用することを含む。
代替として、形状データは、アクティブ外観モデル(AAM: Active Appearance Model)パラメータを含み、一次出力画像を生成することは、AAMパラメータをアバターデータに適用することを含む。
好ましくは、一次出力画像を生成することは、アバターデータに応じた形状データへのマッピング機能を適用することをさらに含む。
好ましくは、方法は、アバターデータに関連する識別子をデータインタフェースで受信することをさらに備える。
好ましくは、方法は、
識別子をサーバに送信することをさらに備え、
サーバは、形状パラメータと、識別子に関連するサーバアバターデータとに基づいて、サーバ出力画像を生成する。
代替として、方法は、
アバターデータをサーバに送信することをさらに備え、
サーバアバターデータは、サーバに送信されたアバターデータを含む。
特定の実施形態によれば、サーバ出力画像は、一次出力画像と同一である。代替として、サーバは、第1のコンピューティング装置によって一次出力画像を生成するために用いられるアルゴリズムとは異なるアルゴリズムに従ってサーバ出力画像を生成する。
好ましくは、方法は、
サーバ出力画像を第2のコンピューティング装置のユーザに送信する要求をデータインタフェースでサーバに送信することであって、第2のコンピューティング装置のユーザの詳細な連絡先を含む当該要求をサーバに送信すること、
ユーザの詳細な連絡先を用いて、サーバから第2のコンピューティング装置のユーザにサーバ出力画像を送信すること、
をさらに備える。
好ましくは、方法は、
一次出力画像を第2のコンピューティング装置のユーザと共有する要求をデータインタフェースでサーバに送信することであって、第2のコンピューティング装置のユーザの詳細な連絡先および選択されたアバターを含む当該要求をサーバに送信すること、
第2のコンピューティング装置によって一次出力画像を生成するために、ユーザの詳細な連絡先を用いて、形状パラメータおよび選択されたアバターをサーバから第2のコンピューティング装置のユーザに送信すること、
をさらに備える。
好ましくは、選択されたアバターを送信することは、選択されたアバターに関連する識別子を送信することを含む。
好ましくは、一次出力画像を生成することは、第1の画像を修正することを含む。
好ましくは、方法は、
サーバ出力画像をソーシャルメディアサイトまたはビデオ共有サイトにアップロードする要求をデータインタフェースでサーバに送信することであって、ソーシャルメディアサイトまたはビデオ共有サイトの詳細および選択されたアバターを含む当該要求をサーバに送信すること、
ソーシャルメディアサイトまたはビデオ共有サイトの詳細を用いて、サーバからソーシャルメディアサイトまたはビデオ共有サイトにサーバ出力画像を送信すること、
をさらに備える。
特定の実施形態によれば、第1の画像は、符号化される。
好ましくは、第1の画像は、ビデオシーケンスの画像を含む。
好ましくは、方法は、
第1の画像および第2の画像がビデオシーケンスの画像を含むとき、第2の画像を第1のコンピューティング装置で受信すること、
第2の画像をデータインタフェースでサーバに送信すること、
第2の画像の態様に対応するさらなる形状データをデータインタフェースで受信すること、
少なくともさらなる形状データとアバターデータとに基づいて第2の一次出力画像をプロセッサよって生成すること、
をさらに備える。
好ましくは、方法は、
第1の画像および第2の画像がビデオシーケンスの画像を含むとき、第2の画像を第1のコンピューティング装置で受信すること、
第2の画像をデータインタフェースでサーバに送信すること、
第2の画像の態様に対応するさらなる形状データをデータインタフェースで受信すること、
少なくともさらなる形状データと第2のアバターデータとに基づいて第2の一次出力画像をプロセッサよって生成すること、
をさらに備える。
好ましくは、第2のアバターデータは、アバターデータを含む。
好ましくは、第1の画像は、第2の画像を受信する前にサーバに送信される。
好ましくは、方法は、
音声データを第1のコンピューティング装置で受信すること、
音声データをデータインタフェースでサーバに送信すること、
音声データに関係する音声パラメータをデータインタフェースで受信すること、
音声パラメータとアバターデータとに基づいた出力音声を第1のコンピューティング装置のプロセッサによって生成すること、
をさらに備える。
好ましくは、出力音声を生成することは、音声データにフィルタを適用することを含む。
好ましくは、アバターデータは、アバター画像を含む。
第2の態様によれば、本発明は、画像を生成するためのシステムであって、
第1のコンピューティング装置を備え、該第1のコンピューティング装置が、
データインタフェースと、
データインタフェースに接続されたプロセッサと、
前記プロセッサに接続されたメモリと
を含み、メモリが、プロセッサによって実行可能な命令として、
第1の画像を受信するための命令、
第1の画像をデータインタフェースでサーバに送信するための命令、
第1の画像の態様に対応する形状データをデータインタフェースで受信するための命令、および
少なくとも形状データとアバターデータとに基づいて出力画像を生成するための命令
を含む、システムに関する。
好ましくは、システムは、
プロセッサに接続された表示スクリーンをさらに含み、
メモリは、出力画像を表示スクリーン上に表示するための命令をさらに含む。
好ましくは、システムは、
プロセッサに接続されたカメラをさらに含み、
メモリは、第1の画像をカメラから受信するための命令をさらに含む。
第3の態様によれば、本発明は、画像を生成および送信するためのシステムであって、
パーソナルコンピューティング装置を備え、該パーソナルコンピューティング装置が、
データインタフェースと、
データインタフェースに接続されたプロセッサと、
プロセッサに接続されたメモリと
を含み、メモリが、プロセッサによって実行可能な命令として、
画像を受信するための命令、
画像をデータインタフェースでサーバに送信するための命令、
画像の態様に対応する形状データをデータインタフェースで受信するための命令、および
少なくとも形状データとアバターデータとに基づいて出力画像を生成するための命令
を含み、サーバが、
サーバデータインタフェースと、
サーバデータインタフェースに接続されたサーバプロセッサと、
サーバプロセッサに接続されたサーバメモリと
を含み、サーバメモリが、サーバプロセッサによって実行可能な命令として、
画像を受信するための命令、
画像の態様に応じた形状データをサーバプロセッサによって生成するための命令、
形状データをサーバデータインタフェースで第1のコンピューティング装置に送信するための命令、
少なくとも形状データとアバターデータとに基づいてサーバ出力画像をサーバプロセッサで生成するための命令、および
サーバ出力画像をサーバデータインタフェースで第2のコンピューティング装置に送信するための命令、
を含む、システムに関する。
好ましくは、システムは、複数のパーソナルコンピューティング装置をさらに含み、サーバ出力画像は、複数のパーソナルコンピューティング装置からの画像に関係する形状データに基づいて生成される。
本発明の実施形態による画像生成システムを示す図である。 本発明の実施形態による図1のシステムにおける第1のコンピューティング装置と対話するユーザを示す図である。 図3(a)は本発明の実施形態による図1のシステムにおける形状データの正面図、図3(b)は形状データの側面図である。 本発明の実施形態による図1のシステムにおけるアバター選択スクリーンのスクリーンショットを示す図である。 本発明の実施形態による画像生成システムを示す図である。 本発明の実施形態による第1のコンピューティング装置とサーバとの間の通信を示すメッセージフロー図である。 本発明の実施形態による画像生成方法を示すフロー図である。 本発明の実施形態によるコンピューティング装置を示す図である。
本発明の理解を助けるために、および当業者が本発明を実施できるようにするために、本発明の好ましい実施形態の一例を、添付の図面を参照して以下に説明する。当業者は、図面に示されるような構成要素のレイアウトからの小さな逸脱が、本発明の開示した実施形態の適切な機能を損なうものでないことを理解し得る。
本発明の実施形態は、画像およびビデオ生成システムならびに方法を包含する。本発明の要素は、簡潔な概略形態で図面に示されており、これらの図面は、以下の説明により当業者に明らかとなる過度の詳細によって本開示を混乱させることがないように、本発明の実施形態の理解に必要な特定の詳細のみを示す。
本明細書において、第1および第2、左および右、前および後ろ、上端および底部などの形容詞は、その形容詞によって表現される特定の相対的位置または順序を必ずしも要求するものでなく、一つの要素または方法ステップを、別の要素または方法ステップと区別して定義するためにのみ用いる。「包含する」または「含む」などの用語は、要素または方法ステップの排他的な集まりを定義するために用いていない。むしろ、このような用語は単に、本発明のある特定の実施形態に含まれる要素または方法ステップの最小限の集まりを定義する。
本明細書における先行技術に対する参照は、先行技術が共通の一般的知識の一部を形成していることを認知または示唆するものでなく、また、そのように解釈されるべきではない。
一態様によれば、本発明は、画像を生成する方法であって、第1の画像を第1のコンピューティング装置で受信すること、第1の画像を第1のコンピューティング装置のデータインタフェースでサーバに送信すること、第1の画像の態様に対応する形状データをサーバからデータインタフェースで受信すること、少なくとも形状データとアバターデータとに基づいて一次出力画像を第1のコンピューティング装置のプロセッサよって生成することを備える方法に関する。
本発明のある実施形態における利点は、限られた処理能力の装置上で、ユーザがアバターをアニメ化する能力を含む。アニメーションは低遅延で生じさせることができ、アバターは動的に変更することができる。そして、得られたアニメ化されたアバターの画像またはビデオは、優れた帯域効率で、別のユーザ、ソーシャルメディア、またはビデオ共有サイトに送信することができる。
以下で説明する実施形態は、画像の生成に言及する。当業者によって容易に理解されるように、画像には、ビデオシーケンスの画像を含み得る。さらに、実施形態は、必ずしも各画像を単一の独立した画像として扱わずに、ビデオ生成を支援するように容易に拡張することができる。例えば、タイミング情報をビデオシーケンスの各画像に関連付けることができ、これにより、タイミング情報を任意の出力ビデオシーケンスに適用することができる。
なお、アバターデータという用語は、動作もしくは表情を転送できる任意のタイプの画像データおよび/または音声データを示すために用いられる。アバターは、漫画のキャラクターなどの人工のキャラクターに基づくか、または実在の人物の画像を含むことができる。さらに、アバターは、動物、もしくはエイリアンなどの空想生物など、人間以外のキャラクターに基づくか、または顔もしくは他の身体部分を上に置いた無生物もしくは空想上の産物を含むことができる。
図1は、本発明の実施形態による、画像を生成するためのシステム100を示す。
システム100は、第1のコンピューティング装置105およびサーバ110を含む。第1のコンピューティング装置105およびサーバ110は、データ通信ネットワーク115を介して結合される。
第1のコンピューティング装置105は、カメラ120、表示スクリーン125、およびマイクロホン130を含み、それら全てがプロセッサ(図示せず)に接続され、プロセッサはデータインタフェース(図示せず)に接続される。以下で説明するように、第1のコンピューティング装置105はさらに、プロセッサに接続され、本発明の方法を実行するためにプロセッサによって実行可能な命令を含むメモリ(図示せず)を含む。
第1のコンピューティング装置105は、携帯電話、携帯情報端末(PDA)、タブレットコンピュータ、または他の類似装置などの下位装置とすることができる。サーバは、例えば専用コンピューティング装置とすることができ、幾つかの第1のコンピューティング装置105のために動作する場合には有利となる。
第1のコンピューティング装置105は、画像またはビデオをサーバ110に送信し、サーバ110は、画像またはビデオを処理して、形状パラメータを第1のコンピューティング装置105に返信する。次に、第1のコンピューティング装置105は、形状パラメータに従ってアバターモデルをアニメ化する。
アバターモデルのアニメーションは、携帯電話などの下位装置のグラフィック処理ユニット(GPU)に特に適切化される。アニメーションは、ユーザの表情をアバターの表情に変換すること、または身体形状または動作を変換することを含み得る。これは、例えば、ユーザの表情を含むようにアバターをアニメ化すること、特定の方法でアバターを飛び跳ねさせたり動作させたりすること、または手話などの特定の動作を行わせることを含み得る。
アバターモデルは、第1のコンピューティング装置105か、サーバ110に配置することができる。あるいは、アバターモデルは、サーバ110および第1のコンピューティング装置105にそれぞれ部分的に配置することができる。また、アバターモデルは、第1のコンピューティング装置105とサーバ110との間で送受信することができる。
図2は、本発明の実施形態に従って、第1のコンピューティング装置105と対話するユーザ205を示す。
ユーザ205の複数の画像が、カメラ120によって捕捉される。複数の画像のうちの第1の画像が捕捉されると、その第1の画像がサーバ110に送信されて直ちに処理される。すなわち、第2の画像が捕捉されるのを待つことなく、またはビデオが完全に記録されることを待つことなく、第1の画像がサーバ110に送信されて直ちに処理される。
ネットワークが遅いかまたは利用不可の場合に、第1のコンピューティング装置105によって捕捉された画像を保存して、ネットワークが利用可能となるかまたは十分に速くなった場合にサーバ110に送信するようにしてもよい。
本発明の代替実施形態(図示せず)によれば、画像は、第1のコンピューティング装置105に送信される、すなわちダウンロードされたビデオシーケンスからなる。当業者によって容易に理解されるように、画像は、第1のコンピューティング装置105によって捕捉される必要はない。
サーバ110は、第1の画像の態様に対応する形状データを生成する。画像態様としては、ユーザの顔、身体形状、または任意の他の適切な態様とすることができる。ユーザの顔の場合、形状データは、画像に基づくユーザの顔の3Dモデルを含むものであってもよい。あるいは、形状データは、アクティブ外観モデル(Active Appearance Model: AAM)のパラメータを含むものであってもよい。さらに、形状パラメータは、相対的なカメラ位置を含むものであってもよい。
サーバ110は、形状データを第1のコンピューティング装置105に送信し、第1のコンピューティング装置105は、少なくとも形状データおよびアバターデータに基づいて出力画像を生成する。
アバターデータには、例えば、形状データに従って変換されたアバター画像を含むことができる。
出力画像は、3Dモデル、AAMパラメータ、または他の形状データをアバターデータに適用して生成することを含む。また、出力画像は、アバターデータに応じた形状データへのマッピング機能を適用して生成することを含み得る。また、出力画像は、2012年3月21日出願の「METHOD AND SYSTEM FOR FACIAL EXPRESSION TRANSFER」(表情転送方法およびシステム)なる名称の国際出願PCT/AU2012/000295号明細書に説明されているような複数のソースアバターマッピング機能に従って生成することができる。サーバ110は、画像、アバターデータ、およびトレーニングデータに基づいて、ソースアバターマッピング機能を生成することができる。ソースアバターマッピング機能は、第1のコンピューティング装置105に送信されて使用される。
図3(a)は、本発明の実施形態による形状データ300の正面図を示し、図3(b)は、形状データ300の側面図を示す。
形状データは、ユーザの顔の特徴に対応する複数の3D点305を含む。なお、特徴には、目、口、眉、あごの形状、または任意の他の特徴を含むことができる。
図4は、本発明の実施形態によるアバター選択スクリーンのスクリーンショット400を示す。第1のコンピューティング装置105およびサーバ110は、複数のアバターに対応するアバターデータを含むことができ、アバター選択スクリーンは、複数のアバターからアバターを選択するために用いることができる。
アバター選択スクリーンは、アバター出力画像405および複数のアバター選択ボタン410を含む。アバター選択ボタン410を用いてアバターを選択すると、出力画像405が、選択されたアバターに従って更新される。
アバター選択スクリーンは、さらに、再生ボタン415、早送りボタン420、および巻き戻しボタン425を介した媒体制御機能を含む。再生ボタン415、早送りボタン420、および巻き戻しボタン425は、ビデオシーケンスの再生を制御するために用いることができる。本発明の特定の実施形態によれば、アバター選択ボタン410を用いて、再生中にアバターを変更することができる。
この場合、入力ビデオシーケンスは、第1の画像および第2の画像を含む複数の画像を含むことができ、これらの画像は、第1のコンピューティング装置105によって受信される。
上記のように、第1の画像は、第1のコンピューティング装置105によってサーバ110に送信される。サーバ110は、第1の画像の態様に対応する形状データを第1のコンピューティング装置105に送信する。次に、第1のコンピューティング装置105は、第1の選択されたアバターの形状データとアバターデータとに基づいて、一次出力画像を生成する。
続いて、第2の画像が、第1のコンピューティング装置105によってサーバ110に送信される。サーバ110は、第2の画像の態様に対応するさらなる形状データを第1のコンピューティング装置105に送信する。次に、第1のコンピューティング装置105は、そのさらなる形状データと、新しいアバターが選択された場合には第2の選択されたアバターデータまたは第1の選択されたアバターデータとに基づいて、さらなる一次出力画像を生成する。
したがって、一次出力画像およびさらなる一次出力画像によって出力ビデオシーケンスが形成される。出力ビデオシーケンスは、選択されたアバター(単数か複数)を含み、例えばアバター選択スクリーン上で再生することができる。
図5は、本発明の実施形態による、画像を生成するためのシステム500を示す。
システム500は、第1のコンピューティング装置505、サーバ510、および第2のコンピューティング装置515を含む。第1のコンピューティング装置505およびサーバ510は、図1の第1のコンピューティング装置105およびサーバ110に類似している。
第1のコンピューティング装置505は、上記のように、例えば第1のコンピューティング装置505のカメラ120から画像を受信し、それをサーバ510に送信する。次に、サーバ510は形状パラメータを生成し、その形状パラメータを第1のコンピューティング装置505に送信する。
これにより、図4を参照して上述したように、第1のコンピューティング装置505のユーザは、異なるアバターのデータに従って出力画像を生成し、アバターを選択することができる。
ユーザは、アバターを選択した後で、出力画像を別のユーザに転送することを選択してもよい。この場合、第2のユーザの詳細な連絡先および/または第2のユーザ装置515の詳細なアドレスとともに、選択されたアバターを含むメッセージが、第1のコンピューティング装置505からサーバ510に送信される。
各アバターは、固有の識別子に関連付けることができる。この場合、第1のコンピューティング装置505は、固有の識別子をサーバ510に送信するだけでよい。
特定の実施形態によれば、サーバ510は、識別子に関連するサーバアバターデータと形状パラメータとに基づいてサーバ出力画像を生成する。
サーバアバターデータは、第1のコンピューティング装置505のアバターデータと同一であってもよいし、またはサーバ510に利用可能な任意の追加の処理パワーに対応する追加の詳細を含んでもよい。同様に、サーバ510は、より正確なまたはより現実的なサーバ出力画像を生成するために、第1のコンピューティング装置505によって用いられるアルゴリズムとは異なるアルゴリズムを適用して一次出力画像を生成してもよい。
次に、サーバ510は、サーバ出力画像を第2のコンピューティング装置515に送信する。
他の実施形態によれば、サーバ510は、選択されたアバターの詳細、例えば選択されたアバターを識別する識別子を、形状パラメータとともに第2のコンピューティング装置515に送信する。次に、第2のコンピューティング装置515は、形状パラメータおよび選択されたアバターに従って出力画像を描画することができる。
さらに別の実施形態によれば、サーバ510は、サーバ出力画像を、ソーシャルネットワーキングサイトに、または、ファイル、画像もしくはビデオ共有サイトに、あるいは、別のサイトにアップロードする。
出力画像の生成は、独立した出力画像を生成することを含み得る。または、出力画像の生成は、第1の画像を修正することを含み得る。なお、第1の画像を符号化してもよく、また、後続の画像を第1の画像に対して差分符号化してもよい。
代替実施形態(図示せず)によれば、サーバ出力画像および/または一次出力画像は、いくつかの画像からの形状データに基づいて生成される。したがって、出力画像は、数人のユーザの表情など、いくつかの画像からの態様を組み合わせることができる。同様に、いくつかの画像からの形状データは、数人のユーザの表情など、数人のユーザに関連するデータを含むことができる。
図6は、本発明の実施形態による、第1のコンピューティング装置105,505と、サーバ110,510との間の通信のメッセージシーケンス600を示す。
ステップ605において、第1の画像が、第1のコンピューティング装置105,505で受信される。第1の画像は、カメラまたは任意の他のソースからのものとすることができる。
ステップ610において、第1の画像は、サーバ110,510に送信されて処理される。
ステップ615において、第1の画像が処理されるのを待たずに、第2の画像がサーバ110,510に送信されて処理される。これによって、累積遅延でもビデオシーケンスの長さに対応する遅延でもなく単一の往復時間遅延が追加されるだけなので、ビデオのほぼリアルタイム処理が可能になる。
ステップ620において、第1の画像がサーバ110,510によって処理され、ステップ625において、形状パラメータがサーバ110,510から第1のコンピューティング装置105,505に送信される。次に、ステップ630において、第1のコンピューティング装置105,505は出力画像を生成し表示する。
ステップ635において、第2の画像がサーバ110,510によって処理される。
図7は、本発明の実施形態による、画像を生成する方法700を示す。
ステップ705において、第1の画像が第1のコンピューティング装置によって受信される。第1の画像は、カメラから直接受信されるか、または別の手段によって受信することができる。
ステップ710において、第1の画像がサーバに送信される。
ステップ715において、第2の画像が第1のコンピューティング装置によって受信される。ステップ720において、第2の画像がサーバに送信される。
ステップ725において、第1の画像に関する形状データがサーバから送信され、第1のコンピューティング装置によって受信される。ステップ730において、第1のコンピューティング装置は、形状データとアバターデータとに基づいて第1の一次出力画像を生成する。
ステップ735において、第2の画像に関する形状データがサーバから送信され、第1のコンピューティング装置によって受信される。ステップ740において、第1のコンピューティング装置は、第2の画像の形状データとアバターデータとに基づいて第2の一次出力画像を生成する。
ステップ725および730は、ステップ715および720の前に実行することができる。しかしながら、システムの全体的な遅延を低減するためには、第2の画像が第1のコンピューティング装置によって受信されたときに第2の画像をサーバに送信して処理するのが有利である。
本発明の特定の実施形態によれば、方法は、さらに、スピーチなどの音声データを受信および処理することを含む。音声データは、有利にはマイクロホン130によって捕捉される。この音声データは、音声データを画像またはビデオデータと正確に同期させるためにタイミング情報を含んでもよい。
音声データは、上記の画像と同様の方法で、データインタフェース上でサーバに送信されて処理される。次に、サーバ110,510は、音声を処理して、音声データに関係する音声パラメータを生成する。音声パラメータは、第1のコンピューティング装置105,505に送信され、出力音声が、音声パラメータおよびアバターデータに基づいて生成される。
音声パラメータは、音声データをフィルタリングするために用いられるフィルタパラメータを含むことができる。
図8は、本発明の実施形態によるコンピューティング装置800を示す。第1および第2のコンピューティング装置105,505,515、およびサーバ110,510は、コンピューティング装置800と同じか、または類似したものとすることができる。同様に、図7の方法700は、コンピューティング装置800を用いて実行することができる。
コンピューティング装置800は、中央処理装置802と、システムメモリ804と、システムバス806とを含む。システムバス806は、システムメモリ804と中央処理装置802との接続等、様々なシステム要素の接続を行う。システムバス806は、メモリバスまたはメモリコントローラ、周辺機器用バス、および様々なバスアーキテクチャのいずれかを用いたローカルバスを含む種々のバス構造のいずれかであってよい。システムメモリ804の構造は、当業者に周知であり、読み取り専用メモリ(ROM)に記憶された基本入出力システム(BIOS)とともに、ランダムアクセスメモリ(RAM)に記憶されたオペレーティングシステム、アプリケーションプログラム、およびプログラムデータなどの1つまたは複数のプログラムモジュールを含み得る。
コンピューティング装置800はまた、データの読み出しおよび書き込みを行うための様々なインタフェースユニットおよびドライブも含み得る。データは、例えば、カメラと表示スクリーンとの間の変位を含むことができる。
具体的には、コンピューティング装置800は、ハードディスクドライブ812およびリムーバブルメモリドライブ814をシステムバス806にそれぞれ接続するハードディスクインタフェース808およびリムーバブルメモリインタフェース810を含む。リムーバブルメモリドライブ814の例には、磁気ディスクドライブおよび光ディスクドライブが含まれる。ドライブおよびそれらに関連するデジタル多用途ディスク(DVD)816等のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータシステム800用の他のデータの不揮発性記憶装置を提供する。単に例示を目的とし、コンピューティング装置800が幾つかの同様のドライブを含み得るという理解の下に、1つのハードディスクドライブ812および1つのリムーバブルメモリドライブ814を示している。さらに、コンピューティング装置800は、他の種類のコンピュータ可読媒体とインタフェースをとるためのドライブを含み得る。
コンピューティング装置800は、デバイスをシステムバス806に接続するための追加インタフェースを含んでもよい。図8は、装置をシステムバス806に接続するために使用可能なユニバーサル・シリアル・バス(USB)インタフェース818を示している。例えば、IEEE1394インタフェース820を使用して、追加のデバイスをコンピューティング装置800に接続することが可能である。追加のデバイスの例には、画像もしくはビデオを受像するためのカメラ、または音声を記録するためのマイクロホンが含まれる。
コンピューティング装置800は、1つまたは複数のリモートコンピュータ、あるいは、サーバ、ルータ、ネットワークパーソナルコンピュータ、ピアデバイスまたは他の共通のネットワークノード、無線電話、または無線携帯情報端末等の他のデバイスへの論理接続を用いたネットワーク環境において動作可能である。コンピューティング装置800は、システムバス806をローカル・エリア・ネットワーク(LAN)824に接続するネットワークインタフェース822を含む。ネットワーク環境は、オフィス、企業規模のコンピュータネットワークおよびホームコンピュータシステムにおいて一般的なものである。
インターネット等の広域ネットワーク(WAN)は、例えばシリアルポートインタフェース826に接続されたモデムユニットを介して、またはLAN824を介して、コンピューティング装置によってアクセスすることもできる。
画像および/またはビデオの送信は、LAN824、WAN、またはそれらの組み合わせを用いて実行することができる。
図示し説明したネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の方法を使用可能であることが理解される。TCP/IP、フレームリレー、イーサネット(登録商標)、FTP、HTTPなどの様々な周知なプロトコルのいずれかの存在が仮定され、コンピューティング装置800は、ユーザが、例えばウェブベースのサーバからデータを検索できるようにするクライアント・サーバ構成で動作することができる。
コンピューティング装置800の動作は、様々な異なるプログラムモジュールによって制御することができる。プログラムモジュールの例は、特定のタスクを実行するか、または特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造である。本発明はまた、携帯端末、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能家庭用電化製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、携帯情報端末などを含む他のコンピュータシステム構成で実施してもよい。さらに、本発明はまた、通信ネットワークを介して接続されるリモート処理装置によってタスクが実行される分散コンピューティング環境において実施してもよい。分散コンピューティング環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶装置の両方に配置することができる。
要約すれば、本発明の特定の実施形態における利点は、限られた処理能力の装置でユーザがアバターをアニメーション化することができることを含む。アニメーションを低遅延で生じさせることができ、かつアバターを動的に変更することができる。そして、得られたアニメ化されたアバターの画像またはビデオを優れた帯域効率で別のユーザに送信することができる。
本発明の様々な実施形態における上記の説明は、当業者への説明のために提供される。本発明を網羅的に記載すること、または本発明を単一の開示された実施形態に限定することを意図したものではない。上記教示を受けた当業者には、本発明の多数の代替形態および変更形態が明らかとなる。従って、一部の代替実施形態を具体的に説明したが、他の実施形態は、当業者によって明らかとなる、または比較的容易に開発され得る。従って、本明細書は、上記した本発明の全ての代替形態、変形形態、および変更形態、および本発明の思想および範囲に包含される他の実施形態を含む。
100,500:システム、105,505:第1のコンピューティング装置、110,510:サーバ、115:データ通信ネットワーク、120:カメラ、125:表示スクリーン、300:形状データ、305:3D点、400:スクリーンショット、405:アバター出力画像、410:アバター選択ボタン、515:第2のコンピューティング装置、800:コンピューティング装置。

Claims (25)

  1. 画像を生成する方法であって、
    第1の画像を第1のコンピューティング装置で受信すること、
    前記第1のコンピューティング装置のデータインタフェースで前記第1の画像をサーバに送信すること、
    前記第1の画像の態様に対応する形状データを前記データインタフェースで前記サーバから受信すること、
    少なくとも前記形状データおよびアバターデータに基づいて、一次出力画像を前記第1のコンピューティング装置のプロセッサによって生成すること、
    前記データインタフェースでメッセージを前記サーバに送信することであって、前記メッセージは、第2のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信すること、
    前記第2のコンピューティング装置による前記一次出力画像の生成のために前記形状データおよび前記アバターデータを、前記第2のコンピューティング装置の詳細を用いて前記サーバから前記第2のコンピューティング装置に送信すること
    を備える方法。
  2. 前記形状データが、前記第1の画像において描写されるユーザの顔の3Dモデルを含み、前記一次出力画像を生成することが、前記3Dモデルを前記アバターデータに適用することを含む、請求項1に記載の方法。
  3. 前記形状データが、AAM(アクティブ外観モデル)パラメータを含み、前記一次出力画像を生成することが、前記AAMパラメータをアバターデータに適用することを含む、請求項1に記載の方法。
  4. 前記一次出力画像を生成することが、前記アバターデータに応じた前記形状データへのマッピング機能を適用することをさらに含む、請求項1〜3のいずれか一項に記載の方法。
  5. 前記アバターデータに関連する識別子を前記データインタフェースで受信することをさらに備える請求項1〜4のいずれか一項に記載の方法。
  6. 前記識別子を前記サーバに送信することをさらに備え、
    前記サーバが、前記形状データと、前記識別子に関連するサーバアバターデータとに基づいて、サーバ出力画像を生成する、請求項5に記載の方法。
  7. 前記サーバ出力画像が、前記一次出力画像と同一である、請求項6に記載の方法。
  8. 前記サーバは、前記第1のコンピューティング装置によって前記一次出力画像を生成するために用いられるアルゴリズムとは異なるアルゴリズムに従って前記サーバ出力画像を生成する、請求項6に記載の方法。
  9. 前記アバターデータを前記サーバに送信することをさらに備え、
    前記サーバアバターデータが、前記サーバに送信されたアバターデータを含む、請求項6〜8のいずれか一項に記載の方法。
  10. 前記第2のコンピューティング装置の詳細を用いて、前記サーバ出力画像を前記サーバから前記第2のコンピューティング装置のユーザに送信すること
    をさらに備える請求項6〜9のいずれか一項に記載の方法。
  11. 前記一次出力画像を生成することが、前記第1の画像を修正することを含む、請求項1〜10のいずれか一項に記載の方法。
  12. サーバ出力画像をソーシャルメディアサイトまたはビデオ共有サイトにアップロードする要求を、前記データインタフェースで前記サーバに送信することであって、前記ソーシャルメディアサイトまたは前記ビデオ共有サイトの詳細および選択されたアバターを含む前記要求を前記サーバに送信すること、
    前記ソーシャルメディアサイトまたは前記ビデオ共有サイトの詳細を用いて、前記サーバから前記ソーシャルメディアサイトまたは前記ビデオ共有サイトに前記サーバ出力画像を送信すること、
    をさらに備える請求項6〜11のいずれか一項に記載の方法。
  13. 前記第1の画像が、ビデオシーケンスの画像を含む、請求項1〜12のいずれか一項に記載の方法。
  14. 前記第1の画像および第2の画像がビデオシーケンスの画像を含むときに、前記第2の画像を前記第1のコンピューティング装置で受信すること、
    前記第2の画像を前記データインタフェースで前記サーバに送信すること、
    前記第2の画像の態様に対応するさらなる形状データを前記データインタフェースで受信すること、
    少なくとも前記さらなる形状データおよび前記アバターデータに基づいて、第2の一次出力画像を前記プロセッサよって生成すること、
    をさらに備える請求項1〜13のいずれか一項に記載の方法。
  15. 前記第1の画像および第2の画像がビデオシーケンスの画像を含むときに、前記第2の画像を前記第1のコンピューティング装置で受信すること、
    前記第2の画像を前記データインタフェースで前記サーバに送信すること、
    前記第2の画像の態様に対応するさらなる形状データを前記データインタフェースで受信すること、
    少なくとも前記さらなる形状データおよび第2のアバターデータに基づいて、第2の一次出力画像を前記プロセッサよって生成すること、
    をさらに備える請求項1〜13のいずれか一項に記載の方法。
  16. 前記第2のアバターデータが、前記アバターデータを含む、請求項15に記載の方法。
  17. 前記第1の画像が、前記第2の画像を受信する前に前記サーバに送信される、請求項14〜16のいずれか一項に記載の方法。
  18. 音声データを前記第1のコンピューティング装置で受信すること、
    前記音声データを前記データインタフェースで前記サーバに送信すること、
    前記音声データに関係する音声パラメータを前記データインタフェースで受信すること、
    前記音声パラメータおよび前記アバターデータに基づいて、出力音声を前記第1のコンピューティング装置のプロセッサによって生成すること、
    をさらに備える請求項1〜17のいずれか一項に記載の方法。
  19. 前記出力音声を生成することが、前記音声データにフィルタを適用することを含む、請求項18に記載の方法。
  20. 前記アバターデータが、アバター画像を含む、請求項1〜19のいずれか一項に記載の方法。
  21. 画像を生成するためのシステムであって、
    第1のコンピューティング装置を備え、該第1のコンピューティング装置が、
    データインタフェースと、
    前記データインタフェースに接続されたプロセッサと、
    前記プロセッサに接続されたメモリと
    を含み、前記メモリが、前記プロセッサによって実行可能な命令として、
    第1の画像を受信する命令、
    前記第1の画像を前記データインタフェースでサーバに送信する命令、
    前記第1の画像の態様に対応する形状データを前記データインタフェースで受信する命令、
    少なくとも前記形状データとアバターデータとに基づいて出力画像を生成する命令
    前記データインタフェースでメッセージを前記サーバに送信する命令であって、前記メッセージは、第2のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信する命令、
    前記第2のコンピューティング装置による前記出力画像の生成のために前記形状データおよび前記アバターデータを前記第2のコンピューティング装置の詳細を用いて前記サーバから前記第2のコンピューティング装置に送信する命令
    を含む、システム。
  22. 前記プロセッサに接続された表示スクリーンをさらに含み、
    前記メモリが、前記出力画像を前記表示スクリーン上に表示するための命令をさらに含む、請求項21に記載のシステム。
  23. 前記プロセッサに接続されたカメラをさらに含み、
    前記メモリが、前記カメラから前記第1の画像を受信するための命令をさらに含む、請求項21または22に記載のシステム。
  24. 画像を生成および送信するためのシステムであって、
    第1のコンピューティング装置を備え、該第1のコンピューティング装置が、
    データインタフェースと、
    前記データインタフェースに接続されたプロセッサと、
    前記プロセッサに接続されたメモリと
    を含み、前記メモリが、前記プロセッサによって実行可能な命令として、
    第1の画像を受信する命令、
    前記第1の画像を前記データインタフェースでサーバに送信する命令、
    前記第1の画像の態様に対応する形状データを前記データインタフェースで受信する命令、および
    少なくとも前記形状データとアバターデータとに基づいて出力画像を生成する命令
    前記データインタフェースでメッセージを前記サーバに送信する命令であって、前記メッセージは、第2のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを送信する命令、
    を含み、前記サーバが、
    サーバデータインタフェースと、
    前記サーバデータインタフェースに接続されたサーバプロセッサと、
    前記サーバプロセッサに接続されたサーバメモリと
    を含み、前記サーバメモリが、前記サーバプロセッサによって実行可能な命令として、
    前記第1の画像を受信する命令、
    前記第1の画像の態様に応じた前記形状データを前記サーバプロセッサによって生成する命令、
    前記形状データを前記サーバデータインタフェースで前記第1のコンピューティング装置に送信する命令、
    前記サーバデータインタフェースで前記メッセージを前記第1のコンピューティング装置から受信する命令であって、前記メッセージは、前記第2のコンピューティング装置の詳細および前記アバターデータを含む、前記メッセージを受信する命令、
    前記第2のコンピューティング装置による前記出力画像の生成のために前記形状データおよび前記アバターデータを前記第2のコンピューティング装置の詳細を用いて前記第2のコンピューティング装置に送信する命令
    を含む、システム。
  25. 前記サーバプロセッサに接続されたサーバメモリが、前記サーバプロセッサによって実行可能な命令として、
    少なくとも前記形状データと前記アバターデータとに基づいてサーバ出力画像を前記サーバプロセッサで生成する命令、
    前記サーバデータインタフェースで前記サーバ出力画像を第2のコンピューティング装置に前記第2のコンピューティング装置の詳細を用いて送信する命令
    をさらに含む、請求項24に記載のシステム。
JP2013038804A 2012-05-22 2013-02-28 ビデオを生成するためのシステムおよび方法 Expired - Fee Related JP6392497B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2012902108 2012-05-22
AU2012902108A AU2012902108A0 (en) 2012-05-22 System and method for generating a video

Publications (3)

Publication Number Publication Date
JP2013243646A JP2013243646A (ja) 2013-12-05
JP2013243646A5 JP2013243646A5 (ja) 2016-04-14
JP6392497B2 true JP6392497B2 (ja) 2018-09-19

Family

ID=48607009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013038804A Expired - Fee Related JP6392497B2 (ja) 2012-05-22 2013-02-28 ビデオを生成するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US9406162B2 (ja)
EP (1) EP2667358A3 (ja)
JP (1) JP6392497B2 (ja)
KR (1) KR101996973B1 (ja)
CN (1) CN103428446B (ja)
TW (1) TWI632523B (ja)
WO (1) WO2013173864A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394481B (zh) * 2014-09-30 2016-09-21 腾讯科技(深圳)有限公司 视频播放方法及装置
TW201629907A (zh) * 2015-02-13 2016-08-16 啟雲科技股份有限公司 三維頭像產生系統及其裝置、產生方法
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
KR102663906B1 (ko) 2019-01-14 2024-05-09 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
CN110298906B (zh) * 2019-06-28 2023-08-11 北京百度网讯科技有限公司 用于生成信息的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288686A (ja) * 2001-03-23 2002-10-04 Minolta Co Ltd メッセージ送信システム、メッセージ送信方法、画像データ生成システム、およびコンピュータプログラム
JP3593067B2 (ja) * 2001-07-04 2004-11-24 沖電気工業株式会社 画像コミュニケーション機能付き情報端末装置および画像配信システム
WO2003007332A1 (en) * 2001-07-13 2003-01-23 Mel Lighting Ltd. Gas discharge lamp
WO2003073322A1 (en) * 2002-02-28 2003-09-04 Virtualmedia Co., Ltd. Apparatus and method for generating character images using mobile machine
JP4376525B2 (ja) * 2003-02-17 2009-12-02 株式会社メガチップス 多地点通信システム
US7484176B2 (en) * 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
JP2005277989A (ja) * 2004-03-26 2005-10-06 Oki Electric Ind Co Ltd 通信端末装置およびその画像提供方法
JP4424111B2 (ja) * 2004-07-30 2010-03-03 沖電気工業株式会社 モデル作成装置およびデータ配信システム
WO2006053068A2 (en) * 2004-11-09 2006-05-18 Benjamin Rodefer Method and system of retrieving avatar data unique to a user
US20080151786A1 (en) * 2006-12-21 2008-06-26 Motorola, Inc. Method and apparatus for hybrid audio-visual communication
US8504926B2 (en) * 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
US8243118B2 (en) * 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
US20090241039A1 (en) * 2008-03-19 2009-09-24 Leonardo William Estevez System and method for avatar viewing
US8745152B2 (en) * 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
KR20110110391A (ko) * 2010-04-01 2011-10-07 가톨릭대학교 산학협력단 마이크로블로그에서의 비주얼 커뮤니케이션 방법
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Also Published As

Publication number Publication date
TWI632523B (zh) 2018-08-11
WO2013173864A1 (en) 2013-11-28
TW201403540A (zh) 2014-01-16
JP2013243646A (ja) 2013-12-05
KR101996973B1 (ko) 2019-07-05
US9406162B2 (en) 2016-08-02
EP2667358A3 (en) 2017-04-05
CN103428446A (zh) 2013-12-04
CN103428446B (zh) 2016-12-28
KR20130130625A (ko) 2013-12-02
US20130314405A1 (en) 2013-11-28
EP2667358A2 (en) 2013-11-27

Similar Documents

Publication Publication Date Title
US20210105438A1 (en) Communication using interactive avatars
JP6392497B2 (ja) ビデオを生成するためのシステムおよび方法
TWI782211B (zh) 人機互動方法和裝置
US20160045834A1 (en) Overlay of avatar onto live environment for recording a video
JP2016511837A (ja) 分散型ストーリーリーディングのための音声変更
JP2012519333A (ja) 画像変換システムおよび方法
US10999228B2 (en) Chat videos
US20230130535A1 (en) User Representations in Artificial Reality
CN111355944B (zh) 生成并用信号传递全景图像之间的转换
KR102674943B1 (ko) 하이브리드 스트리밍
CN111530088B (zh) 一种生成游戏角色的实时表情图片的方法和装置
CN111899319B (zh) 动画对象的表情生成方法和装置、存储介质及电子设备
US20230164298A1 (en) Generating and modifying video calling and extended-reality environment applications
US9396574B2 (en) Choreography of animated crowds
CN107204026A (zh) 一种用于显示动画的方法和装置
CN114026524A (zh) 利用纹理操作的动画化人脸
WO2021208330A1 (zh) 一种生成游戏角色的表情的方法和装置
CN116962749A (zh) 视频的合成方法和装置、存储介质及电子设备
CN106780676B (zh) 一种用于显示动画的方法和装置
JP2008287683A (ja) 三次元cgアニメキャラクターのカスタム(個人化)製作システム
TW202420232A (zh) 虛擬內容的分散式產生
TW202424902A (zh) 場景描述中的虛擬表示編碼
WO2024158985A1 (en) Robust facial animation from video and audio
CN117097919A (zh) 虚拟角色渲染方法、装置、设备、存储介质和程序产品
CN116258799A (zh) 数字人动画的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180823

R150 Certificate of patent or registration of utility model

Ref document number: 6392497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees