JP7376006B2 - 駆動可能３ｄキャラクター生成方法、装置、電子機器、及び記憶媒体 - Google Patents

Description

本開示は、出願日が２０２１年０６月０１日であり、出願番号が２０２１１０６０９３１８．Ｘであり、発明の名称が「駆動可能３Ｄキャラクター生成方法、装置、電子機器、及び記憶媒体」である中国特許出願の優先権を主張する。
本開示は、人工知能技術の分野に関し、特に、コンピュータビジョンとディープラーニングなどの分野の駆動可能３Ｄキャラクター生成方法、装置、電子機器、及び記憶媒体に関する。

現在、１枚の２Ｄ（２Ｄ、２Ｄｉｍｅｎｓｉｏｎ）画像に基づいて駆動可能な３Ｄ（３Ｄ、３Ｄｉｍｅｎｓｉｏｎ）キャラクターを生成し、すなわち２Ｄ画像に基づく３Ｄキャラクター駆動（Ｉｍａｇｅ－ｂａｓｅｄ ３Ｄ ａｎｉｍａｔｉｏｎ）を実現することができる。

駆動可能な３Ｄキャラクターを取得するために、通常、以下の実現方式を使用する。エンドツーエンドのトレーニングの方式に基づいて、任意の２Ｄ画像について、予めトレーニングされたネットワークモデルを使用して駆動可能な３Ｄ人体メッシュ（ｍｅｓｈ）モデルを直接生成し、すなわち予めトレーニングされたセマンティック空間、セマンティック変形場、及び表面暗黙関数などによって、駆動可能な３Ｄ人体メッシュモデルを生成することができる。しかし、このような方式のモデルトレーニングは複雑で、大量のトレーニングリソースなどを費やす必要がある。

本開示は、駆動可能３Ｄキャラクター生成方法、装置、電子機器、及び記憶媒体を提供する。

駆動可能３Ｄキャラクター生成方法であって、
処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するステップと、
前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うステップと、
骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能３Ｄ人体メッシュモデルを取得するステップと、を含む。

駆動可能３Ｄキャラクター生成装置であって、第１の処理モジュール、第２の処理モジュール、及び第３の処理モジュールを含み、
前記第１の処理モジュールは、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するために用いられ、
前記第２の処理モジュールは、前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うために用いられ、
前記第３の処理モジュールは、骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得するために用いられる。

電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが上記の方法を実行させる。

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記の方法を実行させる。

コンピュータプログラム製品であって、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行される時に上記の方法を実現する。

上記の開示の１つの実施例は、以下の利点又は有益な効果を備え、従来の方式のように予めトレーニングされたネットワークモデルを直接使用して駆動可能な３Ｄ人体メッシュモデルを生成することではなく、まず、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得し、その後、取得された３Ｄ人体メッシュモデルに基づいて骨格埋め込みと皮膚バインド処理を行って、駆動可能な３Ｄ人体メッシュモデルを取得することができ、リソースの消費などを削減することができる。

本明細書で説明された内容は、本開示の実施例のキー又は重要な特徴を特定することを意図しておらず、本開示の範囲を制限するためにも使用されないことを理解されたい。本開示の他の特徴は、以下の明細書を通じて容易に理解できる。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。
本開示による駆動可能な３Ｄキャラクター生成方法の第１の実施例のフローチャートである。 本開示による駆動可能な３Ｄキャラクター生成方法の第２の実施例のフローチャートである。 本開示による３Ｄ人体アニメーションの概略図である。 本開示による駆動可能な３Ｄキャラクター生成装置４００の実施例の構成の概略構造図である。 本開示の実施例を実施できるための例示的な電子機器５００の概略ブロック図を示す。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

また、本明細書の用語「及び／又は」は、関連対象の関連関係のみを説明するものであり、３種類の関係が存在可能であることを表し、例えば、Ａ及び／又はＢは、Ａのみが存在するか、Ａ及びＢが同時に存在するか、Ｂのみが存在するという３つの場合を表すことができる。符号「／」は、一般的に前後の関連対象が「又は」の関係であることを表すことを理解されたい。

図１は本開示による駆動可能３Ｄキャラクター生成方法の第１の実施例のフローチャートである。図１に示すように、以下の具体的な実現方式を含む。

ステップ１０１では、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得する。

ステップ１０２では、３Ｄ人体メッシュモデルに対して骨格埋め込みを行う。

ステップ１０３では、骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得する。

上記の方法の実施例に記載の解決策では、従来の方式のように予めトレーニングされたネットワークモデルを直接使用して駆動可能な３Ｄ人体メッシュモデルを生成することではなく、まず、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得し、その後、取得された３Ｄ人体メッシュモデルに基づいて骨格埋め込みと皮膚バインド処理を行って、駆動可能な３Ｄ人体メッシュモデルを取得することができ、リソースの消費などを削減することができる。

その中、どのように処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するのは、限定しない。例えば、ピクセル整列暗黙関数（ＰＩＦｕ、Ｐｉｘｅｌ－Ａｌｉｇｎｅｄ Ｉｍｐｌｉｃｉｔ Ｆｕｎｃｔｉｏｎ）又は高解像度３Ｄ人体デジタル化のためのマルチレベルピクセル整列暗黙関数（ＰＩＦｕＨＤ、Ｍｕｌｔｉ－Ｌｅｖｅｌ Ｐｉｘｅｌ－Ａｌｉｇｎｅｄ Ｉｍｐｌｉｃｉｔ Ｆｕｎｃｔｉｏｎ ｆｏｒ Ｈｉｇｈ－Ｒｅｓｏｌｕｔｉｏｎ ３Ｄ Ｈｕｍａｎ Ｄｉｇｉｔｉｚａｔｉｏｎ）などのアルゴリズムを使用して、約２０万（ｗ）頂点と４０万パッチを含む３Ｄ人体メッシュモデルなどの、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得することができる。

取得された３Ｄ人体メッシュモデルについて、それに対して後続の処理を直接に行うことができ、例えば、それに対して骨格埋め込みなどを行う。好ましくは、まず、取得された３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行い、さらに、ダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みなどを行うこともできる。

ダウンサンプリング処理によって、頂点とパッチ数がより少ない３Ｄ人体メッシュモデルを取得することができ、後続の処理に要する時間を削減し、処理効率などを向上させることができる。

前記ダウンサンプリングの具体的な値は、実際のニーズに応じて決定することができ、例えば、実際のリソースニーズに応じて決定することができる。また、どのようにダウンサンプリングするかは限定しない。例えば、エッジ崩壊（ｅｄｇｅ ｃｏｌｌａｐｓｅ）、２次誤差簡略化（ｑｕａｄｒｉｃ ｅｒｒｏｒ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ）、又は等方性再メッシュ（ｉｓｏｔｒｏｐｉｃ ｒｅｍｅｓｈｉｎｇ）などのアルゴリズムを使用して取得された３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行うことができる。

その後、順次にダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みと皮膚バインド処理を行うことができる。

その中、予め構築されたＮ個の頂点の骨格ツリーを使用して、３Ｄ人体メッシュモデルに対して骨格埋め込みを行うことができ、Ｎは１より大きい正の整数であり、具体的な値は、実際のニーズに応じて決定することができる。

骨格ツリーの本質は、複数のグループのｘｙｚ座標であり、Ｎ個の頂点の骨格ツリーをどのように定義するかは既存の技術である。また、どのように骨格ツリーを使用して３Ｄ人体メッシュモデルに対して骨格埋め込みを行うかは、限定せず、例えば、予めトレーニングされたネットワークモデルを使用して前記骨格埋め込みを実現することができ、すなわち予め構築されたＮ個の頂点の骨格ツリー及び３Ｄ人体メッシュモデルを入力とし、ネットワークモデルによって出力された骨格埋め込みを行った後の３Ｄ人体メッシュモデルを取得することができる。

構築された骨格ツリーによって、上記の方式で骨格埋め込みを行った後の３Ｄ人体メッシュモデルを正確かつ効率的に取得し、後続の処理に良好な基礎を築くことができる。

骨格埋め込みを行った後の３Ｄ人体メッシュモデルについて、さらに、それに対して皮膚バインド処理を行うことができ、すなわち前記Ｎ個の頂点に骨格位置に対する１つの重みをそれぞれ付与して、駆動可能な３Ｄ人体メッシュモデルを取得することもできる。

重みの割り当てが正確である場合、後続の骨格が移動する時に皮膚が深刻な引き裂き又は変形などが発生することなく、より自然に見える。

どのように３Ｄ人体メッシュモデルに対して皮膚バインドを行うかは同様に限定せず、例えば、予めトレーニングされたネットワークモデルを使用して前記皮膚バインドを実現することができる。

上記の一連の処理後に、すなわち必要な駆動可能な３Ｄ人体メッシュモデルを取得することができる。好ましくは、取得された駆動可能な３Ｄ人体メッシュモデルに基づいて、さらに、３Ｄ人体アニメーションを生成することもできる。

これに応じて、図２は本開示による駆動可能３Ｄキャラクター生成方法の第２の実施例のフローチャートである。図２に示すように、以下の具体的な実現方式を含む。

ステップ２０１では、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得する。

例えば、ＰＩＦｕ又はＰＩＦｕＨＤなどのアルゴリズムを使用して、処理対象の２Ｄ画像について、対応する３Ｄ人体メッシュモデルを生成することができる。

ステップ２０２では、３Ｄ人体メッシュモデルに対して骨格埋め込みを行う。

ステップ２０１で取得された３Ｄ人体メッシュモデルについて、それに対して後続の処理を直接に行うことができ、例えば、骨格埋め込みを行う。

又は、まず、ステップ２０１で取得された３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行うこともでき、さらに、ダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みを行うことができる。

その中、予め構築されたＮ個の頂点の骨格ツリーを使用して、３Ｄ人体メッシュモデルに対して骨格埋め込みを行うことができ、Ｎは１より大きい正の整数である。

ステップ２０３では、骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得する。

骨格埋め込みと皮膚バインド処理を順次に完了した後、すなわち駆動可能な３Ｄ人体メッシュモデルを取得することができる。取得された駆動可能な３Ｄ人体メッシュモデルに基づいて、さらに、３Ｄ人体アニメーションを生成することができる。

ステップ２０４では、アクションシーケンスを取得する。

好ましくは、前記アクションシーケンスは、皮膚多人線形モデル（ＳＭＰＬ、Ｓｋｉｎｎｅｄ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ Ｌｉｎｅａｒ Ｍｏｄｅｌ）アクションシーケンスであってもよい。

どのようにＳＭＰＬアクションシーケンスを生成するかは、既存の技術である。

ステップ２０５では、アクションシーケンスと駆動可能な３Ｄ人体メッシュモデルに基づいて３Ｄ人体アニメーションを生成する。

具体的には、まず、ＳＭＰＬアクションシーケンスを移行して、Ｎ個のキーポイントのアクションシーケンスを取得することができ、Ｎ個のキーポイントは、骨格ツリー内のＮ個の頂点であり、その後、Ｎ個のキーポイントのアクションシーケンスを使用して駆動可能な３Ｄ人体メッシュモデルを駆動して、必要な３Ｄ人体アニメーションを取得することができる。

標準化されたＳＭＰＬアクションシーケンスは、通常、２４個のキーポイントに対応し、Ｎの値は通常２４ではなく、例えば、１７であると、ＳＭＰＬアクションシーケンスを移行して、Ｎ個の頂点（キーポイント）の骨格ツリーに移行して、Ｎ個のキーポイントのアクションシーケンスを取得する必要がある。

なお、Ｎの値が２４である場合、上記の移行処理を行う必要がない。

どのようにＮ個のキーポイントのアクションシーケンスを取得するかは、限定せず、例えば、既存のさまざまなアクション移行方法を使用することができるか、又は、予めトレーニングされたネットワークモデルを使用することができ、入力はＳＭＰＬアクションシーケンスであり、出力はＮ個のキーポイントのアクションシーケンスである。

その中、ネットワークモデルをトレーニングする時、損失関数は対応するキーポイントの３Ｄ空間におけるユークリッド距離として定義することができ、対応するキーポイントとは、マッチングされたキーポイントを指し、例えば、ＳＭＰＬアクションシーケンスに対応する２４個のキーポイント内の、１７（Ｎの値）個のキーポイントが骨格ツリー内のＮ個のキーポイントにマッチングし、そうすると、残りの７個のキーポイントはマッチングされないキーポイントであり、マッチングされないキーポイントについて、その位置差異の重みを下げるか、又は０に直接に設置することができる。

Ｎ個のキーポイントのアクションシーケンスを取得した後、Ｎ個のキーポイントのアクションシーケンスによって駆動する前に取得された駆動可能な３Ｄ人体メッシュモデルを使用して、３Ｄ人体アニメーションを取得することができる。図３に示すように、図３は本開示による３Ｄ人体アニメーションの概略図である。

上記の説明から分かるように、本開示に記載された駆動可能な３Ｄ人体メッシュモデルは、標準化されたＳＭＰＬアクションシーケンスを互換することができ、駆動可能な３Ｄ人体メッシュモデルとＳＭＰＬアクションシーケンスに基づいて対応する３Ｄ人体アニメーションを正確かつ効率的に生成することができる。

要するに、本開示に記載された方法では１つのパイプライン（ｐｉｐｅｌｉｎｅ）を構築し、入力された任意の２Ｄ画像及びＳＭＰＬアクションシーケンスについて、駆動可能な３Ｄ人体メッシュモデル及び３Ｄ人体アニメーションを生成することができ、いくつかのネットワークモデルを使用する可能性もあるが、これらのネットワークモデルは相対的にすべて比較的簡単であり、既存の技術でトレーニング取得されたネットワークモデルを直接に使用して駆動可能な３Ｄ人体メッシュモデルを生成する方式と比較して、リソースに対する消費を削減し、任意の服を着る人体及び任意のアクションシーケンスに適用されることができ、広範な適用性などがある。

なお、前述の各方法の実施例について、簡単な説明のために、それをすべて一連の動作の組み合わせとして記載するが、本開示は、本開示に従って、いくつかのステップが他の順序を使用することができるか、又は同時に行うことができるため、説明する動作順序によって制限されないことを当業者は認識すべきである。次に、本明細書に記載される実施例はいずれも好ましい実施例に属し、関連する動作及びモジュールは必ずしも本開示に必須ではない。ある実施例においては、詳細には記載されていないが、他の実施例の説明を参照することができる。

以上は、方法の実施例について説明したが、以下は、装置の実施例によって、本開示に記載される解決策をさらに説明する。

図４は本開示による駆動可能３Ｄキャラクター生成装置４００の実施例の構成の概略構造図である。図４に示すように、第１の処理モジュール４０１、第２の処理モジュール４０２、及び第３の処理モジュール４０３を含む。

第１の処理モジュール４０１は、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するために用いられる。

第２の処理モジュール４０２は、取得された３Ｄ人体メッシュモデルに対して骨格埋め込みを行うために用いられる。

第３の処理モジュール４０３は、骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得するために用いられる。

その中、第１の処理モジュール４０１がどのように処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するのは、限定しない。例えば、ＰＩＦｕ又はＰＩＦｕＨＤなどのアルゴリズムを使用して、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得することができる。

取得された３Ｄ人体メッシュモデルについて、第２の処理モジュール４０２はそれに対して後続の処理を直接に行うことができ、例えば、それに対して骨格埋め込みなどを行う。好ましくは、第２の処理モジュール４０２は、まず、取得された３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行うこともでき、その後、ダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みなどを行うことができる。

どのようにダウンサンプリングするかは同様に限定しない。例えば、ｅｄｇｅ ｃｏｌｌａｐｓｅ、ｑｕａｄｒｉｃ ｅｒｒｏｒ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ又はｉｓｏｔｒｏｐｉｃ ｒｅｍｅｓｈｉｎｇなどのアルゴリズムを使用して取得された３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行うことができる。

また、第２の処理モジュール４０２は予め構築されたＮ個の頂点の骨格ツリーを使用して、３Ｄ人体メッシュモデルに対して骨格埋め込みを行うことができ、Ｎは１より大きい正の整数である。

どのように骨格ツリーを使用して３Ｄ人体メッシュモデルに対して骨格埋め込みを行うかは、限定せず、例えば、予めトレーニングされたネットワークモデルを使用して前記骨格埋め込みを実現することができ、すなわち予め構築されたＮ個の頂点の骨格ツリー及び３Ｄ人体メッシュモデルを入力とし、ネットワークモデルによって出力された骨格埋め込みを行った後の３Ｄ人体メッシュモデルを取得することができる。

骨格埋め込みを行った後の３Ｄ人体メッシュモデルについて、第３の処理モジュール４０３は、さらに、それに対して皮膚バインド処理を行うことができ、すなわち前記Ｎ個の頂点に骨格位置に対する１つの重みをそれぞれ付与して、駆動可能な３Ｄ人体メッシュモデルを取得することもできる。どのように３Ｄ人体メッシュモデルに対して皮膚バインドを行うかは、同様に限定せず、例えば、予めトレーニングされたネットワークモデルを使用して前記皮膚バインドを実現することができる。

上記の一連の処理後に、すなわち必要な駆動可能な３Ｄ人体メッシュモデルを取得することができる。好ましくは、取得された駆動可能な３Ｄ人体メッシュモデルに基づいて、さらに、３Ｄ人体アニメーションを生成することもできる。

これに応じて、第３の処理モジュール４０３は、さらに、アクションシーケンスを取得し、取得されたアクションシーケンスと駆動可能な３Ｄ人体メッシュモデルに基づいて３Ｄ人体アニメーションを生成するために用いられる。

その中、前記アクションシーケンスはＳＭＰＬアクションシーケンスであってもよい。

ＳＭＰＬアクションシーケンスについて、第３の処理モジュール４０３は、まず、それを移行して、Ｎ個のキーポイントのアクションシーケンスを取得することができ、Ｎ個のキーポイントは、すなわち骨格ツリー内のＮ個の頂点であり、その後、Ｎ個のキーポイントのアクションシーケンスを使用して駆動可能な３Ｄ人体メッシュモデルを駆動して、必要な３Ｄ人体アニメーションを取得することができる。

標準化されたＳＭＰＬアクションシーケンスは、通常、２４個のキーポイントに対応し、Ｎの値は通常２４ではなく、例えば、１７であると、ＳＭＰＬアクションシーケンスを移行して、Ｎ個の頂点（キーポイント）の骨格ツリーに移行して、Ｎ個のキーポイントのアクションシーケンスを取得する必要がある。

Ｎ個のキーポイントのアクションシーケンスを取得した後、すなわちＮ個のキーポイントのアクションシーケンスによって駆動する前に取得された駆動可能な３Ｄ人体メッシュモデルを使用して、最終の必要な３Ｄ人体アニメーションを取得することができる。

図４に示す装置の実施例の具体的な作業プロセスは、前述の方法の実施例の関連説明を参照することができ、詳細に説明しない。

要するに、本開示の装置の実施例に記載された解決策を使用して、入力された任意の２Ｄ画像及びＳＭＰＬアクションシーケンスについて、駆動可能な３Ｄ人体メッシュモデル及び３Ｄ人体アニメーションを生成することができ、いくつかのネットワークモデルを使用する可能性もあるが、これらのネットワークモデルは相対的にすべて比較的簡単であり、既存の技術でトレーニング取得されたネットワークモデルを直接に使用して駆動可能な３Ｄ人体メッシュモデルを生成する方式と比較して、リソースに対する消費を削減し、任意の服を着る人体及び任意のアクションシーケンスに適用されることができ、広範な適用性などがある。

本開示に記載された解決策は人工知能の分野に適用されることができ、特にコンピュータビジョンとディープラーニングなどの分野に関する。

人工知能は、人間のある思考プロセスと知能行為（たとえば、学習、推理、思考、計画など）をコンピュータでシミュレートすることを研究する学科であり、ハードウェアレベルの技術もソフトウェアレベルの技術もあり、人工知能ハードウェア技術は、一般的に、たとえば、センサー、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は、主に、コンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／ディープラーニング、ビッグデータ処理技術、知識グラフ技術などのいくつかの方向を含む。

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、コンピュータプログラム製品をさらに提供する。

図５に示すように、本開示の実施例に係るインテリジェント交通路網取得方法を実現できる例示的な電子機器５００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様の計算デバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限することを意図したものではない。

図５に示すように、機器５００は計算ユニット５０１を含み、計算ユニット５０１は、読み取り専用メモリ（ＲＯＭ）５０２に記憶されているコンピュータプログラム又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行することができる。ＲＡＭ５０３には、機器５００が動作するに必要な様々なプログラムとデータも記憶することができる。計算ユニット５０１、ＲＯＭ５０２、及びＲＡＭ５０３は、バス５０４を介してお互いに接続される。入出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続される。

機器５００内の複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されており、キーボード、マウスなどの入力ユニット５０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット５０７と、ディスク、光ディスクなどの記憶ユニット５０８と、及びネットワークカード、モデム、無線通信トランシーバなどの通信ユニット５０９と、を含む。通信ユニット５０９は、機器５００が、インターネットなどのコンピュータネットワーク、及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

計算ユニット５０１は、様々な処理と計算能力を備える汎用及び／又は専用の処理コンポーネントである。計算ユニット５０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット５０１は、本発明に記載される方法などの上記の様々な方法と処理を実行する。例えば、いくつかの実施例では、本発明に記載される方法は、記憶ユニット５０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。例えば、いくつかの実施例では、コンピュータプログラムの一部又は全部は、ＲＯＭ５０２及び／又は通信ユニット５０９を介して機器５００にロード及び／又はインストールされる。コンピュータプログラムがＲＡＭ５０３にロードされて計算ユニット５０１によって実行される場合、上記の本発明に記載される方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット５０１は、他の任意の適切な方式（例えば、ファームウェアによって）を介して本発明に記載される方法を実行するように構成されることができる。

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを使用して作成することができる。これらのプログラムコードは、プログラムコードがプロセッサ又はコントローラによって実行される時にフローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供することができる。プログラムコードは、完全に機械上で実行されたり、部分的に機械上で実行されたり、独立したソフトウェアパッケージとして部分的に機械上で実行され、部分的にリモート機械上実行されたり、又は完全にリモート機械又はサーバ上で実行されたりすることができる。

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又は機器の使用、又は命令実行システム、装置又は機器と組み合わせて使用するプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、一つ又は複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ 又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記の内容の任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークと、を含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、クラウド計算又はクラウドホストとも呼ばれ、クラウド計算サービスシステムの中の一つのホスト製品であり、従来の物理ホストとＶＰＳサーバ（ＶＰＳ）に、存在する管理困難度が高く、業務拡張性が弱い欠陥を解決する。サーバは、分散システムのサーバであってもよく、又はブロックチェーンを組み合わせるサーバであってもよい。クラウドコンピューティングとは、ネットワークを介して柔軟で拡張可能な共有物理又は仮想リソースプールにアクセスし、リソースが、サーバ、操作システム、ネットワーク、ソフトウェア、アプリケーション及び記憶デバイスなどを含むことができ、必要に応じてセルフサービスの方式でリソースを配置及び管理できる技術体系を指す。クラウドコンピューティング技術によって、人工知能、ブロックチェーンなどの技術の適用、モデルトレーニングに効率的で強力なデータ処理能力を提供することができる。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記の具体的な実施方式は、本開示に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。

Claims (15)

1. 駆動可能３Ｄキャラクター生成方法であって、
   処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するステップと、
   前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うステップと、
   骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得するステップと、を含む、
   駆動可能３Ｄキャラクター生成方法。
2. 前記３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行うステップと、
   ダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みを行うステップと、をさらに含む、
   請求項１に記載の駆動可能３Ｄキャラクター生成方法。
3. 前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うステップは、
   予め構築されたＮ（Ｎは１より大きい正の整数である）個の頂点の骨格ツリーを使用して、前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うステップを含む、
   請求項１又は２に記載の駆動可能３Ｄキャラクター生成方法。
4. アクションシーケンスを取得するステップと、
   前記アクションシーケンスと前記駆動可能な３Ｄ人体メッシュモデルに基づいて３Ｄ人体アニメーションを生成するステップと、をさらに含む、
   請求項３に記載の駆動可能３Ｄキャラクター生成方法。
5. 前記アクションシーケンスは、皮膚多人線形モデルのＳＭＰＬアクションシーケンスを含む、
   請求項４に記載の駆動可能３Ｄキャラクター生成方法。
6. 前記アクションシーケンスと前記駆動可能な３Ｄ人体メッシュモデルに基づいて３Ｄ人体アニメーションを生成するステップは、
   前記ＳＭＰＬアクションシーケンスを移行して、Ｎ個のキーポイントのアクションシーケンスを取得するステップであって、前記Ｎ個のキーポイントは、前記骨格ツリー内のＮ個の頂点であるステップと、
   前記Ｎ個のキーポイントのアクションシーケンスを使用して前記駆動可能な３Ｄ人体メッシュモデルを駆動して、前記３Ｄ人体アニメーションを取得するステップと、を含む、
   請求項５に記載の駆動可能３Ｄキャラクター生成方法。
7. 駆動可能３Ｄキャラクター生成装置であって、
   第１の処理モジュール、第２の処理モジュール、及び第３の処理モジュールを含み、
   前記第１の処理モジュールは、処理対象の２Ｄ画像に対応する３Ｄ人体メッシュモデルを取得するために用いられ、
   前記第２の処理モジュールは、前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行うために用いられ、
   前記第３の処理モジュールは、骨格埋め込みを行った後の３Ｄ人体メッシュモデルに対して皮膚バインドを行って、駆動可能な３Ｄ人体メッシュモデルを取得するために用いられる、
   駆動可能３Ｄキャラクター生成装置。
8. 前記第２の処理モジュールは、さらに、前記３Ｄ人体メッシュモデルに対してダウンサンプリング処理を行い、ダウンサンプリング処理後の３Ｄ人体メッシュモデルに対して骨格埋め込みを行うために用いられる、
   請求項７に記載の駆動可能３Ｄキャラクター生成装置。
9. 前記第２の処理モジュールは、予め構築されたＮ（Ｎは１より大きい正の整数である）個の頂点の骨格ツリーを使用して、前記３Ｄ人体メッシュモデルに対して骨格埋め込みを行う、
   請求項７又は８に記載の駆動可能３Ｄキャラクター生成装置。
10. 前記第３の処理モジュールは、さらに、アクションシーケンスを取得し、前記アクションシーケンスと前記駆動可能な３Ｄ人体メッシュモデルに基づいて３Ｄ人体アニメーションを生成するために用いられる、
    請求項９に記載の駆動可能３Ｄキャラクター生成装置。
11. 前記アクションシーケンスは、皮膚多人線形モデルのＳＭＰＬアクションシーケンスを含む、
    請求項１０に記載の駆動可能３Ｄキャラクター生成装置。
12. 前記第３の処理モジュールは、前記ＳＭＰＬアクションシーケンスを移行して、Ｎ個のキーポイントのアクションシーケンスを取得し、前記Ｎ個のキーポイントは、前記骨格ツリー内のＮ個の頂点であり、前記Ｎ個のキーポイントのアクションシーケンスを使用して前記駆動可能な３Ｄ人体メッシュモデルを駆動して、前記３Ｄ人体アニメーションを取得する、
    請求項１１に記載の駆動可能３Ｄキャラクター生成装置。
13. 電子機器であって、
    少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
    前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが請求項１～６のいずれかの一つに記載の駆動可能３Ｄキャラクター生成方法を実行する、
    電子機器。
14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～６のいずれかの一つに記載の駆動可能３Ｄキャラクター生成方法を実行させる、
    コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。
15. プロセッサによって実行される時に請求項１～６のいずれかの一つに記載の駆動可能３Ｄキャラクター生成方法を実現する、
    コンピュータプログラム。

Images