JP7446566B2 - ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 - Google Patents
ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 Download PDFInfo
- Publication number
- JP7446566B2 JP7446566B2 JP2022557875A JP2022557875A JP7446566B2 JP 7446566 B2 JP7446566 B2 JP 7446566B2 JP 2022557875 A JP2022557875 A JP 2022557875A JP 2022557875 A JP2022557875 A JP 2022557875A JP 7446566 B2 JP7446566 B2 JP 7446566B2
- Authority
- JP
- Japan
- Prior art keywords
- capture
- animation
- mesh
- machine learning
- high quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 50
- 238000012549 training Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 51
- 230000002123 temporal effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010426 hand crafting Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Description
〔関連出願の相互参照〕
本出願は、２０２０年３月３１日に出願された「ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニング（ＶＯＬＵＭＥＴＲＩＣ ＣＡＰＴＵＲＥ ＡＮＤ ＭＥＳＨ－ＴＲＡＣＫＩＮＧ ＢＡＳＥＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ４Ｄ ＦＡＣＥ／ＢＯＤＹ ＤＥＦＯＲＭＡＴＩＯＮ ＴＲＡＩＮＩＮＧ）」という名称の米国仮特許出願第６３／００３，０９７号の米国特許法第１１９条（ｅ）に基づく優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
本出願は、２０２０年３月３１日に出願された「ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニング（ＶＯＬＵＭＥＴＲＩＣ ＣＡＰＴＵＲＥ ＡＮＤ ＭＥＳＨ－ＴＲＡＣＫＩＮＧ ＢＡＳＥＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ４Ｄ ＦＡＣＥ／ＢＯＤＹ ＤＥＦＯＲＭＡＴＩＯＮ ＴＲＡＩＮＩＮＧ）」という名称の米国仮特許出願第６３／００３，０９７号の米国特許法第１１９条（ｅ）に基づく優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
本発明は、娯楽産業のための３次元コンピュータビジョン及びグラフィックスに関する。具体的には、本発明は、映画、ＴＶ、音楽及びゲームコンテンツ生成のために３次元コンピュータビジョン及びグラフィックスを取得して処理することに関する。
仮想人間製作は非常に手動的であり、時間がかかり、高価である。ＣＧアートワークをゼロから手作りするのではなく、マルチビューカメラ３Ｄ／４Ｄスキャナによってリアルなデジタル人間モデルを効率的に製作することが最近の傾向である。カメラキャプチャベースの人間デジタル化（ｃａｍｅｒａ ｃａｐｔｕｒｅｄ ｂａｓｅｄ ｈｕｍａｎ ｄｉｇｉｔｉｚａｔｉｏｎ）のための様々な３Ｄスキャナスタジオ（３Ｌａｔｅｒａｌ、Ａｖａｔｔａ、ＴＥＮ２４、Ｐｉｘｅｌ Ｌｉｇｈｔ Ｅｆｆｅｃｔ、Ｅｉｓｋｏ）及び４Ｄスキャナスタジオ（４ＤＶｉｅｗｓ、Ｍｉｃｒｏｓｏｆｔ、８ｉ、ＤＧｅｎｅ）が世界規模で存在する。
写真ベースの３Ｄスキャナスタジオは、複数の高解像度写真カメラ配列からなる。３Ｄスキャンの従来技術は、通常、リグ付きモデリングを生成するために使用され、変形をキャプチャしないので、アニメーションのために手作りを必要とする。ビデオベースの４Ｄスキャナ（４Ｄ＝３Ｄ＋時間）スタジオは、複数の高フレームレートマシンビジョンカメラ配列からなる。４Ｄスキャナスタジオは、自然な表面動特性をキャプチャするが、固定されたビデオ及び動作に起因して、新規の顔表情又は身体動作を生成することができない。ダミーアクターが、多くの動作のシーケンスを行う必要があり、これは、アクターにとって莫大な作業負荷を意味する。
機械学習変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップと、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、４Ｄスキャンされた人間の顔及び全身のメッシュと３Ｄ ＣＧ物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。標準ＭｏＣＡＰアニメーションワークフローを使用して、自然なアニメーションのための変形を予測及び合成することができる。標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、入力として、ＭｏＣＡＰアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーション（変形を含まず）のための３Ｄモデルパラメータを解決する（３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ））ステップと、３Ｄソルビングによって解決された３Ｄモデルパラメータに基づいて、ＭＬトレーニングから４Ｄ表面変形を予測するステップと、を含む。
一態様では、装置の非一時的メモリにプログラムされた方法は、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。前記方法は、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップを更に含む。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。前記方法は、複数の別個の３Ｄスキャンを取得するステップを更に含む。前記方法は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するステップを更に含む。前記方法は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ）によって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を更に含む。
別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記アプリケーションは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するように更に構成される。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成される。前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される。前記アプリケーションは、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を実行するように更に構成される。
別の態様では、システムは、高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、コンピュータ装置であって、前記コンピュータ装置は、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を実行するように構成されるコンピュータ装置と、を含む。前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される。前記コンピュータ装置は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を実行するように更に構成される。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。
別の態様では、装置の非一時的メモリにプログラムされた方法は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を含む。
従来技術の３Ｄスキャン技術とは異なり、本明細書で説明する変形トレーニングの実装は、顔表情又は身体言語の任意の新規の動作と自然な変形との合成である、機械学習（ＭＬ）による暗黙変形を含む動的顔及び全身モデリングを生成することができる。
本明細書で説明する方法は、「写真－ビデオボリュメトリックキャプチャシステム」からの写真－ビデオキャプチャに基づく。写真－ビデオベースのキャプチャは、２０１９年１２月２０日に出願された「動的４Ｄ人間の顔及び身体デジタル化のための写真－ビデオベースの時空間ボリュメトリックキャプチャシステム（ＰＨＯＴＯ－ＶＩＤＥＯ ＢＡＳＥＤ ＳＰＡＴＩＡＬ－ＴＥＭＰＯＲＡＬ ＶＯＬＵＭＥＴＲＩＣ ＣＡＰＴＵＲＥ ＳＹＳＴＥＭ ＦＯＲ ＤＹＮＡＭＩＣ ４Ｄ ＨＵＭＡＮ ＦＡＣＥ ＡＮＤ ＢＯＤＹ ＤＩＧＩＴＩＺＡＴＩＯＮ）」という名称のＰＣＴ特許出願ＰＣＴ／ＵＳ２０１９／０６８１５１号に説明されており、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。説明されているように、写真－ビデオキャプチャシステムは、疎な時間（ｓｐａｒｓｅ ｔｉｍｅ）で高忠実度テクスチャをキャプチャすることができ、写真キャプチャ間にビデオをキャプチャして、ビデオを使用して疎な写真（ｓｐａｒｓｅ ｐｈｏｔｏｓ）間の一致（例えば遷移）を確立することができる。一致情報を使用して、メッシュ追跡を実装することができる。
ゲームスタジオは、アニメーションワークフローにおいて、モーションキャプチャ（ＭｏＣＡＰ）（理想的には、自然なモーションキャプチャとして統一された顔／身体）を使用するが、自然な表面変形（例えば、肉体動特性）を含むアニメーションを自動的に生成しない。通常、ゲームコンピュータグラフィックス（ＣＧ）設計者は、３Ｄリグ付きモデルの上に、手作りされた変形（４Ｄ）を追加するが、これは時間がかかる。
他のシステムは、変形を含む自然なアニメーションを生成するが、依然として高レベルの手動（手作り）作業を有する。このようなシステムは、機械学習（ＭＬ）トレーニングによって自動化されない。他のシステムは、顔アニメーションの変形を合成することができるが、新たなワークフロー（例えば、標準ＭｏＣＡＰワークフローにとってフレンドリではない）を必要とする。
本明細書では、ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングを説明する。ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップと、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、４Ｄスキャンされた人間の顔及び全身のメッシュと３Ｄ ＣＧ物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。標準ＭｏＣＡＰアニメーションワークフローを使用して、自然なアニメーションのための変形を予測及び合成することができる。標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、入力として、ＭｏＣＡＰアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーション（変形を含まず）のための３Ｄモデルパラメータを解決する（３Ｄソルビング）ステップと、３Ｄソルビングによって解決された３Ｄモデルパラメータに基づいて、ＭＬトレーニングから４Ｄ表面変形を予測するステップと、を含む。
モデリング時、顔プロセス及び身体プロセスが行われる。本明細書で説明するように、いくつかの実施形態では、顔プロセス及び身体プロセスの両方は写真ベースである。これは、ビデオカメラの代わりに写真カメラを使用して、入力のためのコンテンツを取得することを意味する。写真カメラによって取得された入力を使用して、筋肉変形を含む多くの異なるポーズ（例えば、腕を上げる、腕を下げる、体をねじる、腕を横に広げる、脚をまっすぐにする）をキャプチャすることによって、モデルを生成する。ポーズに応じて、（例えば、マッチング技術を使用して）最も近い形状（単複）を決定する。次に、複数の形状を融合して、筋肉変形がよりリアルになるようにする。いくつかの実施形態では、キャプチャされた情報は疎に存在する。スパース検知（ｓｐａｒｓｅ ｓｅｎｓｉｎｇ）から、システムは、モデルモーションが何であるべきかを逆マッピングすることができる。スパース検知を高密度モデリングマッピングにマッピングすることができ、したがって、反復プロセスが何度も行われる。モデリング設計者は、写真（例えば３Ｄスキャン）からモデルを生成し、設計者は、４Ｄ（３Ｄ＋時間）であるアニメーションを模倣しようと試みる。アニメーショングループは、スパースモーションキャプチャから動画化するが、検知が疎であるので、マッピングが困難である場合があり、したがって、多くの反復が発生する。しかしながら、この実装を改良することができる。
顔及び身体モデリングはブランク形状に基づき、ブランク形状は写真に基づき、写真は３Ｄベースである（例えば、変形情報が存在しない）。各状態はスパース３Ｄスキャンであるので、表面の遷移状態が存在しない。検知も疎であるが、高品質モデルを時間的に動画化する。
２０１７年７月１８日に出願された「パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合（ＲＯＢＵＳＴ ＭＥＳＨ ＴＲＡＣＫＩＮＧ ＡＮＤ ＦＵＳＩＯＮ ＢＹ ＵＳＩＮＧ ＰＡＲＴ－ＢＡＳＥＤ ＫＥＹ ＦＲＡＭＥＳ ＡＮＤ ＰＲＩＯＲＩ ＭＯＤＥＬ）」という名称の米国特許第１０，４３１，０００号などのメッシュ追跡技術の多くの例がある。別の例は、一連のテクスチャ化された３Ｄスキャンを入力として、一貫したトポロジを含む一連のメッシュを出力として生成するＷｒａｐ４Ｄである。
キャプチャ時間中に、４Ｄキャプチャ（例えば、顔及び／又は身体を見ることができる）があり、筋肉がどのように動くかを見ることができる。例えば、ターゲット被写体に動くように要求することができ、筋肉が変形する。非常に複雑な状況では、アニメータがこれを行うことは非常に困難である。モデル段階中に、任意の複雑な筋肉変形を学習する。これは、アニメーション段階において合成を可能にする。また、これは、現在のＭｏＣＡＰワークフローに修正を組み込むことも可能にする。ＭＬを使用して、製作段階中にモーションがキャプチャされる場合、検知が疎であるので、システムはモーション（例えば変形）を高密度化する。いくつかの実施形態では、変形は、写真－ビデオキャプチャから既知である。
図１Ａ～図１Ｂに、いくつかの実施形態による、時間／コスト効率の良いゲームキャラクタの自然なアニメーションのためのボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングを実装する方法のフローチャートを示す。
ステップ１００において、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを利用する。ＰＣＴ特許出願ＰＣＴ／ＵＳ２０１９／０６８１５１号に説明されているように、ボリュメトリックキャプチャシステムは、高品質４Ｄスキャンのために写真及びビデオを同時に取得することができる。高品質４Ｄスキャンは、高品質モデリングのためのより高密度のカメラビューを含む。いくつかの実施形態では、ボリュメトリックキャプチャシステムを利用する代わりに、３Ｄコンテンツ及び時間情報を取得するための別のシステムを利用する。例えば、少なくとも２つの別個の３Ｄスキャンを取得する。この例を更に進めて、別個の３Ｄスキャンをキャプチャ及び／又はダウンロードすることができる。
ステップ１０２において、静的３Ｄモデリングを実装する。スキャンのために高品質情報がキャプチャされると、静的３Ｄモデルを使用して、線形モデリングを実装する。しかしながら、４Ｄキャプチャ（写真及びビデオキャプチャ及び時間）が実装されるので、一致を迅速に確立することができ、これを使用して、キャラクタモデルを生成することができる。静的３Ｄモデリングは生画像から開始し、次に、画像を整理し、スタイル／パーソナリティ特徴を適用し、テクスチャ化を実行して、変形を含まないフレーム毎の高品質を生成するようにする。高頻度ディテールも適用する。
ステップ１０４において、リギングを実行する。リギングは、キャラクタを、２つのパーツ、すなわち、キャラクタを描画するために使用される表面表現（例えば、メッシュ又は皮膚）及び階層的な相互連結されたパーツのセット（例えば、骨格を形成する骨）で表現するコンピュータアニメーションの技術である。任意の方法で、リギングを実行することができる。
ステップ１０８において、ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングを実装する。低品質ビデオを使用して、時間的一致のためのメッシュ追跡を改善することができる。キャラクタモデルと４Ｄキャプチャとの間のデルタを生成することができる。デルタは、ＭＬ変形トレーニングのために使用することができる。デルタトレーニング技術の一例は、衣服が存在する状態でも制御可能で正確なままである人々の３Ｄモデルを再構成するために、ディテールが豊富な陰関数とパラメトリック表現とを組み合わせる暗黙パートネットワーク（ＩＰネット）を含む。服を着た人の表面上でサンプリングされたスパース３Ｄポイントクラウドが与えられると、暗黙パートネットワーク（ＩＰネット）を使用して、服を着た人の外側３Ｄ表面と、内側身体表面と、パラメトリック身体モデルとの意味的一致とを共同で予測する。次に、一致を使用して、身体モデルを内側表面にフィッティングし、次に、衣服、顔及び髪のディテールをキャプチャするために、外側表面に対して（パラメトリック身体＋変位モデルの下で）身体モデルを非剛体変形する。例示的なＩＰネットについては、Ｂｈａｒａｔ Ｌａｌ Ｂｈａｔｎａｇａｒら、「３Ｄ人間再構成のための陰関数学習とパラメトリックモデルとの組み合わせ（Ｃｏｍｂｉｎｉｎｇ Ｉｍｐｌｉｃｉｔ Ｆｕｎｃｔｉｏｎ Ｌｅａｒｎｉｎｇ ａｎｄ Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌｓ ｆｏｒ ３Ｄ Ｈｕｍａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）」（コーネル大学、２０２０年）によって更に説明されている。
メッシュ追跡が実装される（例えば、フレーム間の一致を確立する）と、デルタ情報を決定することができる。デルタ情報を用いて、トレーニングを実装することができる。トレーニング知識に基づいて、ＭｏＣＡＰワークフロー中に合成することが可能である。
ステップ１１０において、ＭｏＣＡＰ情報を取得する。任意の方法で、ＭｏＣＡＰ情報を取得することができる。例えば、ターゲットが、マーキングを含む専用スーツを着用する標準モーションキャプチャを実装する。顔／身体が統一されたＭｏＣＡＰを実装することができる。顔及び身体を一緒にキャプチャすることによって、フィッティングがより自然になる。
ステップ１１２において、２Ｄビデオから４ＤアニメーションへのＭＬ ４Ｄソルビング及び変形合成を実装する。４Ｄ ＭＬソルビング及び変形合成のために、ＭｏＣＡＰ情報を使用することができる。いくつかの実施形態では、逆マッピングを適用する。ソルビングは、ＭｏＣＡＰ情報をモデルにマッピングすることを含む。入力は疎であるが、高密度マッピングを解決する。暗黙４Ｄソルビングのために、ボリュメトリックキャプチャされたデータを使用するＭＬを使用することができる。
ステップ１１４において、自然な変形を含む４Ｄアニメーションにキャラクタモデルを適用するリターゲットを適用する。リターゲットは、顔のリターゲットと、全身のリターゲットとを含む。
ステップ１１６において、シェーディング及びリライティングを含むレンダリングを実装して、最終ビデオをレンダリングする。
いくつかの実施形態では、より少ない又は更なるステップが実装される。いくつかの実施形態では、ステップの順序が変更される。
ターゲット被写体の顔に近い高密度カメラ設定を利用する従来の実装とは異なり、本明細書で説明するシステムは、モーションに焦点を当て、ターゲット被写体から遠いカメラ設定を使用して、スパースモーション（例えば骨格モーション）をキャプチャする。更に、本明細書で説明するシステムでは、より多くの身体及び顔アニメーションを含むより大きい視野が可能である。
図２に、いくつかの実施形態による変形トレーニング方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置２００は、画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置２００は、変形トレーニングの態様のいずれかを実装することができる。一般に、コンピュータ装置２００を実装するのに適したハードウェア構造は、ネットワークインターフェイス２０２、メモリ２０４、プロセッサ２０６、Ｉ／Ｏ装置２０８、バス２１０及び記憶装置２１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ２０４は、当業で周知の任意の従来のコンピュータメモリとすることができる。記憶装置２１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又はその他の任意の記憶装置を含むことができる。コンピュータ装置２００は、１又は２以上のネットワークインターフェイス２０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置２０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置２１２及びメモリ２０４には、変形トレーニング方法を実装するために使用される変形トレーニングアプリケーション２３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置２００には、図２に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、変形トレーニングハードウェア２２０が含まれる。図２のコンピュータ装置２００は、変形トレーニング方法のためのアプリケーション２３０及びハードウェア２２０を含むが、変形トレーニング方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、変形トレーニングアプリケーション２３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、変形トレーニングハードウェア２２０が、変形トレーニング方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。
いくつかの実施形態では、（単複の）変形トレーニングアプリケーション２３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は更なるモジュールを含めることもできる。
好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、モバイル装置、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。
本明細書で説明した変形トレーニング方法を利用するには、デジタルカメラ／カムコーダ／コンピュータなどの装置を使用してコンテンツを取得し、次に、同じ装置又は１又は２以上の追加の装置がコンテンツを分析する。変形トレーニング方法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実装されて、変形トレーニングを実行することができる。
動作時、変形トレーニング方法は、より正確かつ効率的な変形及びアニメーション方法を提供する。
メッシュ追跡動的４Ｄモデルを使用して、一致を生成することが可能であり、これはＭＬトレーニングを可能にする。一致情報がないと、変形情報（例えば、肩の筋肉が動いている時にどのように変形するか）を決定することができない場合がある。４Ｄボリュメトリックキャプチャにおいてメッシュ追跡を使用して、変形情報を決定することができる。ＭＬが行われると、顔及び身体のためのデルタが存在し、次に、その情報をアニメーションのために使用することができる。アニメータは、ストーリーを語るためにキャラクタを使用する。しかしながら、ディテール情報が重すぎる場合があるので、後で使用するために、詳細情報を余分にセーブする。アニメータは、最初は、「軽い」モデル（例えば、詳細情報を含まない）を使用する。
標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、スパース検知を使用する。スパース検知では、より広い視野が可能であり、したがって、顔及び身体を一緒にキャプチャすることができる。スパース検知のギャップを埋めるために時間がかかる手作りの情報を使用する代わりに、写真－ビデオボリュメトリックキャプチャを使用して、モデリング段階中に表面動特性変形を学習し、次に、アニメーション段階中に表面動特性変形を使用する。ゲームスタジオは、それらの標準ＭｏＣＡＰワークフローを使用することができる。これは、プロセスの多くの態様において、効率及び品質の向上を提供する。
ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングのいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を含む方法。
１．装置の非一時的メモリにプログラムされた方法であって、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を含む方法。
２．高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップを更に含む、第１項に記載の方法。
３．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第２項に記載の方法。
４．複数の別個の３Ｄスキャンを取得するステップを更に含む、第１項に記載の方法。
５．標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するステップを更に含む、第１項に記載の方法。
６．入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を更に含む、第１項に記載の方法。
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を更に含む、第１項に記載の方法。
７．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
８．前記アプリケーションは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するように更に構成される、第７項に記載の装置。
９．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第８項に記載の装置。
１０．前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成される、第７項に記載の装置。
１１．前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される、第７項に記載の装置。
１２．前記アプリケーションは、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第７項に記載の装置。
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第７項に記載の装置。
１３．システムであって、
高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、
コンピュータ装置であって、前記コンピュータ装置は、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するように構成されるコンピュータ装置と、
を含むシステム。
高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、
コンピュータ装置であって、前記コンピュータ装置は、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するように構成されるコンピュータ装置と、
を含むシステム。
１４．前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される、第１３項に記載のシステム。
１５．前記コンピュータ装置は、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第１３項に記載のシステム。
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第１３項に記載のシステム。
１６．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第１３項に記載のシステム。
１７．装置の非一時的メモリにプログラムされた方法であって、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を含む方法。
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を含む方法。
本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。
１００ 高品質４Ｄスキャンのためのボリュメトリックキャプチャシステム
１０２ 静的３Ｄモデリング
１０４ リギング
１０８ ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリング
１１０ ＭｏＣＡＰ情報を取得
１１２ ２Ｄビデオから４ＤアニメーションへのＭＬ ４Ｄソルビング及び変形合成
１１４ ゲームキャラクタのリターゲット
１１６ レンダリング（シェーディング、リライティング）
２００ コンピュータ装置
２０２ ネットワークインターフェイス
２０４ メモリ
２０６ プロセッサ
２０８ Ｉ／Ｏ装置
２１０ バス
２１２ 記憶装置
２２０ 変形トレーニングハードウェア
２３０ 変形トレーニングアプリケーション
１０２ 静的３Ｄモデリング
１０４ リギング
１０８ ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリング
１１０ ＭｏＣＡＰ情報を取得
１１２ ２Ｄビデオから４ＤアニメーションへのＭＬ ４Ｄソルビング及び変形合成
１１４ ゲームキャラクタのリターゲット
１１６ レンダリング（シェーディング、リライティング）
２００ コンピュータ装置
２０２ ネットワークインターフェイス
２０４ メモリ
２０６ プロセッサ
２０８ Ｉ／Ｏ装置
２１０ バス
２１２ 記憶装置
２２０ 変形トレーニングハードウェア
２３０ 変形トレーニングアプリケーション
Claims (12)
- 装置の非一時的メモリにプログラムされた方法であって、
高品質４Ｄスキャンのために高品質写真及びビデオを同時にキャプチャするよう構成されたボリュメトリックキャプチャシステムを使用してキャラクタモデルを生成するステップと、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
を含むことを特徴とする方法。 - 複数の別個の３Ｄスキャンを取得するステップを更に含むことを特徴とする、請求項１に記載の方法。
- 標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するステップを更に含むことを特徴とする、請求項１に記載の方法。
- 入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ）によって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を更に含むことを特徴とする、請求項１に記載の方法。 - 装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
高品質４Ｄスキャンのために高品質写真及びビデオを同時にキャプチャするよう構成されたボリュメトリックキャプチャシステムを使用してキャラクタモデルを生成するステップと、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
を実行するためのものである、非一時的メモリと、
前記非一時的メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。 - 前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成されることを特徴とする、請求項５に記載の装置。
- 前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するように更に構成されることを特徴とする、請求項５に記載の装置。
- 前記アプリケーションは、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成されることを特徴とする、請求項５に記載の装置。 - システムであって、
高品質写真及びビデオを同時にキャプチャするよう構成された、高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、
コンピュータ装置であって、前記コンピュータ装置は、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
を実行するように構成されるコンピュータ装置と、
を含むことを特徴とするシステム。 - 前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するように更に構成されることを特徴とする、請求項９に記載のシステム。
- 前記コンピュータ装置は、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成されることを特徴とする、請求項９に記載のシステム。 - 前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成されることを特徴とする、請求項９に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063003097P | 2020-03-31 | 2020-03-31 | |
| US63/003,097 | 2020-03-31 | ||
| PCT/US2021/025263 WO2021202803A1 (en) | 2020-03-31 | 2021-03-31 | Volumetric capture and mesh-tracking based machine learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023519846A JP2023519846A (ja) | 2023-05-15 |
| JP7446566B2 true JP7446566B2 (ja) | 2024-03-11 |
Family
ID=77856401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022557875A Active JP7446566B2 (ja) | 2020-03-31 | 2021-03-31 | ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11640687B2 (ja) |
| EP (1) | EP4094229A4 (ja) |
| JP (1) | JP7446566B2 (ja) |
| KR (1) | KR20220143721A (ja) |
| CN (1) | CN114730480A (ja) |
| WO (1) | WO2021202803A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220319114A1 (en) * | 2021-04-01 | 2022-10-06 | Sony Group Corporation | Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking |
| EP4292052A1 (en) * | 2021-04-01 | 2023-12-20 | Sony Group Corporation | Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking |
| KR102547358B1 (ko) * | 2022-11-15 | 2023-06-23 | 엠앤앤에이치 주식회사 | 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011521357A (ja) | 2008-05-13 | 2011-07-21 | ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ | ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置 |
| WO2019207176A1 (es) | 2018-04-25 | 2019-10-31 | Seddi, Inc. | Modelado de dinámica de tejido blando no lineal para avatares interactivos |
| JP2020518080A (ja) | 2017-07-18 | 2020-06-18 | ソニー株式会社 | パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合 |
| JP2021530815A (ja) | 2018-07-27 | 2021-11-11 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE0004125L (sv) | 2000-11-10 | 2002-05-11 | Ericsson Telefon Ab L M | Distanshållande dielektriskt skikt |
| US8466913B2 (en) * | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
| US11127163B2 (en) | 2015-06-24 | 2021-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Skinned multi-infant linear body model |
| US10880470B2 (en) * | 2015-08-27 | 2020-12-29 | Accel Robotics Corporation | Robotic camera system |
| US10937182B2 (en) | 2017-05-31 | 2021-03-02 | Google Llc | Non-rigid alignment for volumetric performance capture |
| CN108022278B (zh) * | 2017-12-29 | 2020-12-22 | 清华大学 | 基于视频中运动跟踪的人物动画绘制方法及系统 |
| US11158121B1 (en) * | 2018-05-11 | 2021-10-26 | Facebook Technologies, Llc | Systems and methods for generating accurate and realistic clothing models with wrinkles |
| US11069144B2 (en) * | 2018-09-14 | 2021-07-20 | Mirrorar Llc | Systems and methods for augmented reality body movement guidance and measurement |
| CN112739436A (zh) | 2018-09-27 | 2021-04-30 | 英特尔公司 | 体积内容创建系统中的精彩时刻标识技术 |
-
2021
- 2021-03-31 JP JP2022557875A patent/JP7446566B2/ja active Active
- 2021-03-31 WO PCT/US2021/025263 patent/WO2021202803A1/en unknown
- 2021-03-31 KR KR1020227032175A patent/KR20220143721A/ko unknown
- 2021-03-31 EP EP21781249.4A patent/EP4094229A4/en active Pending
- 2021-03-31 CN CN202180005113.9A patent/CN114730480A/zh active Pending
- 2021-03-31 US US17/219,698 patent/US11640687B2/en active Active
-
2023
- 2023-03-23 US US18/125,659 patent/US20230230304A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011521357A (ja) | 2008-05-13 | 2011-07-21 | ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ | ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置 |
| JP2020518080A (ja) | 2017-07-18 | 2020-06-18 | ソニー株式会社 | パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合 |
| WO2019207176A1 (es) | 2018-04-25 | 2019-10-31 | Seddi, Inc. | Modelado de dinámica de tejido blando no lineal para avatares interactivos |
| JP2021530815A (ja) | 2018-07-27 | 2021-11-11 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114730480A (zh) | 2022-07-08 |
| JP2023519846A (ja) | 2023-05-15 |
| WO2021202803A1 (en) | 2021-10-07 |
| EP4094229A1 (en) | 2022-11-30 |
| KR20220143721A (ko) | 2022-10-25 |
| EP4094229A4 (en) | 2023-07-05 |
| US20210304478A1 (en) | 2021-09-30 |
| US11640687B2 (en) | 2023-05-02 |
| US20230230304A1 (en) | 2023-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Generative adversarial networks for image and video synthesis: Algorithms and applications | |
| Raj et al. | Anr: Articulated neural rendering for virtual avatars | |
| JP7446566B2 (ja) | ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 | |
| KR102577966B1 (ko) | 포토-비디오 기반 공간적-시간적 체적 측정 캡처 시스템 | |
| Siarohin et al. | Unsupervised volumetric animation | |
| Li et al. | Spa: Sparse photorealistic animation using a single rgb-d camera | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| Ouyang et al. | Real-time neural character rendering with pose-guided multiplane images | |
| US20240095999A1 (en) | Neural radiance field rig for human 3d shape and appearance modelling | |
| Li et al. | Gaussianbody: Clothed human reconstruction via 3d gaussian splatting | |
| Park et al. | ED-NeRF: Efficient Text-Guided Editing of 3D Scene using Latent Space NeRF | |
| Ye et al. | Real3d-portrait: One-shot realistic 3d talking portrait synthesis | |
| Dai et al. | PBR-Net: Imitating physically based rendering using deep neural network | |
| Zhao et al. | Cartoonish sketch-based face editing in videos using identity deformation transfer | |
| Liu et al. | Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars | |
| Park et al. | ED-NeRF: Efficient Text-Guided Editing of 3D Scene With Latent Space NeRF | |
| Sun et al. | SSAT $++ $: A Semantic-Aware and Versatile Makeup Transfer Network With Local Color Consistency Constraint | |
| Hetang et al. | Novel View Synthesis from a Single RGBD Image for Indoor Scenes | |
| Huang et al. | A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection | |
| Eisert et al. | Hybrid human modeling: making volumetric video animatable | |
| RU2775825C1 (ru) | Нейросетевой рендеринг трехмерных человеческих аватаров | |
| CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 | |
| CN117315211B (zh) | 数字人合成及其模型训练方法、装置、设备及存储介质 | |
| Singh et al. | Motion transfer in videos using deep convolutional generative adversarial networks | |
| Niklaus | Novel View Synthesis in Time and Space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240211 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7446566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |