JP2023524252A - 生成的非線形人間形状モデル - Google Patents
生成的非線形人間形状モデル Download PDFInfo
- Publication number
- JP2023524252A JP2023524252A JP2022566221A JP2022566221A JP2023524252A JP 2023524252 A JP2023524252 A JP 2023524252A JP 2022566221 A JP2022566221 A JP 2022566221A JP 2022566221 A JP2022566221 A JP 2022566221A JP 2023524252 A JP2023524252 A JP 2023524252A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- model
- learned
- pose
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 claims abstract description 94
- 230000037237 body shape Effects 0.000 claims abstract description 25
- 230000008921 facial expression Effects 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 54
- 230000003068 static effect Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 210000005067 joint tissue Anatomy 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
Description
一般に、本開示は、十分にトレーニング可能なモジュール式の深層学習フレームワーク内の、統計学的、多関節3D人間形状モデリングパイプラインを対象とする。詳細には、本開示の態様は、トレーニングデータのセット上でエンドツーエンドで一緒にトレーニングされる少なくとも顔および体の形状コンポーネントを有する機械学習済み3D人間形状モデルを対象とする。モデルコンポーネント(たとえば、顔のコンポーネントと体のコンポーネントの両方を含む)のジョイントトレーニングが、生成された顔形状と体形状との間の向上した整合性の合成を可能にする。
構造化されていないポイントクラウド
本開示の例示的な実装形態は、人間モデルを、J個の関節を有する骨格K、および関節の動きを明示的に符号化するように線形ブレンディングスキニング(LBS)で変形された皮膚によって指定される、多関節メッシュとして表すことができる。骨格の関節の動きに加えて、顔の表情を導出するために、非線形モデルが使用され得る。J個の関節を有するモデルXを、M(α=(θ,β),φ,γ,ω)として、詳細には、
この節では、スキニングウェイトωを最適化する例示的なエンドツーエンドのニューラルネットワークベースのパイプラインの説明を行い、静止形状埋込み
いくつかの例示的な実装形態では、複数の対象の形状スキャンは、静止またはニュートラルの「A」ポーズにおいて、Caesarデータセット(4,329対象)ならびにGHS3Dのキャプチャされたスキャンにモデルを登録することによって取得され得る。一例として、図3は、頭部および顔のスキャンのクローズアップを示す。いくつかの例示的な実装形態は、ボディスキャンならびにクローズアップの手および頭部スキャンを融合することによって、ニュートラルのAポーズで全身形状を推定する。単一のボディスキャンからの体形推定と比較して、これらの例示的な実装形態は、追加の頭部および手の形状の詳細を利用することができる。
変分体形オートエンコーダは、顔の形状の分散を含む、様々な体形を表すことができる。(単なる人体計測の頭部および顔の静止変形とは対照的に)複雑な顔の表情をさらにサポートするために、任意選択で追加の顔のモデリングを導入することができる。たとえば、モデルは、GHS3Dの数千の顔の表情の動きシーケンススキャンから構築することができる。3-DOFの関節顎、2つの2-DOFのまぶた、および2つの2-DOFの眼球に加えて、スキニングウェイトおよびポーズ空間変形を含む、頭部の関節接合部(articulated joint)のパラメータは、パイプラインの残りとともに更新することができる。
非線形形状および顔の表情モデルを適用した後、最適なスキニング関数が、複数の対象および複数のポーズのメッシュデータから統計学的に推定され得る。具体的には、(4)の場合と同じデータ用語が使用され得るが、ここで最適化変数は、関節中心推定器のパラメータ
この節では、本明細書で説明するシステムおよび方法の例示的な実装形態で行われる例示的な実験を説明する。
図11Aは、本開示の例示的実施形態による例示的コンピューティングシステム100のブロック図を示す。システム100は、ネットワーク180を介して通信可能に結合されている、ユーザコンピューティングデバイス102、サーバコンピューティングシステム130、およびトレーニング用コンピューティングシステム150を含む。
本明細書で説明した技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、ならびに行われるアクションおよびそのようなシステムとの間で送られる情報を参照する。コンピュータベースのシステムの固有の柔軟性は、構成要素の間でのタスクおよび機能の多種多様な可能な構成、組合せ、および分割を可能にする。たとえば、本明細書で説明されるプロセスは、単一のデバイスもしくは構成要素または組合せて働く複数のデバイスもしくは構成要素を使用して実装され得る。データベースおよびアプリケーションは、単一のシステム上で実装されるか、または複数のシステムに分散されてよい。分散構成要素は、順次、または並行して動作することができる。
100 コンピューティングシステム
102 ユーザコンピューティングデバイス
112 プロセッサ
114 メモリ
116 データ
118 命令
120 機械学習済みモデル
122 ユーザ入力構成要素
130 サーバコンピューティングシステム
132 プロセッサ
134 メモリ
136 データw
138 命令
140 機械学習済みモデル
150 トレーニング用コンピューティングシステム
152 プロセッサ
154 メモリ
156 データ
158 命令
160 モデル訓練器
162 トレーニングデータ
180 ネットワーク
Claims (20)
- 機械学習済み3次元人間形状モデルをエンドツーエンドのパイプラインで一緒にトレーニングするコンピュータ実装方法であって、1つまたは複数のトレーニング反復について、
1つまたは複数のコンピューティングデバイスを含むコンピューティングシステムによって、トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンを取得するステップであり、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、任意のポーズを有する少なくともグランドトゥルース登録の全身スキャンと、グランドトゥルース登録の顔詳細スキャンとを含む、取得するステップと、
前記コンピューティングシステムによって、形状エンコーダモデルを使用して、前記トレーニングボディに関連する静止形状埋込みを取得するために、静止しているポーズとともに推定登録全身スキャンを符号化するステップと、
前記トレーニングボディについての識別ベースの静止形状データを取得するために、前記コンピューティングシステムによって、形状デコーダモデルを使用して、前記静止形状埋込みを復号するステップと、
前記トレーニングボディに関連する顔表情埋込みを取得するために、前記コンピューティングシステムによって、顔のエンコーダモデルを使用して、前記グランドトゥルース登録の顔詳細スキャンから導出されたデータを符号化するステップと、
前記トレーニングボディについての顔表情データを取得するために、前記コンピューティングシステムによって、顔デコーダモデルを使用して、前記顔表情埋込みを復号するステップと、
前記コンピューティングシステムによって、前記識別ベースの静止形状データ、前記顔表情データ、および前記任意のポーズに対応するポーズパラメータのセットに少なくとも部分的に基づいて、前記トレーニングボディのトレーニングポーズメッシュを生成するステップと、
前記トレーニングボディについて生成された前記トレーニングポーズメッシュを、前記任意のポーズを有する前記グランドトゥルース登録の全身スキャンおよび前記グランドトゥルース登録の顔詳細スキャンと比較する再構成損失関数を評価するステップと、
前記形状エンコーダモデルと、前記形状デコーダモデルと、前記顔エンコーダモデルと、前記顔デコーダモデルとを、前記再構成損失に少なくとも部分的に基づいて、一緒にトレーニングするステップと、
少なくとも前記形状デコーダモデルと、前記顔デコーダモデルとを含む前記機械学習済み3次元人間形状モデルを提供するステップと
を含む、コンピュータ実装方法。 - 前記コンピューティングシステムによって、前記トレーニングボディの前記トレーニングポーズメッシュを生成するステップが、前記コンピューティングシステムによって、ポーズ空間変形モデルを使用して、前記トレーニングボディについてのポーズによる形状調整を生成するためにポーズパラメータの前記セットを処理するステップを含み、
前記ポーズ空間変形モデルが、前記再構成損失に少なくとも部分的に基づいて、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、および前記顔デコーダモデルとともに一緒にトレーニングされる、
請求項1に記載のコンピュータ実装方法。 - 前記コンピューティングシステムによって、前記トレーニングボディの前記トレーニングポーズメッシュを生成するステップが、
前記トレーニングボディの骨格表現の複数の関節について複数の予測関節中心を生成するために、前記コンピューティングシステムによって、関節中心予測モデルを使用して、前記識別ベースの静止形状データを処理するステップと、
前記トレーニングボディの前記トレーニングポーズメッシュを生成するために、前記コンピューティングシステムによって、ブレンドスキニングモデルを使用して、前記顔表情データ、前記ポーズによる形状調整、前記識別ベースの静止形状データ、および前記1つまたは複数の予測関節中心を処理するステップと
を含み、
前記関節中心予測モデルおよび前記ブレンドスキニングモデルが、前記再構成損失に少なくとも部分的に基づいて、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、前記顔デコーダモデル、および前記ポーズ空間変形モデルとともに一緒にトレーニングされる、
請求項2に記載のコンピュータ実装方法。 - 前記ブレンドスキニングモデルが、前記複数の関節に対してそれぞれ複数の学習済みの重みを有する線形ブレンドスキニングモデルを含む、請求項3に記載のコンピュータ実装方法。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、グランドトゥルース登録の手の詳細スキャンさらに含み、前記再構成損失関数が、前記トレーニングポーズメッシュと前記グランドトゥルース登録の手の詳細スキャンとの間の差を評価する、請求項1から4のいずれか一項に記載のコンピュータ実装方法。
- 前記一緒にトレーニングするステップが、(1)ポーズパラメータの前記セットを推定することと、(2)ポーズパラメータの前記セットを固定して、前記形状エンコーダモデル、前記形状デコーダモデル、前記顔エンコーダモデル、および前記顔デコーダモデルのパラメータを更新することとを交互に行うステップを含む、請求項1から5のいずれか一項に記載のコンピュータ実装方法。
- 前記再構成損失関数が、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンの中の1対1対応およびフィルタリングで、頂点ごとのユークリッド距離誤差を評価する、請求項1から6のいずれか一項に記載のコンピュータ実装方法。
- エンドツーエンドのパイプラインで一緒にトレーニングされた少なくとも顔および体の形状コンポーネントを有する機械学習済み3次元人間形状モデルを特徴として備えるコンピューティングシステムであって、
1つまたは複数のプロセッサと、
機械学習済み3次元人間形状モデルをまとめて記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記機械学習済み3次元人間形状モデルが、
人体についての顔表情データを生成するために、前記人体に関連する顔表情埋込みを処理するようにトレーニングされた機械学習済み顔表情デコーダモデルと、
前記人体についてのポーズによる形状調整を生成するために、ポーズパラメータのセットを処理するようにトレーニングされた機械学習済みポーズ空間変形モデルと、
前記人体についての識別ベースの静止形状データを生成するために、前記人体に関連する静止形状埋込みを処理するようにトレーニングされた機械学習済み形状デコーダモデルと
を含む、1つまたは複数の非一時的コンピュータ可読媒体と
を備え、
前記機械学習済み3次元人間形状モデルが、前記顔表情データ、前記ポーズによる形状調整、および前記識別ベースの静止形状データに少なくとも部分的に基づいて、前記人体のポーズメッシュを生成するようにトレーニングされており、
前記機械学習済み顔表情デコーダモデル、前記機械学習済みポーズ空間変形モデル、および前記機械学習済み形状デコーダモデルのすべてが、前記トレーニングボディについて前記機械学習済み3次元人間形状モデルによって生成されたトレーニングポーズメッシュを、前記トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンと比較する再構成損失関数に少なくとも部分的に基づいて、エンドツーエンドで一緒にトレーニングされている、コンピューティングシステム。 - 前記機械学習済み3次元人間形状モデルが、
前記人体の骨格表現の複数の関節について複数の予測関節中心を生成するために、前記識別ベースの静止形状データを処理するようにトレーニングされた機械学習済み関節中心予測モデルと、
前記人体の前記ポーズメッシュを生成するために、前記顔表情データ、前記ポーズによる形状調整、前記識別ベースの静止形状データ、および前記1つまたは複数の予測関節中心を処理するようにトレーニングされた機械学習済みブレンドスキニングモデルと
をさらに含み、
前記機械学習済み関節中心予測モデルおよび前記機械学習済みブレンドスキニングモデルが、前記再構成損失に少なくとも部分的に基づいて、前記機械学習済み顔表情デコーダモデル、前記機械学習済みポーズ空間変形モデル、および前記機械学習済み形状デコーダモデルとともに、エンドツーエンドで一緒にトレーニングされている、請求項8に記載のコンピューティングシステム。 - 前記機械学習済みブレンドスキニングモデルが、前記複数の関節に対してそれぞれ複数の学習済みの重みを有する線形ブレンドスキニングモデルを含む、請求項9に記載のコンピューティングシステム。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、グランドトゥルース登録の全身スキャンと、前記グランドトゥルース登録の全身スキャンとは別個であるグランドトゥルース登録の顔詳細スキャンとを含む、請求項8から10のいずれか一項に記載のコンピューティングシステム。
- 前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンが、前記グランドトゥルース登録の全身スキャンおよび前記グランドトゥルース登録の顔詳細スキャンとは別個であるグランドトゥルース登録の手の詳細スキャンをさらに含む、請求項11に記載のコンピューティングシステム。
- 前記機械学習済み顔表情デコーダモデルが、トレーニング頭部メッシュを受け取り、前記顔表情埋込みを生成するために前記トレーニング頭部メッシュを符号化し、前記人体についての前記顔表情データを生成するために前記顔表情埋込みを処理するようにトレーニングされた、顔表情変分オートエンコーダの一部分としてトレーニングされた、請求項8から12のいずれか一項に記載のコンピューティングシステム。
- 前記機械学習済み形状デコーダモデルが、トレーニングボディ静止形状メッシュを受け取り、前記静止形状埋込みを生成するために前記トレーニングボディ静止形状メッシュを符号化し、前記人体についての前記識別ベースの静止形状データを生成するために前記静止形状埋込みを処理するようにトレーニングされた、形状変分オートエンコーダの一部分としてトレーニングされた、請求項8から13のいずれか一項に記載のコンピューティングシステム。
- ポーズパラメータの前記セットが、それぞれ頭部、体、左手、および右手の関節に対する4つの特徴ベクトルを含み、前記機械学習済みポーズ空間変形モデルが、前記4つの特徴ベクトルを一緒に受け取り、出力の単一のセットを出力するように構成された修正線形ユニットレイヤを含む、請求項8から14のいずれか一項に記載のコンピューティングシステム。
- 前記機械学習済み3次元人間形状モデルが、複数のトレーニング例の各々について、(1)ポーズパラメータの前記セットを推定することと、(2)ポーズパラメータの前記セットを固定して、前記機械学習済み3次元人間形状モデルの他のパラメータを更新することとを交互に行うことによってトレーニングされた、請求項8から15のいずれか一項に記載のコンピューティングシステム。
- 前記再構成損失関数が、前記トレーニングボディの前記1つまたは複数のグランドトゥルース登録の形状スキャンの中の1対1対応およびフィルタリングで、頂点ごとのユークリッド距離誤差を評価する、請求項8から16のいずれか一項に記載のコンピューティングシステム。
- 前記1つまたは複数の非一時的コンピュータ可読媒体が、前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに動作を実行させる命令をさらに記憶し、前記動作が、
新しい人体に関連する新しい顔表情埋込み、ポーズパラメータの新しいセット、および新しい静止形状埋込みを取得することと、
前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みに少なくとも部分的に基づいて、前記新しい人体の新しいポーズメッシュを生成することと
を含む、請求項8から17のいずれか一項に記載のコンピューティングシステム。 - 前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みを取得することが、
前記新しい人体を示す単眼画像から、前記新しい顔表情埋込み、ポーズパラメータの前記新しいセット、および前記新しい静止形状埋込みを生成すること
を含む、請求項18に記載のコンピューティングシステム。 - 機械学習済み3次元人間形状モデルをまとめて記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記機械学習済み3次元人間形状モデルが、
人体についての顔表情データを生成するために、前記人体に関連する顔表情埋込みを処理するようにトレーニングされた機械学習済み顔表情デコーダモデルと、
前記人体についての識別ベースの形状データを生成するために、前記人体に関連する形状埋込みを処理するようにトレーニングされた機械学習済み形状デコーダモデルと
を含み、
前記機械学習済み3次元人間形状モデルが、前記顔表情データ、ポーズパラメータのセット、前記識別ベースの形状データに少なくとも部分的に基づいて、前記人体のポーズメッシュを生成するようにトレーニングされ、
前記機械学習済み顔表情デコーダモデルおよび前記機械学習済み形状デコーダモデルが、トレーニングボディについての前記機械学習済み3次元人間形状モデルによって生成されたトレーニングポーズメッシュを、前記トレーニングボディの1つまたは複数のグランドトゥルース登録の形状スキャンと比較する再構成損失関数に少なくとも部分的に基づいて、エンドツーエンドで一緒にトレーニングされている、1つまたは複数の非一時的コンピュータ可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/030712 WO2021221657A1 (en) | 2020-04-30 | 2020-04-30 | Generative nonlinear human shape models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023524252A true JP2023524252A (ja) | 2023-06-09 |
JP7378642B2 JP7378642B2 (ja) | 2023-11-13 |
Family
ID=70802929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022566221A Active JP7378642B2 (ja) | 2020-04-30 | 2020-04-30 | 生成的非線形人間形状モデル |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230169727A1 (ja) |
EP (1) | EP4128168A1 (ja) |
JP (1) | JP7378642B2 (ja) |
KR (1) | KR20230004837A (ja) |
CN (1) | CN115461785A (ja) |
WO (1) | WO2021221657A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260774B (zh) * | 2020-01-20 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成3d关节点回归模型的方法和装置 |
CN114333069B (zh) * | 2022-03-03 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 对象的姿态处理方法、装置、设备及存储介质 |
CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
CN116434347B (zh) * | 2023-06-12 | 2023-10-13 | 中山大学 | 一种基于掩码图自编码器的骨架序列识别方法及系统 |
CN116452755B (zh) * | 2023-06-15 | 2023-09-22 | 成就医学科技(天津)有限公司 | 一种骨骼模型构建方法、系统、介质及设备 |
CN116740820B (zh) * | 2023-08-16 | 2023-10-31 | 南京理工大学 | 基于自动增广的单视角点云三维人体姿态与形状估计方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7070435B2 (ja) | 2017-01-26 | 2022-05-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6244593B1 (ja) | 2017-01-30 | 2017-12-13 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US11989976B2 (en) | 2018-02-16 | 2024-05-21 | Nippon Telegraph And Telephone Corporation | Nonverbal information generation apparatus, nonverbal information generation model learning apparatus, methods, and programs |
-
2020
- 2020-04-30 WO PCT/US2020/030712 patent/WO2021221657A1/en unknown
- 2020-04-30 US US17/922,160 patent/US20230169727A1/en active Pending
- 2020-04-30 KR KR1020227041960A patent/KR20230004837A/ko not_active Application Discontinuation
- 2020-04-30 EP EP20727760.9A patent/EP4128168A1/en active Pending
- 2020-04-30 CN CN202080100318.0A patent/CN115461785A/zh active Pending
- 2020-04-30 JP JP2022566221A patent/JP7378642B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021221657A1 (en) | 2021-11-04 |
KR20230004837A (ko) | 2023-01-06 |
CN115461785A (zh) | 2022-12-09 |
US20230169727A1 (en) | 2023-06-01 |
EP4128168A1 (en) | 2023-02-08 |
JP7378642B2 (ja) | 2023-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7378642B2 (ja) | 生成的非線形人間形状モデル | |
Saito et al. | SCANimate: Weakly supervised learning of skinned clothed avatar networks | |
Pishchulin et al. | Building statistical shape spaces for 3d human modeling | |
CN109584353B (zh) | 一种基于单目视频重建三维人脸表情模型的方法 | |
Bertiche et al. | Pbns: Physically based neural simulator for unsupervised garment pose space deformation | |
Hasler et al. | A statistical model of human pose and body shape | |
Gall et al. | Optimization and filtering for human motion capture: A multi-layer framework | |
Kähler et al. | Geometry-based muscle modeling for facial animation | |
Lei et al. | Cadex: Learning canonical deformation coordinate space for dynamic surface representation via neural homeomorphism | |
JP2023526566A (ja) | 高速で深い顔面変形 | |
CN110310285B (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
CN109829972B (zh) | 一种面向连续帧点云的三维人体标准骨架提取方法 | |
Madadi et al. | Deep unsupervised 3D human body reconstruction from a sparse set of landmarks | |
Taylor et al. | VR props: an end-to-end pipeline for transporting real objects into virtual and augmented environments | |
Saint et al. | 3dbooster: 3d body shape and texture recovery | |
Garcia-D’Urso et al. | Accurate estimation of parametric models of the human body from 3D point clouds | |
US20210110001A1 (en) | Machine learning for animatronic development and optimization | |
CA3177593A1 (en) | Transformer-based shape models | |
Gan et al. | Fine-grained multi-view hand reconstruction using inverse rendering | |
Duveau et al. | Cage-based motion recovery using manifold learning | |
Li et al. | MultiResGNet: Approximating Nonlinear Deformation via Multi‐Resolution Graphs | |
Capell et al. | Physically based rigging for deformable characters | |
Huang et al. | Detail-preserving controllable deformation from sparse examples | |
Diao et al. | Combating Spurious Correlations in Loose‐fitting Garment Animation Through Joint‐Specific Feature Learning | |
Zeitvogel et al. | Towards end-to-end 3D human avatar shape reconstruction from 4D data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7378642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |