JP7251003B2 - 細かいしわを有する顔メッシュ変形 - Google Patents
細かいしわを有する顔メッシュ変形 Download PDFInfo
- Publication number
- JP7251003B2 JP7251003B2 JP2022551385A JP2022551385A JP7251003B2 JP 7251003 B2 JP7251003 B2 JP 7251003B2 JP 2022551385 A JP2022551385 A JP 2022551385A JP 2022551385 A JP2022551385 A JP 2022551385A JP 7251003 B2 JP7251003 B2 JP 7251003B2
- Authority
- JP
- Japan
- Prior art keywords
- mesh
- deformation
- control point
- rbf
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037303 wrinkles Effects 0.000 title claims description 59
- 238000000034 method Methods 0.000 claims description 95
- 230000007935 neutral effect Effects 0.000 claims description 41
- 238000006073 displacement reaction Methods 0.000 claims description 37
- 230000001815 facial effect Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 21
- 230000008921 facial expression Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000009792 diffusion process Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 2
- 230000001052 transient effect Effects 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Description
図1Aは、いくつかの実施形態が動作し得る例示的な環境を示す図である。例示的な環境100では、クライアントデバイス120及び任意選択のスキャンデバイス110は、変形エンジン102に接続されている。変形エンジン102及び任意選択のスキャンデバイス110は、任意選択的に、スキャンデータベース130、メッシュデータベース132、制御点データベース134、及び/又は例データベース136を含む1つ以上の任意選択のデータベースに接続される。データベースのうちの1つ以上は、組み合わされるか、又は複数のデータベースに分割されてもよい。この環境内のスキャンデバイス及びクライアントデバイスは、コンピュータであり得る。
図2Aは、いくつかの実施形態で実行され得る例示的な方法を示すフロー図である。
図3Aは、本明細書のシステム及び方法のいくつかによる、カスケード型リグレッサネットワークを訓練するためのプロセスの例示的な一実施形態300を示す図である。304で、いくつかの例示的なメッシュ303が受信され、マーカ位置(すなわち、制御点位置)は、受信されたユーザ定義の制御点位置302に基づいて例示的なメッシュごとに決定される。306で、ニュートラルメッシュ308及び初期制御点位置309を使用して、ユーザ定義の制御点が、RBFデフォーマを使用して初期制御点位置で補間される。
Claims (20)
- 細かいしわを有する顔メッシュ変形を提供するための方法であって、前記方法は、コンピュータシステムによって実行され、前記方法は、
ニュートラルメッシュ及び前記ニュートラルメッシュ上の複数の初期制御点位置を受信することであって、前記ニュートラルメッシュは、顔の三次元スキャン画像に基づいている、ことと、
非ニュートラルな顔表情に対応する複数のユーザ定義の制御点位置を受信することと、
前記初期制御点位置及び前記ユーザ定義の制御点位置のRBF補間に基づいて、放射基底関数(RBF)変形メッシュを生成することと、
前記RBF変形メッシュ及び前記ユーザ定義の制御点に基づいて、予測しわ変形データを生成することであって、前記予測しわ変形データは、1つ以上のカスケード型リグレッサネットワークによって生成される、ことと、
クライアントデバイス上でユーザインターフェース内に表示するために、前記予測しわ変形データに基づいて、しわを有する最終変形メッシュを提供することと、を含む、方法。 - 前記RBF補間は、前記初期制御点位置と前記ニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す計算された拡散流に対応する、請求項1に記載の方法。
- 前記RBF変形メッシュは、前記初期制御点位置及び前記ユーザ定義の制御点位置のスプライン補間に更に基づいており、前記スプライン補間は、前記RBF補間の前に実行される、請求項1に記載の方法。
- 前記1つ以上のカスケード型リグレッサネットワークは、複数の訓練例で訓練され、前記訓練例のそれぞれは、例示的なRBF変形メッシュを含む、請求項1に記載の方法。
- 前記訓練例のそれぞれは、前記例示的なRBF変形メッシュを複数の固有な顔領域にセグメント化することによって生成されたセグメンテーションマスクを更に含み、カスケード型リグレッサネットワークは、それぞれの固有な顔領域で訓練される、請求項4に記載の方法。
- 前記1つ以上のカスケード型リグレッサネットワークは、初期頂点変位データを予測するように構成された変位リグレッサを含む、請求項1に記載の方法。
- 前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記予測初期頂点変位データに基づいて、しわを含むプレビュー変形メッシュを提供することであって、前記プレビュー変形メッシュは、前記変位リグレッサが前記初期頂点変位データを予測すると、リアルタイムで又は実質的にリアルタイムで表示するために提供される、ことを更に含む、請求項6に記載の方法。
- 前記ユーザ定義の制御点位置の周辺の局所変形勾配テンソルを計算することと、
前記局所変形勾配テンソルをLieテンソルに変換することと、を更に含み、
前記1つ以上のカスケード型リグレッサネットワークは、前記Lieテンソルに基づいて変形勾配テンソルを予測するように構成された変形勾配リグレッサを含む、請求項1に記載の方法。 - 前記予測変形勾配テンソルを前記RBF変形メッシュの頂点座標に変換することを更に含む、請求項8に記載の方法。
- 前記初期制御点位置を、複数の前のRBF変形メッシュから画定された超空間にマッピングすることと、
マッピングされた前記初期制御点位置と前記ユーザ定義の制御点位置との間の距離を計算することと、
前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記距離及びマッピングされた前記初期制御点位置を視覚的フィードバックガイダンスとして提供することと、を更に含む、請求項1に記載の方法。 - 追加の顔の三次元スキャン画像に基づいて、前記しわ変形データを1つ以上の追加のメッシュにマッピングすることを更に含む、請求項1に記載の方法。
- 前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記最終変形メッシュに基づいて、1つ以上の顔面動作符号化システム(FACS)正規化メッシュを提供することであって、前記予測しわ変形データは独立しており、前記1つ以上のFACS正規化メッシュのそれぞれから除去される、ことを更に含む、請求項1に記載の方法。
- 前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、複数の交換可能な顔テクスチャを提供することであって、前記交換可能な顔テクスチャはそれぞれ、前記しわ変形データ及び前記最終変形メッシュのうちの少なくとも1つと位置合わせされたしわを含む、ことを更に含む、請求項1に記載の方法。
- 細かいしわを有する顔メッシュ変形を提供するための命令を含む非一時的コンピュータ可読媒体であって、前記命令は、コンピュータシステムによって実行されるものであり、前記非一時的コンピュータ可読媒体は、
ニュートラルメッシュ及び前記ニュートラルメッシュ上の複数の初期制御点位置を受信するための命令であって、前記ニュートラルメッシュは、顔の三次元スキャン画像に基づく、命令と、
非ニュートラルな顔表情に対応する複数のユーザ定義の制御点位置を受信するための命令と、
前記初期制御点位置及び前記ユーザ定義の制御点位置のRBF補間に基づいて、放射基底関数(RBF)変形メッシュを生成するための命令と、
前記RBF変形メッシュ及び前記ユーザ定義の制御点に基づいて予測しわ変形データを生成するための命令であって、前記予測しわ変形データは、1つ以上のカスケード型リグレッサネットワークによって生成される、命令と、
クライアントデバイス上でユーザインターフェース内に表示するために、前記予測しわ変形データに基づいて、しわを含む最終変形メッシュを提供するための命令と、を含む、非一時的コンピュータ可読媒体。 - 前記RBF補間は、前記初期制御点位置と前記ニュートラルメッシュ内の他の全ての頂点との間の測地距離のガウスカーネルを表す計算された拡散流に対応する、請求項14に記載の非一時的コンピュータ可読媒体。
- 前記1つ以上のカスケード型リグレッサネットワークは、複数の訓練例で訓練され、前記訓練例のそれぞれは、例示的なRBF変形メッシュを含む、請求項14に記載の非一時的コンピュータ可読媒体。
- 前記訓練例のそれぞれは、前記例示的なRBF変形メッシュを複数の固有な顔領域にセグメント化することによって生成されたセグメンテーションマスクを更に含み、カスケード型リグレッサネットワークは、それぞれの固有な顔領域で訓練される、請求項14に記載の非一時的コンピュータ可読媒体。
- 前記1つ以上のカスケード型リグレッサネットワークは、初期頂点変位データを予測するように構成された変位リグレッサを含む、請求項14に記載の非一時的コンピュータ可読媒体。
- 前記クライアントデバイス上で前記ユーザインターフェース内に表示するために、前記予測初期頂点変位データに基づいて、しわを含むプレビュー変形メッシュを提供するための命令であって、前記プレビュー変形メッシュは、前記変位リグレッサが前記初期頂点変位データを予測すると、リアルタイムで又は実質的にリアルタイムで表示するために提供される、命令を更に含む、請求項18に記載の非一時的コンピュータ可読媒体。
- 前記ユーザ定義の制御点位置の周辺で局所変形勾配テンソルを計算するための命令と、
前記局所変形勾配テンソルをLieテンソルに変換するための命令と、を更に含み、
前記1つ以上のカスケード型リグレッサネットワークは、前記Lieテンソルに基づいて変形勾配テンソルを予測するように構成された変形勾配リグレッサを含む、請求項14に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NZ76211920 | 2020-02-26 | ||
NZ762119 | 2020-02-26 | ||
PCT/IB2021/051051 WO2021171118A1 (en) | 2020-02-26 | 2021-02-10 | Face mesh deformation with detailed wrinkles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023505615A JP2023505615A (ja) | 2023-02-09 |
JP7251003B2 true JP7251003B2 (ja) | 2023-04-03 |
Family
ID=77490742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551385A Active JP7251003B2 (ja) | 2020-02-26 | 2021-02-10 | 細かいしわを有する顔メッシュ変形 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230079478A1 (ja) |
EP (1) | EP4111420A4 (ja) |
JP (1) | JP7251003B2 (ja) |
KR (1) | KR20220159988A (ja) |
CN (1) | CN115023742A (ja) |
AU (1) | AU2021227740A1 (ja) |
CA (1) | CA3169005A1 (ja) |
WO (1) | WO2021171118A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584530B1 (ko) * | 2023-03-06 | 2023-10-04 | 주식회사 메타버즈 | 인체조직 레이어 구축 방식을 활용한 디지털 휴먼 생성방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007265396A (ja) | 2006-03-29 | 2007-10-11 | Mitsubishi Electric Research Laboratories Inc | 顔モデルを生成する方法およびシステム |
CN101826217A (zh) | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
US20180130256A1 (en) | 2016-11-10 | 2018-05-10 | Adobe Systems Incorporated | Generating efficient, stylized mesh deformations using a plurality of input meshes |
US20180188415A1 (en) | 2016-12-29 | 2018-07-05 | Matthias Imhof | Method and System for Interpolating Discontinuous Functions in a Subsurface Model |
CN110610050A (zh) | 2019-09-18 | 2019-12-24 | 中国人民解放军国防科技大学 | 基于改进径向基函数变形算法的翼型气动减阻方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8730231B2 (en) * | 2007-11-20 | 2014-05-20 | Image Metrics, Inc. | Systems and methods for creating personalized media content having multiple content layers |
US8189008B2 (en) * | 2007-12-13 | 2012-05-29 | Daniel John Julio | Color control intuitive touchpad |
KR20120059994A (ko) * | 2010-12-01 | 2012-06-11 | 삼성전자주식회사 | 표정 제어점을 이용한 아바타 제어 장치 및 방법 |
US9082222B2 (en) * | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
US9626808B2 (en) * | 2014-08-01 | 2017-04-18 | Electronic Arts Inc. | Image-based deformation of simulated characters of varied topology |
WO2016161553A1 (en) * | 2015-04-07 | 2016-10-13 | Intel Corporation | Avatar generation and animations |
US10176619B2 (en) * | 2015-07-30 | 2019-01-08 | Intel Corporation | Emotion augmented avatar animation |
-
2021
- 2021-02-10 WO PCT/IB2021/051051 patent/WO2021171118A1/en unknown
- 2021-02-10 KR KR1020227032805A patent/KR20220159988A/ko active IP Right Grant
- 2021-02-10 EP EP21759941.4A patent/EP4111420A4/en active Pending
- 2021-02-10 CA CA3169005A patent/CA3169005A1/en active Pending
- 2021-02-10 JP JP2022551385A patent/JP7251003B2/ja active Active
- 2021-02-10 US US17/801,716 patent/US20230079478A1/en active Pending
- 2021-02-10 CN CN202180011220.2A patent/CN115023742A/zh active Pending
- 2021-02-10 AU AU2021227740A patent/AU2021227740A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007265396A (ja) | 2006-03-29 | 2007-10-11 | Mitsubishi Electric Research Laboratories Inc | 顔モデルを生成する方法およびシステム |
CN101826217A (zh) | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
US20180130256A1 (en) | 2016-11-10 | 2018-05-10 | Adobe Systems Incorporated | Generating efficient, stylized mesh deformations using a plurality of input meshes |
US20180188415A1 (en) | 2016-12-29 | 2018-07-05 | Matthias Imhof | Method and System for Interpolating Discontinuous Functions in a Subsurface Model |
CN110610050A (zh) | 2019-09-18 | 2019-12-24 | 中国人民解放军国防科技大学 | 基于改进径向基函数变形算法的翼型气动减阻方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021171118A1 (en) | 2021-09-02 |
CN115023742A (zh) | 2022-09-06 |
JP2023505615A (ja) | 2023-02-09 |
US20230079478A1 (en) | 2023-03-16 |
EP4111420A1 (en) | 2023-01-04 |
KR20220159988A (ko) | 2022-12-05 |
EP4111420A4 (en) | 2024-04-24 |
CA3169005A1 (en) | 2021-09-02 |
AU2021227740A1 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cao et al. | Facewarehouse: A 3d facial expression database for visual computing | |
Cao et al. | Real-time facial animation with image-based dynamic avatars | |
Ichim et al. | Phace: Physics-based face modeling and animation | |
JP5829371B2 (ja) | モーションキャプチャデータを使用する顔面アニメーション | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
US9196074B1 (en) | Refining facial animation models | |
JP2023526566A (ja) | 高速で深い顔面変形 | |
CN110660076A (zh) | 一种人脸交换方法 | |
JP7335370B2 (ja) | 3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム | |
Song et al. | A generic framework for efficient 2-D and 3-D facial expression analogy | |
US11443473B2 (en) | Systems and methods for generating a skull surface for computer animation | |
CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
US11769309B2 (en) | Method and system of rendering a 3D image for automated facial morphing with a learned generic head model | |
JP7251003B2 (ja) | 細かいしわを有する顔メッシュ変形 | |
Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
KR101780496B1 (ko) | 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법 | |
US20190392653A1 (en) | Method and apparatus for sculpting a 3d model | |
EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
JP2739447B2 (ja) | しわの表現可能な三次元像生成装置 | |
Huang et al. | Detail-preserving controllable deformation from sparse examples | |
Jian et al. | Realistic face animation generation from videos | |
de Aguiar et al. | Rapid animation of laser-scanned humans | |
Ren et al. | Efficient facial reconstruction and real-time expression for VR interaction using RGB-D videos | |
de Carvalho Cruz et al. | A review regarding the 3D facial animation pipeline | |
de Aguiar et al. | Video-driven animation of human body scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220825 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220908 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7251003 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |