JP7142162B2 - 姿勢変動3d顔面属性生成 - Google Patents
姿勢変動3d顔面属性生成 Download PDFInfo
- Publication number
- JP7142162B2 JP7142162B2 JP2021522071A JP2021522071A JP7142162B2 JP 7142162 B2 JP7142162 B2 JP 7142162B2 JP 2021522071 A JP2021522071 A JP 2021522071A JP 2021522071 A JP2021522071 A JP 2021522071A JP 7142162 B2 JP7142162 B2 JP 7142162B2
- Authority
- JP
- Japan
- Prior art keywords
- gan
- map
- texture map
- spatial position
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本出願は、2018年11月13日に出願された米国仮特許出願第62/760,135号および2019年11月4日に出願された米国実用特許出願第16/673,256号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
関連技術の説明
Claims (19)
- 姿勢変動3D顔属性生成のためのシステムであって、
顔の単一の入力画像から3D形状のための空間位置マップとカメラ視点マトリクスとを直接生成するためのハードウェアプロセッサベースの3D回帰ネットワークを具備し、さらに、前記空間位置マップと前記カメラ視点マトリクスとに基づいて、前記単一の入力画像の部分的テクスチャマップをレンダリングするためのレンダリング層を具備する第1のステージと、
3D属性生成GAN(3DA-GAN)と積層されたテクスチャ完了敵対的生成ネットワーク(TC-GAN)を有するハードウェアプロセッサベースの2工程積層敵対的生成ネットワーク(GAN)を具備し、前記TC-GANは、前記部分的テクスチャマップと前記空間位置マップとに基づいて完全なテクスチャマップを形成するために前記部分的テクスチャマップを完了するためのものであり、前記3DA-GANは、前記完全なテクスチャマップと前記空間位置マップとに基づいて前記単一の入力画像のための目標顔属性を生成するためのものである第2のステージとを含み、
複数の顔特徴の頂点の中からの特定の顔特徴の頂点の使用に関するインデックスベクトルが、回帰形状を制約するために使用されるシステム。 - 請求項1に記載のシステムにおいて、
前記部分的テクスチャの表現は、姿勢分散に起因する自己遮蔽に関連するシステム。 - 請求項1に記載のシステムにおいて、
前記姿勢分散に起因する自己遮蔽は、前記単一の入力画像に存在しない顔領域をシミュレートするために使用されるシステム。 - 請求項1に記載のシステムにおいて、
前記目標顔属性に基づいて、人物を認識するための認識ステージをさらに含むシステム。 - 請求項1に記載のシステムにおいて、
前記TC-GANは、前記部分的テクスチャマップと前記空間位置マップとを一緒に処理することによって、前記部分的テクスチャマップを完成させて、前記完全なテクスチャマップを形成するシステム。 - 請求項5に記載のシステムにおいて、
前記TC-GANは、前記部分的テクスチャマップを完成させて、前記部分的テクスチャマップの反転されていないバージョンと反転されたバージョンとを使用して、前記完全なテクスチャマップを形成するシステム。 - 請求項1に記載のシステムにおいて、
前記完全なテクスチャマップと前記空間位置マップとから画像を合成することをさらに含み、前記画像は前記目標顔属性がレンダリングされた前記顔を有するシステム。 - 請求項1に記載のシステムにおいて、
前記システムは、顔認識システムであるシステム。 - 請求項1に記載のシステムにおいて、
前記システムは、顔編集システムであるシステム。 - 請求項1に記載のシステムにおいて、
前記3D回帰ネットワークは、砂時計形状の回帰関数を使用するシステム。 - 請求項1に記載のシステムにおいて、
前記TC-GANおよび前記3DA-GANは、独立した目的を有する機能的に独立したタスクであるシステム。 - 請求項1に記載のシステムにおいて、
前記目標顔属性を使用して、属性摂動外観を含む画像を生成することをさらに含むシステム。 - 請求項12に記載のシステムにおいて、
前記属性摂動外観を含む画像に対して顔認識を実行して、その中の人物を認識することをさらに含むシステム。 - 請求項1に記載のシステムにおいて、
前記レンダリング層は、奥行き閾値を超える奥行きを有する前記顔特徴の頂点が前記部分的テクスチャマップにおいてレンダリングされ、一方、前記奥行き閾値以下の奥行きを有する前記顔特徴の頂点が、前記部分的テクスチャマップにおいて不可視にされるように、前記部分的テクスチャマップをレンダリングするシステム。 - 請求項1に記載のシステムにおいて、
前記TC-GANは、畳み込み層と、それに続くバッチ正規化層と、それに続くRectified Linear Unit層とを含むシステム。 - 請求項1に記載のシステムにおいて、
前記TC-GANは、エンコーダと、前記エンコーダの第1のブロックがデコーダの最後のブロックと接続されるようにスキップリンクによって接続されたデコーダとを有するエンコーダ-デコーダ構造体を有するシステム。 - 姿勢変動3D顔属性生成のためのコンピュータで実施する方法であって、
3D回帰ネットワークを使ったハードウェアプロセッサによって、顔の単一の入力画像から3D形状のための空間位置マップとカメラ視点マトリクスとを直接生成することと、
レンダリング層を使ったハードウェアプロセッサによって、前記空間位置マップと前記カメラ視点マトリクスとに基づいて、前記単一の入力画像の部分的テクスチャマップをレンダリングすることと、
テクスチャ完了敵対的生成ネットワーク(TC-GAN)を使ったハードウェアプロセッサによって、前記部分的テクスチャマップと前記空間位置マップとに基づいて完全なテクスチャマップを形成するために前記部分的テクスチャマップを完了することと、
3D属性生成GAN(3DA-GAN)を使ったハードウェアプロセッサによって、前記完全なテクスチャマップと前記空間位置マップとに基づいて前記単一の入力画像のための目標顔属性を生成することとを含み、
複数の顔特徴の頂点の中からの特定の顔特徴の頂点の使用に関するインデックスベクトルが、回帰形状を制約するために使用される方法。 - 請求項17に記載のコンピュータで実施する方法において、
前記3D回帰ネットワークおよび前記レンダリング層は、第1のステージを形成し、前記TC-GANおよび前記3DA-GANは、2工程積層GANを有する第2のステージ を形成するコンピュータで実施する方法。 - 姿勢変動3D顔属性生成のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品はそれとともに実施されるプログラム命令を有する非一時的なコンピュータ可読記憶媒体を備え、前記コンピュータ命令は方法を前記コンピュータによって実行可能であり、前記方法は、
3D回帰ネットワークを使ったハードウェアプロセッサによって、顔の単一の入力画像から3D形状のための空間位置マップとカメラ視点マトリクスとを直接生成することと、
レンダリング層を使ったハードウェアプロセッサによって、前記空間位置マップと前記カメラ視点マトリクスとに基づいて、前記単一の入力画像の部分的テクスチャマップをレンダリングすることと、
テクスチャ完了敵対的生成ネットワーク(TC-GAN)を使ったハードウェアプロセッサによって、前記部分的テクスチャマップと前記空間位置マップとに基づいて完全なテクスチャマップを形成するために前記部分的テクスチャマップを完了することと、
3D属性生成GAN(3DA-GAN)を使ったハードウェアプロセッサによって、前記完全なテクスチャマップと前記空間位置マップとに基づいて前記単一の入力画像のための目標顔属性を生成することとを含み、
複数の顔特徴の頂点の中からの特定の顔特徴の頂点の使用に関するインデックスベクトルが、回帰形状を制約するために使用されるコンピュータプログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862760135P | 2018-11-13 | 2018-11-13 | |
US62/760,135 | 2018-11-13 | ||
US16/673,256 US10991145B2 (en) | 2018-11-13 | 2019-11-04 | Pose-variant 3D facial attribute generation |
US16/673,256 | 2019-11-04 | ||
PCT/US2019/059960 WO2020101960A1 (en) | 2018-11-13 | 2019-11-06 | Pose-variant 3d facial attribute generation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022505657A JP2022505657A (ja) | 2022-01-14 |
JP7142162B2 true JP7142162B2 (ja) | 2022-09-26 |
Family
ID=70551911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522071A Active JP7142162B2 (ja) | 2018-11-13 | 2019-11-06 | 姿勢変動3d顔面属性生成 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10991145B2 (ja) |
JP (1) | JP7142162B2 (ja) |
DE (1) | DE112019005672T5 (ja) |
WO (1) | WO2020101960A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102366777B1 (ko) * | 2019-04-01 | 2022-02-24 | 한국전자통신연구원 | 도메인 적응 기반 객체 인식 장치 및 그 방법 |
EP3956807A1 (en) * | 2019-05-13 | 2022-02-23 | Huawei Technologies Co., Ltd. | A neural network for head pose and gaze estimation using photorealistic synthetic data |
CN110321872B (zh) * | 2019-07-11 | 2021-03-16 | 京东方科技集团股份有限公司 | 人脸表情识别方法及装置、计算机设备、可读存储介质 |
US11386633B2 (en) * | 2020-06-13 | 2022-07-12 | Qualcomm Incorporated | Image augmentation for analytics |
CN111899328B (zh) * | 2020-07-10 | 2022-08-09 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
CN112199603B (zh) * | 2020-12-07 | 2021-03-09 | 平安科技(深圳)有限公司 | 基于对抗网络的信息推送方法、装置及计算机设备 |
CN112734910A (zh) * | 2021-01-05 | 2021-04-30 | 厦门美图之家科技有限公司 | 基于rgb单图实时人脸三维图像重建方法、装置及电子设备 |
US11663775B2 (en) * | 2021-04-19 | 2023-05-30 | Adobe, Inc. | Generating physically-based material maps |
US20220374649A1 (en) * | 2021-05-20 | 2022-11-24 | Disney Enterprises, Inc. | Face swapping with neural network-based geometry refining |
CN113420866B (zh) * | 2021-06-23 | 2022-10-11 | 新疆大学 | 基于双重生成对抗网络的评分预测方法 |
CN113808277B (zh) * | 2021-11-05 | 2023-07-18 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及相关装置 |
CN117876609B (zh) * | 2024-03-11 | 2024-05-24 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015162012A (ja) | 2014-02-26 | 2015-09-07 | 沖電気工業株式会社 | 顔照合装置及び顔照合方法並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3475920A4 (en) * | 2016-06-23 | 2020-01-15 | Loomai, Inc. | SYSTEMS AND METHODS FOR GENERATING HUMAN HEAD COMPUTER-BASED ANIMATION MODELS FROM CAPTURED DATA IMAGES |
JP6732668B2 (ja) * | 2017-01-26 | 2020-07-29 | ヤフー株式会社 | 抽出装置、抽出方法及び抽出プログラム |
US10474880B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Face recognition using larger pose face frontalization |
US10607319B2 (en) * | 2017-04-06 | 2020-03-31 | Pixar | Denoising monte carlo renderings using progressive neural networks |
KR101906431B1 (ko) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | 2d 이미지 인식에 기반한 3d 모델링 방법 및 그 시스템 |
CN109427080A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 快速生成大量复杂光源人脸图像的方法 |
US10586370B2 (en) * | 2018-01-08 | 2020-03-10 | Facebook Technologies, Llc | Systems and methods for rendering avatars with deep appearance models |
US10796476B1 (en) * | 2018-08-31 | 2020-10-06 | Amazon Technologies, Inc. | Self-supervised bootstrap for single image 3-D reconstruction |
-
2019
- 2019-11-04 US US16/673,256 patent/US10991145B2/en active Active
- 2019-11-06 DE DE112019005672.7T patent/DE112019005672T5/de active Pending
- 2019-11-06 WO PCT/US2019/059960 patent/WO2020101960A1/en active Application Filing
- 2019-11-06 JP JP2021522071A patent/JP7142162B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015162012A (ja) | 2014-02-26 | 2015-09-07 | 沖電気工業株式会社 | 顔照合装置及び顔照合方法並びにプログラム |
Non-Patent Citations (7)
Title |
---|
Aaron S. Jackson;Adrian Bulat;Vasileios Argyriou;Georgios Tzimiropoulos,Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression,2017 IEEE International Conference on Computer Vision,IEEE,2017年,pp.1031-1039,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8237379 |
Douglas M. Souza; Duncan D. Ruiz,GAN-Based Realistic Face Pose Synthesis with Continuous Latent Code,PROCEEDINGS OF THE THIRTY-FIRST INTERNATIONAL FLORIDA ARTIFICIAL INTELLIGENCE RESEARCH SOCIETY CONFERENCE,AAAI Press,2018年05月23日,pp.110-115,https://repositorio.pucrs.br/dspace/bitstream/10923/15241/2/GAN_Based_Realistic_Face_Pose_Synthesis_with_Continuous_Latent_Code.pdf |
Jiankang Deng;Shiyang Cheng;Niannan Xue;Yuxiang Zhou;Stefanos Zafeiriou,UV-GAN: Adversarial Facial UV Map Completion for Pose-Invariant Face Recognition,arXiv:1712.04695v1,2017年12月13日,pp.1-9 |
Xun Huang;Yixuan Li;Omid Poursaeed;John Hopcroft;Serge Belongie,Stacked Generative Adversarial Networks,2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),IEEE,2017年,pp.1866-1875,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8099685 |
Yunjey Choi;Minje Choi;Munyoung Kim;Jung-Woo Ha;Sunghun Kim;Jaegul Choo,StarGAN: Unified Generative Adversarial Networks for Multi-domain Image-to-Image Translation,arXiv:1711.09020v3[cs.CV],2018年09月21日,P.1-15,https://arxiv.org/pdf/1711.09020.pdf |
Zhenliang He;Wangmeng Zuo;Meina Kan;Shiguang Shan;Xilin Chen,AttGAN: Facial Attribute Editing by Only Changing What You Want,arXiv:1711.10678v3[cs.CV],2018年07月25日,P.1-16,https://arxiv.org/pdf/1711.10678.pdf |
馬場口 登,メディアクローン攻撃を防御するコミュニケーション系,電子情報通信学会技術研究報告 Vol.116 No.497,日本,一般社団法人電子情報通信学会,2017年02月27日,CQ2016-115 (2017-03),P.25-30 |
Also Published As
Publication number | Publication date |
---|---|
DE112019005672T5 (de) | 2021-08-05 |
WO2020101960A1 (en) | 2020-05-22 |
US10991145B2 (en) | 2021-04-27 |
US20200151940A1 (en) | 2020-05-14 |
JP2022505657A (ja) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7142162B2 (ja) | 姿勢変動3d顔面属性生成 | |
US10896535B2 (en) | Real-time avatars using dynamic textures | |
US10878612B2 (en) | Facial image replacement using 3-dimensional modelling techniques | |
Karni et al. | Energy‐based image deformation | |
CN115100339B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
CN113327278B (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
US9367943B2 (en) | Seamless fracture in a production pipeline | |
US11222466B1 (en) | Three-dimensional geometry-based models for changing facial identities in video frames and images | |
CN112785674A (zh) | 纹理贴图的生成方法、渲染方法、装置、设备及存储介质 | |
CN112233212A (zh) | 人像编辑与合成 | |
JP7244810B2 (ja) | 単色画像及び深度情報を使用した顔テクスチャマップ生成 | |
CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
US11010939B2 (en) | Rendering of cubic Bezier curves in a graphics processing unit (GPU) | |
Duan et al. | Bakedavatar: Baking neural fields for real-time head avatar synthesis | |
US9275487B1 (en) | System and method for performing non-affine deformations | |
US20230082839A1 (en) | Rendering scalable raster content | |
Lee et al. | Holistic 3D face and head reconstruction with geometric details from a single image | |
CN115035224A (zh) | 图像处理和重构图像生成的方法和装置 | |
Metzer et al. | Z2p: Instant visualization of point clouds | |
Chu et al. | Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors | |
CN116012666B (zh) | 图像生成、模型的训练、信息重建方法、装置及电子设备 | |
US11776179B2 (en) | Rendering scalable multicolored vector content | |
CN110335335A (zh) | 用于球面投影的均匀密度立方体贴图渲染 | |
CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 | |
CN115953553B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7142162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |