KR20210002888A - 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 - Google Patents
2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR20210002888A KR20210002888A KR1020190078712A KR20190078712A KR20210002888A KR 20210002888 A KR20210002888 A KR 20210002888A KR 1020190078712 A KR1020190078712 A KR 1020190078712A KR 20190078712 A KR20190078712 A KR 20190078712A KR 20210002888 A KR20210002888 A KR 20210002888A
- Authority
- KR
- South Korea
- Prior art keywords
- mesh model
- face
- dimensional
- mesh
- avatar
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000002156 mixing Methods 0.000 claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 claims description 17
- 230000003796 beauty Effects 0.000 claims description 14
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 210000004209 hair Anatomy 0.000 description 24
- 210000001331 nose Anatomy 0.000 description 20
- 210000000214 mouth Anatomy 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241000220645 Leonotis nepetifolia Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- 235000010254 Jasminum officinale Nutrition 0.000 description 1
- 240000005385 Jasminum sambac Species 0.000 description 1
- 206010033546 Pallor Diseases 0.000 description 1
- 241000542420 Sphyrna tudes Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000024963 hair loss Diseases 0.000 description 1
- 230000003676 hair loss Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일 양태는 2차원 이미지로부터 3차원의 아바타를 생성하는 방법을 개시하고 있다. 상기 방법은, 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하는 단계, 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하는 단계, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하는 단계, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하는 단계, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델을 사용자 입력에 의해 결정하는 단계(상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐), 상기 제 1 메시 모델과 상기 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 단계 및 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 단계를 포함한다.
Description
본 발명은 애니메이션 이미지를 생성하는 방법에 관한 것으로, 보다 상세하게는, 카메라 이미지를 기반으로 컴퓨터 기반의 애니메이션 이미지를 생성하는 방법에 관한 것이다.
최근 스마트 폰의 보급에 따라 카메라 촬영을 통해 재미를 추구하는 엔터테인먼트(entertainment) 요소를 담은 카메라 애플리케이션이 다양해지고 있다. 특히, 스마트 폰 중 일부에서 촬영된 피사체에 포함된 얼굴을 애니메이션(animation)화하여 아바타(avartar)로 생성하는 애플리케이션이 다양하게 개발되고 있다.
종래 아바타 생성 애플리케이션에 따르면, 이미지를 선택하여 선택된 이미지와 가장 유사하게 생긴 아바타를 생성하는 형태로 동작한다. 하지만, 종래 아바타 생성 애플리케이션들은 단순히 한 장의 이미지에 의존하여 아바타를 생성하기 때문에, 아바타 생성 자체에 어려움이 있고, 이로 인해 이미지 상의 인물과 닮지 않는 아바타 또는 얼굴의 특징을 제대로 담지 못하고 대부분 비슷한 형태의 아바타를 출력하는 문제점이 있다. 이는 결국 그 재미를 반감시키는 문제를 야기한다. 또한, 얼굴 내에서 얼굴의 특징을 잡아주는 랜드마크(landmark)와 연동이 잘 이루어지지 않아 생성된 아바타의 움직임이 부자연스러운 문제점도 가지고 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 얼굴을 포함하는 이미지에서 얼굴의 메시 토폴로지(mesh topology)를 추출하여 추출된 메시를 갖는 제 1 메시 모델과, 제 1 메시 모델과 동일한 메시 토폴로지를 갖으면서 뷰티 또는 애니메이션 캐릭터가 강조된 제 2 메시 모델을 합성함에 따라, 자신과 닮으면서도 뷰티 및 캐릭터의 성격이 드러나는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 방법은, 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하는 단계, 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하는 단계, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하는 단계, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하는 단계, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델을 사용자 입력에 의해 결정하는 단계(상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐), 상기 제 1 메시 모델과 상기 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 단계 및 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 단계를 포함할 수 있다.
상기 제 1 메시 모델은 상기 검출된 랜드마크의 위치 관계를 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델와 대비하여 분석함에 의해 생성된 분석 결과를 기반으로 생성될 수 있다.
상기 3차원의 아바타 생성 방법은, 상기 제 1 메시 모델에 상기 사용자의 입력에 의해 상기 얼굴 내의 특정 부위의 크기를 조절하는 블렌드 쉐이프(blend shape)를 적용하는 단계를 더 포함할 수 있다.
상기 3차원의 아바타 생성 방법은, 상기 2차원 이미지가 연속적인 이미지를 포함하는 동영상 이미지일 때, 상기 동영상 이미지에서의 상기 얼굴 내의 특정 부위의 변형을 감지하여 블렌드 쉐이프의 기정의된 룰(rule)에 따라 그에 대응하는 변형을 상기 제 1 메시 모델 또는 상기 3차원 아바타에 적용하는 단계를 더 포함할 수 있다.
상기 블렌드 쉐이프의 기정의된 룰은 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델의 평균 얼굴 메시 모델을 대상으로 정의될 수 있다.
상기 블렌드 쉐이프의 기정의된 룰은 특정 동작 또는 상태에 대응되는 넘버로 정의될 수 있다.
상기 제 2 메시 모델은 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델의 평균 얼굴 메시 토폴로지와 동일한 메시 토폴로지를 가지고, 그리고 뷰티(beuaty)를 강조한 모델 또는 애니메이션 캐릭터 모델 중 적어도 하나일 수 있다.
상기 제 2 메시 모델은, 복수 개의 제 2 메시 모델 후보를 표시하고, 상기 표시된 복수 개의 제 2 메시 모델 후보 중 하나를 상기 사용자 입력을 통해 선택받음에 의해 결정될 수 있다.
상기 데이터베이스는 PCA(Principal Component Analysis)와 연관된 데이터베이스를 포함할 수 있다.
상기 제 1 메시 모델에는 제 1 가중치를 부여하고, 상기 제 2 메시 모델에는 제 2 가중치를 부여하여 블렌딩을 수행할 수 있다.
상기 제 1 가중치 및 상기 제 2 가중치 중 적어도 하나는 사용자 입력에 의해 결정될 수 있다.
상기 3차원의 아바타 생성 방법은, 상기 2차원 이미지로부터 딥러닝을 이용하여 상기 얼굴의 세부 특징을 나타내는 얼굴 속성 정보를 검출하는 단계 및 상기 검출된 얼굴 속성 정보에 대응하는 시각적 표현을 상기 3차원 아바타에 적용하는 단계를 더 포함할 수 있다.
상기 얼굴 속성 정보는 상기 얼굴의 머리, 안경, 수염, 눈썹, 눈, 입, 코, 피부, 표정, 및 턱 중 적어도 하나와 관련된 속성을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 장치는, 프로세서(processor)의 동작과 관련된 명령어를 저장하는 메모리 및 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하고, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 입력에 의해 결정하며, 상기 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하고, 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 프로세서를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 시스템은, 사람의 얼굴이 캡쳐된 2차원 이미지를 선택하고, 상기 선택된 2차원 이미지 내의 상기 얼굴을 기반으로 하는 3차원 아바타의 생성을 서버로 요청하는 사용자 단말 및 상기 사용자 단말로부터 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하고, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 단말로부터의 선택 신호에 의해 결정하며, 상기 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하고, 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 서버를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 방법은, 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하는 단계, 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하는 단계, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하는 단계, 상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하는 단계, 상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델을 사용자 입력에 의해 결정하는 단계(상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐) 및 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 장치는, 프로세서(processor)의 동작과 관련된 명령어를 저장하는 메모리 및 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하고, 상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 입력에 의해 결정하며, 상기 변형된 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 프로세서를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 2차원 이미지로부터 3차원의 아바타를 생성하는 시스템은, 사람의 얼굴이 캡쳐된 2차원 이미지를 선택하고, 상기 선택된 2차원 이미지 내의 상기 얼굴을 기반으로 하는 3차원 아바타의 생성을 서버로 요청하는 사용자 단말 및 상기 사용자 단말로부터 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하고, 상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 단말로부터의 선택 신호에 의해 결정하며, 상기 변형된 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 서버를 포함할 수 있다.
본 발명의 2차원 이미지로부터 3차원의 아바타를 생성하는 방법에 따르면, 사용자가 자신과 매우 닮음과 동시에 뷰티 및 캐릭터의 특징도 부각되는 재미난 아바타를 생성하여 보여줌으로써 사용자의 엔터테인먼트 요소를 극대화시키고 그에 따라 애플리케이션의 이용빈도를 제고시켜 애플리케이션과 결합된 컨텐츠를 부각시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 아바타 생성 방법이 적용되는 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 3차원 아바타 생성 방법을 설명하기 위한 블록도,
도 3은 두 번의 뷰티피케이션(beautification) 엔진의 동작을 설명하기 위한 개념도,
도 4는 랜드마크 추출 및 그에 따른 메시 생성 과정을 설명하기 위한 개념도,
도 5는 제 1 메시 모델과 제 2 메시 모델을 블렌딩하는 과정을 설명하기 위한 개념도,
도 6a 내지 도 6b는 얼굴 속성 정보의 세부 내역을 예시적으로 나타낸 도면,
도 7은 얼굴 속성 정보의 수염모양 속성을 설명하기 위한 도면,
도 8은 얼굴 속성 정보의 눈썹모양 속성을 설명하기 위한 도면,
도 9는 얼굴 속성 정보의 머리모양 속성을 설명하기 위한 도면,
도 10은 얼굴 속성 정보의 얼굴모양 속성을 설명하기 위한 도면,
도 11a 내지 도 11b는 샘플 이미지에서 얼굴 속성 정보 예측의 결과를 나타낸 도면,
도 12는 제 1 메시 모델과 제 2 메시 모델의 합성에 얼굴 속성 정보와 텍스쳐 정보를 추가하여 최종 3차원 아바타를 생성하는 과정을 예시적으로 나타낸 개념도,
도 13은 블렌드 쉐이프 정보를 통해 얼굴의 움직임을 3차원 아바타에 적용하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 아바타 생성 방법을 설명하기 위한 블록도,
도 3은 두 번의 뷰티피케이션(beautification) 엔진의 동작을 설명하기 위한 개념도,
도 4는 랜드마크 추출 및 그에 따른 메시 생성 과정을 설명하기 위한 개념도,
도 5는 제 1 메시 모델과 제 2 메시 모델을 블렌딩하는 과정을 설명하기 위한 개념도,
도 6a 내지 도 6b는 얼굴 속성 정보의 세부 내역을 예시적으로 나타낸 도면,
도 7은 얼굴 속성 정보의 수염모양 속성을 설명하기 위한 도면,
도 8은 얼굴 속성 정보의 눈썹모양 속성을 설명하기 위한 도면,
도 9는 얼굴 속성 정보의 머리모양 속성을 설명하기 위한 도면,
도 10은 얼굴 속성 정보의 얼굴모양 속성을 설명하기 위한 도면,
도 11a 내지 도 11b는 샘플 이미지에서 얼굴 속성 정보 예측의 결과를 나타낸 도면,
도 12는 제 1 메시 모델과 제 2 메시 모델의 합성에 얼굴 속성 정보와 텍스쳐 정보를 추가하여 최종 3차원 아바타를 생성하는 과정을 예시적으로 나타낸 개념도,
도 13은 블렌드 쉐이프 정보를 통해 얼굴의 움직임을 3차원 아바타에 적용하는 방법을 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3차원 아바타 생성 방법이 적용되는 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 아바타 생성을 위한 시스템은 사용자 단말(110), 네트워크(120), 3차원 모델 생성 장치(130) 및 데이터베이스(135)를 포함할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 아바타 생성과 관련된 알고리즘은 사용자 단말(110) 및/또는 3차원 모델 생성 장치(130)에서 실행될 수 있다. 아바타란 2차원 이미지 내의 특정 인물과 닮은 3차원의 애니메이션 모델을 나타낸다.
먼저, 사용자 단말(110)은 카메라를 포함할 수 있다. 또는, 얼굴을 포함하는 2차원 이미지를 저장하고 있을 수 있다. 사용자 단말(110)은 카메라를 통해 촬영된 2차원 이미지 또는 타 장치로부터 획득된 2차원 이미지로부터 3차원 아바타를 생성할 수 있다. 이와 관련하여, 제 1 실시예는 사용자 단말(110)에서 직접 3차원 아바타를 생성하는 것이다. 제 2 실시예는 사용자 단말(110)이 특정 2차원 이미지를 선택하여 3차원 아바타의 생성을 요청함에 대응하여, 3차원 모델 생성장치(130) 및 데이터베이스(135)가 3차원 아바타를 생성한 후, 사용자 단말(110)로 반환하는 것이다. 이 경우, 3차원 모델 생성 장치(130)는 서버급 단말일 수 있고("서버"라 불릴 수 있음), 네트워크(120)를 통해 연결된 다수의 사용자 단말들(110)로부터의 요청을 처리할 수 있다.
제 1 실시예에 따르면, 사용자 단말(110)은, 적어도 디스플레이, 및 소셜 메시징 시스템, 다른 사용자 단말, 및 서버(130)에 액세스하기 위한 네트워크(120)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 사용자 단말(110)은 "장치"라고 불릴 수 있다. 사용자 단말(110)은, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 웨어러블 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전 제품, 게임 콘솔, 셋탑 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되는 것은 아니다. 사용자는 사람, 머신, 또는 사용자 단말(110)과 상호작용하는 기타의 수단일 수 있다. 일부 실시예에서, 사용자는 사용자 단말(110)을 통해 소셜 메시징 시스템과 상호작용한다. 사용자는 네트워킹된 환경의 일부가 아닐 수 있지만, 사용자 단말(110)과 연관될 수 있다.
사용자 단말(110)은 프로세서 및 스토리지(또는 "메모리"라고 불릴 수 있음)를 포함할 수 있다. 스토리지는 입력된 2차원 이미지에 포함된 얼굴과 관련된 메시 생성을 위해 다양한 기본 얼굴 모델에 대한 정보가 저장되어 있다. 사용자 단말의 프로세서는 스토리지에 저장된 기본 얼굴 모델로부터 획득된 메시 토폴로지를 이용하여 입력 2차원 이미지에 포함된 얼굴과 관련된 제 1 메시 모델을 생성한다. 그리고, 뷰티 및 캐릭터가 강조된, 동일 메시 토폴로지의 제 2 메시 모델과 블렌딩하여 3차원 아바타를 생성한다. 이때, 2차원 이미지로부터 획득된 얼굴 텍스처 정보와 얼굴 속성 정보를 추가로 적용하여 최종 3차원 아바타를 생성할 수 있다.
제 2 실시예에서는, 2차원 입력 이미지의 선택이 사용자 단말(110)을 통해 이루어진다. 그리고는, "아바타 생성 아이콘"을 눌러 서버(130)로 3차원 아바타 생성 요청을 네트워크(120)를 통해 전송한다. 그러면, 서버(130)는 입력된 2차원 이미지로부터 얼굴을 추출하고, 추출된 얼굴로부터 랜드마크를 추출한다. 그리고는, 랜드마크를 이용하여 제 1 메시 모델을 생성한다. 그리고, 제 2 메시 모델의 선택을 위해 다수의 후보 제 2 메시 모델을 사용자 단말(110)로 제공한다. 사용자 단말(110)은 디스플레이 수단을 통해 후보 제 2 메시 모델을 표시하고, 사용자 입력을 입력받는다. 후보 제 2 메시 모델들 중 하나가 선택되면, 서버(130)는 이를 제 1 메시 모델과 블렌딩하여 3차원 아바타를 생성한다. 그리고는, 2차원 입력 이미지의 얼굴로부터 획득된 텍스처 정보와 얼굴 속성 정보를 이용하여 3차원 아바타를 변형함에 의해 최종 3차원 아바타를 생성하여 사용자 단말(110)로 제공한다. 이때, 데이터베이스(135)는 제 1 실시예의 스토리지와 유사한 기능을 수행한다. 즉, 데이터베이스(135)에는 다수의 기본 얼굴 모델이 저장되어 있을 수 있고, 이를 통해 생성된 얼굴 평균 모델 정보 및/또는 메시 토폴로지와 관련된 정보가 저정되어 있을 수 있다.
본 발명의 실시예에 따르면, 데이터베이스 및/또는 스토리지는 PCA(Principal Component Analysis)와 연관된 데이터베이스 및/또는 스토리지를 포함할 수 있다. PCA(Principal Component Analysis)는 다차원 데이터(변수가 여러 개인 데이터)를 차원 축소하기 위한 기법으로, 차원을 축소했을 때, 최대한 많은 정보를 볼 수 있는 형태의 값들로 변환시켜 주는 방식이다.
이하, 설명은 제 1 실시예를 기반으로 설명하나, 이러한 기술적 특징이 제 2 실시예에도 적용될 수 있음은 본 발명의 기술분야의 통상의 기술자에게는 자명한 것이다.
도 2는 본 발명의 일 실시예에 따른 3차원 아바타 생성 방법을 설명하기 위한 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 아바타 생성방법을 실행하는 장치는, 얼굴 정보 추출 모듈(210), 제 1 메시 생성 모듈(212), 제 2 메시 생성 모듈(214) 및 블렌딩 모듈(216)을 포함하는 프로세서와 스토리지(250)를 포함할 수 있다.
도 2를 참조하면, 얼굴 정보 추출 모듈(210)은 입력된 2차원 이미지로부터 랜드마크 정보(202), 텍스쳐 정보(204) 및 얼굴 속성 정보(206)를 획득한다. 랜드마크는 얼굴을 특징짓는 다수의 포인트들로 기저장된 추출 알고리즘에 의해 정의된다.
제 1 메시 생성 모듈(212)은 추출된 랜드마크를 이용하여 얼굴의 3차원 기하학적 특징을 나타내는 메시 토폴로지를 적용함에 의해 제 1 메시 모델(208)을 생성한다. 메시 토폴로지는 얼굴을 구성하는 필수 구성요소들 사이의 기하학적 구조들의 배열을 정의한 것이다. 예컨대, 메시 토폴로지는 좌측 눈 코너 랜드마크와 우측 눈 코너 랜드마크 그리고, 코의 탑 부분의 랜드마크를 잇는 다각형 1, 코의 탑 지점 랜드마크, 콧망울 지점 랜드마크, 및 코 좌측/우측 코너 지점 랜드마크를 잇는 다각형 2와 같이 랜드마크를 통해 직접 생성되는 다각형들뿐만 아니라, 랜드마크 기반의 다각형의 적어도 하나의 모서리를 특정 비율로 분할하여 생성되는 다수의 다각형들을 이용하여 정의되는 얼굴의 기하학적 구조이다. 이는 스토리지(250)에 기저장된 다수의 기본 얼굴 모델들의 분석 결과를 통해 결정된다. 메시 토폴로지가 동일하다면, 모든 또는 대부분의 입력 얼굴 이미지를 메시 모델로 생성한 후, 동일 메시 토폴로지를 갖는 다른 메시 모델에 적용하여 입력된 얼굴 이미지의 특성을 갖는 다른 메시 모델을 생성할 수 있다.
얼굴 정보 추출 모듈(210)은 얼굴의 피부 질감을 나타내는 텍스쳐 정보(204)를 획득한다. 이는 얼굴 전체에 영향을 미치는 하나의 텍스쳐 정보(204)로 획득될 수도 있고, 얼굴의 부위별로 다른 다수의 텍스쳐 정보(204)로 획득될 수도 있다.
또한, 얼굴 정보 추출 모듈(210)은 얼굴 속성 정보(206)를 획득한다. 이는 머리, 수염, 눈썹, 턱의 형태, 색상 등의 속성을 나타내는 정보로 기정의된 다양한 속성에 대한 정보를 포함한다. 이는 도 6a 내지 도 11b를 통해 보다 상세히 설명한다. 추출된 텍스쳐 정보(204)와 얼굴 속성 정보(206)는 블렌딩 모듈(216)에서 제 1 메시 모델(208), 제 2 메시 모델(209) 또는 이를 이용하여 블렌딩된 아바타 중 적어도 하나에 적용된다.
제 1 메시 모델(208)을 생성하고 나면, 제 2 메시 생성 모듈(214)은 스토리지에 저장된 다수의 기본 얼굴 모델로부터 평균 얼굴 모델(252: mean face model)을 획득하여, 이를 기반으로 다수의 후보 제 2 메시 모델을 생성할 수 있다. 그리고는, 생성된 후보 제 2 메시 모델을 디스플레이 수단을 통해 사용자에게 보여준다. 사용자는 후보 제 2 메시 모델 중 하나를 선택하여 제 1 메시 모델과 블렌딩할 제 2 메시 모델을 결정한다.
후보 제 2 메시 모델들은 제 1 메시 모델과 동일한 메시의 수를 가지며, 그 토폴로지도 동일할 수 있다. 본 발명의 실시예에 따르면, 후보 제 2 메시 모델들은 뷰티 및 캐릭터를 강조한 모델일 수 있다. 예컨대, 후보 제 2 메시 모델들은 평균 얼굴 모델의 메시 토폴로지와 동일한 메시 토폴로지를 갖되, 눈이 큰 것이 강조된 모델, 코가 높은 것이 강조된 모델, 입이 원형이 것이 강조된 모델, 얼굴형이 갸름한 것이 강조된 모델, 또는 상기한 모델들 중 적어도 둘을 블렌딩한 모델을 포함할 수 있다. 또한, 예쁘다는 것으로 유명한 배우, 가수, 그 밖의 연예인들의 얼굴을 기반으로 생성된 메시 모델도 제 2 메시 모델의 후보가 될 수 있다. 또한, 애니메이션 캐릭터들도 제 2 메시 모델의 후보가 될 수 있다. 예컨대, 겨울왕국의 엘사, 또는, 인어공주, 백설공주, 쟈스민 등의 애니메이션 캐릭터들에 평균 메시 토폴로지를 적용한 것이 제 2 메시 모델 후보가 될 수 있다. 이러한 후보들 중 하나의 사용자 선택을 받아 블렌딩에 실제 사용되는 제 2 메시 모델(209)을 결정한다.
블렌딩 모듈(206)은 제 1 메시 모델(208)과 제 2 메시 모델(209)을 블렌딩한다. 이때, 블렌딩 비율을 기 저장된 비율로 결정한다. 디폴트 값으로 1:1의 블렌딩 비율이 설정되어 있을 수 있겠으나, 사용자 설정의 변경을 통해 2:1, 3:1, 4:1, 5:1, 1:2, 1:3, 1:4, 1:5 등의 비율도 적용가능하다. 또한, 블렌딩 모듈(206)은 제 1 메시 모델(208), 제 2 메시 모델(209) 및/또는 이를 블렌딩한 아바타에 텍스쳐 정보(204)를 통해 획득된 텍스쳐 정보를 전체적으로 또는 부위별로 적용하여 최종 3차원 아바타(230)을 생성한다. 또한, 제 1 메시 모델(208), 제 2 메시 모델(209) 및/또는 이를 블렌딩한 아바타에 얼굴 속성 정보(206)를 적용하여 최종 3차원 아바타(230)을 생성한다.
도 3은 두 번의 뷰티피케이션(beautification) 엔진의 동작을 설명하기 위한 개념도이다.
도 3을 참조하면, 장치가 얼굴이 포함된 2차원 이미지를 입력받으면(S310), 입력된 이미지에서 얼굴의 랜드마크를 추출한다(S320), 이때, 2차원 기반 랜드마크 뷰티피케이션 엔진(302: 2D-based landmark beautification engine)은 추출된 랜드마크를 기반으로 2차원 기반의 뷰티피케이션을 수행할 수 있다. 예컨대, 추출된 랜드마크 중 눈과 관련된 랜드마크를 이용하여 눈의 크기를 늘리는 방식, 눈의 위치를 조정하는 방식, 얼굴 윤곽을 변경하는 방식 등의 2차원 이미지 변형을 통해 뷰티피케이션을 수행할 수 있다. 이를 1차 뷰티피케이션 단계(S330)로 정의할 수 있다.
그리고는, 3D 기반 뷰티피케이션 엔진(304)은 1차 뷰티피케이션이 적용된 얼굴에 메시를 적용하여 제 1 메시 모델을 생성한다. 즉, 앞선 도 2의 실시예에서 제 1 메시 모델의 입력 전에 한 번의 2차원 기반 뷰티피케이션이 선행될 수 있다. 이후에는, 앞서 설명한 바와 같이, 1차 뷰티피케이션이 적용된 얼굴을 기반으로 생성된 제 1 메시 모델을 뷰티 및 캐릭터가 강조된 제 2 메시 모델과 블렌딩하여 최종적으로 3차원 아바타를 생성한다. 이를 2차 뷰티피케이션 단계(S340)로 정의할 수 있다. 즉, 장치는 2차원 이미지 변형을 통해 1차적 뷰티피케이션을, 3차원 메시 토폴로지를 이용하여 2차적 뷰티피케이션을 수행할 수 있다.
도 4는 랜드마크 추출 및 그에 따른 메시 생성 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, 장치는 이미지의 얼굴에서 랜드마크를 추출한다. 이때, 추출되는 랜드마크는 눈썹, 눈, 코, 입, 귀, 그리고, 얼굴의 윤곽선을 나타내는 지점들 중 적어도 하나를 포함한다. 이러한 랜드마크를 기반으로, 스토리지에 저장된 얼굴 모델의 분석 결과를 토대로 생성된 메시 토폴로지를 적용하여 제 1 메시 모델을 출력한다. 메시 토폴로지 다음과 같이 생성된다. 먼저, 얼굴을 특징짓는 다수의 점(예컨대, 얼굴 윤곽을 이루는 점, 및/또는 눈, 코, 입과 같은 얼굴 구성요소의 윤곽을 이루는 점 등)을 버텍스(vertex)로 규정하고, 규정된 버텍스를 합쳐서 직선을 구성하며, 직선들이 합쳐 이루는 다각형의 구조 및 배열을 메시 토폴로지로 정의한다. 추출된 랜드마크 정보는 좌표로 표현될 수 있고, 랜드마크의 좌표를 메시 토폴로지의 규정된 버텍스에 매칭시켜, 랜드마크가 적용된 메시 모델을 생성한다. 이때, 장치는 입력 이미지의 얼굴이 남성인지 여성인지를 판별하여 판별된 성별에 대응하는 메시 토폴로지를 적용할 수 있다.
도 5는 제 1 메시 모델과 제 2 메시 모델을 블렌딩하는 과정을 설명하기 위한 개념도이다.
도 5를 참조하면, 장치는 도 4의 출력 모델을 생성하는 과정과 동일하게, 입력 이미지의 얼굴(510)의 랜드마크를 이용하여 제 1 메시 모델(520)을 출력한다. 그리고는, 장치는, 제 1 메시 모델(520)의 눈을 크게 하고 입술 형태를 변형하는 1차 뷰티피케이션을 적용하여 변형된 제 1 메시 모델(530)을 생성할 수 있다. 이러한 변형은 블렌드 쉐이프(blend shape) 기법을 사용하여 기본 메시 토폴로지에 메시의 변형을 적용함에 의해, 이루어질 수 있다. 블렌드 쉐이프 기법은 도 13을 통해 보다 상세히 설명한다.
장치는, 변형된 제 1 메시 모델(530)과 블렌딩할 후보 제 2 메시 모델들(542-1, 542-2, 542-3)을 디스플레이 수단을 통해 사용자에게 표시한다. 이때, 후보 제 2 메시 모델들(542-1, 542-2, 542-3)은 평균 얼굴 모델의 메시 토폴로지를 가질 수 있고, 입력 이미지의 성별에 대응하는 메시 토폴로지를 가질 수 있다. 또한, 앞서 설명한 바와 같이, 뷰티 및 캐릭터성이 강조된 메시 모델들이 바람직하다. 사용자는 이들 중 하나(예컨대, 두번째 것(542-2))를 선택한다. 선택된 후보 모델이 제 2 메시 모델(540)이 된다. 도 5의 실시예에서는, 여자 얼굴의 기본형 모델이 제 2 메시 모델(540)로 선택받은 것을 가정한다.
장치는, 변형된 제 1 메시 모델(530)과 제 2 메시 모델(540)을 블렌딩한다. 상기 블렌딩은 두 메시 모델이 동일한 메시 토폴로지를 갖기 때문에 가능하다. 블렌딩은 두 메시 모델에서, 대응하는 각각의 메시 단위로 이루어질 수 있다. 이때, 블렌딩 비율은 기설정된 비율 정보를 따른다. 기본적으로 1:1이 바람직하지만, 뷰티 및 캐릭터의 비율에 따라 아바타의 결과가 달라지기 때문에, 사용자의 선호에 맞게 블렌딩 비율을 결정할 수 있다. 예컨대, 뷰티 및 캐릭터를 강조하기 위해서는, 제 2 메시 모델(540)을 제 1 메시 모델(530)보다 훨씬 높은 비율로 합성하는 것이 바람직하다. 반대로, 자신의 모습에 가깝운 출력물을 원한다면, 제 1 메시 모델(530)의 블렌딩 비율을 높이는 것이 바람직하다. 즉, 사용자 설정에 따라 2:1, 3:1, 4:1, 5:1, 1:2, 1:3, 1:4, 1:5 등의 비율도 적용가능하다. 블렌딩 결과로 최종 3차원 아바타(550)을 획득할 수 있다.
도 6a 내지 도 6b는 얼굴 속성 정보의 세부 내역을 예시적으로 나타낸 도면이다.
도 6a 및 도 6b를 참조하면, 장치는 다양한 얼굴 속성의 라벨 정보를 가지고 있다. 장치는 약 40여개의 속성을 가지고 얼굴의 특징을 규정하여 출력되는 모델에 적용할 수 있다. 이러한 얼굴의 세부 특징을 나타내는 얼굴 속성 정보는 이미지 분석과 관련된 딥러닝 알고리즘을 통해 추론될 수 있다.
딥러닝 알고리즘을 통해 추론되는 속성 라벨은 크게, 수염 모양, 눈썹 모양, 머리 모양, 머리 색, 얼굴모양, 악세서리, 피부표현, 표정, 기타 등으로 구분된다. 장치는 각각의 속성의 결과를 "예/아니오(Yes/No)"의 속성 값으로 표현한다. 예컨대, "콧수염" 수염모양은 "No", "아치형 눈썹"은 "No",..., "M자형 이마"는 "Yes" 등으로 속성 값을 결정할 수 있다. 이와 같이 결정된 속성 값 정보는 출력되는 모델의 텍스쳐 및 해당 얼굴 부위의 시각적인 표현을 생성할 때 참조될 수 있다. 이하, 각각의 구분된 속성 분류의 속성 값들은 도 7 내지 도 10을 통해 설명한다. 다만, 이러한 속성 라벨로 정의되지 않는 얼굴 속성도 존재할 수 있다.
도 7은 얼굴 속성 정보의 수염모양 속성을 설명하기 위한 도면이다.
도 7을 참조하면, 장치는 다양한 수염 모양을 4개의 속성 라벨로 구분할 수 있다. 예컨대, "수염 없음" 속성, 코와 입 사이 그리고 턱의 일부분에 이어지는 수염 형상을 나타내는 "콧수염" 속성, 코와 입 사이에만 형성된 수염 형상을 나타내는 "턱수염 1" 속성 및 코와 입 사이, 입술 하단 및 하관 전반적으로 수염이 형성되는 "턱수염 2" 속성으로 수염 모양과 관련된 형상을 정의할 수 있다.
도 8은 얼굴 속성 정보의 눈썹모양 속성을 설명하기 위한 도면이다.
도 8을 참조하면, 장치는 눈썹의 모양을 2개의 속성 라벨로 정의한다. 이치 형태의 눈썹을 지시하는 "아치형 눈썹" 속성, 숱많은 눈썹을 나타내는 "숱 많은 눈썹" 속성으로 정의한다.
도 9는 얼굴 속성 정보의 머리모양 속성을 설명하기 위한 도면이다.
도 9를 참조하면, 장치는 다양한 머리 모양을 6개의 속성 라벨로 정의할 수 있다. 예컨대, 대머리 형태를 나타내는 "대머리" 속성, 생머리를 나타내는 "생머리" 속성, 웨이브머리를 나타내는 "곱슬머리" 속성, 앞머리가 존재하는 형태를 지시하는 "앞머리" 속성, 구렛나루 부분의 머리가 존재하는 형태를 지시하는 "구렛나루" 속성, 탈모형 헤어라인을 나타내는 "M자형 이마" 속성으로 머리 모양과 관련된 속성을 정의한다.
장치는, 머리의 색상을 분석하여 4개의 속성 라벨로 정의할 수 있다. 예컨대, 검은 머리를 나타내는 "검은 머리" 속성, 갈색 머리를 나타내는 "갈색 머리" 속성, 금발 머리를 나타내는 "금발 머리" 속성, 그리고 회색 머리를 나타내는 "회색 머리" 속성을 이용하여 머리 색상을 정의한다.
도 10은 얼굴 속성 정보의 얼굴모양 속성을 설명하기 위한 도면이다.
도 10을 참조하면, 장치는 얼굴 모양을 분석하여 9개의 속성 라벨로 구분할 수 있다. 눈 밑 살이 두둑한 것을 지시하는 "눈 밑 살" 속성, 큰 입술 형상을 지시하는 "큰 입술" 속성, 큰 코를 지시하는 "큰 코" 속성, 뚱뚱함을 지시하는 "뚱뚱함" 속성, 이중 턱 형상을 지시하는 "이중 턱" 속성, 높은 광대뼈 형상을 지시하는 "광대뼈" 속성, 작은 눈을 지시하는 "작은 눈" 속성, 계란형 얼굴을 지시하는 "계란형 얼굴" 속성, 그리고 뾰족한 코 모양을 지시하는 "화살코" 속성으로 얼굴 모양을 정의할 수 있다.
이 밖에, 얼굴과 함께 착용되는 악세서리를 분석하여 5개의 속성으로 정의할 수 있다. 예컨대, 안경 착용 상태를 지시하는 "안경" 속성, 귀걸이 착용을 지시하는 "귀걸이" 속성, 모자 착용 상태를 지시하는 "모자" 속성, 목걸이 착용을 지시하는 "목걸이" 속성, 그리고 넥타이 착용을 지시하는 "넥타이" 속성으로 악세서리의 착용 상태를 정의할 수 있다. 특히 목걸이와 넥타이 속성 값이 Yes인 경우, 장치는 얼굴 이외의 바디 부분에 해당 악세서리가 포함된 애니메이션 모델이 생성될 수 있도록 지원한다.
장치는 피부 표현과 관련된 이미지를 분석하여 4개의 속성 라벨로 정의한다. 얼굴이 홍조를 나타내는 형상을 지시하는 "얼굴 홍조" 속성, 창백한 피부를 지시하는 "하얀 얼굴" 속성, 과한 메이크업 상태를 지시하는 "메이크업" 속성, 그리고 립스틱을 진하게 바르고 있는 상태를 지시하는 "립스틱" 속성으로 정의할 수 있다.
또한, 얼굴의 표정과 관련된 이미지를 분석하여 2개의 속성으로 정의할 수 있다. 입을 살짝 벌린 상태를 나타내는 "입벌림" 속성, 웃는 상태를 나타내는 "미소" 속성을 통해 얼굴 표정을 정의할 수 있다.
추가적으로, 장치는 기타 4개 속성을 더 정의하여 입력된 이미지 속 얼굴의 상태를 디테일하게 표현할 수 있도록 지원한다. 이러한 기타 속성에는, 얼굴의 매력적인 정도가 기준 이상임을 나타내는 "매력적" 속성, 흐린 사진의 느낌을 나타내는 "블러(Blurry)" 속성, 얼굴이 남성 얼굴임을 지시하는 "남성(Male)" 속성, 얼굴이 기준 값보다 어린 사람의 얼굴임을 지시하는 "??음(Young)" 속성이 포함된다.
도 11a 내지 도 11b는 샘플 이미지에서 얼굴 속성 정보 예측의 결과를 나타낸 도면이다.
도 11a의 좌측 모델에서, 장치는 대부분 얼굴 속성 값은 "No"로 정의하고, "아치형 눈썹", "매력적인", "갈색 머리", "메이크업", "입벌림", "수염 없음", "하얀 얼굴", "화살코", "생머리", "귀걸이", "립스틱" 및 "??음" 속성은 "Yes"로 정의할 수 있다. 또한, 도 11a의 우측 모델에서"매력적인", "검은 머리", "메이크업", "입벌림", "수염 없음", "계란형 얼굴", "생머리", "립스틱" 및 "젊음" 속성은 "Yes"로, 그리고 다른 속성들은 "No"로 정의할 수 있다.
도 11b의 좌측 모델에서, 장치는 대부분 얼굴 속성 값은 "No"로 정의하고, "아치형 눈썹", "매력적인", "눈 밑 살", "큰 코", "검은 머리", "숱많은 눈썹", "남성", "수염 없음", "생머리", 및 "젊음" 속성은 "Yes"로 정의할 수 있다. 또한, 도 11b의 우측 모델에서 "큰 코", "검은 머리", "숱많은 눈썹", "안경", "콧수염", "남성", "입벌림", "턱수염 1", "구렛나루", "미소", "곱슬머리" 및 "??음" 속성은 "Yes"로, 그리고 다른 속성들은 "No"로 정의할 수 있다.
도 12는 제 1 메시 모델과 제 2 메시 모델의 합성에 얼굴 속성 정보와 텍스쳐 정보를 추가하여 최종 3차원 아바타를 생성하는 과정을 예시적으로 나타낸 개념도이다.
도 12를 참조하면, 장치는 2차원 입력 이미지 내의 얼굴(1210)의 랜드마크를 추출하여 제 1 메시 모델(1220)을 생성한다. 그리고, 1차 뷰티피케이션을 통해 얼굴의 특정 부위를 변형한 변형 제 1 메시 모델(1230)을 생성한다. 그리고는, 후보 제 2 메시 모델들 중 하나로써 선택된 제 2 메시 모델(1240)을 블렌딩하여 최종 3차원 아바타(1250)을 생성한다.
3차원 아바타(1250)은 얼굴의 악세서리 구성요소들인 머리, 수염, 피부 톤 등의 묘사가 빠진 중립 얼굴 모델(neutral face model)이기 때문에, 장치는 생성된 3차원 아바타(1250)에 텍스쳐 정보를 기반으로 생성된 텍스쳐를 입히고, 얼굴 속성 정보에 대응하는 속성을 추가한다. 이때, 장치는 얼굴 영역별로 서로 다른 텍스쳐 정보를 확보하여 3차원 아바타(1250)에 영역별로 적용할 수 있다. 또한, 코 위의 점(1262)과 같이 도 7 내지 도 10의 얼굴 속성 정보에서 정의하지 않는 특징적인 얼굴의 포인트(예컨대, 기설정된 크기보다 큰 점)를 추출하여 3차원 아바타(1250)의 대응하는 위치에 표시할 수도 있다. 장치는 3차원 아바타(1250)에 얼굴 속성 정보에 대응하는 속성 값을 적용하고, 텍스쳐 정보에 대응하는 텍스쳐를 적용함에 의해 최종 3차원 아바타(1260)을 생성한다.
도 13은 블렌드 쉐이프 정보를 통해 얼굴의 움직임을 3차원 아바타에 적용하는 방법을 설명하기 위한 개념도이다.
도 13을 참조하면, 블렌드 쉐이프는 스토리지에 기저장된 기본 얼굴 모델의 평균값으로 결정된 평균 얼굴 메시 모델을 대상으로 정의된다. 블렌드 쉐이프는 눈 크기, 코 크기 및 입 모양과 같은 얼굴 내 구성요소의 크기, 위치 및 형태 중 적어도 하나를 변형시키는 것과 관련하여 정의된다. 또한, 블렌드 쉐이프는 움직임과 관련하여 정의된다. 이 역시 평균 얼굴 메시 모델을 대상으로 정의되며, 0, 1과 같은 숫자로 정의될 수 있다. 예컨대, 눈 깜빡임과 관련된 움직임에 있어서, "0"은 눈 감은 상태를, "1"은 눈 뜬 상태를 나타낼 수 있다. 또한, 입 벌림과 관련된 동작에 있어서, "0"은 입 닫은 상태를, "1"은 입을 벌린 상태를 나타낼 수 있다.
이와 같이, 평균 얼굴 메시 모델을 대상으로 크기 및 움직임 조절과 관련하여 정의된 블렌드 쉐이프는 3차원 아바타에도 자연적으로 적용된다.
또한, 본 발명의 실시예에 따르면, 2차원 이미지가 연속적인 이미지를 포함하는 동영상 이미지일 때, 동영상 이미지에서 얼굴 내의 특정 부위의 변형을 감지하여 블렌드 쉐이프를 적용할 수 있다. 예컨대, 눈 깜빡임을 감지한 경우, 블렌드 쉐이프의 기정의된 룰(rule)에 따라 그에 대응하는 변형을 제 1 메시 모델 또는 3차원 아바타에 적용할 수 있다. 즉, 페이스 트랙킹과 접목하여, 얼굴의 형상 변화를 감지하고, 감지된 변화를 출력 모델에 적용함에 있어, 평균 얼굴 메시 모델을 대상으로 기 정의된 블렌드 쉐이프 룰을 따를 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (18)
- 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하는 단계;
상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하는 단계;
상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하는 단계;
상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하는 단계;
상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델을 사용자 입력에 의해 결정하는 단계, 상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐;
상기 제 1 메시 모델과 상기 제 2 메시 모델을 블렌딩하여 3차원의 아바타(avartar)를 생성하는 단계; 및
상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 단계를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 메시 모델은 상기 검출된 랜드마크의 위치 관계를 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델와 대비하여 분석함에 의해 생성된 분석 결과를 기반으로 생성되는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 2 항에 있어서,
상기 제 1 메시 모델에 상기 사용자의 입력에 의해 상기 얼굴 내의 특정 부위의 크기를 조절하는 블렌드 쉐이프(blend shape)를 적용하는 단계를 더 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 2 항에 있어서,
상기 2차원 이미지가 연속적인 이미지를 포함하는 동영상 이미지일 때, 상기 동영상 이미지에서의 상기 얼굴 내의 특정 부위의 변형을 감지하여 블렌드 쉐이프의 기정의된 룰(rule)에 따라 그에 대응하는 변형을 상기 제 1 메시 모델 또는 상기 3차원 아바타에 적용하는 단계를 더 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 4 항에 있어서,
상기 블렌드 쉐이프의 기정의된 룰은 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델의 평균 얼굴 메시 모델을 대상으로 정의되는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 4 항에 있어서,
상기 블렌드 쉐이프의 기정의된 룰은 특정 동작 또는 상태에 대응되는 넘버로 정의되는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 2 항에 있어서,
상기 제 2 메시 모델은 데이터베이스에 기저장된 다수의 기본 얼굴 메시 모델의 평균 얼굴 메시 토폴로지와 동일한 메시 토폴로지를 가지고; 그리고
뷰티(beuaty)를 강조한 모델 또는 애니메이션 캐릭터 모델 중 적어도 하나인 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 7 항에 있어서,
상기 제 2 메시 모델은, 복수 개의 제 2 메시 모델 후보를 표시하고, 상기 표시된 복수 개의 제 2 메시 모델 후보 중 하나를 상기 사용자 입력을 통해 선택받음에 의해 결정되는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 2 항에 있어서,
상기 데이터베이스는 PCA(Principal Component Analysis)와 연관된 데이터베이스를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 메시 모델에는 제 1 가중치를 부여하고, 상기 제 2 메시 모델에는 제 2 가중치를 부여하여 블렌딩을 수행하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 10 항에 있어서,
상기 제 1 가중치 및 상기 제 2 가중치 중 적어도 하나는 사용자 입력에 의해 결정되는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 1 항에 있어서,
상기 2차원 이미지로부터 딥러닝을 이용하여 상기 얼굴의 세부 특징을 나타내는 얼굴 속성 정보를 검출하는 단계; 및
상기 검출된 얼굴 속성 정보에 대응하는 시각적 표현을 상기 3차원 아바타에 적용하는 단계를 더 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 제 12 항에 있어서,
상기 얼굴 속성 정보는 상기 얼굴의 머리, 안경, 수염, 눈썹, 눈, 입, 코, 피부, 표정, 및 턱 중 적어도 하나와 관련된 속성을 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 프로세서(processor)의 동작과 관련된 명령어를 저장하는 메모리; 및
사람의 얼굴이 캡쳐된 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하고, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 입력에 의해 결정하며, 상기 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하고, 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 프로세서를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 장치. - 사람의 얼굴이 캡쳐된 2차원 이미지를 선택하고, 상기 선택된 2차원 이미지 내의 상기 얼굴을 기반으로 하는 3차원 아바타의 생성을 서버로 요청하는 사용자 단말; 및
상기 사용자 단말로부터 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 획득된 2차원 이미지로부터 얼굴 텍스쳐(texture) 정보를 추출하고, 상기 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 단말로부터의 선택 신호에 의해 결정하며, 상기 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하고, 상기 3차원의 아바타에, 상기 추출된 얼굴 텍스쳐 정보에 대응하는 시각적 표현을 적용하는 서버를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 시스템. - 사람의 얼굴이 캡쳐된 2차원 이미지를 획득하는 단계;
상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하는 단계;
상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하는 단계;
상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하는 단계;
상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델을 사용자 입력에 의해 결정하는 단계, 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐; 및
상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 단계를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 방법. - 프로세서(processor)의 동작과 관련된 명령어를 저장하는 메모리; 및
사람의 얼굴이 캡쳐된 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하고, 상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 입력에 의해 결정하며, 상기 변형된 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 프로세서를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 장치. - 사람의 얼굴이 캡쳐된 2차원 이미지를 선택하고, 상기 선택된 2차원 이미지 내의 상기 얼굴을 기반으로 하는 3차원 아바타의 생성을 서버로 요청하는 사용자 단말; 및
상기 사용자 단말로부터 2차원 이미지를 획득하여 상기 획득된 2차원 이미지로부터 상기 얼굴의 랜드마크(landmark)를 검출하고, 상기 검출된 랜드마크를 기반으로 상기 얼굴의 3차원 기하학적 구조를 모델링한 제 1 메시(mesh) 모델을 생성하며, 상기 제 1 메시 모델에서 적어도 하나의 얼굴 구성요소를 변형하고, 상기 변형된 제 1 메시 모델과 블렌딩(blending)하기 위한 제 2 메시 모델 - 상기 변형된 제 1 메시 모델과 상기 제 2 메시 모델은 동일한 메시 토폴로지(topology)를 가짐 - 을 사용자 단말로부터의 선택 신호에 의해 결정하며, 상기 변형된 제 1 메시 모델과 상기 선택된 제 2 메시 모델을 블렌딩하여 3차원의 아바타를 생성하는 서버를 포함하는, 2차원 이미지로부터 3차원의 아바타를 생성하는 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078712A KR102241153B1 (ko) | 2019-07-01 | 2019-07-01 | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 |
| US16/914,715 US11625878B2 (en) | 2019-07-01 | 2020-06-29 | Method, apparatus, and system generating 3D avatar from 2D image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078712A KR102241153B1 (ko) | 2019-07-01 | 2019-07-01 | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210002888A true KR20210002888A (ko) | 2021-01-11 |
| KR102241153B1 KR102241153B1 (ko) | 2021-04-19 |
Family
ID=74065230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190078712A KR102241153B1 (ko) | 2019-07-01 | 2019-07-01 | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11625878B2 (ko) |
| KR (1) | KR102241153B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102498056B1 (ko) * | 2022-02-18 | 2023-02-10 | 주식회사 공간과 상상 | 메타버스내 메타휴먼의 생성 시스템 및 방법 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US10375313B1 (en) * | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| DK201870374A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | AVATAR CREATION USER INTERFACE |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| JP7442091B2 (ja) * | 2020-04-30 | 2024-03-04 | グリー株式会社 | 動画配信装置、動画配信方法及び動画配信プログラム |
| US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
| DK202070624A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| US11670031B2 (en) * | 2020-07-22 | 2023-06-06 | Talent Unlimited Online Services Private Limited | System and method for automatically generating an avatar with pronounced features |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| EP4315827A1 (en) * | 2021-03-30 | 2024-02-07 | Snap Inc. | Inclusive camera |
| GB2606344A (en) * | 2021-04-28 | 2022-11-09 | Sony Interactive Entertainment Europe Ltd | Computer-implemented method and system for generating visual adjustment in a computer-implemented interactive entertainment environment |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11321899B1 (en) | 2021-05-28 | 2022-05-03 | Alexander Dutch | 3D animation of 2D images |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| KR20230011780A (ko) * | 2021-07-14 | 2023-01-25 | 삼성전자주식회사 | 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치 |
| WO2023004507A1 (en) * | 2021-07-29 | 2023-02-02 | Digital Domain Virtual Human (Us), Inc. | System and method for animating secondary features |
| WO2023035061A1 (en) * | 2021-09-09 | 2023-03-16 | Digital Domain Virtual Human (Us), Inc. | System and method for semi-supervised video-driven facial animation transfer |
| KR20230061776A (ko) * | 2021-10-29 | 2023-05-09 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| KR20230134832A (ko) | 2022-03-15 | 2023-09-22 | 주식회사 인터포 | 실감형 형상 모델링 생성 방법 |
| GB2618777A (en) * | 2022-05-11 | 2023-11-22 | Sony Interactive Entertainment Inc | Apparatus, systems and methods for processing images |
| US20230410378A1 (en) * | 2022-06-20 | 2023-12-21 | Qualcomm Incorporated | Systems and methods for user persona management in applications with virtual content |
| KR20240025320A (ko) * | 2022-08-18 | 2024-02-27 | 슈퍼랩스 주식회사 | 멀티 앵글 이미지 기반 3d 아바타를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140043939A (ko) * | 2011-08-09 | 2014-04-11 | 인텔 코오퍼레이션 | 파라미터화된 3d 얼굴 생성 |
| KR20140043945A (ko) * | 2011-08-09 | 2014-04-11 | 인텔 코오퍼레이션 | 이미지 기반 멀티 뷰 3d 얼굴 생성 |
| KR20180125870A (ko) * | 2017-05-16 | 2018-11-26 | 애플 인크. | 이모지콘 인형화 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101555347B1 (ko) * | 2009-04-09 | 2015-09-24 | 삼성전자 주식회사 | 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 |
| US9508197B2 (en) * | 2013-11-01 | 2016-11-29 | Microsoft Technology Licensing, Llc | Generating an avatar from real time image data |
| KR101828201B1 (ko) * | 2014-06-20 | 2018-02-09 | 인텔 코포레이션 | 3d 얼굴 모델 재구성 장치 및 방법 |
| WO2016132113A1 (en) * | 2015-02-16 | 2016-08-25 | University Of Surrey | Three dimensional modelling |
| US20170069124A1 (en) * | 2015-04-07 | 2017-03-09 | Intel Corporation | Avatar generation and animations |
| JP6754619B2 (ja) * | 2015-06-24 | 2020-09-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 顔認識方法及び装置 |
| KR102146398B1 (ko) * | 2015-07-14 | 2020-08-20 | 삼성전자주식회사 | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 |
| JP6798707B2 (ja) * | 2015-07-30 | 2020-12-09 | インテル・コーポレーション | 感情拡張アバターアニメーション |
| GB2543893A (en) * | 2015-08-14 | 2017-05-03 | Metail Ltd | Methods of generating personalized 3D head models or 3D body models |
| KR102285376B1 (ko) * | 2015-12-01 | 2021-08-03 | 삼성전자주식회사 | 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 |
| US10055880B2 (en) * | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
| US10332312B2 (en) * | 2016-12-25 | 2019-06-25 | Facebook, Inc. | Shape prediction model compression for face alignment |
| US10572720B2 (en) * | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
| US10467793B2 (en) * | 2018-02-08 | 2019-11-05 | King.Com Ltd. | Computer implemented method and device |
-
2019
- 2019-07-01 KR KR1020190078712A patent/KR102241153B1/ko active IP Right Grant
-
2020
- 2020-06-29 US US16/914,715 patent/US11625878B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140043939A (ko) * | 2011-08-09 | 2014-04-11 | 인텔 코오퍼레이션 | 파라미터화된 3d 얼굴 생성 |
| KR20140043945A (ko) * | 2011-08-09 | 2014-04-11 | 인텔 코오퍼레이션 | 이미지 기반 멀티 뷰 3d 얼굴 생성 |
| KR20180125870A (ko) * | 2017-05-16 | 2018-11-26 | 애플 인크. | 이모지콘 인형화 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102498056B1 (ko) * | 2022-02-18 | 2023-02-10 | 주식회사 공간과 상상 | 메타버스내 메타휴먼의 생성 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210005003A1 (en) | 2021-01-07 |
| KR102241153B1 (ko) | 2021-04-19 |
| US11625878B2 (en) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102241153B1 (ko) | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 | |
| US11868515B2 (en) | Generating textured polygon strip hair from strand-based hair for a virtual character | |
| US11430169B2 (en) | Animating virtual avatar facial movements | |
| US20210358214A1 (en) | Matching meshes for virtual avatars | |
| US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
| US11557076B2 (en) | Computer generated hair groom transfer tool | |
| JP2024028390A (ja) | 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置 | |
| US9959453B2 (en) | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature | |
| KR101190686B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체 | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| EP4207080A1 (en) | Avatar generation method, apparatus and device, and medium | |
| CN104331564B (zh) | 基于终端设备的妆饰指导方法和终端设备 | |
| US11217036B1 (en) | Avatar fidelity and personalization | |
| CN111627117A (zh) | 画像展示特效的调整方法、装置、电子设备及存储介质 | |
| Hays et al. | FaReT: A free and open-source toolkit of three-dimensional models and software to study face perception | |
| WO2023138345A1 (zh) | 虚拟形象生成方法和系统 | |
| WO2021155666A1 (zh) | 用于生成图像的方法和装置 | |
| CN113793409A (zh) | 虚拟道具展示方法及装置 | |
| TW201629907A (zh) | 三維頭像產生系統及其裝置、產生方法 | |
| US20240177389A1 (en) | Apparatus and method for creating avatar | |
| US12002160B2 (en) | Avatar generation method, apparatus and device, and medium | |
| CN117994395A (zh) | 数字人面部资产生成方法、装置、电子设备及存储介质 | |
| CN115861536A (zh) | 一种优化人脸驱动参数的方法及电子设备 | |
| Chen et al. | Regularity-Based Caricature Synthesis | |
| TWM508085U (zh) | 三維頭像產生系統及其裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |