KR20180100476A - 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 - Google Patents
이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 Download PDFInfo
- Publication number
- KR20180100476A KR20180100476A KR1020180016691A KR20180016691A KR20180100476A KR 20180100476 A KR20180100476 A KR 20180100476A KR 1020180016691 A KR1020180016691 A KR 1020180016691A KR 20180016691 A KR20180016691 A KR 20180016691A KR 20180100476 A KR20180100476 A KR 20180100476A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user
- face model
- model
- shape
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000007935 neutral effect Effects 0.000 claims abstract description 78
- 230000008921 facial expression Effects 0.000 claims description 105
- 230000009466 transformation Effects 0.000 claims description 40
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 21
- 238000000844 transformation Methods 0.000 claims description 9
- 238000007670 refining Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 24
- 230000000875 corresponding effect Effects 0.000 description 56
- 230000001815 facial effect Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 23
- 210000000887 face Anatomy 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 13
- 210000000088 lip Anatomy 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 210000001331 nose Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003467 cheek Anatomy 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000007667 floating Methods 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G06T3/0006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
3D 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법은 기존 3D 얼굴 모델인 3D 얼굴 모델 또는 적어도 중립 표정에서의 평균 형상 얼굴 모델의 저장을 포함한다. 제1 사용자의 얼굴의 포인트 클라우드는 제1 사용자의 얼굴의 복수의 컬러 이미지들 및 뎁스 정보에 기초하여 발생된다. 중립 표정을 갖는 제1 사용자의 제1 3D 얼굴 모델은 저장된 3D 얼굴 모델 상의 형상 기반 모델 피트먼트에 의해 발생된다. 제1 3D 얼굴 모델의 형상은 제1 3D 얼굴 모델, 형상 기반 모델 피트먼트, 및 발생된 포인트 클라우드 사이의 차이에 기초하여 정제된다. 정제된 제1 3D 얼굴 모델의 디스플레이는 제1 사용자의 얼굴의 형상 및 외모로부터 최소 편차를 나타내기 위해 제어된다.
Description
관련 출원들에 대한 상호 참조/참조에 의한 포함
본 출원은 2017년 3월 1일에 출원된 미국 가특허 출원 제62/465,534호에 대한 우선권을 주장하며, 그것의 전체 내용은 본원에 참조로 이로써 포함된다.
분야
개시내용의 다양한 실시예들은 3차원(three-dimensional)(3D) 모델링, 가상 인간 기술, 및 가상 현실에 관한 것이다. 더 구체적으로, 개시내용의 다양한 실시예들은 이미지 및 뎁스 데이터를 사용하여 3D 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법에 관한 것이다.
3차원(3D) 컴퓨터 그래픽스, 모델링의 분야에서의 진보들은 3D 모델들을 생성하고 3D 컴퓨터 그래픽스 환경에서 실제 객체들을 시각화하는 능력을 제공했다. 3D 콘텐츠, 예컨대 3D 캐릭터 모델은 사용자 경험을 향상시키기 위해 애니메이션 영화들, 게임들, 및 가상 현상 시스템들에 점점 더 사용된다. 3D 모델은 특정 객체의 형상을 닮은 정적 3D 메쉬이다. 전형적으로, 그러한 3D 모델은 모델링 소프트웨어 애플리케이션의 사용에 의해, 모델러들로 통상 공지된 컴퓨터 그래픽스 아티스트들에 의해 수동으로 디자인된다. 그러한 3D 모델은 애니메이션, 또는 다양한 가상 현실 시스템들 또는 애플리케이션들에 동일한 방식으로 사용되지 않을 수 있다. 게다가, 일부 사례들에서, 3D 모델의 얼굴 부분은 3D 모델의 가장 중요한 부분들 중 하나로 간주될 수 있다. 현재, 현실적 3D 인간 얼굴 모델을 생성하는 것은 컴퓨터 그래픽스 및 컴퓨터 비전의 분야들에서 가장 어려운 문제들 중 하나이었다. 가상 현실, 3D 게임, 및 가상 시뮬레이션의 영역들에서의 3D 가상 인간 기술의 증가하는 응용에 따라, 실제 사람에 기초하여 현실적 3D 인간 얼굴 모델을 발생시키는 개발중인 기술들은 점점 더 중요해졌다.
시나리오들에서, 3D 얼굴 모델러는 사용자의 얼굴의 입력 이미지를 3D 모델을 구성하는 기초로 이용할 수 있다. 3D 얼굴 모델러는 메쉬와 같은, 인간 얼굴의 표면 표현을 구성할 수 있다. 얼굴 모델러는 또한 다양한 혼합 형상들을 구성함으로써 인간 얼굴의 다양한 표정들을 3D 얼굴 모델에 도입할 수 있다. 3D 얼굴 모델을 생성하도록 요구되는 다양한 시야 각도들로부터 입력 이미지 데이터를 캡처할 시에 수반되는 수개의 복잡성이 있다. 게다가, 사용자의 얼굴의 3D 모델은 사용자의 실제 얼굴 상세들을 닮지 않을 수 있다. 예를 들어, 인간 얼굴의 구조 및 표면 표현은 사용자의 얼굴을 닮지 않을 수 있고 얼굴 모델의 표정들은 실시간 또는 근 실시간으로 인간 얼굴의 표정들과 일치하지 않을 수 있다. 사용자의 실제 얼굴에 대해 3D 얼굴 모델의 구조, 특징들, 및 표정들에서의 이러한 불일치는 현실적 뷰잉 목적들 및 가상 현실 애플리케이션들에 대해 바람직하지 않을 수 있다.
종래의 그리고 전통적 접근법들의 추가 제한들 및 단점들은 본 출원의 나머지에 제시되는 바와 같이 그리고 도면들을 참조하여, 본 개시내용의 일부 양태들과 설명된 시스템들의 비교를 통해, 본 기술분야의 통상의 기술자에게 분명해질 것이다.
이미지 및 뎁스 데이터를 사용하여 3차원(3D) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법은 청구항들에 더 완전히 제시된 것처럼, 도면들 중 적어도 하나에 도시되는 바와 같이, 및/또는 적어도 하나와 관련하여 설명되는 바와 같이 실질적으로 제공된다.
본 개시내용의 이러한 및 다른 특징들 및 장점들은 유사한 참조 번호들이 도처에서 유사한 부분들을 언급하는 첨부 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은 개시내용의 일 실시예에 따라, 3D 인간 얼굴 모델을 발생시키기 위해 예시적 네트워크 환경을 예시하는 블록도이다.
도 2는 개시내용의 일 실시예에 따라, 예시적 가상 현실 기반 장치를 예시하는 블록도이다.
도 3a, 도 3b, 도 3c, 도 3d, 도 3e, 도 3f, 도 3g, 도 3h, 도 3i, 도 3j, 도 3k 및 도 3l은 개시내용의 일 실시예에 따라, 이미지 및 뎁스 데이터를 사용하여 3D 인간 얼굴 모델의 예시적 발생을 집합적으로 예시하는 도해들이다.
도 4a, 도 4b, 및 도 4c는 개시내용의 일 실시예에 따라, 이미지 및 뎁스 데이터를 사용하여 현실적 3D 인간 얼굴 모델을 발생시키기 위해 예시적 동작들을 예시하는 흐름도를 집합적으로 도시한다.
도 2는 개시내용의 일 실시예에 따라, 예시적 가상 현실 기반 장치를 예시하는 블록도이다.
도 3a, 도 3b, 도 3c, 도 3d, 도 3e, 도 3f, 도 3g, 도 3h, 도 3i, 도 3j, 도 3k 및 도 3l은 개시내용의 일 실시예에 따라, 이미지 및 뎁스 데이터를 사용하여 3D 인간 얼굴 모델의 예시적 발생을 집합적으로 예시하는 도해들이다.
도 4a, 도 4b, 및 도 4c는 개시내용의 일 실시예에 따라, 이미지 및 뎁스 데이터를 사용하여 현실적 3D 인간 얼굴 모델을 발생시키기 위해 예시적 동작들을 예시하는 흐름도를 집합적으로 도시한다.
이하의 설명된 구현들은 RGBD 데이터를 사용하여 3D 인간 얼굴 모델을 발생시키는 개시된 가상 현실(virtual reality)(VR) 기반 장치 및 방법에서 발견될 수 있다. 개시내용의 예시적 양태들은 감지 디바이스에 통신가능하게 결합될 수 있는 VR 기반 장치를 포함할 수 있다. VR 기반 장치는 3D 얼굴 모델을 저장하도록 구성되는 메모리 디바이스를 포함할 수 있다. 저장된 3D 얼굴 모델은 메모리 디바이스에 사전 저장되는 기존 3D 얼굴 모델, 예를 들어 주 컴포넌트 분석(principle component analysis)(PCA) 모델일 수 있다. PCA 모델은 복수의 상이한 얼굴들, 예를 들어, 상이한 사용자들의 약 100 내지 300개의 얼굴의 스캐닝 및 등록으로부터 구축될 수 있다. 상이한 사용자들의 복수의 상이한 얼굴들은 더 좋은 표현을 위해 여성 및 남성 얼굴들 둘 다를 포함할 수 있다.
VR 기반 장치는 제1 사용자의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여 제1 사용자의 얼굴의 포인트 클라우드를 발생시키도록 구성될 수 있다. 제1 사용자의 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 중립 표정에서의 얼굴의 하나 이상의 시야 각도로부터 감지 디바이스에 의해 캡처될 수 있다. VR 기반 장치는 발생된 포인트 클라우드를 사용하여 저장된 3D 얼굴 모델(기존 3D 얼굴 모델임) 상의 형상 기반 모델 피트먼트에 의해 중립 표정을 갖는 제1 사용자의 얼굴의 제1 3D 얼굴 모델을 발생시키도록 추가로 구성될 수 있다. VR 기반 장치는 제1 사용자의 얼굴의 제1 3D 얼굴 모델과 발생된 포인트 클라우드 사이의 차이에 기초하여, 그리고 또한 형상 기반 모델 피트먼트에 기초하여 제1 3D 얼굴 모델의 형상을 정제할 수 있다. VR 기반 장치는 가상 현실 기반 장치 상에서 제1 사용자의 얼굴의 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하도록 추가로 구성될 수 있다. 정제된 제1 3D 얼굴 모델의 디스플레이 제어는 정제된 제1 3D 얼굴 모델 상의 복수의 외모 속성들이 캡처된 복수의 컬러 이미지들에서의 제1 사용자의 얼굴의 형상 및 외모로부터 최소 편차를 나타내도록 행해질 수 있다.
일 실시예에 따라, 메모리 디바이스는 또한 중립 표정에서의 평균 형상 얼굴 모델 및 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 저장된 3D 얼굴 모델의 일부로서 저장하고, 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 추가로 구성될 수 있다. 예를 들어, 3D 평균 형상 얼굴 모델의 복수의 임의 얼굴 표정들은 표정 템플릿들로 저장될 수 있다. 가상 현실 기반 장치는 2차원(two dimensional)(2D) 얼굴 랜드마크 검출에 기초하여 제1 사용자의 얼굴의 수신된 복수의 컬러 이미지들의 각각의 컬러 이미지로부터 복수의 특징 포인트들을 검출하도록 구성될 수 있다. VR 기반 장치는 발생된 포인트 클라우드 상의 검출된 복수의 특징 포인트들 및 평균 형상 얼굴 모델 상의 복수의 랜드마크 포인트들에 기초하여 아핀 변환을 추정하도록 구성될 수 있다. VR 기반 장치는 발생된 포인트 클라우드에 추정된 아핀 변환의 적용에 의해 강체 정렬 포인트 클라우드를 발생시키도록 구성될 수 있다.
일 실시예에 따라, VR 기반 장치는 복수의 에지들을 발생된 강체 정렬 포인트 클라우드에 추가하도록 구성될 수 있다. 복수의 에지들은 2D 공간에서의 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 각각의 포인트의 인접에 따라 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 연결에 기초하여 추가될 수 있다. 게다가, VR 기반 장치는 강체 정렬 포인트 클라우드에 복수의 에지들의 추가에 기초하여 제1 사용자의 얼굴의 입력 메쉬를 도출하도록 구성될 수 있다.
일 실시예에 따라, VR 기반 장치는 제1 사용자의 얼굴의 도출된 입력 메쉬에 기초하여 사전 저장된 평균 형상 얼굴 모델을 변형시키도록 구성될 수 있다. VR 기반 장치는 사전 저장된 평균 형상 얼굴 모델의 변형에 기초하여 변형된 평균 형상 얼굴 모델을 발생시킬 수 있다.
VR 기반 장치 강체 정렬 포인트 클라우드의 대응하는 버텍스들과 각각의 형상 컴포넌트의 버텍스들의 최소 차이에 기초하여 메모리 디바이스에 저장되는 복수의 형상 컴포넌트들의 각각의 형상 컴포넌트에 대한 가중치를 추정할 수 있다. VR 기반 장치는 제1 사용자의 얼굴의 제1 3D 얼굴 모델을 발생시키기 위해 모델 피트먼트에서의 저장된 3D 얼굴 모델로부터 복수의 가중된 형상 컴포넌트들의 각각의 가중된 형상 컴포넌트를 조합할 수 있다.
일 실시예에 따라, VR 기반 장치는 제1 사용자의 얼굴의 발생된 제1 3D 얼굴 모델의 복수의 버텍스들 및 제1 사용자의 얼굴의 발생된 강체 정렬 포인트 클라우드의 차이에 기초하여 얼굴 모델 레지듀(face model residue)를 평가하도록 구성될 수 있다. 얼굴 모델 레지듀는 제1 사용자의 얼굴의 제1 3D 얼굴 모델의 대응하는 복수의 버텍스들에 대한 복수의 서브레지듀들을 포함할 수 있다. VR 기반 장치는 제1 사용자의 얼굴의 제1 3D 얼굴 모델에 대한 변형된 얼굴 모델 레지듀를 도출하기 위해 변형을 평가된 얼굴 모델 레지듀에 적용하도록 구성될 수 있다. VR 기반 장치는 제1 사용자의 얼굴의 정제된 제1 3D 얼굴 모델을 획득하기 위해 변형된 얼굴 모델 레지듀를 제1 사용자의 얼굴의 제1 3D 얼굴 모델과 조합하도록 구성될 수 있다. 평가된 얼굴 모델 레지듀의 적용된 변형은 라플라시안 변형일 수 있다.
일 실시예에 따라, VR 기반 장치는 중립 표정에서의 사전 저장된 평균 형상 얼굴 모델과 메모리 디바이스에 저장되는 복수의 임의 얼굴 표정들 각각에서의 사전 저장된 평균 형상 얼굴 모델 사이에서 한 세트의 변환들을 평가하도록 구성될 수 있다. VR 기반 장치는 중립 표정에서의 제1 사용자의 정제된 제1 3D 얼굴 모델 상에 평가된 세트의 변환들을 적용하도록 구성될 수 있다. 게다가, VR 기반 장치는 제1 사용자의 얼굴의 복수의 임의 얼굴 표정들에 대응하는 적용된 세트의 변환들에 기초하여 제1 사용자의 정제된 제1 3D 얼굴 모델로부터 한 세트의 혼합 형상들을 도출하도록 구성될 수 있다. VR 기반 장치는 도출된 세트의 혼합 형상들에 기초하여 제1 사용자의 캡처된 얼굴 표정에 대응하는 제1 사용자의 얼굴의 제2 3D 얼굴 모델을 발생시키도록 구성될 수 있다.
도 1은 개시내용의 일 실시예에 따라, 현실적 3D 인간 얼굴 모델들을 발생시키기 위해 예시적 네트워크 환경을 예시하는 블록도이다. 도 1을 참조하여, 네트워크 환경(100)이 도시된다. 네트워크 환경(100)은 가상 현실(VR) 기반 장치(102), 서버(104), 감지 디바이스(106), 통신 네트워크(108), 및 제1 사용자(110)를 포함할 수 있다. 감지 디바이스(106)는 이미지 센서(106A) 및 뎁스 센서(106B)를 더 포함할 수 있다. 제1 사용자(110)는 VR 기반 장치(102)와 연관될 수 있다. VR 기반 장치(102)는 통신 네트워크(108)를 통해, 서버(104), 및 감지 디바이스(106)에 통신가능하게 결합될 수 있다.
VR 기반 장치(102)는 3D 인간 얼굴 모델을 발생시키도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 3D 인간 얼굴 모델은 인간 얼굴을 정의하는 눈들, 눈썹들, 코, 귀들, 및/또는 다른 유사한 특징들과 같은 복수의 특징 포인트들을 포함할 수 있다. VR 기반 장치(102)는 인간 얼굴의 복수의 특징 포인트들 및/또는 다른 특징들을 실시간 또는 근 실시간으로 발생된 3D 얼굴 모델에 도입(또는 추가)하도록 구성될 수 있다. VR 기반 장치(102)의 예들은 컴퓨팅 디바이스, 화상 회의 시스템, 증강 현실 기반 디바이스, 게임 디바이스, 메인프레임 머신, 서버, 컴퓨터 워크스테이션, 및/또는 소비자 전자(consumer electronic)(CE) 디바이스를 포함할 수 있지만, 이들에 제한되지 않는다.
서버(104)는 기존 3D 얼굴 모델인 3D 얼굴 모델을 저장하도록 구성될 수 있는 적절한 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 기존 3D 얼굴 모델은 주 컴포넌트 분석(PCA) 모델일 수 있다. 서버(104)는 중립 표정에서의 평균 형상 얼굴 모델 및 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 저장된 3D 얼굴 모델의 일부로서 저장하도록 추가로 구성될 수 있다. 평균 형상 얼굴 모델 및 복수의 형상 컴포넌트들은 PCA 모델일 수 있는 저장된 3D 얼굴 모델과 같은, 기존 모델로부터 획득될 수 있다. 평균 형상은 수개의 얼굴, 예를 들어 100 내지 300개의 얼굴의 평균일 수 있고 주 컴포넌트들은 모든 얼굴들과 평균 형상 사이의 차이의 주 컴포넌트들일 수 있다. 일부 실시예들에서, PCA 얼굴 모델은 수개의 얼굴, 예를 들어 100 내지 300개의 얼굴의 스캐닝 및 등록에 기초하여 트레이닝될 수 있다.
서버(104)는 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 구성될 수 있다. 서버(104)는 제1 사용자(110)의 얼굴의 발생된 3D 얼굴 모델들을 저장하도록 추가로 구성될 수 있다. 서버(104)의 예들은 애플리케이션 서버, 클라우드 서버, 웹 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메인프레임 서버, 또는 그것의 조합을 포함할 수 있지만, 이들에 제한되지 않는다.
감지 디바이스(106)는 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 중립 얼굴 표정에서의 하나 이상의 시야 각도로부터 캡처될 수 있다. 감지 디바이스(106)는 제1 사용자(110)의 얼굴의 하나 이상의 얼굴 표정을 실시간, 근 실시간, 또는 특정 지체 시간으로 캡처하도록 구성될 수 있다. 감지 디바이스(106)는 캡처된 얼굴 표정에 기초하여, 제1 사용자(110)의 얼굴의 외모 속성들을 결정하도록 추가로 구성될 수 있다. 감지 디바이스(106)는 캡처된 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 통신 네트워크(108)를 통해 VR 기반 장치(102)에 송신하도록 구성될 수 있다. 감지 디바이스(106)는 상이한 시야 각도들로부터 복수의 임의 얼굴 표정들에서의 사용자의 얼굴을 캡처할 수 있는 뎁스 센서, 컬러 센서, (예컨대 적색-녹색-청색(red-green-blue)(RGB) 센서), 및/또는 적외선(infrared)(IR) 센서의 조합과 같은, 복수의 센서들을 포함할 수 있다. 감지 디바이스(106)의 예들은 뎁스 센서, RGB 센서, IR 센서, 객체를 이동시키기 위해 사용되는 3D-메쉬 구조 발생기, 이미지 센서, 및/또는 모션 검출기 디바이스를 포함할 수 있지만, 이들에 제한되지 않는다.
통신 네트워크(108)는 VR 기반 장치(102)가 서버(104) 및 감지 디바이스(106)에 통신가능하게 결합될 수 있는 통신 매체를 포함할 수 있다. 통신 네트워크(108)의 예들은 인터넷, 클라우드 네트워크, 무선 충실도(Wireless Fidelity)(Wi-Fi) 네트워크, 개인 영역 네트워크(Personal Area Network)(PAN), 근거리 네트워크(Local Area Network)(LAN), 및/또는 도시권 통신 네트워크(Metropolitan Area Network)(MAN)를 포함할 수 있지만, 이들에 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라, 통신 네트워크(108)에 연결되도록 구성될 수 있다. 그러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(Transmission Control Protocol and Internet Protocol)(TCP/IP), 사용자 데이터그램 프로토콜(User Datagram Protocol)(UDP), 하이퍼텍스트 전송 프로토콜(Hypertext Transfer Protocol)(HTTP), 파일 전송 프로토콜(File Transfer Protocol)(FTP), 지그비, 에지, IEEE 802.11, 라이 파이(light fidelity)(Li-Fi), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티홉 통신, 무선 액세스 포인트(access point)(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜들, 및/또는 블루투스(Bluetooth)(BT) 통신 프로토콜들, 또는 그것의 조합 중 적어도 하나를 포함할 수 있지만, 이들에 제한되지 않는다.
제1 사용자(110)는 현실적 3D 얼굴 모델이 발생되는 관심의 대상을 언급할 수 있다. 제1 사용자(110)는 인간 또는 실제 인간을 닮을 수 있는 로봇일 수 있다. 제1 사용자(110)는 감지 디바이스 및/또는 VR 기반 장치(102)와 연관될 수 있다.
동작에서, VR 기반 장치(102)는 기존 3D 얼굴 모델인 3D 얼굴 모델을 저장하도록 구성될 수 있다. 저장된 3D 얼굴 모델은 주 컴포넌트 분석(PCA) 모델일 수 있다. PCA 모델은 복수의 상이한 얼굴들, 예를 들어, 상이한 사용자들의 약 200개의 얼굴로부터 구축될 수 있다. PCA는 큰 세트의 상관 데이터 컴포넌트들로부터 어떤 중요한 비상관 데이터 컴포넌트들을 식별하고 추출할 수 있다. VR 기반 장치(102)는 중립 표정에서의 평균 형상 얼굴 모델 및 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 저장된 3D 얼굴 모델의 일부로서 저장하도록 추가로 구성될 수 있다. 평균 형상 얼굴 모델은 복수의 상이한 얼굴들, 예를 들어 약 200개의 얼굴의 평균일 수 있다. VR 기반 장치(102)는 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 추가로 구성될 수 있다. 제1 사용자(110)는 감지 디바이스(106)의 전방에 위치될 수 있다. 감지 디바이스(106)는 중립 표정에서의 상이한 시야 각도들로부터 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다. 감지 디바이스(106)의 이미지 센서(106A)는 중립 표정에서 감지 디바이스(106)의 정면에 착석하는 제1 사용자(110)의 얼굴의 컬러 이미지들을 캡처하도록 구성될 수 있다. 제1 사용자(110)의 얼굴의 중립 표정은 제1 사용자(110)의 얼굴의 특징들의 중립 위치를 특징으로 할 수 있으며, 그것은 행복, 슬픔, 분노, 또는 임의의 다른 감정과 같은, 강한 감정의 결핍을 암시한다. 예를 들어, 눈썹들, 입술들, 입, 뺨 또는 이마 근육들은 원래 또는 중립 위치에 남아 있으며, 그것은 행복, 슬픔, 분노, 웃음, 긴장 등과 같은, 상이한 감정들의 결핍을 암시한다. 뎁스 센서(106B)는 컬러 이미지들의 캡처 시에 중립 표정에서 감지 디바이스(106)의 전방에 위치되는 제1 사용자(110)의 얼굴의 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다. 제1 사용자(110)의 얼굴의 캡처된 뎁스 정보는 제1 사용자(110)의 얼굴의 "Z" 좌표들에 관한 정보를 포함할 수 있다. 예를 들어, 점, 코의 돌기, 이마 영역에 대한 뺨 영역의 뎁스, 및 얼굴의 상이한 영역들의 상이한 뎁스들과 같은, 돌출의 양은 제1 사용자(110)의 얼굴의 각각의 영역의 뎁스 정보 없이 정확하게 추정될 수 없다. 컬러 이미지들 및 대응하는 뎁스 정보는 제1 사용자(110)의 얼굴의 컬러 이미지들 및 대응하는 뎁스 정보가 동시에 함께 캡처될 수 있고 동일한 시야를 표현할 수 있도록 서로 정렬될 수 있다. 컬러 이미지들 및 대응하는 뎁스 정보의 정렬은 정렬 알고리즘의 사용에 의해 행해질 수 있다. 컬러 이미지들만을 사용하는 것은 제1 사용자(110)의 얼굴의 2차원(2D) 정보를 제공한다. 대조적으로, 동일한 시야의 뎁스 정보 및 대응하는 컬러 이미지 상세들의 조합을 사용하는 것은 제1 사용자(110)의 얼굴의 복잡한 상세들을 유지하는 3차원 관점으로부터 얼굴의 각각의 영역의 형상, 상이한 얼굴 특징들, 및 뎁스의 향상된 이해를 제공한다. VR 기반 장치(102)는 통신 네트워크(108)를 통해, 감지 디바이스(106)에 의해 캡처되는 제1 사용자의 얼굴의 컬러 이미지들 및 대응하는 뎁스 정보를 수신하도록 구성될 수 있다.
VR 기반 장치(102)는 선택된 컬러 이미지의 얼굴 부분 위에 바운딩 박스를 배치하기 위해 하나 이상의 컬러 이미지를 선택하도록 구성될 수 있다. 선택된 하나 이상의 컬러 이미지는 상이한 시야 각도들을 나타내는 컬러 이미지들의 집합체를 표현한다. VR 기반 장치(102)는 2D 얼굴 랜드마크 검출에 기초하여, 얼굴 부분을 포함하는 바운딩 박스에서 복수의 특징 포인트들을 검출하도록 구성될 수 있다. VR 기반 장치(102)는 바운딩 박스 내부의 포인트들을 3D 공간으로 투영함으로써 포인트 클라우드를 발생시키도록 구성될 수 있으며, 포인트 클라우드는 또한 눈들, 코, 입술들 등 상의 별개의 포인트들과 같은 특징 포인트들의 3D 좌표들을 포함한다. 포인트 클라우드는 "X, Y, 및 Z" 좌표들에 의해 정의되는 3D 좌표 시스템에서 통상 한 세트의 데이터 포인트들을 포함한다. 포인트 클라우드는 이러한 경우에 제1 사용자(110)의 얼굴 부분과 같은, 객체의 외부 표면을 표현하기 위해 발생될 수 있다. 포인트 클라우드는 중립 표정에서의 상이한 시야 각도들로부터의 대응하는 뎁스 정보와 함께 감지 디바이스(106)로부터의 제1 사용자(110)의 얼굴의 다수의 컬러 이미지의 집합체를 사용하여 높은 정확도 및 최소 잡음으로 발생될 수 있다. 예를 들어, 제1 사용자(110)의 얼굴의 단일 이미지는 얼굴 부분의 컴포넌트들의 컬러 또는 위치들 면에서, 제1 사용자(110)의 얼굴 부분을 정확히 표현하지 않을 수 있다. 따라서, 제1 사용자(110)의 얼굴의 다수의 이미지의 집합체는 제1 사용자(110)의 실제 얼굴 부분을 정확히 캡처할 수 있다.
VR 기반 장치(102)는 포인트 클라우드 상의 특징 포인트들 및 평균 형상 얼굴 모델 상의 특정 대응 랜드마크들의 3D 좌표들 사이의 아핀 변환을 추정하도록 추가로 구성될 수 있다. 랜드마크들은 포인트 클라우드 상의 특징 포인트들과 유사한, 눈들, 코, 입술들 등과 같은, 평균 형상 얼굴 모델 상의 별개의 포인트들에 대응한다. VR 기반 장치(102)는 발생된 포인트 클라우드에 추정된 아핀 변환의 적용에 의해 강체 정렬 포인트 클라우드를 발생시키도록 구성될 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 복수의 특징 포인트들을 정렬하기 위해 강체 정렬 동작을 실행하도록 구성될 수 있다. 복수의 특징 포인트들은 특징 포인트들 예컨대 눈들, 코, 입술들, 눈썹들 또는 다른 그러한 특징 포인트들로 구성될 수 있다. 강체 정렬의 일 예는 예를 들어 도 3c에 도시되고 추가로 설명된다.
VR 기반 장치(102)는 2D 공간에서의 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 각각의 포인트의 인접에 따라 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 연결에 기초하여 복수의 에지들을 발생된 강체 정렬 포인트 클라우드에 추가하도록 추가로 구성될 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 강체 정렬 포인트 클라우드에 에지들의 추가에 기초하여 제1 사용자(110)의 얼굴의 입력 메쉬를 도출하도록 구성될 수 있다. 게다가, VR 기반 장치(102)는 중립 표정에서의 제1 사용자(110)의 얼굴의 도출된 입력 메쉬에 기초하여 중립 표정에서 저장된 평균 형상 얼굴 모델을 변형시키도록 구성될 수 있다. VR 기반 장치(102)는 저장된 평균 형상 얼굴 모델의 변형에 기초하여 변형된 평균 형상 얼굴 모델을 발생시키도록 구성될 수 있다. 발생된 변형된 평균 형상 얼굴 모델은 제1 사용자(110)의 얼굴을 닮거나 흡사할 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 변형된 평균 형상 얼굴 모델과 발생된 포인트 클라우드 사이의 가장 가까운 포인트들을 추정함으로써 대응을 산출하도록 구성될 수 있다. 평균 형상 얼굴 모델 상의 각각의 버텍스는 발생된 포인트 클라우드로부터 대응을 할당받을 수 있다. 제1 사용자(110)의 얼굴의 도출된 입력 메쉬 및 변형된 평균 형상 얼굴 모델의 일 예는 예를 들어 도 3d에 도시되고 설명된다.
VR 기반 장치(102)는 저장된 평균 형상 얼굴 모델과 발생된 포인트 클라우드 사이의 차이를 최소화하기 위해 산출된 대응을 최소화할 수 있다. 인간 얼굴 모델은 인간 얼굴을 상이한 기본 형상 컴포넌트들의 선형 조합으로 표현할 수 있다. 이러한 상이한 컴포넌트들의 계수들은 선형 최적화를 사용하여 최적화될 수 있다. VR 기반 장치(102)는 산출된 최소 대응에 기초하여 제1 사용자(110)의 얼굴의 상이한 기본 형상 컴포넌트들의 각각의 형상 컴포넌트에 대한 가중치를 추정하도록 구성될 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델을 발생시키기 위해 제1 사용자(110)의 얼굴의 각각의 가중된 형상 컴포넌트를 조합하도록 구성될 수 있다. 제1 사용자(110)의 얼굴의 복수의 가중된 형상 컴포넌트들의 일 예는 예를 들어 도 3e에 도시되고 설명된다.
제1 3D 얼굴 모델은 발생된 포인트 클라우드를 사용하여 중립 표정에서의 저장된 3D 얼굴 모델을 평균 형상 얼굴 모델과 피팅함으로써 발생될 수 있으며, 따라서 그것은 점들, 주름들 또는 일부 다른 개인 외모 속성들과 같은 제1 사용자(110)의 얼굴의 복수의 개인 외모 속성들을 포함하지 않는다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 발생된 제1 3D 얼굴 모델 및 제1 사용자의 얼굴의 발생된 강체 정렬 포인트 클라우드의 복수의 버텍스들의 위치들에서의 차이에 기초하여 얼굴 모델 레지듀를 평가하도록 구성될 수 있다. 평가된 레지듀는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델의 발생된 것의 대응하는 복수의 버텍스들에 대한 복수의 서브레지듀들, 예를 들어 제1, 제2 및 제3 서브레지듀를 포함할 수 있다. 제1 서브레지듀는 발생된 제1 3D 얼굴 모델의 복수의 버텍스들과 발생된 포인트 클라우드에서의 대응하는 복수의 버텍스들 사이의 차이일 수 있다. 제2 서브레지듀는 제1 3D 얼굴 모델의 복수의 특징 포인트들과 발생된 포인트 클라우드의 대응하는 복수의 특징 포인트들 사이의 차이일 수 있다. 제1 서브레지듀는 발생된 제1 3D 얼굴 모델의 형상과 제1 사용자(110)의 얼굴의 형상 사이의 차이를 최소화하는데 사용될 수 있다. 제2 서브레지듀는 발생된 제1 3D 얼굴 모델의 눈, 입술들, 뺨, 입과 같은 중요 얼굴 특징들과 제1 사용자(110)의 실제 얼굴 특징들 사이의 차이를 최소화하는데 사용될 수 있다. 제3 서브레지듀는 발생된 제1 3D 얼굴 모델을 평활화하는데 사용될 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델에 대한 변형된 얼굴 모델 레지듀를 도출하기 위해 변형을 평가된 얼굴 모델 레지듀에 적용하도록 구성될 수 있다. 평가된 얼굴 모델 레지듀에 적용되는 변형은 라플라시안 변형일 수 있다. 게다가, VR 기반 장치(102)는 제1 사용자의 얼굴의 정제된 제1 3D 얼굴 모델을 획득하기 위해 도출된 얼굴 모델 레지듀를 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델에 적용하도록 구성될 수 있다. 획득된 정제된 제1 3D 얼굴 모델은 제1 사용자(110)의 얼굴 상의 중립 위치에 배치되는 특징 포인트들 및 외모 속성들을 모방하는 중립 표정에서의 제1 사용자(110)의 얼굴의 3D 모델일 수 있다. 예를 들어, 정제된 제1 3D 얼굴 모델의 특징 포인트들 및 전체 외모의 형상은 제1 사용자(110)의 실제 얼굴의 특징 포인트들 및 외모와 유사하지만 중립 표정(웃음, 분노 등과 같은, 임의의 특정 감정이 없음)에 대해서만 유사하다. 제1 및 제2 서브레지듀의 평가에 대한 일 예는 예를 들어 도 3g 및 도 3h 각각에 도시되고 설명된다.
VR 기반 장치(102)는 정제된 제1 3D 얼굴 모델 상의 복수의 외모 속성들이 중립 표정에서의 캡처된 복수의 컬러 이미지들에서 제1 사용자(110)의 얼굴의 형상 및 외모로부터 최소 편차를 나타내도록 VR 기반 장치(102) 상에서 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하도록 구성될 수 있다. 일부 실시예들에서, VR 기반 장치(102)는 원격 디스플레이 디바이스(도시되지 않음) 상에서 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하도록 구성될 수 있다. 정제된 제1 3D 얼굴 모델은 제1 사용자(110)의 얼굴의 형상 및 외모로부터 최소 편차를 나타내므로, 정제된 제1 3D 얼굴 모델의 디스플레이는 본래 현실적이다. 제1 사용자(110)의 얼굴의 외모 속성들은 VR 기반 장치(102)의 디스플레이 스크린 상에서 분명히 가시적이다. 게다가, 더 많은 픽셀들은 제1 사용자(110)의 완전한 3D 모델의 다른 부분들과 비교하여 정제된 제1 3D 얼굴 모델의 향상되고 생생한 시각화를 위한 디스플레이 제어 동안 정제된 제1 3D 얼굴 모델의 얼굴 부분에 할당될 수 있다. 게다가, 얼굴 부분 내에서, 디스플레이 스크린 상에서 보여질 때 더 두드러지는, 입술들, 눈들, 및 이마와 같은, 특징들이 풍부한 일부 얼굴 영역들이 있을 수 있다. 특징들이 풍부한 그러한 얼굴 영역들은 정제된 제1 3D 얼굴 모델의 디스플레이 동안 얼굴 부분의 다른 영역들보다 훨씬 더 높은 수의 픽셀들을 할당받을 수 있다.
일 실시예에 따라, VR 기반 장치(102)는 중립 표정에서의 저장된 평균 형상 얼굴 모델과 복수의 임의 얼굴 표정들에서의 저장된 평균 형상 얼굴 모델 사이의 한 세트의 변환들을 평가하도록 구성될 수 있다. 중립 표정에서의 저장된 평균 형상 얼굴 모델과 임의 표정 사이의 한 세트의 변환들의 평가의 일 예는 도 3i 및 도 3j에 집합적으로 도시되고 설명된다.
일 실시예에 따라, VR 기반 장치(102)는 한 세트의 혼합 형상들을 도출하도록 구성될 수 있다. 한 세트의 혼합 형상들은 제1 사용자(110)의 얼굴의 복수의 임의 얼굴 표정들에 대응하는 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델 상에 평가된 세트의 변환들의 적용에 의해 도출될 수 있다. 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델 상에 평가된 세트의 변환들의 적용에 의한 한 세트의 혼합 형상들의 도출의 일 예는 예를 들어 도 3k에 도시되고 설명된다. VR 기반 장치(102)는 평가된 세트의 혼합 형상들에 기초하여 복수의 임의 얼굴 표정들에서 제1 사용자(110)의 얼굴의 복수의 제2 3D 얼굴 모델들을 발생시킬 수 있다. 도출된 세트의 혼합 형상들에 기초하여 임의 얼굴 표정에서 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델의 발생의 일 예는 예를 들어 도 3l에 도시되고 설명된다. 일 실시예에 따라, VR 기반 장치(102)는 서버(104)에 저장되는 정제된 제1 3D 얼굴 모델들을 검색할 수 있다. 일 실시예에 따라, VR 기반 장치(102)의 기능들 또는 동작들은 개시내용의 범위로부터의 벗어남 없이, 서버(104)에 의해 구현될 수 있다.
도 2는 개시내용의 일 실시예에 따라, 예시적 VR 기반 장치를 예시하는 블록도이다. 도 2는 도 1로부터의 요소들과 함께 설명된다. 도 2를 참조하여, VR 기반 장치(102)가 도시된다. VR 기반 장치(102)는 회로(202), 메모리(204), 및 입력/출력(input/output)(I/O) 디바이스(206)를 포함할 수 있다. 회로(202)는 네트워크 인터페이스(208), 프로세서(210), 얼굴 모델러(212), 및 형상 정제 회로(214)를 더 포함할 수 있다. I/O 디바이스(206)는 디스플레이 스크린(206A)을 포함할 수 있으며, 이 스크린은 애플리케이션 인터페이스(216)를 렌더링하기 위해 이용될 수 있다. 네트워크 인터페이스(208), 프로세서(210), 얼굴 모델러(212), 및 형상 정제 회로(214)를 포함할 수 있는 회로(202)는 메모리(204) 및 I/O 디바이스(206)에 통신가능하게 결합될 수 있다. 회로(202)는 네트워크 인터페이스(208)의 사용에 의해, 서버(104) 및 감지 디바이스(106)와 통신하도록 구성될 수 있다.
회로(202)는 3D 인간 얼굴 모델을 발생시킬 시에 수반되는 다양한 동작들을 실행하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 회로(202)는 제1 사용자(110)(예를 들어, 실제 인간)의 얼굴의 제1 3D 얼굴 모델을 실시간 또는 근 실시간으로 발생시키도록 구성될 수 있다. 회로(202)는 정제된 제1 3D 얼굴 모델을 발생시키기 위해 제1 사용자(110)의 얼굴의 발생된 제1 3D 얼굴 모델의 형상을 정제하도록 구성될 수 있다. 게다가, 회로(202)는 VR 애플리케이션들을 위해 VR 기반 장치(102) 상에서 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하도록 구성될 수 있다. 회로(202)는 프로세서(210), 얼굴 모델러(212) 및 형상 정제 회로(214)에 의해, 전술한 동작들을 실행하도록 구성될 수 있다.
메모리(204)는 회로(202)에 의해 실행가능한 한 세트의 명령어들을 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 메모리(204)는 운영 시스템들 및 연관된 애플리케이션들을 저장하도록 구성될 수 있다. 일 실시예에 따라, 메모리(204)는 기존 3D 얼굴 모델인 3D 얼굴 모델을 저장하도록 추가로 구성될 수 있다. 메모리(204)는 중립 표정에서의 평균 형상 얼굴 모델 및 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 저장된 3D 얼굴 모델의 일부로서 저장하도록 추가로 구성될 수 있다. 메모리(204)는 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 구성될 수 있다. 메모리(204)는 제1 사용자(110)의 복수의 발생된 3D 얼굴 모델들을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예들은 랜덤 액세스 메모리(Random Access Memory)(RAM), 판독 전용 메모리(Read Only Memory)(ROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory)(EEPROM), 하드 디스크 드라이브(Hard Disk Drive)(HDD), 고체 상태 드라이브(Solid-State Drive)(SSD), CPU 캐시, 및/또는 보안 디지털(Secure Digital)(SD) 카드를 포함할 수 있지만, 이들에 제한되지 않는다.
I/O 디바이스(206)는 제1 사용자(110)로부터 입력을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. I/O 디바이스(206)는 출력을 제1 사용자(110)에게 제공하도록 추가로 구성될 수 있다. I/O 디바이스(206)는 회로(202)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스들을 포함할 수 있다. 입력 디바이스들의 예들은 터치 스크린, 키보드, 마우스, 조이스틱, 및/또는 마이크로폰을 포함할 수 있지만, 이들에 제한되지 않는다. 출력 디바이스들의 예들은 디스플레이 스크린(206A) 및/또는 스피커를 포함할 수 있지만, 이들에 제한되지 않는다.
디스플레이 스크린(206A)은 3D 인간 얼굴 모델을 디스플레이하기 위해 애플리케이션 인터페이스(216)를 렌더링하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 일 실시예에 따라, 디스플레이 스크린(206A)은 터치 스크린일 수 있으며, 제1 사용자(110)로부터의 입력은 애플리케이션 인터페이스(216)를 통해 수신될 수 있다. 디스플레이 스크린(206A)은 제1 사용자(110)로부터 수신되는 입력에 기초하여 입력을 캡처할 수 있다. 제1 사용자(110)는 터치 스크린 상에 디스플레이되는 복수의 버튼들 또는 UI 요소들의 도움으로 입력들을 제공가능할 수 있다. 터치 스크린은 저항성 터치 스크린, 용량성 터치 스크린, 또는 열 터치 스크린 중 적어도 하나에 대응할 수 있다. 일 실시예에 따라, 디스플레이 스크린(206A)은 가상 키패드, 스타일러스, 제스처 기반 입력, 및/또는 터치 기반 입력을 통해 입력을 수신할 수 있다. 디스플레이 스크린(206A)은 액정 디스플레이(Liquid Crystal Display)(LCD) 디스플레이, 발광 다이오드(Light Emitting Diode)(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(Organic LED)(OLED) 디스플레이 기술, 및/또는 다른 디스플레이 중 적어도 하나와 같지만, 이들에 제한되지 않는 수개의 공지된 기술을 통해 실현될 수 있다. 일 실시예에 따라, 디스플레이 스크린(206A)은 스마트 글래스 디바이스의 디스플레이 스크린, 시스루(see-through) 디스플레이, 투영 기반 디스플레이, 전기 변색 디스플레이, 및/또는 투명 디스플레이를 언급할 수 있다.
네트워크 인터페이스(208)는 통신 네트워크(108)를 통해, VR 기반 장치(102), 서버(104), 및 감지 디바이스(106) 사이의 통신을 설정하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(208)는 통신 네트워크(108)와의 VR 기반 장치(102)의 유선 또는 무선 통신을 지원하기 위해 여러가지 공지된 기술들의 사용에 의해 구현될 수 있다. 네트워크 인터페이스(208)는 안테나, 무선 주파수(radio frequency)(RF) 송수신기, 하나 이상의 증폭기, 동조기, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(coder-decoder)(CODEC) 칩셋, 가입자 식별 모듈(subscriber identity module)(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이들에 제한되지 않는다. 네트워크 인터페이스(208)는 무선 통신을 통해 네트워크들, 예컨대 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 휴대 전화 네트워크, 무선 근거리 네트워크(LAN) 및/또는 도시권 통신 네트워크(MAN)와 통신할 수 있다. 무선 통신은 복수의 통신 표준들, 프로토콜들 및 기술들, 예컨대 이동 통신 세계화 시스템(Global System for Mobile Communications)(GSM), 향상된 데이터 GSM 환경(Enhanced Data GSM Environment)(EDGE), 광대역 코드 분할 다중 액세스(wideband code division multiple access)(W-CDMA), 롱 텀 에볼루션(Long Term Evolution)(LTE), 코드 분할 다중 액세스(code division multiple access)(CDMA), 시간 분할 다중 액세스(time division multiple access)(TDMA), 블루투스, 무선 충실도(Wi-Fi)(예컨대 IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), 보이스 오버 인터넷 프로토콜(voice over Internet Protocol)(VoIP), 라이 파이(Li-Fi), Wi-MAX, 이메일을 위한 프로토콜, 인스턴스 메시징, 및/또는 단문 메시지 서비스(Short Message Service)(SMS) 중 어느 것을 사용할 수 있다.
프로세서(210)는 메모리(204)에 저장되는 한 세트의 명령어들을 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 프로세서(210)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(210)의 예들은 그래픽 처리 유닛(Graphical Processing Unit)(GPU), 중앙 처리 유닛(Central Processing Unit)(CPU), X86 기반 프로세서, 축소 명령 집합 컴퓨팅(Reduced Instruction Set Computing)(RISC) 프로세서, 주문형 집적 회로(Application-Specific Integrated Circuit)(ASIC) 프로세서, 복잡 명령 집합 컴퓨팅(Complex Instruction Set Computing)(CISC) 프로세서, 다른 프로세서들, 및/또는 그것의 조합일 수 있다.
얼굴 모델러(212)는 제1 사용자(110)의 3D 얼굴 모델을 발생시키도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 얼굴 모델러(212)는 감지 디바이스(106)에 의해 캡처되는, 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보와 평균 형상 얼굴 모델을 정렬시키도록 구성될 수 있다. 게다가, 얼굴 모델러(212)는 복수의 임의 표정들에서의 저장된 평균 형상 얼굴 모델들에 기초하여 제1 사용자(110)의 복수의 임의 표정들에 대한 혼합 형상들을 발생시키도록 구성될 수 있다. 얼굴 모델러(212)는 VR 기반 장치(102) 내의 개별 프로세서 또는 회로로 구현될 수 있다. 얼굴 모델러(212) 및 프로세서(210)는 얼굴 모델러(212) 및 프로세서(210)의 기능들을 수행하는 통합 프로세서 또는 프로세서들의 클러스터로 구현될 수 있다. 얼굴 모델러(212)는 메모리(204)에 저장되는 한 세트의 명령어들로 구현될 수 있으며, 이 명령어들은 프로세서(210)에 의한 실행 시에, VR 기반 장치(102)에 대한 기능들 및 동작들을 수행할 수 있다.
형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 복수의 외모 속성들을 포함하는 제1 사용자(110)의 얼굴의 3D 모델을 발생시키도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 형상 정제 회로(214)는 또한 제1 사용자(110)의 제1 3D 얼굴 모델의 형상을 정제하도록 구성될 수 있다. 형상 정제 회로(214)는 VR 기반 장치(102) 내의 개별 프로세서 또는 회로로 구현될 수 있다. 형상 정제 회로(214) 및 프로세서(210)는 형상 정제 회로(214) 및 프로세서(210)의 기능들을 수행하는 통합 프로세서 또는 프로세서들의 클러스터로 구현될 수 있다. 형상 정제 회로(214)는 메모리(204)에 저장되는 한 세트의 명령어들로 구현될 수 있으며, 이 명령어들은 프로세서(210)에 의한 실행 시에, VR 기반 장치(102)에 대한 기능들 및 동작들을 수행할 수 있다.
애플리케이션 인터페이스(216)는 디스플레이 스크린(206A)과 같은 디스플레이 스크린 상에 렌더링되는 사용자 인터페이스(user interface)(UI)에 대응할 수 있다. 애플리케이션 인터페이스(216)는 제1 사용자(110)의 발생된 3D 얼굴 모델을 디스플레이할 수 있다. 3D 얼굴 모델은 애플리케이션 인터페이스(216)의 사용에 의해, 복수의 관점들에서 보여질 수 있다. 애플리케이션 인터페이스(216)의 일 예는 그래픽 사용자 인터페이스(graphical user interface)(GUI)를 포함할 수 있지만, 이에 제한되지 않는다.
도 3a, 도 3b, 도 3c, 도 3d, 도 3e, 도 3f, 도 3g, 도 3h, 도 3i, 도 3j, 도 3k 및 도 3l은 개시내용의 일 실시예에 따라, 현실적 3D 인간 얼굴 모델의 예시적 발생을 집합적으로 예시하는 도해들이다. 도 3a, 도 3b, 도 3c, 도 3d, 도 3e, 도 3f, 도 3g, 도 3h, 도 3i, 도 3j, 도 3k 및 도 3l은 도 1 및 도 2로부터의 요소들과 함께 설명된다. 도 3a를 참조하여, 동작들(302 내지 322)을 사용하여 3D 인간 얼굴 모델의 발생을 도시하기 위해 처리 파이프라인이 도시된다.
302에서, 감지 디바이스(106)는 상이한 시야 각도들로부터 중립 표정에 대한 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다. 감지 디바이스(106)는 VR 기반 장치(102)로부터 수신되는 요청에 기초하여 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다.
304에서, 프로세서(210)는 네트워크 인터페이스(208)의 사용에 의해, 감지 디바이스(106)로부터 제1 사용자(110) 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 수신하도록 구성될 수 있다. 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 통신 네트워크(108)를 통해 수신될 수 있다. 그 후에, 얼굴 모델러(212)는 감지 디바이스(106)로부터의 수신된 정보에 기초하여 포인트 클라우드를 실시간 또는 근 실시간으로 발생시키도록 구성될 수 있다. 포인트 클라우드 3D 좌표 시스템에서의 "X, Y, 및 Z" 좌표들에 의해 정의되는 한 세트의 데이터 포인트들이다. 포인트 클라우드는 제1 사용자(110)(즉, 실제 인간)의 적어도 얼굴 부분의 외부 표면을 표현하기 위해 발생될 수 있다.
306에서, 얼굴 모델러(212)는 발생된 포인트 클라우드를 저장된 평균 형상 얼굴 모델과 정렬시키도록 구성될 수 있다. 얼굴 모델러(212)는 강체 정렬 포인트 클라우드를 발생시키기 위해 저장된 평균 형상 얼굴 모델과, 눈들, 코, 입술들, 및/또는 다른 특징 포인트들과 같은 제1 사용자(110)의 얼굴의 복수의 특징 포인트들을 정렬시키도록 구성될 수 있다. 비강체 정렬 동작에서, 얼굴 모델러(212)는 제1 사용자(110)의 얼굴의 모든 포인트들을 저장된 평균 형상 얼굴 모델과 정렬시키도록 구성될 수 있다. 얼굴 모델러(212)는 저장된 평균 형상 얼굴 모델 상에 강체 및 비강체 정렬 동작을 적용한 후에 중립 표정에서 변형된 평균 형상 얼굴 모델을 발생시키도록 구성될 수 있다.
308에서, 얼굴 모델러(212)는 발생된 포인트 클라우드를 사용하여 저장된 3D 얼굴 모델을 평균 형상 얼굴 모델과 피팅하도록 구성될 수 있다. 저장된 3D 얼굴 모델은 제1 사용자(110)의 얼굴을 상이한 기본 형상 컴포넌트들의 선형 조합으로 표현한다. 모델 피팅 동작에서, 얼굴 모델러(212)는 저장된 3D 얼굴 모델의 상이한 기본 형상 컴포넌트들의 가중치들을 추정하도록 구성될 수 있다.
310에서, 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델의 형상을 정제하도록 구성될 수 있다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델에 대한 사용자 특정 외모 속성들을 포함하도록 구성될 수 있다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델을 발생시키도록 구성될 수 있다. 종래의 시스템들에서, 입력 데이터의 Z-좌표들(뎁스 정보)의 단축 및 3D-모델을 피팅하기 위해 사용되는 작은 수의 대응 때문에, 재구성된 3D 모델은 통상 충분히 정확하지 않다. 개시된 방법은 3D 모델 피팅에 대한 뎁스 정보를 이용하고 대응은 제1 3D 얼굴 모델 상의 모든 버텍스들에 대해 산출된 다음에, 3D-얼굴 모델링의 정확도를 높이 개선하는 형상 정제 회로(214)에 의한 정제가 이어진다.
312에서, 얼굴 모델러(212)는 3D 평균 형상 얼굴 모델의 사전 저장된 복수의 임의 얼굴 표정들에 기초하여 제1 사용자(110)의 얼굴의 상이한 임의 표정들에 대한 한 세트의 혼합 형상들을 발생시키도록 구성될 수 있다.
314에서, 감지 디바이스(106)는 하나 이상의 시야 각도로부터, 임의 표정에서의 제1 사용자(110)의 얼굴의 하나 이상의 컬러 이미지 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다. 감지 디바이스(106)는 302에서 행해지는 바와 같이, VR 기반 장치(102)로부터 수신되는 요청에 기초하여 하나 이상의 컬러 이미지 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다.
316에서, 프로세서(210)는 감지 디바이스(106)로부터, 통신 네트워크(108)를 통해 임의 표정(예를 들어, 중립 표정과 다름)에서의 제1 사용자(110)의 얼굴의 하나 이상의 컬러 이미지 및 대응하는 뎁스 정보를 수신하도록 추가로 구성될 수 있다. 얼굴 모델러(212)는 304에서 행해지는 바와 같이, 감지 디바이스(106)로부터의 수신된 정보에 기초하여 임의 표정에서 제1 사용자(110)의 얼굴에 대한 포인트 클라우드를 발생시키도록 구성될 수 있다. 임의 표정의 예들은 제1 사용자(110)에 의한 슬픔, 분노, 벌린 입, 변형된 뺨들, 올려진 눈썹들, 또는 어떤 임의 얼굴 표정들을 포함할 수 있지만, 이들에 제한되지 않는다.
318에서, 얼굴 모델러(212)는 306에서 처리되는 바와 같이, 발생된 포인트 클라우드를 임의 표정을 위해, 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델과 정렬시키도록 구성될 수 있다. 얼굴 모델러(212)는 눈들, 코, 입술들, 및/또는 다른 특징 포인트들과 같은 제1 사용자(110)의 얼굴의 복수의 특징 포인트들을, 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델과 정렬시키고 강체 정렬 포인트 클라우드를 발생시키도록 구성될 수 있다. 비강체 정렬 동작에서, 얼굴 모델러(212)는 제1 사용자(110)의 얼굴의 모든 포인트들을 저장된 평균 형상 얼굴 모델과 정렬시키도록 구성될 수 있다. 얼굴 모델러(212)는 저장된 평균 형상 얼굴 모델 상에 강체 및 비강체 정렬 동작을 적용한 후에 임의 표정에서 변형된 평균 형상 얼굴 모델을 발생시키도록 구성될 수 있다.
320에서, 얼굴 모델러(212)는 임의 표정에서 제1 사용자(110)의 발생된 포인트 클라우드를 피팅하고 임의 표정에서 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델을 발생시키도록 구성될 수 있다. 모델 피팅 동작에서, 얼굴 모델러(212)는 제1 사용자(110)의 얼굴의 상이한 임의 얼굴 표정들에 대한 상이한 혼합 형상들에 대한 계수들을 추정하도록 구성될 수 있다. 종래의 시스템들에서, 전형적으로, 또한 표정들을 갖는 3D 얼굴 모델을 구성하기 위해 사용되는 혼합 형상들의 발생은 캐릭터 또는 실제 사용자가 카메라의 정면에서 상이한 기본 표정들을 하고 상이한 기본 표정들의 재구성된 3D 모델을 혼합 형상들로 사용하는 것을 요청하는 것을 수반한다. 그러한 종래의 시스템들 및 방법들은 양호하거나, 일관되거나, 용이하게 사용가능한 기본 표정들을 항상 제공하는 것은 아닐 수 있는 제1 사용자(110)와 같은 실제 사용자의 너무 많은 수반을 수반하여 나쁜 결과들을 초래한다. 개시된 시스템은 설명된 바와 같이, 혼합 형상들이 표정들의 이용가능 참조 템플릿들에 따라 자동적으로 발생되므로 실제 사용자의 그러한 수반을 생략한다.
322에서, 형상 정제 회로(214)는 임의 표정에서 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델의 형상을 정제하도록 구성될 수 있다. 형상 정제 회로(214)는 임의 표정에서의 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델에 대한 사용자 특정 외모 속성들을 포함하도록 구성될 수 있다. 형상 정제 회로는 임의 표정에서 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델을 발생시키도록 구성될 수 있다.
도 3b는 개시내용의 일 실시예에 따라, 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 포인트 클라우드의 발생을 예시한다. 도 3b를 참조하여, 복수의 컬러 이미지들의 집합체(집합적 컬러 이미지(324)로 언급됨), 복수의 특징 포인트들(326), 복수의 특징 포인트들의 투영(328) 및 포인트 클라우드(330)가 도시된다. 도 3b에서, 도 3a의 처리 파이프라인에서 중립 표정에서의 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 포인트 클라우드의 발생과 관련되는 도 3a의 동작(304) 및 임의 표정에서의 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 포인트 클라우드의 발생과 관련되는 도 3a의 동작(316)은 상세하게 추가로 설명된다.
얼굴 모델러(212)는 통신 네트워크(108)를 통해, 감지 디바이스(106)로부터 수신되는 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보의 집합적 컬러 이미지(324)에 기초하여 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 포인트 클라우드(330)를 발생시키도록 구성될 수 있다. 얼굴 모델러(212)는 감지 디바이스(106)에 의해 수신되는 집합적 컬러 이미지(324) 상에 바운딩 박스를 배치하도록 구성될 수 있다. 게다가, 얼굴 모델러(212)는 바운딩 박스 내부에 배치되는 복수의 특징 포인트들(326)을 투영(328)에 도시된 바와 같은 3D 공간으로 투영하도록 구성될 수 있다. 복수의 특징 포인트들(326)은 임의의 인간 얼굴을 정의하는데 필수적인 눈들, 코, 입술들, 귀들 및/또는 다른 특징 포인트들과 같은, 제1 사용자(110)의 얼굴의 중요 특징 포인트들을 포함할 수 있다.
일 실시예에 따라, 얼굴 모델러(212)는 2D 얼굴 랜드마크들 검출기를 사용하여 제1 사용자(110)의 얼굴의 복수의 특징 포인트들(326)을 검출하도록 구성될 수 있다. 2D에서 3D까지의 복수의 특징 포인트들(326)의 투영(328)은 3D 인간 얼굴 모델에 대한 포인트 클라우드(330)를 발생시킨다. 포인트 클라우드(330)는 제1 사용자(110)의 얼굴의 외부 표면을 표현하는 3D 좌표 시스템에서의 한 세트의 데이터 포인트들을 언급한다. 얼굴 모델러(212)는 최소 잡음 및 높은 정확도를 갖는 포인트 클라우드(330)를 발생시키기 위해, 감지 디바이스(106)에 의해 캡처되는, 제1 사용자(110)의 얼굴의 (예를 들어, 집합적 컬러 이미지(324)) 복수의 컬러 이미지들 및 그들의 대응하는 뎁스 정보를 집합하도록 추가로 구성될 수 있다.
도 3c는 저장된 평균 형상 얼굴 모델(332)에 대해 포인트 클라우드(330)의 강체 정렬을 예시한다. 도 3c에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 발생된 포인트 클라우드의 정렬과 관련되는 도 3a의 동작(306)이 추가로 설명된다.
얼굴 모델러(212)는 포인트 클라우드(330) 상의 특징 포인트들(330A)의 3D 좌표들과 중립 표정에서의 평균 형상 얼굴 모델(332) 상의 랜드마크들(332A) 사이의 아핀 변환을 추정하도록 구성될 수 있다. 아핀 변환은 포인트들, 직선들, 및 평면들을 보존하는 함수를 언급한다. 일 실시예에 따라, 아핀 변환은 제1 사용자(110)의 얼굴의 포인트 클라우드(330)의 특징 포인트들을 평균 형상 얼굴 모델(332)과 정렬시키기 위해 추정될 수 있다. 얼굴 모델러(212)는 눈들, 코, 입술들, 뺨들, 또는 다른 특징 포인트들과 같은 제1 사용자(110)의 얼굴의 특징 포인트들(330A)을 정렬하기 위해 아핀 변환을 추정하도록 구성될 수 있다. 추정된 아핀 변환은 강체 정렬 포인트 클라우드(334)를 획득하기 위해, 추출된 포인트 클라우드로 공지된, 바운딩 박스로부터 추출되는 포인트 클라우드(330) 상에 적용된다. 아핀 변환은 아래에 나타낸 바와 같은 방정식 (1)에 의해 추정될 수 있다:
여기서, f는 포인트 클라우드(330)의 특징 포인트들(330A)을 표현하고;
f'는 평균 형상 얼굴 모델(332)의 랜드마크들(332A)을 표현하고;
아핀 변환은 아래에 나타낸 바와 같은 방정식 (2)에 의해 추출된 포인트 클라우드 상에 적용될 수 있다:
여기서, "v"는 포인트 클라우드(330)를 표현하고;
"
"는 강체 정렬 포인트 클라우드(334)를 표현하고;
"R" 및 "t"는 포인트 클라우드(330) 상에 적용되는 회전 및 변환을 표현한다.
도 3d는 평균 형상 얼굴 모델(332)과 강체 정렬 포인트 클라우드(334)(도 3c의)의 비강체 정렬을 예시한다. 도 3d를 참조하여, 입력 메쉬(336) 및 변형된 평균 형상 얼굴 모델(338)이 추가로 도시된다. 도 3d에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 3D 인간 얼굴 모델에 대한 발생된 포인트 클라우드의 정렬과 관련되는 도 3a의 동작(306)이 상세하게 추가로 설명된다.
얼굴 모델러(212)는 입력 메쉬(336)를 획득하기 위해 포인트들을 연결하고 강체 정렬 포인트 클라우드(334) 상에 에지들을 형성하도록 구성될 수 있다. 얼굴 모델러(212)는 도시된 바와 같이, 변형된 평균 형상 얼굴 모델(338)을 발생시키기 위해 입력 메쉬(336)에 대해 평균 형상 얼굴 모델(332)을 변형시키도록 구성될 수 있다. 일 실시예에 따라, 얼굴 모델러(212)는 변형된 평균 형상 얼굴 모델(338)과 강체 정렬 포인트 클라우드(334) 사이의 가장 가까운 포인트들의 추정에 기초하여 대응을 산출하도록 구성될 수 있다. 변형은 아래에 나타낸 바와 같은 방정식 (3)의 사용에 의해 수행될 수 있다:
여기서, vi는 평균 형상 얼굴 모델(332)의 변형된 버텍스들을 표현하고;
ci는 입력 메쉬(336)의 대응하는 버텍스들을 표현하고;
Ti는 하나의 삼각형에 대한 아핀 변환을 표현하고;
ws, wI, wc는 Es, EI, Ec 각각의 가중치들을 표현하고;
sk는 마커(k)에 대한 소스 버텍스 인덱스를 표현하고;
mk는 입력 메쉬(336) 상의 마커(k)의 위치를 표현한다.
도 3e는 도 3a의 처리 파이프라인에서 3D 인간 얼굴 모델을 발생시키는 모델 피팅 동작을 예시한다. 도 3f를 참조하여, 제1 3D 얼굴 모델(344) 및 상이한 형상 컴포넌트들(342)에 대한 가중 계수들(340)이 도시된다. 도 3e에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 형상의 정제와 관련되는 모델 피팅 동작(즉, 도 3a의 동작(308))은 상세하게 추가로 설명된다.
제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)은 제1 사용자(110)의 얼굴의 복수의 외모 속성들을 포함하지 않을 수 있는 제1 사용자(110)의 3D 얼굴 모델일 수 있다. 외모 속성들은 제1 사용자(110)의 얼굴의 외부 표면 상에 존재하는 점들, 주름들 또는 다른 속성들을 포함할 수 있다. 상이한 형상 컴포넌트들(342)은 눈들, 코, 입술들, 뺨들, 이마 등과 같은 인간 얼굴의 복수의 상이한 컴포넌트들을 언급한다. 인간 얼굴의 이러한 기본 컴포넌트들의 형상은 인간 얼굴의 특정 형상을 초래한다. 가중 계수들(340)은 제1 사용자(110)의 얼굴의 타겟 제1 3D 얼굴 모델을 발생시키기 위해 이러한 형상 컴포넌트들(342) 각각에 할당되는 가중치를 언급한다.
얼굴 모델러(212)는 포인트 클라우드(330)로부터 제1 3D 얼굴 모델(344) 상의 각각의 버텍스의 대응을 최소화하도록 구성될 수 있다. 선형 얼굴 모델은 얼굴을 상이한 형상 컴포넌트들(342)의 선형 조합으로 표현할 수 있다. 얼굴 모델러(212)는 상이한 형상 컴포넌트들(342)에 대한 가중 계수들(340)을 추정하고, 중립 표정에서 제1 사용자(110)의 얼굴에 대한 제1 3D 얼굴 모델(344)을 발생시키도록 구성될 수 있다. 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)은 아래에 나타낸 바와 같은 방정식 (4)에 의해 발생될 수 있으며,
여기서, F는 제1 3D 얼굴 모델(344)을 표현하고;
μ는 제1 사용자(110)의 얼굴의 평균 형상을 표현하고;
U는 정규 직교 기저(orthonormal basis)를 표현하며, 정규 직교 기저는 벡터들이 모든 단위 벡터들이고 서로 직교하는 벡터 공간에 대한 기저를 언급하고;
α는 계수들을 표현하며;
상이한 형상 컴포넌트들(342)의 계수들의 값은 아래에 나타낸 바와 같은 방정식 (5)에 의해 산출될 수 있으며,
여기서, vi, Fi는 포인트 클라우드(n)로부터 모델 상의 버텍스 및 그것의 대응을 표현하고;
vj, Fj는 포인트 클라우드(m)로부터 모델 상의 랜드마크들 및 그것의 대응을 표현하고;
w는 랜드마크들에 대한 가중치들을 표현한다.
도 3f는 3D 인간 얼굴 모델을 발생시키는 형상 정제를 예시한다. 도 3f를 참조하여, 포인트 클라우드(330), 제1 3D 얼굴 모델(344), 레지듀얼(residual)(346), 최적화기(348), 정제된 레지듀얼(350), 및 정제된 제1 3D 얼굴 모델(352)이 도시된다. 도 3f에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 형상의 정제와 관련되는 형상 정제 동작(즉, 도 3a의 동작(310))은 상세하게 추가로 설명된다.
형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)에서 제1 사용자(110)의 얼굴의 복수의 외모 속성들을 포함하거나 추가하도록 구성될 수 있다. 형상 정제 회로(214)는 제1 3D 얼굴 모델(344)과 포인트 클라우드(330) 사이의 레지듀얼(346)을 산출하도록 구성될 수 있다. 레지듀얼(346)은 제1 3D 얼굴 모델(344)과 포인트 클라우드(330) 사이의 차이일 수 있다. 최적화기(348)는 산출된 레지듀얼(346)을 최적화하고 정제된 레지듀얼(350)을 획득하도록 구성될 수 있다. 최적화기(348)는 레지듀얼(346)을 최적화하기 위해 라플라시안 변형을 적용할 수 있다. 게다가, 형상 정제 회로(214)는 정제된 레지듀얼(350)을 제1 3D 얼굴 모델(344)에 추가하고 정제된 제1 3D 얼굴 모델(352)을 발생시키도록 구성될 수 있다. 형상 정제 회로(214)는 아래에 나타낸 바와 같은 방정식 (6)을 사용함으로써 형상 정제 동작을 실행할 수 있다:
v2=v1+Δv (6)
여기서, v2는 정제된 제1 3D 얼굴 모델(352)을 표현하고;
v1은 제1 3D 얼굴 모델(344)을 표현하고;
Δv는 최적화된 레지듀얼을 표현한다.
최적화기(348)는 아래에 나타낸 바와 같은 방정식 (7)을 사용함으로써 레지듀얼을 최적화할 수 있다:
CL=L(m)Δv는 라플라시안 평활화 항을 표현하며, 여기서 L(m)은 그것의 이웃 중에서 그것의 평활도에 기초하여 버텍스들 각각에 대해 할당되는 가중치들을 표현한다.
얼굴 모델러(212)는 입력 메쉬(336)의 모든 버텍스들을 제1 3D 얼굴 모델(344)의 대응하는 버텍스들에 피팅하기 위해 방정식 (8)을 이용할 수 있다. 게다가, 얼굴 모델러(212)는 또한 제1 사용자(110)의 얼굴의 검출된 2D 특징들의 포인트들을 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 투영된 3D 특징들의 포인트들에 피팅하기 위해 방정식 (9)를 이용할 수 있다.
도 3g는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 모든 버텍스를 입력 메쉬(336)에서의 그것의 대응에 피팅하는 동작을 예시한다. 도 3g를 참조하여, 입력 메쉬(336)의 복수의 버텍스들(354) 및 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델의 복수의 버텍스들(356)이 도시된다.
형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 모든 버텍스들(356)을 입력 메쉬(336)의 그것의 대응하는 버텍스들(354)에 피팅하도록 구성될 수 있다. 예를 들어, 도 3g에 도시된 바와 같이, 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 버텍스들(v1, v2 및 v3)은 입력 메쉬(336)의 대응하는 버텍스들(p1, p2 및 p3)에 피팅된다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 모든 버텍스들(356)을 입력 메쉬(336)의 대응하는 버텍스들(354)에 피팅하기 위해 방정식 (8)을 이용하도록 구성될 수 있다.
도 3h는 제1 사용자(110)의 얼굴의 검출된 2D 특징들의 포인트들(358)을 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 투영된 3D 특징들의 포인트들(360)에 피팅하는 동작을 예시한다. 도 3h를 참조하여, 제1 사용자(110)의 얼굴의 검출된 2D 특징들의 복수의 포인트들(358) 및 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 투영된 3D 특징들의 복수의 포인트들(360)이 도시된다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 검출된 2D 특징들의 포인트들(358)을, 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 투영된 3D 특징들의 포인트들(360)에 피팅하는 방정식 (9)를 이용하도록 구성될 수 있다.
제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)은 제1 사용자(110)의 얼굴의 캡처된 얼굴 부분의 얼굴 속성들을 포함할 수 있다. 정제된 제1 3D 얼굴 모델(352)은 제1 사용자(110)의 실제 얼굴을 정확하게 그리고 현실적으로 닮는다. 제1 사용자(110)의 얼굴의 얼굴 속성들은 제1 사용자(110)의 얼굴 상에 존재하는 점들, 주름들 등을 포함할 수 있다. 정제된 제1 3D 얼굴 모델은 중립 표정에서 제1 사용자(110)의 얼굴을 표현한다.
집합적으로 도 3i, 도 3j 및 도 3k에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 얼굴의 임의 얼굴 표정에서의 제1 사용자(110)의 3D 얼굴 모델의 발생과 관련되는 혼합 형상들의 발생의 동작들(즉, 도 3a의 동작(312))은 상세하게 추가로 설명된다.
도 3i는 제1 사용자(110)의 얼굴에 대한 특정 임의 표정을 갖는 3D 얼굴 모델을 발생시키는 동작을 예시한다. 도 3i를 참조하여, 중립 표정에서의 평균 형상 얼굴 모델(332) 및 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델이 도시된다. 게다가, 중립 표정에서의 평균 형상 얼굴 모델(332)의 삼각형(364A), 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델의 삼각형(364B) 및 중립 표정과 임의 표정 사이에서 추정되는 제1 변환(366)이 도시된다.
얼굴 모델러(212)는 저장된 3D 얼굴 모델의 저장된 복수의 임의 얼굴 표정들로부터 중립 표정에서의 평균 형상 얼굴 모델(332)과 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델 사이의 제1 변환(366)을 산출하도록 구성될 수 있다. 복수의 임의 얼굴 표정들은 슬픔, 웃음, 벌린 입, 올려진 눈썹들 등과 같은 제1 사용자(110)의 얼굴 표정들에 대응할 수 있다. 얼굴 모델러(212)는 중립 표정에서의 평균 형상 얼굴 모델(332)의 각각의 삼각형(364A)과 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델의 각각의 삼각형(364B) 사이의 변환을 산출하도록 구성될 수 있다. 3D 얼굴 모델(예를 들어 중립 표정에서의 평균 형상 얼굴 모델(332) 또는 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델에 대해) 상의 삼각형들은 모든 3D 얼굴 모델들에 대해 고정될 수 있는 도 3i에 나타낸 바와 같은 3D 얼굴 모델 상에 가장 가까운 3개의 버텍스를 연결함으로써 형성될 수 있다. 예를 들어, 도 3i에 도시된 바와 같이, 제1 변환(Si*)은 삼각형(364A)의 버텍스들(v01*, v02*, v03*) 및 평균 형상 얼굴 모델(332)의 삼각형(364A)의 중심에서의 허수 버텍스(v04*)에 의해 형성되는 사면체와 버텍스들(vi1*, vi2*, vi3*) 및 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델의 삼각형(364B)의 중심에서의 허수 버텍스(vi4*)에 의해 형성되는 대응하는 사면체 사이에서 산출된다.
도 3j는 도 3i를 계속하여 제1 사용자(110)의 얼굴에 대한 특정 임의 얼굴 표정을 갖는 3D 얼굴 모델을 발생시키는 동작을 예시한다. 도 3j를 참조하여, 중립 표정에서의 평균 형상 얼굴 모델(332), 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델, 평균 형상 얼굴 모델(332)의 복수의 부동 버텍스들(368) 및 전체 변환(370)이 도시된다.
얼굴 모델러(212)는 평균 형상 얼굴 모델(332)의 복수의 부동 버텍스들(368)과 저장된 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델 사이의 변환을 산출하도록 구성될 수 있다. 복수의 부동 버텍스들(368)은 표정이 중립 표정으로부터 어떤 임의 얼굴 표정으로 변경될 때에도 변경되지 않는 버텍스들로 구성될 수 있다. 임의 얼굴 표정(362)은 슬픔, 웃음, 분노, 벌린 입, 올려진 눈썹들 등과 같은 복수의 임의 얼굴 표정들 중 어느 것일 수 있다. 전체 변환(370)은 산출된 제1 변환(366) 및 복수의 부동 버텍스들(368) 사이의 변환의 조합일 수 있다. 얼굴 모델러(212)는 복수의 사전 저장된 얼굴 표정들로부터 원하는 임의 얼굴 표정에 대한 전체 변환(370)을 산출하도록 구성될 수 있다. 예를 들어, 도 3j에 도시된 바와 같이, 전체 변환(370)(또한 Ti*에 의해 표현됨)은 중립 표정에서의 평균 형상 얼굴 모델(332)과 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델 사이에서 산출될 수 있다.
도 3k는 중립 표정에서의 제1 사용자(110)의 얼굴의 발생된 정제된 제1 3D 얼굴 모델(352) 상에 산출된 전체 변환(370)의 적용을 예시한다. 도 3k를 참조하여, 중립 표정에서의 평균 형상 얼굴 모델(332)과 임의 얼굴 표정(362)에서의 평균 형상 얼굴 모델 사이의 산출된 전체 변환(370)이 도시된다. 또한, 임의 얼굴 표정에서 제1 사용자(110)의 얼굴의 3D 얼굴 모델(372)을 발생시키기 위해 중립 표정에서의 제1 사용자(110)의 정제된 제1 3D 얼굴 모델(352) 상에 산출된 전체 변환(370)의 적용이 도시된다.
얼굴 모델러(212)는 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델 상에 산출된 세트의 변환들(또는 산출된 전체 변환(370))의 적용에 의해 한 세트의 혼합 형상들을 도출하도록 구성될 수 있다. 한 세트의 혼합 형상들은 제1 사용자(110)의 얼굴의 복수의 임의 얼굴 표정들에 대응한다. 예를 들어, 도 3k에 도시된 바와 같이, 제1 사용자의 얼굴의 3D 얼굴 모델(372)은 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)에 얼굴 표정에서의 산출된 전체 변환(370)의 적용에 의해 발생된다.
임의 얼굴 표정에서 제1 사용자(110)의 얼굴의 3D 얼굴 모델을 발생시키기 위해, 도 3a에 도시된 바와 같은 처리 파이프라인의 동작들(314 내지 318)이 실행된다. 감지 디바이스(106)는 하나 이상의 시야 각도로부터, 임의 표정에서의 제1 사용자(110)의 얼굴의 하나 이상의 컬러 이미지 및 대응하는 뎁스 정보를 캡처하도록 구성될 수 있다. 얼굴 모델러(212)는 캡처된 컬러 이미지에 기초하여 임의 표정에 대한 포인트 클라우드를 발생시키도록 구성될 수 있다. 얼굴 모델러(212)는 임의 표정에 대한 발생된 포인트 클라우드를 중립 표정에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)과 정렬시키도록 구성될 수 있다.
도 3l은 특정 임의 얼굴 표정에서 제1 사용자(110)의 얼굴의 3D 얼굴 모델을 발생시키는 모델 피팅 동작을 예시한다. 도 3l을 참조하여, 제2 3D 얼굴 모델(378), 한 세트의 혼합 형상들(374) 및 한 세트의 혼합 형상들로부터의 각각의 혼합 형상에 대한 가중 계수들(376)이 도시된다. 도 3l에서, 도 3a의 처리 파이프라인에서 제1 사용자(110)의 얼굴의 임의 얼굴 표정에서의 제1 사용자(110)의 3D 얼굴 모델의 발생과 관련되는 임의 얼굴 표정에 대한 모델 피팅의 동작(즉, 도 3a의 동작(320))은 상세하게 추가로 설명된다.
제1 사용자(110)에 대한 원하는 특정 임의 얼굴 표정을 갖는 얼굴 모델은 복수의 혼합 형상들(374)의 조합으로 간주될 수 있다. 얼굴 모델러(212)는 제1 사용자(110)의 얼굴의 3D 얼굴 모델에 대한 특정 임의 얼굴 표정을 달성하도록 요구되는 각각의 혼합 형상에 대한 가중 계수들(376)을 추정하도록 구성될 수 있다. 얼굴 모델러는 특정 임의 얼굴 표정에서 제1 사용자(110)의 얼굴에 대한 제2 3D 얼굴 모델(378)을 발생시키도록 구성될 수 있다. 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델(376)은 아래에 나타낸 바와 같은 방정식 (10)을 사용함으로써 발생될 수 있다.
F=bo+(bi-bo)e (10),
여기서, F는 제2 3D 얼굴 모델(378)을 표현하고;
bo는 제1 사용자(110)의 얼굴의 중립 표정을 표현하고;
bi는 제1 사용자(110)의 얼굴의 혼합 형상들(374)을 표현하고;
e는 계수들을 표현하고;
상이한 혼합 형상들(374)의 계수들의 값은 아래에 나타낸 바와 같은 방정식 (11)을 사용함으로써 산출될 수 있다,
여기서, vi, Fi는 포인트 클라우드(n)로부터 모델 상의 버텍스 및 그것의 대응을 표현하고;
vj, Fj는 포인트 클라우드(m)로부터 모델 상의 랜드마크들 및 그것의 대응을 표현하고;
w'는 랜드마크들에 대한 가중치들을 표현한다.
도 4a, 도 4b, 및 도 4c는 개시내용의 일 실시예에 따라, 가상 현실 기반 장치를 사용하여 현실적 3D 인간 얼굴 모델을 발생시키기 위해 예시적 동작들을 예시하는 흐름도를 집합적으로 도시한다. 도 4a, 도 4b, 및 도 4c를 참조하여, 흐름도(400)가 도시된다. 흐름도(400)는 도 1, 도 2, 및 도 3a 내지 도 3l과 함께 설명된다. 동작들(404 내지 446)은 VR 기반 장치(102)에서 구현될 수 있다. 흐름도(400)는 402에서 시작되고 404로 진행된다.
404에서, 3D 얼굴 모델은 VR 기반 장치(102)에 저장될 수 있다. VR 기반 장치는 또한 중립 표정에서의 평균 형상 얼굴 모델 및 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 저장된 3D 얼굴 모델의 일부로서 저장할 수 있다. VR 기반 장치(102)는 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 추가로 구성될 수 있다. 평균 형상 얼굴 모델의 복수의 임의 얼굴 표정들은 상이한 임의 얼굴 표정들의 표정 템플릿들로 저장될 수 있다.
406에서, 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 중립 얼굴 표정에서의 하나 이상의 시야 각도로부터 캡처될 수 있다. 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 감지 디바이스(106)에 의해 캡처될 수 있다. 캡처된 컬러 이미지들 및 대응하는 뎁스 정보는 서로에 대해 정렬될 수 있다. VR 기반 장치(102)는 감지 디바이스(106)로부터, 통신 네트워크(108)를 통해 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 수신하도록 구성될 수 있다.
408에서, 제1 사용자(110)의 얼굴의 캡처된 복수의 컬러 이미지들의 집합적 컬러 이미지(324)로부터의 복수의 특징 포인트들(326)이 검출될 수 있다. 복수의 특징 포인트들(326)은 VR 기반 장치(102)에 의해, 2D 얼굴 랜드마크 검출에 기초하여 검출될 수 있다. 검출된 복수의 특징 포인트들(326)은 눈들, 코, 입술들, 또는 다른 특징 포인트들과 같은 특징 포인트들을 포함할 수 있다. 도 3b에 도시되고 설명되는 일 예는 집합적 컬러 이미지(324)로부터의 검출된 복수의 특징 포인트들(326)을 도시한다.
410에서, 중립 표정에서의 제1 사용자(110)의 얼굴의 포인트 클라우드(예를 들어, 포인트 클라우드(330))는 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여, 발생될 수 있다. VR 기반 장치(102)는 복수의 컬러 이미지들로부터의 검출된 복수의 특징 포인트들(326)에 추가로 기초하여 중립 표정에서 포인트 클라우드(330)를 발생시키도록 구성될 수 있다. 발생된 포인트 클라우드(330)는 제1 사용자(110)의 얼굴의 외부 표면을 표현할 수 있는 데이터 포인트들의 집합일 수 있다. 도 3b에 도시되고 설명되는 일 예는 집합적 컬러 이미지(324)로부터의 검출된 복수의 특징 포인트들(326)에 기초하여 발생된 포인트 클라우드(330)를 도시한다.
412에서, 아핀 변환은 발생된 포인트 클라우드(330) 상의 검출된 복수의 특징 포인트들(326) 및 평균 형상 얼굴 모델(332) 상의 복수의 랜드마크 포인트들에 기초하여 추정될 수 있다. 아핀 변환은 포인트들, 직선들, 및 평면들을 보존하는 선형 매핑을 위한 방법일 수 있다. 얼굴 모델러(212)는 예를 들어 도 3c에 도시된 바와 같이, 포인트 클라우드(330) 상의 특징 포인트들(330A)의 3D 좌표들과 평균 형상 얼굴 모델(332) 상의 랜드마크들(332A) 사이의 아핀 변환을 추정하도록 구성될 수 있다.
414에서, 강체 정렬 포인트 클라우드(예를 들어, 강체 정렬 포인트 클라우드(334))는 중립 표정에서의 발생된 포인트 클라우드(330) 상에 추정된 아핀 변환의 적용에 기초하여 발생될 수 있다. 제1 사용자(110)의 얼굴의 복수의 특징 포인트들(326)은 강체 정렬 포인트 클라우드(334)에서 정렬될 수 있다. 발생된 포인트 클라우드(330) 상의 적용된 아핀 변환에 기초하여 강체 정렬 포인트 클라우드(334)의 발생의 일 예는 도 3c에서 설명된다.
416에서, 복수의 에지들은 발생된 강체 정렬 포인트 클라우드(334)에 추가될 수 있다. 에지들의 추가는 2D 공간에서의 강체 정렬 포인트 클라우드(334) 상의 복수의 포인트들의 각각의 포인트의 인접에 따라 강체 정렬 포인트 클라우드(334) 상의 복수의 포인트들의 연결에 기초할 수 있다.
418에서, 제1 사용자(110)의 얼굴의 입력 메쉬(예를 들어, 입력 메쉬(336))는 강체 정렬 포인트 클라우드(334)에 복수의 에지들의 추가에 기초하여 도출될 수 있다. 강체 정렬 포인트 클라우드(334)에 복수의 에지들의 추가에 기초하여 도출되는 입력 메쉬(336)의 일 예는 도 3d에서 설명된다.
420에서, 평균 형상 얼굴 모델(332)은 제1 사용자(110)의 얼굴의 도출된 입력 메쉬(336)에 기초하여 변형될 수 있다. 얼굴 모델러(212)는 제1 사용자(110)의 얼굴의 도출된 입력 메쉬(336)에 기초하여 평균 형상 얼굴 모델(332)을 변형시키도록 구성될 수 있다.
422에서, 제1 사용자(110)의 얼굴의 변형된 평균 형상 얼굴 모델(예를 들어, 변형된 평균 형상 얼굴 모델(338))은 평균 형상 얼굴 모델의 변형에 기초하여 발생될 수 있다. 도 3d에 도시되고 설명되는 일 예는 도출된 입력 메쉬(336)에 기초하여 평균 형상 얼굴 모델(332)의 변형에 의해 발생되는 변형된 평균 형상 얼굴 모델(338)을 도시한다.
424에서, 저장된 3D 얼굴 모델의 복수의 사전 저장된 형상 컴포넌트들(342)의 각각의 형상 컴포넌트에 대한 가중치(예를 들어, 가중 계수들(340))가 추정될 수 있다. 추정은 강체 정렬 포인트 클라우드(334)의 대응하는 버텍스들과 제1 3D 얼굴 모델(344)의 버텍스들의 최소 차이에 기초하여 행해질 수 있다.
426에서, 모델 피트먼트에서의 저장된 3D 얼굴 모델로부터의 복수의 가중된 형상 컴포넌트들(342)의 각각의 가중된 형상 컴포넌트는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)을 발생시키기 위해 조합될 수 있다. 얼굴 모델러(212)는 예를 들어 도 3e에 도시된 바와 같이, 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)을 발생시키기 위해 복수의 가중된 형상 컴포넌트들(342)의 각각의 가중된 형상 컴포넌트를 조합하도록 구성될 수 있다.
428에서, 중립 표정을 갖는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(예를 들어, 제1 3D 얼굴 모델(344))이 발생될 수 있다. 얼굴 모델러(212)는 발생된 포인트 클라우드(330)를 사용하는 저장된 3D 얼굴 모델 상의 형상 기반 모델 피트먼트 동작에 기초하여 중립 표정을 갖는 제1 3D 얼굴 모델(344)을 발생시키도록 구성될 수 있다. 도 3e에 도시되고 설명되는 일 예는 제1 사용자(110)의 얼굴에 대한 획득된 형상 컴포넌트들(342) 각각의 추정된 가중 계수들(340)에 기초하여 중립 표정에서의 제1 사용자(110)의 얼굴의 발생된 제1 3D 얼굴 모델(344)을 도시한다.
430에서, 얼굴 모델 레지듀(예를 들어, 레지듀얼(346))는 제1 사용자(110)의 얼굴의 발생된 제1 3D 얼굴 모델(344) 및 제1 사용자(110)의 얼굴의 도출된 강체 정렬 포인트 클라우드(334)의 복수의 버텍스들의 차이에 기초하여 추정될 수 있다. 추정된 얼굴 모델 레지듀(예를 들어, 레지듀얼(346))는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 대응하는 복수의 버텍스들에 대한 복수의 서브레지듀들을 포함할 수 있다.
432에서, 변형은 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)에 대한 변형된 얼굴 모델 레지듀(예를 들어, 정제된 레지듀얼(350))를 도출하기 위해 추정된 얼굴 모델 레지듀(예를 들어, 레지듀얼(346))에 적용될 수 있다. 추정된 얼굴 모델 레지듀(예를 들어, 레지듀얼(346))는 추정된 얼굴 모델 레지듀(예를 들어, 레지듀얼(346))를 최적화하기 위해 변형될 수 있다.
434에서, 변형된 얼굴 모델 레지듀(예를 들어, 정제된 레지듀얼(350))는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)과 조합될 수 있다. 형상 정제 회로(214)는 예를 들어 도 3f에 도시된 바와 같이, 변형된 얼굴 모델 레지듀(예를 들어, 정제된 레지듀얼(350))를 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)과 조합하도록 구성될 수 있다.
436에서, 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 형상은 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)과 변형된 얼굴 모델 레지듀(예를 들어, 정제된 레지듀얼(350))의 조합에 기초하여, 정제될 수 있다. 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)의 형상은 예를 들어 도 3f에 도시된 바와 같이, 형상 정제 회로에 의해 정제될 수 있다.
438에서, 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)의 디스플레이가 제어될 수 있다. 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)은 캡처된 복수의 컬러 이미지들에서의 제1 사용자(110)의 얼굴의 형상 및 외모로부터 최소 편차를 갖는 제1 사용자(110)의 얼굴의 복수의 외모 속성들을 포함할 수 있다. 따라서, 정제된 제1 3D 얼굴 모델(352)의 디스플레이는 본래 현실적일 수 있고 제1 사용자(110)의 얼굴의 외모 속성들은 VR 기반 장치(102)의 디스플레이 스크린(206A) 상에서 분명히 가시적일 수 있다. 디스플레이 스크린(206A) 상에 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)의 디스플레이는 VR 기반 장치(102)에 의해 제어될 수 있다. 더 많은 픽셀들은 제1 사용자(110)의 완전한 3D 모델의 다른 부분들과 비교하여 정제된 제1 3D 얼굴 모델(352)의 향상되고 생생한 시각화를 위한 디스플레이 제어 동안 정제된 제1 3D 얼굴 모델(352)의 얼굴 부분에 할당될 수 있다. 게다가, 얼굴 부분 내에서, 디스플레이 스크린(206A) 상에 보여질 때 더 두드러지는, 입술들, 눈들, 및 이마와 같은, 특징들이 풍부한 일부 얼굴 영역들이 있을 수 있다. 특징들이 풍부한 얼굴 영역들은 디스플레이 동안 정제된 제1 3D 얼굴 모델(352)의 얼굴 부분의 다른 영역들보다 훨씬 더 높은 수의 픽셀들을 할당받을 수 있다.
440에서, 중립 표정에서의 저장된 평균 형상 얼굴 모델(332)과 복수의 임의 얼굴 표정들에서의 저장된 평균 형상 얼굴 모델 사이의 한 세트의 변환들이 평가될 수 있다. 도 3j에 도시되고 설명되는 일 예는 중립 표정에서의 평균 형상 얼굴 모델(332)로부터 특정 표정을 달성하는 산출된 전체 변환(370)을 도시한다. 변환은 얼굴 모델러(212)에 의해 평가될 수 있다. 평가된 변환은 저장된 평균 형상 얼굴 모델 상의 각각의 버텍스에 대한 제1 변환(366) 및 저장된 평균 형상 얼굴 모델 상의 각각의 부동 버텍스들(368)에 대한 변환을 포함한다.
442에서, 평가된 세트의 변환들은 중립 표정에서의 제1 사용자(110)의 정제된 제1 3D 얼굴 모델(352) 상에 적용될 수 있다. 도 3k에 도시되고 설명되는 일 예는 얼굴 모델러(212)에 의해 중립 표정에서의 제1 사용자(110)의 정제된 제1 3D 얼굴 모델(352) 상에 산출된 전체 변환(370)의 적용을 도시한다.
444에서, 한 세트의 혼합 형상들(374)은 제1 사용자(110)의 얼굴의 복수의 임의 얼굴 표정들에 대응하는 적용된 세트의 변환들에 기초하여 제1 사용자(110)의 정제된 제1 3D 얼굴 모델(352)로부터 발생될 수 있다. 발생된 세트의 혼합 형상들(374)은 복수의 임의 얼굴 표정들에서의 저장된 평균 형상 얼굴 모델에 대응하는 복수의 임의 얼굴 표정들에서의 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)을 포함할 수 있다.
446에서, 406 내지 422로부터의 동작들이 반복될 수 있다. 그러나, 446에서, 중립 얼굴 표정에서 제1 사용자(110)의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보를 캡처하는 대신에(406에서 논의된 바와 같음), 제1 사용자(110)의 얼굴의 하나 이상의 컬러 이미지 및 대응하는 뎁스 정보는 임의 표정에 대해 캡처될 수 있다. 게다가, 임의 표정의 경우에, 임의 표정에서의 제1 사용자(110)의 하나의 정면 뷰의 이미지 캡처는 충분할 수 있다. 따라서, 임의 표정에 대해, 정렬은 임의 표정에 대한 제1 사용자(110)의 얼굴의 새로운 포인트 클라우드와 정제된 제1 3D 얼굴 모델(352) 사이일 수 있다. 기본적으로, 제2 얼굴 모델에 대해, 상이한 포인트 클라우드 또는 입력 메쉬를 요구한다. 도 3a에서, 그것은 314 내지 318이다.
448에서, 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델(378)이 발생될 수 있다. 발생된 제2 3D 얼굴 모델(378)은 도출된 세트의 혼합 형상들(374)에 기초하여 제1 사용자(110)의 캡처된 얼굴 표정에 대응할 수 있다. 특정 임의 얼굴 표정에서의 3D 얼굴 모델은 복수의 혼합 형상들의 조합으로 간주될 수 있다. VR 기반 장치(102)는 제1 사용자(110)의 특정 임의 얼굴 표정을 달성하기 위해 도출된 세트의 혼합 형상들(374)로부터 각각의 혼합 형상에 대한 가중 계수들(376)을 추정할 수 있다. 도 3l에 도시되고 설명되는 일 예는 임의 얼굴 표정에서 제1 사용자(110)의 얼굴의 제2 3D 얼굴 모델(378)을 발생시키도록 요구되는 상이한 혼합 형상들(374)의 조합을 도시한다. 중립 표정에서의 제1 사용자(110)의 얼굴의 발생된 정제된 제1 3D 얼굴 모델(352) 및 임의 얼굴 표정에서의 제1 사용자(110)의 얼굴의 발생된 제2 3D 얼굴 모델(378)은 가상 실재 및 게임 환경들의 생성에 이용될 수 있다. 제어는 종료(450)에 전달될 수 있다.
개시내용의 일 실시예에 따라, 현실적 3D 인간 얼굴 모델의 발생을 위한 가상 현실 기반 장치가 개시된다. 장치, 예컨대 VR 기반 장치(102)(도 1)는 감지 디바이스(예컨대 감지 디바이스(106))에 결합되는 메모리 디바이스(예컨대 메모리(204)) 및 하나 이상의 회로(예컨대 프로세서(210), 얼굴 모델러(212), 및 형상 정제 회로(214)(도 2))를 포함할 수 있다. 메모리(204)는 중립 표정에서의 평균 형상 얼굴 모델(예컨대 평균 형상 얼굴 모델(332)(도 3c)) 및 평균 형상 얼굴 모델의 복수의 임의 얼굴 표정들을 저장하도록 구성될 수 있다. 프로세서(210)는 사용자(예컨대 도 1의 제1 사용자(110))의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보(예컨대 도 3b의 집합적 컬러 이미지(324))를 수신하도록 구성될 수 있다. 얼굴 모델러(212)는 감지 디바이스(106)로부터의 제1 사용자의 얼굴의 수신된 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여, 제1 사용자의 얼굴의 포인트 클라우드(예컨대 도 3b의 포인트 클라우드(330))를 발생시키도록 추가로 구성될 수 있다. 얼굴 모델러(212)는 중립 표정을 갖는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(예를 들어, 도 3e의 제1 3D 얼굴 모델(344))을 발생시키도록 추가로 구성될 수 있다. 제1 3D 얼굴 모델은 발생된 포인트 클라우드(330)를 사용하여 평균 형상 얼굴 모델(332) 상의 형상 기반 모델 피트먼트에 의해 발생될 수 있다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 제1 3D 얼굴 모델(344)과 발생된 포인트 클라우드(330) 사이의 차이에 기초하여 제1 3D 얼굴 모델(344)의 형상을 정제하도록 구성될 수 있다. 형상 정제 회로(214)는 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(예컨대 도 3f의 정제된 제1 3D 얼굴 모델(352))을 발생시키도록 추가로 구성될 수 있다. 프로세서(210)는 정제된 제1 3D 얼굴 모델(352) 상의 복수의 외모 속성들이 캡처된 복수의 컬러 이미지들에서의 제1 사용자(110)의 얼굴의 형상 및 외모로부터 최소 편차를 나타내도록 VR 기반 장치(102) 상에서 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델(352)의 디스플레이를 추가로 제어할 수 있다.
종래의 3D 가상 현실 환경에서, 사용자의 3D 얼굴 모델을 생성하도록 요구되는 다양한 시야 각도들로부터 입력 이미지 데이터를 생성할 시에 수반되는 수개의 복잡성이 있다. 게다가, 사용자의 얼굴의 종래의 3D 모델은 사용자의 실제 얼굴 상세들을 닮지 않을 수 있다. 예를 들어, 인간 얼굴의 구조 및 표면 표현은 사용자의 얼굴을 닮지 않을 수 있고 얼굴 모델의 표정들은 인간 얼굴의 표정들과 일치하지 않을 수 있다. 사용자의 실제 얼굴에 대해 3D 얼굴 모델의 구조, 특징들, 및 표정들에서의 이러한 불일치는 현실적 및 실시간 뷰잉 목적들 및 가상 현실 애플리케이션들에 대해 바람직하지 않을 수 있다. 따라서, 3D 인간 얼굴 모델이 실제 인간 얼굴을 더 현실적으로 닮기 위해, 발생된 3D 모델의 형상은 사용자의 얼굴의 캡처된 얼굴 상세들에 기초하여 정제된다. 이것은 사용자의 얼굴의 발생된 3D 얼굴 모델과 캡처된 얼굴 상세들 사이의 차이의 추정을 필요로 한다. 따라서, 인간 얼굴의 구조 및 표면 표현에서 불일치를 나타내는 그러한 3D 얼굴 모델들의 디스플레이는 또한 비현실적 애니메이션을 발생시킬 수 있다. 게다가, 복수의 임의 얼굴 표정들에서 사용자의 얼굴의 3D 얼굴 모델을 발생시키기 위해, 사용자는 상이한 기본 얼굴 표정들을 이루고 그들의 재구성된 모델을 사용자의 너무 많은 수반을 필요로 할 수 있는 혼합 형상들로 사용하도록 요구받을 수 있다. 따라서, 복수의 임의 얼굴 표정들에서 사용자의 얼굴의 3D 얼굴 모델을 발생시키기 위해, 혼합 형상들의 조합이 사용되며, 상이한 임의 얼굴 표정들에 대한 혼합 형상들은 평균 형상 얼굴 모델의 저장된 복수의 임의 얼굴 표정들에 기초하여 발생된다.
개시된 장치, 예컨대 VR 기반 장치(102)의 다양한 실시예들은 프로세서(210), 얼굴 모델러(212), 및 형상 정제 회로(214)와 같은 하나 이상의 회로를 포함하며, 그들은 감지 디바이스로부터 수신되는 사용자의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여 복수의 임의 얼굴 표정들에서 사용자의 얼굴의 3D 얼굴 모델을 발생시킬 수 있다. 따라서, 개시된 장치는 복수의 사용자들의 이미지들 및 대응하는 뎁스 정보에 기초하여 복수의 임의 얼굴 표정들에서 복수의 3D 얼굴 모델들을 발생시킬 수 있다. 게다가, 개시된 장치는 종래의 애니메이션 3D 환경과 비교하여, 사용자의 얼굴의 외모를 더 현실적으로 닮은, 발생된 3D 얼굴 모델의 표면 상에 사용자의 얼굴의 복수의 외모 속성들을 포함할 수 있다. 예를 들어, 제2 3D 얼굴 모델과 같은 발생된 3D 얼굴 모델의 구조 및 표면 표현은 사용자의 얼굴의 구조 및 표면 표현의 것과 유사할 수 있다. 따라서, 얼굴 모델러(212) 및 형상 정제 회로(214)는 VR 기반 장치(102)와 같은 장치가 사용자의 현실적 3D 얼굴 모델을 발생시키고 디스플레이할 수 있게 한다. 장치, 예컨대 VR 기반 장치(102)는 감지 디바이스(106)에 의해 수신되는 사용자의 얼굴의 이미지들 및 대응하는 뎁스 정보의 사용에 의해 사용자의 얼굴의 현실적 3D 얼굴 모델을 발생시킬 수 있으며, 그것에 의해 3D 가상 현실 환경에서 구체적 개선을 제공한다.
개시내용의 다양한 실시예들은 저장되는 비일시적 컴퓨터 판독가능 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능 매체 및/또는 저장 매체, 감지 디바이스에 통신가능하게 결합되는 하나 이상의 회로를 포함하는 머신 및/또는 컴퓨터에 의해 실행가능한 한 세트의 명령어들을 제공할 수 있다. 한 세트의 명령어들은 평균 형상 얼굴 모델의 복수의 임의 얼굴 표정들의 저장을 포함하는 단계들을 수행하기 위해 머신 및/또는 컴퓨터에 의해 실행가능할 수 있다. 상이한 시야 각도들로부터의 사용자의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 감지 디바이스로부터 수신될 수 있다. 사용자의 얼굴의 포인트 클라우드는 사용자의 얼굴의 수신된 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여 발생될 수 있다. 중립 표정에서의 사용자의 얼굴의 제1 3D 얼굴 모델은 발생된 포인트 클라우드를 사용하여 평균 형상 얼굴 모델 상의 형상 기반 모델 피트먼트에 의해 발생될 수 있다. 제1 사용자(110)의 얼굴의 정제된 제1 3D 얼굴 모델은 제1 사용자의 얼굴의 제1 3D 얼굴 모델, 형상 기반 모델 피트먼트, 및 발생된 포인트 클라우드 사이의 차이에 기초하여 제1 3D 얼굴 모델의 형상을 정제함으로써 발생될 수 있다. 디스플레이 스크린(206A) 상에 제1 사용자의 얼굴의 정제된 제1 3D 얼굴 모델의 디스플레이는 정제된 제1 3D 얼굴 모델 상의 복수의 외모 속성들이 캡처된 복수의 컬러 이미지들에서의 제1 사용자의 얼굴의 형상 및 외모로부터 최소 편차를 나타내도록 VR 기반 장치(102) 상에서 제어될 수 있다.
개시내용의 예시적 양태에 따라, VR 기반 장치(102)는 가상 현실 또는 증강 현실 기반 디바이스일 수 있다. 따라서, 본 개시내용에 의해 설명되는 바와 같은 VR 기반 장치(102)에 의해 실행되는 동작들은 또한 가상 현실 또는 증강 현실 기반 디바이스에 의해 실행될 수 있다. 예를 들어, 가상 현실 기반 디바이스는 제1 인간의, 제2 3D 얼굴 모델(378)과 같은, 제2 3D 얼굴 모델을 제2 인간에 제공할 수 있다. 제2 3D 얼굴 모델(378)은 복수의 임의 얼굴 표정들에서의 제1 인간의 얼굴을 실시간 또는 근 실시간으로 모방할 수 있다. 제2 3D 얼굴 모델(378)은 또한 제1 인간의 얼굴을 닮기 위해 이미지 데이터와 텍스처링될 수 있다. 따라서, 가상 현실 기반 디바이스에 의한 제2 3D 얼굴 모델(378)의 디스플레이는 제2 인간을 위해, 원격 위치에서 제1 인간의 가상 실재를 생성한다.
개시내용의 다른 예시적 양태에 따라, VR 기반 장치(102)는 게임 디바이스일 수 있다. 따라서, 본 개시내용에 설명되는 바와 같은 VR 기반 장치(102) 에 의해 실행되는 동작들은 또한 게임 디바이스에 의해 실행될 수 있다. 예를 들어, 게임 디바이스는 게임 환경에서, 제2 3D 얼굴 모델(378)과 같은 게임 캐릭터를 플레이어에 제공할 수 있다. 게임 디바이스는 게임 캐릭터로 하여금 플레이어의 얼굴의 하나 이상의 포즈를 추가로 모방하게 할 수 있다. 이것은 플레이어가 게임 환경에서 게임 캐릭터의 이동을 제어가능하게 할 수 있다. 예를 들어, 플레이어가 자신의 머리를 움직이기 시작하는 경우에, 게임 캐릭터는 플레이어의 움직이는 머리를 모방할 수 있다. 게임 환경은 또한 멀티플레이어 게임일 수 있다. 그러한 경우에, 게임 디바이스는 복수의 게임 캐릭터들을 제공할 수 있어, 멀티플레이어 게임에서 다수의 플레이어 중 하나를 각각 모방한다.
개시내용의 또 다른 예시적 양태에 따라, VR 기반 장치(102)는 3D 모델 기반 회의 시스템일 수 있다. 따라서, 본 개시내용에 설명되는 바와 같은 VR 기반 장치(102)에 의해 실행되는 동작들은 또한 3D 모델 기반 회의 시스템에 의해 실행될 수 있다. 통상, 종래의 비디오 회의 시스템들은 비디오의 심리스 송신을 위한 높은 네트워크 대역폭을 필요로 한다. 네트워크 대역폭의 요건이 이행되지 않는 경우에, 비디오 회의가 방해된다. 3D 모델 기반 회의 디바이스, 예컨대 VR 기반 장치(102)는 비디오 송신을 위해 높은 네트워크 대역폭을 필요로 하지 않을 수 있는 비디오 없는 회의를 가능하게 한다. 예를 들어, 3D 모델 기반 회의 디바이스는 회의에 수반되는 제1 사람의 하나 이상의 얼굴 표정을 추적할 수 있다. 그 다음, 3D 모델 기반 회의 디바이스는 제1 사람의 추적된 하나 이상의 얼굴 표정에 기초하여, 제2 3D 얼굴 모델(378)과 같은 제2 3D 얼굴 모델을 애니메이션할 수 있다. 애니메이션된 제2 3D 얼굴 모델은 제1 사람의 기록된 오디오와 함께 회의에 수반되는 제2 사람에게 제공될 수 있다. 3D 모델 기반 회의 디바이스는 다른 애니메이션된 3D 얼굴 모델을 제2 사람의 하나 이상의 얼굴 표정을 모방하는 제1 사람에게 추가로 제공할 수 있다. 따라서, 3D 모델 기반 회의 디바이스는 제1 사람 및 제2 사람이 회의에 참여할 수 있게 한다.
본 개시내용은 하드웨어, 또는 하드웨어 및 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 집중 방식, 적어도 하나의 컴퓨터 시스템, 또는 분산 방식으로 실현될 수 있으며, 상이한 요소들은 수개의 상호연결된 컴퓨터 시스템에 걸쳐 확산될 수 있다. 본원에 설명되는 방법들을 수행하도록 적응되는 컴퓨터 시스템 또는 다른 장치가 맞춰질 수 있다. 하드웨어 및 소프트웨어의 조합은 컴퓨터 시스템이 본원에 설명되는 방법들을 수행하도록 로딩되고 실행될 때, 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 일반 목적 컴퓨터 시스템일 수 있다. 본 개시내용은 또한 다른 기능들을 수행하는 집적 회로의 일부를 포함하는 하드웨어에서 실현될 수 있다.
본 개시내용은 또한 컴퓨터 프로그램 제품에 내장될 수 있으며, 그것은 본원에 설명되는 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 컴퓨터 시스템에 로딩될 때 이러한 방법들을 수행할 수 있다. 컴퓨터 프로그램은 본 맥락에서, 정보 처리 능력을 갖는 시스템으로 하여금 특정 기능을 직접적으로, 또는 이하 중 어느 하나 또는 둘 다 후에 수행하게 하도록 의도되는 한 세트의 명령어들의, 임의의 언어, 코드 또는 표기법으로 임의의 표현을 의미한다: a) 다른 언어, 코드 또는 표기법으로의 변환; b) 상이한 재료 형태의 재생.
본 개시내용이 특정 실시예들을 참조하여 설명되지만, 본 개시내용의 범위로부터의 벗어남 없이 다양한 변경들이 이루어질 수 있고 균등물들이 치환될 수 있다는 점이 본 기술분야의 통상의 기술자들에 의해 이해될 것이다. 게다가, 많은 수정들은 본 개시내용의 범위로부터의 벗어남 없이 특정 상황 또는 재료를 본 개시내용의 교시들에 적응시키기 위해 이루어질 수 있다. 따라서, 본 개시내용이 개시되는 특정 실시예에 제한되지 않지만, 본 개시내용이 첨부된 청구항들의 범위 내에 있는 모든 실시예들을 포함하도록 의도된다.
Claims (19)
- 가상 현실 기반 장치로서,
기존 3차원(3D) 얼굴 모델인 3D 얼굴 모델을 저장하도록 구성된 메모리 디바이스; 및
감지 디바이스에 통신가능하게 결합된 회로
를 포함하며, 상기 회로는,
제1 사용자의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스(depth) 정보에 기초하여 상기 제1 사용자의 얼굴의 포인트 클라우드(point cloud)를 발생시키며 - 상기 제1 사용자의 상기 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 중립 표정에서의 상기 얼굴의 하나 이상의 시야 각도로부터 상기 감지 디바이스에 의해 캡처됨 -;
상기 발생된 포인트 클라우드를 사용하여 상기 저장된 3D 얼굴 모델 상의 형상 기반 모델 피트먼트(shape-based model fitment)에 의해 중립 표정을 갖는 상기 제1 사용자의 얼굴의 제1 3D 얼굴 모델을 발생시키고;
상기 형상 기반 모델 피트먼트 및 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델과 상기 발생된 포인트 클라우드 사이의 차이에 기초하여 상기 제1 3D 얼굴 모델의 형상을 정제하고;
상기 정제된 제1 3D 얼굴 모델 상의 복수의 외모 속성들이 상기 캡처된 복수의 컬러 이미지들에서의 상기 제1 사용자의 얼굴의 상기 형상 및 외모로부터 최소 편차를 나타내도록 상기 가상 현실 기반 장치 상에서 상기 제1 사용자의 얼굴의 상기 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하도록
구성되는 가상 현실 기반 장치. - 제1항에 있어서, 상기 메모리 디바이스는 상기 중립 표정에서의 평균 형상 얼굴 모델 및 상기 평균 형상 얼굴 모델의 복수의 형상 컴포넌트들을 상기 저장된 3D 얼굴 모델의 일부로서 저장하고, 상기 평균 형상 얼굴 모델과 관련되는 복수의 임의 얼굴 표정들을 저장하도록 추가로 구성되는 가상 현실 기반 장치.
- 제1항에 있어서, 상기 회로는 2차원(2D) 얼굴 랜드마크 검출에 기초하여, 상기 제1 사용자의 얼굴의 상기 캡처된 복수의 컬러 이미지들의 각각의 컬러 이미지로부터 복수의 특징 포인트들을 검출하도록 추가로 구성되는 가상 현실 기반 장치.
- 제3항에 있어서, 상기 회로는,
상기 발생된 포인트 클라우드 상의 상기 검출된 복수의 특징 포인트들 및 평균 형상 얼굴 모델 상의 복수의 랜드마크 포인트들에 기초하여 아핀 변환(affine transformation)을 추정하고;
상기 발생된 포인트 클라우드에 상기 추정된 아핀 변환의 적용에 의해 강체 정렬 포인트 클라우드(rigid aligned point cloud)를 발생시키도록
추가로 구성되는 가상 현실 기반 장치. - 제4항에 있어서, 상기 회로는,
2D 공간에서의 상기 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 각각의 포인트의 인접에 따라 상기 강체 정렬 포인트 클라우드 상의 상기 복수의 포인트들의 연결에 기초하여 복수의 에지들을 상기 발생된 강체 정렬 포인트 클라우드에 추가하고;
상기 강체 정렬 포인트 클라우드에 상기 복수의 에지들의 추가에 기초하여 상기 제1 사용자의 얼굴의 입력 메쉬를 도출하도록
추가로 구성되는 가상 현실 기반 장치. - 제5항에 있어서, 상기 회로는,
상기 제1 사용자의 얼굴의 상기 도출된 입력 메쉬에 기초하여 사전 저장된 평균 형상 얼굴 모델을 변형시키고;
상기 사전 저장된 평균 형상 얼굴 모델의 변형에 기초하여 변형된 평균 형상 얼굴 모델을 발생시키도록
추가로 구성되는 가상 현실 기반 장치. - 제6항에 있어서, 상기 회로는,
상기 강체 정렬 포인트 클라우드의 대응하는 버텍스들(vertices)과 상기 제1 3D 얼굴 모델의 버텍스들의 최소 차이에 기초하여 상기 메모리 디바이스에 저장되는 복수의 형상 컴포넌트들의 각각의 형상 컴포넌트에 대한 가중치를 추정하고;
상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델을 발생시키기 위해 상기 모델 피트먼트에서의 상기 저장된 3D 얼굴 모델로부터 상기 복수의 가중된 형상 컴포넌트들의 각각의 가중된 형상 컴포넌트를 조합하도록
추가로 구성되는 가상 현실 기반 장치. - 제1항에 있어서, 상기 회로는 상기 제1 사용자의 얼굴의 상기 발생된 제1 3D 얼굴 모델 및 상기 제1 사용자의 얼굴의 상기 발생된 강체 정렬 포인트 클라우드의 복수의 버텍스들의 차이에 기초하여 얼굴 모델 레지듀(face model residue)를 평가하도록 추가로 구성되며, 상기 얼굴 모델 레지듀는 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델의 상기 대응하는 복수의 버텍스들에 대한 복수의 서브레지듀들을 포함하는 가상 현실 기반 장치.
- 제8항에 있어서, 상기 회로는,
상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델에 대한 변형된 얼굴 모델 레지듀를 도출하기 위해 변형을 상기 평가된 얼굴 모델 레지듀에 적용하고;
상기 제1 사용자의 얼굴의 상기 정제된 제1 3D 얼굴 모델을 획득하기 위해 상기 변형된 얼굴 모델 레지듀를 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델과 조합하도록
추가로 구성되는 가상 현실 기반 장치. - 제9항에 있어서, 상기 평가된 얼굴 모델 레지듀의 적용된 변형은 라플라시안 변형(Laplacian deformation)인 가상 현실 기반 장치.
- 제1항에 있어서, 상기 회로는 상기 중립 표정에서의 상기 메모리 디바이스에 저장되는 평균 형상 얼굴 모델과 상기 메모리 디바이스에 저장된 복수의 임의 얼굴 표정들 각각에서의 상기 평균 형상 얼굴 모델 사이의 한 세트의 변환들을 평가하도록 추가로 구성되는 가상 현실 기반 장치.
- 제11항에 있어서, 상기 회로는,
상기 중립 표정에서의 상기 제1 사용자의 상기 정제된 제1 3D 얼굴 모델 상에 상기 평가된 세트의 변환들을 적용하고;
상기 제1 사용자의 얼굴의 상기 복수의 임의 얼굴 표정들에 대응하는 상기 적용된 세트의 변환들에 기초하여 상기 제1 사용자의 상기 정제된 제1 3D 얼굴 모델로부터 한 세트의 혼합 형상들을 도출하도록
추가로 구성되는 가상 현실 기반 장치. - 제12항에 있어서, 상기 회로는 상기 도출된 세트의 혼합 형상들에 기초하여 상기 제1 사용자의 상기 캡처된 얼굴 표정에 대응하는 상기 제1 사용자의 얼굴의 제2 3D 얼굴 모델을 발생시키도록 추가로 구성되는 가상 현실 기반 장치.
- 현실적 3차원(3D) 인간 얼굴 모델들을 발생시키는 방법으로서,
메모리 디바이스, 및 감지 디바이스에 통신가능하게 결합된 회로를 포함하는 가상 현실 기반 장치에서,
상기 회로에 의해, 기존 3D 얼굴 모델인 3D 얼굴 모델을 상기 메모리 디바이스에 저장하는 단계;
상기 회로에 의해, 제1 사용자의 얼굴의 복수의 컬러 이미지들 및 대응하는 뎁스 정보에 기초하여 상기 제1 사용자의 얼굴의 포인트 클라우드를 발생시키는 단계 - 상기 제1 사용자의 상기 복수의 컬러 이미지들 및 대응하는 뎁스 정보는 중립 표정에서의 상기 얼굴의 하나 이상의 시야 각도로부터 상기 감지 디바이스에 의해 캡처됨 -;
상기 회로에 의해, 상기 발생된 포인트 클라우드를 사용하여 상기 저장된 3D 얼굴 모델 상의 형상 기반 모델 피트먼트에 의해 중립 표정을 갖는 상기 제1 사용자의 얼굴의 제1 3D 얼굴 모델을 발생시키는 단계;
상기 회로에 의해, 상기 형상 기반 모델 피트먼트 및 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델과 상기 발생된 포인트 클라우드 사이의 차이에 기초하여 상기 제1 3D 얼굴 모델의 형상을 정제하는 단계; 및
상기 정제된 제1 3D 얼굴 모델 상의 복수의 외모 속성들이 상기 캡처된 복수의 컬러 이미지들에서의 상기 제1 사용자의 얼굴의 상기 형상 및 외모로부터 최소 편차를 나타내도록 상기 회로에 의해, 상기 가상 현실 기반 장치 상에서 상기 제1 사용자의 얼굴의 상기 정제된 제1 3D 얼굴 모델의 디스플레이를 제어하는 단계
를 포함하는 방법. - 제14항에 있어서,
상기 회로에 의해, 2차원(2D) 얼굴 랜드마크 검출에 기초하여, 상기 제1 사용자의 얼굴의 상기 캡처된 복수의 컬러 이미지들의 각각의 컬러 이미지로부터 복수의 특징 포인트들을 검출하는 단계;
상기 회로에 의해, 상기 발생된 포인트 클라우드 상의 상기 검출된 복수의 특징 포인트들 및 평균 형상 얼굴 모델 상의 복수의 랜드마크 포인트들에 기초하여 아핀 변환을 추정하는 단계; 및
상기 회로에 의해, 상기 발생된 포인트 클라우드에 상기 추정된 아핀 변환의 적용에 의해 강체 정렬 포인트 클라우드를 발생시키는 단계
를 더 포함하는 방법. - 제15항에 있어서,
상기 회로에 의해, 2D 공간에서의 상기 강체 정렬 포인트 클라우드 상의 복수의 포인트들의 각각의 포인트의 인접에 따라 상기 강체 정렬 포인트 클라우드 상의 상기 복수의 포인트들의 연결에 기초하여 복수의 에지들을 상기 발생된 강체 정렬 포인트 클라우드에 추가하는 단계; 및
상기 회로에 의해, 상기 강체 정렬 포인트 클라우드에 상기 복수의 에지들의 추가에 기초하여 상기 제1 사용자의 얼굴의 입력 메쉬를 도출하는 단계
를 더 포함하는 방법. - 제16항에 있어서,
상기 회로에 의해, 상기 제1 사용자의 얼굴의 상기 도출된 입력 메쉬에 기초하여 사전 저장된 평균 형상 얼굴 모델을 변형시키는 단계; 및
상기 회로에 의해, 상기 사전 저장된 평균 형상 얼굴 모델의 변형에 기초하여 변형된 평균 형상 얼굴 모델을 발생시키는 단계
를 더 포함하는 방법. - 제14항에 있어서, 상기 회로에 의해, 상기 제1 사용자의 얼굴의 상기 발생된 제1 3D 얼굴 모델 및 상기 제1 사용자의 얼굴의 상기 발생된 강체 정렬 포인트 클라우드의 복수의 버텍스들의 차이에 기초하여 얼굴 모델 레지듀를 평가하는 단계를 더 포함하며, 상기 얼굴 모델 레지듀는 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델의 상기 대응하는 복수의 버텍스들에 대한 복수의 서브레지듀들을 포함하는 방법.
- 제18항에 있어서,
상기 회로에 의해, 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델에 대한 변형된 얼굴 모델 레지듀를 도출하기 위해 변형을 상기 평가된 얼굴 모델 레지듀에 적용하는 단계; 및
상기 회로에 의해, 상기 제1 사용자의 얼굴의 상기 정제된 제1 3D 얼굴 모델을 획득하기 위해 상기 변형된 얼굴 모델 레지듀를 상기 제1 사용자의 얼굴의 상기 제1 3D 얼굴 모델과 조합하는 단계
를 더 포함하는 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762465534P | 2017-03-01 | 2017-03-01 | |
| US62/465,534 | 2017-03-01 | ||
| US15/861,826 | 2018-01-04 | ||
| US15/861,826 US10572720B2 (en) | 2017-03-01 | 2018-01-04 | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180100476A true KR20180100476A (ko) | 2018-09-11 |
| KR102069964B1 KR102069964B1 (ko) | 2020-01-23 |
Family
ID=61189364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180016691A KR102069964B1 (ko) | 2017-03-01 | 2018-02-12 | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10572720B2 (ko) |
| EP (1) | EP3370208B1 (ko) |
| JP (1) | JP6638892B2 (ko) |
| KR (1) | KR102069964B1 (ko) |
| CN (1) | CN108537110B (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200045884A (ko) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체 |
| WO2020116685A1 (ko) * | 2018-12-06 | 2020-06-11 | 주식회사 딥픽셀 | 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체 |
| KR20220006653A (ko) * | 2020-06-30 | 2022-01-17 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 3차원 모델 생성 방법, 장치, 컴퓨터 기기 및 저장 매체 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3098752A1 (en) * | 2015-05-29 | 2016-11-30 | Thomson Licensing | Method and device for generating an image representative of a cluster of images |
| JP2017187882A (ja) | 2016-04-04 | 2017-10-12 | セイコーエプソン株式会社 | 画像処理に用いられるコンピュータープログラム |
| US11374929B2 (en) * | 2017-03-21 | 2022-06-28 | Global E-Dentity, Inc. | Biometric authentication for an augmented reality or a virtual reality device |
| US10135822B2 (en) | 2017-03-21 | 2018-11-20 | YouaretheID, LLC | Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures |
| US10552665B2 (en) | 2017-12-12 | 2020-02-04 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
| CN108256505A (zh) * | 2018-02-12 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| US10769437B2 (en) | 2018-04-10 | 2020-09-08 | Seiko Epson Corporation | Adaptive sampling of training views |
| US10878285B2 (en) * | 2018-04-12 | 2020-12-29 | Seiko Epson Corporation | Methods and systems for shape based training for an object detection algorithm |
| US10748257B2 (en) * | 2018-06-29 | 2020-08-18 | Topcon Corporation | Point cloud colorization with occlusion detection |
| CN112740666A (zh) | 2018-07-19 | 2021-04-30 | 艾科缇弗外科公司 | 自动手术机器人视觉系统中多模态感测深度的系统和方法 |
| US10634918B2 (en) | 2018-09-06 | 2020-04-28 | Seiko Epson Corporation | Internal edge verification |
| US20200090392A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Method of Facial Expression Generation with Data Fusion |
| US10783704B2 (en) * | 2018-09-27 | 2020-09-22 | Disney Enterprises, Inc. | Dense reconstruction for narrow baseline motion observations |
| KR20210146283A (ko) * | 2018-12-28 | 2021-12-03 | 액티브 서지컬, 인크. | 부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성 |
| US11049310B2 (en) * | 2019-01-18 | 2021-06-29 | Snap Inc. | Photorealistic real-time portrait animation |
| WO2020222785A1 (en) * | 2019-04-30 | 2020-11-05 | Hewlett-Packard Development Company, L.P. | Facial action unit detection |
| KR102241153B1 (ko) * | 2019-07-01 | 2021-04-19 | 주식회사 시어스랩 | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 |
| JP6731532B1 (ja) * | 2019-08-31 | 2020-07-29 | グリー株式会社 | 動画再生装置、動画再生方法、及び動画配信システム |
| CN110689625B (zh) * | 2019-09-06 | 2021-07-16 | 清华大学 | 定制人脸混合表情模型自动生成方法及装置 |
| CN110930298A (zh) * | 2019-11-29 | 2020-03-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| US11682234B2 (en) | 2020-01-02 | 2023-06-20 | Sony Group Corporation | Texture map generation using multi-viewpoint color images |
| US11557086B2 (en) * | 2020-01-02 | 2023-01-17 | Sony Group Corporation | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping |
| CN111291218B (zh) * | 2020-01-20 | 2023-09-08 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
| CN113744384B (zh) * | 2020-05-29 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN111652121B (zh) | 2020-06-01 | 2023-11-03 | 腾讯科技（深圳）有限公司 | 一种表情迁移模型的训练方法、表情迁移的方法及装置 |
| CN112750071B (zh) * | 2020-11-04 | 2023-11-24 | 上海序言泽网络科技有限公司 | 一种用户自定义的表情制作方法及系统 |
| US11875601B2 (en) * | 2020-12-24 | 2024-01-16 | Beijing Baidu Netcom Science and Technology Co., Ltd | Meme generation method, electronic device and storage medium |
| US11776210B2 (en) * | 2021-01-22 | 2023-10-03 | Sony Group Corporation | 3D face modeling based on neural networks |
| CN114187624B (zh) | 2021-11-09 | 2023-09-22 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备及存储介质 |
| CN114219920B (zh) * | 2021-12-14 | 2023-05-26 | 魔珐(上海)信息科技有限公司 | 三维人脸模型的构建方法及装置、存储介质、终端 |
| WO2023136387A1 (ko) * | 2022-01-17 | 2023-07-20 | 엘지전자 주식회사 | 인공 지능 장치 및 그의 동작 방법 |
| WO2023242983A1 (ja) * | 2022-06-15 | 2023-12-21 | 株式会社ニコン | 加工制御情報生成方法、加工方法及びモデル生成方法 |
| US20240046593A1 (en) * | 2022-08-03 | 2024-02-08 | Luxottica Group S.P.A. | Modelling method for making a virtual model of a user's head |
| KR102544262B1 (ko) | 2022-08-19 | 2023-06-16 | (주)페르소나에이아이 | 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치 |
| CN117392734B (zh) * | 2023-12-12 | 2024-05-14 | 深圳市宗匠科技有限公司 | 面部数据处理方法、装置、计算机设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020014844A (ko) * | 2000-07-18 | 2002-02-27 | 최창석 | 3차원 얼굴 모델링 방법 |
| US20130155058A1 (en) * | 2011-12-14 | 2013-06-20 | The Board Of Trustees Of The University Of Illinois | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring |
| US20130187919A1 (en) * | 2012-01-24 | 2013-07-25 | University Of Southern California | 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion |
| US20130231892A1 (en) * | 2007-12-28 | 2013-09-05 | Scanalyse Pty Ltd. | System and method for measuring and mapping a surface relative to a reference |
| US20130286012A1 (en) * | 2012-04-25 | 2013-10-31 | University Of Southern California | 3d body modeling from one or more depth cameras in the presence of articulated motion |
| JP2016501396A (ja) * | 2012-11-20 | 2016-01-18 | モルフォ | ３次元の顔モデルを生成する方法 |
| US20160048958A1 (en) * | 2014-08-18 | 2016-02-18 | Vanderbilt University | Method and system for real-time compression correction for tracked ultrasound and applications of same |
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002015310A (ja) | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | 点群に面をフィッティングする方法およびモデリング装置 |
| JP2002216161A (ja) | 2001-01-22 | 2002-08-02 | Minolta Co Ltd | 画像生成装置 |
| JP2007257324A (ja) | 2006-03-23 | 2007-10-04 | Space Vision:Kk | 顔モデル作成システム |
| NZ587526A (en) * | 2008-01-31 | 2013-06-28 | Univ Southern California | Facial performance synthesis using deformation driven polynomial displacement maps |
| CN101833786B (zh) * | 2010-04-06 | 2011-12-28 | 清华大学 | 三维模型的捕捉及重建方法和系统 |
| CN102208117A (zh) * | 2011-05-04 | 2011-10-05 | 西安电子科技大学 | 脊椎的三维几何与有限元混合模型的构建方法 |
| CN103854306A (zh) * | 2012-12-07 | 2014-06-11 | 山东财经大学 | 一种高真实感的动态表情建模方法 |
| CN103093490B (zh) * | 2013-02-02 | 2015-08-26 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN104050712B (zh) * | 2013-03-15 | 2018-06-05 | 索尼公司 | 三维模型的建立方法和装置 |
| CN104183002B (zh) * | 2013-05-27 | 2020-03-27 | 索尼公司 | 三维模型的变化方法和装置 |
| CN103325142B (zh) * | 2013-05-29 | 2016-02-17 | 南京大学 | 一种基于Kinect的计算机三维模型建模方法 |
| US9378576B2 (en) | 2013-06-07 | 2016-06-28 | Faceshift Ag | Online modeling for real-time facial animation |
| US9177410B2 (en) * | 2013-08-09 | 2015-11-03 | Ayla Mandel | System and method for creating avatars or animated sequences using human body features extracted from a still image |
| US9317954B2 (en) | 2013-09-23 | 2016-04-19 | Lucasfilm Entertainment Company Ltd. | Real-time performance capture with on-the-fly correctives |
| KR20150113751A (ko) * | 2014-03-31 | 2015-10-08 | (주)트라이큐빅스 | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| EP3186787A1 (en) | 2014-08-29 | 2017-07-05 | Thomson Licensing | Method and device for registering an image to a model |
| KR101997500B1 (ko) | 2014-11-25 | 2019-07-08 | 삼성전자주식회사 | 개인화된 3d 얼굴 모델 생성 방법 및 장치 |
| US10664741B2 (en) * | 2016-01-14 | 2020-05-26 | Samsung Electronics Co., Ltd. | Selecting a behavior of a virtual agent |
-
2018
- 2018-01-04 US US15/861,826 patent/US10572720B2/en active Active
- 2018-02-09 EP EP18156120.0A patent/EP3370208B1/en active Active
- 2018-02-12 KR KR1020180016691A patent/KR102069964B1/ko active IP Right Grant
- 2018-02-13 CN CN201810155331.0A patent/CN108537110B/zh active Active
- 2018-02-15 JP JP2018024718A patent/JP6638892B2/ja active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020014844A (ko) * | 2000-07-18 | 2002-02-27 | 최창석 | 3차원 얼굴 모델링 방법 |
| US20130231892A1 (en) * | 2007-12-28 | 2013-09-05 | Scanalyse Pty Ltd. | System and method for measuring and mapping a surface relative to a reference |
| US20130155058A1 (en) * | 2011-12-14 | 2013-06-20 | The Board Of Trustees Of The University Of Illinois | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring |
| US20130187919A1 (en) * | 2012-01-24 | 2013-07-25 | University Of Southern California | 3D Body Modeling, from a Single or Multiple 3D Cameras, in the Presence of Motion |
| US20130286012A1 (en) * | 2012-04-25 | 2013-10-31 | University Of Southern California | 3d body modeling from one or more depth cameras in the presence of articulated motion |
| JP2016501396A (ja) * | 2012-11-20 | 2016-01-18 | モルフォ | ３次元の顔モデルを生成する方法 |
| JP6318162B2 (ja) * | 2012-11-20 | 2018-04-25 | モルフォ | ３次元の顔モデルを生成する方法 |
| US20160048958A1 (en) * | 2014-08-18 | 2016-02-18 | Vanderbilt University | Method and system for real-time compression correction for tracked ultrasound and applications of same |
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
Non-Patent Citations (2)
| Title |
|---|
| Blanz, et al. "A morphable model for the synthesis of 3D faces." Proceedings on Computer graphics and interactive techniques(1999)* * |
| Zollhöfer, et al. "Automatic reconstruction of personalized avatars from 3D face scans." Computer Animation and Virtual Worlds 22(2011)* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200045884A (ko) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체 |
| WO2020116685A1 (ko) * | 2018-12-06 | 2020-06-11 | 주식회사 딥픽셀 | 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체 |
| US11830132B2 (en) | 2018-12-06 | 2023-11-28 | Deepixel Inc. | Device for processing face feature point estimation image on basis of standard face model, and phusical computer-readable recording medium in which program for processing face feature point estimation image on basis of standard face medel is recorded |
| KR20220006653A (ko) * | 2020-06-30 | 2022-01-17 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | 3차원 모델 생성 방법, 장치, 컴퓨터 기기 및 저장 매체 |
| US11475624B2 (en) | 2020-06-30 | 2022-10-18 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for generating three-dimensional model, computer device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US10572720B2 (en) | 2020-02-25 |
| CN108537110A (zh) | 2018-09-14 |
| KR102069964B1 (ko) | 2020-01-23 |
| JP2018170005A (ja) | 2018-11-01 |
| EP3370208B1 (en) | 2021-03-31 |
| US20180253593A1 (en) | 2018-09-06 |
| EP3370208A3 (en) | 2018-12-12 |
| CN108537110B (zh) | 2022-06-14 |
| EP3370208A2 (en) | 2018-09-05 |
| JP6638892B2 (ja) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102069964B1 (ko) | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 | |
| Achenbach et al. | Fast generation of realistic virtual humans | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| US11995758B2 (en) | Photorealistic real-time portrait animation | |
| US9314692B2 (en) | Method of creating avatar from user submitted image | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| JP5773944B2 (ja) | 情報処理装置および情報処理方法 | |
| US20180225858A1 (en) | Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform | |
| US10713850B2 (en) | System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint | |
| JP2017524999A (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
| JP2004537082A (ja) | 仮想現実環境における実時間バーチャル・ビューポイント | |
| US10818078B2 (en) | Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint | |
| KR20220017900A (ko) | 단일 이미지-기반 실시간 신체 애니메이션 | |
| US10964083B1 (en) | Facial animation models | |
| CN110580677A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| JP2016152586A (ja) | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム | |
| US20210209347A1 (en) | Texture map generation using multi-viewpoint color images | |
| US20220270337A1 (en) | Three-dimensional (3d) human modeling under specific body-fitting of clothes | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| US20230386135A1 (en) | Methods and systems for deforming a 3d body model based on a 2d image of an adorned subject | |
| US10726602B2 (en) | Apparatus and method to generate realistic three-dimensional (3D) model animation | |
| US20240020901A1 (en) | Method and application for animating computer generated images | |
| Wang | A Framework for Realistic Clothed Avatar Reconstruction and Animation | |
| KR20230096063A (ko) | 2차원 이미지에 기초한 3차원 메쉬 생성기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| X701 | Decision to grant (after re-examination) |