KR102285376B1 - 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 - Google Patents

3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 Download PDF

Info

Publication number
KR102285376B1
KR102285376B1 KR1020150170095A KR20150170095A KR102285376B1 KR 102285376 B1 KR102285376 B1 KR 102285376B1 KR 1020150170095 A KR1020150170095 A KR 1020150170095A KR 20150170095 A KR20150170095 A KR 20150170095A KR 102285376 B1 KR102285376 B1 KR 102285376B1
Authority
KR
South Korea
Prior art keywords
face
personalized
image
face model
texture
Prior art date
Application number
KR1020150170095A
Other languages
English (en)
Other versions
KR20170064369A (ko
Inventor
이선민
김정배
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150170095A priority Critical patent/KR102285376B1/ko
Priority to US15/344,903 priority patent/US10482656B2/en
Publication of KR20170064369A publication Critical patent/KR20170064369A/ko
Application granted granted Critical
Publication of KR102285376B1 publication Critical patent/KR102285376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 얼굴 모델링 방법 및 3D 얼굴 모델링 장치가 개시된다. 일 실시예에 따른 3D 얼굴 모델링 장치는 2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득하고, 각 깊이 영상 및 텍스쳐 영상에서 패치 영역을 결정할 수 있다. 3D 얼굴 모델링 장치는, 깊이 영상의 패치 영역과 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델의 형상을 조정할 수 있다.

Description

3D 얼굴 모델링 방법 및 3D 얼굴 모델링 장치{3D FACE MODELING METHOD AND 3D FACE MODELING APPARATUS}
아래의 설명은 3D 얼굴 모델링 기술에 관한 것이다.
일반적으로, 3D(dimensional) 얼굴 모델링은 얼굴 인식(face recognition), 게임, 영화 또는 애니메이션 등에서 이용되는 기술로서, 2D 얼굴 모델링에 비해 높은 정교함과 사실감을 제공한다. 3D 얼굴 모델링에는 3D 스캐너(scanner)를 이용하여 사용자의 얼굴 표면의 각 샘플링 포인트에 대한 3차원 좌표 값 및 색상 값을 획득하고, 획득한 3차원 좌표 값 및 색상 값에 기초하여 사용자의 3D 얼굴을 모델링하는 방법 및 사용자의 얼굴을 촬영한 복수의 2D 영상들로부터 카메라 파라미터와 특징점들을 추출하고, 추출된 카메라 파라미터와 특징점들을 3D 모퍼블 모델(morphable model)에 적용하여 사용자의 3D 얼굴 모델을 획득하는 방법 등이 있다.
일 실시예에 따른 3D 얼굴 모델링 방법은, 2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성하는 단계; 상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득하는 단계; 상기 깊이 영상의 패치 영역 및 상기 텍스쳐 영상의 패치 영역을 결정하는 단계; 및 상기 깊이 영상의 패치 영역과 상기 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 단계를 포함할 수 있다.
일 실시예에 따른 3D 얼굴 모델링 방법에서, 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 단계는, 상기 개인화된 3D 얼굴 모델의 현재 버텍스가 상기 깊이 영상의 패치 영역에 투영된 투영 위치를 결정하는 단계; 상기 텍스쳐 영상의 패치 영역에서 상기 투영 위치에 대응되는 포인트의 위치를 결정하는 단계; 상기 투영 위치가 가지는 거리에 기초하여 상기 포인트의 3D 좌표를 결정하는 단계; 및 상기 결정된 포인트의 3D 좌표에 기초하여 상기 현재 버텍스의 위치를 조정하는 단계를 포함할 수 있다.
일 실시예에 따른 3D 얼굴 모델링 방법에서, 상기 포인트의 위치를 결정하는 단계는, 상기 깊이 영상의 패치 영역을 형성하는 랜드마크들의 위치와 상기 텍스쳐 영상의 패치 영역을 형성하는 랜드마크들의 위치에 기초하여 변환 행렬을 결정하는 단계; 및 상기 변환 행렬을 상기 투영 위치에 적용하여 상기 포인트의 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 3D 얼굴 모델링 방법에서, 상기 개인화된 3D 얼굴 모델을 생성하는 단계는, 상기 2D 입력 영상으로부터 얼굴의 랜드마크들을 검출하는 단계; 상기 랜드마크들의 위치에 기초하여 상기 일반 3D 얼굴 모델에 적용될 파라미터를 추정하는 단계; 및 상기 추정된 파라미터를 상기 일반 3D 얼굴 모델에 적용하여 상기 개인화된 3D 얼굴 모델을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 3D 얼굴 모델링 장치는, 적어도 하나의 프로세서; 및 상기 프로세서에 의해 실행될 인스트럭션들을 저장하는 적어도 하나의 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성하는 동작; 상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득하는 동작; 상기 깊이 영상의 패치 영역 및 상기 텍스쳐 영상의 패치 영역을 결정하는 동작; 및 상기 깊이 영상의 패치 영역과 상기 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 동작을 포함할 수 있다.
일 실시예에 따른 3D 얼굴 모델링 장치에서, 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 동작은, 상기 개인화된 3D 얼굴 모델의 현재 버텍스가 상기 깊이 영상의 패치 영역에 투영된 투영 위치를 결정하는 동작; 상기 텍스쳐 영상의 패치 영역에서 상기 투영 위치에 대응되는 포인트의 위치를 결정하는 동작; 상기 투영 위치가 가지는 거리에 기초하여 상기 포인트의 3D 좌표를 결정하는 동작; 및 상기 결정된 포인트의 3D 좌표에 기초하여 상기 현재 버텍스의 위치를 조정하는 동작을 포함할 수 있다.
도 1은 일 실시예에 따른 3D 얼굴 모델링 방법의 동작을 설명하기 위한 흐름도이다.
도 2는 일 실시예에 따른 개인화된 3D 얼굴 모델을 생성하는 과정을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 개인화된 3D 얼굴 모델의 형상을 조정하는 과정을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4 내지 도 8은 일 실시예에 따른 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델을 보정하는 일례를 설명하기 위한 도면들이다.
도 9는 일 실시예에 따른 3D 얼굴 모델링 장치의 구성을 도시하는 도면이다.
도 10은 다른 실시예에 따른 3D 얼굴 모델링 장치의 구성을 도시하는 도면이다.
아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 특허출원의 범위가 본 명세서에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 3D 얼굴 모델링 방법의 동작을 설명하기 위한 흐름도이다. 3D 얼굴 모델링 방법은 3D 얼굴 모델링 장치(예를 들어, 도 9의 3D 얼굴 모델링 장치(900) 또는 도 10의 3D 얼굴 모델링 장치(1000))에 의해 수행될 수 있다.
도 1을 참조하면, 단계(110)에서 3D 얼굴 모델링 장치는 하나 이상의 2D 입력 영상으로부터 사용자의 얼굴 형상을 3D 모델링한 개인화된 3D 얼굴 모델(personalized 3D face model)을 생성한다. 3D 얼굴 모델링 장치는 2D 입력 영상에서 얼굴 형상과 관련된 특징들을 추출하고, 추출된 특징들을 일반 3D 얼굴 모델(generic 3D face model)에 적용하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 일반 3D 얼굴 모델은 파라미터에 의해 얼굴의 형상이 결정되는 변형이 가능한(deformable) 통계적 3D 얼굴 형상 모델이다. 일 실시예에 따르면, 3D 얼굴 모델링 장치는 2D 입력 영상에서 얼굴의 랜드마크(facial landmark)들을 검출하고, 검출된 랜드마크들의 위치에 기초하여 일반 3D 얼굴 모델에 적용되는 파라미터를 제어하는 것에 의해 사용자 얼굴의 형상에 전역적(global)으로 피팅(fitting)된 개인화된 3D 얼굴 모델을 생성할 수 있다.
3D 얼굴 모델링 장치가 개인화된 3D 얼굴 모델을 생성하는 과정은 도 2를 참조하여 아래에서 보다 자세히 설명한다.
단계(120)에서, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 형상을 조정한다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 버텍스의 위치와 2D 입력 영상에 나타난 텍스쳐 간의 정합도가 높아지도록 개인화 3D 얼굴 모델을 보정(refinement)할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 버텍스들(vertices)의 위치를 2D 입력 영상의 텍스쳐(texture)에 정합되도록 보정할 수 있다. 이를 위해, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델을 이용하여 깊이 영상(depth image) 및 텍스쳐 영상(texture image)을 생성하고, 패치 영역(patch region)에 기반하여 개인화된 3D 얼굴 모델의 버텍스들의 위치를 조정하는 과정을 수행할 수 있다.
일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성할 때, 단계(110)에서 전술한 바와 같이 2D 입력 영상에서 검출된 랜드마크들의 기초하여 개인화된 3D 얼굴 모델의 전체적인 형상이 추정될 수 있다. 그러나, 2D 입력 영상에 나타난 텍스쳐와 단계(110)에서 생성된 개인화된 3D 얼굴 모델의 형상 간에는 국부적인 차이가 존재할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 형상을 2D 입력 영상의 텍스쳐에 기초하여 조정함으로써 사용자의 얼굴 형상에 보다 가까운 정교한 개인화된 3D 얼굴 모델을 생성할 수 있다.
3D 얼굴 모델링 장치가 개인화된 3D 얼굴 모델의 형상을 보정하는 과정은 도 3을 참조하여 아래에서 보다 자세히 설명한다.
도 2는 일 실시예에 따른 도 1의 개인화된 3D 얼굴 모델을 생성하는 단계(110)를 보다 구체적으로 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 3D 얼굴 모델링 장치는 2D 입력 영상으로부터 얼굴 영역을 검출한다. 예를 들어, 3D 얼굴 모델링 장치는 2D 입력 영상에서 Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier)를 이용하여 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 3D 얼굴 모델링 장치는 다양한 얼굴 영역 검출 기법을 이용하여 2D 입력 영상에서 얼굴 영역을 검출할 수 있다.
단계(220)에서, 3D 얼굴 모델링 장치는 얼굴 영역에서 얼굴의 랜드마크들을 검출한다. 예를 들어, 3D 얼굴 모델링 장치는 ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance model), 또는 SDM(Supervised Descent Method) 또는 딥 러닝(deep learning) 등에 기초한 랜드마크 검출 방법을 이용하여 2D 입력 영상에서 랜드마크들을 검출할 수 있다. 얼굴의 랜드마크들은 얼굴의 주요 특징으로서, 눈썹, 눈, 코, 입, 턱, 귀 또는 얼굴의 윤곽 등에 위치한 특징점들을 나타낸다.
단계(230)에서, 3D 얼굴 모델링 장치는 단계(220)에서 검출된 랜드마크들에 기초하여 일반 3D 얼굴 모델에 적용될 파라미터를 추정한다. 개인화된 3D 얼굴 모델의 형상은 일반 3D 얼굴 모델에 적용되는 파라미터를 조정하는 것에 의해 결정될 수 있다. 예를 들어, 개인화된 3D 얼굴 모델은 다음의 수학식 1에 기초하여 결정될 수 있다.
Figure 112015117574308-pat00001
여기서,
Figure 112015117574308-pat00002
는 일반 3D 얼굴 모델의 평균 형상(mean shape)을 나타내는 형상 엘리먼트들이고,
Figure 112015117574308-pat00003
와
Figure 112015117574308-pat00004
는 사용자별 얼굴 형상의 변형(variation)을 표현할 수 있는 제어 파라미터들이다. 구체적으로,
Figure 112015117574308-pat00005
는 일반 3D 얼굴 모델의 변형 방향을 결정하기 위한 제어 파라미터로서 고유벡터(eigenvector) 값을 가진다.
Figure 112015117574308-pat00006
는 일반 3D 얼굴 모델의 변형 정도를 결정하기 위한 제어 파라미터로서 고유값(eigenvalue)을 가진다.
Figure 112015117574308-pat00007
와
Figure 112015117574308-pat00008
에서, 아래 첨자 i는 각각
Figure 112015117574308-pat00009
및
Figure 112015117574308-pat00010
가 적용되는 일반 3D 얼굴 모델의 형상의 버텍스(vertex)를 식별하기 위한 인덱스(index)이다.
Figure 112015117574308-pat00011
와
Figure 112015117574308-pat00012
의 가중합(weighted sum)에 기초하여 일반 3D 얼굴 모델의 형상 변화량이 결정될 수 있다. S는 일반 3D 얼굴 모델의 평균 형상
Figure 112015117574308-pat00013
에 제어 파라미터들
Figure 112015117574308-pat00014
,
Figure 112015117574308-pat00015
에 기초한 형상 변화량이 반영되어 결정된 개인화된 3D 얼굴 모델의 형상 엘리먼트들을 나타낸다.
3D 얼굴 모델링 장치는 2D 입력 영상에서 검출된 랜드마크들의 위치에 기초하여 사용자 얼굴의 형상을 가장 잘 표현할 수 있는 제어 파라미터
Figure 112015117574308-pat00016
를 결정할 수 있다. 예를 들어, 3D 얼굴 모델링 장치는 다음의 수학식 2에 기초하여 제어 파라미터
Figure 112015117574308-pat00017
를 결정할 수 있다.
Figure 112015117574308-pat00018
여기서, Y2D,k는 k 번째 2D 입력 영상에서 검출된 랜드마크들의 위치를 나타내고, m은 2D 입력 영상의 총 개수를 나타낸다. Pk는 k 번째 2D 입력 영상에서 추정된 얼굴 포즈에 따라 일반 3D 얼굴 모델을 회전 및 이동하고, 2D 평면 상에 투영(projection)하는 행렬(matrix)을 나타낸다.
Figure 112015117574308-pat00019
는 일반 3D 얼굴 모델의 평균 형상을 나타내는 형상 엘리먼트들이고,
Figure 112015117574308-pat00020
는 일반 3D 얼굴 모델의 변형 정도를 결정하기 위한 제어 파라미터이다. V는 일반 3D 얼굴 모델의 변형 방향을 결정하기 위한 제어 파라미터이다. n은 일반 3D 얼굴 모델을 구성하는 버텍스들의 개수를 나타낸다.
수학식 2는 제어 파라미터
Figure 112015117574308-pat00021
에 기초하여 생성된 3D 얼굴 모델의 랜드마크들을 2D 입력 영상에 투영하였을 때 2D 입력 영상에서 검출된 랜드마크들과 투영된 랜드마크들 간의 위치 차이를 최소로 하는 제어 파라미터
Figure 112015117574308-pat00022
를 결정하는 것을 나타낸다.
단계(240)에서, 3D 얼굴 모델링 장치는 추정된 파라미터를 일반 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델을 획득한다. 3D 얼굴 모델링 장치는 단계(230)에서 결정된 제어 파라미터
Figure 112015117574308-pat00023
를 수학식 1에 적용하여 개인화된 3D 얼굴 모델을 획득할 수 있다.
도 3은 일 실시예에 따른 도 1의 개인화된 3D 얼굴 모델의 형상을 조정하는 단계(120)를 보다 구체적으로 설명하기 위한 흐름도이다.
도 3을 참조하면, 단계(310)에서 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델로부터 깊이 영상을 획득한다. 일 실시예에 따르면, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 얼굴 형상이 가지는 깊이 값(depth value)을 2D 평면 상에 투영하여 깊이 영상을 생성할 수 있다. 3D 얼굴 모델링 장치는 깊이 영상을 생성하기 전에 개인화된 3D 얼굴 모델의 얼굴 포즈를 조정할 수도 있다. 예를 들어, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 얼굴 포즈를 정면 얼굴 포즈로 조정하거나 2D 입력 영상에 나타난 얼굴 포즈와 동일하게 조정할 수 있다.
단계(320)에서, 3D 얼굴 모델링 장치는 깊이 영상에서 형상 랜드마크들을 검출한다. 형상 랜드마크들은 깊이 영상에서 검출된 얼굴의 랜드마크들을 나타낸다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델에 정의된 랜드마크들의 위치를 깊이 영상에 투영하여 형상 랜드마크들의 위치를 결정할 수 있다. 개인화된 3D 얼굴 모델에 정의된 랜드마크들의 위치는 개인화된 3D 얼굴 모델을 구성하는 버텍스들 중에서 얼굴의 주요 특징 영역(예를 들어, 눈, 코, 입, 턱, 눈썹 등)에 위치한 버텍스들의 위치에 대응될 수 있다.
단계(330)에서, 3D 얼굴 모델링 장치는 형상 랜드마크들에 기초하여 깊이 영상에서 패치 영역을 결정한다. 예를 들어, 3D 얼굴 모델링 장치는 깊이 영상에서 형상 랜드마크들을 기준점들로 하는 삼각형 메쉬(triangle mesh) 형태의 패치 영역을 결정할 수 있다. 이 때, 3D 얼굴 모델링 장치는 들로네 삼각 분할(Delaunay Triangulation) 등의 기법을 이용하여 패치 영역을 결정할 수 있다.
단계(340)에서, 3D 얼굴 모델링 장치는 2D 입력 영상 및 개인화된 3D 얼굴 모델로부터 텍스쳐 영상을 획득한다. 일 실시예에 따르면, 3D 얼굴 모델링 장치는 2D 입력 영상을 텍스쳐로 이용하여 개인화된 3D 얼굴 모델에 맵핑(mapping)하는 것에 의해 3D 텍스쳐 얼굴 모델을 생성하고, 3D 텍스쳐 얼굴 모델을 2D 평면 상에 투영하여 텍스쳐 영상을 획득할 수 있다. 3D 얼굴 모델링 장치는 3D 텍스쳐 얼굴 모델을 2D 평면 상에 투영하기 전에 3D 텍스쳐 얼굴 모델의 얼굴 포즈를 2D 입력 영상에 나타난 얼굴 포즈와 동일하게 조정할 수 있다. 3D 텍스쳐 얼굴 모델은 2D 입력 영상의 텍스쳐 정보를 가지는 개인화된 3D 얼굴 모델을 나타낸다.
단계(350)에서, 3D 얼굴 모델링 장치는 텍스쳐 영상에서 텍스쳐 랜드마크들을 검출한다. 텍스쳐 랜드마크들은 텍스쳐 영상에서 검출된 얼굴의 랜드마크들을 나타낸다. 3D 얼굴 모델링 장치는 2D 입력 영상에서 검출된 랜드마크들의 위치에 기초하여 텍스쳐 랜드마크들의 위치를 결정하거나 또는 도 2의 단계(220)에 설명된 랜드마크 검출 방법을 이용하여 텍스쳐 영상에서 텍스쳐 랜드마크들을 검출할 수 있다.
단계(360)에서, 3D 얼굴 모델링 장치는 텍스쳐 랜드마크들에 기초하여 텍스쳐 영상에서 패치 영역을 결정한다. 예를 들어, 3D 얼굴 모델링 장치는 텍스쳐 영상에서 텍스쳐 랜드마크들을 기준점으로 하는 삼각형 메쉬 형태의 패치 영역을 결정할 수 있다. 이 때, 3D 얼굴 모델링 장치는 들로네 삼각 분할 등의 기법을 이용하여 패치 영역을 결정할 수 있다.
단계(370)에서, 3D 얼굴 모델링 장치는 깊이 영상의 패치 영역과 텍스쳐 영역의 패치 영역 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델의 형상을 조정할 수 있다. 여기서, 깊이 영상의 패치 영역과 텍스쳐 영역의 패치 영역은 서로 대응되는 패치 영역들이다. 3D 얼굴 모델링 장치는 패치 영역 단위로 개인화된 3D 얼굴 모델을 구성하는 버텍스들의 위치를 보정할 수 있다.
3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 버텍스가 깊이 영상의 패치 영역에 투영된 투영 위치를 결정하고, 텍스쳐 영상의 패치 영역에서 해당 투영 위치에 대응되는 포인트의 위치를 결정할 수 있다. 포인트의 위치는 예를 들어, 깊이 영상의 패치 영역을 형성하는 형상 랜드마크들과 텍스쳐 영상의 패치 영역을 형성하는 텍스쳐 랜드마크들 간의 아핀 변환(affine transformation)에 의해 정의되는 행렬을 이용하여 결정될 수 있다.
3D 얼굴 모델링 장치는 깊이 영상의 패치 영역에 대응하는 3차원 공간 상의 평면으로부터 조정하고자 하는 버텍스의 위치로 향하는 노멀(normal) 방향에 기초하여 투영 위치가 가지는 거리를 결정할 수 있다. 그 후, 3D 얼굴 모델링 장치는 결정된 거리 및 텍스쳐 영상의 패치 영역에 대응하는 3차원 공간 상의 평면이 가지는 노멀 방향에 기초하여 투영 위치에 대응하는 포인트의 3D 좌표를 결정할 수 있다. 3D 얼굴 모델링 장치는 텍스쳐 영상의 패치 영역에 대응하는 3차원 공간 상의 평면의 노멀 방향으로 포인트의 위치로부터 투영 위치의 거리만큼 이동한 위치를 포인트의 3D 좌표로 결정할 수 있다. 3D 얼굴 모델링 장치는 결정된 포인트의 3D 좌표에 기초하여 버텍스의 위치를 조정함으로써 개인화된 3D 얼굴 모델의 형상이 국부적으로 2D 입력 영상에 나타난 텍스쳐에 정합될 수 있다.
도 4는 일 실시예에 따른 2D 입력 영상으로부터 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델을 보정하는 전체적인 흐름을 설명하기 위한 도면이다.
도 4를 참조하면, 3D 얼굴 모델링 장치는 2D 입력 영상(410)에서 얼굴 영역(415)을 검출하고, 얼굴 영역(415)에서 얼굴의 주요 특징 영역에 위치한 랜드마크(420)들을 검출할 수 있다. 3D 얼굴 모델링 장치는 검출된 랜드마크(420)들의 위치에 기초하여 일반 3D 얼굴 모델(430)의 형상을 변형함으로써 사용자 얼굴의 전역적인 형상을 모델링한 개인화된 3D 얼굴 모델(440)을 획득할 수 있다.
일 실시예에 따르면, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)의 포즈를 조정하고, 개인화된 3D 얼굴 모델(440)을 이용하여 깊이 영상(470) 및 텍스쳐 영상(450)을 획득할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)의 깊이 값을 2D 평면 상에 투영하는 방식 등을 통해 깊이 영상(470)을 생성할 수 있다. 그리고, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)에 2D 입력 영상(410)의 텍스쳐를 맵핑하고, 텍스쳐가 맵핑된 개인화된 3D 얼굴 모델을 2D 평면 상에 투영하여 텍스쳐 영상(450)을 획득할 수 있다.
이후에, 3D 얼굴 모델링 장치는 깊이 영상(470)에서 형상 랜드마크(475)들을 검출하고, 형상 랜드마크(475)들에 기초한 패치 영역(480)들을 결정할 수 있다. 3D 얼굴 모델링 장치는 텍스쳐 영상(450)에서 텍스쳐 랜드마크(455)들을 검출하고, 텍스쳐 랜드마크(455)들에 기초한 패치 영역(460)들을 결정할 수 있다. 깊이 영상(470)의 각 패치 영역(480)들과 텍스쳐 영상(450)의 각 패치 영역(460)들은 서로 대응될 수 있다.
3D 얼굴 모델링 장치는 깊이 영상(470)의 각 패치 영역(480)들과 텍스쳐 영상(450)의 각 패치 영역(460)들 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델(440)의 형상을 보정할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)의 형상이 텍스쳐 영상(450)에 나타난 텍스쳐에 정합되도록 개인화된 3D 얼굴 모델(440)을 구성하는 버텍스들의 위치를 조정할 수 있다. 도면 부호(490)는 이와 같은 보정 과정을 통해 획득된 개인화된 3D 얼굴 모델을 나타낸다. 보정된 개인화된 3D 얼굴 모델(490)이 개인화된 3D 얼굴 모델(440)에 비해 사용자 얼굴의 국부적인 형상 및 특징들을 잘 반영하고 있음을 알 수 있다. 3D 얼굴 모델링 장치는 보정된 3D 얼굴 모델(490)에 2D 입력 영상(410)으로부터 추출된 텍스쳐를 맵핑하여 3D 텍스쳐 얼굴 모델(495)을 생성할 수도 있다.
도 5는 일 실시예에 따른 깊이 영상에서 형상 랜드마크들을 결정하는 일례를 설명하기 위한 도면이다. 도 5를 참조하면, 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)에 미리 정의된 랜드마크(510)들의 위치를 깊이 영상(470)에 투영하여 형상 랜드마크(475)들을 결정할 수 있다. 랜드마크(510)의 위치는 개인화된 3D 얼굴 모델(440)의 버텍스들 중 얼굴의 주요 특징 영역에 위치한 버텍스들의 위치에 대응될 수 있다.
도 6은 일 실시예에 따른 텍스쳐 영상의 텍스쳐 랜드마크들을 결정하는 일례를 설명하기 위한 도면이다. 도 6을 참조하면, 3D 얼굴 모델링 장치는 2D 입력 영상(410)에서 추출된 텍스쳐를 개인화된 3D 얼굴 모델(440)에 맵핑하고, 텍스쳐가 맵핑된 3D 얼굴 모델을 2D 평면 상에 투영하여 텍스쳐 영상(450)을 획득할 수 있다. 3D 얼굴 모델링 장치는 2D 입력 영상(410)에서 검출된 랜드마크(420)들의 위치에 기초하여 텍스쳐 랜드마크(610)들의 위치를 결정하거나 또는 ACM, ASM, AAM, SDM 또는 딥 러닝 등에 기초한 랜드마크 검출 방법을 이용하여 텍스쳐 랜드마크(610)들을 검출할 수 있다.
도 7은 일 실시예에 따른 깊이 영상의 패치 영역과 텍스쳐 영상의 패치 영역을 도시하는 도면이다. 도 7을 참조하면, 3D 얼굴 모델링 장치는 깊이 영상(470)에서 검출된 형상 랜드마크(710)들에 기초하여 패치 영역(720)들을 결정할 수 있다. 예를 들어, 3D 얼굴 모델링 장치는 형상 랜드마크(710)들을 세 꼭지점으로 하는 삼각형 메쉬를 패치 영역(720)들로 결정할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)의 버텍스들 중 랜드마크(710)가 아닌 버텍스들을 깊이 영상(470) 상에 투영하여 투영 위치(730)들을 결정할 수 있다.
3D 얼굴 모델링 장치는 텍스쳐 영상(450)에서 검출된 텍스쳐 랜드마크(760)들에 기초하여 패치 영역(750)들을 결정할 수 있다. 예를 들어, 3D 얼굴 모델링 장치는 텍스쳐 랜드마크(760)들을 세 꼭지점으로 하는 삼각형 메쉬를 패치 영역(750)들로 결정할 수 있다. 3D 얼굴 모델링 장치는 텍스쳐 영상(450)에서 깊이 영상(470)의 투영 위치(730)들에 대응되는 포인트(740)들의 위치를 결정할 수 있다. 3D 얼굴 모델링 장치는 예를 들어, 패치 영역(720)을 형성하는 형상 랜드마크들과 패치 영역(750)을 형성하는 텍스쳐 랜드마크들 간의 아핀 변환에 의해 정의되는 행렬을 계산하고, 계산된 행렬에 투영 위치(730)를 적용하여 포인트(740)의 위치를 결정할 수 있다. 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델(440)을 구성하는 각 버텍스들에 대해 위 과정을 수행하여, 깊이 영상(470)에서 개인화된 3D 얼굴 모델(440)의 각 버텍스들이 투영된 투영 위치(730)들과 각 투영 위치(730)들에 대응되는 텍스쳐 영상(450) 내 포인트(740)들의 위치를 결정할 수 있다.
도 8은 일 실시예에 따른 깊이 영상의 패치 영역과 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델의 형상을 보정하는 일례를 설명하기 위한 도면이다.
도 8을 참조하면, 단계(810)에서 3D 얼굴 모델링 장치는 개인화된 3D 얼굴 모델의 현재 버텍스가 깊이 영상의 패치 영역에 투영된 투영 위치 s(xs, ys)에 대응하는 텍스쳐 영상의 패치 영역 내 포인트 t(xt, yt)의 위치를 결정할 수 있다. 일 실시예에 따르면, 3D 얼굴 모델링 장치는 깊이 영상의 패치 영역을 형성하는 3개의 형상 랜드마크들 s1, s2, s3의 위치들과 텍스쳐 영상의 패치 영역을 형성하는 3개의 텍스쳐 랜드마크들 t1, t2, t3의 위치들 간의 관계에 기초하여 아핀 변환 행렬을 결정하고, 아핀 변환 행렬에 투영 위치 s(xs, ys)를 적용하여 포인트 t(xt, yt)의 위치를 결정할 수 있다. 여기서, 텍스쳐 랜드마크들 t1, t2, t3의 깊이는 각각 형상 랜드마크들 s1, s2, s3의 깊이에 대응할 수 있다.
단계(820)에서, 3D 얼굴 모델링 장치는 현재 버텍스의 투영 위치 s(xs, ys)가 가지는 거리 d에 기초하여 포인트 t(xt, yt)의 3D 좌표(840)를 결정할 수 있다. 3D 얼굴 모델링 장치는 형상 랜드마크들 s1, s2, s3에 의해 형성되는 패치 영역에 대응하는 3차원 공간 상의 평면으로부터 현재 버텍스의 위치(830)로 향하는 노멀 방향 Ns에 기초하여 투영 위치 s(xs, ys)가 가지는 거리 d를 결정할 수 있다. 거리 d는 투영 위치 s(xs, ys)와 현재 버텍스의 위치(830) 간의 거리에 대응될 수 있다. 노멀 방향 Ns는 형상 랜드마크들 s1, s2, s3에 의해 형성되는 패치 영역에 대한 평면 방정식에 기초하여 결정될 수 있다. 3D 얼굴 모델링 장치는 투영 위치 s(xs, ys)에 대응되는 포인트 t(xt, yt)의 위치에서 텍스쳐 랜드마크들 t1, t2, t3에 의해 형성되는 패치 영역에 대응하는 3차원 공간 상의 평면이 가지는 노멀 방향 Nt으로 거리 d만큼 이동하여 포인트 t(xt, yt)가 가지는 깊이를 결정할 수 있고, 이를 통해 포인트 t(xt, yt)의 3D 좌표(840)가 결정될 수 있다. 여기서, 노멀 방향 Nt는 텍스쳐 랜드마크들 t1, t2, t3에 의해 형성되는 패치 영역에 대한 평면 방정식에 기초하여 결정될 수 있다. 3D 얼굴 모델링 장치는 결정된 3D 좌표(840)를 현재 버텍스의 위치 값으로 결정할 수 있다.
도 9는 일 실시예에 따른 3D 얼굴 모델링 장치의 구성을 도시하는 도면이다.
도 9를 참조하면, 3D 얼굴 모델링 장치(900)는 랜드마크 검출기(910), 개인화된 3D 얼굴 모델 생성기(920), 형상 랜드마크 검출기(910), 형상 패치 영역 결정기(950), 텍스쳐 랜드마크 검출기(910), 텍스쳐 패치 영역 결정기(970) 및 개인화된 3D 얼굴 모델 보정기(980)를 포함한다.
랜드마크 검출기(910)는 2D 입력 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 얼굴의 랜드마크들을 검출한다. 개인화된 3D 얼굴 모델 생성기(920)는 검출된 랜드마크들 및 일반 3D 얼굴 모델 스토리지(930)에 저장된 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 개인화된 3D 얼굴 모델 생성기(920)는 2D 입력 영상에서 검출된 랜드마크들의 위치에 기초하여 일반 3D 얼굴 모델의 형상의 변형 정도를 결정하는 파라미터를 추정하고, 추정된 파라미터를 일반 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 실시예에 따라, 일반 3D 얼굴 모델 스토리지(930)는 3D 얼굴 모델링 장치(900)의 외부에 존재하거나 또는 3D 얼굴 모델링 장치(900)에 포함될 수도 있다.
개인화된 3D 얼굴 모델 생성기(920)는 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 생성할 수 있다. 깊이 영상은 형상 랜드마크 검출기(940)에 전달되고, 형상 랜드마크 검출기(940)는 깊이 영상에서 형상 랜드마크들을 검출한다. 텍스쳐 영상은 텍스쳐 랜드마크 검출기(960)에 전달되고, 텍스쳐 랜드마크 검출기(960)는 텍스쳐 영상에서 텍스쳐 랜드마크들을 검출한다.
형상 패치 영역 결정기(950)는 깊이 영상에서 형상 랜드마크들에 기초한 패치 영역(예를 들어, 삼각형 메쉬)들을 결정할 수 있고, 텍스쳐 패치 영역 결정기(970)는 텍스쳐 영상에서 텍스쳐 랜드마크들에 기초한 패치 영역(예를 들어, 삼각형 메쉬)들을 결정할 수 있다. 깊이 영상에서 결정된 각 패치 영역들과 텍스쳐 영상에서 결정된 각 패치 영역들은 서로 대응될 수 있다.
개인화된 3D 얼굴 모델 보정기(980)는 개인화된 3D 얼굴 모델의 형상을 보정한다. 개인화된 3D 얼굴 모델 보정기(980)는 2D 입력 영상에 나타난 텍스쳐에 정합되도록 개인화된 3D 얼굴 모델의 국부적인 형상을 조정할 수 있다. 개인화된 3D 얼굴 모델 보정기(980)는 깊이 영상의 패치 영역과 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델을 구성하는 버텍스들의 3D 좌표 값을 조정할 수 있다.
3D 얼굴 모델링 장치(900)의 각 구성들이 수행되는 동작들에 대해서는 도 1 내지 도 8을 통해 전술한 내용을 참조할 수 있으며, 자세한 내용은 생략한다.
도 10은 다른 실시예에 따른 3D 얼굴 모델링 장치의 구성을 도시하는 도면이다.
도 10을 참조하면, 3D 얼굴 모델링 장치(1000)는 하나 이상의 프로세서(1010) 및 하나 이상의 메모리(1020)를 포함한다.
프로세서(1010)는 도 1 내지 도 9를 통하여 전술한 하나 이상의 동작을 수행한다. 예를 들어, 프로세서(1010)는 2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득할 수 있다. 프로세서(1010)는 각 깊이 영상 및 텍스쳐 영상에서 랜드마크에 기초한 패치 영역들을 결정하고, 깊이 영상의 패치 영역과 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다. 이와 같은 프로세서(1010)는 다수의 논리 게이트들의 어레이로 구현될 수 있으나, 다른 형태의 하드웨어로 구현될 수도 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 일 실시예에 따르면, 프로세서(1010)는 3D 얼굴 모델링을 수행하기 위한 하나 이상의 그래픽스 프로세싱 유닛(Graphics Processing Unit, GPU)을 포함할 수 있다.
메모리(1020)는 도 1 내지 도 9를 통하여 전술한 하나 이상의 동작을 수행하기 위한 인스트럭션들을 저장하거나 또는 3D 렌더링 장치(1000)가 운용되면서 획득된 데이터와 결과를 저장할 수 있다. 일부 실시예들에서, 메모리(1020)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 디바이스들, 플래쉬 메모리 디바이스들, 또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스들)를 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성하는 단계;
    상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득하는 단계;
    상기 깊이 영상의 패치 영역 및 상기 텍스쳐 영상의 패치 영역을 결정하는 단계; 및
    상기 깊이 영상의 패치 영역과 상기 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 단계
    를 포함하고,
    상기 깊이 영상 및 텍스쳐 영상을 획득하는 단계는,
    상기 개인화된 3D 얼굴 모델의 얼굴 형상이 가지는 깊이 값을 2D 평면 상에 투영하여 상기 깊이 영상을 획득하는 단계; 및
    상기 2D 입력 영상의 텍스쳐를 상기 개인화된 3D 얼굴 모델에 맵핑하고, 상기 텍스쳐가 맵핑된 개인화된 3D 얼굴 모델을 2D 평면 상에 투영하여 상기 텍스쳐 영상을 획득하는 단계
    를 포함하는,
    3D 얼굴 모델링 방법.
  2. 제1항에 있어서,
    상기 개인화된 3D 얼굴 모델의 형상을 조정하는 단계는,
    상기 개인화된 3D 얼굴 모델의 현재 버텍스가 상기 깊이 영상의 패치 영역에 투영된 투영 위치를 결정하는 단계;
    상기 텍스쳐 영상의 패치 영역에서 상기 투영 위치에 대응되는 포인트의 위치를 결정하는 단계;
    상기 투영 위치가 가지는 거리에 기초하여 상기 포인트의 3D 좌표를 결정하는 단계; 및
    상기 결정된 포인트의 3D 좌표에 기초하여 상기 현재 버텍스의 위치를 조정하는 단계
    를 포함하는 3D 얼굴 모델링 방법.
  3. 제2항에 있어서,
    상기 포인트의 위치를 결정하는 단계는,
    상기 깊이 영상의 패치 영역을 형성하는 랜드마크들의 위치와 상기 텍스쳐 영상의 패치 영역을 형성하는 랜드마크들의 위치에 기초하여 변환 행렬을 결정하는 단계; 및
    상기 변환 행렬을 상기 투영 위치에 적용하여 상기 포인트의 위치를 결정하는 단계
    를 포함하는 3D 얼굴 모델링 방법.
  4. 제2항에 있어서,
    상기 투영 위치가 가지는 거리는,
    상기 깊이 영상의 패치 영역에 대응하는 3차원 공간 상의 평면으로부터 상기 현재 버텍스의 위치로 향하는 노멀 방향에 기초하는, 3D 얼굴 모델링 방법.
  5. 제2항에 있어서,
    상기 포인트의 3D 좌표를 결정하는 단계는,
    상기 텍스쳐 영상의 패치 영역에 대응하는 3차원 공간 상의 평면이 가지는 노멀 방향으로 상기 포인트로부터 상기 거리만큼 이동시킨 위치를 상기 포인트의 3D 좌표로 결정하는, 3D 얼굴 모델링 방법.
  6. 제1항에 있어서,
    상기 텍스쳐 영상의 패치 영역 결정하는 단계는,
    상기 텍스쳐 영상으로부터 얼굴의 랜드마크들을 검출하는 단계; 및
    상기 텍스쳐 영상에서 검출된 랜드마크들에 기초하여 상기 텍스쳐 영상의 패치 영역을 결정하는 단계
    를 포함하는 3D 얼굴 모델링 방법.
  7. 제1항에 있어서,
    상기 깊이 영상의 패치 영역을 결정하는 단계는,
    상기 개인화된 3D 얼굴 모델에 정의된 랜드마크들이 상기 깊이 영상에 투영되는 위치들에 기초하여 상기 깊이 영상에서 랜드마크들을 검출하는 단계; 및
    상기 깊이 영상에서 검출된 랜드마크들에 기초하여 상기 깊이 영상의 패치 영역을 결정하는 단계
    를 포함하는 3D 얼굴 모델링 방법.
  8. 제1항에 있어서,
    상기 개인화된 3D 얼굴 모델을 생성하는 단계는,
    상기 2D 입력 영상으로부터 얼굴의 랜드마크들을 검출하는 단계;
    상기 랜드마크들의 위치에 기초하여 상기 일반 3D 얼굴 모델에 적용될 파라미터를 추정하는 단계; 및
    상기 추정된 파라미터를 상기 일반 3D 얼굴 모델에 적용하여 상기 개인화된 3D 얼굴 모델을 획득하는 단계
    를 포함하는 3D 얼굴 모델링 방법.
  9. 삭제
  10. 삭제
  11. 하드웨어와 결합되어 제1항 내지 제8항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 적어도 하나의 프로세서; 및
    상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,
    상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    2D 입력 영상 및 일반 3D 얼굴 모델을 이용하여 개인화된 3D 얼굴 모델을 생성하는 동작;
    상기 개인화된 3D 얼굴 모델을 이용하여 깊이 영상 및 텍스쳐 영상을 획득하는 동작;
    상기 깊이 영상의 패치 영역 및 상기 텍스쳐 영상의 패치 영역을 결정하는 동작; 및
    상기 깊이 영상의 패치 영역과 상기 텍스쳐 영상의 패치 영역 간의 대응 관계에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 조정하는 동작
    을 실행하도록 구성되고,
    상기 깊이 영상 및 텍스쳐 영상을 획득하는 동작은,
    상기 개인화된 3D 얼굴 모델의 얼굴 형상이 가지는 깊이 값을 2D 평면 상에 투영하여 상기 깊이 영상을 획득하는 동작; 및
    상기 2D 입력 영상의 텍스쳐를 상기 개인화된 3D 얼굴 모델에 맵핑하고, 상기 텍스쳐가 맵핑된 개인화된 3D 얼굴 모델을 2D 평면 상에 투영하여 상기 텍스쳐 영상을 획득하는 동작
    을 포함하는,
    3D 얼굴 모델링 장치.
  13. 제12항에 있어서,
    상기 개인화된 3D 얼굴 모델의 형상을 조정하는 동작은,
    상기 개인화된 3D 얼굴 모델의 현재 버텍스가 상기 깊이 영상의 패치 영역에 투영된 투영 위치를 결정하는 동작;
    상기 텍스쳐 영상의 패치 영역에서 상기 투영 위치에 대응되는 포인트의 위치를 결정하는 동작;
    상기 투영 위치가 가지는 거리에 기초하여 상기 포인트의 3D 좌표를 결정하는 동작; 및
    상기 결정된 포인트의 3D 좌표에 기초하여 상기 현재 버텍스의 위치를 조정하는 동작
    을 포함하는 3D 얼굴 모델링 장치.
  14. 제13항에 있어서,
    상기 포인트의 3D 좌표를 결정하는 동작은,
    상기 텍스쳐 영상의 패치 영역이 가지는 노멀 방향으로 상기 포인트로부터 상기 거리만큼 이동한 위치를 상기 포인트의 3D 좌표로 결정하는, 3D 얼굴 모델링 장치.
  15. 제12항에 있어서,
    상기 텍스쳐 영상의 패치 영역은,
    상기 텍스쳐 영상에서 검출된 얼굴의 랜드마크들에 기초하고,
    상기 깊이 영상의 패치 영역은,
    상기 개인화된 3D 얼굴 모델에 정의된 얼굴의 랜드마크들에 기초하는, 3D 얼굴 모델링 장치.
KR1020150170095A 2015-12-01 2015-12-01 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 KR102285376B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150170095A KR102285376B1 (ko) 2015-12-01 2015-12-01 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
US15/344,903 US10482656B2 (en) 2015-12-01 2016-11-07 3D face modeling methods and apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170095A KR102285376B1 (ko) 2015-12-01 2015-12-01 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치

Publications (2)

Publication Number Publication Date
KR20170064369A KR20170064369A (ko) 2017-06-09
KR102285376B1 true KR102285376B1 (ko) 2021-08-03

Family

ID=58778097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170095A KR102285376B1 (ko) 2015-12-01 2015-12-01 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치

Country Status (2)

Country Link
US (1) US10482656B2 (ko)
KR (1) KR102285376B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3051951B1 (fr) * 2016-05-27 2018-06-15 Mimi Hearing Technologies GmbH Procede d'elaboration d'un modele deformable en trois dimensions d'un element, et systeme associe
US10528801B2 (en) * 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
CN108960020A (zh) * 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
WO2019056310A1 (en) * 2017-09-22 2019-03-28 Qualcomm Incorporated SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
CN110378994B (zh) 2018-04-12 2021-05-28 Oppo广东移动通信有限公司 人脸建模方法及相关产品
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN109389665B (zh) * 2018-08-24 2021-10-22 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
WO2020122513A1 (ko) 2018-12-10 2020-06-18 삼성전자주식회사 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN111652123B (zh) * 2020-06-01 2023-11-14 腾讯科技（深圳）有限公司 图像处理和图像合成方法、装置和存储介质
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
US20130127827A1 (en) * 2011-11-22 2013-05-23 Derek Shiell Multiview Face Content Creation
US20130287294A1 (en) * 2012-04-30 2013-10-31 Cywee Group Limited Methods for Generating Personalized 3D Models Using 2D Images and Generic 3D Models, and Related Personalized 3D Model Generating System

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4611575B2 (ja) 2001-06-20 2011-01-12 セコム株式会社 本人認証用の顔画像照合装置
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
KR100896643B1 (ko) 2007-06-18 2009-05-08 에스케이 텔레콤주식회사 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
US8238642B2 (en) 2008-11-20 2012-08-07 General Electric Company Methods and apparatus for measuring 3D dimensions on 2D images
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
KR101608253B1 (ko) * 2011-08-09 2016-04-01 인텔 코포레이션 이미지 기반 멀티 뷰 3d 얼굴 생성
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US9196089B2 (en) * 2012-05-17 2015-11-24 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
US9734638B2 (en) 2013-02-11 2017-08-15 Ramot At Tel-Aviv University Ltd. Three-dimensional modeling from single photographs
KR101694300B1 (ko) * 2014-03-04 2017-01-09 한국전자통신연구원 3d 개인 피규어 생성 장치 및 그 방법
US20160148411A1 (en) * 2014-08-25 2016-05-26 Right Foot Llc Method of making a personalized animatable mesh
EP3259704B1 (en) * 2015-02-16 2023-08-23 University Of Surrey Three dimensional modelling
US9652890B2 (en) * 2015-09-29 2017-05-16 Disney Enterprises, Inc. Methods and systems of generating an anatomically-constrained local model for performance capture
US9639737B2 (en) * 2015-09-29 2017-05-02 Eth Zürich (Eidgenöessische Technische Hochschule Zürich) Methods and systems of performing performance capture using an anatomically-constrained local model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
US20130127827A1 (en) * 2011-11-22 2013-05-23 Derek Shiell Multiview Face Content Creation
US20130287294A1 (en) * 2012-04-30 2013-10-31 Cywee Group Limited Methods for Generating Personalized 3D Models Using 2D Images and Generic 3D Models, and Related Personalized 3D Model Generating System

Also Published As

Publication number Publication date
US10482656B2 (en) 2019-11-19
US20170154461A1 (en) 2017-06-01
KR20170064369A (ko) 2017-06-09

Similar Documents

Publication Publication Date Title
KR102285376B1 (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
KR102093216B1 (ko) 얼굴 영상의 자세를 보정하는 방법 및 장치
US10134177B2 (en) Method and apparatus for adjusting face pose
KR101877711B1 (ko) 얼굴 트랙킹 장치 및 방법
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
US9558396B2 (en) Apparatuses and methods for face tracking based on calculated occlusion probabilities
US9552668B2 (en) Generation of a three-dimensional representation of a user
KR102650051B1 (ko) 학습기반 3d 모델 생성 장치 및 방법
US20120306874A1 (en) Method and system for single view image 3 d face synthesis
WO2017223530A1 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
US9020251B2 (en) Image processing apparatus and method
US10467793B2 (en) Computer implemented method and device
US9830703B2 (en) Model-based three-dimensional head pose estimation
US9727776B2 (en) Object orientation estimation
KR20140037936A (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
KR20220074715A (ko) 이미지 처리 방법 및 장치
CN110008873B (zh) 面部表情捕捉方法、系统及设备
CN114402370A (zh) 基于面部-肩部特征坐标变换的自适应手部跟踪和手势识别
US10403038B2 (en) 3D geometry enhancement method and apparatus therefor
US20190377935A1 (en) Method and apparatus for tracking features
KR20160043366A (ko) 부드러운 실루엣 표현을 위한 대상 개체를 모델링하는 방법 및 장치
CN110998595A (zh) 用于头部姿势估计的方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant