KR101997500B1 - 개인화된 3d 얼굴 모델 생성 방법 및 장치 - Google Patents

개인화된 3d 얼굴 모델 생성 방법 및 장치 Download PDF

Info

Publication number
KR101997500B1
KR101997500B1 KR1020140165506A KR20140165506A KR101997500B1 KR 101997500 B1 KR101997500 B1 KR 101997500B1 KR 1020140165506 A KR1020140165506 A KR 1020140165506A KR 20140165506 A KR20140165506 A KR 20140165506A KR 101997500 B1 KR101997500 B1 KR 101997500B1
Authority
KR
South Korea
Prior art keywords
face
personalized
model
facial
images
Prior art date
Application number
KR1020140165506A
Other languages
English (en)
Other versions
KR20160062572A (ko
Inventor
황영규
김정배
이선민
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140165506A priority Critical patent/KR101997500B1/ko
Priority to US14/882,624 priority patent/US9799140B2/en
Priority to EP15195543.2A priority patent/EP3026636B1/en
Publication of KR20160062572A publication Critical patent/KR20160062572A/ko
Priority to US15/717,066 priority patent/US9928647B2/en
Application granted granted Critical
Publication of KR101997500B1 publication Critical patent/KR101997500B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

개인화된 3D 얼굴 모델 생성 방법 및 장치가 개시된다. 개인화된 3D 얼굴 모델 생성 장치는 입력 영상들로부터 얼굴의 특징점들을 추출하고, 추출된 얼굴의 특징점들에 기초하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델을 각각의 입력 영상들에 투영하고, 대응점의 인접 영역에서의 얼굴 영상들 간의 텍스쳐 패턴 차이에 기초하여 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.

Description

개인화된 3D 얼굴 모델 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING PERSONALIZED 3D FACE MODEL}
아래의 설명은 입력 영상에 기초하여 3D 얼굴 모델을 생성하는 기술에 관한 것이다.
3D(dimensional) 얼굴 모델링은 얼굴 포즈, 조명, 표정 등의 표현에 있어서 2D 얼굴 모델링에 비해, 보다 정교하며 사실감을 제공하여 얼굴 인식(face recognition), 게임, 아바타(avatar) 등에서 필요로 하는 연구 분야이다. 3D 얼굴 모델링 방법에는 3D 깊이 카메라(depth camera) 또는 3D 스캐너(scanner)를 이용하여 사용자의 3D 얼굴을 모델링하는 방법이 있다. 3D 깊이 카메라를 이용하는 방법에서는 스테레오 매칭(stereo matching) 기법을 이용하여 사용자의 3D 얼굴을 모델링한다. 3D 스캐너를 이용하는 방법에서는 3D 스캐너를 통해 스캔된 3차원 데이터를 이용하여 사용자의 3D 얼굴을 모델링한다. 3D 스캐너를 통해 사용자의 얼굴 표면의 각 샘플링 포인트에 대해 3차원 좌표 값 및 색상 값이 획득되고, 획득된 사용자 얼굴에 대한 3차원 좌표 값 및 색상 값에 기초하여 3차원 얼굴 모델링이 수행된다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법은, 제1 얼굴 영상 및 제2 얼굴 영상을 포함하는 입력 영상들로부터 얼굴의 특징점들을 추출하는 단계; 상기 특징점들에 기초하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형하는 단계; 상기 개인화된 3D 얼굴 모델을 상기 제1 얼굴 영상 및 상기 제2 얼굴 영상 각각에 투영하는 단계; 및 상기 개인화된 3D 얼굴 모델이 투영된 상기 제1 얼굴 영상과 상기 개인화된 3D 얼굴 모델이 투영된 상기 제2 얼굴 영상 간의 텍스쳐 패턴 차이에 기초하여 상기 개인화된 3D 얼굴 모델을 보정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 보정하는 단계는, 상기 개인화된 3D 얼굴 모델이 투영된 상기 제1 얼굴 영상과 상기 개인화된 3D 얼굴 모델이 투영된 상기 제2 얼굴 영상 간의 대응점을 추출하는 단계; 및 상기 대응점의 인접 영역에서 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴을 비교하는 단계를 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 보정하는 단계는, 상기 대응점의 인접 영역에서, 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴이 서로 유사해지도록 상기 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 보정하는 단계는, 미리 설정된 조건을 만족시킬 때까지, 상기 텍스쳐 패턴 차이에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 반복적으로 보정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 보정하는 단계는, 상기 대응점의 인접 영역에서, 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하는 단계; 및 상기 결정된 포즈 변환 파라미터 및 상기 형상 제어 파라미터를 상기 개인화된 3D 얼굴 모델에 적용하는 단계를 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 형상 제어 파라미터는, 상기 개인화된 3D 얼굴 모델을 구성하는 각 버텍스들의 공간적 위치를 제어할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 방법에서, 상기 입력 영상들은 2D 영상들이고, 상기 입력 영상들은, 사용자 얼굴의 정면을 촬영한 적어도 하나의 정면 얼굴 영상 및 사용자 얼굴의 측면을 촬영한 적어도 하나의 측면 얼굴 영상을 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치는, 제1 얼굴 영상 및 제2 얼굴 영상을 포함하는 입력 영상들로부터 얼굴의 특징점들을 추출하는 특징점 추출부; 상기 특징점들에 기초하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형하는 개인화된 3D 얼굴 모델 생성부; 및 상기 개인화된 3D 얼굴 모델이 투영된 상기 제1 얼굴 영상과 상기 개인화된 3D 얼굴 모델이 투영된 상기 제2 얼굴 영상 간의 텍스쳐 패턴 차이에 기초하여 상기 개인화된 3D 얼굴 모델을 보정하는 개인화된 3D 얼굴 모델 보정부를 포함할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치에서, 상기 개인화된 3D 얼굴 모델 보정부는, 상기 개인화된 3D 얼굴 모델이 투영된 상기 제1 얼굴 영상과 상기 개인화된 3D 얼굴 모델이 투영된 상기 제2 얼굴 영상 간의 대응점을 추출하고, 상기 대응점의 인접 영역에서 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴을 비교할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치에서, 상기 개인화된 3D 얼굴 모델 보정부는, 상기 대응점의 인접 영역에서, 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴이 서로 유사해지도록 상기 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치에서, 상기 대응점의 인접 영역에서, 상기 제1 얼굴 영상과 상기 제2 얼굴 영상 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하고, 상기 결정된 포즈 변환 파라미터 및 상기 형상 제어 파라미터를 상기 개인화된 3D 얼굴 모델에 적용할 수 있다.
일 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치는, 상기 보정된 개인화된 3D 얼굴 모델을 저장하는 개인화된 3D 얼굴 모델 저장부를 더 포함할 수 있다.
도 1은 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 장치의 전체적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 장치의 구성을 도시한 도면이다.
도 3은 일 실시예에 따른 입력 영상들로부터 특징점을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 일반 3D 얼굴 모델을 변형하여 개인화된 3D 얼굴 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 개인화된 3D 얼굴 모델을 입력 영상들에 투영하고, 텍스쳐 패턴을 비교하여 개인화된 3D 얼굴 모델을 보정하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 방법의 동작을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 3D 얼굴 모델 생성 방법의 일부 동작을 구체화한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 장치의 전체적인 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 개인화된 3D 얼굴 모델 생성 장치(100)는 복수의 입력 영상들에 기초하여 개인화된 3D 얼굴 모델(personalized 3D face model)을 생성한다. 입력 영상들은 모델링하고자 하는 사용자의 얼굴을 서로 다른 각도 또는 방향에서 촬영한 얼굴 영상들을 포함할 수 있다. 예를 들어, 얼굴 영상들은 사용자 얼굴의 정면을 촬영한 하나 이상의 정면 얼굴 영상(frontal face image) 및 사용자 얼굴의 측면을 촬영한 하나 이상의 측면 얼굴 영상(side face image)을 포함할 수 있다. 얼굴 영상은 사용자 얼굴이 촬영된 2D 영상을 나타내고, 사용자 얼굴의 전체 영역 또는 일부 영역을 포함할 수 있다.
사용자는 자신의 얼굴 형상을 나타내는 3D 얼굴 모델을 생성하기 위해 카메라를 이용하여 복수의 2D 얼굴 영상들을 촬영할 수 있고, 촬영된 2D 얼굴 영상들은 개인화된 3D 얼굴 모델 생성 장치(100)에 입력될 수 있다. 사용자 얼굴이 고정된 채 카메라의 위치를 변화시켜 촬영하거나, 또는 카메라가 고정된 채 사용자 얼굴의 방향을 변화시켜 촬영하는 것에 의해 사용자 얼굴을 서로 다른 방향에서 촬영한 얼굴 영상들이 획득될 수 있다.
개인화된 3D 얼굴 모델 생성 장치(100)는 입력된 얼굴 영상들에 기초하여 사용자의 얼굴을 3D 모델링하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 개인화된 3D 얼굴 모델 생성 장치(100)는 일반 3D 얼굴 모델 데이터베이스(110)에 저장된 일반 3D 얼굴 모델(generic 3D face model)들 중 어느 하나를 선택하고, 선택된 일반 3D 얼굴 모델의 형상(shape)을 얼굴 영상들에 나타난 사용자의 얼굴 형상에 매칭(matching)시켜 개인화된 3D 얼굴 모델을 생성할 수 있다. 일반 3D 얼굴 모델은 학습 데이터(training data)의 학습을 통해 생성된 통계적 3D 형상 모델을 나타낸다.
개인화된 3D 얼굴 모델 생성 장치(100)는 얼굴 영상들로부터 얼굴의 특징점(facial keypoint 또는 facial landmark)들을 추출하고, 일반 3D 얼굴 모델에 추출된 특징점들을 매칭하는 것에 의해 개인화된 3D 얼굴 모델을 생성할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치(100)는 각각의 얼굴 영상들로부터 눈썹, 눈, 코, 입, 턱, 귀 및/또는 얼굴 윤곽 등에 위치한 특징점들을 추출하고, 추출된 특징점들에 매칭되도록 일반 3D 얼굴 모델을 변형하여 개인화된 3D 얼굴 모델을 생성할 수 있다.
개인화된 3D 얼굴 모델 생성 장치(100)는 얼굴 영상들로부터 추출된 특징점들에 기초하여 개략적인(coarse) 개인화된 3D 얼굴 모델을 고속으로 생성하고, 얼굴 영상들의 텍스쳐(texture) 정보에 기초하여 개인화된 3D 얼굴 모델의 형상을 보정(refinement)하여 고정밀의 개인화된 3D 얼굴 모델을 생성할 수 있다.
개인화된 3D 얼굴 모델 생성 장치(100)는 개인화된 3D 얼굴 모델을 각 얼굴 영상들에 투영(projection)하고, 개인화된 3D 얼굴 모델을 이용하여 얼굴 영상들 간의 대응점을 결정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치(100)는 대응점의 인접 영역에서 얼굴 영상들 간의 텍스쳐 패턴을 비교하고, 텍스쳐 패턴 간의 유사도가 높아지도록 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
예를 들어, 개인화된 3D 얼굴 모델이 투영된 정면 얼굴 영상과 개인화된 3D 얼굴 모델이 투영된 측면 얼굴 영상 간의 대응 영역에서 텍스쳐 패턴의 차이가 존재할 수 있다. 개인화된 3D 얼굴 모델의 코 끝에 대응되는 텍스쳐가 정면 얼굴 영상에서는 코의 텍스쳐를 나타내나, 측면 얼굴 영상에서는 배경(background)의 텍스쳐를 나타낼 수 있다. 개인화된 3D 얼굴 모델 생성 장치(100)는 이와 같은 텍스쳐 패턴의 차이를 최소화하는 방향으로 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
개인화된 3D 얼굴 모델 생성 장치(100)는 개인화된 3D 얼굴 모델이 투영된 측면 얼굴 영상에서, 코 끝 영역의 텍스쳐가 배경의 텍스쳐로부터 코의 텍스쳐로 변화될 때까지 개인화된 3D 얼굴 모델의 코 높이를 낮게 조정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치(100)는 개인화된 3D 얼굴 모델에 기초한 다른 대응 영역에서도 얼굴 영상들 간의 텍스쳐 패턴을 서로 비교하고, 텍스쳐 패턴의 차이가 줄어드는 방향으로 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
위와 같은 보정 과정을 거쳐 획득된 개인화된 3D 얼굴 모델은 얼굴 인증, 및 보안/감시 시스템 등의 다양한 어플리케이션 영역에서 활용될 수 있다.
도 2는 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 장치의 구성을 도시한 도면이다. 도 2를 참조하면, 개인화된 3D 얼굴 모델 생성 장치(200)는 특징점 추출부(210), 개인화된 3D 얼굴 모델 생성부(220) 및 개인화된 3D 얼굴 모델 보정부(230)를 포함한다.
개인화된 3D 얼굴 모델 생성 장치(200)는 사용자의 얼굴 영상들을 포함하는 입력 영상들을 수신하고, 사용자의 얼굴 형상을 나타내는 개인화된 3D 얼굴 모델을 생성한다. 입력 영상들은 2개 이상의 얼굴 영상들을 포함한다. 이하에서는 설명의 편의를 위해 개인화된 3D 얼굴 모델 생성 장치(200)가 제1 얼굴 영상과 제2 얼굴 영상에 기초하여 개인화된 3D 얼굴 모델을 생성하는 것으로 설명한다. 하지만, 실시예의 범위가 이에 한정되는 것으로 해석되어서는 안되고, 개인화된 3D 얼굴 모델 생성 장치(200)는 3개 이상의 얼굴 영상들에 기초하여 개인화된 3D 얼굴 모델을 생성할 수도 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치(200)는 하나의 정면 얼굴 영상 및 복수 개의 측면 얼굴 영상들에 기초하여 개인화된 3D 얼굴 모델을 생성할 수도 있다.
특징점 추출부(210)는 제1 얼굴 영상 및 제2 얼굴 영상을 포함하는 입력 영상들로부터 얼굴의 특징점들을 추출한다. 예를 들어, 제1 얼굴 영상은 사용자의 얼굴의 정면을 촬영한 정면 얼굴 영상이고, 제2 얼굴 영상은 사용자의 얼굴의 측면을 촬영한 측면 얼굴 영상일 수 있다. 특징점 추출부(210)는 입력 영상들에서 얼굴 추적(face tracking)을 수행하여 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 얼굴의 특징점들을 추출할 수 있다.
각 얼굴 영상들로부터 추출되는 특징점들의 위치는 미리 정의될 수 있다. 예를 들어, 특징점 추출부(210)는 입력 영상들로부터 눈썹, 눈, 코, 입, 턱, 및/또는 얼굴 윤곽에 위치한 특징점들을 추출할 수 있다. 개인화된 3D 얼굴 모델 생성 장치(200)는 관련 기술 분야의 다양한 특징점 추출 기법을 이용하여 입력 영상들로부터 특징점을 추출할 수 있다. 일 실시예에 따르면, 특징점 추출부(210)는 능동적 윤곽 모델(ACM, Active Contour Model), 능동적 형상 모델(ASM, Active Shape Model), 능동적 외양 모델(AAM, Active Appearance model), 또는 SDM(Supervised Descent Method) 등을 이용하여 입력 영상들로부터 얼굴의 특징점들을 추출할 수 있다.
개인화된 3D 얼굴 모델 생성부(220)는 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형한다. 개인화된 3D 얼굴 모델 생성 장치(200)는 입력 영상들로부터 추출된 특징점들에 기초하여 일반 3D 얼굴 모델의 포즈 및 형상을 조정하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 일반 3D 얼굴 모델은 학습 데이터에 기초하여 생성된 변형 가능한 3D 형상 얼굴 모델이다. 일반 3D 얼굴 모델은 공간적 위치를 가지는 버텍스(vertex)들로 구성되고, 버텍스들의 공간적 위치는 일반 3D 얼굴 모델에 적용되는 형상 제어 파라미터에 의해 결정될 수 있다. 개인화된 3D 얼굴 모델 생성부(220)는 입력 영상들로부터 추출된 특징점들에 기초하여 사용자 얼굴 형상에 관한 3D 좌표를 추출하고, 추출된 3D 좌표에 매칭되도록 일반 3D 얼굴 모델을 변형하여 3D 형상 모델을 획득할 수 있다.
개인화된 3D 얼굴 모델 생성부(220)는 서로 다른 시점에서 촬영된 얼굴 영상들로부터 추출된 특징점들을 이용하는 것에 의해 보다 정교한 개인화된 3D 얼굴 모델을 생성할 수 있다. 예를 들어, 정면 얼굴 영상으로부터 추출된 특징점들만을 이용하여 개인화된 3D 얼굴 모델을 생성하는 경우, 코의 높이, 광대뼈의 형상 등을 정확하게 결정하는 것이 어려울 수 있다. 측면 얼굴 영상과 같이 다른 시점에서 촬영된 얼굴 영상으로부터 추출된 특징점들은, 코의 높이, 광대뼈의 형상 등에 대한 구체적인 정보를 포함하고 있으므로, 이를 이용하여 사용자의 3D 얼굴 모델을 보다 정교하게 모델링할 수 있다.
일반 3D 얼굴 모델로서, 예를 들어 Candide 얼굴 모델, Warter's 얼굴 모델 또는 직접 디자인된 얼굴 모델 등이 이용될 수 있다. 개인화된 3D 얼굴 모델 생성부(220)는 일반 3D 얼굴 모델 데이터베이스(250)에 저장된 일반 3D 얼굴 모델들 중 하나를 선택하고, 선택된 일반 3D 얼굴 모델의 형상을 입력 영상들로부터 추출된 특징점들에 매칭하여 개인화된 3D 얼굴 모델을 생성할 수 있다.
예를 들어, 개인화된 3D 얼굴 모델 생성부(220)는 일반 3D 얼굴 모델로부터 복수의 랜드마크 포인트(landmark point)들을 추출하고, 입력 영상들로부터 추출된 특징점들을 일반 3D 얼굴 모델로부터 추출된 복수의 랜드마크 포인트들에 매칭(matching)하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형할 수 있다.
다른 예로, 개인화된 3D 얼굴 모델 생성부(220)는 입력 영상들로부터 추출된 특징점들의 위치에 기초하여 일반 3D 얼굴 모델의 형상을 변형하기 위한 형상 제어 파라미터들을 결정하고, 결정된 형상 제어 파라미터들을 일반 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델을 획득할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성부(220)는 다음의 수학식 1에 기초하여 일반 3D 얼굴 모델에 적용할 형상 제어 파라미터들을 결정할 수 있다.
Figure 112014114123168-pat00001
수학식 1에서, Y2D,k는 k 번째 얼굴 영상에서 추출된 특징점들의 위치를 나타내고, m은 얼굴 영상의 개수를 나타낸다. Pk는 k 번째 얼굴 영상에서 추정된 얼굴 포즈에 따라 일반 3D 얼굴 모델을 회전하여 2D 투시 투영(Perspective Projection)하는 매트릭스를 나타낸다.
Figure 112014114123168-pat00002
는 일반 3D 얼굴 모델의 평균 형상(mean shape)을 나타내는 파라미터들이고,
Figure 112014114123168-pat00003
는 일반 3D 얼굴 모델의 형상의 변형 정도를 결정하기 위한 형상 제어 파라미터들로서 고유값(eigenvalue)을 가진다. V는 일반 3D 얼굴 모델의 형상의 변형 방향을 결정하기 위한 형상 제어 파라미터들로서 고유 벡터(eigenvector) 값을 가진다. 일반 3D 얼굴 모델의 형상의 변형 방향을 결정한다. n은 일반 3D 얼굴 모델을 구성하는 버텍스들의 개수를 나타낸다.
Figure 112014114123168-pat00004
와 Vi에서, 아래 첨자 i는 각각
Figure 112014114123168-pat00005
및 V가 적용되는 일반 3D 얼굴 모델의 형상의 버텍스를 식별하기 위한 인덱스(index)를 나타낸다.
수학식 1에 따르면, 일반 3D 얼굴 모델의 평균 형상에서 버텍스들의 공간적 위치를 조정하여 일반 3D 얼굴 모델의 버텍스들을 얼굴 영상들로부터 추출된 특징점들에 매칭시키기 위한 형상 제어 파라미터들이 결정될 수 있다. 개인화된 3D 얼굴 모델 생성부(220)는 이와 같이 결정된 형상 제어 파라미터들을 일반 3D 얼굴 모델의 버텍스들에 적용하여 사용자의 얼굴 형상을 나타내는 3D 얼굴 형상 모델을 생성할 수 있다.
개인화된 3D 얼굴 모델 생성부(220)는 입력 영상들 중에서 어느 하나의 기준 얼굴 영상을 선택하고, 기준 얼굴 영상의 텍스쳐 정보에 기초하여 3D 얼굴 텍스쳐 모델을 생성할 수 있다. 3D 얼굴 형상 모델은 사용자 얼굴의 형상 정보를 포함하는 모델이고, 3D 얼굴 텍스쳐 모델은 사용자 얼굴의 형상 정보뿐만 아니라 텍스쳐 정보도 포함하는 모델이다. 3D 얼굴 형상 모델 및 3D 얼굴 텍스쳐 모델 모두 개인화된 3D 얼굴 모델의 한 종류이다.
예를 들어, 개인화된 3D 얼굴 모델 생성부(220)는 얼굴 영상들 중 얼굴의 가림(occlusion)이 가장 적은 얼굴 영상 또는 정면 얼굴 영상에 가장 가까운 포즈를 나타내는 얼굴 영상을 기준 얼굴 영상으로 결정할 수 있다. 개인화된 3D 얼굴 모델 생성부(220)는 3D 얼굴 형상 모델에 기준 영상의 텍스쳐를 매핑(mapping)하여 3D 얼굴 텍스쳐 모델을 생성할 수 있다.
개인화된 3D 얼굴 모델 보정부(230)는 얼굴 영상들의 텍스쳐 패턴을 비교하여 개인화된 3D 얼굴 모델을 보정할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 개인화된 3D 얼굴 모델을 이용하여 얼굴 영상들 간의 텍스쳐 패턴을 비교하고, 텍스쳐 패턴의 차이가 최소화되도록 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
개인화된 3D 얼굴 모델 보정부(230)는 개인화된 3D 얼굴 모델 보정부(230)는 제1 얼굴 영상 및 제2 얼굴 영상 각각에 개인화된 3D 얼굴 모델을 투영할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 각각의 얼굴 영상들에 나타난 얼굴 포즈에 매칭되도록 개인화된 3D 얼굴 모델을 회전하여 얼굴 영상들에 투영할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 개인화된 3D 얼굴 모델이 투영된 제1 얼굴 영상과 개인화된 3D 얼굴 모델이 투영된 제2 얼굴 영상 간의 텍스쳐 패턴 차이에 기초하여 개인화된 3D 얼굴 모델을 보정할 수 있다.
개인화된 3D 얼굴 모델 보정부(230)는 개인화된 3D 얼굴 모델이 투영된 제1 얼굴 영상과 개인화된 3D 얼굴 모델이 투영된 제2 얼굴 영상 간의 대응점을 추출할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 대응점의 인접 영역에서 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴을 비교하고, 텍스쳐 패턴의 비교 결과에 기초하여 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 대응점별로 인접 영역의 텍스쳐 패턴을 비교하고, 텍스쳐 패턴의 차이가 최소화되도록 개인화된 3D 얼굴 모델을 구성하는 버텍스들의 공간적 위치들을 조정할 수 있다.
제1 얼굴 영상에 개인화된 3D 얼굴 모델을 투영하는 경우, 제1 얼굴 영상의 얼굴 포즈에 매칭되도록 개인화된 3D 얼굴 모델을 회전한 후, 개인화된 3D 얼굴 모델의 버텍스들이 제1 얼굴 영상에 투영될 수 있다. 이와 유사하게, 제2 얼굴 영상에 개인화된 3D 얼굴 모델을 투영하는 경우, 제2 얼굴 영상의 얼굴 포즈에 매칭되도록 개인화된 3D 얼굴 모델을 회전한 후, 개인화된 3D 얼굴 모델의 버텍스들이 제1 얼굴 영상에 투영될 수 있다.
각각의 얼굴 영상들에 투영된 개인화된 3D 얼굴 모델의 버텍스들의 집합은 동일하기 때문에, 각각의 얼굴 영상들에 투영된 개인화된 3D 얼굴 모델의 버텍스들의 위치에 기초하여 얼굴 영상들 간에 서로 대응되는 대응점들의 위치가 식별될 수 있다. 일 실시예에 따르면, 개인화된 3D 얼굴 모델 보정부(230)는 삼각형이 변형되더라도 무게 중심은 유지되는 무게 중심 좌표(barycentric coordinate)의 특성을 이용하여 개인화된 3D 얼굴 모델이 투영된 각 얼굴 영상들 간의 대응점 위치를 식별할 수 있다.
개인화된 3D 얼굴 모델 보정부(230)는 식별된 대응점들의 인접 영역에서 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴을 비교하여 대응점에 대응하는 개인화된 3D 얼굴 모델의 버텍스의 위치를 조정할지 여부를 결정할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 대응점의 인접 영역에서 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴이 서로 유사해지도록 개인화된 3D 얼굴 모델의 버텍스들의 공간적 위치를 조정할 수 있다. 버텍스들의 공간적 위치가 조정되는 것에 의해 개인화된 3D 얼굴 모델의 형상이 보다 정교하게 보정될 수 있다.
개인화된 3D 얼굴 모델 보정부(230)는 대응점의 인접 영역에서 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 보정부(230)는 다음의 수학식 2에 기초하여 개인화된 3D 얼굴 모델을 보정하기 위한 포즈 변환 파라미터 및 형상 제어 파라미터를 결정할 수 있다. 수학식 2의 설명에서, 제1 얼굴 영상이 기준 얼굴 영상으로 결정되었다고 가정한다.
Figure 112014114123168-pat00006
수학식 2에서,
Figure 112014114123168-pat00007
는 개인화된 3D 얼굴 모델의 평균 형상을 나타내는 파라미터들이다.
Figure 112014114123168-pat00008
는 개인화된 3D 얼굴 모델에서 형상의 변형 정도를 결정하기 위한 형상 제어 파라미터들로서, 고유값을 가진다. 형상 제어 파라미터들은 개인화된 3D 얼굴 모델을 구성하는 각 버텍스들의 공간적 위치를 결정한다.
Figure 112014114123168-pat00009
는 개인화된 3D 얼굴 모델에서 형상의 변형 방향을 결정하기 위한 형상 제어 파라미터들로서, 고유 벡터 값을 가진다.
포즈 변환 파라미터 중 하나인 Ri는 제2 얼굴 영상과 제1 얼굴 영상 사이에서 개인화된 3D 얼굴 모델의 포즈를 변화시키기 위한 매트릭스를 나타낸다. P는 형상 제어 파라미터 및 포즈 변환 파라미터가 적용된 개인화된 3D 얼굴 모델을 2D 투시 투영을 하는 매트릭스를 나타낸다. W는 형상 및 위치 변형 매트릭스를 이용하여 텍스쳐의 위치를 재배치하는 와핑(warping) 함수를 나타낸다. Ii는 제2 얼굴 영상의 텍스쳐를 나타내고, Iref는 기준 얼굴 영상인 제1 얼굴 영상의 텍스쳐를 나타낸다.
수학식 2에 따르면, 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터들 및 형상 제어 파라미터들이 결정될 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 이와 같이 결정된 포즈 변환 파라미터들 및 형상 제어 파라미터들을 개인화된 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델을 보다 정밀하게 보정할 수 있다. 개인화된 3D 얼굴 모델 보정부(230)는 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴의 차이가 미리 설정된 조건을 만족시킬 때까지, 개인화된 3D 얼굴 모델의 형상을 반복적으로 보정할 수 있다.
다른 실시예에 따르면, 개인화된 3D 얼굴 모델 생성 장치(200)는 개인화된 3D 얼굴 모델 저장부(240)를 더 포함할 수 있다. 개인화된 3D 얼굴 모델 저장부(240)는 최종적으로 보정된 개인화된 3D 얼굴 모델을 저장할 수 있다. 개인화된 3D 얼굴 모델 저장부(240)는 각각의 사용자들에 대응하는 개인화된 3D 얼굴 모델들을 저장할 수 있다.
개인화된 3D 얼굴 모델 생성 장치(200)는 개인화된 3D 얼굴 모델 저장부(240)에 저장된 개인화된 3D 얼굴 모델을 업데이트할 수 있다. 사용자의 얼굴이 촬영된 얼굴 영상이 새로이 입력되는 경우, 개인화된 3D 얼굴 모델 생성 장치(200)는 얼굴 영상으로부터 얼굴의 특징점들을 추출하고, 추출된 특징점들에 기초하여 이전에 생성된 개인화된 3D 얼굴 모델을 업데이트할 수 있다.
도 3은 일 실시예에 따른 입력 영상들로부터 특징점을 추출하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 얼굴 영상(320)은 사용자의 정면 얼굴을 촬영한 정면 얼굴 영상을 나타내고, 얼굴 영상(310)은 사용자의 좌측면 얼굴을 촬영한 좌측면 얼굴 영상을 나타내며, 얼굴 영상(330)은 사용자의 우측면 얼굴을 촬영한 우측면 얼굴 영상을 나타낸다.
정면 얼굴이 촬영된 얼굴 영상(320)으로부터 사용자 얼굴에 관한 전체적인 2D 형상 정보와 텍스쳐 정보가 추출될 수 있다. 측면 얼굴이 촬영된 얼굴 영상들(310, 330)로부터 사용자 얼굴의 형상에 관한 보다 구체적인 정보가 추출될 수 있다.
개인화된 3D 얼굴 모델 생성 장치는 각각의 얼굴 영상들(310, 320, 330)로부터 얼굴의 특징점들(315, 325, 335)을 추출할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 각각의 얼굴 영상들(310, 320, 330)에서 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 눈썹, 눈, 코, 입, 턱, 및/또는 얼굴 윤곽 등에 위치한 얼굴의 특징점들을 추출할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치는 관련 기술 분야에서 널리 알려진 ASM, AAM, 또는 SDM 등의 방식을 이용하여 얼굴 영상들(310, 320, 330)로부터 얼굴의 특징점들을 추출할 수 있다.
도 4는 일 실시예에 따른 일반 3D 얼굴 모델을 변형하여 개인화된 3D 얼굴 모델을 생성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 일반 3D 얼굴 모델(410)과 개인화된 3D 얼굴 모델(420, 430)이 도시되어 있다. 일반 3D 얼굴 모델(410)은 3D 얼굴 학습 데이터에 기초하여 생성된 변형 가능한(deformable) 3D 형상 모델로서, 평균 형상과 파라미터를 통해 사용자 얼굴의 형상을 나타낼 수 있는 파라메트릭 모델(parametric model)이다.
개인화된 3D 얼굴 모델 생성 장치는 사용자의 얼굴이 나타난 복수의 얼굴 영상들에 기초하여 일반 3D 얼굴 모델(410)을 개인화할 수 있다. 얼굴 영상들로부터 얼굴의 특징점들을 추출하고, 일반 3D 얼굴 모델(410)의 랜드마크 포인트들에 얼굴 영상들로부터 추출된 얼굴의 특징점들을 매칭할 수 있는 파라미터를 결정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 결정된 파라미터를 일반 3D 얼굴 모델(410)에 적용하여 개인화된 3D 얼굴 모델(420, 430)을 생성할 수 있다. 개인화된 3D 얼굴 모델(420, 430)은 포즈 또는 표정이 변형될 수 있는 3D 얼굴 모델이다.
개인화된 3D 얼굴 모델(420)은 텍스쳐 정보의 없이 형상 정보만 존재하는 3D 얼굴 모델이고, 개인화된 3D 얼굴 모델(430)은 형상 정보뿐만 아니라 텍스쳐 정보를 가지는 3D 얼굴 모델이다. 개인화된 3D 얼굴 모델 생성 장치는 얼굴 영상들 중 하나 이상의 얼굴 영상에서 추출한 텍스쳐를 형상 정보만을 가지는 개인화된 3D 얼굴 모델(420)에 매핑하여 텍스쳐가 입혀진 개인화된 3D 얼굴 모델(430)을 생성할 수 있다. 텍스쳐 정보를 더 포함하는 개인화된 3D 얼굴 모델(430)은 형상 정보만을 포함하는 개인화된 3D 얼굴 모델(420)보다 정밀도가 높으며, 보다 많은 버텍스들을 포함하고 있다.
도 5는 일 실시예에 따른 개인화된 3D 얼굴 모델을 입력 영상들에 투영하고, 텍스쳐 패턴을 비교하여 개인화된 3D 얼굴 모델을 보정하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 얼굴 영상(520)은 정면 얼굴 영상을 나타내고, 얼굴 영상(510)은 좌측면 얼굴 영상을 나타내며, 얼굴 영상(530)은 우측면 얼굴 영상을 나타낸다. 도 5에서는 얼굴 영상(520)이 기준 얼굴 영상으로 결정되었다고 가정한다.
개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델(540)을 각각의 얼굴 영상들(510, 520, 530)에 투영할 수 있다. 개인화된 3D 얼굴 모델(540)은 버텍스들을 통해 사용자의 얼굴을 3D 형상으로 나타낼 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델(540)을 각 얼굴 영상들(510, 520, 530)에 나타난 얼굴 포즈에 따라 회전한 후 각 얼굴 영상들(510, 520, 530)에 2D 투시 투영할 수 있다.
개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델(540)이 투영된 얼굴 영상들(510, 520, 530) 간의 대응점을 추출할 수 있다. 예를 들어, 얼굴 영상(510)의 점(570), 얼굴 영상(520)의 점(550) 및 얼굴 영상(530)의 점(560)은 서로 대응되는 대응점이라고 가정한다. 각 얼굴 영상들(510, 520, 530)에서 개인화된 3D 얼굴 모델(540)의 동일한 버텍스가 위치하는 영역이 대응점이 위치하는 영역으로 결정될 수 있다.
개인화된 3D 얼굴 모델 생성 장치는 기준 얼굴 영상인 얼굴 영상(520)과 얼굴 영상(510)의 대응점의 인접 영역에서 텍스쳐 패턴을 비교하고, 텍스쳐 패턴 차이에 기초하여 개인화된 3D 얼굴 모델(540)의 형상을 보정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 대응점의 인접 영역에서 얼굴 영상(520)과 얼굴 영상(510) 간의 텍스쳐 패턴의 차이가 최소화되도록 개인화된 3D 얼굴 모델(540)의 형상을 보정할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치는 수학식 2에 기초하여 각 대응점들의 인접 영역에서 얼굴 영상(520)과 얼굴 영상(510) 간의 텍스쳐 패턴의 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하고, 결정된 포즈 변환 파라미터 및 형상 제어 파라미터를 개인화된 3D 얼굴 모델(540)에 적용하여 개인화된 3D 얼굴 모델(540)을 보다 정교하게 보정할 수 있다.
개인화된 3D 얼굴 모델 생성 장치는 기준 얼굴 영상인 얼굴 영상(520)과 얼굴 영상(530)의 대응점의 인접 영역에서도 텍스쳐 패턴을 비교하고, 대응점의 인접 영역에서 텍스쳐 패턴의 차이가 최소화되도록 개인화된 3D 얼굴 모델(540)의 형상을 보정할 수 있다.
도 6은 일 실시예에 따른 개인화된 3D 얼굴 모델 생성 방법의 동작을 설명하기 위한 흐름도이다.
단계(610)에서, 개인화된 3D 얼굴 모델 생성 장치는 입력 영상들로부터 얼굴의 특징점들을 추출한다. 개인화된 3D 얼굴 모델 생성 장치는 입력 영상들에서 얼굴 추적을 수행하여 사용자의 얼굴 영역을 검출하고, 검출된 얼굴 영역 내에서 얼굴의 특징점들을 추출할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치는 능동적 윤곽 모델, 능동적 윤곽 모델, 능동적 형상 모델, 능동적 외양 모델, 또는 SDM 등의 기법을 이용하여 입력 영상들로부터 눈썹, 눈, 코, 입, 턱, 및/또는 얼굴 윤곽에 위치한 특징점들을 추출할 수 있다.
단계(620)에서, 개인화된 3D 얼굴 모델 생성 장치는 단계(610)에서 추출된 특징점들에 기초하여 일반 3D 얼굴 모델을 개인화된 3D 얼굴 모델로 변형할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 입력 영상들로부터 추출된 특징점들에 기초하여 3D 좌표를 추출하고, 추출된 3D 좌표에 매칭되도록 일반 3D 얼굴 모델을 변형하여 3D 형상 모델을 획득할 수 있다.
일반 3D 얼굴 모델로서, 예를 들어 Candide 얼굴 모델, Warter's 얼굴 모델 또는 직접 디자인된 얼굴 모델 등이 이용될 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 복수의 일반 3D 얼굴 모델들 중 하나를 선택하고, 선택된 일반 3D 얼굴 모델의 형상을 입력 영상들로부터 추출된 특징점들에 매칭하여 개인화된 3D 얼굴 모델을 생성할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 입력 영상들로부터 추출된 특징점들의 위치에 기초하여 일반 3D 얼굴 모델의 형상을 변형하기 위한 형상 제어 파라미터들을 결정하고, 결정된 형상 제어 파라미터들을 일반 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델을 획득할 수 있다.
단계(630)에서, 개인화된 3D 얼굴 모델 생성 장치는 각각의 입력 영상들에 개인화된 3D 얼굴 모델을 투영할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 각각의 얼굴 영상들에 나타난 얼굴 포즈에 매칭되도록 개인화된 3D 얼굴 모델을 회전하여 얼굴 영상들에 투영할 수 있다.
단계(640)에서, 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델을 이용하여 얼굴 영상들 간의 텍스쳐 패턴을 비교하고, 텍스쳐 패턴의 비교 결과에 기초하여 개인화된 3D 얼굴 모델을 보정할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델이 투영된 제1 얼굴 영상과 개인화된 3D 얼굴 모델이 투영된 제2 얼굴 영상 간의 텍스쳐 패턴 차이에 기초하여 개인화된 3D 얼굴 모델을 보정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델을 이용하여 얼굴 영상들 간의 텍스쳐 패턴 차이가 최소화되도록 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다. 단계(640)의 동작은 도 7에서 보다 구체적으로 설명하도록 한다.
도 7은 일 실시예에 따른 3D 얼굴 모델 생성 방법의 일부 동작을 구체화한 흐름도이다.
단계(710)에서, 개인화된 3D 얼굴 모델 생성 장치는 개인화된 3D 얼굴 모델이 투영된 제1 얼굴 영상과 개인화된 3D 얼굴 모델이 투영된 제2 얼굴 영상 간의 대응점을 추출할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 각각의 얼굴 영상들에 투영된 개인화된 3D 얼굴 모델의 버텍스들의 위치에 기초하여 얼굴 영상들 간에 서로 대응되는 대응점들을 추출할 수 있다.
단계(720)에서, 개인화된 3D 얼굴 모델 생성 장치는 단계(710)에서 추출된 대응점의 인접 영역에서 제1 얼굴 영상과 제2 얼굴 영상 간의 텍스쳐 패턴이 서로 유사해지도록 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다. 개인화된 3D 얼굴 모델 생성 장치는 대응점의 인접 영역에서 얼굴 영상들 간의 텍스쳐 패턴의 차이가 최소화되도록 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다. 예를 들어, 개인화된 3D 얼굴 모델 생성 장치는 수학식 2에 기초하여 얼굴 영상들 간의 텍스쳐 패턴의 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하고, 결정된 포즈 변환 파라미터 및 형상 제어 파라미터를 개인화된 3D 얼굴 모델에 적용하여 개인화된 3D 얼굴 모델의 형상을 보정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형상으로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형상으로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 개인화된 3D 얼굴 모델 생성 장치에 의해 수행되는 개인화된 3D 얼굴 모델 생성 방법에 있어서,
    개인화된 3D 얼굴 모델(personalized 3D face model)을 복수의 얼굴 영상들 각각에 투영(projection)하는 단계; 및
    상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들에 기초하여, 상기 개인화된 3D 얼굴 모델을 보정(refinement)하는 단계를 포함하고,
    상기 보정하는 단계는,
    상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 대응점을 추출하는 단계; 및
    상기 대응점의 인접 영역에서, 상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 텍스쳐 패턴이 서로 유사해지도록 상기 개인화된 3D 얼굴 모델의 형상을 보정하는 단계
    를 포함하는 개인화된 3D 얼굴 모델 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 얼굴 영상들로부터 얼굴의 특징점들을 추출하는 단계; 및
    상기 특징점들에 기초하여 일반 3D 얼굴 모델(generic 3D face model)을 변형하는 것에 의해 상기 개인화된 3D 얼굴 모델을 획득하는 단계
    를 더 포함하는 개인화된 3D 얼굴 모델 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 보정하는 단계는,
    미리 설정된 조건을 만족시킬 때까지, 상기 텍스쳐 패턴 차이에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 반복적(iteratively)으로 보정하는 단계
    를 포함하는 개인화된 3D 얼굴 모델 생성 방법.
  5. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 대응점의 인접 영역에서, 상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하는 단계; 및
    상기 결정된 포즈 변환 파라미터 및 상기 형상 제어 파라미터를 상기 개인화된 3D 얼굴 모델에 적용하는 단계
    를 포함하는 개인화된 3D 얼굴 모델 생성 방법.
  6. 제5항에 있어서,
    상기 형상 제어 파라미터는,
    상기 개인화된 3D 얼굴 모델을 구성하는 각 버텍스(vertex)들의 공간적 위치를 제어하는, 개인화된 3D 얼굴 모델 생성 방법.
  7. 제1항에 있어서,
    상기 복수의 얼굴 영상들은, 제1 얼굴 영상 및 제2 얼굴 영상을 포함하고,
    상기 투영하는 단계는,
    상기 제1 얼굴 영상에 나타난 얼굴 포즈에 따라 상기 개인화된 3D 얼굴 모델을 상기 제1 얼굴 영상에 투영하는 단계; 및
    상기 제2 얼굴 영상에 나타난 얼굴 포즈에 따라 상기 개인화된 3D 얼굴 모델을 상기 제2 얼굴 영상에 투영하는 단계
    를 포함하는 개인화된 3D 얼굴 모델 생성 방법.
  8. 제2항에 있어서,
    상기 획득하는 단계는,
    상기 일반 3D 얼굴 모델의 랜드마크 포인트들을 상기 추출된 특징점들에 매칭(matching)하여 상기 개인화된 3D 얼굴 모델을 획득하는, 개인화된 3D 얼굴 모델 생성 방법.
  9. 제1항에 있어서,
    상기 얼굴 영상들은 2D 영상들이고,
    상기 얼굴 영상들은, 사용자 얼굴의 정면을 촬영한 적어도 하나의 정면 얼굴 영상 및 사용자 얼굴의 측면을 촬영한 적어도 하나의 측면 얼굴 영상을 포함하는, 개인화된 3D 얼굴 모델 생성 방법.
  10. 제1항, 제2항 및 제4항 내지 제9항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  11. 복수의 얼굴 영상들에 기초하여 개인화된 3D 얼굴 모델(personalized 3D face model)을 획득하는 개인화된 3D 얼굴 모델 생성부; 및
    상기 개인화된 3D 얼굴 모델(personalized 3D face model)을 상기 얼굴 영상들 각각에 투영(projection)하고, 상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들에 기초하여 상기 개인화된 3D 얼굴 모델을 보정(refinement)하는 개인화된 3D 얼굴 모델 보정부
    를 포함하고,
    상기 개인화된 3D 얼굴 모델 보정부는,
    상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 대응점을 추출하고,
    상기 대응점의 인접 영역에서, 상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 텍스쳐 패턴이 서로 유사해지도록 상기 개인화된 3D 얼굴 모델의 형상을 보정하는,
    3D 얼굴 모델 생성 장치.
  12. 제11항에 있어서,
    상기 복수의 얼굴 영상들로부터 얼굴의 특징점들을 추출하는 특징점 추출부를 더 포함하고,
    상기 개인화된 3D 얼굴 모델 생성부는,
    상기 추출된 특징점들에 기초하여 일반 3D 얼굴 모델을 변형하는 것에 의해 상기 개인화된 3D 얼굴 모델을 획득하는, 개인화된 3D 얼굴 모델 생성 장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 개인화된 3D 얼굴 모델 보정부는,
    미리 설정된 조건을 만족시킬 때까지, 상기 텍스쳐 패턴의 차이에 기초하여 상기 개인화된 3D 얼굴 모델의 형상을 반복적으로 보정하는, 개인화된 3D 얼굴 모델 생성 장치.
  15. 제11항에 있어서,
    상기 개인화된 3D 얼굴 모델 보정부는,
    상기 대응점의 인접 영역에서, 상기 개인화된 3D 얼굴 모델이 투영된 얼굴 영상들 간의 텍스쳐 패턴 차이를 최소화하는 포즈 변환 파라미터 및 형상 제어 파라미터를 결정하고, 상기 결정된 포즈 변환 파라미터 및 상기 형상 제어 파라미터를 상기 개인화된 3D 얼굴 모델에 적용하는, 개인화된 3D 얼굴 모델 생성 장치.
  16. 제11항에 있어서,
    상기 보정된 개인화된 3D 얼굴 모델을 저장하는 개인화된 3D 얼굴 모델 저장부
    를 더 포함하는 개인화된 3D 얼굴 모델 생성 장치.
  17. 제12항에 있어서,
    상기 개인화된 3D 얼굴 모델 생성부는,
    상기 일반 3D 얼굴 모델의 랜드마크 포인트들을 상기 추출된 특징점들에 매핑하여 상기 개인화된 3D 얼굴 모델을 획득하는, 개인화된 3D 얼굴 모델 생성 장치.
  18. 제11항에 있어서,
    상기 얼굴 영상들은 2D 영상들이고,
    상기 얼굴 영상들은, 사용자 얼굴의 정면을 촬영한 적어도 하나의 정면 얼굴 영상 및 사용자 얼굴의 측면을 촬영한 적어도 하나의 측면 얼굴 영상을 포함하는, 개인화된 3D 얼굴 모델 생성 장치.
KR1020140165506A 2014-11-25 2014-11-25 개인화된 3d 얼굴 모델 생성 방법 및 장치 KR101997500B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140165506A KR101997500B1 (ko) 2014-11-25 2014-11-25 개인화된 3d 얼굴 모델 생성 방법 및 장치
US14/882,624 US9799140B2 (en) 2014-11-25 2015-10-14 Method and apparatus for generating personalized 3D face model
EP15195543.2A EP3026636B1 (en) 2014-11-25 2015-11-20 Method and apparatus for generating personalized 3d face model
US15/717,066 US9928647B2 (en) 2014-11-25 2017-09-27 Method and apparatus for generating personalized 3D face model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140165506A KR101997500B1 (ko) 2014-11-25 2014-11-25 개인화된 3d 얼굴 모델 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160062572A KR20160062572A (ko) 2016-06-02
KR101997500B1 true KR101997500B1 (ko) 2019-07-08

Family

ID=54608430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140165506A KR101997500B1 (ko) 2014-11-25 2014-11-25 개인화된 3d 얼굴 모델 생성 방법 및 장치

Country Status (3)

Country Link
US (2) US9799140B2 (ko)
EP (1) EP3026636B1 (ko)
KR (1) KR101997500B1 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN108781251A (zh) * 2016-03-15 2018-11-09 株式会社理光 图像处理装置、图像处理方法和图像处理系统
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
US10818064B2 (en) * 2016-09-21 2020-10-27 Intel Corporation Estimating accurate face shape and texture from an image
KR102210150B1 (ko) 2016-09-23 2021-02-02 애플 인크. 아바타 생성 및 편집
US10269177B2 (en) 2016-10-06 2019-04-23 Google Llc Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US10528801B2 (en) * 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
US10528799B2 (en) * 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
KR101963198B1 (ko) * 2017-04-18 2019-07-31 한국과학기술원 3차원 안면 정면화 시스템 및 방법
CN108960020A (zh) * 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107818310B (zh) * 2017-11-03 2021-08-06 电子科技大学 一种基于视线的驾驶员注意力检测方法
GB2568475A (en) * 2017-11-15 2019-05-22 Cubic Motion Ltd A method of generating training data
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US10573349B2 (en) * 2017-12-28 2020-02-25 Facebook, Inc. Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition
CN108596827B (zh) * 2018-04-18 2022-06-17 太平洋未来科技（深圳）有限公司 三维人脸模型生成方法、装置及电子设备
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US10783704B2 (en) * 2018-09-27 2020-09-22 Disney Enterprises, Inc. Dense reconstruction for narrow baseline motion observations
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109376698B (zh) * 2018-11-29 2022-02-01 北京市商汤科技开发有限公司 人脸建模方法和装置、电子设备、存储介质、产品
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110111418B (zh) 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
US20220237880A1 (en) * 2019-05-31 2022-07-28 Applications Mobiles Overview Inc. System and method of generating a 3d representation of an object
JP7276968B2 (ja) * 2019-06-20 2023-05-18 Ｎｅｃソリューションイノベータ株式会社 ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム
KR102181901B1 (ko) * 2019-07-25 2020-11-23 넷마블 주식회사 애니메이션 생성 방법
CN110719455A (zh) * 2019-09-29 2020-01-21 深圳市火乐科技发展有限公司 视频投影方法及相关装置
KR20210077993A (ko) 2019-12-18 2021-06-28 삼성전자주식회사 사용자 인증 장치, 사용자 인증 방법, 및 사용자 인증을 위한 학습 방법
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070624A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111754637B (zh) * 2020-06-30 2021-01-29 华东交通大学 一种样本相似度抑制的大尺度三维人脸合成系统
US11403800B1 (en) * 2020-07-13 2022-08-02 Amazon Technologies, Inc. Image generation from 3D model using neural network
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112200905B (zh) * 2020-10-15 2023-08-22 革点科技(深圳)有限公司 一种三维人脸补全的方法
KR102251781B1 (ko) * 2020-12-30 2021-05-14 (주)라이언로켓 인공신경망을 이용한 입모양 합성 장치 및 방법
CN112926434A (zh) * 2021-02-22 2021-06-08 王先峰 一种基于5g架构的人脸识别设备
US11461970B1 (en) * 2021-03-15 2022-10-04 Tencent America LLC Methods and systems for extracting color from facial image
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
WO2023230696A1 (en) * 2022-06-02 2023-12-07 Digital Domain Virtual Human (Us), Inc. Systems and methods for interpolating high-resolution textures based on facial expressions
CN116503508B (zh) * 2023-06-26 2023-09-08 南昌航空大学 一种个性化模型构建方法、系统、计算机及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082077A2 (en) * 2010-12-17 2012-06-21 Agency For Science, Technology And Research Pose-independent 3d face reconstruction from a sample 2d face image
US20130287294A1 (en) * 2012-04-30 2013-10-31 Cywee Group Limited Methods for Generating Personalized 3D Models Using 2D Images and Generic 3D Models, and Related Personalized 3D Model Generating System

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208347B1 (en) 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
JP3639475B2 (ja) * 1999-10-04 2005-04-20 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4341135B2 (ja) 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
KR100372811B1 (ko) 2000-12-19 2003-02-26 (주) 웹씨인터미디어 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR100459892B1 (ko) * 2001-12-13 2004-12-03 삼성전자주식회사 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치
JP2003208601A (ja) 2002-01-15 2003-07-25 Nec Corp ３次元物体撮影装置、３次元形状モデル生成装置、３次元形状モデル生成方法、３次元形状モデル生成プログラム
KR100450210B1 (ko) 2002-10-25 2004-09-24 (주)엔룩스 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된기록매체
KR100682889B1 (ko) 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4216824B2 (ja) * 2005-03-07 2009-01-28 株式会社東芝 ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
US7415152B2 (en) 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
US7755619B2 (en) 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
EP1960928A2 (en) 2005-12-14 2008-08-27 Yeda Research And Development Co., Ltd. Example based 3d reconstruction
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
KR100919104B1 (ko) 2008-01-03 2009-09-28 에스케이 텔레콤주식회사 발신자의 3차원 얼굴 표시장치 및 방법
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8260039B2 (en) 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
SG181671A1 (en) * 2009-12-14 2012-07-30 Agency Science Tech & Res Method and system for single view image 3 d face synthesis
KR20110088361A (ko) 2010-01-26 2011-08-03 한국전자통신연구원 정면 얼굴 영상 생성 장치 및 방법
US8861800B2 (en) 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
WO2012126135A1 (en) 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
JP5773323B2 (ja) 2011-08-09 2015-09-02 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
JP2013196294A (ja) 2012-03-19 2013-09-30 Toshiba Corp 人物画像処理装置、及び人物画像処理方法
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
KR20130137999A (ko) 2012-06-08 2013-12-18 주식회사 코어셀 시청자의 시청률을 측정하는 방법과 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082077A2 (en) * 2010-12-17 2012-06-21 Agency For Science, Technology And Research Pose-independent 3d face reconstruction from a sample 2d face image
US20130287294A1 (en) * 2012-04-30 2013-10-31 Cywee Group Limited Methods for Generating Personalized 3D Models Using 2D Images and Generic 3D Models, and Related Personalized 3D Model Generating System

Also Published As

Publication number Publication date
EP3026636B1 (en) 2020-01-15
US20160148425A1 (en) 2016-05-26
US20180018819A1 (en) 2018-01-18
US9799140B2 (en) 2017-10-24
US9928647B2 (en) 2018-03-27
KR20160062572A (ko) 2016-06-02
EP3026636A1 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
KR102285376B1 (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
US11386701B2 (en) Face recognition method and apparatus
JP6754619B2 (ja) 顔認識方法及び装置
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
US10134177B2 (en) Method and apparatus for adjusting face pose
US9020251B2 (en) Image processing apparatus and method
KR20160088223A (ko) 얼굴 영상의 자세를 보정하는 방법 및 장치
CN114627543A (zh) 用于脸部识别的方法和设备
WO2015146101A1 (ja) 顔照合装置、方法、及び、記録媒体
WO2014144408A2 (en) Systems, methods, and software for detecting an object in an image
US10467793B2 (en) Computer implemented method and device
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
KR20160032466A (ko) 영상 특징 추출 방법 및 장치
KR20230049969A (ko) 글로벌 측위 장치 및 방법
KR101732807B1 (ko) 3차원 얼굴 비대칭 분석 장치 및 방법
CN110998595A (zh) 用于头部姿势估计的方法和系统
KR101509934B1 (ko) 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
KR20110006030A (ko) 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant