KR20140003880A - ３차원 얼굴 생성 장치 및 방법 - Google Patents

３차원 얼굴 생성 장치 및 방법 Download PDF

Info

Publication number
KR20140003880A
KR20140003880A KR1020120071261A KR20120071261A KR20140003880A KR 20140003880 A KR20140003880 A KR 20140003880A KR 1020120071261 A KR1020120071261 A KR 1020120071261A KR 20120071261 A KR20120071261 A KR 20120071261A KR 20140003880 A KR20140003880 A KR 20140003880A
Authority
KR
South Korea
Prior art keywords
face
user
dimensional
model
image
Prior art date
Application number
KR1020120071261A
Other languages
English (en)
Other versions
KR101351745B1 (ko
Inventor
황진규
김수연
반유석
이상윤
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120071261A priority Critical patent/KR101351745B1/ko
Priority to PCT/KR2013/005810 priority patent/WO2014003507A1/ko
Publication of KR20140003880A publication Critical patent/KR20140003880A/ko
Application granted granted Critical
Publication of KR101351745B1 publication Critical patent/KR101351745B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

얼굴이 포함된 영상에서 특징점을 추출하여 3차원 얼굴을 생성하는 장치 및 방법이 개시된다.
3차원 얼굴 생성 장치는 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부를 포함할 수 있다.

Description

３차원 얼굴 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3 DIMENSION FACE}
본 발명은 3차원 얼굴을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴이 포함된 영상에서 특징점을 추출하여 3차원 얼굴을 생성하는 장치 및 방법에 관한 것이다.
카메라로부터 취득된 영상을 이용하여 3차원 얼굴을 생성하는 기술이 개발되고 있다.
종래의 3차원 얼굴을 생성하는 기술은 얼굴에 대응하는 모든 3D 포인트(point)로 구성된 포인트 클라우드(point cloud)와 포인트 클라우드에 대응하는 텍스처 정보를 이용하여 3차원 얼굴을 생성하고 있었다. 즉, 3차원 얼굴을 생성하기 위하여 필요한 3D 포인트의 개수가 많으므로 3차원 얼굴을 생성하는 과정에서 시간이 지연되고 있었다.
또한, 하나의 영상은 한 면의 얼굴만을 포함할 수 있으므로, 3차원 얼굴을 생성하기 위해서는 다양한 시점에서 촬영한 복수의 영상이 필요하였다.
따라서, 3차원 얼굴을 빠르게 생성할 수 있으며, 하나의 영상으로 다양한 시점에 대응하는 3차원 얼굴을 생성할 수 있는 방법이 요청되고 있다.
본 발명은 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성하는 장치 및 방법을 제공한다.
또한, 본 발명은 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성하는 장치 및 방법을 제공한다.
그리고, 본 발명은 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형함으로써 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치는 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 특징점 추출부는, 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 3차원 모델 생성부는 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 비용 함수 설정부; 및 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 모델 변형부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 모델 변형부는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 3차원 얼굴 생성부는 상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 실린더 생성부; 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 텍스처 맵 결정부; 및 상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 텍스처 맵 매핑부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치 3차원 얼굴 생성부는 블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 텍스처 보정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 촬영 장치는 사용자의 우측에서 사용자의 우측 얼굴을 표시하는 제1 거울; 사용자의 좌측에서 사용자의 좌측 얼굴을 표시하는 제2 거울; 및 제1 거울이 표시하는 사용자의 우측 얼굴과 제2 거울이 표시하는 사용자의 좌측 얼굴, 및 제1 거울과 제2 거울 사이에 위치한 사용자의 정면 얼굴을 촬영하는 카메라를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 방법은 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 단계; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 단계; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성할 수 있다.
또한, 본 발명의 일실시예에 의하면, 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형함으로써, 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성할 수도 있다.
도 1은 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 촬영 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 촬영 장치가 촬영한 영상의 일례이다.
도 4는 본 발명의 일실시예에 따른 3차원 모델 생성부를 도시한 블록 다이어그램이다.
도 5는 본 발명의 일실시예에 따라 3차원 얼굴 모델을 생성하는 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 3차원 얼굴 생성부를 도시한 블록 다이어그램이다.
도 7은 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 3차원 모델 생성 방법을 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법은 3차원 얼굴 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치(100)를 도시한 블록 다이어그램이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치(100)는 특징점 추출부(110), 3차원 모델 생성부(120), 및 3차원 얼굴 생성부(130)를 포함할 수 있다.
특징점 추출부(110)는 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
이때, 영상은 사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상일 수 있다.
특징점 추출부(110)가 특징점을 추출하는 영상은 이하 도 2와 도 3을 참조하여 상세히 설명한다.
3차원 모델 생성부(120)는 특징점 추출부(110)가 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
이때, 3차원 기본 모델은 3차원 얼굴 형상과 관련된 데이터베이스를 기반으로 추출한 특징 벡터 및 평균 얼굴 외형을 포함할 수 있다. 이때, 데이터베이스는 현실 세계의 3차원 얼굴들에서 추출한 특징점들의 3차원 좌표들을 포함할 수 있다. 또한, 현실 세계의 3차원 얼굴들은 3차원 레이저 스캐너로 획득한 이미지일 수 있다. 그리고, 특징 벡터는 학습 과정을 거쳐 데이터베이스에서 추출한 벡터일 수 있다.
또한, 3차원 모델 생성부(120)는 3차원 기본 모델에 포함된 특징 벡터의 가중치를 조정함으로써, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
3차원 모델 생성부(120)의 구체적인 구성과 동작은 이하 도 4를 참조하여 상세히 설명한다.
3차원 얼굴 생성부(130)는 3차원 모델 생성부(120)가 생성한 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성할 수 있다.
3차원 얼굴 생성부(130)의 구체적인 구성과 동작은 이하 도 6을 참조하여 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 촬영 장치를 나타내는 도면이다.
본 발명의 일실시예에 따른 촬영 장치는 도 2에 도시된 바와 같이 사용자(210)의 우측에 위치한 제1 거울(220), 사용자(210)의 좌측에 위치한 제2 거울(230) 및 사용자(210)를 촬영하는 카메라(200)를 포함할 수 있다.
카메라(200)는 도 2에 도시된 바와 같이 제1 거울(220)와 제2 거울(230) 사이에 위치한 사용자(210)의 얼굴을 촬영할 수 있다.
이때, 제1 거울(220)는 사용자의 우측 얼굴(221)을 표시할 수 있다. 또한, 제1 거울(220)는 카메라(200)를 향하여 일정 각도로 기울어 짐으로써, 카메라(200)가 사용자의 얼굴(210)과 함께 사용자의 우측 얼굴(221)을 촬영하도록 할 수 있다.
또한, 제2 거울(230)는 사용자의 좌측 얼굴(231)을 표시할 수 있다. 이때, 제2 거울(230)는 카메라(200)를 향하여 일정 각도로 기울어 짐으로써, 카메라(200)가 사용자의 얼굴(210)과 함께 사용자의 좌측 얼굴(231)을 촬영하도록 할 수 있다. 또한, 제2 거울(230)는 제1 거울(210)이 표시하는 사용자의 우측 얼굴(221)가 표시되지 않는 기울기로 설치될 수 있다.
즉, 카메라(200)는 제1 거울(220)이 표시하는 사용자의 우측 얼굴(221)과 제2 거울(230)이 표시하는 사용자의 좌측 얼굴(231), 및 제1 거울(220)과 제2 거울(230) 사이에 위치한 사용자(210)의 정면 얼굴을 촬영함으로써, 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상을 촬영할 수 있다.
도 3은 본 발명의 일실시예에 따른 촬영 장치가 촬영한 영상의 일례이다.
본 발명의 일실시예에 따른 촬영 장치의 카메라(200)가 촬영한 영상(300)은 도 3에 도시된 바와 같이 사용자의 정면 얼굴 이미지(310), 우측 얼굴 이미지(321), 및 좌측 얼굴 이미지(331)를 포함할 수 있다.
이때, 우측 얼굴 이미지(321)는 제1 거울(320) 안에 포함된 가상 이미지일 수 있다. 즉, 우측 얼굴 이미지(321)는 제1 거울(320)에 반사된 이미지이므로, 사용자의 우측 얼굴을 나타내는 이미지이면서 사용자의 좌측 얼굴처럼 보일 수 있다.
또한, 좌측 얼굴 이미지(331)는 제2 거울(330) 안에 포함된 가상 이미지일 수 있다. 즉, 좌측 얼굴 이미지(331)는 제2 거울(330)에 반사된 이미지이므로, 사용자의 좌측 얼굴을 나타내는 이미지이면서 사용자의 우측 얼굴처럼 보일 수 있다.
도 4는 본 발명의 일실시예에 따른 3차원 모델 생성부를 도시한 블록 다이어그램이다.
도 4를 참고하면, 본 발명의 일실시예에 따른 3차원 모델 생성부(120)는 비용 함수 설정부(410), 및 모델 변형부(420)를 포함할 수 있다.
비용 함수 설정부(410)는 특징점 추출부(110)가 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정할 수 있다. 이때, 비용 함수 설정부(410)는 3차원 기본 모델을 이미지 플레인(image plane)에 투영하여 3차원 기본 모델의 2차원 좌표를 추출할 수 있다.
또한, 비용 함수 설정부(410)는 제1 거울에 표시되는 우측 얼굴과 제2 거울에 표시되는 좌측 얼굴 및 사용자의 정면 얼굴에 대응하는 3차원 기본 모델을 각각 생성할 수 있다. 다음으로, 비용 함수 설정부(410)는 우측 얼굴에서 추출한 특징점들의 2차원 좌표와 우측 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이, 좌측 얼굴에서 추출한 특징점들의 2차원 좌표와 좌측 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이, 및 정면 얼굴에서 추출한 특징점들의 2차원 좌표와 정면 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 총 비용 함수를 계산할 수 있다.
이때, 비용 함수는 3차원 기본 모델을 특징점들에 대응하도록 변형하기 위하여 필요한 동작들의 개수일 수 있다. 예를 들어, 비용 함수 설정부(410)가 설정한 비용 함수는 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하기 위하여 필요한 모델 파라미터 수정(model parameter adjustment), 3차원 기본 모델의 회전(rotation), 및 3차원 기본 모델의 변형(translation)의 정도, 또는 적용 회수일 수 있다.
모델 변형부(420)는 비용 함수 설정부(410)가 설정한 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
이때, 모델 변형부(420)는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
또한, 모델 변형부(420)는 특징점 추출부(110)가 추출한 특징점들의 2차원 좌표 중 적어도 하나가 3차원 기본 모델의 2차원 좌표와 동일하도록 3차원 기본 모델을 변형할 수 있다. 구체적으로, 모델 변형부(420)는 3차원 기본 모델을 회전하거나, 3차원 기본 모델에 포함된 2차원 좌표들을 변형하여 3차원 기본 모델을 변형할 수 있다.
다음으로 모델 변형부(420)는 변형한 모델의 2차원 좌표와 특징점 추출부(110)가 추출한 특징점들의 2차원 좌표를 비교하고 비교 결과에 따라 3차원 기본 모델의 2차원 좌표를 더 변형할 수 있다.
모델 변형부(420)는 변형한 모델과 2차원 좌표가 동일한 특징점들의 개수가 일정 개수 이상인 경우, 변형한 모델을 사용자에 대응하는 3차원 얼굴 모델로 판단할 수 있다. 또한, 모델 변형부(420)는 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표 간의 차이가 일정 간격 이하인 경우, 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표가 동일한 것으로 판단할 수 있다.
도 5는 본 발명의 일실시예에 따라 3차원 얼굴 모델을 생성하는 과정의 일례이다.
3차원 모델 생성부(120)는 변형 가능한 3차원 기본 모델(510)을 특징점을 추출한 영상(520)에 투영(projection)할 수 있다. 이때, 3차원 모델 생성부(120)는 3차원 기본 모델(510)의 2차원 좌표(522)와 특징점의 2차원 좌표(521)를 비교할 수 있다.
다음으로 3차원 모델 생성부(120)는 3차원 기본 모델(510)의 2차원 좌표(522)와 특징점의 2차원 좌표(521) 간의 비교 결과에 따라 3차원 기본 모델(510)을 변형하여 변형 모델(530)을 생성할 수 있다. 예를 들어, 3차원 모델 생성부(120)는 3차원 기본 모델(510)의 모델 파라미터를 수정하거나, 3차원 기본 모델(510)을 회전 또는 3차원 기본 모델(510)에 포함된 2차원 좌표(522)의 위치를 변형하여 변형 모델(530)을 생성할 수 있다.
그 다음으로 3차원 모델 생성부(120)는 변형 모델(530)을 영상(520)에 투영할 수 있다. 그리고, 3차원 모델 생성부(120)는 변형 모델(530)의 2차원 좌표(542)와 특징점의 2차원 좌표(541)를 비교할 수 있다. 이때, 영상(540)는 영상(520)와 동일하고, 특징점의 2차원 좌표(541)는 특징점의 2차원 좌표(521)와 동일할 수 있다.
이때, 영상(540)에는 도 5에 도시된 바와 같이 +로 표시한 특징점의 2차원 좌표(521)와 동일한 위치에 x로 표시한 변형 모델(530)의 2차원 좌표(542)가 표시되어 *로 표시되는 점(543)이 포함될 수 있다.
다음으로 3차원 모델 생성부(120)는 상기 과정을 반복하여 *로 표시되는 점(543)을 증가 시킴으로써, 특징점들과 2차원 좌표가 동일하며 사용자에 대응하는 3차원 얼굴 모델(550)을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 3차원 얼굴 생성부를 도시한 블록 다이어그램이다.
도 6을 참고하면, 본 발명의 일실시예에 따른 3차원 얼굴 생성부(130)는 실린더 생성부(610), 텍스처 맵 결정부(620), 텍스처 보정부(630) 및 텍스처 맵 매핑부(640)를 포함할 수 있다.
실린더 생성부(610)는 3차원 모델 생성부(120)가 생성한 3차원 얼굴 모델의 외형에 가상의 실린더를 생성할 수 있다.
텍스처 맵 결정부(620)는 실린더 생성부(610)가 생성한 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정할 수 있다.
텍스처 보정부(630)는 블랜딩 알고리즘을 사용하여 텍스처 맵 결정부(620)가 결정한 텍스처 맵 중에서 사용자의 정면 얼굴과 좌측 얼굴 간의 경계, 및 사용자의 정면 얼굴과 우측 얼굴 간의 경계에 위치한 텍스처를 보정할 수 있다.
텍스처 보정부(630)는 경계에 위치한 텍스처를 보정함으로써, 조명과 반사에 의하여 제1 거울에서 반사되어 표시된 우측 얼굴 및, 제2 거울에서 반사되어 표시된 좌측 얼굴과 직접 카메라로 촬영한 정면 얼굴 간에 텍스처 차이를 감소시킬 수 있다.
텍스처 맵 매핑부(630)는 3차원 모델 생성부(120)가 생성한 3차원 얼굴 모델에 텍스처 맵 결정부(620)가 결정한 텍스처 맵을 매핑할 수 있다.
도 7은 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
단계(710)에서 특징점 추출부(110)는 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
이때, 영상은 사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상일 수 있다.
단계(720)에서 3차원 모델 생성부(120)는 단계(710)에서 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
이때, 3차원 모델 생성부(120)는 3차원 기본 모델에 포함된 특징 벡터의 가중치를 조정함으로써, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
단계(730)에서 3차원 얼굴 생성부(130)는 단계(720)에서 생성한 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 3차원 모델 생성 방법을 도시한 플로우차트이다. 이때, 도 8에서 단계(810) 내지 단계(820)는 도 7에 표시된 단계(720)에 포함될 수 있다.
단계(810)에서 비용 함수 설정부(410)는 단계(710)에서 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정할 수 있다. 이때, 비용 함수 설정부(410)는 3차원 기본 모델을 이미지 플레인(image plane)에 투영하여 3차원 기본 모델의 2차원 좌표를 추출할 수 있다.
단계(820)에서 모델 변형부(420)는 단계(810)에서 설정한 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
이때, 모델 변형부(420)는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
또한, 모델 변형부(420)는 특징점 추출부(110)가 추출한 특징점들의 2차원 좌표 중 적어도 하나가 3차원 기본 모델의 2차원 좌표와 동일하도록 3차원 기본 모델을 변형할 수 있다. 구체적으로, 모델 변형부(420)는 3차원 기본 모델을 회전하거나, 3차원 기본 모델에 포함된 2차원 좌표들을 변형하여 3차원 기본 모델을 변형할 수 있다.
다음으로 모델 변형부(420)는 변형한 모델의 2차원 좌표와 특징점 추출부(110)가 추출한 특징점들의 2차원 좌표를 비교하고 비교 결과에 따라 3차원 기본 모델의 2차원 좌표를 더 변형할 수 있다.
모델 변형부(420)는 변형한 모델과 2차원 좌표가 동일한 특징점들의 개수가 일정 개수 이상인 경우, 변형한 모델을 사용자에 대응하는 3차원 얼굴 모델로 판단할 수 있다. 또한, 모델 변형부(420)는 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표 간의 차이가 일정 간격 이하인 경우, 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표가 동일한 것으로 판단할 수 있다.
도 9는 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다. 이때, 도 9에서 단계(910) 내지 단계(940)는 도 7에 표시된 단계(730)에 포함될 수 있다.
단계(910)에서 실린더 생성부(610)는 단계(720)에서 생성한 3차원 얼굴 모델의 외형에 가상의 실린더를 생성할 수 있다.
단계(920)에서 텍스처 맵 결정부(620)는 단계(910)에서 생성한 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정할 수 있다.
단계(930)에서 텍스처 보정부(630)는 블랜딩 알고리즘을 사용하여 단계(920)에서 결정한 텍스처 맵 중에서 사용자의 정면 얼굴과 좌측 얼굴 간의 경계, 및 사용자의 정면 얼굴과 우측 얼굴 간의 경계에 위치한 텍스처를 보정할 수 있다.
단계(940)에서 텍스처 맵 매핑부(630)는 단계(720)에서 생성한 3차원 얼굴 모델에 단계(930)에서 보정한 텍스처 맵을 매핑할 수 있다.
본 발명은 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성할 수 있다.
또한, 본 발명은 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성할 수 있다.
그리고, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성함으로써, 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형하여 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성할 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 3차원 얼굴 생성 장치
110: 특징점 추출부
120: 3차원 모델 생성부
130: 3차원 얼굴 생성부

Claims (15)

  1. 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부;
    추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및
    상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부
    를 포함하는 3차원 얼굴 생성 장치.
  2. 제1항에 있어서,
    상기 특징점 추출부는,
    사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출하는 3차원 얼굴 생성 장치.
  3. 제2항에 있어서,
    상기 영상은,
    사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상인 3차원 얼굴 생성 장치.
  4. 제1항에 있어서,
    상기 3차원 모델 생성부는,
    추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 비용 함수 설정부; 및
    비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 모델 변형부
    를 포함하는 3차원 얼굴 생성 장치.
  5. 제4항에 있어서,
    상기 모델 변형부는,
    비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 3차원 얼굴 생성 장치.
  6. 제1항에 있어서,
    상기 3차원 얼굴 생성부는,
    상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 실린더 생성부;
    가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 텍스처 맵 결정부; 및
    상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 텍스처 맵 매핑부
    를 포함하는 3차원 얼굴 생성 장치.
  7. 제6항에 있어서,
    상기 3차원 얼굴 생성부는,
    블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 텍스처 보정부
    를 더 포함하는 3차원 얼굴 생성 장치.
  8. 사용자의 우측에서 사용자의 우측 얼굴을 표시하는 제1 거울;
    사용자의 좌측에서 사용자의 좌측 얼굴을 표시하는 제2 거울; 및
    제1 거울이 표시하는 사용자의 우측 얼굴과 제2 거울이 표시하는 사용자의 좌측 얼굴, 및 제1 거울과 제2 거울 사이에 위치한 사용자의 정면 얼굴을 촬영하는 카메라
    를 포함하는 촬영 장치.
  9. 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 단계;
    추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 단계; 및
    상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  10. 제9항에 있어서,
    상기 특징점을 추출하는 단계는,
    사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출하는 3차원 얼굴 생성 방법.
  11. 제10항에 있어서,
    상기 영상은,
    사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상인 3차원 얼굴 생성 방법.
  12. 제9항에 있어서,
    상기 3차원 얼굴 모델을 생성하는 단계는,
    추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 단계; 및
    비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  13. 제12항에 있어서,
    상기 3차원 얼굴 모델로 변형하는 단계는,
    비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 3차원 얼굴 생성 방법.
  14. 제9항에 있어서,
    상기 사용자의 3차원 얼굴을 생성하는 단계는,
    상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 단계;
    가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 단계; 및
    상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  15. 제14항에 있어서,
    상기 사용자의 3차원 얼굴을 생성하는 단계는,
    블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 단계
    를 더 포함하는 3차원 얼굴 생성 방법.
KR1020120071261A 2012-06-29 2012-06-29 ３차원 얼굴 생성 장치 및 방법 KR101351745B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120071261A KR101351745B1 (ko) 2012-06-29 2012-06-29 ３차원 얼굴 생성 장치 및 방법
PCT/KR2013/005810 WO2014003507A1 (ko) 2012-06-29 2013-07-01 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071261A KR101351745B1 (ko) 2012-06-29 2012-06-29 ３차원 얼굴 생성 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130117907A Division KR20140004604A (ko) 2013-10-02 2013-10-02 ３차원 얼굴 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140003880A true KR20140003880A (ko) 2014-01-10
KR101351745B1 KR101351745B1 (ko) 2014-01-16

Family

ID=50140157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071261A KR101351745B1 (ko) 2012-06-29 2012-06-29 ３차원 얼굴 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101351745B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103898A (ko) * 2014-03-04 2015-09-14 한국전자통신연구원 3d 개인 피규어 생성 장치 및 그 방법
KR20160029059A (ko) * 2014-05-15 2016-03-14 카오스 소프트웨어 엘티디. 물질들의 cg 표현들 쉐이딩
KR20200037147A (ko) * 2018-09-28 2020-04-08 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815209B1 (ko) * 2001-05-09 2008-03-19 주식회사 씨알이에스 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR100972235B1 (ko) * 2008-01-14 2010-07-23 (주)테크팩솔루션 거울 광학계를 이용한 용기 측면 촬상 장치
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103898A (ko) * 2014-03-04 2015-09-14 한국전자통신연구원 3d 개인 피규어 생성 장치 및 그 방법
US9846804B2 (en) 2014-03-04 2017-12-19 Electronics And Telecommunications Research Institute Apparatus and method for creating three-dimensional personalized figure
KR20160029059A (ko) * 2014-05-15 2016-03-14 카오스 소프트웨어 엘티디. 물질들의 cg 표현들 쉐이딩
KR20200037147A (ko) * 2018-09-28 2020-04-08 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 응시점 판단 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체
US11295474B2 (en) 2018-09-28 2022-04-05 Beijing Sensetime Technology Development Co., Ltd. Gaze point determination method and apparatus, electronic device, and computer storage medium

Also Published As

Publication number Publication date
KR101351745B1 (ko) 2014-01-16

Similar Documents

Publication Publication Date Title
US10269092B2 (en) Image processing device, image processing method, and storage medium
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
US8933928B2 (en) Multiview face content creation
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
EP3276578A1 (en) Method for depicting an object
KR101829733B1 (ko) 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
KR20220053332A (ko) 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램
KR20140004604A (ko) ３차원 얼굴 생성 장치 및 방법
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
KR101351745B1 (ko) ３차원 얼굴 생성 장치 및 방법
KR20110055032A (ko) 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
US11080920B2 (en) Method of displaying an object
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
De Sorbier et al. Augmented reality for 3D TV using depth camera input
JP2021047468A (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee