KR101479838B1 - 3d 얼굴 영상 생성 방법 및 장치 - Google Patents

3d 얼굴 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101479838B1
KR101479838B1 KR20130039009A KR20130039009A KR101479838B1 KR 101479838 B1 KR101479838 B1 KR 101479838B1 KR 20130039009 A KR20130039009 A KR 20130039009A KR 20130039009 A KR20130039009 A KR 20130039009A KR 101479838 B1 KR101479838 B1 KR 101479838B1
Authority
KR
South Korea
Prior art keywords
face
model
information
face model
modified
Prior art date
Application number
KR20130039009A
Other languages
English (en)
Other versions
KR20140122401A (ko
Inventor
노준용
이정진
김영휘
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR20130039009A priority Critical patent/KR101479838B1/ko
Publication of KR20140122401A publication Critical patent/KR20140122401A/ko
Application granted granted Critical
Publication of KR101479838B1 publication Critical patent/KR101479838B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

3D 얼굴 영상 생성 방법 및 장치가 개시되어 있다. 3D(dimension) 얼굴 생성 방법은 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하는 단계와 제2 3D 얼굴 모델의 경계와 2D 얼굴의 경계를 매칭하는 단계를 포함할 수 있다. 2D 얼굴의 특징점은 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점이고, 제2 3D 얼굴 모델은 제1 3D 얼굴 모델을 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 최종 피팅된 모델일 수 있다. 따라서, 2D 얼굴의 디테일한 부분에 대한 깊이 정보를 정확하게 예측하여 시각적인 왜곡이 적은 3D 얼굴을 생성할 수 있다.

Description

3D 얼굴 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GERNERATING 3 DIMENSION FACE IMAGE}
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 3D(dimension) 영상 생성 방법 및 장치에 관한 것이다.
사람의 얼굴은 복잡한 기하학적 형태를 가지고 있다. 사람의 얼굴을 복잡한 기하학적 형태 특성 때문에 2D(dimension) 객체에서 3D 객체로 전환하기 위해 어려운 객체 중 하나이다. 얼굴은 시청자들이 영상에서 주로 집중하는 부위이기 때문에 2D 얼굴 이미지에서 전환된 3D 얼굴 이미지의 아티팩트(artifact)는 시청자들에게 쉽게 인지될 수 있다. 고성능의 2D-3D 전환에서 얼굴의 키가 되는 특징(key feature)들인 눈, 코 및 입은 신중하게 예측되어야 한다.
3D 로토스코핑(rotoscoping)방법에서는 얼굴의 깊이 정보의 예측을 수행하기 위해 3D 얼굴 모델이 사용될 수 있다. 3D 얼굴 모델은 이미지에서 얼굴의 표정과 포즈에 대응하여 형태가 변형되고, 정렬될 수 있다. 하지만, 3D 로토스코핑은 수동적인 개입에 의존하는 영상 전환 방법이기 때문에 많은 영상을 처리하기에는 비효율적일 수 있다. 따라서, 자동화된 프로세스를 기반으로 주어진 임의의 이미지 시퀀스에 존재하는 2D 얼굴 영상을 시청자들이 시각적인 왜곡을 느끼지 않도록 변환할 필요가 있다.
본 발명의 제1 목적은 3D 얼굴 영상을 생성하는 방법을 제공하는 것이다.
본 발명의 제2 목적은 3D 얼굴 영상을 생성하는 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 3D(dimension) 얼굴 생성 방법은 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하는 단계와 상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하는 단계를 포함할 수 있되, 상기 2D 얼굴의 특징점은 상기 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점이고, 상기 제2 3D 얼굴 모델은 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 최종 피팅된 모델일 수 있다.
상기 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하는 단계는 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 모델 변형된 제1 3D 얼굴 모델을 생성하는 모델 변형 단계, 상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하는 왜곡 에러 측정 단계, 상기 왜곡 에러가 임계값 미만인 경우, 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제2 3D 얼굴 모델로 결정하는 단계, 상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 포즈 수정 단계와 상기 모델 변형 단계를 다시 수행하기 위해 상기 포즈 수정 단계를 거친 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제1 3D 얼굴 모델로 입력하는 단계를 포함할 수 있다.
상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하는 왜곡 에러 측정 단계는 상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 회전 왜곡 정보를 산출하는 단계와 상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 비율 왜곡 정보를 산출하는 단계를 포함할 수 있되, 상기 얼굴 벡터는 3D 얼굴 모델에서 특정된 지점을 이어서 생성한 3개의 서로 다른 방향성을 가진 벡터일 수 있다.
상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 포즈 수정 단계는 상기 회전 왜곡 정보 및 상기 비율 왜곡 정보를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델에 수정하는데 적용될 회전값 및 스케일링값을 산출하는 단계와 상기 회전값 및 스케일링값을 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 단계를 포함할 수 있다. 상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하는 단계는 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 산출하는 단계, 상기 산출된 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 기반으로 상기 제2 3D 얼굴 모델의 대응점 정보 및 상기 2D 얼굴의 대응점 정보를 산출하는 단계와 상기 2D 얼굴의 대응점 정보에 따라 상기 제2 3D 얼굴 모델의 대응점 정보를 재배치하는 단계를 포함할 수 있다.
상기 2D 얼굴의 특징점은 상기 2D 얼굴의 눈, 코, 입의 구조적인 특징을 나타내는 점을 포함할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 3D 얼굴 생성 장치에 있어서, 상기 3D 얼굴 장치는 프로세서를 포함하고, 상기 프로세서는 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하고 상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하도록 구현될 수 있되, 상기 2D 얼굴의 특징점은 상기 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점이고, 상기 제2 3D 얼굴 모델은 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 최종 피팅된 모델일 수 있다.
상기 프로세서는 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 모델 변형된 제1 3D 얼굴 모델을 생성하고 상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하고 상기 왜곡 에러가 임계값 미만인 경우, 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제2 3D 얼굴 모델로 결정하고 상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하고 상기 모델 변형 단계를 다시 수행하기 위해 상기 포즈 수정 단계를 거친 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제1 3D 얼굴 모델로 입력하도록 구현될 수 있다.
상기 프로세서는 상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 회전 왜곡 정보를 산출하고 상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 비율 왜곡 정보를 산출하도록 구현될 수 있되, 상기 얼굴 벡터는 3D 얼굴 모델에서 특정된 지점을 이어서 생성한 3개의 서로 다른 방향성을 가진 벡터일 수 있다. 상기 프로세서는 상기 회전 왜곡 정보 및 상기 비율 왜곡 정보를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델에 수정하는데 적용될 회전값 및 스케일링값을 산출하고 상기 회전값 및 스케일링값을 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하도록 구현될 수 있다.
상기 프로세서는 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 산출하고 상기 산출된 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 기반으로 상기 제2 3D 얼굴 모델의 대응점 정보 및 상기 2D 얼굴의 대응점 정보를 산출하고 상기 2D 얼굴의 대응점 정보에 따라 상기 제2 3D 얼굴 모델의 대응점 정보를 재배치하도록 구현될 수 있다.
상기 2D 얼굴의 특징점은 상기 2D 얼굴의 눈, 코, 입의 구조적인 특징을 나타내는 점을 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 3D(dimension) 얼굴 영상 생성 방법 및 장치에 따르면, 2D 얼굴의 디테일한 부분에 대한 깊이 정보를 정확하게 예측하여 시각적인 왜곡이 적은 3D 얼굴을 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 3D 얼굴 생성 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 모델 변형 단계를 수행한 결과를 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 회전 정보를 측정하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 모델 맞춤된 3D 얼굴 모델과 2D 얼굴 사이에서 대응되는 정보를 산출하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 실루엣 매칭을 수행한 결과를 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 3D 얼굴 생성 장치를 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 2D 얼굴을 기반으로 생성한 3D 얼굴을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 2D 얼굴을 기반으로 생성한 3D 얼굴 모델을 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예에 따른 2D-3D 전환 방법에서는 눈구멍, 코 끝, 입 꼬리와 같은 얼굴의 디테일한 부분에서 정확한 매칭을 수행하여 3D 영상으로 전환을 수행할 수 있다. 또한, 얼굴에서 부드럽게 변하는 깊이 정보에 대해 정확한 예측을 수행할 수 있다. 또한, 2D 얼굴의 실루엣과 3D 얼굴 모델의 경계를 일치시킴으로서 전환된 영상에 대한 시각적인 왜곡을 감소시킬 수 있다.
본 발명의 실시예에 따른 3D 얼굴 생성 방법에서는 주어진 2D 이미지 시퀀스와 3D 얼굴 모델 및 특징점 대응 집합을 기반으로 3D 얼굴 모델을 2D 얼굴의 실루엣에 매칭되도록 변형할 수 있다. 2D 영상을 기반으로 3D 영상을 매칭하는 것은 기본적으로 부족한 정보를 추즉하는 기술 중에 하나이다. 3D 얼굴 모델을 생성하기 위한 하나의 기본적인 가정은 사람의 머리가 일반적으로는 너비 및 깊이의 측면에서 유사한 비율을 가지고 있음을 기반으로 한다. 본 발명에서는 일반적인 머리의 비율에 대한 왜곡을 최소화하도록 3D 얼굴 모델에 대한 변형을 수행할 수 있다.
본 발명의 실시예에 따른 3D 얼굴 생성 방법은 크게 모델 맞춤(model fitting) 단계와 실루엣 매칭(silhouette matching) 단계를 포함할 수 있다. 모델 맞춤 단계는 모델 변형(model deformation) 단계, 왜곡 에러 측정(distortion error measurement), 포즈 수정(pose refinement) 단계를 포함할 수 있다. 이하 본 발명의 실시예에서 각 단계에 대해 구체적으로 상술한다.
도 1은 본 발명의 실시예에 따른 3D 얼굴 생성 방법을 나타낸 개념도이다.
도 1을 참조하면, 3D 얼굴 모델, 2D 얼굴과 3D 얼굴 모델 사이의 특징점 대응 정보, 2D 얼굴의 실루엣을 기반으로 3D 얼굴을 생성할 수 있다. 우선 2D 얼굴과 3D 얼굴 모델 사이의 특징점 대응 정보를 기반으로 3D 얼굴 모델을 변형할 수 있다. 특징점은 상기 2D 얼굴의 특징점은 상기 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점으로서 예를 들어, 2D 얼굴의 눈, 코, 입의 구조적인 특징을 나타내는 점일 수 있다.
본 발명의 실시예에 따른 모델 맞춤 단계(S100)에서는 반복적인 단계(모델 변형 단계(S100-1), 왜곡 에러 측정 단계(S100-2), 포즈 수정 단계(S100-3))를 수행할 수 있다. 모델 변형 단계(S100-1)에서는 3D 얼굴 모델이 우선 2D 얼굴과 3D 얼굴 모델 사이의 특징점 대응 정보를 기반으로 변경될 수 있다. 왜곡 에러 측정 단계(S100-2)에서는 모델 변형 단계(S100-1)에서 변형된 모델의 왜곡 에러를 측정할 수 있다. 포즈 수정 단계(S100-3)에서는 왜곡 에러가 최소화되도록 3D 얼굴 모델의 포즈를 수정할 수 있다. 실루엣 매칭 단계(S120)에서는 모델 맞춤된 3D 얼굴 모델에 대하여 2D 얼굴의 실루엣을 반영하여 다시 한번 매칭 절차를 수행할 수 있다. 각 단계의 구체적인 동작은 아래와 같다.
1. 모델 맞춤 단계
모델 맞춤 단계는 3D 얼굴 모델을 2D 얼굴의 특징점을 기반으로 변형할 수 있다. 본 발명의 실시예에 따른 모델 맞춤 절차는 3개의 단계(모델 변형 단계, 왜곡 에러 측정 단계, 포즈 수정 단계)로 구성되고 3개의 단계는 반복적으로 수행될 수 있다. 모델 변형 단계에서는 3D 얼굴 모델의 꼭지점의 위치는 3D 얼굴 모델의 특징점 및 2D 얼굴의 특징점을 기반으로 산포 데이터(scattered data)의 보간 방법을 통해 결정될 수 있다. 왜곡 에러 측정 단계에서는 3D 얼굴 모델의 왜곡 에러를 미리 결정된 얼굴 벡터를 기반으로 산출할 수 있다. 포즈 수정 단계에서는 측정된 왜곡 에러를 최소하기 위한 3D 얼굴 모델의 스케일 정보과 회전 정보를 결정할 수 있다. 스케일링되고 회전된 3D 얼굴 모델을 사용하여 다시 모델 변형 단계를 수행할 수 있다. 모델 맞춤 절차는 측정된 왜곡 에러가 작아질 때까지 반복될 수 있다.
1-(1). 모델 변형 단계
산포 데이터 보간 기술은 특징점의 작은 집합의 움직임에 따라 변형된 메쉬(mesh)의 꼭지점의 누락된 위치를 예측할 수 있다. 즉, 산포 데이터 보간 기술은 특징점을 기반으로 변형된 3D 얼굴 모델의 꼭지점의 위치를 보간하여 결정할 수 있다.
본 발명의 실시예에서는 Radial Basis Function(RBF)를 기반으로 모델 변형을 수행할 수 있다. 아래의 수학식 1은 RBF를 나타낸다.
<수학식 1>
Figure 112013031022927-pat00001
수학식 1에서
Figure 112013031022927-pat00002
는 3D 템플릿 모델의 꼭지점 위치,
Figure 112013031022927-pat00003
는 RBF의 가중치를 나타낸다.
Figure 112013031022927-pat00004
는 3D 템플릿 모델의 특징점을 나타낸다. 3D 템플릿 모델의 특징점은 또한 모델 변형을 수행하기 위한 중심점이 될 수 있다. 꼭지점 및 특징점은 2D 객체, 3D 템플릿 모델의 구조 정보를 포함하는 점일 수 있다. 커널 함수
Figure 112013031022927-pat00005
로
Figure 112013031022927-pat00006
를 사용할 수 있다. 커널 함수
Figure 112013031022927-pat00007
를 통해 모델 변형을 수행시 벤딩 에너지(bending energy)를 최소화할 수 있다. A(x)는 아핀 변환(affine transformation)을 나타낸다.
Figure 112013031022927-pat00008
및 아핀 변환은 아래의 수학식 2를 기반으로 결정될 수 있다. 아래의 수학식 2는 보간 제약 조건으로
Figure 112013031022927-pat00009
를 사용한다.
Figure 112013031022927-pat00010
는 2D 얼굴의 특징점의 위치를 나타낸다.
<수학식 2>
Figure 112013031022927-pat00011
모델 변형 단계에서는 3D 얼굴 모델은 수학식 2를 통해 산출된
Figure 112013031022927-pat00012
와 아핀 변환 계수를 기반으로 변환될 수 있다. 이러한 변환을 통해 3D 템플릿 모델을 2D 평면을 기준으로 2D 객체의 특징점을 기반으로 변형할 수 있다. 반복 모델 맞춤 프로세스를 수행하기 전에 변형된 3D 얼굴 모델의 z 축의 값을 복원할 수 있다.복원된 z 축의 값이 복원된 변형된 3D 얼굴 모델과 원래 3D 얼굴 모델과 비교하여 왜곡 에러를 측정하고 포즈를 수정하는 왜곡 에러 측정 단계 및 포즈 수정 단계에서 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 모델 변형 단계를 수행한 결과를 나타내는 개념도이다.
도 2에서는 1회의 모델 변형 단계를 수행한 결과와 3회의 모델 변형을 수행한 결과를 나타낸다.
도 2의 (A)는 3D 얼굴 모델이 모델 변형된 결과를 나타낸다. 도 2의 (B)는 2D 얼굴로서 녹색점은 2D 얼굴의 특징점을 나타낸다. 모델 변형 단계에서는 2D 얼굴의 특징점을 기반으로 3D 얼굴 모델을 변형시킬 수 있다. 모델 맞춤 단계에서는 후술할 왜곡 에러 측정 단계 및 포즈 수정 단계를 통해 모델 변형 단계를 수행하는 3D 얼굴 모델을 수정하고 수정된 3D 얼굴 모델을 다시 모델 맞춤 단계에서 사용할 수 있다. 즉, 이러한 반복적인 단계를 통해서 도 2의 (A)와 같이 여러 번의 반복 절차가 수행될수록 2D 얼굴에 더욱 잘 모델 맞춤이 될 수 있다.
도 2의 (C)는 모델 변형된 3D 얼굴 모델을 전방 시점, 상단 시점, 측면 시점을 기준으로 본 것이다. 도 2의 (C)의 상단은 왜곡 에러 측정 단계를 아직 수행하지 않은 것으로 사람의 머리에 대한 비례가 맞지 않는다. 왜곡 에러 측정 단계 및 포즈 수정에서는 도 2의 (C)의 상단과 같은 모델 변형된 3D 얼굴 모델을 수정할 수 있다. 왜곡 에러 측정 단계 및 포즈 수정 단계에서는 사람의 일반적인 얼굴 형태 정보를 포함하는 얼굴 벡터(face vector)를 기반으로 얼굴의 왜곡이 없도록 모델 변형된 3D 얼굴 모델을 수정할 수 있다. 왜곡 에러 측정 단계 및 포즈 수정 단계를 수행하는 경우, 모델 변형된 3D 얼굴 모델은 도 2의 (C)의 하단과 같이 왜곡이 적은 3D 얼굴 모델로 결정될 수 있다.
1-(2). 왜곡 에러 측정 단계
도 2의 (C)는 변형된 모델이 왜곡된 것을 보여준다. 모델 변형을 1회 수행한 경우, 2D 얼굴에 대응되는 모델 변형된 3D 얼굴 모델은 왜곡된 모델이다. 왜곡은 2D 얼굴에 대해 정확하지 않은 깊이 예측을 발생시킨다. 본 발명의 실시예에서는 변형된 3D 얼굴 모델의 왜곡의 양을 측정하기 위한 에러 함수를 사용할 수 있다. 만약 측정된 에러가 특정한 임계값보다 큰 경우, 모델 변형된 3D 얼굴 모델의 포즈를 포즈 수정 단계에서 다시 수정할 수 있다. 측정된 에러가 특정한 임계값보다 큰 경우는 모델 맞춤 단계의 반복적인 절차를 중지하고 최종 모델 변형된 3D 얼굴 모델을 기반으로 실루엣 매칭 단계를 수행할 수 있다.
본 발명의 실시예에서는 3D 얼굴 모델의 왜곡을 산출하기 위해 얼굴 벡터를 사용할 수 있다. 얼굴 벡터는 3차원 공간에서 3개의 축 방향의 벡터이다. 녹색 벡터() 및 파랑색 벡터()는 3D 얼굴 모델에서 양극단을 비스듬하게 연결한 벡터로 정의될 수 있다. 본 발명의 실시예에 따른 왜곡 에러 함수는 원래 3D 얼굴 모델과 모델 변형된 3D 얼굴 모델 사이의 회전 에러(rotation error)와 스케일 비율 에러(scale proportion error)로 구성될 수 있다. 즉 본 발명의 실시예에 따른 왜곡 에러 함수는 회전 왜곡 정보 및 비율 왜곡 정보를 포함할 수 있다.
수학식 3은 왜곡 에러 함수를 나타낸다.
<수학식 3>
Figure 112013031022927-pat00013
Figure 112013031022927-pat00014
는 (현재 반복 절차에서)모델 변형 단계를 거치기 전에 3D 얼굴 모델의 얼굴 벡터를 나타내고,
Figure 112013031022927-pat00015
는 모델 변형된 3D 얼굴 모델의 얼굴 벡터를 나타낸다.
Figure 112013031022927-pat00016
Figure 112013031022927-pat00017
는 얼굴 벡터의 두 개의 집합 사이에서 회전의 차이이다. 유사하게
Figure 112013031022927-pat00018
는 얼굴 벡터의 두 개의 집합 사이에서 스케일 비율의 차이이다.
아래의 수학식 4는 회전 에러 함수를 나타낸다. 회전 에러는 정규화된 얼굴 벡터의 두 개의 집합 사이에서 도트 곱(dot product)에 의해 측정된다.
<수학식 4>
Figure 112013031022927-pat00019
Figure 112013031022927-pat00020
와
Figure 112013031022927-pat00021
에 포함된 얼굴 벡터의 길이 정보를 기반으로 비율 에러(proportion error)를 산출할 수 있다. 아래의 수학식 5를 기반으로 원래 3D 얼굴 모델과 모델 변형된 3D 얼굴 모델 사이에서 유사도를 측정할 수 있다.
<수학식 5>
Figure 112013031022927-pat00022
1-(3). 포즈 수정
포즈 수정 단계에서는 왜곡 에러를 최소화하기 위해 원래 3D 얼굴 모델의 회전 및 스케일 비율을 수정할 수 있다. 아래의 수학식 6을 사용하여 회전 정보 및 스케일링 정보인 6개의 파라메터
Figure 112013031022927-pat00023
Figure 112013031022927-pat00024
Figure 112013031022927-pat00025
를 예측할 수 있다.
<수학식 6>
Figure 112013031022927-pat00026
수학식 6은 비-선형 최적화 문제로서 이를 직접적으로 풀 수도 있으나, 또 다른 방법으로 단순한 벡터 연산을 활용하여
Figure 112013031022927-pat00027
와
Figure 112013031022927-pat00028
의 해답을 근사화하여 간단하게 산출할 수 있다. 즉, 회전 왜곡 정보 및 상기 비율 왜곡 정보를 기반으로 모델 변형된 3D 얼굴 모델에 수정하는데 적용될 회전값 및 스케일링값을 결정할 수 있다.
도 3은 본 발명의 실시예에 따른 회전 정보를 측정하는 방법을 나타낸 개념도이다.
도 3을 참조하면,
Figure 112013031022927-pat00029
는 XY-플레인 상에서 투사한 이후로,
Figure 112013031022927-pat00030
와
Figure 112013031022927-pat00031
사이의 각을 기반으로 산출될 수 있다. 유사하게 본 발명의 실시예에 따르면, YZ-플레인과 XZ-플레인에 대한 두 개의 벡터를 투사한 이후,
Figure 112013031022927-pat00032
로부터
Figure 112013031022927-pat00033
와
Figure 112013031022927-pat00034
를 각각 예측할 수 있다.
스케일링 요소인
Figure 112013031022927-pat00035
Figure 112013031022927-pat00036
는 아래의 수학식 7에 정의되어 있다. 2D 얼굴은 깊이 정보를 포함하지 않기 때문에
Figure 112013031022927-pat00037
는 선형적으로 보간될 수 있다.
<수학식 7>
Figure 112013031022927-pat00038
획득된
Figure 112013031022927-pat00039
와
Figure 112013031022927-pat00040
를 사용하여, 수학식 8을 기반으로 원래 3D 얼굴 모델을 변형할 수 있다. 수학식 8을 기반으로 변형된 3D 얼굴 모델은 다음에 모델 변형 단계를 수행하기 위한 3D 얼굴 모델로 사용될 수 있다.
<수학식 8>
Figure 112013031022927-pat00041
수학식 8에서
Figure 112013031022927-pat00042
는 3D 얼굴 모델의 왜곡된 변형을 방지하기 위해 사용하는 변수이다. 전술한 바와 같이 본 발명의 실시예는 많은 사람이 유사한 머리 비율을 가지고 있다고 가정할 수 있다. 모델 변형 단계에서 X 축과 Y 축에 대해서 3D 모델을 변형을 수행하기 때문에 도 2의 (C)와 같은 이상한 머리 비율이 생성될 수 있다. 본 발명의 실시예에서는 에러가 발생한 방향에서 무조건적으로 왜곡 에러를 최소화하는 것을 피하기 위해
Figure 112013031022927-pat00043
에 대한 페널티를 부과할 수 있다.
본 발명의 실시예에서는 머리의 비율이 가우시안 분포를 따른다고 가정할 수 있다.
Figure 112013031022927-pat00044
와
Figure 112013031022927-pat00045
가 각각 2/3과 0.15인 가우시안 함수를 페널티 함수로서 사용할 수 있다.
즉, 모델 맞춤 단계에서는 제1 3D 얼굴 모델을 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 모델 변형된 제1 3D 얼굴 모델을 생성하는 모델 변형 단계, 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하는 왜곡 에러 측정 단계, 왜곡 에러가 임계값 미만인 경우, 모델 변형된 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 결정하는 단계, 왜곡 에러가 임계값 이상인 경우, 왜곡 에러를 기반으로 모델 변형된 제1 3D 얼굴 모델을 수정하는 포즈 수정 단계를 포함할 수 있다.
상기 포즈 수정 단계를 거친 모델 변형된 제1 3D 얼굴 모델은 다시 모델 변형 단계를 수행하기 위한 제1 얼굴 모델로 사용될 수 있다. 제1 3D 얼굴 모델은 초기값은 모델 변형이 수행되지 않은 3D 템플릿 모델일 수 있고, 그 이후는 모델 변형 및 수정 단계를 거친 3D 템플릿 모델일 수 있다.
2. 실루엣 매칭 단계
2D 얼굴에서 3D 얼굴로 전환을 수행하는 스테레오 전환의 성능은 만약 얼굴의 경계가 정확하게 정의되지 않은 경우 좋지 않은 성능을 가질 수 있다. 실루엣 매칭 단계에서는 모델 맞춤 단계를 통해 산출된 모델 맞춤된 3D 얼굴 모델과 2D 얼굴의 실루엣이 맞도록 매칭을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 모델 맞춤된 3D 얼굴 모델과 2D 얼굴 사이에서 대응되는 정보를 산출하는 방법을 나타낸 개념도이다.
도 4를 참조하면, 모델 맞춤된 3D 얼굴 모델의 경계선(400)과 2D 얼굴의 경계선(420)을 나타낸다. 모델 맞춤된 3D 얼굴 모델의 경계선(400)과 2D 얼굴의 경계선(402)은 서로 대응되는 대응점을 기반으로 3D 얼굴 모델의 경계선(400)과 2D 얼굴의 경계선(420) 사이의 차이를 산출할 수 있다. 실루엣 매칭 단계에서는 경계선 사이의 대응점 집합을 통해 두 개의 경계선이 작은 차이를 가지도록 할 수 있다.
우선 모델 맞춤된 3D 얼굴 모델과 2D 얼굴 사이에서 대응되는 정보를 산출할 수 있다. 3D 얼굴 모델과 2D 얼굴 사이에서 대응되는 정보는 3D 얼굴 모델의 Z-버퍼를 이용하여 결정될 수 있다. Z-버퍼의 경계선은 우선 소벨 연산자(sobel operator)를 기반으로 산출될 수 있다. Z-버퍼의 경계와 2D 얼굴 실루엣의 경계로부터 가장 가까운 점을 선택함으로서 대응점 집합을 생성할 수 있다. 3D 얼굴 모델의 꼭지점과 3D 얼굴 모델의 꼭지점에 대응하여 획득된 2D 얼굴의 대응점을 비교하여 3D 얼굴 모델의 경계 꼭지점을 결정하고, 경계 꼭지점에 대해 대응되는 2D 얼굴의 실루엣의 점이 결정될 수 있다.
2D 얼굴의 실루엣에서 3D 얼굴 모델의 경계 꼭지점에 대응되는 점을 기반으로 모델 맞춤된 3D 얼굴 모델의 경계점을 재배치할 수 있다. 모델 맞춤된 3D 얼굴 모델의 경계점에 대한 재배치를 수행하는 동안에 모델 맞춤된 3D 얼굴 모델의 기하학적인 디테일을 보전하고 얼굴 모델의 나머지를 부드럽게 보간하기 위해서 라플라시안 연산자를 적용할 수 있다. 아래의 수학식 9는 라플라시안 연산자를 기반으로 모델 맞춤된 3D 얼굴 모델의 경계점을 재배치하는 방법을 나타낸다.
<수학식 9>
Figure 112013031022927-pat00046
수학식 9에서 L은 3D 얼굴 모델의 원래 라플라시안 좌표이다.
Figure 112013031022927-pat00047
는 실루엣 매칭 단계를 수행한 후 생성된 3D 객체의 꼭지점이다.
Figure 112013031022927-pat00048
는 3D 얼굴 모델의 경계점 집합이고
Figure 112013031022927-pat00049
는 2D 얼굴의 실루엣의 경계점 집합이다.
Figure 112013031022927-pat00050
는 모델 맞춤 단계에서 사용되는 특징점의 집합이다.
Figure 112013031022927-pat00051
는 현재 위치
Figure 112013031022927-pat00052
를 유지하도록 제한될 수 있다.
Figure 112013031022927-pat00053
는 가중치 값으로서 정확한 실루엣 매칭을 수행하고 특징점을 정확하게 반영하도록 하기 위한 값일 수 있다.
Figure 112013031022927-pat00054
는 예를 들어, 1000으로 설정될 수 있다.
Figure 112013031022927-pat00055
및
Figure 112013031022927-pat00056
는
Figure 112013031022927-pat00057
의 부분 집합으로서 실루엣 매칭 단계를 수행한 후 결정된 실루엣 집합 및 특징점 집합일 수 있다.
수학식 9의 선형 최소 자승 시스템을 기반으로 특징점을 반영하고, 2D 얼굴의 실루엣을 반영하여 최종 3D 모델을 생성할 수 있다.
도 5는 본 발명의 실시예에 따른 실루엣 매칭을 수행한 결과를 나타낸 개념도이다.
도 5의 (A)는 모델 맞춤 단계를 통해 생성된 3D 얼굴 모델과 2D 얼굴의 실루엣이다. 모델 맞춤 단계를 통해 생성된 3D 얼굴 모델과 2D 얼굴의 실루엣이 서로 매칭되지 않아서 2D 얼굴에 대한 정확한 깊이 정보를 생성할 수 없음을 알 수 있다.
도 5의 (B)는 모델 맞춤 단계를 통해 생성된 3D 얼굴 모델을 2D 얼굴의 실루엣을 기반으로 실루엣 매칭을 수행한 결과를 나타낸다. 실루엣 매칭 단계를 거치는 경우 2D 얼굴의 실루엣에 맞도록 3D 얼굴 모델을 변형함으로서 2D 얼굴에 대한 정확한 깊이 정보를 산출할 수 있다.
도 6은 본 발명의 실시예에 따른 3D 얼굴 생성 장치를 나타낸 개념도이다.
도 6을 참조하면, 3D 얼굴 생성 장치는 전술한 본 발명의 실시예를 수행하기 위해 구현될 수 있다. 3D 얼굴 생성 장치는 일 예로 아래와 같이 구성될 수 있다. 이하, 본 발명의 실시예에서는 3D 얼굴 생성 장치의 구성부의 동작에 대해 간략하게 개시한다.
3D 얼굴 생성 장치는 모델 맞춤부(600) 및 실루엣 매칭부(620)를 포함할 수 있다. 모델 맞춤부(600-1) 및 실루엣 매칭부(620)는 프로세서를 통해 해당 구성부의 동작이 구현될 수도 있다. 모델 맞춤부(600)는 추가적으로 모델 변형부(600-1), 왜곡 에러 측정부(600-2), 포즈 수정부(600-3)를 포함할 수 있다.
모델 맞춤부(600)는 3D 얼굴 모델을 2D 얼굴을 기반으로 변형할 수 있다. 모델 변형부(600-1)에서는 2D 얼굴의 특징점을 기반으로 3D 얼굴 모델을 변형할 수 있다. 왜곡 에러 측정부(600-2)는 모델 변형부(600-1)에서 변형한 3D 얼굴 모델의 에러를 측정할 수 있고 포즈 수정부(600-3)에서는 왜곡 에러 측정부(600-2)에 의해 산출된 왜곡 에러를 기반으로 모델 변형된 3D 얼굴 모델을 수정할 수 있다. 포즈 수정부(600-3)에서 수정된 3D 얼굴 모델은 다시 모델 변형 단계에서 사용되어 2D 얼굴을 기반으로 모델 변형 동작을 수행할 수 있다. 모델 맞춤부(600)에서는 모델 변형부(600-1), 왜곡 에러 측정부(600-2), 포즈 수정부(600-3)를 통해 반복적인 모델 맞춤 동작이 수행될 수 있다. 왜곡 에러 측정부(600-2)에서 측정한 왜곡 에러가 작아지는 경우, 모델 맞춤부(600)의 동작은 중지되고 생성된 3D 얼굴 모델은 실루엣 매칭부(620)로 전송되어 2D 얼굴과 실루엣 매칭을 수행할 수 있다.
실루엣 매칭부(620)는 모델 맞춤된 3D 얼굴 모델과 2D 얼굴에 대한 실루엣 매칭을 수행할 수 있다. 실루엣 매칭부(620)에서는 모델 맞춤된 3D 얼굴 모델의 경계와 2D 얼굴의 경계에서 대응점 집합을 산출하고 3D 얼굴 모델의 경계가 2D 얼굴의 경계에 매칭되도록 3D 얼굴의 경계를 변경할 수 있다.
위와 같은 구성은 설명의 편의상 기능상 각 구성부를 분리하여 표현한 것으로 하나의 구성부로 표현된 경우도 복수의 구성부로 나뉠 수 있고 복수의 구성부도 하나의 구성부로 합쳐질 수 있다.
도 7은 본 발명의 실시예에 따른 2D 얼굴을 기반으로 생성한 3D 얼굴을 나타낸 개념도이다.
도 7의 (A)는 다양한 포즈의 최종 3D 얼굴을 나타낸다. 녹색 점은 2D-3D 전환에 사용되었던 2D 얼굴의 특징점을 나타내고 붉은선은 2D 얼굴의 실루엣을 나타낸다. 본 발명의 실시예에서는 도 7의 (A)와 같이 다양한 포즈의 2D 얼굴에 대해서도 정확한 예측을 수행하여 3D 얼굴을 생성할 수 있다.
도 7의 (B)는 다른 시점에서의 예측된 3D 얼굴 모델을 나타낸다.
도 7의 (C)는 3D 얼굴을 생성하기 위해 사용되는 최종 3D 얼굴 모델을 나타낸 개념도이다.
도 7의 (D)는 모델 맞춤을 반복적으로 수행한 횟수에 따라 감소되는 왜곡 에러를 나타낸다. 예를 들어, 최소 에러의 임계값을 0.001로 설정하고, 최대 반복 횟수를 10회로 설정하여 전술한 모델 맞춤 단계의 반복 절차를 수행할 수 있다. 이러한 경우, 5회 이하의 작은 반복 횟수에서 최소 에러 임계값을 만족하는 결과가 산출되는 것을 볼 수 있다.
도 8은 본 발명의 실시예에 따른 2D 얼굴을 기반으로 생성한 3D 얼굴 모델을 나타낸 개념도이다.
도 8을 참조하면, 3D 얼굴 모델은 왼쪽 시점의 2D 얼굴로부터 획득될 수 있다. 얼굴의 반쪽이 보이지 않기 때문에 왼쪽 시점의 특징점의 개수는 불충분하다. 하지만, 이러한 경우에도 본 발명의 실시예에 따른 3D 얼굴 모델 생성 방법을 사용하는 경우 예측된 3D 얼굴 모델은 시각적인 왜곡을 느끼지 못하도록 자연스럽게 생성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 3D(dimension) 얼굴 생성 방법에 있어서,
    2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하는 단계; 및
    상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하는 단계를 포함하되,
    상기 2D 얼굴의 특징점은 상기 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점이고,
    상기 제2 3D 얼굴 모델은 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 최종 피팅된 모델이고,
    상기 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하는 단계는,
    상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 모델 변형된 제1 3D 얼굴 모델을 생성하는 모델 변형 단계;
    상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하는 왜곡 에러 측정 단계;
    상기 왜곡 에러가 임계값 미만인 경우, 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제2 3D 얼굴 모델로 결정하는 단계;
    상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 포즈 수정 단계; 및
    상기 모델 변형 단계를 다시 수행하기 위해 상기 포즈 수정 단계를 거친 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제1 3D 얼굴 모델로 입력하는 단계를 포함하고,
    상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하는 왜곡 에러 측정 단계는,
    상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 회전 왜곡 정보를 산출하는 단계; 및
    상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 비율 왜곡 정보를 산출하는 단계를 포함하되,
    상기 얼굴 벡터는 3D 얼굴 모델에서 특정된 지점을 이어서 생성한 3개의 서로 다른 방향성을 가진 벡터인, 3D 얼굴 생성 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 포즈 수정 단계는,
    상기 회전 왜곡 정보 및 상기 비율 왜곡 정보를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델에 수정하는데 적용될 회전값 및 스케일링값을 산출하는 단계; 및
    상기 회전값 및 스케일링값을 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하는 단계를 포함하는 3D 얼굴 생성 방법.
  5. 제1항에 있어서, 상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하는 단계는,
    상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 산출하는 단계;
    상기 산출된 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 기반으로 상기 제2 3D 얼굴 모델의 대응점 정보 및 상기 2D 얼굴의 대응점 정보를 산출하는 단계; 및
    상기 2D 얼굴의 대응점 정보에 따라 상기 제2 3D 얼굴 모델의 대응점 정보를 재배치하는 단계를 포함하는 3D 얼굴 생성 방법.
  6. 제1항에 있어서, 상기 2D 얼굴의 특징점은,
    상기 2D 얼굴의 눈, 코, 입의 구조적인 특징을 나타내는 점을 포함하는 3D 얼굴 생성 방법.
  7. 프로세서를 포함하는 3D 얼굴 생성 장치에 있어서,
    상기 프로세서는 2D 얼굴의 특징점을 기반으로 제1 3D 얼굴 모델을 제2 3D 얼굴 모델로 생성하고 상기 제2 3D 얼굴 모델의 경계와 상기 2D 얼굴의 경계를 매칭하도록 구현되되,
    상기 2D 얼굴의 특징점은 상기 2D 얼굴의 구조적인 특성에 대한 정보를 포함하는 점이고,
    상기 제2 3D 얼굴 모델은 상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 최종 피팅된 모델이고,
    상기 프로세서는,
    상기 제1 3D 얼굴 모델을 상기 2D 얼굴의 구조적인 특성에 대한 정보를 반영하여 모델 변형된 제1 3D 얼굴 모델을 생성하고 상기 모델 변형된 제1 3D 얼굴 모델의 왜곡 에러를 측정하고 상기 왜곡 에러가 임계값 미만인 경우, 상기 모델 변형된 제1 3D 얼굴 모델을 상기 제2 3D 얼굴 모델로 결정하고 상기 왜곡 에러가 임계값 이상인 경우, 상기 왜곡 에러를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하고 모델 변형된 제1 3D 얼굴 모델을 다시 생성하기 위하여 상기 수정된 모델 변형된 제1 3D 얼굴 모델을 상기 제1 3D 얼굴 모델로 입력하도록 구현되고,
    상기 프로세서는,
    상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 회전 왜곡 정보를 산출하고 상기 제1 3D 얼굴 모델의 얼굴 벡터와 상기 모델 변형된 제1 3D 얼굴 모델의 얼굴 벡터를 기반으로 비율 왜곡 정보를 산출하도록 구현되되,
    상기 얼굴 벡터는 3D 얼굴 모델에서 특정된 지점을 이어서 생성한 3개의 서로 다른 방향성을 가진 벡터인, 3D 얼굴 생성 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서, 상기 프로세서는,
    상기 회전 왜곡 정보 및 상기 비율 왜곡 정보를 기반으로 상기 모델 변형된 제1 3D 얼굴 모델에 수정하는데 적용될 회전값 및 스케일링값을 산출하고 상기 회전값 및 스케일링값을 기반으로 상기 모델 변형된 제1 3D 얼굴 모델을 수정하도록 구현되는 3D 얼굴 생성 장치.
  11. 제7항에 있어서, 상기 프로세서는,
    상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 산출하고 상기 산출된 상기 제2 3D 얼굴 모델의 경계 및 상기 2D 얼굴의 경계를 기반으로 상기 제2 3D 얼굴 모델의 대응점 정보 및 상기 2D 얼굴의 대응점 정보를 산출하고 상기 2D 얼굴의 대응점 정보에 따라 상기 제2 3D 얼굴 모델의 대응점 정보를 재배치하도록 구현되는 3D 얼굴 생성 장치.
  12. 제7항에 있어서, 상기 2D 얼굴의 특징점은,
    상기 2D 얼굴의 눈, 코, 입의 구조적인 특징을 나타내는 점을 포함하는 3D 얼굴 생성 장치.
  13. 제 1 항, 제 4 항 내지 제 6 항 중 어느 한 항의 3D 얼굴 생성 방법을 구현하기 위한 프로그램 명령어를 기록한 컴퓨터 판독가능 기록 매체.
KR20130039009A 2013-04-10 2013-04-10 3d 얼굴 영상 생성 방법 및 장치 KR101479838B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130039009A KR101479838B1 (ko) 2013-04-10 2013-04-10 3d 얼굴 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130039009A KR101479838B1 (ko) 2013-04-10 2013-04-10 3d 얼굴 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140122401A KR20140122401A (ko) 2014-10-20
KR101479838B1 true KR101479838B1 (ko) 2015-01-09

Family

ID=51993486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130039009A KR101479838B1 (ko) 2013-04-10 2013-04-10 3d 얼굴 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101479838B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388773B1 (ko) * 2015-07-07 2022-04-19 주식회사 케이티 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
US11049310B2 (en) * 2019-01-18 2021-06-29 Snap Inc. Photorealistic real-time portrait animation
KR102181161B1 (ko) * 2019-03-28 2020-11-20 한국과학기술원 영상 처리 방법 및 장치
CN113808272B (zh) * 2021-08-25 2024-04-12 西北工业大学 三维虚拟人头脸建模中的纹理映射方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20120121031A (ko) * 2011-04-26 2012-11-05 (주)클로버추얼패션 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20120121031A (ko) * 2011-04-26 2012-11-05 (주)클로버추얼패션 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D 변형 가능 형상 모델 기반 3D 얼굴 모델링, 한국콘텐츠학회논문지 제8권 제1호 (2008) *

Also Published As

Publication number Publication date
KR20140122401A (ko) 2014-10-20

Similar Documents

Publication Publication Date Title
US10013801B2 (en) Texturing a 3D modeled object
EP2874118B1 (en) Computing camera parameters
EP3188033B1 (en) Reconstructing a 3d modeled object
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
KR100721536B1 (ko) 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법
Louhichi et al. CAD/CAE integration: updating the CAD model after a FEM analysis
US20120306874A1 (en) Method and system for single view image 3 d face synthesis
US9224245B2 (en) Mesh animation
US9881417B2 (en) Multi-view drawing apparatus of three-dimensional objects, and method
CN105900144A (zh) 实时面部动画的在线建模
US20160148411A1 (en) Method of making a personalized animatable mesh
KR101479838B1 (ko) 3d 얼굴 영상 생성 방법 및 장치
KR20130003170A (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
KR20170064369A (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
JP5893166B2 (ja) ３ｄモデル・モーフィングのための方法および装置
CN115346000A (zh) 三维人体重建方法、装置、计算机可读介质及电子设备
JP5770295B2 (ja) モーションブラー及び被写界深度のためのバックフェースカリング
KR102333768B1 (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
CN114387392B (zh) 一种根据人影重建三维人体姿态的方法
Muraki et al. Curve Mesh Modeling Method of Trimmed Surfaces for Direct Modeling
KR101533494B1 (ko) 템플릿 모델 기반의 3d 영상 생성 방법 및 장치
JP5567525B2 (ja) 動画像処理方法、動画像処理装置及び動画像処理プログラム
WO2021171118A1 (en) Face mesh deformation with detailed wrinkles
Ilic et al. Using dirichlet free form deformation to fit deformable models to noisy 3-D data
Muraki et al. Data Compression Method for Trimmed Surfaces Based on Surface Fitting with Maintaining G1 Continuity with Adjacent Surfaces

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130410

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140429

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141125

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141230

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141230

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171124

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee