KR100327541B1 - 3차원 얼굴 모델링 시스템 및 모델링 방법 - Google Patents

3차원 얼굴 모델링 시스템 및 모델링 방법 Download PDF

Info

Publication number
KR100327541B1
KR100327541B1 KR1020000046448A KR20000046448A KR100327541B1 KR 100327541 B1 KR100327541 B1 KR 100327541B1 KR 1020000046448 A KR1020000046448 A KR 1020000046448A KR 20000046448 A KR20000046448 A KR 20000046448A KR 100327541 B1 KR100327541 B1 KR 100327541B1
Authority
KR
South Korea
Prior art keywords
face
standard model
texture
model
color
Prior art date
Application number
KR1020000046448A
Other languages
English (en)
Other versions
KR20000063919A (ko
Inventor
이두원
강도임
송석민
Original Assignee
김재성, 이두원
(주)엔큐빅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김재성, 이두원, (주)엔큐빅 filed Critical 김재성, 이두원
Priority to KR1020000046448A priority Critical patent/KR100327541B1/ko
Publication of KR20000063919A publication Critical patent/KR20000063919A/ko
Priority to AU2001244763A priority patent/AU2001244763A1/en
Priority to PCT/KR2001/000440 priority patent/WO2002013144A1/en
Priority to JP2002518427A priority patent/JP2004506276A/ja
Application granted granted Critical
Publication of KR100327541B1 publication Critical patent/KR100327541B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Abstract

한 장의 얼굴 정면 이미지를 사용자가 디스플레이되는 화면상에서 얼굴의 정면, 측면, 후면을 수정하여 정확한 3차원의 입체 영상으로 재생할 수 있는 3차원 얼굴 형상을 제작한다.
3차원 얼굴 모델링 시스템의 운영 방법은, 폴리건 메쉬(polygon mesh) 형태로 표현되는 가상 3차원 얼굴의 표준 모델과 모델링 대상의 대상 모델 정면 이미지를 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공한다. 오버레이되는 표준 모델과 대상 모델 정면 이미지가 일치하도록 표준 모델을 변형한다. 변형된 표준 모델을 기반으로 대상 모델의 정면 이미지를 수정한 형태인 얼굴의 정면 텍스쳐를 생성한다. 생성된 얼굴의 정면 텍스쳐에서 얼굴색 및 머리카락과 동일한 화소를 추출하여 추출된 화소를 얼굴의 측면 및 후면 텍스쳐에 부여하고, 머리 모양을 편집한다. 얼굴의 정면, 측면 및 후면 텍스쳐를 변형된 표준 모델에 텍스쳐 맵핑하여 3차원의 얼굴 형상을 복원하다.

Description

3차원 얼굴 모델링 시스템 및 모델링 방법{3D facial modeling system and modeling method}
본 발명은 한 장의 얼굴 정면 이미지를 이용하여 얼굴 전체를 입체 형상으로 제작하는 3차원 얼굴 모델링에 관한 것으로, 상세하게는 사용자가 디스플레이되는 화면상에서 얼굴의 정면, 측면, 후면을 수정하여 정확한 3차원의 입체 영상으로 재생할 수 있는 3차원 얼굴 모델링에 관한 것이다.
인체를 3차원으로 모델링하기 위해서 가장 중요한 부분은 얼굴이다. 얼굴은 사람의 정체성을 나타내는데 가장 큰 비중을 차지할 뿐만 아니라 작은 면적 안에 많은 중요한 구성요소들을 포함하고 있다. 이러한 구성요소들의 작은 변화는 전체 얼굴을 달라 보이게 하는 주요한 원인이 된다.
또한 3차원의 얼굴에 3차원의 신체와 같은 부가요소를 더하고 애니메이션 효과를 주면 가상현실세계(VR)에서 실제 자신의 정체성을 갖는 아바타(avatar)의 등장을 가능하게 한다. 다시 말해서, 진정한 자신의 아바타로서 가상현실 사회를 이루기 위해서는 자신의 3차원 얼굴 모델링이 먼저 구현되어야 하는 것이다.
일반적으로 3차원으로 얼굴을 모델링하는 방법으로는 3차원 스캐닝 장비를 이용하여 얼굴을 3차원으로 모델링하는 방법과 스테레오 비전(stereo vision) 등을이용하여 다른 각도에서 찍은 사진에서 공통된 영역에 대응하는 2차원 정보를 조합하여 3차원으로 모델링하는 방법을 사용하였다.
스캐닝 장비를 이용하여 얼굴을 3차원으로 모델링하는 방법은 기하학적 모델뿐만 아니라 얼굴색 등의 텍스쳐 정보까지 완벽하게 복원할 수 있으나, 고가의 장비를 사용하기 때문에 일반인에게 상용화가 어려운 단점이 있었다.
또한 스테레오 비전 등의 2차원 정보를 3차원으로 복원하는 방법은 제공되는 사진의 공통된 부분이 존재하도록 다양한 각도에서 찍은 사진을 제공해야 하는 단점이 있다.
따라서, 위와 같은 단점을 제거한 것으로, 본 발명의 목적은 정면에서 찍은 하나의 얼굴 사진만으로 사진의 얼굴을 3차원으로 모델링하는 시스템을 제공하는 것이다.
본 발명의 다른 목적은 정면에서 찍은 하나의 얼굴 사진만으로 사진의 얼굴을 3차원으로 모델링하는 방법을 제공하는 것이다.
도 1은 본 발명에 따른 3차원 얼굴 모델링 시스템의 대략적인 블록도이다.
도 2는 본 발명에 따른 3차원 얼굴로 모델링 하기 위한 순서도이다.
도 3은 본 발명에 따라 제공된 가상 3차원의 표준 모델을 화면에 도시한 일실시예이다.
도 4는 본 발명에 따라 제공된 대상 모델 정면 이미지가 표준 모델에 오버레이된 일실시예이다.
도 5는 본 발명에 따라 표준 모델의 특징점을 조정하여 대상 모델 정면 이미지에 일치시키는 일실시예이다.
도 6은 본 발명에 따라 얼굴 정면 텍스쳐의 얼굴색과 머리카락색을 재구성한 일실시예이다.
도 7은 본 발명에 따라 얼굴 후면 텍스쳐를 편집하는 일실시예이다.
<도면의 주요부분의 부호의 설명>
1 : 대상 모델의 정면 이미지 2 : 머리둘레 조성선
4 : 가로 조정선 6 : 세로 조성선
8 : 특징점 10 : 폴리건 메쉬12 : 머리모양 조정점
상기 목적을 달성하기 위한 본 발명의 3차원 얼굴 모델링 시스템의 운영 방법은, 얼굴 전체가 삼각형의 그물 형상인 폴리건 메쉬(polygon mesh) 형태이며, 얼굴 전체의 크기와 눈, 코 및 입의 위치가 조절가능한 3차원 가상 표준 모델을 제공하는 단계와, 이용자로부터 입력받은 모델링 대상의 얼굴 정면 이미지를 표준 모델이 디스플레이되는 화면상에 오버레이시키는 단계와, 표준 모델에 대상 모델의 정면 이미지를 오버레이시킨 후, 표준 모델의 얼굴 전체 크기와 눈, 코 및 입의 위치를 대상 모델의 정면 이미지에 일치되도록 표준 모델을 변형시키는 단계와, 변형된 표준 모델을 기반으로 대상 모델의 정면 이미지에서 정면과 측면의 경계선보다 조금 안쪽에서부터 대상 모델의 정면 이미지의 얼굴색 및 머리카락색과 동일한 화소를 추출하여 얼굴 정면 텍스쳐를 생성하는 단계와, 정면 텍스쳐의 머리카락을 연장하여 표준 모델의 측면 및 후면 머리카락의 모양을 생성하고, 생성된 얼굴 정면 텍스쳐의 얼굴색 및 머리카락색과 동일한 얼굴색 및 머리카락색을 얼굴의 측면 및 후면 텍스쳐의 색상으로 부여하는 단계 및, 생성된 얼굴의 정면, 측면 및 후면 텍스쳐를 텍스쳐 맵핑하여 3차원의 얼굴 형상으로 복원하는 단계를 포함한다.
바람직하게, 표준 모델의 변형 단계는 표준 모델의 윤곽이 대상 모델 정면 이미지와 일치하도록 표준 모델의 머리둘레 조정선, 가로 및 세로 조정선을 조절하고, 버텍스 전체의 위치를 선형적으로 보정하는 단계와, 글로벌 변형된 표준 모델과 대상 모델 정면 이미지의 특정부위가 일치하도록 표준 모델의 특징점 및 비특징점을 변형하고, 특정부위를 세부적으로 수정하는 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 본 발명에 따른 3차원 얼굴 모델링 시스템의 대략적인 블록도이고, 도 2는 본 발명에 따른 3차원 얼굴로 모델링 하기 위한 순서도이고, 도 3은 본 발명에 따라 제공된 가상 3차원의 표준 모델을 화면에 도시한 일실시예이고, 도 4는본 발명에 따라 제공된 대상 모델 정면 이미지가 표준 모델에 오버레이된 일실시예이고, 도 5는 본 발명에 따라 표준 모델의 특징점을 조정하여 대상 모델 정면 이미지에 일치시키는 일실시예이고, 도 6은 본 발명에 따라 얼굴 정면 텍스쳐를 생성한 일실시예이며, 도 7은 본 발명에 따라 얼굴 후면 텍스쳐를 편집하는 일실시예이다.
본 실시예를 나타낸 도 3 내지 도 7은 화면상에서 디스플레이되는 것으로 화면은 좌측 및 우측의 상·하단으로 나누어지는 4개의 작은 화면으로 이루어지고, 화면의 좌측 상단은 표준 모델을 정면에서 변형하며, 화면의 우측 상단은 표준 모델을 측면에서 변형하고, 화면의 좌측 하단은 얼굴의 측면 및 후면 텍스쳐에 대한 편집을 수행하고, 우측 하단은 3차원으로 복원된 3차원 얼굴 형상을 입체적으로 회전하여 비교할 수 있는 화면이 제공된다.
또한 본 발명에서 사용된 용어로서 폴리건 메쉬는 얼굴 전체에 대하여 500~1,000여 개의 점들로 이어진 삼각형들의 그물 형태로서 각 얼굴전체의 크기 및 형상을 의미하고, 버텍스(vertex)는 폴리건 메쉬를 이루는 삼각형의 형상에서 각각의 꼭지점에 해당되는 점을 나타낸다.
본 발명의 3차원 얼굴 모델링 시스템은 얼굴 전체가 삼각형의 그물 형상인 폴리건 메쉬 형태이며, 얼굴 전체의 크기와 눈, 코 및 입의 위치가 조절가능한 3차원 가상 표준 모델을 제공하는 가상 3차원 표준 모델 제공모듈(102)과, 이용자로부터 입력받은 모델링 대상의 얼굴 정면 이미지를 제공받는 대상 모델 정면 이미지 제공모듈(104)과, 표준 모델에 대상 모델의 정면 이미지를 오버레이시킨 후, 표준 모델의 얼굴 전체 크기와 눈, 코 및 입의 위치를 대상 모델의 정면 이미지에 일치되도록 변형시키는 표준 모델 변형 모듈(106)과, 정면 이미지와 일치되도록 변형된 표준 모델의 정면 이미지를 대상 모델의 정면 이미지에서 추출한 얼굴색과 머리카락색과 동일한 색상으로 얼굴 정면 텍스쳐를 생성하는 얼굴 정면 텍스쳐 생성 모듈(112)과, 정면 텍스쳐의 머리카락을 연장하여 표준 모델의 측면 및 후면 머리카락의 모양을 생성하고, 정면 텍스쳐의 얼굴색 및 머리카락색과 동일한 얼굴색과 머리카락색을 부여하여 얼굴의 측면 및 후면 텍스쳐를 제작하는 얼굴 측면 및 후면 텍스쳐 편집 모듈(114,116), 및 제작된 얼굴의 정면, 측면 및 후면 텍스쳐를 3차원으로 표현되도록 변형된 표준 모델에 각각 텍스쳐 맵핑하는 텍스쳐 맵핑 모듈(118)을 포함한다.
바람직하게 가상 3차원 표준 모델 제공 모듈(102)에서는, 도 3에서 도시한 바와 같이, 일반적인 형태의 얼굴을 기초하여 3차원으로 제작된 가상의 표준 모델을 제공한다. 표준 모델은 얼굴 전체가 3각형의 폴리건 메쉬(10; polygon mesh)의 결합으로 기하학적인 입체적 영상으로서 제공된다. 또한 화면상으로 제공되는 표준 모델은 대상 모델의 정면 이미지(1)와 일치시키기 위해 얼굴 전체의 가로·세로의 비율을 맞추기 위한 머리둘레 조정선(2)과, 얼굴의 눈, 코 및 입 등의 특정부위를 맞추기 위한 가로 조정선(4)과 세로 조정선(6) 및, 턱, 이마, 등의 조정하기 위한 특징점(8)들을 포함한다.
대상 모델 정면 이미지 제공 모듈(104)에서는 도 4에서, 도시한 바와 같이, 3차원으로 제작하기 위한 대상 모델의 얼굴 정면 사진을 스캐닝한 대상 모델의 정면 이미지(1)를 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공한다. 따라서, 표준 모델의 각종 조정선(2,4,6,8)과 실제 대상 모델의 정면 이미지(1)의 전체적인 크기 및 주요부위의 위치 차이를 쉽게 알 수 있다.
표준 모델의 변형 모듈(106)은 크게 글로벌 변형 모듈(108) 및 로컬 변형 모듈(110)을 포함하며, 표준 모델과 대상 모델의 정면 이미지(1)가 일치되도록 표준 모델을 변형한다.
이때, 글로벌 변형 모듈(108)에서는, 도 5에 도시한 바와 같이, 화면상에서 오버레이된 대상 모델의 정면 이미지(1)와 표준 모델을 비교하여 표준 모델이 정면이미지(1)에 일치하도록 표준 모델의 머리둘레 조정선(2), 가로 조정선(4) 및 세로 조정선(6) 등을 조정한다.
또한 로컬 변형 모듈(110)에서는 글로벌 변형 모듈(108)에 의해 대상 모델의 정면 이미지(1)와 표준 모델의 외형을 전반적으로 일치시킨 후에, 표준 모델의 눈썹, 눈, 코, 입 및 귀 등 얼굴의 특정부위에 미리 특정되어 있는 특징점(8)들을 대상 모델의 정면 이미지(1)에 일치하도록 조정한다. 또한 이러한 특징점(8)들은 특징점(8)들의 변화에 연동되며, 얼굴 전체의 굴곡을 표현하는 비특징점의 변화를 수반한다.
얼굴 정면 텍스쳐 생성 모듈(112)에서는 표준 모델과 대상 모델의 정면 이미지(1)를 일치시킨 후에, 도 6에서 도시한 바와 같이, 글로벌 변형 모듈(108)에서의 조정된 머리둘레 조정선의 위치를 기반으로 대상 모델 정면 이미지의 정면과 측면의 경계선보다 조금 안쪽에서부터 대상 모델 정면 이미지의 얼굴색 및 머리카락색과 동일한 여러 개의 화소를 추출하고, 대상 모델 정면 이미지를 수정한 형태인 얼굴 정면 텍스쳐를 생성한다.
또한 얼굴의 측면 및 후면 텍스쳐 편집 모듈(114,116)은, 생성된 얼굴 정면 텍스쳐를 이용하여 얼굴 측면 및 후면 텍스쳐를 생성하고 편집한다. 초기 생성시, 얼굴 측면 및 후면 텍스쳐의 크기는 얼굴 정면 텍스쳐의 크기와 동일하게 하며, 구성은 얼굴 정면 텍스쳐에서 눈 위치의 수정선을 기준으로 수정된 오른쪽 사각 영역이 얼굴 후면 텍스쳐의 왼쪽으로 들어가고, 왼쪽 사각 영역이 얼굴 후면 텍스쳐의 오른쪽으로 들어간다. 또한 가운데 부분은 양쪽을 선형적으로 보정하여 채운다. 얼굴의 측면 및 후면 텍스쳐 생성 후 이에 대한 편집은, 도 7에서 도시한 바와 같이, 머리모양 조정점(12)을 이용하여 수정한다.
텍스쳐 맵핑 모듈(118)에서는 생성된 얼굴의 정면, 측면 및 후면 텍스쳐를 변형된 표준 모델에 텍스쳐 맵핑한다. 얼굴 정면 텍스쳐는 얼굴 정면으로 약 120°정도를 텍스쳐 맵핑하는데 텍스쳐 좌표는 형상의 정면에 해당하는 각 버텍스를 x,y평면에 투영하여 구한다. 측면 및 후면 텍스쳐의 경우 얼굴 정면 텍스쳐에 의해 맵핑되지 않은 영역에 대해 텍스쳐 맵핑을 하는데 얼굴 정면 텍스쳐와 달리 원통형 맵핑(cylindric mapping)에 의해 텍스쳐 좌표를 구한다. 원통형 맵핑은 기하학적 형상을 머리 위에서 봤을 때, 그 중심을 축으로 해서 측면에서 후면까지 측면 및 후면 텍스쳐를 원통형으로 세우고 이를 텍스쳐 맵핑하는 것이다.
이하, 도 2에 도시한 바와 같이, 본 발명에 따른 3차원 얼굴 모델링의 처리 과정에 따라 상세히 설명한다.
먼저 3차원 가상 표준 모델을 화면상에 디스플레이되도록 제공한다(단계 S202). 표준 모델은, 도 3에서 도시한 바와 같이, 정면 및 측면으로 각각 화면상에서 디스플레이되며, 제공되는 표준 모델은 얼굴 전체가 3각형의 폴리건 메쉬(10)로 표현되며, 얼굴전체의 기하학적 형상을 구현한다. 또한 표준 모델은 얼굴의 가로·세로의 비율을 맞추기 위한 머리둘레 조정선(2), 눈, 코, 입의 위치를 맞추기 위한 가로 조정선(4), 두 눈 및 코의 위치를 맞추기 위한 세로 조정선(6) 및 얼굴의 특정부위에 대해 그 위치를 개략적으로 나타내는 특징점(8)을 포함한다.
표준 모델이 제공된 후에 대상 모델의 얼굴 정면 사진을 스캐닝하여 저장된 칼라 및 흑백의 각종 정면 이미지(1)가 도 4와 같이 표준 모델이 디스플레이되는 화면상에 오버레이 되도록 제공한다(단계 S204). 따라서, 제공되는 정면 얼굴 사진은 폴리건 메쉬(10)로 구성된 표준 모델과 비교되도록 겹쳐진다.
대상 모델의 정면 이미지(1)와 표준 모델이 화면상에서 디스플레이되면, 사용자는 표준 모델을 글로벌 변형시킨다(단계 S206). 글로벌 변형은 정면 이미지(1)와 표준 모델을 비교하여 표준모델의 머리둘레 조정선(2), 가로 조정선(4), 세로 조정선(6)을 각각 대응되는 정면 이미지(1)에 일치되는 비율로 조정한다. 정면 이미지(1)에 대하여 머리둘레 조정선(2)은 얼굴의 가로, 세로 비율을 맞추고, 가로의 세 선 중, 위 가로 조정선은 눈 위치에, 중간의 가로 조정선은 코 끝에, 아래의 가로 조정선은 입 위치에 일치하게 조정하여 전체 버텍스(vertex)를 그룹화한다. 세로의 세 선은 두 눈 위치와 코 위치에 일치하도록 조정한다. 또한 변형된 조정선의 위치에 따라 변화량에 맞추어 표준 모델의 버텍스 전체의 위치를 선형적으로 보정한다.
글로벌 변형으로 표준 모델의 얼굴 전체 비율을 조정한 후에 로컬 변형으로 특정 부위를 세부적으로 수정한다(단계 S208). 로컬 변형은 표준 모델의 각 부위에 미리 특정되어 있는 특징점(8)들을 정면 이미지(1)에 일치시키는 것이다. 특징점(8)들은 얼굴 윤곽, 눈썹, 눈, 코, 입 및 귀 등 얼굴의 특정부위에 대해 그 크기와 위치를 개략적으로 나타낼 수 있는 것으로서 특징점(8)들의 변화에 따라 주위에 영향을 받는 비특징점들과 연동되도록 인덱스 된다. 이때, 특징점(8)들의 변형에서 정면의 특징점(8)들은 x,y,z좌표 중에서 x,y에 대한 것이고, 측면의 경우에는 z좌표에 대한 이동에 관련된다.
글로벌 변형과 로컬 변형에서, 사용자는 대칭모드(symmetry mode) 및 비대칭모드를 선택적으로 사용할 수 있다. 대칭모드는 사람의 얼굴이 좌·우 대칭인 점을 이용한 것으로 좌·우의 어느 하나의 조정선이나 특징점을 움직이면 대응되는 타측의 조정선이나 특징점(8)도 자동으로 대응되도록 움직인다. 이와는 별도로 비대칭모드를 사용하여 각각의 조정선(2,6)이나 특징점(8)을 조절할 수 있다.
이와 같은 글로벌 변형 및 로컬 변형에 의해 변형된 표준모델을 기반으로 대상 모델 얼굴 이미지를 수정한 형태인 얼굴 정면 텍스쳐를 생성한다. 도 6에서 도시한 바와 같이, 대상 모델의 정면 이미지(1)에서 글로벌 변형의 조정선의 위치를 이용하여 이미지 프로세싱 작업으로 정면과 측면의 경계선보다 조금 안쪽에서부터 얼굴색 및 머리카락색으로 외부 영역을 수정하여 얼굴 정면 텍스쳐를 완성한다.
얼굴 정면 텍스쳐를 생성한 후에 얼굴의 측면 및 후면 텍스쳐를 생성하고 편집한다(단계 S212). 먼저, 측면 및 후면 텍스쳐의 색상은 얼굴 정면 텍스쳐에서 눈 위치의 수정선을 기준으로 수정된 오른쪽 사각 영역의 화소가 측면 및 후면 텍스쳐의 왼쪽으로 들어가고, 왼쪽 사각 영역의 화소가 오른쪽으로 들어간다. 또한 가운데 부분은 양쪽을 선형적으로 보정하여 채운다. 그리고, 텍스쳐 맵핑시 정면 텍스쳐와 측면 및 후면 텍스쳐의 연결 부분에서 머리카락의 부자유스러운 영역은 사용자가 해당 부분의 측면 및 후면 텍스쳐를 확인하면서 편집한다.
또한 얼굴의 측면 및 후면 텍스쳐의 머리 모양은, 도 7과 같이, 머리모양 조정점(12)으로 수정한다. 머리모양 조정점(12)은 얼굴의 측면 및 후면의 머리모양을 결정한 후 조정점(12)들을 찍어 형태를 만들면 그 점들이 이루는 선을 중심으로 선의 상부는 머리카락색으로, 하부는 어굴색으로 채워지도록 이미지 프로세싱한다. 여기에서 사용자는 글로벌 변형 및 로컬 변형과 동일하게 대칭모드를 사용하여 일측의 측면 및 후면 텍스쳐의 변화가 타측에 동일하게 적용되게 할 수 있다.
얼굴의 정면, 측면 및 후면 텍스쳐가 완성되면 3차원 얼굴의 기하학적 형상에서 얼굴 정면으로 약 120°정도를 얼굴의 정면 텍스쳐로 텍스쳐 맵핑한다(단계 S214). 텍스쳐 좌표는 기하학적 형상의 정면에 해당하는 각 버텍스를 x,y평면에 투영하여 구한다. 얼굴 측면 및 후면 텍스쳐의 경우 얼굴 정면 텍스쳐에 의해 맵핑되지 않은 영역에 대해 텍스쳐 맵핑을 하는데 얼굴 정면 텍스쳐와 달리 원통형 맵핑(cylindric mapping)에 의해 텍스쳐 좌표를 구한다. 얼굴 전체 텍스쳐의 기하학적 형상을 머리 위에서 봤을 때, 그 중심을 축으로 해서 측면에서 후면까지 얼굴 후면 텍스쳐를 원통형으로 세우고 이를 텍스쳐 맵핑한다.
이상, 본 발명의 바람직한 실시예로서 얼굴의 3차원 모델링 시스템에 대하여 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이 용이하게 변경할 수 있는 정도의 구성은 첨부된 청구범위에 기재된 기술적 사상에 포함된다고 할 수 있다.
본 발명의 구성에서 살펴본 바와 같이 본 발명은 하나의 정면 얼굴 사진만으로 얼굴 전체를 3차원으로 쉽게 구현할 수 있다.
또한 본 발명은 전체적인 얼굴의 형상과 함께 얼굴색 및 머리카락색을 구현할 수 있음으로 완벽한 3차원 입체 영상을 제공할 수 있다.
또한 본 발명은 하나의 정면 얼굴 사진으로 3차원의 입체 영상을 구현할 수 있기 때문에 자신의 아바타를 구현하여 가상현실세계에서 적용할 수 있다.

Claims (11)

  1. 얼굴 전체가 삼각형의 그물 형상인 폴리건 메쉬 형태이며, 상기 얼굴 전체의 크기와 눈, 코 및 입의 위치가 조절가능한 3차원 가상 표준 모델을 제공하는 가상 3차원 표준 모델 제공모듈;
    이용자로부터 입력받은 모델링 대상의 얼굴 정면 이미지를 제공받는 대상 모델 정면 이미지 제공모듈;
    상기 표준 모델에 상기 대상 모델의 정면 이미지를 오버레이시킨 후, 상기 표준 모델의 얼굴 전체 크기와 눈, 코 및 입의 위치를 상기 대상 모델의 정면 이미지에 일치되도록 변형시키는 표준 모델 변형 모듈;
    상기 정면 이미지와 일치되도록 변형된 표준 모델의 정면 이미지를 상기 대상 모델의 정면 이미지에서 추출한 얼굴색과 머리카락색과 동일한 색상으로 얼굴 정면 텍스쳐를 생성하는 얼굴 정면 텍스쳐 생성 모듈;
    상기 정면 텍스쳐의 머리카락을 연장하여 표준 모델의 측면 및 후면 머리카락의 모양을 생성하고, 상기 정면 텍스쳐의 얼굴색 및 머리카락색과 동일한 얼굴색과 머리카락색을 부여하여 얼굴의 측면 및 후면 텍스쳐를 제작하는 얼굴 측면 및 후면 텍스쳐 편집 모듈; 및
    상기 제작된 얼굴의 정면, 측면 및 후면 텍스쳐를 3차원으로 표현되도록 상기 변형된 표준 모델에 각각 텍스쳐 맵핑하는 텍스쳐 맵핑 모듈을 포함하는 것을 특징으로 하는 3차원 얼굴 모델링 시스템.
  2. 제 1 항에 있어서, 상기 얼굴의 측면 및 후면 텍스쳐 편집 모듈은,
    상기 표준 모델의 좌·우측 중에서 어느 한 쪽의 머리 모양을 변형하면 그에대응되는 타측의 머리 모양이 자동으로 변화되는 대칭모드(symmetry mode)를 수행하는 것을 특징으로 하는 3차원 얼굴 모델링 시스템.
  3. 제 1 항에 있어서, 상기 가상 3차원 표준 모델은,
    상기 대상 모델의 정면 이미지와 비교하여 얼굴 전체의 가로 및 세로 비율을 일치시키기 위한 머리둘레 조정선;
    상기 대상 모델의 정면 이미지와 비교하여 눈, 코 및 입의 가로 위치를 일치시키기 위한 가로 조정선;
    상기 대상 모델의 정면 이미지와 비교하여 두 눈 및 코의 세로 위치를 일치시키기 위한 세로 조정선; 및
    상기 대상 모델의 정면 이미지와 비교하여 상기 표준 모델의 특정부위를 일치시키기 위한 특징점을 포함하는 것을 특징으로 하는 3차원 얼굴 모델링 시스템.
  4. 제 1 항에 있어서, 상기 표준 모델 변형 모듈은,
    상기 표준 모델의 머리둘레 조정선, 가로 조정선 및 세로 조정선을 상기 대상 모델의 정면 이미지에 각각 대응시켜 상기 표준 모델의 얼굴 전체 크기와 눈, 코 및 입의 윤곽을 일치시키는 글로벌 변형 모듈 및
    상기 변형된 표준 모델의 특징부위를 상기 대상 모델의 정면 이미지에 대응시켜 상기 표준 모델의 특정부위를 일치시키는 로컬 변형 모듈로 이루어진 것을 특징으로 하는 3차원 얼굴 모델링 시스템.
  5. 제 4 항에 있어서, 상기 글로벌 변형 모듈 및 로컬 변형 모듈은,
    상기 표준 모델의 좌·우 조정선이나 특징점 중에서 어느 하나의 조정선이나 특징점을 움직이면 대응되는 타측의 조정선이나 특징점이 자동으로 같은 변화량만큼 변화되는 대칭모드(symmetry mode)를 수행하는 것을 특징으로 하는 3차원 얼굴 모델링 시스템.
  6. 얼굴 전체가 삼각형의 그물 형상인 폴리건 메쉬 형태이며, 얼굴 전체의 크기와 눈, 코 및 입의 위치가 조절가능한 3차원 가상 표준 모델을 제공하는 단계;
    이용자로부터 입력받은 모델링 대상의 얼굴 정면 이미지를 상기 표준 모델이 디스플레이되는 화면상에 오버레이시키는 단계;
    상기 표준 모델에 상기 대상 모델의 정면 이미지를 오버레이시킨 후, 상기 표준 모델의 얼굴 전체 크기와 눈, 코 및 입의 위치를 상기 대상 모델의 정면 이미지에 일치되도록 상기 표준 모델을 변형시키는 단계;
    상기 변형된 표준 모델을 기반으로 대상 모델의 정면 이미지에서 정면과 측면의 경계선보다 조금 안쪽에서부터 상기 대상 모델의 정면 이미지의 얼굴색 및 머리카락색과 동일한 화소를 추출하여 얼굴 정면 텍스쳐를 생성하는 단계;
    상기 정면 텍스쳐의 머리카락을 연장하여 표준 모델의 측면 및 후면 머리카락의 모양을 생성하고, 상기 생성된 얼굴 정면 텍스쳐의 얼굴색 및 머리카락색과 동일한 얼굴색 및 머리카락색을 얼굴의 측면 및 후면 텍스쳐의 색상으로 부여하는 단계; 및
    상기 생성된 얼굴의 정면, 측면 및 후면 텍스쳐를 텍스쳐 맵핑하여 3차원의 얼굴 형상으로 복원하는 단계로 이루어진 것을 특징으로 하는 3차원 얼굴 모델링 방법.
  7. 제 6 항에 있어서, 상기 표준 모델의 변형 단계는,
    상기 표준 모델의 윤곽이 상기 대상 모델의 정면 이미지와 일치되도록 상기 표준 모델의 머리둘레 조정선, 가로 조정선 및 세로 조정선을 조절하고, 버텍스 전체의 위치를 선형적으로 보정하는 단계 및,
    상기 조절 및 보정된 표준 모델과 상기 대상 모델의 정면 이미지의 특정부위가 일치되도록 상기 표준 모델의 특징점 및 비특징점을 변형하고, 상기 특정부위를 세부적으로 수정하는 단계를 포함하는 것을 특징으로 하는 3차원 얼굴 모델링 방법.
  8. 제 6 항에 있어서, 상기 얼굴 정면 텍스쳐의 생성 단계에서, 추출된 얼굴색의 화소는 입 위치를 중심으로 방사선 방향으로, 상기 머리카락색의 화소는 이마를 중심으로 방사선 방향으로 이미지 프로세싱하는 것을 특징으로 하는 3차원 얼굴 모델링 방법.
  9. 제 6 항에 있어서, 상기 얼굴의 후면 텍스쳐에 얼굴색 및 머리카락색을 부여하는 것은,
    상기 얼굴 정면 텍스쳐에서 눈 위치의 수정선을 기준으로 수정된 오른쪽 사각 영역이 얼굴 후면 텍스쳐의 왼쪽으로 들어가고, 왼쪽 사각 영역이 얼굴 후면 텍스쳐의 오른쪽으로 들어가며, 가운데 부분은 양쪽을 선형적으로 보정한 것을 특징으로 하는 3차원 얼굴 모델링 방법.
  10. 제 6 항에 있어서, 상기 텍스쳐 맵핑은,
    상기 얼굴 정면 텍스쳐의 경우에는 얼굴 정면의 약 120°정도를 텍스쳐 맵핑하고, 상기 얼굴 측면 및 후면 텍스쳐의 경우에는 원통형 맵핑하는 것을 특징으로 하는 3차원 얼굴 모델링 방법.
  11. 제 6 항에 있어서, 상기 얼굴의 측면 및 후면의 머리카락 모양의 수정은,
    상기 얼굴의 측면 및 후면의 머리모양에 따라 머리모양 조정점들을 찍은 후에, 상기 머리모양 조정점들이 이루는 선을 중심으로 상기 선의 상부에는 머리카락색을 부여하고, 상기 선의 하부에는 얼굴색을 부여한 것을 특징으로 하는 3차원 얼굴 모델링 방법.
KR1020000046448A 2000-08-10 2000-08-10 3차원 얼굴 모델링 시스템 및 모델링 방법 KR100327541B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020000046448A KR100327541B1 (ko) 2000-08-10 2000-08-10 3차원 얼굴 모델링 시스템 및 모델링 방법
AU2001244763A AU2001244763A1 (en) 2000-08-10 2001-03-20 3d facial modeling system and modeling method
PCT/KR2001/000440 WO2002013144A1 (en) 2000-08-10 2001-03-20 3d facial modeling system and modeling method
JP2002518427A JP2004506276A (ja) 2000-08-10 2001-03-20 3次元顔モデリングシステム及びモデリング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000046448A KR100327541B1 (ko) 2000-08-10 2000-08-10 3차원 얼굴 모델링 시스템 및 모델링 방법

Publications (2)

Publication Number Publication Date
KR20000063919A KR20000063919A (ko) 2000-11-06
KR100327541B1 true KR100327541B1 (ko) 2002-03-08

Family

ID=19682716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000046448A KR100327541B1 (ko) 2000-08-10 2000-08-10 3차원 얼굴 모델링 시스템 및 모델링 방법

Country Status (4)

Country Link
JP (1) JP2004506276A (ko)
KR (1) KR100327541B1 (ko)
AU (1) AU2001244763A1 (ko)
WO (1) WO2002013144A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101216614B1 (ko) * 2010-09-14 2012-12-31 현대엠엔소프트 주식회사 내비게이션 장치 및 이의 지형 표시 방법
KR20180065860A (ko) 2016-12-07 2018-06-18 한국전자통신연구원 3d 얼굴 모델 생성 장치 및 방법
KR102104889B1 (ko) * 2019-09-30 2020-04-27 이명학 가상 입체면 모델에 기초한 3차원 모델 데이터 생성 구현 방법 및 시스템

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422471B1 (ko) * 2001-02-08 2004-03-11 비쥬텍쓰리디(주) 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법
KR100422470B1 (ko) * 2001-02-15 2004-03-11 비쥬텍쓰리디(주) 3차원 동화상 모델 얼굴 대체 방법 및 장치
KR20030082160A (ko) * 2002-04-17 2003-10-22 백수곤 실시간 스프라이트 생성방법
FR2838846A1 (fr) * 2002-04-22 2003-10-24 Delphine Software Internat Procede de generation en temps reel d'images tridimensionnelles dans un jeu video interactif et jeu video mettant en oeuvre de ce procede
EP1754198A1 (en) * 2004-05-26 2007-02-21 Gameware Europe Limited Animation systems
CN100430963C (zh) * 2005-09-29 2008-11-05 中国科学院自动化研究所 基于正交图像的快速个性化人脸建模方法
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
GB2480173A (en) * 2007-02-05 2011-11-09 Amegoworld Ltd A data structure for representing an animated model of a head/face wherein hair overlies a flat peripheral region of a partial 3D map
GB0702150D0 (en) * 2007-02-05 2007-03-14 Amegoworld Ltd A Communication Network and Devices
US20100271368A1 (en) * 2007-05-31 2010-10-28 Depth Analysis Pty Ltd Systems and methods for applying a 3d scan of a physical target object to a virtual environment
GB2450757A (en) * 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
KR100965622B1 (ko) * 2008-10-31 2010-06-23 김영자 감성형 캐릭터 및 애니메이션 생성 방법 및 장치
JP5842541B2 (ja) * 2011-11-01 2016-01-13 大日本印刷株式会社 三次元ポートレートの作成装置
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
KR101829334B1 (ko) 2016-05-31 2018-02-19 주식회사 코어라인소프트 3차원 볼륨 상에서 3차원 메쉬 편집이 가능한 사용자 인터페이스를 제공하는 의료 영상을 디스플레이하는 시스템 및 방법
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
KR102024598B1 (ko) * 2017-11-03 2019-09-24 울산대학교 산학협력단 보형물 제작용의 3d 모델 생성 방법 및 그 장치
CN110223374A (zh) * 2019-05-05 2019-09-10 太平洋未来科技(深圳)有限公司 一种预置标准人脸及头部3d模型方法
CN111179210B (zh) * 2019-12-27 2023-10-20 浙江工业大学之江学院 一种人脸的纹理贴图生成方法、系统及电子设备
CN112669447B (zh) * 2020-12-30 2023-06-30 网易(杭州)网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN117058329B (zh) * 2023-10-11 2023-12-26 湖南马栏山视频先进技术研究院有限公司 一种人脸快速三维建模方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000051217A (ko) * 1999-01-19 2000-08-16 윤덕용 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법
KR100281965B1 (ko) * 1998-04-24 2001-02-15 전주범 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3740865B2 (ja) * 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点3次元データの合成方法および記録媒体
JP2000149060A (ja) * 1998-11-05 2000-05-30 Ricoh Co Ltd ポリゴンメッシュの作成方法と作成装置並びにポリゴンメッシュの形状特徴提示方法と形状特徴提示装置及びポリゴンメッシュの作成プログラムと形状特徴提示プログラムを格納した記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281965B1 (ko) * 1998-04-24 2001-02-15 전주범 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법
KR20000051217A (ko) * 1999-01-19 2000-08-16 윤덕용 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101216614B1 (ko) * 2010-09-14 2012-12-31 현대엠엔소프트 주식회사 내비게이션 장치 및 이의 지형 표시 방법
KR20180065860A (ko) 2016-12-07 2018-06-18 한국전자통신연구원 3d 얼굴 모델 생성 장치 및 방법
KR102104889B1 (ko) * 2019-09-30 2020-04-27 이명학 가상 입체면 모델에 기초한 3차원 모델 데이터 생성 구현 방법 및 시스템

Also Published As

Publication number Publication date
AU2001244763A1 (en) 2002-02-18
WO2002013144A1 (en) 2002-02-14
KR20000063919A (ko) 2000-11-06
JP2004506276A (ja) 2004-02-26

Similar Documents

Publication Publication Date Title
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
JP3288353B2 (ja) 顔イメージから開始して3d顔モデルを作る方法
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
US5745666A (en) Resolution-independent method for displaying a three-dimensional model in two-dimensional display space
CN109377557A (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN106952336B (zh) 一种保特征的人类三维头像生产方法
CN106021550B (zh) 一种发型设计方法和系统
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
EP0807902A2 (en) Method and apparatus for generating moving characters
CN106652037B (zh) 一种人脸贴图处理方法及装置
CN107452049A (zh) 一种三维头部建模方法及装置
KR100372811B1 (ko) 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR100317138B1 (ko) 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법
JPH06118349A (ja) 眼鏡装用シミュレーション装置
CN112116699A (zh) 一种基于3d人脸跟踪的实时真人虚拟试发方法
KR101701199B1 (ko) 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템
JP3577154B2 (ja) 画像処理装置
JP2739447B2 (ja) しわの表現可能な三次元像生成装置
JP7076861B1 (ja) 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
JPH04199474A (ja) 顔画像合成装置
Lee et al. 3D face modeling from perspective-views and contour-based generic-model
KR20120121031A (ko) 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법
CN110853147A (zh) 一种三维人脸变换的方法
KR20020079268A (ko) 3차원 인체모델에 가상현실공간상의 3차원 콘텐츠를실시간으로 합성하는 시스템 및 방법.
JP3648099B2 (ja) 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050222

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee