KR20120121031A - 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 - Google Patents
2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 Download PDFInfo
- Publication number
- KR20120121031A KR20120121031A KR1020110038754A KR20110038754A KR20120121031A KR 20120121031 A KR20120121031 A KR 20120121031A KR 1020110038754 A KR1020110038754 A KR 1020110038754A KR 20110038754 A KR20110038754 A KR 20110038754A KR 20120121031 A KR20120121031 A KR 20120121031A
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional
- model
- face
- points
- control point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 (a) 눈, 코, 입 및 얼굴 형태의 특징을 나타내며 3차원 기본모델을 변형시키기 위한 복수개의 제어점들과, 3차원 기본 모델의 형상을 보다 부드럽게 표현하기 위한 복수개의 일반점들을 가지고 있는 3차원 기본모델을 미리 생성하여 메모리부에 저장하는 단계; (b) 특정인 얼굴 정면사진의 2차원 이미지를 2차원 이미지 입력수단을 통해 입력받아 메모리에 저장하는 단계; (c) 상기 2차원 이미지에 상기 3차원 기본모델의 각 제어점에 대응하는 위치에 제어점을 설정하는 단계; (d) 상기 2차원 이미지의 제어점들 간의 상대적인 좌표에 일치하도록 상기 3차원 기본모델의 제어점들의 좌표를 바꿔주어 상기 3차원 기본모델이 상기 2차원 이미지에 일치하도록 변형하여 3차원 변형모델을 생성하는 단계; 및 (e) 상기 3차원 변형모델의 제어점들과 일반점들로 이루어진 각 삼각형에 대응하는 상기 2차원 이미지 각 삼각형의 텍스쳐를 3차원 변형모델에 매핑하는 단계;를 포함하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법에 관한 것이다.
본 발명에 따르면, 3차원 아바타와의 몸통모델에 혼합가능하도록 특정인의 2차원 얼굴사진으로 3차원적인 얼굴모델을 생성시킬 수 있는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공할 수 있다.
본 발명에 따르면, 3차원 아바타와의 몸통모델에 혼합가능하도록 특정인의 2차원 얼굴사진으로 3차원적인 얼굴모델을 생성시킬 수 있는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공할 수 있다.
Description
본 발명은 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법에 관한 것으로, 더욱 상세하게는 3차원 아바타와의 몸통모델에 혼합가능하도록 특정인의 2차원 얼굴사진으로 3차원적인 얼굴모델을 생성시킬 수 있는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법에 관한 것이다.
본 발명은 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법에 관한 것이다.
일반적으로 특정인의 얼굴을 3차원으로 모델링하는 방법에는 여러 가지가 있다. 3차원 얼굴형상을 획득하기 위한 방법으로는 광삼각법에 의한 레이저 스캔 (laser scan)방법, 스테레오(stereo)방법, 멀티프로젝션(multi projection)방법, 모아레(moire)방법 정면과 측면을 포함하는 여러장의 2차원 얼굴사진들을 합성하는 방법 그리고 3차원 얼굴데이터베이스로부터 2차원 얼굴사진과 유사한 3차원얼굴형상을 통계적으로 추출하여 재현하는 방법들이 사용되고 있다.
그러나, 레이저 스캔, 스테레오, 멀티프로젝션 및 모아레 등은 전문 장비를 사용하면, 정확한 3차원 얼굴 모델링을 할 수 있으나, 값비싼 장비를 사용하여야 하고, 3차원 얼굴 모델링의 당사자도 3차원 스캐너가 있는 특정한 장소까지 가서 스캔을 받아야 3차원 얼굴 모델링을 하여야 하는 문제점이 있었다.
또한, 사진을 통한 3차원 얼굴 모델링을 얻으려면, 여러 각도에서 촬영된 사진이 필요하고, 각각의 사진들간의 얼굴을 바라보는 각도와 거리가 맞추어지도록 하는 것이 필요하므로, 다수의 카메라를 사용하여야 하므로 오랜 시간의 준비시간이 소모되는 문제점이 있었다.
특히, 정확한 3차원 얼굴 모델링을 얻고자 하며, 다수의 카메라가 설치된 곳에 가서 촬영하거나 카메라가 하나이더라도 사진마다 정확한 각도와 거리를 맞추어서 여러 장의 얼굴 사진을 촬영해야 하는 등의 번거로운 불편함이 있었다.
상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 3차원 아바타와의 몸통모델에 혼합가능하도록 특정인의 2차원 얼굴사진으로 3차원적인 얼굴모델을 생성시킬 수 있는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공하기 위함이다.
또한, 본 발명의 다른 목적은 사용자의 얼굴사진을 이용하여 바로 3차원 아바타 모델로 변경함으로써, 실제 옷을 입기 전에 입어본 자신의 모습으로 캣워킹 애이메이션을 생성해서 보여 줌으로써, 사용자에 대한 편의성을 제공하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공하기 위함이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법에 있어서, (a) 눈, 코, 입 및 얼굴 형태의 특징을 나타내며 3차원 기본모델을 변형시키기 위한 복수개의 제어점들과, 3차원 기본 모델의 형상을 보다 부드럽게 표현하기 위한 복수개의 일반점들을 가지고 있는 3차원 기본모델을 미리 생성하여 메모리부에 저장하는 단계; (b) 특정인 얼굴 정면사진의 2차원 이미지를 2차원 이미지 입력수단을 통해 입력받아 메모리에 저장하는 단계; (c) 상기 2차원 이미지에 상기 3차원 기본모델의 각 제어점에 대응하는 위치에 제어점을 설정하는 단계; (d) 상기 2차원 이미지의 제어점들 간의 상대적인 좌표에 일치하도록 상기 3차원 기본모델의 제어점들의 좌표를 바꿔주어 상기 3차원 기본모델이 상기 2차원 이미지에 일치하도록 변형하여 3차원 변형모델을 생성하는 단계; 및 (e) 상기 3차원 변형모델의 제어점들과 일반점들로 이루어진 각 삼각형에 대응하는 상기 2차원 이미지 각 삼각형의 텍스쳐를 3차원 변형모델에 매핑하는 단계;를 포함한다.
또한, 얼굴의 형태를 특징짓는 제어점을 설정할 때 제어점 삽입 위치는, 코의 폭을 지정하는 위치, 코끝의 모양을 나타내는 위치, 이마의 끝부분, 눈썹의 세로위치, 얼굴 좌우측의 끝부분, 하악의 끝부분 및 턱의 하단을 포함하는 것을 특징으로 한다.
또한, 눈에 제어점을 설정할 때 제어점 삽입 위치는, 눈의 양끝점, 눈의 곡률이 급격히 변하는 세 지점 및 눈의 가장 높은 지점을 포함하는 것을 특징으로 한다.
또한, 입에 제어점을 설정할 때 제어점 삽입 위치는, 입술의 하단, 입술의 상단 및 입술 상단 사이 패인 지점을 포함하는 것을 특징으로 한다.
이상 살펴본 바와 같은 본 발명에 따르면, 3차원 아바타와의 몸통모델에 혼합가능하도록 특정인의 2차원 얼굴사진으로 3차원적인 얼굴모델을 생성시킬 수 있는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 사용자의 얼굴사진을 이용하여 바로 3차원 아바타 모델로 변경함으로써, 실제 옷을 입기 전에 입어본 자신의 모습으로 캣워킹 애이메이션을 생성해서 보여 줌으로써, 사용자에 대한 편의성을 제공하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 수행하기 위한 시스템의 구성을 보여주는 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 기본모델을 평면에 투영한 모습을 나타낸 도면,
도 3a, 3b, 3c는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 특정인 얼굴 정면사진을 나타낸 도면,
도 4 내지 도 6는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 설명하는 도면,
도 7a, 7b는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법으로 나타낸 실시도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 기본모델을 평면에 투영한 모습을 나타낸 도면,
도 3a, 3b, 3c는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 특정인 얼굴 정면사진을 나타낸 도면,
도 4 내지 도 6는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 설명하는 도면,
도 7a, 7b는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법으로 나타낸 실시도면이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 수행하기 위한 시스템의 구성을 보여주는 블럭도, 도 2는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 기본모델을 평면에 투영한 모습을 나타낸 도면, 도 3a, 3b, 3c는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법의 특정인 얼굴 정면사진을 나타낸 도면, 도 4 내지 도 6는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 설명하는 도면 및 도 7a, 7b는 본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법으로 나타낸 실시도면이다.
본 발명의 바람직한 실시예에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법을 수행하기 위한 시스템은 메모리(10), 중앙처리장치(20), 2차원 이미지 입력수단(30) 및 입출력인터페이스(40)를 포함한다.
메모리(10)는 2차원 이미지 입력수단(30)으로부터 받은 2차원 이미지를 저장하는 2차원 이미지 저장부(12)와, 제어점설정 소프트웨어와 3차원 기본모델 변형 소프트웨어와 텍스쳐 매핑 소프트웨어 등 본 발명에 필요한 각종 소프트웨어를 저장하는 소프트웨어 저장부(14)와, 기생성된 3차원 기본모델에 대한 정보를 저장하고 있는 3차원 기본모델 저장부(16), 및 본 발명을 통해 생성된 3차원 얼굴모델을 저장하기 위한 3차원 얼굴모델 저장부(18)를 갖는다.
중앙처리장치(20)는 2차원 이미지 저장부(12)에 저장된 2차원 이미지를 불러들여 제어점을 설정하는 제어점설정 프로세스(22)와, 제어점이 설정된 2차원 이미지를 이용하여 3차원 기본모델을 변형하고 변형된 3차원 기본모델에 2차원 이미지의 텍스쳐를 매핑하는 3차원 얼굴모델 생성 프로세스(24)를 수행한다.
2차원 이미지 입력수단(30)은 디지탈 카메라나 스캐너 등이 될 수 있으며, 2차원 이미지 저장부(12)에 저장되는 2차원 이미지를 입력받는다.
입출력인터페이스(40)는 본 발명이 진행되는 과정과 그 과정에 따른 결과를 외부에 디스플레이 해주며, 제어점 설정 프로세스(22)나 3차원 얼굴모델 생성 프로세스(24) 과정에 필요한 정보를 외부에서 입력받는다.
도 2는 본 발명의 실시에 필수적인 제어점이 설정된 3차원 기본 모델의 일 실시예로서 평면에 투영된 모습을 보여준다.
먼저, 도 3a를 참조하여 눈 제어점 설정기준을 설명하면, 먼저 눈의 안쪽 끝(53)과 바깥쪽 끝(57)에 제어점을 삽입하고, 눈의 외곽선을 나타내는 곡선이 가장 급격하게 변하는 지점(54, 56, 59)은 사람 눈의 외형을 특징짓는 가장 지배적인 지점이므로 두 번째로 제어점을 삽입한다. 세 번째 제어점을 삽입하는 위치는 가장 높이 올라간 지점(55)이며, 마지막으로 57번점과 59번점을 잇는 커브를 만들기 위하여 제어점(58)을 삽입한다.
도 3b를 참조하여 입술 제어점 설정기준을 설명하면, 먼저 입술의 하단을 정의하는 제어점(44)을 삽입하고, 입술의 상단 형태를 결정짓는 위치(38, 39)에 제어점을 삽입한다. 그리고 나서 입술의 좌우 끝부분(41)에 제어점을 설정한 후, 41번점과 44번점 사이를 연결하기 위한 42, 43번점을 삽입하고, 39번점과 41번점을 연결하기 위한 40번점을 삽입한다.
도 3c를 참조하여 기타 중요 제어점 설정기준을 설명하면, 32번점은 코의 폭을 정의하기 위하여 설정하고, 33번점은 코끝의 모양을 정의하기 위하여 설정하고, 19번점은 이마의 넓이를 정의하기 위하여 설정하고, 24번점은 눈썹의 세로 위치를 정의하고, 1번점은 얼굴의 가로방향 폭을 정의하고, 5번점은 하악의 폭을 정의하고, 9번점은 턱끝의 위치를 정의하며, 7번점은 5번점과 9번점 사이의 커브를 생성하기 위한 중간점이다.
3차원 기본모델의 제어점들의 좌표를 수정하여 2차원 이미지의 모양에 일치시키는 단계는 3차원 기본모델 변형 소프트웨어를 사용하여 3차원 얼굴모델 생성 프로세스(24)에서 수행되며, 이하 3차원 기본모델을 2차원 이미지에 일치하도록 변형하는 방법을 3차원 기본모델 변형 소프트웨어의 알고리즘을 설명한다.
알고리즘은 3차원 기본모델의 상하방향(이하 "Y방향"이라 함)을 신축하고 수평방향(이하 "X방향"이라 함)을 신축하여 2차원 이미지의 얼굴 윤곽선에 일치하도록 한 후, 눈, 코, 입 등의 주요부분을 X방향과 Y방향으로 신축하여 상기 3차원 기본모델이 상기 2차원 이미지와 일치하도록 하는 방법이다.
도 4에 도시된 바와같이 3차원 기본 모델은 수직 방향으로 9개의 구간으로 나누어진다. 구간1은 머리끝(67)부터 이마시작부(19)까지, 구간2는 이마시작부(19)부터 눈썹윗단(24)까지, 구간3은 눈썹윗단(24)부터 눈윗부분(55)까지, 구간4는 눈윗부분(55)부터 눈아랫부분(59)까지, 구간5는 눈아랫부분(59)부터 코밑단(37)까지, 구간6은 코밑단(37)부터 입술윗단(39)까지, 구간7은 입술윗단(39)부터 입술중간점(51)까지, 구간8은 입술중간점(51)부터 입술아랫단(44)까지, 구간9는 입술아랫단(44)부터 턱끝(9)까지를 나타낸다.
제어점이 설정된 2차원 이미지는 3차원 기본모델의 각 구간에 대응하는 구간1a부터 구간9a가 각각 정해진다. 각 구간은 얼굴의 특정한 부분의 길이를 기준으로 상대길이를 구할 수 있는데 본 발명의 실시예는 눈의 양옆으로 얼굴 끝부분에 있는 제어점들(1, 17)사이의 간격을 기준폭으로 하여 상대 구간을 구한다. 3차원 기본 모델의 구간1 ~ 구간9와 2차원 이미지의 구간1a ~ 구간9a는 수학식 1에 의해 각각 상대구간을 구한다.
(n = 1,2,...,9)
수학식 1에 의해 구해진 3차원 모델과 2차원 이미지의 각 상대구간을 기준으로 수학식 2에 의해 스케일을 구한다.
예컨대, 상대구간1의 크기가 0.5이고 상대구간1a의 크기가 0.4라면 스케일1은 0.8이 되며, 이것은 3차원 기본 모델의 구간1의 길이를 80%로 줄여야 한다는 것을 의미한다. 수학식 2에 의해 스케일1 ~ 스케일9가 정해지면, 이것을 바탕으로 수학식 3의 변형함수를 정의한다.
여기서 X, Y, Z는 각 제어점들과 일반점들의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이며, X', Y', Z'은 각각 좌표가 수정된 각 제어점들과 일반점들의 좌표를 나타낸다. 스케일 함수 S1(Y)는 보다 부드럽게 Y방향 얼굴길이 비율을 신축하기 위해 Y방향의 스케일1 ~ 스케일9를 바탕으로 보간하여 구하며, 본 발명의 3차원 기본모델 변형 소프트웨어는 Y방향 스케일 함수를 구하기 위한 보간법으로 베지어 보간법(Bezier interpolation), 허미트 보간법(Hermite interpolation) 등의 다양한 보간법을 선택하여 사용할 수 있다.
수학식 3을 이용하여 3차원 기본 모델상의 제어점과 일반점의 좌표의 Y축 방향을 조정하여 3차원 기본 모델의 얼굴 상하 길이비율을 2차원 이미지의 상하 길이비율에 일치시킨다.
3차원 기본 모델의 수평방향을 신축하기 위해서 도 5에 도시된 바와 같이, 코밑단(37)부터 수평방향으로 그어진 기준선1, 입술 중간점(51)에서 수평방향으로 그어져 얼굴의 하악의 폭을 나타내는 기준선2, 입술 밑단(51)과 턱끝(9)의 중간지점에서 수평으로 그어진 기준선3이 있고, 2차원 이미지는 대응하는 위치에 기준선1a, 기준선2a, 기준선3a를 갖는다. 각 기준선들은 수학식 4에 의해 상대기준선이 된다.
(n = 1,2,3)
각 상대기준선이 구해지면 수학식 5에 의해 스케일이 구해진다.
수학식 5에 의해 스케일1 ~ 스케일3이 정해지면, 이것을 바탕으로 수학식 6의 변형함수를 정의한다.
여기서 X, Y, Z는 각 제어점의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이며, X', Y', Z'는 좌표가 수정된 각 제어점의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이다. 스케일 함수S2(X)는 3차원 기본모델의 X방향 기준선1 ~ 기준선3의 기준폭에의 상대값과 이에 대응하는 위치의 2차원 이미지의 기준선1a ~ 기준선3a의 기준폭에의 상대값으로 구한 스케일을 바탕으로 보간하여 구한 함수이다.
수학식 6을 이용하여 3차원 기본 모델상의 제어점과 일반점의 X축방향 좌표를 수정하여 3차원 기본 모델의 얼굴 좌우 비율을 2차원 이미지의 좌우 비율에 일치시켜 얼굴의 윤곽선을 맞춰준다.
윤곽선을 2차원 이미지에 일치시킨 3차원 기본모델(이하 "변형모델"이라 함)은 눈, 코, 입을 2차원 이미지에 일치하도록 변형하는 과정을 거치게 된다.
변형 모델에서 1번점과 57번점의 X방향 좌표의 차이가 2차원 이미지의 대응하는 점들 사이의 좌표차이와 같아지도록 57번점의 좌표를 옮겨주며, 옮겨진 57번점과 53번점의 X방향 좌표의 차이가 2차원 이미지의 대응하는 점들 사이의 좌표차이와 같아지도록 53번의 좌표를 옮겨준다. 상기 과정을 통해 변형모델의 눈의 좌우폭과 2차원 이미지 눈의 좌우폭을 맞춰 줄 수 있으며, 상하간격은 얼굴 윤곽선을 맞춰주는 과정에서 이미 일치하므로 눈의 모양이 일치하게 된다.
코의 경우도 상하간격은 이미 일치되어 있으며 좌우폭은 1번점의 X좌표와 31번점의 X좌표의 차이가 2차원 이미지의 대응하는 두 점들간의 X좌표의 차이와 같아지도록 31번 좌표를 옮겨준다. 30번, 32번점도 상기의 과정을 통해 옮겨준다.
입술을 맞춰주는 방법도 상기의 과정과 동일한 방법으로 1번점과 41번점을 이용하여 41번점을 X방향으로 이동시키고, 마찬가지 방법으로 40번 점의 X방향 좌표를 이동시킨다.
이와 같은 방법을 통해 변형모델의 눈, 코, 입이 2차원 이미지에 일치하도록 변형할 수 있으며, 주요한 특징이 되는 점들뿐만 아니라 기타의 제어점들도 상기의 과정으로 옮겨주면 보다 정확한 3차원 변형모델을 생성할 수 있다.
또한 변형모델의 눈, 코, 입을 2차원 이미지에 일치시키는 작업은 입출력인터페이스(40)를 통해 직접 마우스로 조절할 수도 있다.
본 발명에 따른 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법으로 생성된 3차원의 얼굴모델을 살펴보면 도 7a와 같다.
본 발명을 통해 3차원 얼굴모델이 만들어지면, 정면의 모습뿐만 아니라 고개를 돌린 모습도 만들 수 있게 된다.
한편, 만들어진 3차원 얼굴모델을 기존의 3차원 아바타의 몸통모델에 혼합하여 하나의 아바타 모델로 변환이 가능하다.
특히, 아바타 몸통모델의 몸통색을 얼굴색으로 대체하면 생성된 3차원 얼굴모델과 3차원 아바타 몸통모델 간의 연결부위는 끊김 현상없이 부드러우며 하나의 3차원 아바타 모델로 변환할 수 있다.
이로써, 패션 매장이나 백화점 홍보를 위해 사용자의 얼굴사진을 이용하여 바로 3차원 패션쇼를 보여줄 수 있다. 또한, 이렇게 생성한 아바타 위에 선택한 의상을 입혀서 실시간으로 캣워킹 애니메이션을 생성해서 보여 줄 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 메모리 12 2차원 이미지 저장부
14 소프트웨어 저장부 16 3차원 기본모델 저장부
18 3차원 얼굴모델 저장부 20 중앙처리장치
22 제어점설정 프로세스 24 3차원 얼굴모델 생성 프로세스
30 2차원 이미지 입력수단 40 입출력 인터페이스
14 소프트웨어 저장부 16 3차원 기본모델 저장부
18 3차원 얼굴모델 저장부 20 중앙처리장치
22 제어점설정 프로세스 24 3차원 얼굴모델 생성 프로세스
30 2차원 이미지 입력수단 40 입출력 인터페이스
Claims (4)
- (a) 눈, 코, 입 및 얼굴 형태의 특징을 나타내며 3차원 기본모델을 변형시키기 위한 복수개의 제어점들과, 3차원 기본 모델의 형상을 보다 부드럽게 표현하기 위한 복수개의 일반점들을 가지고 있는 3차원 기본모델을 미리 생성하여 메모리부에 저장하는 단계;
(b) 특정인 얼굴 정면사진의 2차원 이미지를 2차원 이미지 입력수단을 통해 입력받아 메모리에 저장하는 단계;
(c) 상기 2차원 이미지에 상기 3차원 기본모델의 각 제어점에 대응하는 위치에 제어점을 설정하는 단계;
(d) 상기 2차원 이미지의 제어점들 간의 상대적인 좌표에 일치하도록 상기 3차원 기본모델의 제어점들의 좌표를 바꿔주어 상기 3차원 기본모델이 상기 2차원 이미지에 일치하도록 변형하여 3차원 변형모델을 생성하는 단계; 및
(e) 상기 3차원 변형모델의 제어점들과 일반점들로 이루어진 각 삼각형에 대응하는 상기 2차원 이미지 각 삼각형의 텍스쳐를 3차원 변형모델에 매핑하는 단계;
를 포함하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법.
- 제1항에 있어서, 얼굴의 형태를 특징짓는 제어점을 설정할 때 제어점 삽입 위치는,
코의 폭을 지정하는 위치, 코끝의 모양을 나타내는 위치, 이마의 끝부분, 눈썹의 세로위치, 얼굴 좌우측의 끝부분, 하악의 끝부분 및 턱의 하단을 포함하는 것을 특징으로 하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법.
- 제1항에 있어서, 눈에 제어점을 설정할 때 제어점 삽입 위치는,
눈의 양끝점, 눈의 곡률이 급격히 변하는 세 지점 및 눈의 가장 높은 지점을 포함하는 것을 특징으로 하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법.
- 제1항에 있어서, 입에 제어점을 설정할 때 제어점 삽입 위치는,
입술의 하단, 입술의 상단 및 입술 상단 사이 패인 지점을 포함하는 것을 특징으로 하는 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110038754A KR20120121031A (ko) | 2011-04-26 | 2011-04-26 | 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110038754A KR20120121031A (ko) | 2011-04-26 | 2011-04-26 | 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20120121031A true KR20120121031A (ko) | 2012-11-05 |
Family
ID=47507555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110038754A KR20120121031A (ko) | 2011-04-26 | 2011-04-26 | 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20120121031A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101479838B1 (ko) * | 2013-04-10 | 2015-01-09 | 한국과학기술원 | 3d 얼굴 영상 생성 방법 및 장치 |
KR20160148885A (ko) * | 2015-06-17 | 2016-12-27 | (주)유니드픽쳐 | 2d 이미지를 이용한 3d모델링 및 3차원 형상 제작 기법 |
-
2011
- 2011-04-26 KR KR1020110038754A patent/KR20120121031A/ko not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101479838B1 (ko) * | 2013-04-10 | 2015-01-09 | 한국과학기술원 | 3d 얼굴 영상 생성 방법 및 장치 |
KR20160148885A (ko) * | 2015-06-17 | 2016-12-27 | (주)유니드픽쳐 | 2d 이미지를 이용한 3d모델링 및 3차원 형상 제작 기법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3288353B2 (ja) | 顔イメージから開始して3d顔モデルを作る方法 | |
KR100327541B1 (ko) | 3차원 얼굴 모델링 시스템 및 모델링 방법 | |
JP5632100B2 (ja) | 表情出力装置及び表情出力方法 | |
KR20220104036A (ko) | 2차원 스케치로부터 3차원 치아 복원물을 생성하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
KR101556992B1 (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
CN102419868B (zh) | 基于3d头发模板进行3d头发建模的设备和方法 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
CN112087985A (zh) | 经由实时增强可视化的模拟正畸处理 | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
CN109377557A (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
WO2016151691A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2013235537A (ja) | 画像作成装置、画像作成プログラム、及び記録媒体 | |
JP5842541B2 (ja) | 三次元ポートレートの作成装置 | |
CN105938627A (zh) | 用于人脸虚拟整形的处理方法和系统 | |
US9224245B2 (en) | Mesh animation | |
KR100372811B1 (ko) | 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법 | |
KR20160144699A (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
JP2006004158A (ja) | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 | |
JP6552266B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20120121031A (ko) | 2차원 얼굴사진을 이용하여 3차원 얼굴모델을 생성하는 방법 | |
JP6719168B1 (ja) | 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 | |
Luximon et al. | Merging the point clouds of the head and ear by using the iterative closest point method | |
KR101569693B1 (ko) | 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치 | |
JP6894685B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6704700B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |