KR20020049504A - Method for Making 3D Face Model by Using a 2D Human Face Image - Google Patents
Method for Making 3D Face Model by Using a 2D Human Face Image Download PDFInfo
- Publication number
- KR20020049504A KR20020049504A KR1020000078691A KR20000078691A KR20020049504A KR 20020049504 A KR20020049504 A KR 20020049504A KR 1020000078691 A KR1020000078691 A KR 1020000078691A KR 20000078691 A KR20000078691 A KR 20000078691A KR 20020049504 A KR20020049504 A KR 20020049504A
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional
- model
- points
- image
- basic model
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Abstract
Description
본 발명은 특정인의 얼굴을 3차원으로 모델링하는 방법에 관한 것으로서, 보다 상세하게는 특정인 얼굴의 정면사진 이미지를 이용하여 3차원 얼굴 모델링하는 방법에 관한 것이다.The present invention relates to a method of modeling a face of a specific person in three dimensions, and more particularly, to a method of modeling a three-dimensional face using a front photograph image of a specific face.
일반적으로 특정인의 얼굴을 3차원으로 모델링하는 방법에는 여러 가지가 있다. 그 중 하나는 직접 특정인의 얼굴을 3차원으로 스캔하여 스캔된 데이터로 3차원 얼굴을 모델링하는 방법이 있고, 다른 하나는 특정인의 얼굴을 여러 각도에서 촬영하고 촬영된 결과를 이용하여 미리 만들어진 3차원 형상의 일반 얼굴모델을 변형하여 특정인의 3차원 얼굴을 모델링하는 방법이 있다.In general, there are many ways to model a person's face in three dimensions. One method is to directly scan a specific person's face in three dimensions and model the three-dimensional face with the scanned data. The other is to capture a specific person's face at various angles and use the result of the pre-created three-dimensional image. There is a method of modeling a three-dimensional face of a specific person by modifying a general face model of a shape.
전자의 경우, 3차원 스캐너와 같은 전문 장비를 사용하여 특정인의 얼굴의 굴곡과 실제 피부색깔에 관한 정보를 직접 얻을 수 있기 때문에 특정인의 얼굴에 대한 상당히 정확한 3차원 얼굴 모델링을 할 수 있다. 그러나 이런 방법은 값비싼 장비를 사용하여야 하고, 3차원 얼굴 모델링의 당사자도 3차원 스캐너가 있는 특정한 장소까지 가서 스캔을 받아야 3차원 얼굴 모델링을 할 수 있으므로 불편한 점이 없지 않았다.In the former case, it is possible to obtain highly accurate three-dimensional face modeling of a specific person's face because the professional equipment such as a three-dimensional scanner can directly obtain information about a person's face flexion and actual skin color. However, this method had to use expensive equipment, and even a party of three-dimensional face modeling did not have to be inconvenient because a three-dimensional face modeling could be performed by going to a specific place where a three-dimensional scanner was located.
후자의 경우, 전자의 문제점을 해결하기 위해 특정인에 대하여 여러 각도에서 찍은 평면사진과 미리 만들어진 3차원 얼굴 일반모델을 이용하여 3차원 얼굴 모델링을 한다. 좀더 구체적으로 설명하면 먼저 3차원 얼굴 모델을 만드려는 사람을 여러 각도에서 촬영한다. 촬영된 데이터로 3차원 얼굴 일반모델을 변형하여 특정인의 얼굴과 비슷한 형상의 3차원 얼굴 변형모델을 만들고, 변형모델에 촬영된 특정인의 얼굴 텍스쳐를 매핑하여 특정인의 3차원 얼굴 모델을 만든다.In the latter case, in order to solve the former problem, 3D face modeling is performed by using planar photographs taken from various angles with respect to a specific person and a pre-made 3D face general model. More specifically, first, the person who wants to create a 3D face model is photographed from various angles. The three-dimensional face general model is transformed from the photographed data to create a three-dimensional face deformation model with a shape similar to that of a specific person, and a specific person's face texture is mapped to the deformation model to create a three-dimensional face model of the specific person.
그러나 상기 여러 각도에서 찍은 평면 사진을 이용하는 방법은 여러 각도에서 촬영된 사진이 필요하고, 또한 각각의 사진들간에 얼굴을 바라보는 각도와 거리가 맞추어지도록 하는 것이 필요하므로 동시에 여러 카메라를 사용하기도 하여 불편한 점이 있었다. 그러므로 상기 방법을 이용하려면 여러 카메라가 설치된 곳에 가서 촬영하거나 카메라가 하나이더라도 사진마다 정확한 각도와 거리를 맞추어서 여러 장의 얼굴 사진을 촬영해야 하는 등의 번거로운 점이 있었다.However, the method of using the planar photograph taken from the various angles requires photographs taken from various angles, and it is also inconvenient to use multiple cameras at the same time because it is necessary to have the angle and distance of looking at the face between each photograph. There was a point. Therefore, to use the above method, it is cumbersome to go to a location where several cameras are installed or to take multiple face pictures by adjusting the exact angle and distance for each picture even if there is only one camera.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 얼굴의 정면사진 한 장만으로 특정인의 3차원 얼굴모델을 만드는 방법을 제공하는 것을 그 기술적 과제로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide a method for creating a three-dimensional face model of a specific person using only one face photograph.
도 1은 본 발명을 수행하기 위한 시스템의 구성을 보여주는 블럭도이다.1 is a block diagram showing the configuration of a system for carrying out the invention.
도 2는 본 발명에 사용되는 제어점이 설정된 3차원 기본모델을 평면에 투영한 모습을 보여준다.2 shows a state in which the three-dimensional basic model in which the control point is used in the present invention is projected onto a plane.
도 3a, 3b, 3c는 특정인 얼굴의 정면사진, 및 도 2에 도시된 3차원 기본 모델에 제어점을 설정하는 기준을 보여준다.3A, 3B, and 3C show front views of specific faces and criteria for setting control points in the three-dimensional basic model shown in FIG. 2.
도 4는 도 2에 도시된 3차원 기본 모델의 수직방향 길이 비율을 2차원 이미지의 수직 비율에 맞도록 변형시키는 방법을 설명하기 위한 도면이다.4 is a view for explaining a method of transforming the vertical length ratio of the three-dimensional basic model shown in FIG. 2 to match the vertical ratio of the two-dimensional image.
도 5는 수직 방향 비율이 변형된 3차원 기본 모델의 얼굴 윤곽선을 2차원 이미지의 얼굴 윤곽선에 맞추기 위해 수평방향 길이 비율을 변형시키는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of modifying a horizontal length ratio in order to fit a facial contour of a three-dimensional basic model having a modified vertical ratio to a facial contour of a two-dimensional image.
도 6a, 6b, 6c는 2차원 이미지에 일치하도록 변형된 3차원 기본모델의 제어점들을 이용하여 일반점들이 이동하는 과정을 설명하기 위한 도면이다.6A, 6B, and 6C are diagrams for explaining a process of moving general points by using control points of a 3D basic model modified to match a 2D image.
도 7a, 8b는 본 발명에 따라 2차원 이미지가 3차원의 얼굴모델로 변형된 모습을 보여주는 실시 화상도이다.7A and 8B are exemplary views showing a state in which a 2D image is transformed into a 3D face model according to the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
10: 메모리12: 2차원 이미지 저장부10: memory 12: two-dimensional image storage unit
14: 소프트웨어 저장부16: 3차원 기본모델 저장부14: software storage unit 16: three-dimensional basic model storage unit
18: 3차원 얼굴모델 저장부20: 중앙처리장치18: three-dimensional face model storage unit 20: central processing unit
22: 제어점설정 프로세스24: 3차원 얼굴모델 생성 프로세스22: control point setting process 24: 3D face model generation process
30: 2차원 이미지 입력수단40: 입출력 인터페이스30: two-dimensional image input means 40: input and output interface
상기 기술적 과제를 달성하기 위하여 본 발명은 특정인 얼굴의 2차원 정면사진 이미지를 입력받아 메모리에 저장하는 단계와, 상기 저장된 2차원 이미지에 제어점과 일반점이 기설정된 3차원 기본모델의 제어점에 대응하는 제어점을 설정해주는 단계와, 상기 제어점이 설정된 2차원 이미지의 제어점들간의 상대좌표를 이용하여 메모리에 저장되어 있는 3차원 기본모델을 변형시키는 단계와, 상기 변형된 3차원 기본모델에 상기 2차원 이미지의 텍스쳐(texture)를 매핑하는 단계를 포함한다.In order to achieve the above technical problem, the present invention receives a two-dimensional front photograph image of a specific face and stores it in a memory, and a control point corresponding to a control point of a three-dimensional basic model in which a control point and a general point are preset in the stored two-dimensional image. Deforming a three-dimensional basic model stored in a memory by using relative coordinates between control points of the two-dimensional image in which the control point is set, and converting the two-dimensional image to the modified three-dimensional basic model. Mapping the texture.
2차원 이미지는 일반 카메라로 찍은 사진을 스캐너로 스캔하여 입력받을 수 있고, 디지탈 카메라로 찍은 화상 이미지일 수 있으며, 입력받은 이미지는 메모리에 저장되게 된다. 상기 메모리에는 2차원 이미지 외에 미리 만들어져 있는 3차원 기본모델과, 2차원 이미지에 제어점을 설정하기 위한 소프트웨어와, 3차원 기본모델을 2차원 이미지의 모습에 맞춰 변형시키는 소프트웨어와, 변형된 3차원 기본모델에 2차원 이미지의 텍스쳐를 매핑하는 소프트웨어, 및 변형된 3차원 기본모델을 저장하는 공간이 있다.The 2D image may be inputted by scanning a photograph taken with a general camera with a scanner, may be an image taken with a digital camera, and the received image is stored in a memory. In addition to the two-dimensional image, the memory includes a pre-made three-dimensional basic model, software for setting control points on the two-dimensional image, software for modifying the three-dimensional basic model to match the appearance of the two-dimensional image, and a modified three-dimensional basic. There is software to map the texture of the two-dimensional image to the model, and space to store the modified three-dimensional base model.
상기 3차원 기본모델은 표준형 얼굴의 일반적인 3차원 형상을 나타내는 데이터로서, 3차원 형상의 주요 특징들을 나타내며 3차원 형상을 변형하는데 사용하는 복수개의 제어점들과 3차원 형상을 좀더 부드럽고 자세하게 나타내기 위한 복수개의 일반점들에 대한 위치정보와, 상기 제어점들과 일반점들 중에서 선택된 두 점을 연결한 선분의 위치 및 방향에 관한 정보와, 상기 제어점들과 일반점들 중에서 선택된 3점으로 이루어진 삼각형면에 관한 3차원 공간상의 정보 및 삼각형면의 색깔에 관한 정보를 갖고 있으며 메모리에 저장되어 있다.The three-dimensional basic model is data representing a general three-dimensional shape of a standard face, which represents the main features of the three-dimensional shape, and a plurality of control points used to deform the three-dimensional shape, and a plurality of the three-dimensional shape to express the softer and more detailed. Location information of two general points, information on the position and direction of a line connecting two points selected from the control points and the general points, and a triangular plane consisting of three points selected from the control points and the general points It contains information about the three-dimensional space and the color of the triangular plane and is stored in the memory.
상기 메모리에 저장된 2차원 이미지에 제어점 설정 소프트웨어로 3차원 기본모델에 기설정된 제어점에 대응하는 위치에 제어점을 설정하며, 제어점은 사람이 마우스나 마우스팬 등의 입력장치를 사용하여 설정할 수 있다. 예컨대 사람이 마우스를 사용하여 코끝에 제어점을 찍는다면 제어점 설정 소프트웨어는 마우스로 찍은 좌표에 제어점이 설정됐다는 정보를 메모리에 저장한다. 제어점의 위치는 인간 얼굴 생김새의 특징을 잘 반영할 수 있는 곳에 선정되어야 하며, 적은 수의 제어점으로 다양한 얼굴의 특징을 모두 표현하도록 설정해야 한다. 예컨대 눈, 코, 입 등 사람의 인상을 좌우하는 부분이나 굴곡이 많거나 곡률이 큰 지점에는 제어점의 밀도가 평평한 부분보다 높도록 제어점을 설정해줘야 한다.The control point is set at a position corresponding to the control point preset in the 3D basic model by the control point setting software on the 2D image stored in the memory, and the control point can be set by a human using an input device such as a mouse or a mouse fan. For example, if a person places a control point at the tip of the nose using a mouse, the control point setting software stores information in memory that the control point is set at the coordinates taken by the mouse. The location of the control point should be selected to reflect the characteristics of the human facial features well, and should be set to express all of the various facial features with a small number of control points. For example, the control point should be set so that the density of the control point is higher than the flat part at the point where the impression of the person such as the eyes, the nose, the mouth, or the bend or the curvature is large.
제어점을 이용하여 3차원 기본 모델을 변형시키는 단계는 3차원 기본모델 변형 소프트웨어를 통해 수행되며, 본 발명에 따른 3차원 기본모델을 2차원 이미지에 일치하도록 변형하는 3차원 기본모델 변형 소프트웨어의 알고리즘은 다음 두 가지 방법으로 나누어지며, 제어점들의 좌표가 수정되면 일반점들을 제어점들과의 거리 비율이 일정하도록 자동으로 그 좌표가 수정된다.Deforming the 3D basic model using the control point is performed through the 3D basic model transformation software, and the algorithm of the 3D basic model transformation software for transforming the 3D basic model according to the present invention to match the 2D image is It is divided into the following two ways. When the coordinates of the control points are modified, the coordinates are automatically modified so that the ratio of the distance between the normal points and the control points is constant.
첫 번째는 3차원 기본모델의 상하방향(이하 "Y방향"이라 함)을 신축하고 수평방향(이하 "X방향"이라 함)을 신축하여 2차원 이미지의 얼굴 윤곽선에 일치하도록 한 후, 눈, 코, 입 등의 주요부분을 X방향과 Y방향으로 신축하여 상기 3차원 기본모델이 상기 2차원 이미지와 일치하도록 하는 방법이다.The first is to stretch the vertical direction (hereinafter referred to as the "Y direction") of the 3D basic model and to the horizontal direction (hereinafter referred to as the "X direction") to match the contour of the face of the two-dimensional image, eyes, The main part of the nose, mouth and the like is stretched in the X and Y directions so that the 3D basic model matches the 2D image.
두 번째는 특정 제어점을 원점으로 하여 다른 특정한 두 제어점의 위치벡터를 기준벡터로 하여 2차원 이미지 상의 각 제어점들의 위치벡터를 상기 기준벡터의 일차결합 형태로 표현하고, 3차원 기본모델 상의 각 제어점들도 상기의 경우와 같은 방법으로 각 제어점들의 위치벡터를 3차원 기본모델 상의 기준벡터의 일차결합 형태로 표현한 후, 상기 3차원 기본모델의 각 제어점들의 일차결합 계수가 상기 2차원 이미지의 각 제어점들의 일차결합 계수와 같게 하는 방법이다.Secondly, the position vector of each control point on the two-dimensional image is expressed as the first combination of the reference vectors using the position vectors of two other specific control points as reference vectors, and the control points on the three-dimensional basic model. After the position vectors of the control points are expressed in the form of the first combination of the reference vectors on the 3D basic model in the same manner as in the above case, the first coupling coefficients of the respective control points of the 3D basic model are obtained from the respective control points of the 2D image. This is equal to the first order coupling coefficient.
텍스쳐 매핑단계는 2차원 이미지에 모양이 일치하도록 변형된 3차원 기본모델의 제어점들과 일반점들로 이루어진 복수개의 삼각형들에 각각 상기 삼각형들의 위치에 대응하는 2차원 이미지의 삼각형들 내부의 색깔 및 질감을 나타내는 텍스쳐를 매핑하여 피부색깔까지 2차원 이미지에 일치하는 3차원 얼굴모델을 생성하는 단계이며, 텍스쳐 매핑 소프트웨어를 사용하여 수행된다.The texture mapping step includes the colors of the triangles of the two-dimensional image corresponding to the positions of the triangles and a plurality of triangles composed of the control points and the common points of the three-dimensional basic model modified to match the shape of the two-dimensional image. This is a step of creating a three-dimensional face model that matches a two-dimensional image up to the skin color by mapping a texture representing a texture, and is performed using texture mapping software.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 구체적으로 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명을 수행하기 위한 시스템의 구성을 보여주는 블록도이다.1 is a block diagram showing the configuration of a system for carrying out the invention.
메모리(10)는 2차원 이미지 입력수단(30)으로부터 받은 2차원 이미지를 저장하는 2차원 이미지 저장부(12)와, 제어점설정 소프트웨어와 3차원 기본모델 변형 소프트웨어와 텍스쳐 매핑 소프트웨어 등 본 발명에 필요한 각종 소프트웨어를 저장하는 소프트웨어 저장부(14)와, 기생성된 3차원 기본모델에 대한 정보를 저장하고 있는 3차원 기본모델 저장부(16), 및 본 발명을 통해 생성된 3차원 얼굴모델을 저장하기 위한 3차원 얼굴모델 저장부(18)를 갖는다.The memory 10 includes a two-dimensional image storage unit 12 for storing a two-dimensional image received from the two-dimensional image input means 30, control point setting software, three-dimensional basic model transformation software, texture mapping software, and the like. Software storage unit 14 for storing a variety of software, a three-dimensional basic model storage unit 16 for storing information about the generated three-dimensional basic model, and a three-dimensional face model generated by the present invention It has a three-dimensional face model storage unit 18 for.
중앙처리장치(20)는 2차원 이미지 저장부(12)에 저장된 2차원 이미지를 불러들여 제어점을 설정하는 제어점설정 프로세스(22)와, 제어점이 설정된 2차원 이미지를 이용하여 3차원 기본모델을 변형하고 변형된 3차원 기본모델에 2차원 이미지의 텍스쳐를 매핑하는 3차원 얼굴모델 생성 프로세스(24)를 수행한다.The central processing unit 20 deforms the three-dimensional basic model by using a control point setting process 22 for setting a control point by importing a two-dimensional image stored in the two-dimensional image storage unit 12 and a two-dimensional image in which the control point is set. The 3D face model generation process 24 of mapping the texture of the 2D image onto the deformed 3D basic model is performed.
2차원 이미지 입력수단(30)은 디지탈 카메라나 스캐너 등이 될 수 있으며, 2차원 이미지 저장부(12)에 저장되는 2차원 이미지를 입력받는다. 입출력인터페이스(40)는 본 발명이 진행되는 과정과 그 과정에 따른 결과를 외부에 디스플레이 해주며, 제어점 설정 프로세스(22)나 3차원 얼굴모델 생성 프로세스(24) 과정에 필요한 정보를 외부에서 입력받는다.The two-dimensional image input means 30 may be a digital camera or a scanner, and receives the two-dimensional image stored in the two-dimensional image storage unit 12. The input / output interface 40 externally displays the process of the present invention and the result according to the process, and receives information required for the control point setting process 22 or the 3D face model generation process 24 from the outside. .
먼저 2차원 이미지 입력수단(30)에 특정인 얼굴정면 사진에 대한 2차원 이미지가 들어오면 2차원 이미지 저장부(12)에 저장된다. 중앙처리장치(20)는 상기 2차원 이미지 저장부(12)에 저장된 2차원 이미지와 소프트웨어 저장부(14)에 저장되어 있는 제어점 설정 소프트웨어를 불러들여 제어점설정 프로세스(22)를 수행한다. 제어점 설정프로세스는 3차원 기본모델의 제어점에 대응하는 위치의 2차원 이미지에 제어점을 설정하며, 사람이 입출력 인터페이스(40)를 통해 마우스를 사용하여 직접 설정할 수 있다. 이하에서는 도 2와 도 3a, 3b, 3c를 참고로 3차원 기본 모델에 기설정된 제어점의 설정기준을 상술한다.First, when a two-dimensional image of a face front photograph specific to the two-dimensional image input unit 30 is input, the two-dimensional image storage unit 12 is stored. The central processing unit 20 performs the control point setting process 22 by calling the two-dimensional image stored in the two-dimensional image storage 12 and the control point setting software stored in the software storage 14. The control point setting process sets a control point on a two-dimensional image of a position corresponding to the control point of the three-dimensional basic model, and a human can set it directly by using a mouse through the input / output interface 40. Hereinafter, the reference for setting the control point preset in the 3D basic model will be described in detail with reference to FIGS. 2, 3A, 3B, and 3C.
도 2는 본 발명의 실시에 필수적인 제어점이 설정된 3차원 기본 모델의 일 실시예로서 평면에 투영된 모습을 보여주며, 도 3a, 3b, 3c는 각각 도 2에 도시된 3차원 기본모델의 눈 제어점의 설정기준, 입 제어점 설정기준, 및 기타 얼굴의 중요한 특징을 나타내는 제어점 설정기준을 보여주며 얼굴의 오른쪽 부분만을 보여주며 왼쪽부분은 오른쪽 부분과 동일한 방법으로 설정한다.FIG. 2 is a view illustrating a projection onto a plane as an embodiment of a three-dimensional basic model in which a control point essential for implementing the present invention is set, and FIGS. 3A, 3B, and 3C are eye control points of the three-dimensional basic model shown in FIG. 2, respectively. It shows the set criteria of the set point, the mouth control point set criteria, and the control point set criteria indicating other important features of the face, and shows only the right part of the face and the left part is set in the same way as the right part.
3차원 기본모델은 보통 사람의 일반적인 3차원 형상을 나타내는 데이터로서,복수개의 제어점과 복수개의 일반점에 대한 위치정보와, 제어점들과 일반점들 중에서 선택된 두 점을 연결한 선분의 위치 및 방향에 관한 정보와, 제어점들과 일반점들 중에서 선택된 3점으로 이루어진 삼각형면에 관한 3차원 공간상의 정보 및 삼각형면의 색깔에 관한 정보를 갖고 있다. 제어점은 3차원 기본모델의 변형을 위하여 사람 얼굴의 특징이 되는 부분에 설정되어야 하며, 본 발명은 일 실시예로 67개의 제어점이 설정된 3차원 기본모델을 사용하고 있으며 각 제어점들의 좌표에 따라 3차원 기본모델의 모양이 바뀐다. 일반점은 3차원 기본모델의 형상을 좀더 부드럽고 사실적으로 표현하기 위하여 설정되며 본 발명은 일 실시예로 1500개의 일반점이 설정된 3차원 기본모델을 사용한다. 각 일반점은 제어점들의 위치가 결정되면 제어점들과의 상대거리가 일정하도록 위치가 결정된다. 상기 제어점들과 일반점들로 이루어진 복수개의 삼각형은 2차원 이미지의 텍스쳐를 2차원 이미지의 얼굴형태에 일치하도록 변형된 3차원 기본모델에 매핑을 하는 단위가 된다.The three-dimensional basic model is data representing a general three-dimensional shape of an ordinary person. The three-dimensional basic model includes data on positions of a plurality of control points and a plurality of general points, and a position and direction of a line segment connecting two points selected from the control points and the general points. Information on the three-dimensional space of the triangular plane consisting of three points selected from control points and general points, and information on the color of the triangular plane. The control point should be set to the part that is characteristic of the human face for the transformation of the three-dimensional basic model. The present invention uses a three-dimensional basic model in which 67 control points are set as an embodiment, and three-dimensional according to the coordinates of the control points. The shape of the basic model changes. The general point is set to more smoothly and realistically express the shape of the three-dimensional basic model, and the present invention uses a three-dimensional basic model in which 1500 general points are set. Each general point is positioned so that the relative distance with the control points is constant when the positions of the control points are determined. The plurality of triangles composed of the control points and the general points become a unit for mapping the texture of the 2D image to the 3D basic model modified to match the face shape of the 2D image.
먼저 도 3a를 참조하여 눈 제어점 설정기준을 설명하면, 먼저 눈의 안쪽 끝(53)과 바깥쪽 끝(57)에 제어점을 삽입하고, 눈의 외곽선을 나타내는 곡선이 가장 급격하게 변하는 지점(54, 56, 59)은 사람 눈의 외형을 특징짓는 가장 지배적인 지점이므로 두 번째로 제어점을 삽입한다. 세 번째 제어점을 삽입하는 위치는 가장 높이 올라간 지점(55)이며, 마지막으로 57번점과 59번점을 잇는 커브를 만들기 위하여 제어점(58)을 삽입한다.First, the eye control point setting criteria will be described with reference to FIG. 3A. First, a control point is inserted into the inner end 53 and the outer end 57 of the eye, and the point 54, at which the curve representing the outline of the eye changes most rapidly, 56 and 59 are the most dominant points that characterize the appearance of the human eye, so the second control point is inserted. The position of inserting the third control point is the highest point 55, and finally, the control point 58 is inserted to create a curve connecting the 57th and 59th points.
도 3b를 참조하여 입술 제어점 설정기준을 설명하면, 먼저 입술의 하단을 정의하는 제어점(44)을 삽입하고, 입술의 상단 형태를 결정짓는 위치(38, 39)에 제어점을 삽입한다. 그리고 나서 입술의 좌우 끝부분(41)에 제어점을 설정한 후, 41번점과 44번점 사이를 연결하기 위한 42, 43번점을 삽입하고, 39번점과 41번점을 연결하기 위한 40번점을 삽입한다.Referring to FIG. 3B, the lip control point setting criteria will be described. First, the control point 44 defining the lower end of the lip is inserted, and the control point is inserted at positions 38 and 39 that determine the shape of the upper end of the lip. Then, after setting the control points on the left and right ends 41 of the lips, 42 and 43 points are inserted to connect the 41 and 44 points, and 40 points are inserted to connect the 39 and 41 points.
도 3c를 참조하여 기타 중요 제어점 설정기준을 설명하면, 32번점은 코의 폭을 정의하기 위하여 설정하고, 33번점은 코끝의 모양을 정의하기 위하여 설정하고, 19번점은 이마의 넓이를 정의하기 위하여 설정하고, 24번점은 눈썹의 세로 위치를 정의하고, 1번점은 얼굴의 가로방향 폭을 정의하고, 5번점은 하악의 폭을 정의하고, 9번점은 턱끝의 위치를 정의하며, 7번점은 5번점과 9번점 사이의 커브를 생성하기 위한 중간점이다.Referring to Fig. 3c, other important control point setting criteria will be described.The point 32 is set to define the width of the nose, the point 33 is set to define the shape of the nose tip, and the point 19 is used to define the width of the forehead. Set point 24 to define the vertical position of the eyebrows, point 1 to define the horizontal width of the face, point 5 to define the width of the lower jaw, point 9 to define the position of the chin, and point 7 to 5 This is the midpoint for creating the curve between the points 9 and 9.
3차원 기본모델의 제어점들의 좌표를 수정하여 2차원 이미지의 모양에 일치시키는 단계는 3차원 기본모델 변형 소프트웨어를 사용하여 3차원 얼굴모델 생성 프로세스(24)에서 수행되며, 이하 3차원 기본모델을 2차원 이미지에 일치하도록 변형하는 방법을 3차원 기본모델 변형 소프트웨어의 알고리즘에 따라 두 가지로 나누어 상술한다.The step of modifying the coordinates of the control points of the 3D basic model to match the shape of the 2D image is performed in the 3D face model generation process 24 using the 3D basic model transformation software. The method of deforming to match the dimensional image is divided into two types according to the algorithm of the 3D basic model transformation software.
한가지 방법은 3차원 기본모델의 상하방향(이하 "Y방향"이라 함)을 신축하고 수평방향(이하 "X방향"이라 함)을 신축하여 2차원 이미지의 얼굴 윤곽선에 일치하도록 한 후, 눈, 코, 입 등의 주요부분을 X방향과 Y방향으로 신축하여 상기 3차원 기본모델이 상기 2차원 이미지와 일치하도록 하는 방법이다.One method is to stretch the vertical direction (hereinafter referred to as the "Y direction") of the 3D basic model and the horizontal direction (hereinafter referred to as the "X direction") to match the facial contour of the 2D image, and then The main part of the nose, mouth and the like is stretched in the X and Y directions so that the 3D basic model matches the 2D image.
다른 하나는 특정 제어점을 원점으로 하여 다른 특정한 두 제어점의 위치벡터를 기준벡터로 하여 2차원 이미지 상의 각 제어점들의 위치벡터를 상기 기준벡터의 일차결합 형태로 표현하고, 3차원 기본모델 상의 각 제어점들도 상기의 경우와 같은 방법으로 각 제어점들의 위치벡터를 3차원 기본모델 상의 기준벡터의 일차결합 형태로 표현한 후, 상기 3차원 기본모델의 각 제어점들의 일차결합 계수가 상기 2차원 이미지의 각 제어점들의 일차결합 계수와 같게 하는 방법이다.The other expresses the position vector of each control point on the two-dimensional image as a linear combination of the reference vector by using the position vector of the other two control points as a reference vector as a reference point, and the control points on the 3D basic model. After the position vectors of the control points are expressed in the form of the first combination of the reference vectors on the 3D basic model in the same manner as in the above case, the first coupling coefficients of the respective control points of the 3D basic model are obtained from the respective control points of the 2D image. This is equal to the first order coupling coefficient.
먼저 첫 번째를 상술하고, 그 후 두 번째를 상술한다.First, first, and second, then.
도 4는 3차원 기본모델의 Y방향 길이비율을 2차원 이미지의 Y방향 길이비율에 일치시키는 과정을 설명하기 위한 도면이며, 도 5는 수평방향 길이비율을 일치시키는 과정을 설명하기 위한 도면이다.4 is a view for explaining a process of matching the length direction ratio of the Y-direction of the three-dimensional basic model to the Y-direction length ratio of the two-dimensional image, Figure 5 is a view for explaining a process of matching the length ratio in the horizontal direction.
도 4에 도시된 바와같이 3차원 기본 모델은 수직 방향으로 9개의 구간으로 나누어진다. 구간1은 머리끝(67)부터 이마시작부(19)까지, 구간2는 이마시작부(19)부터 눈썹윗단(24)까지, 구간3은 눈썹윗단(24)부터 눈윗부분(55)까지, 구간4는 눈윗부분(55)부터 눈아랫부분(59)까지, 구간5는 눈아랫부분(59)부터 코밑단(37)까지, 구간6은 코밑단(37)부터 입술윗단(39)까지, 구간7은 입술윗단(39)부터 입술중간점(51)까지, 구간8은 입술중간점(51)부터 입술아랫단(44)까지, 구간9는 입술아랫단(44)부터 턱끝(9)까지를 나타낸다.As shown in FIG. 4, the three-dimensional basic model is divided into nine sections in the vertical direction. Section 1 from the end of the head (67) to the forehead (19), section 2 from the beginning of the forehead (19) to the upper end of the eyebrows (24), section 3 from the upper end of the eyebrows (24) to the upper part (55), Section 4 from the upper part of the eyes (55) to the lower part of the eyes (59), section 5 from the lower part of the eyes (59) to the bottom of the nose (37), section 6 from the bottom of the nose (37) to the top of the lips (39), Section 7 represents the upper lip 39 to the middle lip 51, section 8 represents the middle lip 51 to the lower lip 44, and section 9 represents the lower lip 44 to the tip of the chin 9. .
제어점이 설정된 2차원 이미지는 3차원 기본모델의 각 구간에 대응하는 구간1a부터 구간9a가 각각 정해진다. 각 구간은 얼굴의 특정한 부분의 길이를 기준으로 상대길이를 구할 수 있는데 본 발명의 실시예는 눈의 양옆으로 얼굴 끝부분에 있는 제어점들(1, 17)사이의 간격을 기준폭으로 하여 상대 구간을 구한다. 3차원 기본 모델의 구간1 ~ 구간9와 2차원 이미지의 구간1a ~ 구간9a는 수학식 1에 의해 각각 상대구간을 구한다.In the two-dimensional image in which the control point is set, sections 1a to 9a respectively corresponding to each section of the 3D basic model are determined. Each section can obtain a relative length based on the length of a specific part of the face, an embodiment of the present invention is a relative section based on the interval between the control points (1, 17) at the end of the face on both sides of the eye as a reference width Obtain The intervals 1 to 9 of the 3D basic model and the intervals 1a to 9a of the 2D image are obtained by using Equation 1, respectively.
(n = 1,2,...,9)(n = 1,2, ..., 9)
수학식 1에 의해 구해진 3차원 모델과 2차원 이미지의 각 상대구간을 기준으로 수학식 2에 의해 스케일을 구한다.A scale is obtained by using Equation 2 on the basis of each relative section of the three-dimensional model and the two-dimensional image obtained by Equation 1.
예컨대, 상대구간1의 크기가 0.5이고 상대구간1a의 크기가 0.4라면 스케일1은 0.8이 되며, 이것은 3차원 기본 모델의 구간1의 길이를 80%로 줄여야 한다는 것을 의미한다. 수학식 2에 의해 스케일1 ~ 스케일9가 정해지면, 이것을 바탕으로 수학식 3의 변형함수를 정의한다.For example, if the size of the relative section 1 is 0.5 and the size of the relative section 1a is 0.4, the scale 1 becomes 0.8, which means that the length of the section 1 of the 3D basic model should be reduced to 80%. When scale 1 to scale 9 are determined by Equation 2, the deformation function of Equation 3 is defined based on this.
여기서 X, Y, Z는 각 제어점들과 일반점들의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이며, X', Y', Z'은 각각 좌표가 수정된 각 제어점들과 일반점들의 좌표를 나타낸다. 스케일 함수 S1(Y)는 보다 부드럽게 Y방향 얼굴길이 비율을 신축하기 위해 Y방향의 스케일1 ~ 스케일9를 바탕으로 보간하여 구하며, 본 발명의3차원 기본모델 변형 소프트웨어는 Y방향 스케일 함수를 구하기 위한 보간법으로 베지어 보간법(Bezier interpolation), 허미트 보간법(Hermite interpolation) 등의 다양한 보간법을 선택하여 사용할 수 있다.X, Y, and Z are variables representing coordinates in the horizontal, vertical, and back and forth directions of the control points and the general points, and X ', Y', and Z 'are the coordinates of the control points and the normal points, respectively, whose coordinates are modified. Represents a coordinate. The scale function S 1 (Y) is obtained by interpolation based on scale 1 to scale 9 in the Y direction to stretch the face length ratio in the Y direction more smoothly, and the 3D basic model transformation software of the present invention obtains the scale function in the Y direction. For interpolation, various interpolation methods such as Bezier interpolation and Hermite interpolation can be selected and used.
수학식 3수학식 4하여 3차원 기본 모델상의 제어점과 일반점의 좌표의 Y축 방향을 조정하여 3차원 기본 모델의 얼굴 상하 길이비율을 2차원 이미지의 상하 길이비율에 일치시킨다.By adjusting the Y-axis direction of the coordinates of the control point and the general point on the three-dimensional basic model to match the upper and lower length ratio of the face of the three-dimensional basic model to the upper and lower length ratio of the two-dimensional image.
3차원 기본 모델의 수평방향을 신축하기 위해서 도 5에 도시된 바와 같이, 코밑단(37)부터 수평방향으로 그어진 기준선1, 입술 중간점(51)에서 수평방향으로 그어져 얼굴의 하악의 폭을 나타내는 기준선2, 입술 밑단(51)과 턱끝(9)의 중간지점에서 수평으로 그어진 기준선3이 있고, 2차원 이미지는 대응하는 위치에 기준선1a, 기준선2a, 기준선3a를 갖는다. 각 기준선들은 수학식 4에 의해 상대기준선이 된다.In order to stretch the horizontal direction of the three-dimensional basic model, as shown in FIG. 5, the baseline 1 drawn in the horizontal direction from the base of the nose 37 and in the horizontal direction at the midpoint of the lip 51 are drawn in the horizontal direction to represent the width of the mandible of the face. There is a baseline 3 drawn horizontally at the midpoint between the baseline 2, the lip hem 51 and the chin 9, and the two-dimensional image has a baseline 1a, a baseline 2a, and a baseline 3a at corresponding positions. Each reference line becomes a relative reference line by the equation (4).
(n = 1,2,3)(n = 1,2,3)
각 상대기준선이 구해지면 수학식 5에 의해 스케일이 구해진다.When each relative reference line is obtained, the scale is obtained by the equation (5).
수학식 5에 의해 스케일1 ~ 스케일3이 정해지면, 이것을 바탕으로 수학식 6의 변형함수를 정의한다.When scale 1 to scale 3 are determined by Equation 5, the deformation function of Equation 6 is defined based on this.
여기서 X, Y, Z는 각 제어점의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이며, X', Y', Z'는 좌표가 수정된 각 제어점의 수평방향, 수직방향, 앞뒤방향의 좌표를 나타내는 변수이다. 스케일 함수S2(X)는 3차원 기본모델의 X방향 기준선1 ~ 기준선3의 기준폭에의 상대값과 이에 대응하는 위치의 2차원 이미지의 기준선1a ~ 기준선3a의 기준폭에의 상대값으로 구한 스케일을 바탕으로 보간하여 구한 함수이다.Where X, Y, and Z are variables representing the horizontal, vertical and front and back coordinates of each control point, and X ', Y' and Z 'are the horizontal, vertical and front and rear directions of each control point whose coordinates are modified. Variable representing the coordinates. The scale function S 2 (X) is the relative value of the three-dimensional basic model to the reference width of the reference line 1 to the reference line 3 in the X direction and the reference width of the reference line 1a to the reference line 3a of the two-dimensional image at the corresponding position. This function is obtained by interpolating based on the obtained scale.
수학식 6을 이용하여 3차원 기본 모델상의 제어점과 일반점의 X축방향 좌표를 수정하여 3차원 기본 모델의 얼굴 좌우 비율을 2차원 이미지의 좌우 비율에 일치시켜 얼굴의 윤곽선을 맞춰준다.By using Equation 6, the X-axis coordinates of the control point and the general point on the 3D basic model are corrected to match the contour of the face by matching the left and right ratio of the 3D basic model to the left and right ratio of the 2D image.
윤곽선을 2차원 이미지에 일치시킨 3차원 기본모델(이하 "변형모델"이라 함)은 눈, 코, 입을 2차원 이미지에 일치하도록 변형하는 과정을 거치게 된다.The three-dimensional basic model (hereinafter, referred to as a "deformation model") that conforms the contour to the two-dimensional image undergoes a process of deforming the eye, nose, and mouth to match the two-dimensional image.
변형 모델에서 1번점과 57번점의 X방향 좌표의 차이가 2차원 이미지의 대응하는 점들 사이의 좌표차이와 같아지도록 57번점의 좌표를 옮겨주며, 옮겨진 57번점과 53번점의 X방향 좌표의 차이가 2차원 이미지의 대응하는 점들 사이의 좌표차이와 같아지도록 53번의 좌표를 옮겨준다. 상기 과정을 통해 변형모델의 눈의 좌우폭과 2차원 이미지 눈의 좌우폭을 맞춰 줄 수 있으며, 상하간격은 얼굴 윤곽선을맞춰주는 과정에서 이미 일치하므로 눈의 모양이 일치하게 된다.In the deformed model, the coordinates of point 57 are moved so that the difference in the X direction coordinates of points 1 and 57 is equal to the coordinate difference between the corresponding points of the two-dimensional image. The 53 coordinates are shifted to equal the difference in coordinates between the corresponding points in the 2D image. Through the above process, the left and right widths of the eyes of the deformed model and the left and right widths of the two-dimensional image eyes can be matched.
코의 경우도 상하간격은 이미 일치되어 있으며 좌우폭은 1번점의 X좌표와 31번점의 X좌표의 차이가 2차원 이미지의 대응하는 두 점들간의 X좌표의 차이와 같아지도록 31번 좌표를 옮겨준다. 30번, 32번점도 상기의 과정을 통해 옮겨준다.In the case of the nose, the upper and lower intervals are already coincident, and the left and right widths are shifted to the 31st coordinate so that the difference between the X coordinate of the 1st point and the X coordinate of the 31st point is equal to the difference between the X coordinates of two corresponding points of the 2D image. . Move points 30 and 32 through the above process.
입술을 맞춰주는 방법도 상기의 과정과 동일한 방법으로 1번점과 41번점을 이용하여 41번점을 X방향으로 이동시키고, 마찬가지 방법으로 40번 점의 X방향 좌표를 이동시킨다.In the same way as the above process, the point 41 is moved in the X direction by using the points 1 and 41, and in the same manner, the coordinates of the 40 points are moved in the X direction.
이와같은 방법을 통해 변형모델의 눈, 코, 입이 2차원 이미지에 일치하도록 변형할 수 있으며, 주요한 특징이 되는 점들뿐만 아니라 기타의 제어점들도 상기의 과정으로 옮겨주면 보다 정확한 3차원 변형모델을 생성할 수 있다.In this way, the eyes, nose, and mouth of the deformable model can be deformed to match the two-dimensional image, and not only the main features but also other control points can be moved to the above process to produce a more accurate three-dimensional deformable model. Can be generated.
또한 변형모델의 눈, 코, 입을 2차원 이미지에 일치시키는 작업은 입출력인터페이스(40)를 통해 직접 마우스로 조절할 수도 있다.In addition, matching the eyes, nose, and mouth of the deformed model to a two-dimensional image may be directly controlled by a mouse through the input / output interface 40.
변형모델을 생성하는 또 다른 방법은 특정 제어점을 원점으로 하여 다른 특정한 두 제어점의 위치벡터를 기준벡터로 하여 2차원 이미지 상의 각 제어점들의 위치벡터를 상기 기준벡터의 일차결합 형태로 표현하고, 3차원 기본모델 상의 각 제어점들도 상기의 경우와 같은 방법으로 각 제어점들의 위치벡터를 3차원 기본모델 상의 기준벡터의 일차결합 형태로 표현한 후, 상기 3차원 기본모델의 각 제어점들의 일차결합 계수가 상기 2차원 이미지의 각 제어점들의 일차결합 계수와 같게 하는 방법이다. 예컨대, 51번점을 원점으로 가정하고 5번점의 위치벡터를, 33번점의 위치벡터를와 같이 기준벡터로 설정하면, N번 점의 위치벡터은 상기기준벡터의 일차결합형태로 나타낼 수 있으며, 수학식 7과 같이 표시할 수 있다.Another method of generating a deformation model is to express the position vector of each control point on the two-dimensional image as a first-order combination of the reference vector using the control vectors as the origin and the position vectors of the other two control points as reference vectors. Each control point on the base model also expresses the position vector of each control point in the form of the first combination of the reference vectors on the 3D base model in the same manner as above, and then the first combination coefficient of each control point of the 3D base model is 2 This is equal to the first-order coupling coefficient of each control point of the dimensional image. For example, suppose that 51 is the origin, and the position vector of 5 is , The position vector of point 33 If set as a reference vector, the position vector of point N May be represented as a first-order combination of the reference vector, and may be expressed as shown in Equation 7.
2차원 이미지도 대응하는 점들에 대하여 기준벡터를 각각이라 하고 N번 점의 위치벡터를라고 하면 수학식 8로 표시할 수 있다.Two-dimensional images also have reference vectors for the corresponding points Let's call the position vector of point N Can be expressed by Equation (8).
상기 3차원 기본모델의 aN,bN값을 2차원 이미지의 aN' ,bN'으로 바꿔주면 3차원 기본모델 상의 모든 제어점들이 2차원 이미지 상의 모든 제어점들간의 상대적인 위치가 일치되게 되어, 3차원 기본모델의 외형이 2차원 이미지의 외형과 일치하도록 변형된다.Is to be the three-dimensional base model of a N, b N value, the two-dimensional image of a N all control points on the three-dimensional base model done by changing a ', b N' to match the relative positions between all the control points on the two-dimensional image, The appearance of the 3D basic model is modified to match the appearance of the 2D image.
상기 2가지 방법으로 3차원 기본모델의 제어점을 2차원 이미지의 제어점들간의 상대적인 위치에 일치하도록 옮기는 과정에서 보다 부드러운 3차원 얼굴모델을 생성하기 위하여 일반점들도 함께 옮겨주게 된다.In the above two methods, in order to move the control point of the 3D basic model to match the relative positions of the control points of the 2D image, general points are also moved together to generate a smoother 3D face model.
도 6a, 6b, 6c는 3차원 기본모델의 제어점들간의 상대적인 위치를 2차원 이미지에 일치시키는 과정에서 일반점들의 위치를 바꿔주는 방법을 설명하기 위한 도면이다.6A, 6B, and 6C are diagrams for describing a method of changing positions of general points in a process of matching a relative position between control points of a 3D basic model to a 2D image.
도 6a를 살펴보면 각 제어점들은 3개씩 모여 하나의 삼각형을 이루고 있으며, 삼각형 내부의 일반점들(도시되지 않음)은 삼각형 꼭지점을 이루는 세 제어점들과 일정한 관계를 유지하도록 되어 있다.Referring to FIG. 6A, each control point is three to form a triangle, and general points (not shown) inside the triangle maintain a constant relationship with three control points forming a triangle vertex.
도 6b에 도시된 삼각형은 도 6a에 도시된 3차원 기본모델에 있는 3개의 제어점으로 이루어진 삼각형 중 하나라고 생각할 수 있다. 편의상 삼각형의 세 꼭지점을 제어점1, 제어점2, 제어점3이라 하자. 삼각형 내부에는 일반점이 없을 수도 있고, 하나 또는 복수개의 일반점이 있을 수 있다. 이하는 어느 특정한 하나의 일반점에 대해서만 생각해보기로 한다. 상기 3차원 기본모델을 변형하여 2차원 이미지의 외형에 일치시키는 과정에서 3차원 기본 모델상의 제어점들은 움직인다(좌표가 변한다). 만일 제어점2, 제어점, 제어점3이 도 6b에 도시된 것과 같은 방향으로 움직인다면, 도 6c에 도시된 바와같이 제어점1, 제어점2, 제어점3의 위치(좌표)는 각각 제어점1', 제어점2', 제어점3'으로 옮겨질 것이다. 제어점이 옮겨지면 삼각형 내부의 일반점은 도 6b와 도 6c에 도시된 바와 같이 제어점들과의 거리 비율이 일정하게 되도록 옮겨진다. 즉 제어점1, 제어점2, 제어점3의 좌표를 각각 (x1, y1, z1), (x2, y2, z2), (x3, y3, z3)라고 하고 일반점의 좌표를 (x, y, z)라고 하고, 제어점1', 제어점2', 제어점3'의 좌표를 각각 (x'1, y'1, z'1),(x'2, y'2, z'2),(x'3, y'3, z'3)라고 하면 일반점의 변형 좌표 (x', y', z')는 수학식 9와 같이 계산될 수있다.The triangle shown in FIG. 6B can be thought of as one of the triangles consisting of three control points in the three-dimensional basic model shown in FIG. 6A. For convenience, the three vertices of the triangle are called control point 1, control point 2, and control point 3. There may be no general point inside the triangle, or there may be one or more general points. We will only consider one particular general point. In the process of transforming the 3D basic model to match the appearance of the 2D image, control points on the 3D basic model move (coordinates change). If the control point 2, the control point, and the control point 3 moves in the same direction as shown in Fig. 6B, the positions (coordinates) of the control point 1, the control point 2, and the control point 3, as shown in Fig. 6C, respectively, are the control point 1 'and the control point 2', respectively. Will be moved to control point 3 '. When the control point is moved, the general point inside the triangle is moved so that the distance ratio with the control points is constant as shown in FIGS. 6B and 6C. That is, the coordinates of the control point 1, the control point 2, and the control point 3 are referred to as (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 ), respectively. Coordinates are referred to as (x, y, z), and coordinates of control point 1 ', control point 2', and control point 3 'are respectively (x' 1 , y ' 1 , z' 1 ), (x ' 2 , y' 2 , z ' 2 ), (x' 3 , y ' 3 , z' 3 ), the transformation coordinates (x ', y', z ') of the general point may be calculated as in Equation (9).
하나의 삼각형 내부에 복수개의 일반점이 있더라도 수학식 9에 의해 계산되어 일반점의 옮겨질 좌표를 구할 수 있다. 상기 일반점의 위치를 제어점의 위치 변화에 따라 변화시키는 과정은 3차원 기본모델 변형 소프트웨어를 사용하여 중앙처리장치(20)내의 3차원 얼굴모델 생성 프로세스(24)에서 수행된다.Even if there are a plurality of common points within one triangle, the coordinates to be moved by the equation 9 can be calculated. The process of changing the position of the general point according to the change of the position of the control point is performed in the three-dimensional face model generation process 24 in the central processing unit 20 using the three-dimensional basic model transformation software.
바람직한 실시예에서 3차원 기본모델을 2차원 이미지에 일치하도록 변형하는 과정은 원기둥좌표에서 수행되며, 이 경우 직교좌표는 수학식 10에 의해 변형된다.In a preferred embodiment, the process of transforming the three-dimensional basic model to match the two-dimensional image is performed in cylindrical coordinates, in which case the rectangular coordinates are modified by Equation 10.
수학식 10에 의해 변형된 좌표를 가진 제어점 및 일반점의 이동은 (θ, H) 평면상에서 수행된다.The movement of the control point and the normal point with the coordinates modified by Equation 10 is performed on the (θ, H) plane.
2차원 이미지의 형상에 일치하도록 변형된 3차원 기본모델에 2차원 이미지의 텍스쳐를 매핑하는 과정을 거쳐 특정인 얼굴의 3차원 얼굴모델이 생성된다. 텍스쳐 매핑하는 단계는 중앙처리장치(20)의 3차원 얼굴모델 생성 프로세스(24)에서 소프트웨어 저장부(14)에 있는 텍스쳐 매핑 소프트웨어를 이용하여 수행되며, 2차원 이미지 저장부(12)에 저장되어 있는 2차원 이미지의 텍스쳐를 3차원 변형모델에 매핑하여 3차원 얼굴모델을 생성한다. 생성된 3차원 얼굴모델은 입출력 인터페이스를 통해(40) 외부로 출력할 수 있으며, 3차원 얼굴모델 저장부(18)에 데이터가 저장할 수 있다. 3차원 변형모델에 2차원 이미지의 텍스쳐를 매핑할 때, 3차원 변형모델 상의 제어점들과 일반점들로 이루어진 삼각형을 기준으로 매핑이 일어난다. 즉 3차원 변형모델 상의 특정 삼각형의 텍스쳐는 2차원 이미지 상의 대응하는 삼각형의 텍스쳐를 3차원 변형모델의 삼각형에 매핑하여 얻을 수 있다.Through the process of mapping the texture of the 2D image to the 3D basic model deformed to match the shape of the 2D image, a 3D face model of a specific face is generated. The texture mapping step is performed using the texture mapping software in the software storage unit 14 in the 3D face model generation process 24 of the central processing unit 20, and stored in the 2D image storage unit 12. A 3D face model is created by mapping a texture of a 2D image to a 3D deformation model. The generated 3D face model may be output to the outside through the input / output interface 40, and data may be stored in the 3D face model storage unit 18. When mapping a texture of a 2D image to a 3D deformation model, the mapping occurs based on a triangle composed of control points and general points on the 3D deformation model. That is, the texture of a specific triangle on the three-dimensional deformation model may be obtained by mapping the texture of the corresponding triangle on the two-dimensional image to the triangle of the three-dimensional deformation model.
발명의 바람직한 실시예는 마이크로소프트사에서 제공하는 "Direct3D"라는 그래픽 라이브러리를 사용하여 텍스쳐 매핑 소프트웨어를 구현한다. 상기 Direct3D의 특징을 약술하면, Direct3D는 3차원 오브젝트를 정의하고 구현할 수 있게 해주어, 3차원의 점뿐만 아니라 오브젝트의 위치와 자세를 기술할 수 있게 해준다. 또한 오브젝트의 표면에서 빛이 반사되는 각도와 양 및 흡수되는 양을 모두 고려하여 최종적으로 빛이 반사되는 면이 어떤 색으로 표시되는지를 결정하도록 할 수 있으며, 오브젝트가 재질감을 갖도록 2차원의 재질감을 나타내는 이미지를 3차원 오브젝트에 매핑할 수도 있다.A preferred embodiment of the invention implements texture mapping software using a graphics library called "Direct3D" provided by Microsoft Corporation. In summary, the features of Direct3D allow Direct3D to define and implement three-dimensional objects, allowing not only three-dimensional points but also the position and attitude of the objects. In addition, by considering both the angle and amount of light reflected from the surface of the object and the amount absorbed, it is possible to determine the color of the surface where the light is finally reflected. You can also map the image you represent to a three-dimensional object.
텍스쳐 매핑과정을 구체적으로 설명하면, 3차원 기본모델이 2차원 이미지의 형상에 일치하도록 변형될 때, 일반점들도 제어점들과 함께 이동하게 되고, 상기 이동된 일반점들의 좌표에 대응하는 2차원 이미지의 일반점들을 소프트웨어에서 설정하고 제어점들과 일반점들로 이루어진 삼각형을 단위로 2차원 이미지의 텍스쳐를 변형된 3차원 기본모델에 매핑시켜 3차원 얼굴모델을 생성한다.The texture mapping process will be described in detail. When the 3D basic model is deformed to match the shape of the 2D image, general points also move together with control points, and the 2D corresponding to the coordinates of the moved general points The general points of the image are set in the software and the 3D face model is created by mapping the texture of the 2D image to the modified 3D basic model based on the triangle composed of the control points and the general points.
도 7a, 7b는 본 발명을 통해 2차원 이미지가 3차원의 얼굴모델로 바뀐 모습을 보여주는 화상도이다.7A and 7B are image views showing a state in which a 2D image is changed to a 3D face model through the present invention.
일단 본 발명을 통해 3차원 얼굴모델이 만들어지면, 정면의 모습뿐만 아니라 고개를 돌린 모습도 만들 수 있게 된다.Once the three-dimensional face model is made through the present invention, it is possible to create not only the frontal appearance but also the face turned.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예컨대, 본 발명은 제어점을 이동하여 2차원 이미지와 다른 표정연출을 한다든지, 생성된 3차원 얼굴모델의 옆모습을 보여준다든지, 텍스쳐 매핑과정을 약간 수정하여 애니메이션용 캐릭터를 만들 수 있다든지 하는 것이 가능하다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. For example, the present invention can move a control point to express a different expression from a two-dimensional image, show a side view of a generated three-dimensional face model, or modify a texture mapping process to make a character for animation. Do. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
상술한 바와 같이, 본 발명은 얼굴 정면사진만으로 3차원 얼굴모델을 만들 수 있으며, 한 장의 얼굴 정면 사진만으로 3차원 얼굴 모델을 만들기 때문에 특수한 장비를 갖춘 스튜디오를 필요로 하지 않고 일반 사진만으로도 저렴한 비용으로 3차원 얼굴모델을 만들 수 있다.As described above, the present invention can make a three-dimensional face model with only the face front picture, and because it creates a three-dimensional face model with only one face front picture, it does not require a studio equipped with special equipment, and at a low cost with only a general picture. Create 3D face models
3차원 얼굴모델을 만드는 과정에서 3차원 기본 모델의 얼굴 윤곽선을 2차원 이미지에 맞추어주기 때문에 보다 부드러운 3차원 얼굴 모델을 만들 수 있으며, 3차원 얼굴모델의 제어점을 이용하여 얼굴 표정의 변화를 연출할 수 있으며, 성형이나 피부 질감의 변형이 가능하다.In the process of creating a three-dimensional face model, the contours of the three-dimensional basic model are matched to the two-dimensional image, so that a smoother three-dimensional face model can be created, and the control points of the three-dimensional face model can be used to produce a change in facial expression. It is possible to mold or deform the skin texture.
또한 수십개의 제어점만을 사용하여 쉽게 3차원 얼굴모델을 생성할 수 있으며, 3차원 얼굴모델은 상기 제어점만에 천여개의 일반점들을 가지고 있어 부드러운 얼굴 이미지를 만들 수 있다.In addition, a three-dimensional face model can be easily generated using only dozens of control points, and the three-dimensional face model has a thousand general points in only the control points, thereby making a soft face image.
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0078691A KR100372811B1 (en) | 2000-12-19 | 2000-12-19 | Method for Making 3D Face Model by Using a 2D Human Face Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0078691A KR100372811B1 (en) | 2000-12-19 | 2000-12-19 | Method for Making 3D Face Model by Using a 2D Human Face Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020049504A true KR20020049504A (en) | 2002-06-26 |
| KR100372811B1 KR100372811B1 (en) | 2003-02-26 |
Family
ID=27683463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0078691A KR100372811B1 (en) | 2000-12-19 | 2000-12-19 | Method for Making 3D Face Model by Using a 2D Human Face Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100372811B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082160A (en) * | 2002-04-17 | 2003-10-22 | 백수곤 | Real Time Sprite Modeling |
| KR100874817B1 (en) * | 2003-06-30 | 2008-12-26 | 마이크로소프트 코포레이션 | Facial feature detection method, media and apparatus using stereo combining mechanism |
| US8537155B2 (en) | 2009-06-25 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| US9799140B2 (en) | 2014-11-25 | 2017-10-24 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3D face model |
| KR20180116996A (en) | 2017-04-18 | 2018-10-26 | 한국과학기술원 | 3-dimensional face frontalization system and method |
| WO2019164266A1 (en) * | 2018-02-23 | 2019-08-29 | Samsung Electronics Co., Ltd. | Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same |
| CN112348937A (en) * | 2019-08-09 | 2021-02-09 | 华为技术有限公司 | Face image processing method and electronic equipment |
| CN112614213A (en) * | 2020-12-14 | 2021-04-06 | 杭州网易云音乐科技有限公司 | Facial expression determination method, expression parameter determination model, medium and device |
| CN117058329A (en) * | 2023-10-11 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | Face rapid three-dimensional modeling method and system |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100654396B1 (en) * | 2005-12-15 | 2006-12-06 | 제양수 | 3d conversion apparatus for 2d face image and simulation apparatus for hair style using computer |
| KR20150144075A (en) | 2014-06-16 | 2015-12-24 | 전영권 | 3D Objects Transforming Method by Using 2D Image and Hardening Method of 3D Objects |
| KR101779265B1 (en) * | 2015-12-23 | 2017-09-26 | 군산대학교산학협력단 | Manufacturing 3-dimensional face using 3d printing with 2d pictures |
| KR20160075470A (en) | 2016-06-20 | 2016-06-29 | 전영권 | 3D Objects Transforming Method by Using 2D Image and Hardening Method of 3D Objects |
| KR102006593B1 (en) | 2019-03-22 | 2019-08-01 | 학교법인 정화예술대학 | Digital waorking system for special makeup using photogrammetry and 3d printer and the digital working method using this |
-
2000
- 2000-12-19 KR KR10-2000-0078691A patent/KR100372811B1/en not_active IP Right Cessation
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082160A (en) * | 2002-04-17 | 2003-10-22 | 백수곤 | Real Time Sprite Modeling |
| KR100874817B1 (en) * | 2003-06-30 | 2008-12-26 | 마이크로소프트 코포레이션 | Facial feature detection method, media and apparatus using stereo combining mechanism |
| US8537155B2 (en) | 2009-06-25 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| US9799140B2 (en) | 2014-11-25 | 2017-10-24 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3D face model |
| US9928647B2 (en) | 2014-11-25 | 2018-03-27 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3D face model |
| KR20180116996A (en) | 2017-04-18 | 2018-10-26 | 한국과학기술원 | 3-dimensional face frontalization system and method |
| WO2019164266A1 (en) * | 2018-02-23 | 2019-08-29 | Samsung Electronics Co., Ltd. | Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same |
| US10977873B2 (en) | 2018-02-23 | 2021-04-13 | Samsung Electronics Co., Ltd. | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same |
| US11798246B2 (en) | 2018-02-23 | 2023-10-24 | Samsung Electronics Co., Ltd. | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same |
| CN112348937A (en) * | 2019-08-09 | 2021-02-09 | 华为技术有限公司 | Face image processing method and electronic equipment |
| CN112614213A (en) * | 2020-12-14 | 2021-04-06 | 杭州网易云音乐科技有限公司 | Facial expression determination method, expression parameter determination model, medium and device |
| CN112614213B (en) * | 2020-12-14 | 2024-01-23 | 杭州网易云音乐科技有限公司 | Facial expression determining method, expression parameter determining model, medium and equipment |
| CN117058329A (en) * | 2023-10-11 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | Face rapid three-dimensional modeling method and system |
| CN117058329B (en) * | 2023-10-11 | 2023-12-26 | 湖南马栏山视频先进技术研究院有限公司 | Face rapid three-dimensional modeling method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100372811B1 (en) | 2003-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3288353B2 (en) | How to create a 3D face model starting from a face image | |
| US5745666A (en) | Resolution-independent method for displaying a three-dimensional model in two-dimensional display space | |
| US7365749B1 (en) | Computer readable medium for modifying an animation wire frame | |
| KR100372811B1 (en) | Method for Making 3D Face Model by Using a 2D Human Face Image | |
| KR100327541B1 (en) | 3D facial modeling system and modeling method | |
| US7098920B2 (en) | Methods and systems for animating facial features and methods and systems for expression transformation | |
| Kurihara et al. | A transformation method for modeling and animation of the human face from photographs | |
| US7356447B2 (en) | Facial image processing methods and systems | |
| JPH1011609A (en) | Device and method for generating animation character | |
| CN106952336B (en) | Feature-preserving human three-dimensional head portrait production method | |
| US20050280644A1 (en) | Image processing method, image processing apparatus, image processing program, and storage medium | |
| JP2006520054A (en) | Image matching from invariant viewpoints and generation of 3D models from 2D images | |
| CN107452049B (en) | Three-dimensional head modeling method and device | |
| US6989834B2 (en) | System and apparatus for customizing a computer animation wireframe | |
| KR100317138B1 (en) | Three-dimensional face synthesis method using facial texture image from several views | |
| US20040169652A1 (en) | System and computer-implemented method for modeling the three-dimensional shape of an object by shading of a two-dimensional image of the object | |
| KR20010084996A (en) | Method for generating 3 dimension avatar using one face image and vending machine with the same | |
| KR20120121031A (en) | How to create 3D face model using 2D face photo | |
| KR102449987B1 (en) | Method for automatically setup joints to create facial animation of 3d face model and computer program thereof | |
| JP2001222725A (en) | Image processor | |
| 奥屋武志 | Real-Time Rendering Method for Reproducing the Features of Cel Animations | |
| JP3023903B2 (en) | Image generation method and image generation device | |
| Lin et al. | High resolution calibration of motion capture data for realistic facial animation | |
| Karunaratne et al. | A new efficient expression generation and automatic cloning method for multimedia actors | |
| KR20010073961A (en) | Human Head/Face Modeller Generation Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| N231 | Notification of change of applicant | ||
| LAPS | Lapse due to unpaid annual fee |