KR20010084670A - Texture mapping method and apparatus for 2D facial image to 3D facial model - Google Patents

Texture mapping method and apparatus for 2D facial image to 3D facial model Download PDF

Info

Publication number
KR20010084670A
KR20010084670A KR1020000009867A KR20000009867A KR20010084670A KR 20010084670 A KR20010084670 A KR 20010084670A KR 1020000009867 A KR1020000009867 A KR 1020000009867A KR 20000009867 A KR20000009867 A KR 20000009867A KR 20010084670 A KR20010084670 A KR 20010084670A
Authority
KR
South Korea
Prior art keywords
dimensional face
face image
texture
dimensional
model
Prior art date
Application number
KR1020000009867A
Other languages
Korean (ko)
Other versions
KR100360487B1 (en
Inventor
황의현
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1020000009867A priority Critical patent/KR100360487B1/en
Publication of KR20010084670A publication Critical patent/KR20010084670A/en
Application granted granted Critical
Publication of KR100360487B1 publication Critical patent/KR100360487B1/en

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03BMACHINES OR ENGINES FOR LIQUIDS
    • F03B17/00Other machines or engines
    • F03B17/06Other machines or engines using liquid flow with predominantly kinetic energy conversion, e.g. of swinging-flap type, "run-of-river", "ultra-low head"
    • F03B17/062Other machines or engines using liquid flow with predominantly kinetic energy conversion, e.g. of swinging-flap type, "run-of-river", "ultra-low head" with rotation axis substantially at right angle to flow direction
    • F03B17/063Other machines or engines using liquid flow with predominantly kinetic energy conversion, e.g. of swinging-flap type, "run-of-river", "ultra-low head" with rotation axis substantially at right angle to flow direction the flow engaging parts having no movement relative to the rotor during its rotation
    • F03B17/064Other machines or engines using liquid flow with predominantly kinetic energy conversion, e.g. of swinging-flap type, "run-of-river", "ultra-low head" with rotation axis substantially at right angle to flow direction the flow engaging parts having no movement relative to the rotor during its rotation and a rotor of the endless-chain type
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/20Hydro energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A method and apparatus is provided, in which control point and related vertexes are processed in an individual unit, to thereby reduce data process speed and obtain natural texture. CONSTITUTION: A method comprises the first step(200-220) of grouping pre-defined control points reflecting characteristics of a face in a three-dimensional face model, into individual unit of face component, and adjusting, in individual units, control points to be near to a two-dimensional face image; the second step(230-250) of calculating different displacement vectors in each unit with respect to vertexes contained in the unit except the control units, and obtaining a transformed three-dimensional face model; and the third step(260,270) creating texture in three-dimensional coordinate system of the two-dimensional face image by using coordinates of the transformed three-dimensional face model.

Description

2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법 및 그 장치{Texture mapping method and apparatus for 2D facial image to 3D facial model}Texture mapping method and apparatus for 2D facial image to 3D facial model}

본 발명은 3차원 영상을 생성하는 방법 및 장치에 관한 것으로, 특히 2차원 얼굴 영상으로 부터 3차원 얼굴 모델로의 텍스쳐 매핑 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a 3D image, and more particularly, to a texture mapping method and a device from a 2D face image to a 3D face model.

얼굴 모델링은 3차원 모델링 부분에서도 난이도가 높은 부분이다. 얼굴은 굴곡이 심하며, 미묘한 변화에도 사람이 쉽게 차이를 느끼는 부분이기 때문이다. 개인적으로 표준 모델을 만들어 사용하더라도 각 부위별로 필요한 변형 방법이 다르기 때문에, 현재 일반화된 3차원 그래픽 프로그램을 이용한 모델링이나 애니메이션에는 많은 경험과 시간이 필요하다.Face modeling is also a difficult part in 3D modeling. This is because the face is very curved, and it is a part where a person can easily see a difference even with subtle changes. Personally, even if a standard model is created and used, the deformation methods required for each part are different. Therefore, a lot of experience and time are required for modeling and animation using a generalized 3D graphic program.

얼굴 모델의 생성은 용도에 따라 크게 두 방향으로 볼 수 있다. 첫번째, 영화 등에 사용되는 고품질의 얼굴 모델로, 각종 3차원 모델링 툴에 점차 얼굴 모델링을 위한 기능들이 포함되고 있다. 이러한 툴에 의한 생성된 얼굴 모델은 정교하지만, 애니메이션을 구현하기 위한 일반적인 모델 변형 방법을 사용하기 때문에, 실시간 처리에 문제점이 있다. 이러한 이유로 인해 일부 애니메이션 제작 회사는 비공개로 얼굴 모델링만을 위한 자체 프로그램을 개발하여 사용하고 있다. 두번째, 게임 등에 사용되는 단순화된 얼굴 모델로, 실시간 애니메이션에 중점을 둔 경우이다. 그러나, 두가지 경우 모두 얼굴을 모델링하는 과정에서, 많은 단계들을 직접 사람이 조정해야 하며, 모델러의 역량에 의해 생성된 얼굴 모델의 품질과 애니메이션시에 발생하는 추가 변경 사항들이 달라지게 된다. 따라서, 효율적인 애니메이션을 위해서, 간편한 얼굴 모델링 방법과 그와 연동된 얼굴 애니메이션 툴이 필요하다.The generation of the face model can be viewed in two directions depending on the application. First, as a high quality face model used in movies, various 3D modeling tools are gradually including functions for face modeling. The face model generated by such a tool is sophisticated, but there is a problem in real time processing because it uses a general model transformation method for implementing animation. For this reason, some animation production companies have developed their own programs for face modeling privately. Second, a simplified face model used in games, etc., with a focus on real-time animation. In both cases, however, during the modeling of the face, many steps must be manually adjusted, and the quality of the face model generated by the modeler's capabilities and the additional changes that occur during the animation will vary. Therefore, for efficient animation, a simple face modeling method and associated facial animation tools are required.

종래의 모델링 소프트웨어를 사용한 얼굴 모델 생성 방법은 스크래치 빌딩(scratch building)과 형틀(template) 수정의 두 가지 방법으로 나뉜다. 스크래치 빌딩은 툴이 제공하는 다각형 패치 혹은 베지어 패치등을 사용하여 얼굴 모델을 새롭게 만들어 내는 방법이다. 한편, 형틀 수정은 이미 제작된 형틀을 수정해서 모델을 만들게 되는데, 표준화된 모델이 충분한 검토를 거치지 않은 상태에서 모델이 이후 애니메이션에 사용될 때 부자연스러운 모습을 지닌다. 또한, 형틀의 수정 과정에서 형틀을 구성하는 각 정점(vertex)을 직접 고쳐야 하므로, 자연스러운 모델을 생성하는데에는 큰 어려움이 생긴다. 다른 범용 방법으로 모형을 3차원 스캐닝 하는 방법이 있는데, 과도한 폴리곤 수의 증가와 그에 따른 애니메이션과의 연동의 어려움등이 있다.The face model generation method using the conventional modeling software is divided into two methods: scratch building and template correction. Scratch Building is a new way to create face models using tool-provided polygon patches or Bezier patches. On the other hand, the template modification is to make a model by modifying the already produced template, which is unnatural when the model is used for later animation without the standardized model has undergone sufficient review. In addition, since the vertices constituting the template must be corrected directly in the process of modifying the template, it is difficult to generate a natural model. Another general purpose method is 3D scanning of the model, which includes an excessive increase in the number of polygons and difficulty in linking with animation.

종래의 기술에서, 표준 모델의 변형에 의한 얼굴 모델 생성 방법은 현재 여러 연구 기관에서 사용중이며, 각기 조금씩 다른 방법으로 사용중이다. 대부분 제어점을 설정하고, 그 제어점을 조정하여 표준 모델을 변형한다는 기본 개념은 동일하게 사용된다. 그러나, 제어점의 위치와 개수에 차이를 보이며, 제어점 이외의 정점에 대한 보간 함수가 다르다. 그중에서 텍스쳐의 처리 방법은 정면 영상과 측면 영상이 연결되는 부위의 경계를 블렌딩(blending)하는 기술이 보통 사용되고 있다.In the prior art, a method of generating a face model by modification of a standard model is currently used by various research institutes, and is used in a slightly different method. In most cases, the basic concept of setting a control point and adjusting the control point to transform the standard model is the same. However, the position and number of control points are different, and the interpolation functions for the vertices other than the control point are different. Among them, a technique of blending a boundary between a portion where a front image and a side image are connected is commonly used as a texture processing method.

그러나, 종래의 표준 모델의 변형에 의한 모델 생성 방법은 다음과 같은 단점들이 있다. 첫째, 제어점을 개체로 묶어 사용하지 않기 때문에 제어점간의 상관관계가 고려되고 있지 않으며, 이에 따라 제어점을 개별적으로 조정해야 하는 번거로움이 있다.However, the model generation method by the modification of the conventional standard model has the following disadvantages. First, since the control points are not tied together as objects, the correlation between the control points is not taken into consideration, and accordingly, the control points need to be adjusted individually.

둘째, 보간 함수를 모델 전체에 대해 한가지 방법만 적용하기 때문에 부위별 정점 분포 특성이 무시되고 있다. 모델에서 정점 분포가 일정하다면 한가지 방법의 적용도 고려할 수 있으나, 일반적으로 코나 입술과 같이 굴곡이 심한 부위에 대해 정점 수를 많이 할당하고, 뺨과 같이 굴곡이 적은 부위에 대해 정점 수를 적게 할당한다. 따라서, 한가지 방법을 적용할 경우에 계산된 정점의 변위 벡터의 크기가 너무 크거나 작게 발생하게 된다. 전체에 대해 단순 선형 보간을 하게 되면 커리커쳐나 독특한 얼굴을 만들때 특징이 잘 반영되지 않는다.Second, because only one method is applied to the entire model, the vertex distribution characteristics of each part are ignored. If the distribution of vertices in the model is constant, one method can be considered.In general, however, the number of vertices is assigned to areas with high bends, such as the nose and lips, and the number of vertices is assigned to areas with less bends, such as cheeks. . Thus, when one method is applied, the magnitude of the calculated displacement vector of the vertex is too large or too small. Simple linear interpolation over the whole does not reflect features when creating a curriculum or unique face.

셋째, 종래에 개발되어 있는 시스템에서 텍스쳐의 생성을 일반적인 영상 처리 툴을 이용하여 수작업으로 만들거나 자동화한 경우라도 텍스쳐의 경계 부위만을 블렌딩하기 때문에 정면과 옆면 영상의 절대 밝기 차이에서 나타나는 영상의 이질감을 해결할 수 없다. 즉, 조명이 보상되지 않을 경우에 정면에서 본 합성 얼굴의 귀 부분은 실제 영상에 비해 밝거나 어둡게 되어 사실감을 떨어뜨리게 된다.Third, even in the case of creating or automating texture generation manually using a conventional image processing tool in a conventionally developed system, since only the boundary of the texture is blended, there is a sense of heterogeneity of the image resulting from the absolute brightness difference between the front and side images. Can't solve it. In other words, when the illumination is not compensated, the ear part of the synthetic face seen from the front becomes brighter or darker than the actual image, thereby reducing the realism.

본 발명이 이루고자 하는 기술적 과제는, 제어점 및 관련 정점들을 개체 단위로 처리함으로써 사용자 인터페이스가 용이하고 빠른 속도로 처리하면서 자연스러운 텍스쳐를 생성하는, 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention provides a texture mapping method of a two-dimensional face image to a three-dimensional face model, which generates a natural texture while processing a control point and related vertices on a per-object basis, thereby easily and quickly processing a user interface. To provide.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 텍스쳐 매핑 방법을 수행하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치를 제공하는데 있다.Another object of the present invention is to provide a texture mapping apparatus of a two-dimensional face image to a three-dimensional face model performing the texture mapping method.

도 1은 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치의 블럭도이다.1 is a block diagram of a texture mapping apparatus of a two-dimensional face image to a three-dimensional face model according to the present invention.

도 2는 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법을 설명하기 위한 플로우챠트이다.2 is a flowchart illustrating a texture mapping method of a two-dimensional face image to a three-dimensional face model according to the present invention.

도 3은 도 1에 도시된 개체 조정부의 바람직한 실시예에 따른 상세 블럭도이다.3 is a detailed block diagram according to a preferred embodiment of the individual adjustment unit shown in FIG. 1.

도 4는 도 1에 도시된 전체 변위 벡터 계산부의 바람직한 실시예에 따른 상세 블럭도이다.FIG. 4 is a detailed block diagram according to a preferred embodiment of the entire displacement vector calculator shown in FIG. 1.

도 5는 도 1에 도시된 텍스쳐 전처리부의 바람직한 실시예에 따른 상세 블럭도이다.5 is a detailed block diagram of a preferred embodiment of the texture preprocessor shown in FIG. 1.

도 6은 본 발명에 이용된 3차원 얼굴 모델 및 그 변형된 모델의 일예를 나타낸 도면이다.6 is a view showing an example of a three-dimensional face model and its modified model used in the present invention.

도 7은 실험을 통해 얻어진 본 발명에 따른 텍스쳐 매핑 예를 나타낸 도면이다.7 is a diagram illustrating an example of texture mapping according to the present invention obtained through an experiment.

상기 과제를 이루기 위하여, 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법은,In order to achieve the above object, the texture mapping method of a two-dimensional face image to a three-dimensional face model according to the present invention,

(a) 3차원 얼굴 모델에서 얼굴의 특징점들을 반영하는 미리 정의된 제어점들을 얼굴의 각 구성 요소별로 묶어 개체로서 취급하고, 입력된 2차원 얼굴 영상에 근접하도록 제어점들을 개체 단위로 조정하는 단계, (b) 제어점들 이외의 개체에 포함된 정점들에 대해 개체내에서 각기 다른 변위 벡터를 계산하여 변형된 3차원 얼굴 모델을 얻는 단계 및 (c) 변형된 3차원 얼굴 모델의 좌표를 이용하여 2차원 얼굴 영상의 3차원 좌표계에서의 텍스쳐를 생성하는 단계를 포함한다.(a) treating the predefined control points reflecting the feature points of the face in the three-dimensional face model as individual objects by combining each component of the face, and adjusting the control points on an individual basis to approach the input two-dimensional face image; b) calculating different displacement vectors within the object for vertices included in objects other than control points to obtain a modified three-dimensional face model and (c) two-dimensional using coordinates of the modified three-dimensional face model. Generating a texture in a three-dimensional coordinate system of the face image.

상기 다른 과제를 이루기 위하여, 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치는,In order to achieve the above object, the texture mapping apparatus of the two-dimensional face image to the three-dimensional face model according to the present invention,

3차원 얼굴 모델에서 얼굴의 특징점들을 반영하는 미리 정의된 제어점들을 얼굴의 각 구성 요소별로 묶어 개체로서 취급하고, 입력된 2차원 얼굴 영상에 맞춰 제어점들을 개체 단위로 대략적으로 조정하는 개체 단위 3차원 얼굴 모델 변형부, 개체내에 제어점들을 세부적으로 조정하고, 각 제어점의 변위 벡터를 계산하는 개체 조정부, 제어점들 이외의 개체에 포함된 정점들에 대해 개체내에서 각기 다른변위 벡터를 계산하여 최종적인 변형된 3차원 얼굴 모델을 얻는 전체 변위 벡터 계산부 및 변형된 표준 모델의 좌표를 이용하여 2차원 얼굴 영상의 3차원 좌표계에서의 텍스쳐를 생성하는 텍스쳐 생성부를 포함한다.Pre-defined control points reflecting the feature points of the face in the three-dimensional face model are treated as objects by grouping each component of the face, and the individual unit three-dimensional face that roughly adjusts the control points in units of objects according to the input two-dimensional face image. The model transformation unit, which adjusts the control points in the object in detail, calculates the displacement vector of each control point, the final deformation by calculating different displacement vectors in the object for the vertices included in the object other than the control points It includes a global displacement vector calculation unit for obtaining a three-dimensional face model and a texture generation unit for generating a texture in the three-dimensional coordinate system of the two-dimensional face image using the coordinates of the modified standard model.

이하, 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법 및 그 장치를 첨부한 도면을 참조하여 다음과 같이 설명한다.Hereinafter, with reference to the accompanying drawings, a method and apparatus for mapping a texture to a three-dimensional face model of a two-dimensional face image according to the present invention will be described as follows.

본 발명은 사람의 얼굴 영상을 2차원 디지털 영상으로 입력하고, 그것을 3차원 얼굴 모델로 반자동 텍스쳐 매핑하여 3차원 애니메이션에 이용할 수 있도록 하는 매핑 포인트를 추출하고, 자연스러운 텍스쳐를 생성하는 방법에 관한 것이다. 자연스러운 얼굴 애니메이션을 위해서는 자연스러운 얼굴 모델의 생성과 정교한 텍스쳐 정합이 필요하다. 본 발명은 얼굴 모델을 생성하기 위해 표준 모델을 변형하는 방법을 이용하고, 또한 자연스러운 텍스쳐 정합을 위한 매핑 포인트 추출 및 텍스쳐를 자연스럽게 연결하기 위한 방법을 이용한다.The present invention relates to a method of inputting a human face image as a two-dimensional digital image, extracting a mapping point for use in three-dimensional animation by semi-automatic texture mapping into a three-dimensional face model, and generating a natural texture. Natural facial animation requires the creation of natural facial models and sophisticated texture matching. The present invention utilizes a method of transforming a standard model to generate a face model, and also uses a method for extracting mapping points for natural texture matching and naturally connecting textures.

도 1은 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치의 블럭도로서, 개체 단위 3차원 얼굴 모델 변형부(100), 개체 조정부(110), 전체 변위 벡터 계산부(120), 텍스쳐 전처리부(130), 원통 좌표계 텍스쳐 생성부(140) 및 데이타 저장부(150)를 구비한다.1 is a block diagram of a texture mapping apparatus of a two-dimensional face image to a three-dimensional face model according to the present invention, wherein the individual unit three-dimensional face model deformation unit 100, the object adjusting unit 110, and the total displacement vector calculation unit ( 120, a texture preprocessor 130, a cylindrical coordinate system texture generator 140, and a data storage 150.

도 2는 본 발명에 의한 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법을 설명하기 위한 플로우챠트이다.2 is a flowchart illustrating a texture mapping method of a two-dimensional face image to a three-dimensional face model according to the present invention.

구체적으로 도 1 및 도 2를 참조하면, 개체 단위 3차원 얼굴 모델 변형부(100)는 먼저, 비디오 캠코더나 다양한 카메라 입력 장치 또는 스캐너, 영상화일 등을 통해 최소한 얼굴의 정면과 측면에 대해 촬영된 정면 얼굴 영상과 측면 얼굴 영상의 2장으로 구성된 2차원 얼굴 영상을 입력한다(제200단계).Specifically, referring to FIGS. 1 and 2, the object-based three-dimensional face model deformation unit 100 is first photographed on at least the front and side surfaces of a face through a video camcorder, various camera input devices, a scanner, an image file, and the like. A two-dimensional face image including two images of a front face image and a side face image is input (operation 200).

개체 단위 3차원 얼굴 모델 변형부(100)는 미리 정의된 3차원 얼굴 모델에서 얼굴의 특징점들을 반영하는 미리 정의된 제어점들을 얼굴의 각 구성 요소별로 묶어 개체로서 취급하고 있다. 2장 이상의 얼굴 영상을 이용하여 미리 정의된 3차원 얼굴 모델을 변형하는데, 본 발명에서는 특징적으로 3차원 얼굴 모델에서 제어점들을 개체 단위로 조정한다(제210단계). 제210단계에서 조정된 개체별로 일련의 개체 번호, 개체의 위치, 크기, 회전각에 대한 변위량을 얻는다(제220단계).The individual unit 3D face model deforming unit 100 treats the predetermined control points reflecting the feature points of the face in the predefined 3D face model for each component of the face as an object. The predefined three-dimensional face model is modified by using two or more face images. In the present invention, the control points are individually adjusted in units of objects in the three-dimensional face model (step 210). For each object adjusted in step 210, a series of object numbers, positions, sizes, and displacements of rotation angles are obtained (step 220).

일반적으로 미리 정의된 3차원 얼굴 모델 즉, 표준 모델은 추후 애니메이션을 위해 모델을 구성하는 모든 점들에 대해 인덱스가 되어 있다. 따라서, 어떤 점이 얼굴에서 어떤 지점에 위치해야 하는지를 미리 알게 된다. 점들중에 제어점으로 사용될 점은 얼굴 영상에서 얼굴 윤곽의 경계선 추출에 따라 나타나는 즉, 경계선상에 존재하는 점으로 선정된다. 본 발명에서 선정된 제어점들은 얼굴의 각 구성 요소별로 예컨대, 눈, 코, 입, 귀 등으로 묶어 개체로서 취급하고, 개체 단위로 2차원 얼굴 영상에 근접하도록 조정된다. 즉, 3차원 얼굴 모델의 변형 단위가 개개의 제어점들이 아닌 개체가 되며, 3차원 얼굴 모델은 개체의 이동, 회전, 크기 변형을 통해 대략적으로 조정된다.In general, the predefined three-dimensional face model, that is, the standard model, is indexed for all points constituting the model for later animation. Thus, you know in advance which point should be located on your face. The point to be used as a control point among the points is selected as a point that appears according to the boundary line extraction of the face contour in the face image, that is, the point existing on the boundary line. The control points selected in the present invention are handled as individual objects by tying, for example, eyes, noses, mouths, ears, etc. for each component of the face, and are adjusted to approximate a two-dimensional face image in units of objects. That is, the deformation unit of the three-dimensional face model becomes an object instead of individual control points, and the three-dimensional face model is roughly adjusted through the movement, rotation, and size deformation of the object.

여기서, 각 개체는 일련 번호, 중심 위치, 크기 및 회전각 등에 대한 정보를 가지고 있다. 또한, 각 개체는 제어점들의 인덱스 정보를 가지고 있다. 사용자 인터페이스를 통해 2차원 얼굴 영상에 맞춰 3차원 얼굴 모델의 제어점들을 개체 단위로 대략적으로 조정한다. 예컨대, 사용자가 컴퓨터 화면에 디스플레이된 2차원 얼굴 영상 위에 미리 정의된 3차원 얼굴 모델이 겹쳐지도록 조작한 후에, 임의의 한 개체를 마우스 등의 입력 장치를 통해 선택하고, 그 위치, 크기 및 회전각 등을 변화시키면, 개체내에 포함된 제어점들이 전체적으로 조정된다.Here, each object has information about the serial number, the center position, the size and the rotation angle. In addition, each entity has index information of control points. Through the user interface, the control points of the 3D face model are roughly adjusted in units of objects in accordance with the 2D face image. For example, after a user manipulates a predefined three-dimensional face model to overlap a two-dimensional face image displayed on a computer screen, an arbitrary object is selected through an input device such as a mouse, and the position, size, and rotation angle thereof. By changing the back, the control points contained within the object are globally adjusted.

개체 단위의 조정은 사용자에게 매우 직관적인 인터페이스를 제공하게 되며, 추후 자동 정합 기술로의 이전에 매우 효과적으로 사용될 수 있다. 본 발명은 또한 개체 단위로 조정된 3차원 얼굴 모델에 대해 세부적인 조정의 편리성과 정확성을 증가시키기 위해 각 제어점은 위치를 별도로 조정할 수 있다.The adjustment of individual units provides a very intuitive interface to the user and can be used very effectively later on in the transfer to automatic matching technology. The present invention also allows each control point to adjust its position separately in order to increase the convenience and accuracy of detailed adjustments for the three-dimensional face model adjusted on an individual basis.

다음에, 개체 조정부(110)는 개체 단위 3차원 얼굴 모델 변형부(100)로 부터 조정된 개체별로 일련의 개체 번호, 개체의 위치, 크기, 회전각에 대한 변위량을 입력하고, 사용자 인터페이스를 통해 선택된 세부적인 조정이 필요한 개체내에 제어점들을 조정하고, 개체내 각 제어점의 변위 벡터를 계산한다. 제220단계에서 얻은 변위량을 이용하여 개체내 모든 제어점들에게 적용되는 개체별 변위 벡터를 계산하고, 이를 이용하여 세부적으로 조정되는 개체내의 제어점의 변위벡터를 계산한다(제230단계).Next, the object adjusting unit 110 inputs a series of object numbers, positions, sizes, and displacements of rotation angles for each object adjusted from the object unit three-dimensional face model deformation unit 100, and through the user interface. Adjust the control points in the object that require the selected fine adjustment and calculate the displacement vector of each control point in the object. The displacement vector of each object applied to all control points in the object is calculated using the displacement amount obtained in operation 220, and the displacement vector of the control point in the object to be adjusted in detail is calculated using the displacement amount (operation 230).

도 3은 도 1에 도시된 개체 조정부(110)의 바람직한 실시예에 따른 상세 블럭도로서, 개체 선택기(302), 개체 정보 조정기(304), 개체별 변위벡터 계산기(306) 및 제어점별 변위 벡터 계산기(308)를 구비한다.3 is a detailed block diagram according to a preferred embodiment of the entity adjusting unit 110 shown in FIG. 1, and includes an entity selector 302, an entity information adjuster 304, an object-specific displacement vector calculator 306, and a control point-specific displacement vector. A calculator 308 is provided.

개체 선택기(302)는 세부적인 조정을 위해 사용자 인터페이스를 통해 선택된 제어점을 입력한다. 정확하게, 제어점 인덱스를 입력한다. 개체 선택기(302)는개체 번호에 대해 그에 포함된 제어점 인덱스를 저장한 룩업 테이블을 참조하여 입력된 제어점 인덱스가 어떤 개체에 포함되어 있는지를 검색하고, 해당 개체를 선택한다. 예컨대, 도 3에서 제어점 인덱스가 index11이면 개체 번호 1이 선택되었다.The object selector 302 enters the selected control point via the user interface for further adjustment. Enter the control point index exactly. The object selector 302 searches for which object the input control point index is included in by referring to the lookup table that stores the control point index included in the object number, and selects the object. For example, if the control point index is index11 in FIG. 3, entity number 1 is selected.

개체 정보 조정기(304)는 개체 선택기(302)에서 선택된 개체 정확하게, 개체 번호 및 개체 단위 3차원 얼굴 모델 변형부(100)에서 조정된 해당 개체의 위치, 크기, 회전각에 대한 변위량을 입력한다. 개체 정보 조정기(304)는 선택된 개체의 정보를 그 변위량을 참조하여 갱신한다. 예컨대, 도 3에서 룩업 테이블에 저장된 개체 번호 1이 갖고 있던 위치, 크기, 회전각이 변경되었음을 보여준다.The entity information adjuster 304 inputs the displacement amount with respect to the position, size, and rotation angle of the entity adjusted by the entity number and the entity unit three-dimensional face model deformation unit 100 exactly as the entity selected by the entity selector 302. The entity information regulator 304 updates the information of the selected entity with reference to the displacement amount. For example, FIG. 3 shows that the position, size, and rotation angle of the object No. 1 stored in the lookup table have been changed.

개체별 변위 벡터 계산기(306)는 개체 정보 조정기(304)에서 갱신된 개체의 위치, 크기, 회전각의 값을 그 개체에 포함된 모든 제어점들에 대해 동일하게 적용하고, 개체별 변위 벡터를 계산한다. 바람직하게, 개체별 변위 벡터는 3차원 얼굴 모델의 고유 좌표에 대한 회전각의 변위량과 크기의 변위량을 곱한 값에 위치의 변위량을 더하여 구해진다. 모델의 고유 좌표는 제어점들 각각에 대해 다르지만, 나머지 값들은 모든 제어점들에 대해 적용된다.The object-specific displacement vector calculator 306 applies the values of the position, size, and rotation angle of the object updated by the object information adjuster 304 to all the control points included in the object, and calculates the object-specific displacement vector. do. Preferably, the displacement vector for each object is obtained by adding the displacement amount of the position to a value multiplied by the displacement amount of the rotation angle with respect to the intrinsic coordinates of the three-dimensional face model. The intrinsic coordinates of the model are different for each of the control points, but the remaining values apply for all control points.

제어점별 변위 벡터 계산기(308)는 개체별 변위 벡터 계산기(306)에서 계산된 개체별 변위 벡터와, 개체 선택기(302)로 입력된 제어점 즉, 사용자가 세부적으로 조정한 제어점에 대한 개별 변위 벡터를 합하여 제어점의 최종적인 변위 벡터를 계산한다. 즉, 사용자에 의해 선택된 제어점은 모델의 고유 좌표상에서 개체 단위로 조정된 후에, 다시 세부 조정된 결과에 따른 개별 변위 벡터를 갖는다.The displacement-specific displacement vector calculator 308 calculates the displacement-specific displacement vectors calculated by the object-specific displacement vector calculator 306 and the individual displacement vectors for the control points input to the object selector 302, that is, the user-adjusted control points. Add up to calculate the final displacement vector of the control point. In other words, the control point selected by the user is adjusted in units of objects on the intrinsic coordinates of the model, and then has individual displacement vectors according to the detailed adjusted results.

다시 도 1을 참조하면, 전체 변위 벡터 계산부(120)는 개체 조정부(110)에서구해진 제어점들의 변위 벡터를 이용하여, 제어점들 이외에 개체에 포함된 정점들에 대해 개체내에서 각기 다른 변위 벡터를 계산한다(제240단계). 또한, 제어점들 이외에 정점들에 대한 변위 벡터는 개체별로 다른 방식이 사용된다. 전체 변위 벡터 계산부(120)에서 정점의 변위 벡터를 계산함으로써 최종적인 변형된 3차원 모델을 얻는다.Referring again to FIG. 1, the total displacement vector calculator 120 uses the displacement vectors of the control points obtained by the object adjuster 110 to calculate different displacement vectors in the object with respect to vertices included in the object in addition to the control points. Calculate (step 240). In addition, in addition to the control points, the displacement vector for the vertices may be different from object to object. By calculating the displacement vector of the vertex in the global displacement vector calculation unit 120 to obtain a final modified three-dimensional model.

3차원 얼굴 모델에서 제어점들 이외의 정점들의 좌표를 자동으로 조정할 때, 왜곡을 최소화하고 연산 수행 시간을 줄이기 위해서 본 발명에서는 개체별로 각기 다른 변위 벡터를 계산한다. 바람직한 실시예로서, 조정 대상이 되는 개체내의 정점과의 거리에 비례하여 제어점들 각각에 가중치를 부여한다. 제230단계에서 계산된 제어점들 각각의 변위 벡터와 각각의 가중치의 곱을 누산하고, 제어점들의 수에 의해 산술 평균하여 정점의 변위 벡터를 구한다.When the coordinates of the vertices other than the control points are automatically adjusted in the 3D face model, different displacement vectors are calculated for each object in order to minimize distortion and reduce computation time. As a preferred embodiment, each of the control points is weighted in proportion to the distance to the vertices in the object to be adjusted. The product of the displacement vector and the weight of each of the control points calculated in operation 230 is accumulated, and the displacement vector of the vertex is obtained by arithmetic averaging by the number of control points.

도 4는 도 1에 도시된 전체 변위 벡터 계산부(120)의 바람직한 실시예에 따른 상세 블럭도로서, 가중치 계산기(402), 누산기(404), 제1 정점별 변위 벡터 계산기(406), 제2 정점별 변위 벡터 계산기(408) 및 선택기(410)를 구비한다.FIG. 4 is a detailed block diagram according to a preferred embodiment of the total displacement vector calculator 120 shown in FIG. 1, which includes a weight calculator 402, an accumulator 404, a first vertex-specific displacement vector calculator 406, and 2 vertex displacement vector calculator 408 and selector 410.

가중치 계산기(402)는 조정 대상이 되는 개체내의 한 정점에 대해 그 정점과 제어점들 사이의 거리를 순차적으로 구한다. 구해진 거리를 실험적으로 결정된 분산값을 갖는 정규 분포 함수에 넣고, 결과적으로 0과 1사이의 값을 얻는데 이 값을 가중치로서 사용한다. 가중치 = exp(- 거리/분산)로 된 식을 이용할 수 있고, 이에 따라 대상 정점과 제어점 사이의 거리가 가까울 수록 1에 가까워진다. 즉, 가중치 계산기(402)는 대상 정점과 가까운 제어점들의 변위 벡터가 대상 정점에 더욱영향을 미치게 한다.The weight calculator 402 sequentially calculates the distance between the vertex and the control points for a vertex in the object to be adjusted. The distance obtained is put into a normal distribution function with experimentally determined variance values, and the result is used as a weight to obtain a value between 0 and 1. An equation of weight = exp (−distance / dispersion) may be used, so that the closer the distance between the target vertex and the control point is, the closer to 1. That is, the weight calculator 402 causes the displacement vector of the control points close to the target vertex to further affect the target vertex.

누산기(404)는 개체 조정부(110)에서 구해진 제어점들의 각각의 변위 벡터와, 대응하는 제어점들에 대한 가중치 계산기(402)에서 계산된 각각의 가중치의 곱을 누산한다. 제1 정점별 변위 벡터 계산기(406)는 누산기(404)에서 누산한 값을 제어점들 각각의 가중치의 합으로 나누어 평균하고, 평균값은 정점의 변위 벡터가 된다. 이와 같은 방법으로 개체내 제어점들을 제외한 정점들에 대한 변위 벡터를 계산한다.The accumulator 404 accumulates the product of the displacement vectors of the control points obtained by the object adjusting unit 110 and the respective weights calculated by the weight calculator 402 for the corresponding control points. The first vertex-displacement vector calculator 406 divides and accumulates the value accumulated by the accumulator 404 by the sum of the weights of the control points, and the average value becomes the displacement vector of the vertex. In this way we compute the displacement vectors for the vertices except for the control points in the object.

이러한 변위 벡터 계산 방식에 따른 결과는 얼굴의 모든 영역에서 좋지는 않다. 이를 보완하기 위해, 제2 정점별 변위 벡터 계산기(408)는 개체 조정부(110)에서 개체별 변위량에 근거하여 모든 제어점들에 적용되는 개체별 변위 벡터를 구한 것과 같이, 개체별 변위량에 근거한 정점의 변위 벡터를 구한다.The result of this displacement vector calculation method is not good in all areas of the face. To compensate for this, the second vertex displacement vector calculator 408 calculates an object displacement vector applied to all the control points based on the object displacement amount in the object adjuster 110, and thus determines the position of the vertex based on the object displacement amount. Find the displacement vector.

선택기(410)는 기본적으로 코와 입술 부위 등과 같이 개체들중에서 정점들이 조밀하게 밀집한 개체에 대해, 제1 및 제2 정점별 변위 벡터 계산기들(406 및 408)의 출력들중에서 큰 값 즉, 변화량이 더 큰 값을 선택하여 정점의 변위 벡터로 이용한다.The selector 410 is basically a large value, i.e., the amount of change in the outputs of the first and second per-vertex displacement vector calculators 406 and 408, for an object with dense vertices among the objects, such as the nose and the lip area. Select this larger value and use it as the displacement vector of the vertex.

다시 도 1을 참조하면, 텍스쳐 전처리부(130)는 본 발명에 의한 텍스쳐 매핑 장치로 입력된 2차원 얼굴 영상에 대해 조명에 민감한 얼굴의 특정 영역을 선정하여 조명 차이를 보상한다.Referring back to FIG. 1, the texture preprocessor 130 compensates for the difference in illumination by selecting a specific area of a face sensitive to illumination with respect to the two-dimensional face image input to the texture mapping apparatus according to the present invention.

제240단계를 거쳐 정점의 변위 벡터까지 계산되면 결국, 3차원 얼굴 모델의 모든 점들에 대한 변위 벡터가 얻어지고, 변형된 3차원 얼굴 모델을 얻는다. 변형된 3차원 얼굴 모델에 의해 정합 좌표가 정해진다. 이때, 변형된 3차원 얼굴 모델에 2차원 얼굴 영상의 텍스쳐를 매핑하기에 앞서 텍스쳐를 전처리한다(제250단계). 즉, 텍스쳐 데이타로 사용할 2차원 얼굴 영상의 자연스러운 연결을 위해 전처리 단계로서 특정 부위의 영상값을 이용한 조명 보상을 도입한다.When the displacement vector of the vertex is calculated through the step 240, the displacement vector for all the points of the three-dimensional face model is obtained, and the modified three-dimensional face model is obtained. Registration coordinates are determined by the modified three-dimensional face model. At this time, the texture is preprocessed before mapping the texture of the 2D face image to the modified 3D face model (operation 250). That is, lighting compensation using image values of specific regions is introduced as a preprocessing step for a natural connection of a two-dimensional face image to be used as texture data.

일반적으로 입력된 2차원 얼굴 영상의 텍스쳐 데이타는 정면과 측면이 대부분의 경우에 다른 조명 방향과 다른 밝기를 갖게 된다. 조명 방향의 보상은 통상적으로 매우 어려우나, 밝기의 보상은 조명에 민감한 얼굴의 적절한 기준 부위를 선정함으로써 상당한 효과를 가져올 수 있다.In general, the input texture data of a two-dimensional face image has a brightness that is different from other lighting directions in most cases of the front and side surfaces. Compensation of the illumination direction is usually very difficult, but compensation of brightness can have a significant effect by selecting the appropriate reference area of the light-sensitive face.

도 5는 도 1에 도시된 텍스쳐 전처리부(130)의 바람직한 실시예에 따른 상세 블럭도로서, 특정 영역 색상 평균값 계산기들(502,504,506), 비율 계산기들(512,514) 및 색상 보상기들(522,524)를 구비한다.FIG. 5 is a detailed block diagram according to a preferred embodiment of the texture preprocessor 130 shown in FIG. 1, with specific area color average calculators 502, 504, 506, ratio calculators 512, 514 and color compensators 522, 524. FIG. do.

특정 영역 색상 평균값 계산기들(502,504,506)은 각각 텍스쳐 데이터로 사용할 2차원 얼굴 영상에서 얼굴의 오른쪽 영상, 정면 영상 및 왼쪽 영상을 입력하고, 얼굴의 특정 영역 추출을 위해 전체 변위 벡터 계산부(120)로 부터 얻은 특정 정점의 좌표를 이용한다. 특정 정점을 기준으로 그 위치 주변의 일정 영역을 특정 영역으로 추출한다. 예컨대, 도 5에서 기본적인 기준 정점은 볼의 가장자리 위치로 결정하였고, 기준 정점이 좌우 1개씩인 경우에 해당한다. 볼 부근은 완만한 경사로 인해 정면과 측면 영상에서 조명 차이가 적은 부분이다. 이 부분의 조명 차이는 근사적으로 영상 전체의 조명 차이로 해석될 수 있다. 그 이유는 볼 부근의 법선 벡터의 방향이 정면에 대해 수직에서 대략 45도 기울어져 있으며, 측면에 대해서도 대략 45도 정도 기울어져 있기 때문이다. 이에 따라, 조명 방향의 편차가 크지 않다면, 정면과 측면의 두 영상에 대해 비슷한 반사율을 보이게 된다. 따라서, 볼 부근은 영상 전체의 밝기 차이에 주로 영향을 미치게 된다.The specific area color average calculators 502, 504 and 506 input the right image, the front image and the left image of the face from the two-dimensional face image to be used as the texture data, respectively, and input the full displacement vector calculator 120 to extract the specific region of the face. Use the coordinates of the specific vertex obtained from. Based on a specific vertex, a certain area around the location is extracted as a specific area. For example, in FIG. 5, the basic reference vertex is determined as the edge position of the ball, and corresponds to a case in which the reference vertices are one left and right. Due to the gentle slope, the area around the ball has a small difference in illumination in the front and side images. The lighting difference in this part can be interpreted as the lighting difference of the whole image. This is because the direction of the normal vector in the vicinity of the ball is inclined approximately 45 degrees from the vertical to the front and approximately 45 degrees to the side. As a result, if the deviation of the illumination direction is not large, similar reflectance is obtained for the front and side images. Therefore, the vicinity of the ball mainly affects the brightness difference of the entire image.

특정 영역 색상 평균값 계산기들(502,504,506)은 잡영이나 피부 반점 등에 대한 오차를 줄이기 위해 정면과 양 측면 영상에 대해 기준 정점 주위의 화소값의 R,G,B 각각의 평균값을 각각 구한다. 평균값은 산술 평균값 또는 메디안 평균값일 수 있다. 평균값을 취하는 특정 영역의 넓이는 가변적이나 본 실험예에서는 512x512 크기에서 얼굴 면적이 25% 정도를 차지하는 영상의 경우에 지름이 5 화소인 영역을 사용하였다. 조명의 영향은 얼굴의 좌우에서 많이 나타나기 때문에, 좌우에 각각 독립적인 평균값을 사용한다. 측면 영상이 한장일 경우에 반대쪽은 거울 대칭으로 복사하여 사용한다. 복사를 하더라도 정면 영상의 밝기 분포를 기준으로 색상을 조절하기 때문에, 결과적인 텍스쳐의 품질은 일정 수준을 보장한다.The specific area color average calculators 502, 504, and 506 obtain the average values of R, G, and B of the pixel values around the reference vertices for the front and side images, respectively, in order to reduce errors such as blemishes or skin spots. The mean value may be an arithmetic mean or a median mean. Although the area of the specific area that takes the average value is variable, in the present example, an area having a diameter of 5 pixels is used for an image having a face area of about 25% at a size of 512x512. Since the effects of lighting are much on the left and right of the face, use independent average values on each side. In case of one side image, the other side is mirror symmetrically used. Even when copying, the color is adjusted based on the brightness distribution of the front image, resulting in a certain level of texture quality.

비율 계산기들(512,514)은 정면 영상에 대해 얻어진 R,G,B 평균값(R,G,B)을 양 측면 영상에서 각각 얻어진 R,G,B 평균값들(R',G',B' 및 R",G",B")로 나누어 RGB에 대한 비율을 계산한다. 색상 보상기들(522,524)은 각각 대응하는 비율 계산기들(512,514)에서 얻어진 비율들을 양 측면 영상의 모든 화소에 곱하여 전체적인 색상을 조정한다. 이때, 사람의 피부는 원색이 아니기 때문에 조명 차이가 나더라도 계산된 새로운 RGB 값이 허용 범위를 넘는 경우가 거의 없으나 오류가 발생하지 않도록 RGB 값의 허용 범위를 넘는 경우엔 그 값을 최대값으로 정한다.The ratio calculators 512 and 514 use the R, G and B average values R, G and B obtained for the front image and the R, G and B average values R ', G', B 'and R respectively obtained in the two side images. Calculate the ratio for RGB by adjusting the overall color by multiplying all the pixels in both sides of the image by the ratios obtained from the corresponding ratio calculators 512,514, respectively. At this time, since the human skin is not the primary color, the calculated new RGB value rarely exceeds the allowable range even if there are lighting differences, but the maximum value is exceeded if the RGB value exceeds the allowable range so that no error occurs. Decide on

한편, 색상을 보다 부드럽게 조절하기 위해서, 도 5에서 선정된 기준 정점이외에 기준 정점을 복수개 사용하였을 경우에, 특정 영역 또한 복수개로 추출된다. 특정 영역 색상 평균값 계산기(502,504,506)는 복수개의 특정 영역에 대한 각각의 색상 평균값들을 계산하고, 비율 계산기들(512,514) 또한 각 특정 영역에 대해 정면 영상에서의 색상 평균값과 양 측면 영상에서의 색상 평균값의 각각의 비율들을 계산한다. 텍스쳐 전처리부(130)는 선형 보간기들(미도시)을 더 구비하고, 선형 보간기들은 각각 대응하는 비율 계산기들(512,514)에서 얻은 비율들을 세로축에 대해 선형 보간한다. 색상 보상기들(522,524)은 양 측면 영상의 세로축 위치에 따라 다른 비율을 해당 화소에 곱하여 양 측면 영상의 색상을 조정한다.On the other hand, in order to adjust the color more smoothly, when a plurality of reference vertices other than the reference vertex selected in FIG. 5 are used, a plurality of specific regions are also extracted. The specific area color average calculators 502, 504 and 506 calculate respective color average values for a plurality of specific areas, and the ratio calculators 512 and 514 also calculate the color average values in the front image and the color average values in both side images for each specific area. Calculate each ratio. The texture preprocessor 130 further includes linear interpolators (not shown), and the linear interpolators linearly interpolate the ratios obtained from the corresponding ratio calculators 512 and 514 with respect to the vertical axis. The color compensators 522 and 524 adjust the color of both side images by multiplying the corresponding pixel by a different ratio according to the position of the vertical axis of both side images.

끝으로, 도 1에서 원통좌표계 텍스쳐 생성부(140)는 전체 변위 벡터 계산부(120)를 통해 최종적으로 얻은 변형된 3차원 얼굴 모델의 좌표를 이용하여 2차원 얼굴 영상 바람직하게 텍스쳐 전처리부(130)를 통해 전처리된 2차원 얼굴 영상의 원통좌표계에서의 텍스쳐를 생성한다(제260단계). 구체적으로, 정면 영상, 텍스쳐 전처리부(130)를 통해 보상된 양 측면 영상 및 변형된 3차원 얼굴 모델의 좌표를 이용하여, 텍스쳐와 정합 좌표를 원통 좌표로 변환하는데, 텍스쳐간의 경계는 일반적으로 알려져 있는 블렌딩 기법을 사용하여 경계를 없앤다. 원통좌표계에서의 텍스쳐 및 정합 좌표는 추후에 애미메이션이나 정지 영상 제작 등을 위해 데이타 저장부(150)에 저장된다(제270단계).Finally, in FIG. 1, the cylindrical coordinate system texture generator 140 uses the coordinates of the deformed three-dimensional face model finally obtained through the global displacement vector calculator 120, and preferably the texture preprocessor 130. In step 260, a texture is generated in the cylindrical coordinate system of the pre-processed 2D face image. Specifically, the texture and registration coordinates are converted into cylindrical coordinates by using the front image, the two side images compensated by the texture preprocessor 130, and the coordinates of the modified three-dimensional face model, and the boundary between the textures is generally known. Use boundary blending techniques to remove boundaries. The texture and registration coordinates in the cylindrical coordinate system are stored in the data storage unit 150 for later animation or still image production (step 270).

도 6은 본 발명에 이용된 3차원 얼굴 모델 및 그 변형된 모델의 일예를 나타낸 도면으로서, (a)는 개체 단위로 표현한 3차원 얼굴 모델의 정면과 측면을, (b)는 개체로서 코 개체를 선택하여 코 개체의 크기를 변화시킨 경우에 정면과 측면을나타낸다.6 is a view showing an example of a three-dimensional face model and its modified model used in the present invention, (a) is the front and side of the three-dimensional face model expressed in units of units, (b) nose objects as individuals If you select to change the size of the nose object, it represents the front and side.

사용자가 코 개체를 선택하여 그 크기를 변화시키면, 개체내에 포함된 제어점들이 자동으로 전체적으로 조정되었다. 다음에, 제어점들의 세부 조정이 완료되면 개체내에 포함된 제어점들 이외의 정점들이 각기 다른 변위 벡터로 또한 자동적으로 조정되었다.When the user selects a nose object and changes its size, the control points contained within the object are automatically adjusted globally. Next, when the fine adjustment of the control points was completed, vertices other than the control points contained in the object were also automatically adjusted to different displacement vectors.

도 7은 실험을 통해 얻어진 본 발명에 따른 텍스쳐 매핑 예를 나타낸 도면으로서, (a)는 입력된 2차원 얼굴 영상의 정면 영상과 측면 영상에 근접하도록 미리 준비된 3차원 얼굴 모델(점선으로 표시)을 변형한 예를 나타내며, (b)는 생성된 모델을, (c)는 생성된 텍스쳐를 각각 나타낸다. 도 7를 참조하면, 3차원 얼굴 모델에서의 개체의 위치 조절과 크기 변화만으로 용이하게 원하는 모델과 텍스쳐를 생성하였음을 알 수 있다.7 is a diagram illustrating an example of texture mapping according to the present invention obtained through experiments, in which (a) illustrates a three-dimensional face model (indicated by a dashed line) prepared in advance to approach the front and side images of the input two-dimensional face image. (B) shows the generated model and (c) shows the generated texture, respectively. Referring to FIG. 7, it can be seen that the desired model and texture are easily generated only by adjusting the position and changing the size of the object in the 3D face model.

이상에서 설명한 바와 같이, 본 발명은 첫째, 제어점을 개체로 묶어 사용하기 때문에 제어점간의 상관 관계가 고려되고, 제어점을 개체 단위로 조정함으로써, 직관적인 수동 정합을 할 수 있고, 개체화에 의해 자동 정합 기술의 도입을 용이하게 한다. 현재 가능한 특징점 추출 기술들은 기본적으로 눈 위치를 찾는 것에서 시작하여 이미 알고있는 얼굴 성분들의 배치와 크기 비율을 통해 각 특징점을 추출하게 된다. 따라서, 특징점 추출 기술의 각 단계에서 얻어지는 정보를 개체에 바로 적용할 수 있으며, 역으로 제어점의 상관 관계를 특징점 추출 과정에 적용할 수 있기 때문에, 매우 효율적인 시스템을 이룰 수 있다.As described above, in the present invention, first, since the control points are grouped and used, correlations between the control points are taken into consideration, and by adjusting the control points on a per-unit basis, intuitive manual matching is possible, and an automatic matching technique is achieved by individualization. Facilitates the introduction of. Currently available feature extraction techniques basically start by finding the eye position and extract each feature point through the placement and size ratio of the face components that are already known. Therefore, the information obtained at each step of the feature point extraction technique can be directly applied to the object, and conversely, the correlation of control points can be applied to the feature point extraction process, thereby achieving a highly efficient system.

둘째, 변위 벡터 계산에 있어서 얼굴 부위별로 특징을 살릴 수 있는 계산 함수를 적용하므로, 보다 자연스러운 얼굴 모델을 얻을 수 있다. 셋째, 텍스쳐 색상에 대한 전처리를 함으로써 좋은 조명 조건하에서 얻은 영상 뿐만 아니라, 조명이 다소 다른 상황에서 얻은 영상을 이용하더라도 텍스쳐의 품질을 높일 수 있다.Second, in calculating the displacement vector, a calculation function capable of utilizing features for each face part is applied, thereby obtaining a more natural face model. Third, by preprocessing the texture color, the quality of the texture can be improved even if the image is obtained under a good lighting condition as well as the image obtained under a slightly different lighting condition.

Claims (17)

입력된 2차원 얼굴 영상에 대해 미리 정의된 3차원 얼굴 모델을 변형하고, 상기 2차원 얼굴 영상을 변형된 3차원 얼굴 모델로 텍스쳐 매핑하는, 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법에 있어서,A method of mapping a two-dimensional face image to a three-dimensional face model by modifying a predefined three-dimensional face model with respect to an input two-dimensional face image and texture mapping the two-dimensional face image to a modified three-dimensional face model. To (a) 상기 3차원 얼굴 모델에서 얼굴의 특징점들을 반영하는 미리 정의된 제어점들을 얼굴의 각 구성 요소별로 묶어 개체로서 취급하고, 개체 단위로 상기 2차원 얼굴 영상에 근접하도록 조정하는 단계;(a) treating predefined control points reflecting the feature points of the face in the three-dimensional face model as individual objects by binding them to each component of the face and adjusting them to approach the two-dimensional face image in units of objects; (b) 상기 제어점들 이외의 개체에 포함된 정점들에 대해 상기 개체내에서 각기 다른 변위 벡터를 계산하여 변형된 3차원 얼굴 모델을 얻는 단계; 및(b) calculating different displacement vectors in the object for vertices included in the object other than the control points to obtain a modified three-dimensional face model; And (c) 상기 변형된 3차원 얼굴 모델의 좌표를 이용하여 상기 2차원 얼굴 영상의 3차원 좌표계에서의 텍스쳐를 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.(c) generating a texture in the three-dimensional coordinate system of the two-dimensional face image by using the coordinates of the modified three-dimensional face model. Mapping method. 제1항에 있어서, 상기 (a) 단계는,According to claim 1, wherein the step (a), (a1) 상기 3차원 얼굴 모델에서 제어점들을 개체 단위로 상기 2차원 얼굴 영상에 맞춰 대략적으로 조정하고, 조정된 개체별로 변위량을 얻는 단계;(a1) roughly adjusting the control points in the three-dimensional face model according to the two-dimensional face image on an individual basis, and obtaining a displacement amount for each adjusted object; (a2) 세부적인 조정이 필요한 제어점을 선택하고, 제어점을 포함한 해당 개체의 정보를 상기 (a1) 단계에서 얻은 변위량을 참조하여 갱신하는 단계;(a2) selecting a control point requiring detailed adjustment and updating the information of the object including the control point with reference to the displacement amount obtained in step (a1); (a3) 갱신된 개체의 정보를 그 개체에 포함된 모든 제어점들에 대해 적용하고, 개체별 변위 벡터를 계산하는 단계; 및(a3) applying the updated information of the object to all control points included in the object, and calculating a displacement vector for each object; And (a4) 상기 개체별 변위 벡터에 상기 (a3) 단계에서 선택된 제어점에 대한 개별 변위 벡터를 합하여 개체에 포함된 제어점의 최종 변위 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.(a4) calculating the final displacement vector of the control point included in the object by adding the individual displacement vector of the control point selected in the step (a3) to the individual displacement vector. Texture mapping method to dimensional face model. 제2항에 있어서, 상기 변위량은 최소한 개체의 위치, 크기 및 회전각에 대한 변위량이며,The method of claim 2, wherein the displacement amount is at least a displacement amount relative to the position, size, and rotation angle of the object, 상기 개체별 변위 벡터는 상기 3차원 얼굴 모델의 고유 좌표에 대한 회전각의 변위량과 크기의 변위량을 곱한 값에 위치의 변위량을 더한 값인 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.The displacement vector for each object is a texture obtained by adding a displacement amount of a position to a value obtained by multiplying the displacement amount of the rotation angle with respect to the intrinsic coordinates of the three-dimensional face model by the displacement amount of the size, and the texture to the three-dimensional face model. Mapping method. 제1항에 있어서, 상기 (b) 단계는,According to claim 1, wherein step (b), (b1) 조정 대상이 되는 개체내의 정점과의 거리에 비례하여 제어점들 각각에 가중치를 부여하는 단계; 및(b1) weighting each of the control points in proportion to a distance from a vertex in the object to be adjusted; And (b2) 상기 (a) 단계에서 조정된 개체별 변위량에 근거한 상기 제어점들 각각의 변위 벡터와 대응하는 각각의 가중치의 곱을 누산하고, 상기 제어점들의 수에 의해 산술 평균하여 정점의 변위 벡터를 구하는 단계를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.(b2) accumulating a product of a displacement vector of each of the control points and a corresponding weight based on the individual displacement amount adjusted in step (a), and calculating a displacement vector of a vertex by arithmetically averaging the number of the control points; Texture mapping method of the two-dimensional face image to the three-dimensional face model comprising a. 제4항에 있어서, 상기 (b) 단계는,The method of claim 4, wherein step (b) comprises: (b3) 상기 개체별 변위량에 근거한 정점의 변위 벡터를 구하는 단계; 및(b3) obtaining a displacement vector of a vertex based on the displacement amount of each object; And (b4) 개체들중에서 정점들이 조밀한 개체에 대해, 상기 (b2) 단계와 상기 (b3) 단계에서 구한 정점의 변위 벡터들중 큰 값을 선택하는 단계를 더 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.(b4) selecting a larger value of the displacement vectors of the vertices obtained in the step (b2) and the step (b3) for the object having the denser vertices. Texture mapping method of image to 3D face model. 제1항에 있어서, 입력된 2차원 얼굴 영상에 대해 조명에 민감한 얼굴의 특정 영역을 선정하여 조명 차이를 보상하는 전처리 단계를 거치고, 전처리된 2차원 얼굴 영상의 텍스쳐를 상기 (c) 단계에서 사용하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.The method according to claim 1, wherein a predetermined region of a face sensitive to illumination is selected for the input two-dimensional face image to compensate for the difference in illumination, and the texture of the pre-processed two-dimensional face image is used in step (c). A texture mapping method of a two-dimensional face image to a three-dimensional face model, characterized in that. 제6항에 있어서, 상기 전처리 단계는,The method of claim 6, wherein the pretreatment step, 상기 (b) 단계에서 얻은 변형된 3차원 얼굴 모델의 좌표를 이용하여, 텍스쳐로 사용할 2차원 얼굴 영상에 대한 정면 얼굴 영상과 양 측면 얼굴 영상의 특정 영역을 정하고, 상기 특정 영역에 대한 각각의 색상 평균값들을 계산하는 단계;Using the coordinates of the modified three-dimensional face model obtained in step (b), a specific region of the front face image and both side face images of the two-dimensional face image to be used as a texture is determined, and each color of the specific region is determined. Calculating average values; 정면 얼굴 영상에서의 색상 평균값과 양 측면 얼굴 영상에서의 색상 평균값의 각각의 비율들을 구하는 단계; 및Obtaining respective ratios of the color average value in the front face image and the color average value in both side face images; And 상기 비율들을 양 측면 얼굴 영상의 모든 화소에 곱하여 양 측면 영상의 색조를 조정하는 단계를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.And adjusting the color tone of the two side images by multiplying the ratios by all the pixels of the both side face images. 제6항에 있어서, 상기 전처리 단계는,The method of claim 6, wherein the pretreatment step, 상기 (b) 단계에서 얻은 변형된 3차원 얼굴 모델의 좌표를 이용하여, 텍스쳐로 사용할 2차원 얼굴 영상에 대한 정면 얼굴 영상과 양 측면 얼굴 영상의 복수개의 특정 영역을 정하고, 상기 복수개의 특정 영역에 대한 각각의 색상 평균값들을 계산하는 단계;By using the coordinates of the modified three-dimensional face model obtained in the step (b), a plurality of specific regions of the front face image and both side face images for the two-dimensional face image to be used as a texture is determined, and the plurality of specific regions Calculating respective color average values for; 각 특정 영역에 대해 정면 얼굴 영상에 대한 색상 평균값과 양 측면 얼굴 영상의 색상 평균값의 비율들을 각각 구하는 단계; 및Obtaining ratios of the color average value of the front face image and the color average value of both side face images for each specific region, respectively; And 구해진 비율들을 세로축에 대해 선형 보간하고, 양 측면 얼굴 영상의 세로축 위치에 따라 다른 비율을 해당 화소에 곱하여 양 측면 영상의 색조를 조정하는 단계를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법.Linearly interpolating the obtained ratios with respect to the vertical axis, and adjusting the color tone of the two side images by multiplying the corresponding pixels by different ratios according to the position of the vertical axis of the both side face images. How to map textures to models. 입력된 2차원 얼굴 영상에 대해 미리 정의된 3차원 얼굴 모델을 변형하고, 상기 2차원 얼굴 영상을 변형된 3차원 얼굴 모델로 텍스쳐 매핑하는, 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치에 있어서,A texture mapping apparatus of a two-dimensional face image to a three-dimensional face model, which deforms a predefined three-dimensional face model with respect to an input two-dimensional face image, and texture maps the two-dimensional face image to a modified three-dimensional face model. To 상기 3차원 얼굴 모델에서 얼굴의 특징점들을 반영하는 미리 정의된 제어점들을 얼굴의 각 구성 요소별로 묶어 개체로서 취급하고, 입력된 상기 2차원 얼굴 영상에 맞춰 제어점들을 개체 단위로 대략적으로 조정하는 개체 단위 3차원 얼굴 모델 변형부;In the three-dimensional face model, an object unit that treats predefined control points reflecting feature points of a face as an object by combining each component of the face and adjusts the control points in units of objects approximately according to the input two-dimensional face image. Dimensional face model deformation; 상기 개체내에 제어점들을 세부적으로 조정하고, 각 제어점의 변위 벡터를 계산하는 개체 조정부;An entity adjusting unit that adjusts the control points in the object in detail and calculates a displacement vector of each control point; 상기 제어점들 이외의 개체에 포함된 정점들에 대해 상기 개체내에서 각기 다른 변위 벡터를 계산하여 최종적인 변형된 3차원 얼굴 모델을 얻는 전체 변위 벡터 계산부; 및A total displacement vector calculator configured to calculate different displacement vectors in the object for vertices included in objects other than the control points to obtain a final modified three-dimensional face model; And 상기 변형된 표준 모델의 좌표를 이용하여 상기 2차원 얼굴 영상의 3차원 좌표계에서의 텍스쳐를 생성하는 텍스쳐 생성부를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.And a texture generator configured to generate a texture in a three-dimensional coordinate system of the two-dimensional face image by using the coordinates of the modified standard model. 제9항에 있어서, 상기 개체 조정부는,The method of claim 9, wherein the individual adjustment unit, 세부적인 조정을 위해 사용자에 의해 선택된 제어점을 포함한 해당 개체를 선택하는 개체 선택기;An object selector for selecting the object including the control point selected by the user for fine adjustment; 선택된 개체의 정보를 상기 개체 단위 3차원 얼굴 모델 변형부에서 조정된 개체별로 얻은 변위량을 참조하여 갱신하는 개체 정보 조정기;An entity information adjuster for updating the information of the selected entity with reference to the displacement amount obtained for each entity adjusted by the entity unit three-dimensional face model deformation unit; 갱신된 개체의 정보를 그 개체에 포함된 모든 제어점들에 대해 적용하고, 개체별 변위 벡터를 계산하는 개체별 변위 벡터 계산기; 및An object-specific displacement vector calculator which applies the updated object information to all the control points included in the object and calculates the object-specific displacement vector; And 상기 개체별 변위 벡터에 상기 선택된 제어점에 대한 개별 변위 벡터를 합하여 개체에 포함된 제어점의 최종 변위 벡터를 계산하는 제어점별 변위 벡터 계산기를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.And a control point displacement vector calculator for calculating the final displacement vector of the control point included in the object by adding the individual displacement vectors of the selected control points to the object-specific displacement vectors. Texture mapping device. 제10항에 있어서, 상기 변위량은 최소한 개체의 위치, 크기 및 회전각에 대한 변위량이며,11. The method of claim 10, wherein the displacement amount is at least a displacement amount relative to the position, size and rotation angle of the object, 상기 개체별 변위 벡터는 상기 3차원 얼굴 모델의 고유 좌표에 대한 회전각의 변위량과 크기의 변위량을 곱한 값에 위치의 변위량을 더한 값인 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.The displacement vector for each object is a texture obtained by adding a displacement amount of a position to a value obtained by multiplying the displacement amount of the rotation angle with respect to the intrinsic coordinates of the three-dimensional face model by the displacement amount of the size, and the texture to the three-dimensional face model. Mapping device. 제9항에 있어서, 상기 전체 변위 벡터 계산부는,The method of claim 9, wherein the total displacement vector calculation unit, 조정 대상이 되는 개체내의 정점과의 거리에 비례하여 제어점들 각각에 대한 가중치를 계산하는 가중치 계산기;A weight calculator for calculating a weight for each of the control points in proportion to the distance to the vertex in the object to be adjusted; 상기 개체 단위 3차원 얼굴 모델 변형부에서 조정된 개체별 변위량에 근거한 상기 제어점들 각각의 변위 벡터와 상기 가중치 계산기에서 계산된 각각의 가중치의 곱을 누산하는 누산기; 및An accumulator for accumulating a product of the displacement vector of each of the control points based on the object-to-object displacement adjusted by the individual unit three-dimensional face model deformation unit and the respective weights calculated by the weight calculator; And 누산한 값을 상기 제어점들의 수에 의해 산술 평균하여 정점의 변위 벡터를 구하는 제1 정점별 변위 벡터 계산기를 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.And a first vertex displacement vector calculator for calculating a displacement vector of a vertex by arithmetically averaging an accumulated value based on the number of control points. 제12항에 있어서, 상기 변위 벡터 계산부는,The method of claim 12, wherein the displacement vector calculation unit, 상기 개체별 변위량에 근거한 정점의 변위 벡터를 구하는 제2 정점별 변위 벡터 계산기; 및A second vertex displacement vector calculator for calculating a displacement vector of a vertex based on the displacement amount of each object; And 개체들중에서 정점들이 조밀한 개체에 대해, 상기 제1 및 상기 제2 정점별 변위 벡터 계산기의 출력들중 큰 값을 선택하는 선택기를 더 포함하는 것을 특징으로 하는 2차원 얼굴 영상의3차원 얼굴 모델로의 텍스쳐 매핑 장치.A three-dimensional face model of the two-dimensional face image further comprising a selector for selecting a larger value among the outputs of the first and second per-vertex displacement vector calculators for the dense vertices among the objects. Texture mapping device. 제9항에 있어서, 상기 텍스쳐 매핑 장치는,The texture mapping apparatus of claim 9, 입력된 2차원 얼굴 영상에 대해 조명에 민감한 얼굴의 특정 영역을 선정하여 조명의 차이를 보상하고, 보상된 2차원 얼굴 영상을 상기 텍스쳐 생성부로 출력하는 텍스쳐 전처리부를 더 포함하는 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.Comprising a specific area of the light-sensitive face with respect to the input two-dimensional face image to compensate for the difference, and further comprises a texture pre-processing unit for outputting the compensated two-dimensional face image to the texture generation unit Texture mapping device for 3D face model of face image. 제14항에 있어서, 상기 텍스쳐 전처리부는,The method of claim 14, wherein the texture preprocessor, 상기 변형된 3차원 얼굴 모델의 좌표를 이용하여, 입력된 2차원 얼굴 영상에 대한 정면 얼굴 영상과 양 측면 얼굴 영상의 상기 특정 영역을 정하고, 특정 영역에 대한 각각의 색상 평균값들을 계산하는 제1~제3 색상 평균값 계산기;First to the first region to determine the specific region of the front face image and both side face image for the input two-dimensional face image by using the coordinates of the modified three-dimensional face model, and calculate the respective color average values for the specific region A third color average calculator; 정면 얼굴 영상에서의 색상 평균값과 양 측면 얼굴 영상에서의 색상 평균값의 각각의 비율을 계산하는 제1 및 제2 비율 계산기;First and second ratio calculators for calculating respective ratios of a color average value in the front face image and a color average value in both side face images; 상기 비율들을 양 측면 영상의 모든 화소에 곱하여 양 측면 얼굴 영상의 색상을 조정하는 제1 및 제2 색상 보상기를 포함하는 것을 특징으로 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.And first and second color compensators for adjusting the colors of both side face images by multiplying the ratios by all the pixels of both side images. 제14항에 있어서, 상기 텍스쳐 전처리부는,The method of claim 14, wherein the texture preprocessor, 상기 변형된 3차원 얼굴 모델의 좌표를 이용하여, 입력된 2차원 얼굴 영상에 대한 정면 얼굴 영상과 양 측면 얼굴 영상의 복수개의 특정 영역을 정하고, 특정 영역에 대한 각각의 색상 평균값들을 계산하는 제1~제3 색상 평균값 계산기;A first method for determining a plurality of specific regions of a front face image and a side face image of an input two-dimensional face image by using the coordinates of the modified three-dimensional face model, and calculating respective color average values for the specific region. To third color average calculator; 각 특정 영역에 대해 정면 얼굴 영상에서의 색상 평균값과 양 측면 영상에서의 색상 평균값의 각각의 비율을 계산하는 제1 및 제2 비율 계산기;First and second ratio calculators for calculating respective ratios of the color average value in the front face image and the color average value in both side images for each specific region; 상기 비율들을 세로축에 대해 선형 보간하는 제1 및 제2 선형 보간기; 및First and second linear interpolators for linearly interpolating the ratios relative to a longitudinal axis; And 양 측면 영상의 세로축 위치에 따라 다른 비율을 해당 화소에 곱하여 양 측면 얼굴 영상의 색상을 조정하는 제1 및 제2 색상 보상기를 포함하는 것을 특징으로 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.And a first and second color compensators for adjusting the colors of both side face images by multiplying the corresponding pixels by different ratios according to the vertical axis positions of both side images. Device. 제9항에 있어서, 상기 3차원 좌표계는,The method of claim 9, wherein the three-dimensional coordinate system, 원통좌표계인 것을 특징으로 하는 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 장치.A texture mapping device of a two-dimensional face image to a three-dimensional face model, characterized in that the cylindrical coordinate system.
KR1020000009867A 2000-02-28 2000-02-28 Texture mapping method and apparatus for 2D facial image to 3D facial model KR100360487B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000009867A KR100360487B1 (en) 2000-02-28 2000-02-28 Texture mapping method and apparatus for 2D facial image to 3D facial model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000009867A KR100360487B1 (en) 2000-02-28 2000-02-28 Texture mapping method and apparatus for 2D facial image to 3D facial model

Publications (2)

Publication Number Publication Date
KR20010084670A true KR20010084670A (en) 2001-09-06
KR100360487B1 KR100360487B1 (en) 2002-11-13

Family

ID=19650778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000009867A KR100360487B1 (en) 2000-02-28 2000-02-28 Texture mapping method and apparatus for 2D facial image to 3D facial model

Country Status (1)

Country Link
KR (1) KR100360487B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100346363B1 (en) * 2000-06-02 2002-08-01 주식회사 엔지티 Method and apparatus for 3d image data reconstruction by automatic medical image segmentation and image guided surgery system using the same
KR100450836B1 (en) * 2001-12-11 2004-10-01 삼성전자주식회사 Apparatus for generating 3-dimensional image from 2-dimensional image
US7139439B2 (en) 2001-12-13 2006-11-21 Samsung Electronics Co., Ltd. Method and apparatus for generating texture for 3D facial model
KR100952382B1 (en) * 2009-07-29 2010-04-14 숭실대학교산학협력단 Animation automatic generating apparatus of user-based and its method
KR101375649B1 (en) * 2012-07-16 2014-03-18 한국과학기술연구원 Apparatus and method for generating texture for three dimensional mesh model of target object
KR101390822B1 (en) * 2012-11-28 2014-04-30 주식회사 에스하이텍 3d hologram virtual cosmetic surgery device
US9519998B2 (en) 2012-03-09 2016-12-13 Korea Institute Of Science And Technology Three dimensional montage generation system and method based on two dimensional single image
CN113610875A (en) * 2021-09-03 2021-11-05 成都天地罔极科技有限公司 Simulation method and system for soft tissue filling effect

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0273471A (en) * 1988-09-09 1990-03-13 Nippon Telegr & Teleph Corp <Ntt> Estimating method for three-dimensional form
JPH04289976A (en) * 1991-03-19 1992-10-14 Hitachi Ltd Three-dimensional shape model forming method and system
JP2802725B2 (en) * 1994-09-21 1998-09-24 株式会社エイ・ティ・アール通信システム研究所 Facial expression reproducing device and method of calculating matrix used for facial expression reproduction
JP2813971B2 (en) * 1995-05-15 1998-10-22 株式会社エイ・ティ・アール通信システム研究所 State reproduction method
JPH0981737A (en) * 1995-09-11 1997-03-28 Meidensha Corp Three-dimensional object model generating method
JPH09223248A (en) * 1996-02-20 1997-08-26 Hitachi Inf Syst Ltd Three-dimensional processing method for two-dimensional graphic data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100346363B1 (en) * 2000-06-02 2002-08-01 주식회사 엔지티 Method and apparatus for 3d image data reconstruction by automatic medical image segmentation and image guided surgery system using the same
KR100450836B1 (en) * 2001-12-11 2004-10-01 삼성전자주식회사 Apparatus for generating 3-dimensional image from 2-dimensional image
US7139439B2 (en) 2001-12-13 2006-11-21 Samsung Electronics Co., Ltd. Method and apparatus for generating texture for 3D facial model
KR100952382B1 (en) * 2009-07-29 2010-04-14 숭실대학교산학협력단 Animation automatic generating apparatus of user-based and its method
US9519998B2 (en) 2012-03-09 2016-12-13 Korea Institute Of Science And Technology Three dimensional montage generation system and method based on two dimensional single image
KR101375649B1 (en) * 2012-07-16 2014-03-18 한국과학기술연구원 Apparatus and method for generating texture for three dimensional mesh model of target object
KR101390822B1 (en) * 2012-11-28 2014-04-30 주식회사 에스하이텍 3d hologram virtual cosmetic surgery device
CN113610875A (en) * 2021-09-03 2021-11-05 成都天地罔极科技有限公司 Simulation method and system for soft tissue filling effect

Also Published As

Publication number Publication date
KR100360487B1 (en) 2002-11-13

Similar Documents

Publication Publication Date Title
US7557812B2 (en) Multilevel texture processing method for mapping multiple images onto 3D models
JP3782709B2 (en) Image generation method and apparatus
JP4679033B2 (en) System and method for median fusion of depth maps
US6057850A (en) Blended texture illumination mapping
US20020118217A1 (en) Apparatus, method, program code, and storage medium for image processing
KR101560508B1 (en) Method and arrangement for 3-dimensional image model adaptation
US7528831B2 (en) Generation of texture maps for use in 3D computer graphics
KR20090086964A (en) Methods and systems for color correction of 3d images
WO2002013144A1 (en) 3d facial modeling system and modeling method
US5568595A (en) Method for generating artificial shadow
JP3467725B2 (en) Image shadow removal method, image processing apparatus, and recording medium
US20200167990A1 (en) Three-dimensional Human Face Reconstruction Method
KR100360487B1 (en) Texture mapping method and apparatus for 2D facial image to 3D facial model
KR100459892B1 (en) Method and apparatus for generating texture for 3D facial model
US20040119723A1 (en) Apparatus manipulating two-dimensional image in a three-dimensional space
US12020363B2 (en) Surface texturing from multiple cameras
KR102559691B1 (en) Method and device for reconstructing neural rendering-based geometric color integrated 3D mesh
GB2369260A (en) Generation of composite images by weighted summation of pixel values of the separate images
GB2369541A (en) Method and apparatus for generating visibility data
US20230087663A1 (en) Image processing apparatus, image processing method, and 3d model data generation method
CN114820894A (en) Virtual role generation method and system
CN113763525A (en) Hair highlight rendering method, device, equipment and storage medium
JP2002525764A (en) Graphics and image processing system
KR102640283B1 (en) Apparatus and method for composing three-dimensional image
JP7086362B1 (en) Information processing system, information processing method and information processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080930

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee