KR101375649B1 - Apparatus and method for generating texture for three dimensional mesh model of target object - Google Patents

Apparatus and method for generating texture for three dimensional mesh model of target object Download PDF

Info

Publication number
KR101375649B1
KR101375649B1 KR1020120077319A KR20120077319A KR101375649B1 KR 101375649 B1 KR101375649 B1 KR 101375649B1 KR 1020120077319 A KR1020120077319 A KR 1020120077319A KR 20120077319 A KR20120077319 A KR 20120077319A KR 101375649 B1 KR101375649 B1 KR 101375649B1
Authority
KR
South Korea
Prior art keywords
texture
map
dimensional
mesh model
color
Prior art date
Application number
KR1020120077319A
Other languages
Korean (ko)
Other versions
KR20140010708A (en
Inventor
이종호
안상철
임화섭
김형곤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120077319A priority Critical patent/KR101375649B1/en
Publication of KR20140010708A publication Critical patent/KR20140010708A/en
Application granted granted Critical
Publication of KR101375649B1 publication Critical patent/KR101375649B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

본 발명은, 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성하는 텍스쳐 생성 장치 및 방법에 관한 것으로, 본 발명에 따르면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있으며, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.The present invention relates to a texture generating apparatus and method for generating a high-quality texture to be mapped to a three-dimensional mesh model representing a three-dimensional shape of a target object based on a plurality of color images of the target object photographed from various angles. According to the present invention, it is possible to generate a high quality texture with less blurring in a relatively short time, to enhance the realism of the three-dimensional mesh model representing the three-dimensional shape of the target object, and to further improve the quality of the entire digital image including the target object. Can be improved.

Description

대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법{Apparatus and method for generating texture for three dimensional mesh model of target object}Apparatus and method for generating texture for three dimensional mesh model of target object}

본 발명은, 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법에 관한 것으로서, 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성하는 텍스쳐 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a texture of a three-dimensional mesh model of a target object, and to a three-dimensional mesh model representing a three-dimensional shape of a target object based on a plurality of color images of the target object photographed at various angles. The present invention relates to a texture generating apparatus and method for generating a high quality texture to be generated.

고화질의 디지털 영상을 제작하는 과정에서는, 디지털 영상 속의 대상 물체의 3차원 형태를 나타내는 3차원 모델에 사실감을 부여하기 위해, 3차원 모델에 대한 텍스쳐 매핑을 수행하는 것이 중요하다.In the process of producing a high-quality digital image, it is important to perform texture mapping on the three-dimensional model in order to give a three-dimensional model representing the three-dimensional shape of the object in the digital image.

이처럼 3차원 모델에 매핑할(입힐) 텍스쳐를 생성함에 있어서, 대상 물체를 카메라로 촬영한 영상을 사용할 경우에, 그 촬영 각도에 따라, 대상 물체의 컬러 정보의 일부분만이 영상 각각에 나뉘어 담기기 때문에, 3차원 모델 전체에 입힐 텍스쳐를 생성하기 위해서는 여러 각도에서 촬영한 복수의 컬러 영상들을 합성할 필요가 있다. When creating a texture to be mapped (coated) to a three-dimensional model, when using an image captured by a camera, only a part of the color information of the target object is divided into each image according to the shooting angle. Therefore, in order to generate a texture to be applied to the entire 3D model, it is necessary to synthesize a plurality of color images photographed from various angles.

종래에는 3차원 모델에 매핑할 텍스쳐를 생성하기 위해서는, 여러 장의 컬러 영상들을 각 영상마다 가중치를 부과하여 가중평균(weighted average)을 통해 텍스쳐를 생성하거나, 최적화(optimization) 과정을 통해 메쉬 모델의 삼각평면(triangular face)마다 사상(mapping)되는 텍스쳐 영역을 여러 장의 입력 컬러 영상으로부터 찾아내는 기술들이 사용되었으나, 전자는 빠른 시간에 3차원 모델을 위한 텍스쳐를 생성할 수 있는 장점이 있지만, 3차원 모델의 기하학적 구조가 부정확할 경우 텍스쳐가 뚜렷하게 생성되지 않고 번짐 현상이 발생하게 된다는 단점이 있으며, 후자는 생성되는 텍스쳐의 화질은 좋지만, 텍스쳐 생성에 많은 시간이 소요되는 단점이 있다. Conventionally, in order to generate a texture to be mapped to a three-dimensional model, a plurality of color images are weighted for each image to generate a texture through a weighted average, or triangulation of the mesh model through an optimization process. Techniques have been used to find a texture area that is mapped for each triangular face from multiple input color images, but the former has the advantage of creating a texture for a three-dimensional model in a short time. If the geometry is incorrect, textures are not clearly generated and blurring occurs. In the latter, the quality of the generated texture is good, but it takes a long time to generate the texture.

따라서, 비교적 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있는 텍스쳐 생성 기술이 요구되는 실정이다.Therefore, there is a need for a texture generation technique capable of generating a high quality texture with less blurring in a relatively short time.

본 발명이 이루고자 하는 기술적 과제는, 비교적 짧은 시간으로도 대상 물체를 다양한 각도에서 촬영한 복수의 컬러 영상을 기초로 대상 물체의 3차원 메쉬 모델에 매핑될 고화질 텍스쳐를 생성할 수 있는 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법을 제공하는 데에 있다.The technical problem to be achieved by the present invention is a three-dimensional mesh model that can generate a high-quality texture to be mapped to the three-dimensional mesh model of the target object based on a plurality of color images of the target object taken at various angles in a relatively short time To provide a texture generating apparatus and method of the present invention.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the particular embodiments that are described. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, There will be.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐 생성 장치는 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성하는 참조 UV 지도 생성부; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시켜 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성부; 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑부; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 3차원 모델 텍스쳐 생성부를 포함한다.In order to achieve the above technical problem, a texture generating apparatus of a three-dimensional mesh model according to the present invention includes a plurality of charts by unfolding a plurality of unit polygons belonging to a three-dimensional mesh model representing a three-dimensional shape of a target object in a two-dimensional space. A reference UV map generation unit for generating a reference UV map having a light emitting device; A color UV map generator for generating a plurality of color UV maps corresponding to the color images by mapping the color images photographed from the target object to the two-dimensional space of the reference UV map on a pixel-by-pixel basis; Select a keyframe corresponding to each chart of the reference UV map among the plurality of color UV maps, and repeatedly perform a process of mapping a texture to the reference UV map based on the selected keyframe. A reference UV map texture mapping unit for mapping a texture to an area; And a 3D model texture generation unit generating a texture of the 3D mesh model based on the reference UV map in which the textures are mapped to all the regions.

보다 바람직하게는, 참조 UV 지도의 차트는 3차원 메쉬 모델의 곡률에 따라 절단되어 분리된 부분영역일 수 있다.More preferably, the chart of the reference UV map may be a partial region cut and separated according to the curvature of the 3D mesh model.

보다 바람직하게는, 컬러 UV 지도 생성부는 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 3차원 메쉬 모델과 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 컬러 UV 지도를 생성할 수 있다.More preferably, the color UV map generator generates a color based on the coordinate transformation relationship between the three-dimensional coordinates of the three-dimensional mesh model and the two-dimensional coordinates of the two-dimensional reference UV map and the coordinate transformation relationship between the three-dimensional mesh model and the plurality of color images. UV maps can be generated.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑부는 참조 UV 지도의 차트 각각에 대하여 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 차트 각각에 대응되는 키프레임으로 선택할 수 있다.More preferably, the reference UV map texture mapping unit may select, for each chart of the reference UV map, a color UV map having a maximum area of the overlapping area with each chart as a keyframe corresponding to each chart.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑부는 현재 매핑된 제1텍스쳐 및 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성할 수 있다.More preferably, the reference UV map texture mapping unit may synthesize the first mapped texture and the second texture that is mapped before the first texture is mapped and adjacent to the first texture.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐 생성 방법은 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는 단계; 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성하는 단계; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 단계; 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성 단계; 복수의 컬러 UV 지도들 중에서 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은 영역에 대응하는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 속한 차트 내에서 키프레임에 대응되는 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑 단계; 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 참조 UV 지도 텍스트 매핑 단계를 반복하여 수행하는 단계; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 단계를 포함한다.In order to achieve the above technical problem, the texture generation method of the three-dimensional mesh model according to the present invention comprises a three-dimensional mesh model composed of a plurality of unit polygons in three-dimensional space representing a three-dimensional shape of a target object. Receiving step; Generating a reference UV map composed of a plurality of charts by converting the unit polygons of the three-dimensional mesh model into a plurality of charts in a two-dimensional space; Receiving color images obtained by photographing a target object at a plurality of photographing angles, respectively; Generating a plurality of color UV maps corresponding to the plurality of color images by mapping pixels of the color images to a two-dimensional space of the reference UV map, respectively; Select a keyframe from among a plurality of color UV maps corresponding to an area where no texture is mapped in the chart belonging to the reference UV map, and select a keyframe corresponding to the keyframe in the chart belonging to the reference UV map based on the selected keyframe. A reference UV map texture mapping step of mapping a texture; Repeating the reference UV map text mapping step until a texture is mapped to all areas of the charts belonging to the reference UV map; And generating a texture of the 3D mesh model based on the reference UV map in which the textures are mapped to all the regions.

보다 바람직하게는, 참조 UV 지도의 차트는 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역일 수 있다.More preferably, the chart of the reference UV map may be a subregion cut and separated according to the curvature of the 3D mesh model.

보다 바람직하게는, 컬러 UV 지도 생성 단계는 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 3차원 메쉬 모델과 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 컬러 UV 지도를 생성할 수 있다.More preferably, the step of generating the color UV map is based on the coordinate transformation relationship between the three-dimensional coordinates of the three-dimensional mesh model and the two-dimensional coordinates of the two-dimensional reference UV map and the coordinate transformation relationship between the three-dimensional mesh model and the plurality of color images. Color UV maps can be generated.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑 단계는 참조 UV 지도의 차트 각각에 대하여 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 차트 각각에 대응되는 키프레임으로 선택할 수 있다.More preferably, the reference UV map texture mapping step may select, for each chart of the reference UV map, a color UV map having a maximum area of the overlapping area with each chart as a keyframe corresponding to each chart.

보다 바람직하게는, 참조 UV 지도 텍스쳐 매핑 단계는 현재 매핑된 제1텍스쳐 및 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐를 서로 합성할 수 있다.More preferably, the reference UV map texture mapping step may synthesize the currently mapped first texture and the second texture that is mapped before the first texture is mapped to a location adjacent to the first texture.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 3차원 메쉬 모델의 텍스쳐를 생성하는 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는, 3차원 메쉬 모델을 입력받는 기능; 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성하는 기능; 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 기능; 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 기능; 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 기능; 및 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성하는 기능를 포함하는 것을 특징으로 하는 프로그램을 수록한다.In order to achieve the above technical problem, according to the present invention, a computer-readable recording medium containing a program including a function of generating a texture of a three-dimensional mesh model, the function of receiving a three-dimensional mesh model; Converting the unit polygons of the three-dimensional mesh model into a plurality of charts in a two-dimensional space to generate a reference UV map composed of the plurality of charts; A function of receiving color images of photographing a target object at a plurality of photographing angles; Mapping pixels of the color images to a two-dimensional space of the reference UV map to generate a plurality of color UV maps respectively corresponding to the plurality of color images; Select a keyframe corresponding to each chart of the reference UV map among the plurality of color UV maps, and repeatedly perform a process of mapping a texture to the reference UV map based on the selected keyframe. Mapping a texture to an area; And a function of generating a texture of a 3D mesh model based on a reference UV map in which textures are mapped to all regions.

본 발명에 따르면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있다. 이를 통해, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.According to the present invention, it is possible to generate a high quality texture with less blurring in a relatively short time. Through this, the realism of the three-dimensional mesh model representing the three-dimensional shape of the target object may be improved, and the quality of the entire digital image including the target object may be improved.

도 1는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 방법의 흐름을 도시한 도면이다.
도 3은 본 발명의 바람직한 일실시예에 따라 생성되는 참조 UV 지도 및 컬러 UV 지도를 예시한 도면이다.
도 4는 본 발명의 바람직한 일실시예에 따라 참조 UV 지도의 각 차트별로 키프레임이 선정되는 과정을 예시한 도면이다.
도 5는 본 발명의 바람직한 일실시예에 따라 키프레임에 대응되는 참조 UV 지도의 영역에 텍스쳐를 매핑하는 과정을 예시한 도면이다.
도 6은 본 발명의 바람직한 일실시예에 따라 키프레임 기반의 텍스쳐 매핑 과정을 반복 수행한 결과들을 예시한 도면이다.
도 7은 본 발명의 바람직한 일실시예에 따라 3차원 모델의 텍스쳐를 생성한 결과를 예시한 도면이다.
1 is a diagram showing the configuration of a texture generating apparatus of a three-dimensional model according to an embodiment of the present invention.
2 is a diagram illustrating a flow of a texture generating method of a 3D model according to an exemplary embodiment of the present invention.
3 is a diagram illustrating a reference UV map and a color UV map generated according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a process of selecting a keyframe for each chart of a reference UV map according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a process of mapping a texture to an area of a reference UV map corresponding to a keyframe according to an embodiment of the present invention.
6 illustrates results of repeating a keyframe based texture mapping process according to an exemplary embodiment of the present invention.
7 is a diagram illustrating a result of generating a texture of a 3D model according to an exemplary embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다. The following merely illustrates the principles of the invention. Thus, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. Furthermore, all of the conditional terms and embodiments listed herein are, in principle, intended only for the purpose of enabling understanding of the concepts of the present invention, and are not intended to be limiting in any way to the specifically listed embodiments and conditions . It is also to be understood that the detailed description, as well as the principles, aspects and embodiments of the invention, as well as specific embodiments thereof, are intended to cover structural and functional equivalents thereof. In addition, these equivalents should be understood to include not only equivalents now known, but also equivalents to be developed in the future, that is, all devices invented to perform the same function regardless of structure.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다. Thus, the functions of the various elements shown in the drawings, including the functional blocks shown in the figures or similar concepts, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared. Also, the use of terms such as processor, control, or similar concepts should not be construed as exclusive reference to hardware capable of executing software, but may include, without limitation, digital signal processor (DSP) hardware, (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다. The above objects, features and advantages will become more apparent from the following detailed description in conjunction with the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.On the other hand, when an element is referred to as "including " an element, it does not exclude other elements unless specifically stated to the contrary.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 장치의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a texture generating apparatus of a three-dimensional model according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 3차원 모델의 텍스쳐 생성 장치는 참조 UV 지도 생성부(110), 컬러 UV 지도 생성부(120), 참조 UV 지도 텍스쳐 매핑부(130) 및 3차원 모델 텍스쳐 생성부(140)를 포함한다.Referring to FIG. 1, the apparatus for generating a texture of a 3D model according to the present embodiment may include a reference UV map generator 110, a color UV map generator 120, a reference UV map texture mapping unit 130, and a 3D model. The texture generator 140 is included.

참조 UV 지도 생성부(110)는 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성한다. The reference UV map generation unit 110 generates a reference UV map having a plurality of charts by unfolding a plurality of unit polygons belonging to a three-dimensional mesh model representing a three-dimensional shape of a target object in a two-dimensional space.

본 실시예에서의 3차원 메쉬 모델은 3차원 좌표를 갖는 복수의 단위 폴리곤들을 연결하여 3차원 공간 상에서 대상 물체의 3차원 형체를 정의하는 모델을 가리키며, 일반적으로 단위 폴리곤으로는 삼각형을 주로 사용하나, 이는 하나의 실시예에 불과하며, 본 발명은 이에 한정되는 것은 아니라고 할 것이다.The three-dimensional mesh model in this embodiment refers to a model that defines a three-dimensional shape of an object in three-dimensional space by connecting a plurality of unit polygons having three-dimensional coordinates. Generally, a triangle is mainly used as a unit polygon. This is only one embodiment, and the present invention is not limited thereto.

본 실시예에서의 참조 UV 지도는 3차원 메쉬 모델을 surface parametrization 기법을 이용하여 2차원 좌표 공간 상에 펼쳐 놓은 UV 지도를 가리키며, 이처럼 3차원 좌표 공간의 모델을 2차원 좌표 공간으로 변환하는 과정에서 왜곡이 발생하게 되고, 이러한 왜곡을 줄이기 위해, 3차원 메쉬 모델의 곡률에 따라 굴곡이 심한 부분을 절단함으로써 여러 개의 차트(영역)으로 분리하여 2차원 좌표 공간에 펼쳐놓게 된다.The reference UV map in the present embodiment refers to a UV map in which a 3D mesh model is unfolded in a 2D coordinate space using a surface parametrization technique. In the process of converting a 3D coordinate space model to a 2D coordinate space, Distortion occurs, and in order to reduce the distortion, the severely curved portion is cut according to the curvature of the 3D mesh model and separated into a plurality of charts (areas) and laid out in a two-dimensional coordinate space.

컬러 UV 지도 생성부(120)는 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시켜 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성한다.The color UV map generator 120 maps the color images of the target object, respectively, at a plurality of photographing angles, to the two-dimensional space of the reference UV map in units of pixels, thereby generating a plurality of color UV maps corresponding to the color images. Create

본 실시예에 따른 참조 UV 지도 생성부(110)에서 3차원 메쉬 모델을 2차원 참조 UV 지도로 변환하는 과정에서 3차원 메쉬 모델의 3차원 좌표와 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계에 대한 정보가 생성되게 된다.Coordinate transformation between the 3D coordinates of the 3D mesh model and the 2D coordinates of the 2D reference UV map in the process of converting the 3D mesh model to the 2D reference UV map in the reference UV map generation unit 110 according to the present embodiment. Information about the relationship is generated.

또한, 3차원 메쉬 모델의 경우에는 대상 물체에 대하여 여러 각도에서 촬영한 영상과 3차원 메쉬 모델 간의 좌표 변환 관계에 대한 정보를 내재하는 것이 일반적이다. Also, in the case of a 3D mesh model, it is common to have information about a coordinate transformation relationship between an image photographed at various angles with respect to a target object and the 3D mesh model.

따라서, 컬러 UV 지도 생성부(120)는 참조 UV 지도 생성부(110)로부터 이러한 좌표 변환 관계에 대한 정보를 획득하거나, 이러한 미리 저장된 좌표 변환 관계에 대한 정보를 이용하여 컬러 영상들의 화소들을 참조 UV 지도의 2차원 공간과 동일한 2차원 좌표 공간에 매핑시켜 컬러 영상들 각각에 대응하는 컬러 UV 지도들을 생성할 수 있다.Therefore, the color UV map generator 120 obtains information on the coordinate transformation relationship from the reference UV map generator 110 or uses the information on the pre-stored coordinate transformation relationship to reference the pixels of the color images. Color UV maps corresponding to each of the color images may be generated by mapping to the same two-dimensional coordinate space as the two-dimensional space of the map.

참조 UV 지도 텍스쳐 매핑부(130)는 참 컬러 UV 지도 생성부(120)에서 생성된 복수의 컬러 UV 지도들을 기초로 참조 UV 지도 생성부(110)에서 생성된 참조 UV 지도에 텍스쳐를 매핑한다. The reference UV map texture mapping unit 130 maps the texture to the reference UV map generated by the reference UV map generation unit 110 based on the plurality of color UV maps generated by the true color UV map generation unit 120.

좀더 구체적으로 살펴보면, 참조 UV 지도 텍스쳐 매핑부(130)는 복수의 컬러 UV 지도들 중에서 참조 UV 지도의 차트별로, 차트 각각에 대응되는 키프레임 을 선택한다.In more detail, the reference UV map texture mapping unit 130 selects a keyframe corresponding to each chart for each chart of the reference UV map among the plurality of color UV maps.

이 때, 차트별로 텍스쳐 매핑을 수행하는 것을 보다 원활하게 하기 위해, 연결요소추출(Connected components extraction) 기법 등을 사용하여 차트 각각에 번호를 붙여서 구분할 수 있다.In this case, in order to more smoothly perform texture mapping for each chart, each chart may be numbered and divided using a connected components extraction technique.

본 실시예에서의 차트 각각에 대응되는 키프레임은 해당 차트에 속하는 영역의 컬러 정보를 가장 많이 포함하고 있는 컬러 UV 지도를 가리키며, 가장 간단하게는, 해당 차트와 컬러 UV 지도가 겹치는 영역의 넓이를 계산하여, 그 넓이가 가장 큰 컬러 UV 지도를 키프레임으로 선택할 수 있다.The keyframes corresponding to each chart in the present embodiment indicate a color UV map that includes the most color information of the area belonging to the chart, and most simply, the area of the area where the chart and the color UV map overlap. By calculating, the color UV map with the largest area can be selected as the keyframe.

참조 UV 지도 텍스쳐 매핑부(130)는 차트 각각에 대응되는 키프레임을 기초로 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑할 수 있다.The reference UV map texture mapping unit 130 may repeatedly map a texture to a reference UV map based on keyframes corresponding to each chart to map textures to all areas of the charts belonging to the reference UV map. .

즉, 참조 UV 지도 텍스쳐 매핑부(130)는 차트별로 선택된 키프레임을 기초로 키프레임에 대응되는 차트 내의 영역(해당 차트와 키프레임이 겹치는 영역)에 텍스쳐를 매핑하고, 이러한 키프레임 기반의 텍스쳐 매핑 과정을 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑될 때까지 반복함으로써, 참조 UV 지도의 텍스쳐 매핑을 완성할 수 있다.That is, the reference UV map texture mapping unit 130 maps a texture to an area in the chart (an area where the chart and keyframe overlap) corresponding to the key frame based on the selected key frame for each chart, and the key frame-based texture. By repeating the mapping process until the texture is mapped to all areas of the charts belonging to the reference UV map, the texture mapping of the reference UV map can be completed.

이 과정에서, 매핑된 텍스쳐 간에 경계선이 형성되는 등 각기 다른 키프레임(컬러 UV 지도)으로부터 매핑된 텍스쳐들 간의 충돌이 발생할 수 있으므로, 이러한 충돌을 해소하기 위해, 텍스쳐들을 서로 자연스럽게 이어지도록 합성하는 과정이 요구되며, 이를 위한 알고리즘으로는 자동 이미지 편집 기법으로 푸아송 이미지 편집 기법이 대표적이나, 이는 하나의 실시예에 불과하며, 본 발명 자체가 이에 한정되는 것은 아니라고 할 것이다.In this process, collisions may occur between textures mapped from different keyframes (color UV maps), such as boundary lines between mapped textures. Thus, in order to resolve such collisions, a process of synthesizing the textures to be naturally connected to each other is performed. As the algorithm for this, the Poisson image editing technique is representative as an automatic image editing technique, but this is only one embodiment, and the present invention is not limited thereto.

3차원 모델 텍스쳐 생성부(140)는 참조 UV 지도 텍스쳐 매핑부(130)를 통해 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성한다.The 3D model texture generation unit 140 generates a texture of the 3D mesh model based on the reference UV maps in which textures are mapped to all regions through the reference UV map texture mapping unit 130.

도 2는 본 발명의 바람직한 일실시예에 따른 3차원 모델의 텍스쳐 생성 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 3차원 모델의 텍스쳐 생성 방법은 도 1에 도시된 3차원 모델의 텍스쳐 생성 장치에서 수행될 수 있다. 따라서, 도 1에 도시된 3차원 모델의 텍스쳐 생성 장치에서와 동일한 사항에 대해서는 이를 참조한다.2 is a view illustrating a flow of a texture generation method of a three-dimensional model according to an embodiment of the present invention, the texture generation method of the three-dimensional model according to the present embodiment is a texture of the three-dimensional model shown in FIG. It can be performed in the generating device. Therefore, the same matters as in the texture generating apparatus of the 3D model shown in FIG. 1 are referred to.

도 2를 참조하면, 먼저 3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는다(S210).Referring to FIG. 2, first, a three-dimensional mesh model including a plurality of unit polygons in a three-dimensional space and representing a three-dimensional shape of a target object is received (S210).

S210 단계에서 입력받은 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 복수의 차트들로 구성된 참조 UV 지도를 생성한다(S220).The unit polygons of the 3D mesh model received in step S210 are converted into a plurality of charts in a 2D space to generate a reference UV map composed of a plurality of charts (S220).

S210 내지 S220 단계들의 과정와 별도로, 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 복수의 컬러 영상을 입력받는다(S230).Apart from the process of steps S210 to S220, a plurality of color images of photographing the target object at a plurality of photographing angles are received (S230).

본 실시예에서는 설명의 편의를 위해, (S210~S220)->(S230)의 순으로 기술하였으나, 이는 하나의 실시예에 불과하며, S210 내지 S220 단계들의 과정과 S230 단계는 서로 병렬적으로 혹은 동시에 수행되거나, 서로 순서를 바꾸어 수행되어도 무방하며, 본 발명은 이들의 수행 순서에 한정되지는 않는다고 할 것이다.In the present embodiment, for convenience of description, it is described in the order of (S210 ~ S220)-> (S230), but this is only one embodiment, the process of steps S210 to S220 and step S230 are in parallel with each other or It may be performed at the same time, or may be performed in reverse order, the present invention is not limited to the order of execution.

S230 단계에서 입력받은 복수의 컬러 영상들의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성한다(S240). 이때, 본 단계에서 생성되는 컬러 UV 지도들은 S230 단계에서 입력받은 컬러 영상들 각각에 일대일로 대응되는 것이 바람직하며, 따라서, S230 단계에서 K개의 컬러 영상들이 입력된 경우에 S240 단계에서 생성되는 컬러 UV 지도들의 개수는 K개인 것이 바람직하다.Pixels of the plurality of color images received in operation S230 are mapped to two-dimensional spaces of the reference UV map, respectively, to generate a plurality of color UV maps corresponding to the plurality of color images, in operation S240. In this case, the color UV maps generated in this step preferably correspond one-to-one to each of the color images input in step S230. Therefore, when the K color images are input in step S230, the color UV maps generated in step S240 are used. The number of maps is preferably K.

S240 단계에서 생성된 복수의 컬러 UV 지도들 중에서 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은(채워져 있지 않은) 영역에 대응하는 키프레임을 선택한다(S250)From among the plurality of color UV maps generated in step S240, a keyframe corresponding to an area in which the texture is not mapped (not filled) in the chart belonging to the reference UV map is selected (S250).

S250 단계에서 선택된 키프레임을 기초로 참조 UV 지도에 속한 차트 내에서 키프레임에 대응되는 영역에 텍스쳐를 매핑한다(S260).The texture is mapped to an area corresponding to the keyframe in the chart belonging to the reference UV map based on the keyframe selected in the step S250 (S260).

이때, 각각의 키프레임(컬러 UV 지도)의 경우에 컬러 UV 지도의 생성 기초가 된 컬러 영상을 촬영한 카메라의 자동 노출 조정(Auto Exposure) 기능으로 인해, 컬러 영상의 촬영 위치에 따라 영상의 색상이 서로 상이하게 인식될 수 있게 된다. 때문에, 서로 다른 촬영 각도에서 촬영한 복수의 컬러 영상들을 기초로 생성된 복수의 컬러 UV 지도들을 이용하여 텍스쳐를 매핑하는 경우에는 서로 다른 컬러 UV 지도들을 기초로 매핑된 텍스쳐들이 서로 만나는 부분에 부자연스러운 경계선(seam)이 발생할 수 있다. 뿐만 아니라, 3차원 모델의 기하학적 구조가 부정확한 경우에는, 키프레임(컬러 UV 지도)를 기초로 참조 UV 지도의 텍스쳐를 매핑할 경우 잘못된 위치에 텍스쳐가 매핑될 수 있고 이로 인해 텍스쳐들 사이에 부자연스러운 경계선이 발생할 수 있다. 따라서, 새로 매핑된 텍스쳐와 기존에 매핑되었던 텍스쳐들 사이에 경계 구분없이 자연스럽게 이어지도록 양자를 합성하는 것이 필요하다.In this case, the color of the image according to the shooting position of the color image due to the auto exposure function of the camera that captured the color image on which the color UV map is generated based on each keyframe (color UV map) These can be recognized differently from each other. Therefore, when mapping textures using a plurality of color UV maps generated based on a plurality of color images taken from different photographing angles, it is unnatural to the portions where the mapped textures meet each other based on different color UV maps. A seam may occur. In addition, if the geometry of the three-dimensional model is inaccurate, mapping the texture of the reference UV map based on keyframes (color UV maps) can result in textures being mapped to the wrong location, resulting in inconsistency between the textures. Natural borders may occur. Therefore, it is necessary to synthesize both so that the seamless mapping between the newly mapped texture and the previously mapped textures is seamless.

이에 따라, 본 실시예에서는, S260 단계에서 새로 매핑된 제1텍스쳐와 이러한 제1텍스쳐가 매핑되기 이전에 매핑되어 제1텍스쳐와 인접한 위치에 매핑되어 있는 제2텍스쳐 간에 경계선이 생기지 않도록 서로 합성한다(S270). S270 단계에서의 합성은 전술한 바와 같이 푸아송 영상 기법과 같은 자동 이미지 편집 기법을 이용하는 것이 바람직하다.Accordingly, in the present embodiment, in step S260, the newly mapped first texture and the second texture mapped before the first texture is mapped and mapped to a position adjacent to the first texture are synthesized so as not to generate a boundary line. (S270). As described above, the synthesis at step S270 is preferably performed using an automatic image editing technique such as a Poisson image technique.

예컨대, 푸아송 영상 편집 기법은 하나의 소스 영상을 다른 하나의 타겟 영상에 붙일 때, 소스 영상과 타겟 영상 사이의 경계 부분이 타겟 영상의 컬러와 자연스럽게 이어지도록 소스 영상과 타겟 영상을 합성하여 경계선 없는 합성 영상(seamless cloning)을 생성한다.For example, in the Poisson image editing technique, when a source image is attached to another target image, the source image and the target image are synthesized so that the boundary between the source image and the target image is naturally connected with the color of the target image. Generate a seamless cloning.

푸아송 영상 편집 기법을 사용하여 텍스쳐들을 이을 경우에는 텍스쳐가 이어지는 부분에 대한 공간 좌표가 필요한데, 3차원 메쉬 모델 상에서는 텍스쳐들 사이에 이어지는 부분이, 2차원 UV 지도에서는 떨여져 표현될 수 있으므로, 3차원 메쉬 모델이 2차원 uv 지도로 변환될 때 사용한 매핑 관계 정보를 고려하여 2차원 UV 지도 상에서는 서로 인접하거나 이웃하지 않는 텍스쳐들이라도 3차원 메쉬 모델 상에서 인접하거나 이웃할 수 있는 텍스쳐들이면 푸아송 영상 편집 기법을 이용하여 합성될 수 있다.When you combine textures using Poisson image editing, spatial coordinates are required for the portions of the textures that follow. On the three-dimensional mesh model, the portions between the textures can be separated from each other. Considering the mapping relationship information used when the dimensional mesh model is converted to the 2D uv map, if the textures that are adjacent to or adjacent to each other on the 2D UV map are textures that can be adjacent to or adjacent to each other on the 3D mesh model, the Poisson image is edited. Can be synthesized using techniques.

참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 UV 지도 텍스쳐 매핑 단계(S250~S270)를 반복하여 수행함으로써(S280), 참조 UV 지도의 텍스쳐 매핑 작업을 완료한다.The texture mapping operation of the reference UV map is completed by repeatedly performing the UV map texture mapping steps S250 to S270 until the textures are mapped to all regions of the charts belonging to the reference UV map (S280).

S280 단계를 통과하여 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 3차원 메쉬 모델의 텍스쳐를 생성한다(S290). 일반적으로 2차원 참조 UV 지도에 매핑된 텍스쳐를 3차원 메쉬 모델에 입히는 형태로 변환함으로써, 3차원 메쉬 모델의 텍스쳐를 생성 혹은 매핑할 수 있게 된다.In step S280, the texture of the 3D mesh model is generated based on the reference UV map in which the textures are mapped to all regions (S290). In general, by converting a texture mapped to a 2D reference UV map into a form coated on a 3D mesh model, the texture of the 3D mesh model can be generated or mapped.

도 3은 본 발명의 바람직한 일실시예에 따라 생성되는 참조 UV 지도 및 컬러 UV 지도를 예시한 도면이다.3 is a diagram illustrating a reference UV map and a color UV map generated according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 실시예에서 참조 UV 지도(302)는 대상 물체의 3차원 메쉬 모델(301)을 구성하는 3차원 좌표의 삼각형 폴리곤들 중 굴곡이 심한 부분을 절단하여 복수의 차트(영역)들로 나누고, 이들을 2차원 좌표로 변환하여 2차원 공간 상에 펼쳐 놓은 형태로 생성된다. 이때, 참조 UV 지도(302)의 각 차트들은 복수 개의 삼각형 폴리곤들로 구성되며, 각 삼각형 폴리곤들의 꼭지점은 2차원 좌표를 갖게 된다.Referring to FIG. 3, in the present exemplary embodiment, the reference UV map 302 cuts a severe portion of the triangular polygons of the three-dimensional coordinates constituting the three-dimensional mesh model 301 of the target object to generate a plurality of charts (areas). ), And convert them into two-dimensional coordinates to create an unfolded form in two-dimensional space. In this case, each chart of the reference UV map 302 is composed of a plurality of triangular polygons, and the vertices of each triangular polygon have two-dimensional coordinates.

본 실시예에서의 컬러 UV 지도들(304)은 대상 물체를 서로 다른 각도에서 촬영한 복수의 컬러 영상들(303)의 화소들을 각각 참조 UV 지도의 2차원 공간에 매핑시켜 생성될 수 있다.In the present embodiment, the color UV maps 304 may be generated by mapping pixels of the plurality of color images 303 photographed from different angles of the object to a two-dimensional space of the reference UV map.

복수의 컬러 영상들(303)을 화소 단위로 참조 UV 지도의 2차원 공간에 매핑시키는 과정에서, 3차원 메쉬 모델과 참조 UV 지도 간의 좌표 변환 정보 혹은 3차원 메쉬 모델 생성시 3차원 메쉬 모델과 소스 영상들 간의 좌표 변환 정보 등을 이용할 수 있다.In the process of mapping the plurality of color images 303 to the two-dimensional space of the reference UV map in units of pixels, coordinate transformation information between the three-dimensional mesh model and the reference UV map or a three-dimensional mesh model and source when generating the three-dimensional mesh model Coordinate transformation information between images may be used.

도 4는 본 발명의 바람직한 일실시예에 따라 참조 UV 지도의 각 차트별로 키프레임이 선정되는 과정을 예시한 도면이다.4 is a diagram illustrating a process of selecting a keyframe for each chart of a reference UV map according to an exemplary embodiment of the present invention.

도 4를 참조하면, 참조 UV 지도(401, 402)는 폴리곤들을 2차원 좌표 공간에 펼치는 과정에서 굴곡이 심한 부분을 절단하여 분리된 부분(영역)들을 차트라고 칭하며, 이러한 차트 분리는 연결요소추출기법과 같은 종래에 공지된 알고리즘을 통해 당업자가 용이하게 수행할 수 있으며, 본 발명에서는 차트 분리 알고리즘에 대하여 한정하지 않는다.Referring to FIG. 4, the reference UV maps 401 and 402 cut the severely curved portions in the process of unfolding polygons in a two-dimensional coordinate space, and refer to the separated parts (areas) as charts. A person skilled in the art can easily perform a conventionally known algorithm such as a technique, and the present invention is not limited to the chart separation algorithm.

참조 UV 지도 내에서 분리된 각 차트별로 대응되는 키프레임(403, 404, 405)을 선택하여 매칭하게 된다. 전술한 바와 같이, 키프레임은 해당 차트에 속하는 영역의 컬러 정보를 가장 많이 포함하고 있는 컬러 UV 지도를 가리키며, 바람직하게는, 해당 차트와 컬러 UV 지도가 겹치는 영역의 넓이를 계산하여, 그 넓이가 가장 큰 컬러 UV 지도를 키프레임으로 선택할 수 있다.Keyframes 403, 404, 405 corresponding to each chart separated in the reference UV map are selected and matched. As described above, the keyframe refers to a color UV map that includes the most color information of the area belonging to the chart. Preferably, the keyframe is calculated by calculating the area of the overlapping area between the chart and the color UV map. The largest color UV map can be selected as the keyframe.

도 5는 본 발명의 바람직한 일실시예에 따라 키프레임에 대응되는 참조 UV 지도의 영역에 텍스쳐를 매핑하는 과정을 예시한 도면이다.5 is a diagram illustrating a process of mapping a texture to an area of a reference UV map corresponding to a keyframe according to an embodiment of the present invention.

도 5를 참조하면, 본 실시예에 따르면, 3차원 메쉬 모델로부터 생성된 참조 UV 지도(501)에, 참조 UV 지도의 각 차트에 대응하는 키프레임을 기초로 1차적으로 텍스쳐를 생성(매핑)한 결과(502)가 예시되며, 본 실시예에서 1차적으로 텍스쳐를 생성(매핑)한 경우라 하더라도 아직 텍스쳐가 입혀지지 않아 2차 혹은 3차적으로 차트별 텍스쳐 매핑 과정을 거쳐야할 영역(503)들이 존재할 수 있음을 나타낸다.Referring to FIG. 5, according to the present embodiment, a texture is primarily generated (mapping) on a reference UV map 501 generated from a three-dimensional mesh model based on keyframes corresponding to each chart of the reference UV map. One result 502 is illustrated. In this embodiment, even though the texture is primarily created (mapped), the texture is not yet coated, and thus the area 503 to undergo the texture mapping process for each chart in the secondary or tertiary manner. May be present.

도 6은 본 발명의 바람직한 일실시예에 따라 키프레임 기반의 텍스쳐 매핑 과정을 반복 수행한 결과들을 예시한 도면이다.6 illustrates results of repeating a keyframe based texture mapping process according to an exemplary embodiment of the present invention.

도 6을 참조하면, 각 차트에 대응되는 키프레임을 이용하여 텍스쳐를 매핑하는 차트별 매핑 과정을 1회에 걸쳐서 수행한 경우에 텍스쳐가 생성된 결과 및 텍스쳐가 입혀지지 않은 영역(601)과, 이러한 차트별 매핑 과정을 2회에 걸쳐서 반복 수행한 결과(602) 및 이러한 차트별 매핑 과정을 3회에 걸쳐서 반복 수행한 결과(603)를 대비하면, 반복 수행 횟수가 증가할수록 텍스쳐 매핑이 되지 않은 참조 UV 지도의 영역이 줄어들게 된다. 따라서, 참조 UV 지도의 모든 영역에 대하여 텍스쳐 매핑이 완료될 때까지 차트별 매칭을 반복하는 경우에는 참조 UV 모델에 고화질의 텍스쳐 매핑을 완료할 수 있게 됨을 확인할 수 있다.Referring to FIG. 6, when a chart-specific mapping process of mapping a texture using keyframes corresponding to each chart is performed once, the texture generation result and the non-textured region 601; In contrast with the result of repeating the chart-by-chart mapping process twice (602) and the result of repeating the chart-by-chart mapping process three times (603), as the number of iterations is increased, the texture mapping is not performed. The area of the reference UV map will be reduced. Therefore, it can be seen that high-quality texture mapping can be completed in the reference UV model when the matching of charts is repeated until the texture mapping is completed for all regions of the reference UV map.

도 7은 본 발명의 바람직한 일실시예에 따라 3차원 모델의 텍스쳐를 생성한 결과를 예시한 도면이다.7 is a diagram illustrating a result of generating a texture of a 3D model according to an exemplary embodiment of the present invention.

도 7을 참조하면, 본 실시예에 따른 텍스쳐 생성 장치에 3차원 메쉬 모델(701) 및 복수의 컬러 영상(702)이 입력되면, 이러한 입력 데이터를 기초로 하여 텍스쳐가 생성되어 3차원 메쉬 모델에 매팽된 결과(703)가 출력되는 것을 나타낸다.Referring to FIG. 7, when the 3D mesh model 701 and the plurality of color images 702 are input to the texture generating apparatus according to the present embodiment, a texture is generated based on the input data and applied to the 3D mesh model. This shows that the result 703 is output.

이처럼, 본 발명에 따라 3차원 모델의 텍스쳐를 생성하면, 상대적으로 짧은 시간에 번짐이 적은 고화질의 텍스쳐를 생성할 수 있다. 이를 통해, 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 사실감을 높여주고, 나아가 해당 대상 물체가 포함되는 디지털 영상 전체의 품질을 개선할 수 있다.As such, when the texture of the 3D model is generated according to the present invention, it is possible to generate a high quality texture with less blurring in a relatively short time. Through this, the realism of the three-dimensional mesh model representing the three-dimensional shape of the target object may be improved, and the quality of the entire digital image including the target object may be improved.

아울러, 본 발명에 따라 3차원 모델의 텍스쳐를 생성하는 과정은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the process of generating the texture of the three-dimensional model according to the present invention can also be embodied as computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers of the technical field to which the present invention belongs.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, You will understand. Accordingly, the true scope of protection of the present invention should be determined only by the appended claims.

Claims (11)

대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델에 속한 복수의 단위 폴리곤들을 2차원 공간 상에 펼쳐서 복수의 차트들을 갖는 참조 UV 지도를 생성하는 참조 UV 지도 생성부;
상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 화소 단위로 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성부;
상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑부; 및
상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 3차원 모델 텍스쳐 생성부를 포함하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
A reference UV map generator for generating a reference UV map having a plurality of charts by unfolding a plurality of unit polygons belonging to a three-dimensional mesh model representing a three-dimensional shape of a target object in a two-dimensional space;
Generating color UV maps for generating a plurality of color UV maps respectively corresponding to the color images by mapping the color images photographed at the plurality of photographing angles to the two-dimensional space of the reference UV map. part;
From among the plurality of color UV maps, a keyframe corresponding to each of the charts of the reference UV map is selected, and a process of mapping a texture to the reference UV map based on the selected keyframe is repeatedly performed. A reference UV map texture mapping unit for mapping textures to all areas of the charts belonging to the reference UV map texture; And
And a three-dimensional model texture generation unit configured to generate a texture of the three-dimensional mesh model based on reference UV maps in which textures are mapped to all the regions.
제1항에 있어서,
상기 참조 UV 지도의 차트는 상기 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역인 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
The method of claim 1,
And the chart of the reference UV map is a partial region cut and separated according to the curvature of the 3D mesh model.
제1항에 있어서,
상기 컬러 UV 지도 생성부는 상기 3차원 메쉬 모델의 3차원 좌표와 상기 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 상기 3차원 메쉬 모델과 상기 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 상기 컬러 UV 지도를 생성하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
The method of claim 1,
The color UV map generation unit is based on a coordinate transformation relationship between the three-dimensional coordinates of the three-dimensional mesh model and the two-dimensional coordinates of the two-dimensional reference UV map and the coordinate transformation relationship between the three-dimensional mesh model and the plurality of color images. 3D mesh model texture generating device, characterized in that for generating a color UV map.
제1항에 있어서,
상기 참조 UV 지도 텍스쳐 매핑부는 상기 참조 UV 지도의 차트 각각에 대하여 상기 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 상기 차트 각각에 대응되는 키프레임으로 선택하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
The method of claim 1,
The reference UV map texture mapping unit selects, as a keyframe corresponding to each of the charts, a color UV map having a maximum area of the overlapping area of each chart for each chart of the reference UV map. Texture generator.
제1항에 있어서,
상기 참조 UV 지도 텍스쳐 매핑부가 상기 선택된 키프레임을 기초로 상기 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행할 때에는 현재 매핑된 제1텍스쳐 및 상기 제1텍스쳐가 매핑되기 이전에 매핑되어 상기 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐들 사이에 경계 구분없이 이어지도록 상기 제1텍스쳐 및 상기 제2텍스쳐를 합성하는 방식을 반복하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑되도록 하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 장치.
The method of claim 1,
When the reference UV map texture mapping unit repeatedly performs a process of mapping a texture to the reference UV map based on the selected keyframe, the currently mapped first texture and the first texture are mapped before being mapped to the first texture. Repeating the synthesis of the first texture and the second texture so that the first texture and the second textures continue without boundary separation between the second textures adjacent to the first texture so that the textures are mapped to all regions of the charts belonging to the reference UV map. Texture generation apparatus for a three-dimensional mesh model, characterized in that.
3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델을 입력받는 단계;
상기 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 상기 복수의 차트들로 구성된 참조 UV 지도를 생성하는 단계;
상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 단계;
상기 컬러 영상들의 화소들을 각각 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 컬러 UV 지도 생성 단계;
상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도에 속한 차트 내에 텍스쳐가 매핑되지 않은 영역에 대응하는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 속한 차트 내에서 상기 키프레임에 대응되는 영역에 텍스쳐를 매핑하는 참조 UV 지도 텍스쳐 매핑 단계;
상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑된 때까지 상기 참조 UV 지도 텍스트 매핑 단계를 반복하여 수행하는 단계; 및
상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
Receiving a three-dimensional mesh model composed of a plurality of unit polygons in a three-dimensional space and representing a three-dimensional shape of a target object;
Generating a reference UV map composed of the plurality of charts by converting the unit polygons of the three-dimensional mesh model into a plurality of charts in a two-dimensional space;
Receiving color images of photographing the object at a plurality of photographing angles;
Generating a plurality of color UV maps respectively corresponding to the plurality of color images by mapping pixels of the color images to a two-dimensional space of the reference UV map;
From among the plurality of color UV maps, select a keyframe corresponding to an area where a texture is not mapped in the chart belonging to the reference UV map, and select a keyframe in the chart belonging to the reference UV map based on the selected keyframe. A reference UV map texture mapping step of mapping a texture to a corresponding area;
Repeating the reference UV map text mapping step until a texture is mapped to all regions of the charts belonging to the reference UV map; And
And generating a texture of the 3D mesh model based on a reference UV map in which textures are mapped to all the regions.
제6항에 있어서,
상기 참조 UV 지도의 차트는 상기 3차원 메쉬 모델의 곡률에 따라 절단되어분리된 부분영역인 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
The method according to claim 6,
The chart of the reference UV map is a texture generation method of a three-dimensional mesh model, characterized in that the sub-area cut and separated according to the curvature of the three-dimensional mesh model.
제6항에 있어서,
상기 컬러 UV 지도 생성 단계는 상기 3차원 메쉬 모델의 3차원 좌표와 상기 2차원 참조 UV 지도의 2차원 좌표 간의 좌표 변환 관계 및 상기 3차원 메쉬 모델과 상기 복수의 컬러 영상 간의 좌표 변환 관계를 기초로 상기 컬러 UV 지도를 생성하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
The method according to claim 6,
The generating of the color UV map may be performed based on a coordinate transformation relationship between the three-dimensional coordinates of the three-dimensional mesh model and the two-dimensional coordinates of the two-dimensional reference UV map and a coordinate transformation relationship between the three-dimensional mesh model and the plurality of color images. The texture generation method of the three-dimensional mesh model, characterized in that for generating the color UV map.
제6항에 있어서,
상기 참조 UV 지도 텍스쳐 매핑 단계는 상기 참조 UV 지도의 차트 각각에 대하여 상기 차트 각각과 겹치는 영역의 넓이가 최대인 컬러 UV 지도를 상기 차트 각각에 대응되는 키프레임으로 선택하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
The method according to claim 6,
The mapping of the reference UV map texture may include selecting, as a keyframe corresponding to each of the charts, a color UV map having a maximum area of the overlapping area of each chart for each chart of the reference UV map. How to create a texture for a model.
제6항에 있어서,
상기 참조 UV 지도 텍스쳐 매핑 단계를 반복하여 수행할 때에는 현재 매핑된 제1텍스쳐 및 상기 제1텍스쳐가 매핑되기 이전에 매핑되어 상기 제1텍스쳐와 인접한 위치에 있는 제2텍스쳐들 사이에 경계 구분없이 이어지도록 상기 제1텍스쳐 및 상기 제2텍스쳐를 합성하는 방식을 반복하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐가 매핑되도록 하는 것을 특징으로 하는 3차원 메쉬 모델의 텍스쳐 생성 방법.
The method according to claim 6,
When the reference UV map texture mapping step is repeatedly performed, no boundary is separated between the currently mapped first texture and the second textures that are mapped before the first texture is mapped and are adjacent to the first texture. Repeating the synthesis method of the first texture and the second texture so that the texture is mapped to all areas of the charts belonging to the reference UV map.
3차원 공간 상에 복수의 단위 폴리곤들의 집합으로 구성되어 대상 물체의 3차원 형체를 나타내는 3차원 메쉬 모델의 텍스쳐를 생성하는 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
상기 3차원 메쉬 모델을 입력받는 기능;
상기 3차원 메쉬 모델의 단위 폴리곤들을 2차원 공간 상의 복수의 차트들로 변환하여 상기 복수의 차트들로 구성된 참조 UV 지도를 생성하는 기능;
상기 대상 물체를 복수의 촬영 각도들에서 각각 촬영한 컬러 영상들을 입력받는 기능;
상기 컬러 영상들의 화소들을 각각 상기 참조 UV 지도의 2차원 공간에 매핑시켜 상기 복수의 컬러 영상들에 각각 대응하는 복수의 컬러 UV 지도들을 생성하는 기능;
상기 복수의 컬러 UV 지도들 중에서 상기 참조 UV 지도의 차트 각각에 대응되는 키프레임을 선택하고, 선택된 키프레임을 기초로 상기 참조 UV 지도에 텍스쳐를 매핑하는 과정을 반복적으로 수행하여 상기 참조 UV 지도에 속한 차트들의 모든 영역에 텍스쳐를 매핑하는 기능; 및
상기 모든 영역에 텍스쳐가 매핑된 참조 UV 지도를 기초로 상기 3차원 메쉬 모델의 텍스쳐를 생성하는 기능를 포함하는 것을 특징으로 하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체.
In a computer-readable recording medium containing a program comprising a function of generating a texture of a three-dimensional mesh model representing a three-dimensional shape of a target object composed of a set of a plurality of unit polygons in a three-dimensional space,
Receiving the 3D mesh model;
Generating a reference UV map composed of the plurality of charts by converting the unit polygons of the 3D mesh model into a plurality of charts in a two-dimensional space;
A function of receiving color images of photographing the target object at a plurality of photographing angles;
Generating a plurality of color UV maps respectively corresponding to the plurality of color images by mapping pixels of the color images to a two-dimensional space of the reference UV map;
From among the plurality of color UV maps, a keyframe corresponding to each of the charts of the reference UV map is selected, and a process of mapping a texture to the reference UV map based on the selected keyframe is repeatedly performed. Mapping a texture to all regions of the charts belonging to the image; And
And a function of generating a texture of the three-dimensional mesh model based on a reference UV map in which textures are mapped to all the regions.
KR1020120077319A 2012-07-16 2012-07-16 Apparatus and method for generating texture for three dimensional mesh model of target object KR101375649B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120077319A KR101375649B1 (en) 2012-07-16 2012-07-16 Apparatus and method for generating texture for three dimensional mesh model of target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120077319A KR101375649B1 (en) 2012-07-16 2012-07-16 Apparatus and method for generating texture for three dimensional mesh model of target object

Publications (2)

Publication Number Publication Date
KR20140010708A KR20140010708A (en) 2014-01-27
KR101375649B1 true KR101375649B1 (en) 2014-03-18

Family

ID=50143246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120077319A KR101375649B1 (en) 2012-07-16 2012-07-16 Apparatus and method for generating texture for three dimensional mesh model of target object

Country Status (1)

Country Link
KR (1) KR101375649B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101680174B1 (en) * 2015-03-12 2016-11-28 경북대학교 산학협력단 Method for generation of coloring design using 3d model, recording medium and device for performing the method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102612539B1 (en) 2019-12-17 2023-12-11 한국전자통신연구원 Multiview video encoding and decoding method
CN114286115B (en) * 2021-11-24 2024-04-16 杭州星犀科技有限公司 Control method and system for picture display of multi-channel video
WO2023095969A1 (en) * 2021-11-29 2023-06-01 주식회사 쓰리아이 Texturing method for generating three-dimensional virtual model, and computing device therefor
KR102403258B1 (en) * 2021-12-15 2022-05-30 주식회사 리콘랩스 Method and system for 3d modeling based on volume estimation
CN116310213B (en) * 2023-02-23 2023-10-24 北京百度网讯科技有限公司 Processing method and device of three-dimensional object model, electronic equipment and readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084670A (en) * 2000-02-28 2001-09-06 윤종용 Texture mapping method and apparatus for 2D facial image to 3D facial model
KR20080090671A (en) * 2007-04-05 2008-10-09 삼성전자주식회사 Apparatus and method for mapping textures to object model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084670A (en) * 2000-02-28 2001-09-06 윤종용 Texture mapping method and apparatus for 2D facial image to 3D facial model
KR20080090671A (en) * 2007-04-05 2008-10-09 삼성전자주식회사 Apparatus and method for mapping textures to object model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101680174B1 (en) * 2015-03-12 2016-11-28 경북대학교 산학협력단 Method for generation of coloring design using 3d model, recording medium and device for performing the method

Also Published As

Publication number Publication date
KR20140010708A (en) 2014-01-27

Similar Documents

Publication Publication Date Title
KR101375649B1 (en) Apparatus and method for generating texture for three dimensional mesh model of target object
US7903111B2 (en) Depth image-based modeling method and apparatus
KR101199475B1 (en) Method and apparatus for reconstruction 3 dimension model
US20210134049A1 (en) Image processing apparatus and method
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
US8781161B2 (en) Image processing method and apparatus for generating a 3D model of a target object
KR100721536B1 (en) Method for restoring 3-dimension image using silhouette information in 2-dimension image
KR20130047194A (en) Apparatus and method for 3d appearance creation and skinning
JP2020524851A5 (en)
KR102199458B1 (en) Method for reconstrucing 3d color mesh and apparatus for the same
JP6902881B2 (en) Information processing device and 3D model generation method
KR101526948B1 (en) 3D Image Processing
TWI810818B (en) A computer-implemented method and system of providing a three-dimensional model and related storage medium
JP4099776B2 (en) 3D model creation device, 3D model creation method, and 3D model creation program
JP2019016230A (en) Learning device, image combining device, learning method, image combining method, and program
US20150145861A1 (en) Method and arrangement for model generation
JP5422538B2 (en) Image processing apparatus, display apparatus, method and program thereof
JP7460641B2 (en) Apparatus and method for generating a light intensity image - Patents.com
JP2006072805A (en) Three-dimensional model display device and program
JP2020173726A (en) Virtual viewpoint conversion device and program
KR102455843B1 (en) Apparatus for reconstructing image and method using the same
KR101748674B1 (en) Method and apparatus for producing three-dimensional image
JP2015197374A (en) Three-dimensional shape estimation device and three-dimensional shape estimation method
JP2010152529A (en) Vertex texture mapping device and program
JP2022029239A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 7