KR20100002799A - Method for making three-dimentional model using color correction - Google Patents

Method for making three-dimentional model using color correction Download PDF

Info

Publication number
KR20100002799A
KR20100002799A KR1020080062833A KR20080062833A KR20100002799A KR 20100002799 A KR20100002799 A KR 20100002799A KR 1020080062833 A KR1020080062833 A KR 1020080062833A KR 20080062833 A KR20080062833 A KR 20080062833A KR 20100002799 A KR20100002799 A KR 20100002799A
Authority
KR
South Korea
Prior art keywords
color
image
sub
area
front image
Prior art date
Application number
KR1020080062833A
Other languages
Korean (ko)
Other versions
KR100943218B1 (en
Inventor
김근호
김종열
최은지
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020080062833A priority Critical patent/KR100943218B1/en
Priority to PCT/KR2008/005542 priority patent/WO2010002070A1/en
Priority to US13/001,942 priority patent/US8369625B2/en
Publication of KR20100002799A publication Critical patent/KR20100002799A/en
Application granted granted Critical
Publication of KR100943218B1 publication Critical patent/KR100943218B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching

Abstract

PURPOSE: A 3D model generating method using a color proofreading based on a standard color table is provided to generate a 3D model of accurate color by obtaining the image without color distortion. CONSTITUTION: A reference color table is detected from a reference color table section of a front/rear images of an object individual(S120). A color value of front/rear side of the reflections is corrected(S150). The standard color table region is removed from front/rear side of the reflections. A feature point coordinate is extracted from front/rear side of the reflections(S170). A 3D(Dimensional) texture is formed by matching a feature point coordinate corresponding to the image(S180).

Description

컬러 교정을 이용한 3차원 모델 생성 방법{Method for Making Three-Dimentional Model using Color Correction} Method for Making Three-Dimentional Model using Color Correction

본 발명은 3차원 모델 생성 방법에 관한 것으로, 안면진단을 위해 다양한 각도에서 촬영된 정지 영상을 이용하여 3차원 모델을 생성하되 컬러 교정을 통해 실제의 색상에 가까운 3차원 모델을 생성하는 방법에 관한 것이다.The present invention relates to a three-dimensional model generation method for generating a three-dimensional model using a still image photographed from various angles for facial diagnosis, but to a method for generating a three-dimensional model close to the actual color through color correction will be.

과학기술이 발전함에 따라 의사와 환자가 직접 대면하지 않고 원거리에서 환자의 영상만을 분석하여 건강의 정도나 이상 유무를 어느 정도 측정할 수 있는 기술들이 개발되고 있다.As science and technology develops, technologies that can measure the degree of health or abnormality by analyzing images of patients at a distance without facing doctors and patients directly are being developed.

이를 위해서는 먼저 영상 정보를 획득하고 잡음을 없이 전송하는 기술도 중요하지만 영상을 보고 의사가 환자의 상태를 진단하기 위해서는 촬영시의 카메라의 흔들림이나 조명에 의한 색상 변화와 같은 영상의 왜곡을 보정하여 실제 현장에서 직접 환자를 보는 것과 마찬가지의 영상을 제공하는 것도 중요하다.For this purpose, the technology of acquiring image information and transmitting it without noise is important.However, in order to see the image and the doctor diagnoses the patient's condition, it is necessary to correct the distortion of the image such as camera shake or color change caused by lighting. It is also important to provide an image similar to viewing the patient directly in the field.

즉, 영상 진단을 위해 촬영시 왜곡된 기하 정보와 컬러 변화를 교정할 필요성이 있다. 손 동작으로 인한 카메라의 떨림 등으로 대상 인물의 형태가 변화할 수 있는데 특히 신체의 모양은 직선의 형태가 아닌 입체적인 형태이므로 기하 정보 왜 곡을 교정하는 것은 어려운 일이다.That is, there is a need to correct distorted geometric information and color change during imaging for image diagnosis. The shape of the subject may change due to camera shake due to hand movement. Especially, since the shape of the body is three-dimensional rather than a straight line, it is difficult to correct geometric information distortion.

영상 인식과 분석에 관련된 종래의 기술을 살펴보면 다음과 같다.A conventional technique related to image recognition and analysis is as follows.

먼저, 형상 인식 장치 및 방법(한국공개특허 2006-0119968, 2006. 11. 24 공개)는 이미지를 캡쳐하여 안면을 인식하기 위한 장치 및 방법인데 이미지의 보정에 관한 구성이 없어 조명이나 기타 주위환경에 의하여 이미지가 왜곡될 수 있는 문제가 있다. First, a shape recognition device and method (Korean Patent Publication No. 2006-0119968, published on November 24, 2006) is a device and method for recognizing a face by capturing an image. There is a problem that the image can be distorted.

다음으로, 촬영 시스템(일본공개특허 2003-209849, 2003. 07. 25공개)은 렌즈를 개폐하는 뚜껑의 하단부에 반사면을 설치하여 참조영상으로부터 색 채널을 보정하는 방법에 관한 것으로, 카메라 주변의 색의 변화에는 민감하나 실제 물체에 투영되는 빛의 조건을 반영하여 보정하지 못하는 문제점이 있다.Next, a photographing system (Japanese Patent Laid-Open No. 2003-209849, 2003. 07. 25 publication) relates to a method of correcting a color channel from a reference image by installing a reflective surface at a lower end of a lid for opening and closing a lens. Although sensitive to color changes, there is a problem in that correction cannot be made by reflecting a condition of light projected on a real object.

입체적 모델을 만들기 위해서는 다수의 평면 영상이 필요한데 각 평면 영상은 촬영 조건, 구체적으로는 시간과 장소, 조명 등에 따라 색상이 달라질 수 있는 문제점이 있다. 같은 부위라도 서로 다른 색상을 가지게 되면 입체적 모델을 만들었을 경우 색상이 고르지 못하여 이상 유무를 잘못 판단할 우려가 있다. 또한, 실제 대상 인물의 얼굴의 굴곡이나 형상을 고려하지 않으면 정확한 3차원적인 컬러를 보여주지 못해 이를 기준으로 진단을 하는 경우 오진의 우려가 높다.In order to create a three-dimensional model, a plurality of planar images are required. Each planar image has a problem in that colors may vary depending on shooting conditions, specifically, time, place, and lighting. If the same part has a different color, the color may be uneven when the three-dimensional model is made, and there is a risk of incorrectly determining the abnormality. In addition, if the actual subject does not consider the curvature or shape of the face does not show the correct three-dimensional color, if the diagnosis based on this is a high possibility of misdiagnosis.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 다수의 평면 영상의 컬러 기준을 일치시켜 색상 왜곡이 없는 영상을 얻고, 여러 각도의 영상으로부터 특징점을 매칭하여 깊이 정보를 획득하거나 구조화된 빛(Structured Light)을 조사하여 안면의 깊이정보를 획득하고 이를 이용하여 정확한 색상의 3차원 모델을 생성하는 컬러 교정을 이용한 3차원 모델 생성 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems of the prior art, to obtain an image without color distortion by matching the color standards of a plurality of plane image, to obtain the depth information by matching feature points from the image of various angles It is an object of the present invention to provide a 3D model generation method using color correction to obtain a depth information of a face by irradiating structured light and to generate a 3D model of an accurate color using the same.

상기의 과제를 해결하기 위한 본 발명의 제 1 특징에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 2 단계, 컬러값이 보정된 상기 정면 영상과 측면 영상에서 상기 기준 컬러 테이블 영역을 제거하는 제 3 단계, 상기 제 3 단계에서 상기 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 상기 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 4 단계, 상기 제 4 단계에서 정면 영상 및 측면 영상에서 추출한 서로 대응되는 특징점 좌표를 매칭시켜 공간적인 깊이 정보를 추출한 후 상기 특징점 좌표에 상기 깊이 정보를 결합하여 3차원 모델을 생성하는 제 5 단계 및 상기 제 5 단계에서 생성된 3차원 모델에 상기 제 4 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 6 단계를 포함하여 이루어진다.In order to solve the above problems, a three-dimensional model generation method using color correction according to the first aspect of the present invention includes a front image and a plurality of side images of a target person including a reference color table including one or more sub-color areas. In a first step of obtaining by using a camera, detecting a reference color table region in the front image and the side image and correcting the color values of the front image and the side image to match the color values of the reference color table used at the time of photographing. Step 2, a third step of removing the reference color table region from the front image and the side image, the color value is corrected, the eye and mouth in the front image and the side image from which the reference color table region is removed in the third step The feature point coordinates of the corresponding region are extracted, and the feature point coordinates corresponding to each other in the front image and the side image are extracted. In the fourth step of forming a three-dimensional texture by matching the feature point coordinates extracted from the front image and the side image in the fourth step, the spatial depth information is extracted, and then the depth information is combined with the feature point coordinates. And a sixth step of mapping the three-dimensional texture generated in the fourth step to the three-dimensional model generated in the fifth step.

여기서, 상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어진다.Here, the sub color area includes a first color area of the edge portion and second to fifth color areas surrounded by the first color area.

또한, 상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색이다.In addition, the first color area is black, the second color area is blue, the third color area is white, the fourth color area is red, and the fifth color area is green.

여기서, 상기 제 2 단계는 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정, 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정, 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정 및 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함한다.The second step may include a first step of detecting a reference color table area and a sub color area in the front image and the side image acquired in the first step, and a second step of calculating a representative color value of each sub color area. And obtaining a correction matrix for converting a representative color value of each sub color area included in the reference color table area to correspond to a color value of each sub color area of the reference color table with respect to the front image and the side image. And a fourth process of calibrating color values of all pixels of the front image and the side image using the calibration matrix.

또한, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값이거나, 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값이다.The representative color value in the second process may be a color value of each center coordinate detected after detecting the center coordinates of each sub color region in the front image and the side image, or each sub color region in the front image and the side image. The color average value of all pixels constituting the.

상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 계산되는 것을 특징으로 한다.The calibration matrix is calculated by applying the following determinant for each sub color region.

Figure 112008047218509-PAT00001
Figure 112008047218509-PAT00001

여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.Where R cs , G cs , and B cs are RGB values for each sub color region of the reference color table, and t 11 to t 33 are elements of the correction matrix for the surface color, and R os , G os , and B os are photographed. The representative color values, b 1 to b 3 , of each sub color area of the reference color table area detected in the image are elements of a correction matrix for the surrounding color.

또한, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 한다.The fourth process is characterized in that the color values of all the pixels of the front image and the side image are corrected by the following equation.

Figure 112008047218509-PAT00002
Figure 112008047218509-PAT00002

여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.Where P '(x, y) is the color value of the pixel at x, y coordinates after calibration, P (x, y) is the color value of the pixel at x, y coordinates before calibration, and T is the calibration matrix .

또한, 상기의 과제를 해결하기 위한 본 발명의 제 2 특징에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계, 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득하는 제 2 단계, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 3 단계, 상기 제 1 단계 및 상기 제 2 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역을 제거하는 제 4 단계, 상기 제 4 단계에서 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 5 단계, 상기 제 2 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출하고, 상기 제 5 단계에서 추출한 특징점 좌표를 기준으로 상기 깊이 정보를 반영한 3차원 모델을 생성하는 제 6 단계 및 상기 제 6 단계에서 생성된 3차원 모델에 상기 제 5 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 7 단계를 포함한다.In addition, a three-dimensional model generation method using a color correction according to a second aspect of the present invention for solving the above problems is a front image and a plurality of side surfaces of the target person including a reference color table including one or more sub-color areas In a first step of acquiring an image using a camera, front and side images are irradiated by irradiating structured light having a predetermined pattern on the target person at an angle spaced from the camera by a predetermined angle. A second step of obtaining a third step of detecting a reference color table region in the front image and the side image and correcting color values of the front image and the side image to match the color values of the reference color table used at the time of photographing; The reference color table region is removed from the front image and the side image acquired in the first and second steps. In the fourth and fourth steps, the feature point coordinates of the areas corresponding to the eyes and the mouth are extracted from the front image and the side image from which the reference color table region is removed, and the corresponding feature point coordinates are matched with each other in the front image and the side image. Extracting depth information of all pixels according to the degree of deformation of the structured light from the fifth image, the front image and the side image obtained in the second step of forming a three-dimensional texture, and extracted in the fifth step A sixth step of generating a three-dimensional model reflecting the depth information based on the feature point coordinates, and a seventh step of mapping the three-dimensional texture generated in the fifth step to the three-dimensional model generated in the sixth step; .

상기 구조화된 빛은 상기 카메라의 촬영 방향과 설정된 각도만큼 벌어져 상기 대상 인물을 향해 조사된다.The structured light is irradiated toward the target person at a predetermined angle with a shooting direction of the camera.

상기 구조화된 빛은 설정된 간격만큼 나란하게 이격된 다수개의 직선 패턴을 가진다.The structured light has a plurality of straight patterns spaced side by side by a set interval.

여기서, 상기 제 4 단계는 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정, 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정, 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정 및 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함한다.Here, the fourth step is a first step of detecting the reference color table area and the sub color area in the front image and the side image obtained in the first step, the second process of calculating the representative color value of each sub color area And obtaining a correction matrix for converting a representative color value of each sub color area included in the reference color table area to correspond to a color value of each sub color area of the reference color table with respect to the front image and the side image. And a fourth process of calibrating color values of all pixels of the front image and the side image using the calibration matrix.

또한, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값이거나, 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값이다.The representative color value in the second process may be a color value of each center coordinate detected after detecting the center coordinates of each sub color region in the front image and the side image, or each sub color region in the front image and the side image. The color average value of all pixels constituting the.

상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 계산되는 것을 특징으로 한다.The calibration matrix is calculated by applying the following determinant for each sub color region.

Figure 112008047218509-PAT00003
Figure 112008047218509-PAT00003

여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.Where R cs , G cs , and B cs are RGB values for each sub color region of the reference color table, and t 11 to t 33 are elements of the correction matrix for the surface color, and R os , G os , and B os are photographed. The representative color values, b 1 to b 3 , of each sub color area of the reference color table area detected in the image are elements of a correction matrix for the surrounding color.

또한, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상 의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 한다.In addition, the fourth process is characterized in that the color values of all the pixels of the front image and the side image are corrected by the following equation.

Figure 112008047218509-PAT00004
Figure 112008047218509-PAT00004

여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.Where P '(x, y) is the color value of the pixel at x, y coordinates after calibration, P (x, y) is the color value of the pixel at x, y coordinates before calibration, and T is the calibration matrix .

또한, 상기 제 6 단계는 상기 기준 컬러 테이블 영역이 제거된 정면 영상 및 측면 영상에서 상기 구조화된 빛의 굴곡 정도에 따른 깊이 정보를 각각 추출하는 제 1 과정 및 상기 특징점 좌표를 기준으로 상기 제 1 과정에서 추출된 두 영상의 깊이 정보를 반영한 3차원 모델을 생성하는 제 2 과정을 포함한다.The sixth step may include a first process of extracting depth information according to the degree of bending of the structured light from the front image and the side image from which the reference color table region is removed, and the first process based on the feature point coordinates. And a second process of generating a 3D model reflecting depth information of two extracted images.

상기와 같이 구성되는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 폐쇄된 공간이 아닌 개방된 공간에서 촬영하여도 정확한 컬러값의 영상을 얻을 수 있으며, 2개 이상의 시점에서 본 영상으로 3차원 영상 정보를 획득가능하며, 3차원 모델링시 광원 변화 정보를 이용하여 음영이 진 굴곡진 곳에서도 정확한 매칭이 가능한 효과가 있다.The three-dimensional model generation method using the color correction according to the present invention configured as described above can obtain an image of the correct color value even when shooting in an open space rather than a closed space, 3 It is possible to obtain dimensional image information, and accurate matching is possible even in a curved curved area by using light source change information during 3D modeling.

또한, 실제 얼굴의 굴곡에 대한 깊이 정보를 반영한 3차원 모델을 생성함으로써, 정확한 컬러값과 형상을 가진 3차원 영상을 통한 진단이 가능하기 때문에 오진의 위험이 적은 효과가 있다.In addition, by generating a three-dimensional model reflecting the depth information of the actual face curvature, it is possible to diagnose through the three-dimensional image with the correct color value and shape, there is less risk of error.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings will be described specific details and embodiments of the present invention.

먼저, 용어의 정의를 하면 본 발명에서 기준 컬러 테이블이란 촬영단계에서 사용된 실제 기준 컬러 테이블을 의미하며, 기준 컬러 테이블 영역이란 획득된 영상에서 상기 기준 컬러 테이블이 촬영된 부분을 말한다.First, when the terms are defined, the reference color table in the present invention means the actual reference color table used in the photographing step, and the reference color table region refers to a portion of the obtained image where the reference color table is photographed.

도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도이다.1 is a diagram generally illustrating elements for determining color.

도 1을 참조하면, 사물에 빛이 비춰지는 경우에는 다양한 요인에 의해 사물의 색상이 결정된다.Referring to FIG. 1, when light shines on an object, the color of the object is determined by various factors.

반사 벡터(R), 광원 벡터(L), 노말 벡터(N), 하프 벡터(H), 카메라 벡터(V) 등 다양한 요인이 영향을 미친다. 이러한 요인들을 이용하여 컬러 결정 공식을 만들면 다음 [수학식 1]과 같다.Various factors affect the reflection vector (R), the light source vector (L), the normal vector (N), the half vector (H), and the camera vector (V). When the color determination formula is made using these factors, Equation 1 is as follows.

Figure 112008047218509-PAT00005
Figure 112008047218509-PAT00005

여기서, ka, kd, ks 는 상수이며 La는 주변 컬러, Ld 는 표면의 컬러, Ls 는 광원의 컬러이다.Where k a , k d , and k s are constants, L a is the ambient color, L d is the color of the surface, and L s is the color of the light source.

얼굴진단을 위해 다수의 평면 영상으로 입체 모델을 구성하려면 다수의 평면 영상의 컬러 차이를 보정할 필요성이 있다.In order to construct a stereoscopic model using a plurality of planar images for face diagnosis, it is necessary to correct color differences of the plurality of planar images.

[수학식 1]을 참조하면 컬러를 결정하는 요소는 광원에 대한 반사를 제외한다면(Ks=0) 크게 광원에 의한 표면 컬러에 대한 곱셈과 주변 컬러의 덧셈임을 알 수 있다.Referring to [Equation 1], it can be seen that the factor that determines color is the multiplication of the surface color by the light source and the addition of the surrounding color if the reflection of the light source is excluded (K s = 0).

[수학식 2]는 원본 컬러값과 변화된 컬러값에 대한 관계를 행렬식으로 나타낸 식이다. [수학식 2]를 참조하면, 컬러의 빛에 대한 변화는 덧셈과 곱셈의 식으로 나타낼 수 있는 것을 알 수 있다.[Equation 2] is a formula representing the relationship between the original color value and the changed color value in a determinant. Referring to [Equation 2], it can be seen that the change of the color of light can be expressed by the expression of addition and multiplication.

Figure 112008047218509-PAT00006
Figure 112008047218509-PAT00006

[수학식 2]에서 변화된 컬러(Rc, Gc, Bc)는 광원에 의한 컬러 교정 행렬에 원본 컬러(Ro, Go, Bo)를 곱하고 여기에 주변 컬러에 의한 변환 벡터(b1, b2, bc)를 더하는 형태임을 알 수 있다.The color (R c , G c , B c ) changed in [Equation 2] is multiplied by the original color (R o , G o , B o ) by the color correction matrix by the light source, and the transform vector (b) by the surrounding color. 1 , b 2 , b c ) It can be seen that the form.

이러한 기본적 개념을 바탕으로 본 발명에 대해 구체적으로 설명하겠다.Based on this basic concept, the present invention will be described in detail.

도 3a 및 도 3b는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도이다. 도 3a 및 도 3b는 본 발명에 따른 촬영 시스템을 상부에서 본 모습이 도시되어 있다.3A and 3B are diagrams illustrating the configuration of a system for photographing front and side images. 3A and 3B show a top view of the imaging system according to the invention.

도 3a 및 도 3b를 참조하면 대상 인물(10)의 앞쪽에 카메라(30)의 촬영방향과 수직이 되도록 기준 컬러 테이블(20)이 위치되고, 카메라(30)로 대상인물과 기준 컬러 테이블(20)을 함께 촬영한다.3A and 3B, the reference color table 20 is positioned in front of the target person 10 to be perpendicular to the photographing direction of the camera 30, and the target person and the reference color table 20 are positioned by the camera 30. ) Together.

상기 카메라(20)는 지면에서 수평으로 영상이 촬영되도록 위치시킨다.The camera 20 is positioned so that the image is photographed horizontally from the ground.

이때, 카메라와 소정 간격 이격된 위치에서 대상 인물을 향해 빔 프로젝터(40)가 설치된다. 상기 빔 프로젝터(40)는 일정한 패턴을 가진 구조화된 빛(Structured Light)를 대상 인물을 향해 조사하는 장치이다. 본 발명의 제 1 실시예에서는 상기 빔 프로젝터(40) 없이 3차원 모델을 생성하는 경우이고, 본 발명의 제 2 실시예에서는 상기 빔 프로젝터(40)를 이용하여 3차원 모델을 생성하는 경우이다. 따라서, 본 발명의 제 1 실시예에서는 상기 빔 프로젝터(40)를 필요로 하지 않는다.At this time, the beam projector 40 is installed toward the target person at a predetermined distance from the camera. The beam projector 40 is a device that irradiates structured light having a predetermined pattern toward a target person. In the first embodiment of the present invention, the three-dimensional model is generated without the beam projector 40. In the second embodiment of the present invention, the three-dimensional model is generated using the beam projector 40. Thus, the first embodiment of the present invention does not require the beam projector 40.

도 4는 본 발명에 따라 빔 프로젝트를 대상 인물의 얼굴에 조사한 모습이 나타난 도이다.4 is a view showing a state in which the beam project irradiated to the face of the target person in accordance with the present invention.

본 발명에서는 일례로 상기 빔 프로젝터(40)가 설정된 간격만큼 나란하게 이격된 다수개의 직선을 가진 패턴을 조사한다.In the present invention, as an example, the beam projector 40 irradiates a pattern having a plurality of straight lines spaced side by side by a set interval.

상기 기준 컬러 테이블(20)은 지면과 수평이 되도록 기울어지지 않게 위치시킨다.The reference color table 20 is positioned not to be inclined to be horizontal to the ground.

도 5는 본 발명에 따른 기준 컬러 테이블의 일례가 도시된 도이다.5 is a diagram illustrating an example of a reference color table according to the present invention.

도 5를 참조하면, 기준 컬러 테이블(50)은 다수개의 서브 컬러 영역로 이루어진다.Referring to FIG. 5, the reference color table 50 includes a plurality of sub color areas.

상기 서브 컬러 영역은 그 일례로 테두리 부분의 제 1 컬러 영역(51), 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역(52 ~ 55)으로 이루어진다. 여기서 테두리 부분 이외의 다른 영역의 수는 특별히 한정되지는 않으나, 컬러 교정을 위해 색의 3원색을 포함하는 3개 이상의 수로 설정되는 것이 바람직하다.The sub color area includes, for example, a first color area 51 of an edge portion and second to fifth color areas 52 to 55 surrounded by the first color area. The number of regions other than the edge portion is not particularly limited, but is preferably set to three or more numbers including three primary colors of color for color correction.

여기서, 상기 제 1 컬러 영역(51)은 검정색(R=0, G=0, B=0), 제 2 컬러 영역(52)은 파란색(R=0, G=0, B=255), 제 3 컬러 영역(53)은 흰색(R=255, G=255, B=255), 제 4 컬러 영역(54)은 빨간색(R=255, G=0, B=0), 제 5 컬러 영역(55)은 초록색(R=0, G=255, B=0)으로 설정할 수 있다.Here, the first color area 51 is black (R = 0, G = 0, B = 0), the second color area 52 is blue (R = 0, G = 0, B = 255), The third color area 53 is white (R = 255, G = 255, B = 255), the fourth color area 54 is red (R = 255, G = 0, B = 0), and the fifth color area ( 55) can be set to green (R = 0, G = 255, B = 0).

상기 기준 컬러 테이블은 주변 환경색과 관련이 없는 색으로 구성되며, 반사가 적은 재질로 제작되는 것이 바람직하다. 상기 기준 컬러 테이블의 테두리 부분이 검정색이므로, 촬영시 배경은 밝은 색상으로 하여 촬영이 이루어지는 것이 바람직하다.The reference color table is composed of colors not related to the surrounding color, and is preferably made of a material having low reflection. Since the edge portion of the reference color table is black, it is preferable that the background is taken with a bright color when shooting.

도 2a는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예가 도시된 순서도이다.2A is a flowchart illustrating a first embodiment of a method for generating a 3D model using color correction according to the present invention.

도 2a 를 참조하여, 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예를 설명하면, 먼저 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득한다(S110).Referring to FIG. 2A, a first embodiment of a method of generating a 3D model using color correction according to the present invention will first be described. First, a front image and a plurality of front images of a target person including a reference color table including one or more sub-color areas are described. Side images are acquired using a camera (S110).

여기서, 기준 컬러 테이블은 대상 인물의 얼굴 주위에 소정 간격 이격되어 설치된다.Here, the reference color table is provided at predetermined intervals around the face of the target person.

도 6은 본 발명에 따라 카메라로 획득된 정면 영상 및 측면 영상이 도시된 도이다.6 is a diagram illustrating a front image and a side image obtained by a camera according to the present invention.

도 6을 참조하면, 본 발명에서 상기 기준 컬러 테이블은 얼굴의 하단부 옆에 설치되는데, 이에 한하지 않고 얼굴과 소정 간격 이격된 위치에 설치될 수 있다.Referring to FIG. 6, in the present invention, the reference color table is installed beside the lower end of the face, but is not limited thereto and may be installed at a position spaced apart from the face by a predetermined distance.

다만, 이 경우 대상 얼굴과 가로 세로 방향으로 겹치지 않도록 충분히 이격되어 설치되는 것이 바람직하다.However, in this case, it is preferable that the target face is sufficiently spaced apart so as not to overlap in the horizontal and vertical directions.

상기와 같이 일반적인 정면 영상 및 측면 영상, 그리고 구조화된 빛이 조사된 정면 영상 및 측면 영상을 촬영한 후에는 상기 일반적인 정면 영상 및 측면 영상의 컬러값이 실제 컬러값과 일치하도록 보정하는 작업이 이루어져야 한다.After capturing the general front image and the side image and the front image and the side image to which the structured light is irradiated, the color values of the general front image and the side image should be corrected to match the actual color values. .

구체적으로 설명하면, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 상기 제 1 단계의 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정한다.In detail, the reference color table region is detected from the front image and the side image, and color values of the front image and the side image are corrected to match the color values of the reference color table of the first step.

실제 기준 컬러 테이블의 컬러값은 우리가 이미 알고 있는 값들이다. 즉, 앞서 설명한 예에서 검은색 영역은 RGB 값이 R=0, G=0, B=0 이고, 파란색 영역은 R=0, G=0, B=255이며, 흰색 영역은 R=255, G=255, B=255이고, 빨간색 영역은 R=255, G=0, B=0이며, 마지막으로 초록색 영역은 R=0, G=255, B=0이다.The color values in the actual reference color table are the values we already know. That is, in the example described above, the black areas have R = 0, G = 0, and B = 0, the blue areas have R = 0, G = 0, and B = 255, and the white areas have R = 255 and G. = 255, B = 255, red areas are R = 255, G = 0, B = 0, and green areas are R = 0, G = 255, B = 0.

다음으로, 컬러값 보정을 위해 먼저 기준 컬러 테이블 영역 및 상기 서브 컬 러 영역을 찾아낸다(S120).Next, a reference color table area and the sub-color area are first found for color value correction (S120).

정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 찾는 방법에는 여러가지 다양한 방법들이 사용될 수 있다.Various methods may be used to find the reference color table region and the sub color region in the front image and the side image.

그 일례로 기준 컬러 테이블 영역이 도 6 과 같이 하반부의 제 4 사분면에 위치한 경우, 하반부에서 그림의 오른쪽 테두리에서 왼쪽으로 검정색에 가장 가까운 2 개의 코너 포인트를 찾는데, 코너 포인트는 해리스 코너 검출 (Harris Corner Detector)과 같은 알고리즘을 사용할 수 있다.For example, if the reference color table area is located in the fourth quadrant of the lower half as shown in Fig. 6, the lower half finds the two corner points closest to black from the right edge of the figure to the left, where the corner points are Harris Corner Detection (Harris Corner). An algorithm such as Detector can be used.

찾아진 2 개 코너 포인트에서 다시 왼쪽 부분에 있는 가장 가까운 검정색 코너 포인트를 찾도록 하고, RGB 임계값을 이용하여 판별한다.From the two corner points found, find the nearest black corner point in the left part, and determine it using the RGB threshold value.

임계값보다 낮은 부분이 검정색 부분으로 설정하여 판별하고, 검정색 내부에서 각 서브 컬러 영역의 코너 포인트를 찾도록 한다.The lower part of the threshold value is set to the black part to discriminate, and the corner point of each sub color area is found inside the black part.

다음으로, 상기 각 서브 컬러 영역의 대표 컬러값을 추출한다(S130).Next, a representative color value of each sub color area is extracted (S130).

여기서, 각 서브 컬러 영역의 대표 컬러값을 구하는 제 1 실시예는 각 서브 컬러 영역의 중심 좌표를 검출하여 중심 좌표의 컬러값을 해당 서브 컬러 영역의 대표 컬러값을 설정하는 것이다. 각 서브 컬러 영역의 가장자리 부분에서는 이웃하는 영역과 컬러값이 명확하게 구분되지 않고 어느 정도 혼합된 색상이 촬영될 수 있기 때문에 중심 좌표의 컬러값을 대표 컬러값으로 설정하는 것이다.Here, the first embodiment of obtaining the representative color value of each sub color area is to detect the center coordinates of each sub color area and to set the color value of the center coordinates to the representative color value of the corresponding sub color area. In the edge portion of each sub-color area, color values of the center coordinates are set as the representative color values because neighboring areas and color values may not be clearly distinguished and mixed colors may be photographed to some extent.

서브 컬러 영역의 대표 컬러값을 구하는 제 2 실시예는 각 서브 컬러 영역 내부의 모든 픽셀의 컬러값을 합산한 후 픽셀의 수로 나누어 평균 컬러값을 구하고, 이렇게 구한 평균 컬러값을 해당 서브 컬러 영역의 대표 컬러값으로 설정하는 것이다. 이러한 과정을 이용하여 상기 기준 컬러 테이블 영역의 각 서브 컬러 영역의 대표값을 모두 구한다.In the second embodiment of obtaining a representative color value of the sub color area, the color values of all the pixels in each sub color area are summed, divided by the number of pixels, and the average color value is obtained. It is set as the representative color value. Using this process, all representative values of each sub color area of the reference color table area are obtained.

상기와 같이 각 서브 컬러 영역의 대표 컬러값을 구한 다음에는 상기에서 계산된 각 대표 컬러값과 촬영시 사용했던 기준 컬러 테이블 내의 서브 컬러 영역의 각 컬러값을 비교하여 변화된 수치만큼 상기 정면 영상 및 측면 영상의 컬러값을 교정한다. After the representative color values of the respective sub color areas are obtained as described above, the front image and the side surface are changed by the numerical values changed by comparing each color value of the sub color areas in the reference color table used above with each representative color value calculated above. Correct the color value of the image.

이를 위해, 먼저 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구한다(S140). 즉, 컬러 왜곡된 촬영영상을 원래의 기준 컬러 테이블의 컬러값으로 변환시키는 교정 행렬을 구하는 것이다.To this end, first, a calibration matrix for converting a representative color value of each sub color area included in the reference color table area to match a color value of each sub color area of the reference color table is obtained (S140). That is, a correction matrix for converting the color-distorted photographed image into the color values of the original reference color table is obtained.

Figure 112008047218509-PAT00007
Figure 112008047218509-PAT00007

교정 행렬은 기본적으로 [수학식 3]의 관계를 이용하여 구한다.The calibration matrix is basically obtained by using the relation of [Equation 3].

여기서, Rcs, Gcs, Bcs는 실제 촬영시 사용했던 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.Here, R cs , G cs , and B cs are RGB values for each sub color area of the reference color table used in actual shooting, and t 11 to t 33 are elements of a correction matrix for surface color, R os , G os , B os is a representative color value for each sub color area of the reference color table area detected in the captured image, and b 1 to b 3 are elements of a correction matrix for the surrounding color.

상기 교정 행렬은 기준 컬러 테이블 영역의 각 서브 컬러 영역의 컬러값을 도 7과 같이 [수학식 3]에 대입하여 만들어진 방정식을 풀면 구할 수 있다.The calibration matrix can be obtained by solving an equation created by substituting the color values of the respective sub color areas of the reference color table area into [Equation 3] as shown in FIG. 7.

도 7은 각 서브 컬러 영역을 이용하여 만든 행렬식이 도시된 도이다. 도 7에서 (a)는 파란색 컬러 영역, (b)는 흰색 컬러 영역, (c) 는 빨간색 컬러 영역, (d)는 초록색 컬러 영역의 컬러값을 대입하여 만든 식이다.7 is a diagram illustrating a determinant created using each sub color region. In FIG. 7, (a) is a blue color region, (b) a white color region, (c) a red color region, and (d) is an expression made by substituting the color values of the green color region.

도 8은 도 7의 행렬식을 하나의 행렬식으로 나타낸 도이다. FIG. 8 illustrates the determinant of FIG. 7 as one determinant.

도 8에서 C 행렬은 기준 컬러 테이블 내의 각 서브 컬러 영역의 컬러값들이고, T 행렬은 교정 행렬, O 행렬은 촬영된 영상에서의 기준 컬러 테이블 영역 내의 각 서브 컬러 영역의 컬러값들이다.In FIG. 8, the C matrix is color values of each sub color area in the reference color table, the T matrix is a calibration matrix, and the O matrix is color values of each sub color area in the reference color table area in the captured image.

C 행렬과 O 행렬은 알고 있는 값들이므로, 상기 도 8의 행렬식을 이용하여 교정 행렬(T)을 구한다. Since the C matrix and the O matrix are known values, a calibration matrix T is obtained using the determinant of FIG. 8.

이렇게 교정 행렬이 구해지면, 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정한다(S150).When the calibration matrix is obtained as described above, color values of all pixels of the front image and the side image are corrected using the calibration matrix (S150).

이 과정은 하기의 [수학식 4]에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀에 대해 컬러 보정이 수행된다.In this process, color correction is performed on all pixels of the front image and the side image by Equation 4 below.

Figure 112008047218509-PAT00008
Figure 112008047218509-PAT00008

여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.Where P '(x, y) is the color value of the pixel at x, y coordinates after calibration, P (x, y) is the color value of the pixel at x, y coordinates before calibration, and T is the calibration matrix .

이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거한다(S160). 도 9는 정면 영상과 측면 영상에서 기준 컬러 테이블 영역이 제거된 모습이 도시된 도인데, 도 9의 우측 그림과 같이 기준 컬러 테이블 영역을 제거한다.When the color correction of the front image and the side image is performed, the reference color table region is removed from the front image and the side image (S160). FIG. 9 is a diagram illustrating a reference color table region removed from a front image and a side image. The reference color table region is removed as shown in the right figure of FIG. 9.

다음으로, 기준 컬러 테이블 영역이 제거된 정면 영상과 측면 영상에서 눈, 코, 입에 해당하는 영역의 특징점 좌표를 각각 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성한다.Next, the feature point coordinates of the areas corresponding to the eyes, nose, and mouth are extracted from the front image and the side image from which the reference color table region is removed, and the feature point coordinates corresponding to each other in the front image and the side image are matched. Form a dimensional texture.

이 경우 먼저, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거시키고, 기준 컬러 테이블이 제거된 영상에서 특징점 좌표를 검출한다(S170).In this case, first, the reference color table region is removed from the front image and the side image, and the feature point coordinates are detected from the image from which the reference color table is removed (S170).

도 10은 정면 영상과 측면 영상에서 특징점이 도시된 도이다.10 is a diagram illustrating feature points in a front image and a side image.

도 10과 같이 특징점 좌표를 추출한 다음 서로 대응되는 특징점 좌표를 서로 매칭시켜서 하나의 3차원 텍스쳐를 형성한다(S180).After extracting the feature point coordinates as shown in FIG. 10, the feature point coordinates corresponding to each other are matched with each other to form one three-dimensional texture (S180).

이 경우 먼저, 정면 영상에서 추출한 특징점 좌표와 측면 영상에서 추출한 특징점 좌표를 서로 매칭시켜 공간적인 깊이 정보를 검출한다(S190).In this case, first, the spatial depth information is detected by matching the feature point coordinates extracted from the front image and the feature point coordinates extracted from the side image (S190).

다음으로, 추출한 특징점 좌표와 공간적 깊이 정보를 결합하여 3차원 기하정 보를 가진 모델을 생성한다(S200).Next, a model having three-dimensional geometric information is generated by combining extracted feature point coordinates and spatial depth information (S200).

마지막으로, 상기 3차원 모델에 상기 S180 단계에서 생성한 3차원 텍스쳐를 매핑시켜 최종적으로 3차원 기하정보를 가진 컬러 모델을 완성한다(S210).Finally, the 3D texture generated in the step S180 is mapped to the 3D model to finally complete a color model having 3D geometric information (S210).

도 2b는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예가 도시된 순서도이다.2B is a flowchart illustrating a second embodiment of the method of generating a 3D model using color correction according to the present invention.

도 2b 를 참조하여, 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예를 설명하면, 먼저 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득한다(S310).Referring to FIG. 2B, a second embodiment of a method of generating a 3D model using color correction according to the present invention will first be described. First, a front image and a plurality of front images of a target person including a reference color table including one or more sub-color areas are described. Side images are acquired using a camera (S310).

다음으로, 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득한다(S320).Next, the front image and the side image are acquired using the camera by irradiating structured light having a predetermined pattern to the target person at an angle spaced by the set angle from the camera (S320).

여기서, 기준 컬러 테이블에 관한 사항은 상기 제 1 실시예와 동일하다.Here, the matter regarding the reference color table is the same as in the first embodiment.

다음으로, 컬러값 보정을 위해 정면 영상 및 측면 영상에서 먼저 기준 컬러 테이블 영역 및 상기 서브 컬러 영역을 찾아낸다(S330).Next, the reference color table area and the sub color area are first found in the front image and the side image for color value correction (S330).

다음으로, 상기 각 서브 컬러 영역의 대표 컬러값을 계산한다(S340).Next, a representative color value of each sub color area is calculated (S340).

여기서, 각 서브 컬러 영역의 대표 컬러값을 구하는 방법은 본 발명의 제 1 실시예와 동일한 방법이 사용된다.Here, the same method as that of the first embodiment of the present invention is used to obtain the representative color value of each sub color region.

상기와 같이 각 서브 컬러 영역의 대표 컬러값을 구한 다음에는 상기에서 계 산된 각 대표 컬러값과 촬영시 사용했던 기준 컬러 테이블 내의 서브 컬러 영역의 각 컬러값을 비교하여 변화된 수치만큼 상기 정면 영상 및 측면 영상의 컬러값을 교정한다. After the representative color values of each sub color area are obtained as described above, the front image and the side surface are changed by the changed numerical value by comparing each color value of the sub color area in the reference color table used in the photographing with each representative color value calculated above. Correct the color value of the image.

이를 위해, 먼저 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구한다(S350). 즉, 컬러 왜곡된 촬영 영상을 원래의 기준 컬러 테이블의 컬러값으로 변환시키는 교정 행렬을 구하는 것이다.To this end, first, a calibration matrix for converting a representative color value of each sub color area included in the reference color table area to match a color value of each sub color area of the reference color table is obtained (S350). That is, a correction matrix for converting the color-distorted photographed image into the color values of the original reference color table is obtained.

교정 행렬은 상기 [수학식 3], 도 7 및 도 8을 이용하여 구한다.The calibration matrix is obtained by using Equation 3, 7 and 8 above.

이렇게 교정 행렬이 구해지면, 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정한다(S360).When the calibration matrix is obtained as described above, color values of all pixels of the front image and the side image are corrected using the calibration matrix (S360).

이 과정은 상기의 [수학식 4]에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀에 대해 컬러 보정이 수행된다.In this process, color correction is performed on all pixels of the front image and the side image by Equation 4 above.

이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거한다(S370). 즉, 도 9의 우측 그림과 같이 기준 컬러 테이블 영역을 제거한다.When the color correction of the front image and the side image is performed, the reference color table region is removed from the front image and the side image (S370). That is, the reference color table region is removed as shown in the right figure of FIG.

이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 컬러가 보정된 정면 영상과 측면 영상에서 눈, 코, 입에 해당하는 영역의 특징점 좌표를 각각 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성한다.When the color correction of the front image and the side image is performed, the feature point coordinates of the areas corresponding to the eyes, nose, and mouth are extracted from the color corrected front image and the side image, respectively, and the feature points corresponding to each other in the front image and the side image. Coordinates are matched to form one three-dimensional texture.

이 경우 먼저, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거시 키고, 기준 컬러 테이블이 제거된 영상에서 특징점 좌표를 검출한다(S380).In this case, first, the reference color table region is removed from the front image and the side image, and the feature point coordinates are detected from the image from which the reference color table is removed (S380).

도 10과 같이 특징점 좌표를 추출한 다음 서로 대응되는 특징점 좌표를 서로 매칭시켜서 하나의 3차원 텍스쳐를 형성한다(S390).After extracting the feature point coordinates as shown in FIG. 10, the feature point coordinates corresponding to each other are matched with each other to form one three-dimensional texture (S390).

다음으로, 앞서 S320 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출한다(S400).Next, depth information of all the pixels is extracted according to the degree of deformation of the structured light from the front image and the side image obtained in step S320 (S400).

일정하게 반복되는 직선형 패턴을 대상 인물의 얼굴 부위에 조사하면, 얼굴의 윤곽에 따라 직선이 구부러져 굴곡이 생긴다. 배경에 직선형태로 나타난 부분의 높이를 0 이라 설정하고, 높이가 0인 직선 부분에 비해 구부러진 정도 및 위치에 따라 카메라의 각도를 고려한 높이를 설정하여 얼굴 부위에 해당하는 모든 픽셀에서의 깊이 정보를 계산한다. When a constantly repeating linear pattern is irradiated to the face part of the target person, the straight line is bent along the contour of the face, causing curvature. Set the height of the part that appears in a straight line on the background as 0, and set the height considering the angle of the camera according to the degree of bending and the position compared to the straight part where the height is 0, so that the depth information of all pixels corresponding to the face part can be obtained. Calculate

다음으로, 상기 추출한 특징점 좌표를 기준으로 상기 두 깊이 정보를 반영한 3차원 기하정보를 가진 모델을 생성한다(S410).Next, a model having three-dimensional geometric information reflecting the two depth information is generated based on the extracted feature point coordinates (S410).

마지막으로, 상기 3차원 모델에 상기 S390 단계에서 생성한 3차원 텍스쳐를 매핑시켜 최종적으로 3차원 기하정보를 가진 컬러 모델을 완성한다(S420).Finally, the 3D texture generated in the step S390 is mapped to the 3D model to finally complete a color model having 3D geometric information (S420).

이상과 같이 본 발명에 의한 컬러 교정을 이용한 3차원 모델 생성 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다. As described above, the method for generating a three-dimensional model using color correction according to the present invention has been described with reference to the illustrated drawings, but the present invention is not limited by the embodiments and drawings disclosed herein, but the scope of the technical idea is protected. It can be applied in

도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도,1 is a diagram generally showing elements for determining color;

도 2a는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예가 도시된 순서도,Figure 2a is a flow chart showing a first embodiment of a three-dimensional model generation method using color correction according to the present invention,

도 2b는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예가 도시된 순서도,2b is a flowchart showing a second embodiment of the method for generating a 3D model using color correction according to the present invention;

도 3a 및 도 3b는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도,3A and 3B are diagrams illustrating the configuration of a system for photographing front and side images;

도 4는 본 발명에 따라 빔 프로젝트를 대상 인물의 얼굴에 조사한 모습이 나타난 도,4 is a view showing a state that the beam project irradiated to the face of the person in accordance with the present invention,

도 5는 본 발명에 따른 기준 컬러 테이블의 일례가 도시된 도,5 is a diagram illustrating an example of a reference color table according to the present invention;

도 6은 본 발명에 따라 카메라로 획득된 정면 영상 및 측면 영상이 도시된 도,6 is a view showing a front image and a side image obtained by the camera according to the present invention;

도 7은 각 서브 컬러 영역을 이용하여 만든 행렬식이 도시된 도,7 is a diagram showing a determinant created using each sub-color area;

도 8은 도 7의 행렬식을 하나의 행렬식으로 나타낸 도,FIG. 8 illustrates the determinant of FIG. 7 as one determinant; FIG.

도 9는 정면 영상과 측면 영상에서 기준 컬러 테이블이 제거된 모습이 도시된 도,9 is a diagram illustrating a state in which a reference color table is removed from a front image and a side image;

도 10은 정면 영상과 측면 영상에서 특징점이 도시된 도이다.10 is a diagram illustrating feature points in a front image and a side image.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

10: 대상 인물10: target person

20: 기준 컬러 테이블20: reference color table

30: 카메라30: camera

40: 빔 프로젝터40: beam projector

Claims (19)

하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계;A first step of acquiring a front image and a plurality of side images of a target person including a reference color table including at least one sub color area by using a camera; 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 2 단계;Detecting a reference color table region in the front image and the side image and correcting color values of the front image and the side image so as to match the color values of the reference color table used at the time of photographing; 컬러값이 보정된 상기 정면 영상과 측면 영상에서 상기 기준 컬러 테이블 영역을 제거하는 제 3 단계;Removing the reference color table area from the front image and the side image of which color values are corrected; 상기 제 3 단계에서 상기 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 상기 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 4 단계;In the third step, the feature point coordinates of the areas corresponding to the eyes and the mouth are extracted from the front image and the side image from which the reference color table region is removed, and the feature point coordinates corresponding to each other in the front image and the side image are matched. A fourth step of forming a three-dimensional texture; 상기 제 4 단계에서 정면 영상 및 측면 영상에서 추출한 서로 대응되는 특징점 좌표를 매칭시켜 공간적인 깊이 정보를 추출한 후 상기 특징점 좌표에 상기 깊이 정보를 결합하여 3차원 모델을 생성하는 제 5 단계; 및A fifth step of extracting spatial depth information by matching feature point coordinates extracted from the front image and the side image in the fourth step, and then combining the depth information with the feature point coordinates to generate a three-dimensional model; And 상기 제 5 단계에서 생성된 3차원 모델에 상기 제 4 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 6 단계를 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.And a sixth step of mapping the three-dimensional texture generated in the fourth step to the three-dimensional model generated in the fifth step. 청구항 1에 있어서,The method according to claim 1, 상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.And the sub color region comprises a first color region of an edge portion and second to fifth color regions surrounded by the first color region. 청구항 2에 있어서,The method according to claim 2, 상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색인 것을 특징으로 하는컬러 교정을 이용한 3차원 모델 생성 방법.Wherein the first color area is black, the second color area is blue, the third color area is white, the fourth color area is red, and the fifth color area is green. 청구항 1에 있어서, 상기 제 2 단계는 The method of claim 1, wherein the second step 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정;A first process of detecting a reference color table region and a sub color region in the front image and the side image obtained in the first step; 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정;A second step of calculating a representative color value of each sub color area; 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정; 및A third process of obtaining a calibration matrix for converting a representative color value of each sub color area included in the reference color table area to correspond to a color value of each sub color area of the reference color table with respect to the front image and the side image; ; And 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.And a fourth process of correcting color values of all the pixels of the front image and the side image using the correction matrix. 청구항 4에 있어서,The method according to claim 4, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.The representative color value in the second process is a three-dimensional model generation method using color correction, characterized in that the detected color coordinates of the center coordinates of each sub-color area in the front image and the side image. 청구항 4에 있어서,The method according to claim 4, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.In the second process, the representative color value is a color average value of all pixels constituting each sub-color area in the front image and the side image. 청구항 4에 있어서,The method according to claim 4, 상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 구해지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.The correction matrix is a method of generating a three-dimensional model using color correction, characterized in that obtained by applying the following determinant for each sub-color area.
Figure 112008047218509-PAT00009
Figure 112008047218509-PAT00009
(여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소)(Rcs, Gcs, and Bcs are RGB values for each sub-color area of the reference color table, t 11 to t 33 are elements of the correction matrix for the surface color, Ros, Gos, and Bos are reference values detected in the captured image. A representative color value for each sub color region of the color table region, b 1 to b 3 are elements of the correction matrix for the surrounding color)
청구항 4에 있어서,The method according to claim 4, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.In the fourth process, the color values of all the pixels of the front image and the side image are corrected by the following equation.
Figure 112008047218509-PAT00010
Figure 112008047218509-PAT00010
(여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값, T는 교정 행렬)Where P '(x, y) is the color value of the pixel at x, y coordinates after calibration, P (x, y) is the color value of the pixel at x, y coordinates before calibration, T is the calibration matrix)
하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계;A first step of acquiring a front image and a plurality of side images of a target person including a reference color table including at least one sub color area by using a camera; 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득하는 제 2 단계;A second step of obtaining a front image and a side image using a camera by irradiating structured light having a predetermined pattern to the target person at an angle spaced from the camera by a predetermined angle; 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 3 단계;Detecting a reference color table region from the front image and the side image and correcting color values of the front image and the side image to match the color values of the reference color table used at the time of photographing; 상기 제 1 단계 및 상기 제 2 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역을 제거하는 제 4 단계;A fourth step of removing reference color table areas from the front image and the side image acquired in the first and second steps; 상기 제 4 단계에서 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 5 단계;The feature point coordinates of the areas corresponding to the eyes and mouth are extracted from the front image and the side image from which the reference color table region is removed in the fourth step, and the feature point coordinates corresponding to each other in the front image and the side image are matched. A fifth step of forming a texture; 상기 제 2 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출하고, 상기 제 5 단계에서 추출한 특징점 좌표를 기준으로 상기 깊이 정보를 반영한 3차원 모델을 생성하는 제 6 단계; 및Extracting depth information of all pixels according to the degree of deformation of the structured light from the front image and the side image acquired in the second step, and reflecting the depth information based on the feature point coordinates extracted in the fifth step A sixth step of generating a model; And 상기 제 6 단계에서 생성된 3차원 모델에 상기 제 5 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 7 단계를 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.And a seventh step of mapping the three-dimensional texture generated in the fifth step to the three-dimensional model generated in the sixth step. 청구항 1에 있어서,The method according to claim 1, 상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.And the sub color region comprises a first color region of an edge portion and second to fifth color regions surrounded by the first color region. 청구항 10에 있어서,The method according to claim 10, 상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색인 것을 특징으로 하는컬러 교정을 이용한 3차원 모델 생성 방법.Wherein the first color area is black, the second color area is blue, the third color area is white, the fourth color area is red, and the fifth color area is green. 청구항 9에 있어서,The method according to claim 9, 상기 구조화된 빛은 상기 카메라의 촬영 방향과 설정된 각도만큼 벌어져 상기 대상 인물을 향해 조사되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.The structured light is a three-dimensional model generation method using color correction characterized in that the irradiated toward the target person by a predetermined angle and the shooting direction of the camera. 청구항 9에 있어서,The method according to claim 9, 상기 구조화된 빛은 설정된 간격만큼 나란하게 이격된 다수개의 직선 패턴을 가지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법. The structured light has a three-dimensional model generation method using color correction, characterized in that it has a plurality of linear patterns spaced side by side by a set interval. 청구항 9에 있어서, 상기 제 3 단계는 The method of claim 9, wherein the third step 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정;A first process of detecting a reference color table region and a sub color region in the front image and the side image obtained in the first step; 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정;A second step of calculating a representative color value of each sub color area; 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정; 및A third process of obtaining a calibration matrix for converting a representative color value of each sub color area included in the reference color table area to correspond to a color value of each sub color area of the reference color table with respect to the front image and the side image; ; And 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.And a fourth process of correcting color values of all the pixels of the front image and the side image using the correction matrix. 청구항 14에 있어서,The method according to claim 14, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값인 것을 특징 으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.In the second process, the representative color value is a color value of each center coordinate detected after detecting the center coordinates of each sub-color area in the front image and the side image. 청구항 14에 있어서,The method according to claim 14, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.In the second process, the representative color value is a color average value of all pixels constituting each sub-color area in the front image and the side image. 청구항 14에 있어서,The method according to claim 14, 상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 구해지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.The correction matrix is a method of generating a three-dimensional model using color correction, characterized in that obtained by applying the following determinant for each sub-color area.
Figure 112008047218509-PAT00011
Figure 112008047218509-PAT00011
(여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소)(Rcs, Gcs, and Bcs are RGB values for each sub-color area of the reference color table, t 11 to t 33 are elements of the correction matrix for the surface color, Ros, Gos, and Bos are reference values detected in the captured image. A representative color value for each sub color region of the color table region, b 1 to b 3 are elements of the correction matrix for the surrounding color)
청구항 14에 있어서,The method according to claim 14, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.In the fourth process, the color values of all the pixels of the front image and the side image are corrected by the following equation.
Figure 112008047218509-PAT00012
Figure 112008047218509-PAT00012
(여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값, T는 교정 행렬)Where P '(x, y) is the color value of the pixel at x, y coordinates after calibration, P (x, y) is the color value of the pixel at x, y coordinates before calibration, T is the calibration matrix)
청구항 9에 있어서, 상기 제 6 단계는The method of claim 9, wherein the sixth step is 상기 기준 컬러 테이블 영역이 제거된 정면 영상 및 측면 영상에서 상기 구조화된 빛의 굴곡 정도에 따른 깊이 정보를 각각 추출하는 제 1 과정; 및Extracting depth information according to the degree of bending of the structured light from the front image and the side image from which the reference color table region is removed; And 상기 특징점 좌표를 기준으로 상기 제 1 과정에서 추출된 두 영상의 깊이 정보를 반영한 3차원 모델을 생성하는 제 2 과정을 포함하는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.And a second process of generating a 3D model reflecting depth information of the two images extracted in the first process based on the feature point coordinates.
KR1020080062833A 2008-06-30 2008-06-30 Method for Making Three-Dimentional Model using Color Correction KR100943218B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080062833A KR100943218B1 (en) 2008-06-30 2008-06-30 Method for Making Three-Dimentional Model using Color Correction
PCT/KR2008/005542 WO2010002070A1 (en) 2008-06-30 2008-09-19 Method for grouping 3d models to classify constitution
US13/001,942 US8369625B2 (en) 2008-06-30 2008-09-19 Method for grouping 3D models to classify constitution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080062833A KR100943218B1 (en) 2008-06-30 2008-06-30 Method for Making Three-Dimentional Model using Color Correction

Publications (2)

Publication Number Publication Date
KR20100002799A true KR20100002799A (en) 2010-01-07
KR100943218B1 KR100943218B1 (en) 2010-02-18

Family

ID=41812789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080062833A KR100943218B1 (en) 2008-06-30 2008-06-30 Method for Making Three-Dimentional Model using Color Correction

Country Status (1)

Country Link
KR (1) KR100943218B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593873A (en) * 2012-08-17 2014-02-19 鸿富锦精密工业(深圳)有限公司 Face image adjusting system and method
US9035964B2 (en) 2011-07-19 2015-05-19 Samsung Electronics Co., Ltd. Method and apparatus for obtaining lighting information and material information in image modeling system
KR101644426B1 (en) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 The method for identifying modified 3D models
KR101677165B1 (en) * 2016-02-18 2016-12-23 대한민국(국가기록원) Testing System For 3D Administrative Artifacts Management Coler of Possession Revising Method
KR20170005312A (en) * 2015-07-03 2017-01-12 전자부품연구원 System and method for concurrent calibration of camera and depth sensor
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052331B2 (en) * 2003-06-20 2008-02-27 日本電信電話株式会社 Virtual viewpoint image generation method, three-dimensional image display method and apparatus
KR100837818B1 (en) 2006-12-15 2008-06-13 주식회사 케이티 3 dimension shape surface reconstruction method using 2 dimension images and rendering method for reconstructed shapes

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035964B2 (en) 2011-07-19 2015-05-19 Samsung Electronics Co., Ltd. Method and apparatus for obtaining lighting information and material information in image modeling system
CN103593873A (en) * 2012-08-17 2014-02-19 鸿富锦精密工业(深圳)有限公司 Face image adjusting system and method
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing
KR20170005312A (en) * 2015-07-03 2017-01-12 전자부품연구원 System and method for concurrent calibration of camera and depth sensor
KR101644426B1 (en) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 The method for identifying modified 3D models
KR101677165B1 (en) * 2016-02-18 2016-12-23 대한민국(국가기록원) Testing System For 3D Administrative Artifacts Management Coler of Possession Revising Method

Also Published As

Publication number Publication date
KR100943218B1 (en) 2010-02-18

Similar Documents

Publication Publication Date Title
US11100661B2 (en) Multi-modal depth mapping
JP4986679B2 (en) Non-stationary object three-dimensional image measurement apparatus, three-dimensional image measurement method, and three-dimensional image measurement program
JP4883517B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program
KR100943218B1 (en) Method for Making Three-Dimentional Model using Color Correction
CN107735016A (en) System and method for scan anatomical structure and for showing scanning result
US11961238B2 (en) Tooth segmentation using tooth registration
US11915516B2 (en) Information processing device and recognition support method
CN104363815A (en) Image processing device, image processing method, and image processing program
US10620417B2 (en) Method for generating a reflection-reduced contrast image and corresponding device
JPH11242745A (en) Method for measuring and processing facial image
CN112712059A (en) Living body face recognition method based on infrared thermal image and RGB image
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
WO2007110982A1 (en) Image analyzer and program for stereo eye fundus image
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
KR100904559B1 (en) Face Diagnotic Method Using Stereo Images
JP2000245700A (en) Instrument for measuring eyeground and recording medium for recording measurement program
JP5056662B2 (en) Subcutaneous pattern acquisition device, subcutaneous pattern acquisition method, and structure template
CN103438833B (en) For optical means and the system of 3-d shape measurement
JP4507571B2 (en) Human body posture measurement device
KR100992525B1 (en) Colored Image Correction Method
JP2004302581A (en) Image processing method and device
KR100889013B1 (en) Image correction method for image evaluation
KR101775110B1 (en) Methods obtain high-quality textures and apparatus for the same
JP2020129187A (en) Contour recognition device, contour recognition system and contour recognition method
CN113702008B (en) Image quality detection method and device of optical imaging system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160212

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 11