KR100943218B1 - 컬러 교정을 이용한 3차원 모델 생성 방법 - Google Patents

컬러 교정을 이용한 3차원 모델 생성 방법 Download PDF

Info

Publication number
KR100943218B1
KR100943218B1 KR1020080062833A KR20080062833A KR100943218B1 KR 100943218 B1 KR100943218 B1 KR 100943218B1 KR 1020080062833 A KR1020080062833 A KR 1020080062833A KR 20080062833 A KR20080062833 A KR 20080062833A KR 100943218 B1 KR100943218 B1 KR 100943218B1
Authority
KR
South Korea
Prior art keywords
color
image
front image
sub
area
Prior art date
Application number
KR1020080062833A
Other languages
English (en)
Other versions
KR20100002799A (ko
Inventor
김근호
김종열
최은지
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020080062833A priority Critical patent/KR100943218B1/ko
Priority to US13/001,942 priority patent/US8369625B2/en
Priority to PCT/KR2008/005542 priority patent/WO2010002070A1/en
Publication of KR20100002799A publication Critical patent/KR20100002799A/ko
Application granted granted Critical
Publication of KR100943218B1 publication Critical patent/KR100943218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기준 컬러 테이블이 포함된 대상 인물의 정면 컬러 영상 및 여러 각도의 측면 컬러 영상을 카메라를 이용하여 획득하거나, 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득한 후, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정한다. 그리고, 컬러가 보정된 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거한 후 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하고, 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출하거나 특징점을 매칭시켜 공간 정보를 추출한 후, 상기 특징점 좌표를 기준으로 상기 깊이 정보를 결합 또는 반영한 3차원 모델을 생성하도록 구성되어, 폐쇄된 공간이 아닌 개방된 공간에서 촬영하여도 정확한 컬러값의 영상을 얻을 수 있으며, 2개 이상의 시점에서 본 영상으로 3차원 영상 정보를 획득가능하며, 3차원 모델링시 광원 변화 정보를 이용하여 음영이 진 굴곡진 곳에서도 정확한 매칭이 가능한 효과가 있다.
3차원 모델, 깊이 정보, 특징점, 기준 컬러 테이블, 컬러 보정

Description

컬러 교정을 이용한 3차원 모델 생성 방법{Method for Making Three-Dimentional Model using Color Correction}
본 발명은 3차원 모델 생성 방법에 관한 것으로, 안면진단을 위해 다양한 각도에서 촬영된 정지 영상을 이용하여 3차원 모델을 생성하되 컬러 교정을 통해 실제의 색상에 가까운 3차원 모델을 생성하는 방법에 관한 것이다.
과학기술이 발전함에 따라 의사와 환자가 직접 대면하지 않고 원거리에서 환자의 영상만을 분석하여 건강의 정도나 이상 유무를 어느 정도 측정할 수 있는 기술들이 개발되고 있다.
이를 위해서는 먼저 영상 정보를 획득하고 잡음을 없이 전송하는 기술도 중요하지만 영상을 보고 의사가 환자의 상태를 진단하기 위해서는 촬영시의 카메라의 흔들림이나 조명에 의한 색상 변화와 같은 영상의 왜곡을 보정하여 실제 현장에서 직접 환자를 보는 것과 마찬가지의 영상을 제공하는 것도 중요하다.
즉, 영상 진단을 위해 촬영시 왜곡된 기하 정보와 컬러 변화를 교정할 필요성이 있다. 손 동작으로 인한 카메라의 떨림 등으로 대상 인물의 형태가 변화할 수 있는데 특히 신체의 모양은 직선의 형태가 아닌 입체적인 형태이므로 기하 정보 왜 곡을 교정하는 것은 어려운 일이다.
영상 인식과 분석에 관련된 종래의 기술을 살펴보면 다음과 같다.
먼저, 형상 인식 장치 및 방법(한국공개특허 2006-0119968, 2006. 11. 24 공개)는 이미지를 캡쳐하여 안면을 인식하기 위한 장치 및 방법인데 이미지의 보정에 관한 구성이 없어 조명이나 기타 주위환경에 의하여 이미지가 왜곡될 수 있는 문제가 있다.
다음으로, 촬영 시스템(일본공개특허 2003-209849, 2003. 07. 25공개)은 렌즈를 개폐하는 뚜껑의 하단부에 반사면을 설치하여 참조영상으로부터 색 채널을 보정하는 방법에 관한 것으로, 카메라 주변의 색의 변화에는 민감하나 실제 물체에 투영되는 빛의 조건을 반영하여 보정하지 못하는 문제점이 있다.
입체적 모델을 만들기 위해서는 다수의 평면 영상이 필요한데 각 평면 영상은 촬영 조건, 구체적으로는 시간과 장소, 조명 등에 따라 색상이 달라질 수 있는 문제점이 있다. 같은 부위라도 서로 다른 색상을 가지게 되면 입체적 모델을 만들었을 경우 색상이 고르지 못하여 이상 유무를 잘못 판단할 우려가 있다. 또한, 실제 대상 인물의 얼굴의 굴곡이나 형상을 고려하지 않으면 정확한 3차원적인 컬러를 보여주지 못해 이를 기준으로 진단을 하는 경우 오진의 우려가 높다.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 다수의 평면 영상의 컬러 기준을 일치시켜 색상 왜곡이 없는 영상을 얻고, 여러 각도의 영상으로부터 특징점을 매칭하여 깊이 정보를 획득하거나 구조화된 빛(Structured Light)을 조사하여 안면의 깊이정보를 획득하고 이를 이용하여 정확한 색상의 3차원 모델을 생성하는 컬러 교정을 이용한 3차원 모델 생성 방법을 제공하는데 그 목적이 있다.
상기의 과제를 해결하기 위한 본 발명의 제 1 특징에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 2 단계, 컬러값이 보정된 상기 정면 영상과 측면 영상에서 상기 기준 컬러 테이블 영역을 제거하는 제 3 단계, 상기 제 3 단계에서 상기 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 상기 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 4 단계, 상기 제 4 단계에서 정면 영상 및 측면 영상에서 추출한 서로 대응되는 특징점 좌표를 매칭시켜 공간적인 깊이 정보를 추출한 후 상기 특징점 좌표에 상기 깊이 정보를 결합하여 3차원 모델을 생성하는 제 5 단계 및 상기 제 5 단계에서 생성된 3차원 모델에 상기 제 4 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 6 단계를 포함하여 이루어진다.
여기서, 상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어진다.
또한, 상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색이다.
여기서, 상기 제 2 단계는 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정, 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정, 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정 및 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함한다.
또한, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값이거나, 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값이다.
상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 계산되는 것을 특징으로 한다.
Figure 112008047218509-pat00001
여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.
또한, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 한다.
Figure 112008047218509-pat00002
여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.
또한, 상기의 과제를 해결하기 위한 본 발명의 제 2 특징에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계, 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득하는 제 2 단계, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 3 단계, 상기 제 1 단계 및 상기 제 2 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역을 제거하는 제 4 단계, 상기 제 4 단계에서 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 5 단계, 상기 제 2 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출하고, 상기 제 5 단계에서 추출한 특징점 좌표를 기준으로 상기 깊이 정보를 반영한 3차원 모델을 생성하는 제 6 단계 및 상기 제 6 단계에서 생성된 3차원 모델에 상기 제 5 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 7 단계를 포함한다.
상기 구조화된 빛은 상기 카메라의 촬영 방향과 설정된 각도만큼 벌어져 상기 대상 인물을 향해 조사된다.
상기 구조화된 빛은 설정된 간격만큼 나란하게 이격된 다수개의 직선 패턴을 가진다.
여기서, 상기 제 4 단계는 상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정, 상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정, 상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정 및 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함한다.
또한, 상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값이거나, 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값이다.
상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 계산되는 것을 특징으로 한다.
Figure 112008047218509-pat00003
여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.
또한, 상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상 의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 한다.
Figure 112008047218509-pat00004
여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.
또한, 상기 제 6 단계는 상기 기준 컬러 테이블 영역이 제거된 정면 영상 및 측면 영상에서 상기 구조화된 빛의 굴곡 정도에 따른 깊이 정보를 각각 추출하는 제 1 과정 및 상기 특징점 좌표를 기준으로 상기 제 1 과정에서 추출된 두 영상의 깊이 정보를 반영한 3차원 모델을 생성하는 제 2 과정을 포함한다.
상기와 같이 구성되는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법은 폐쇄된 공간이 아닌 개방된 공간에서 촬영하여도 정확한 컬러값의 영상을 얻을 수 있으며, 2개 이상의 시점에서 본 영상으로 3차원 영상 정보를 획득가능하며, 3차원 모델링시 광원 변화 정보를 이용하여 음영이 진 굴곡진 곳에서도 정확한 매칭이 가능한 효과가 있다.
또한, 실제 얼굴의 굴곡에 대한 깊이 정보를 반영한 3차원 모델을 생성함으로써, 정확한 컬러값과 형상을 가진 3차원 영상을 통한 진단이 가능하기 때문에 오진의 위험이 적은 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.
먼저, 용어의 정의를 하면 본 발명에서 기준 컬러 테이블이란 촬영단계에서 사용된 실제 기준 컬러 테이블을 의미하며, 기준 컬러 테이블 영역이란 획득된 영상에서 상기 기준 컬러 테이블이 촬영된 부분을 말한다.
도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도이다.
도 1을 참조하면, 사물에 빛이 비춰지는 경우에는 다양한 요인에 의해 사물의 색상이 결정된다.
반사 벡터(R), 광원 벡터(L), 노말 벡터(N), 하프 벡터(H), 카메라 벡터(V) 등 다양한 요인이 영향을 미친다. 이러한 요인들을 이용하여 컬러 결정 공식을 만들면 다음 [수학식 1]과 같다.
Figure 112008047218509-pat00005
여기서, ka, kd, ks 는 상수이며 La는 주변 컬러, Ld 는 표면의 컬러, Ls 는 광원의 컬러이다.
얼굴진단을 위해 다수의 평면 영상으로 입체 모델을 구성하려면 다수의 평면 영상의 컬러 차이를 보정할 필요성이 있다.
[수학식 1]을 참조하면 컬러를 결정하는 요소는 광원에 대한 반사를 제외한다면(Ks=0) 크게 광원에 의한 표면 컬러에 대한 곱셈과 주변 컬러의 덧셈임을 알 수 있다.
[수학식 2]는 원본 컬러값과 변화된 컬러값에 대한 관계를 행렬식으로 나타낸 식이다. [수학식 2]를 참조하면, 컬러의 빛에 대한 변화는 덧셈과 곱셈의 식으로 나타낼 수 있는 것을 알 수 있다.
Figure 112008047218509-pat00006
[수학식 2]에서 변화된 컬러(Rc, Gc, Bc)는 광원에 의한 컬러 교정 행렬에 원본 컬러(Ro, Go, Bo)를 곱하고 여기에 주변 컬러에 의한 변환 벡터(b1, b2, bc)를 더하는 형태임을 알 수 있다.
이러한 기본적 개념을 바탕으로 본 발명에 대해 구체적으로 설명하겠다.
도 3a 및 도 3b는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도이다. 도 3a 및 도 3b는 본 발명에 따른 촬영 시스템을 상부에서 본 모습이 도시되어 있다.
도 3a 및 도 3b를 참조하면 대상 인물(10)의 앞쪽에 카메라(30)의 촬영방향과 수직이 되도록 기준 컬러 테이블(20)이 위치되고, 카메라(30)로 대상인물과 기준 컬러 테이블(20)을 함께 촬영한다.
상기 카메라(20)는 지면에서 수평으로 영상이 촬영되도록 위치시킨다.
이때, 카메라와 소정 간격 이격된 위치에서 대상 인물을 향해 빔 프로젝터(40)가 설치된다. 상기 빔 프로젝터(40)는 일정한 패턴을 가진 구조화된 빛(Structured Light)를 대상 인물을 향해 조사하는 장치이다. 본 발명의 제 1 실시예에서는 상기 빔 프로젝터(40) 없이 3차원 모델을 생성하는 경우이고, 본 발명의 제 2 실시예에서는 상기 빔 프로젝터(40)를 이용하여 3차원 모델을 생성하는 경우이다. 따라서, 본 발명의 제 1 실시예에서는 상기 빔 프로젝터(40)를 필요로 하지 않는다.
도 4는 본 발명에 따라 빔 프로젝트를 대상 인물의 얼굴에 조사한 모습이 나타난 도이다.
본 발명에서는 일례로 상기 빔 프로젝터(40)가 설정된 간격만큼 나란하게 이격된 다수개의 직선을 가진 패턴을 조사한다.
상기 기준 컬러 테이블(20)은 지면과 수평이 되도록 기울어지지 않게 위치시킨다.
도 5는 본 발명에 따른 기준 컬러 테이블의 일례가 도시된 도이다.
도 5를 참조하면, 기준 컬러 테이블(50)은 다수개의 서브 컬러 영역로 이루어진다.
상기 서브 컬러 영역은 그 일례로 테두리 부분의 제 1 컬러 영역(51), 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역(52 ~ 55)으로 이루어진다. 여기서 테두리 부분 이외의 다른 영역의 수는 특별히 한정되지는 않으나, 컬러 교정을 위해 색의 3원색을 포함하는 3개 이상의 수로 설정되는 것이 바람직하다.
여기서, 상기 제 1 컬러 영역(51)은 검정색(R=0, G=0, B=0), 제 2 컬러 영역(52)은 파란색(R=0, G=0, B=255), 제 3 컬러 영역(53)은 흰색(R=255, G=255, B=255), 제 4 컬러 영역(54)은 빨간색(R=255, G=0, B=0), 제 5 컬러 영역(55)은 초록색(R=0, G=255, B=0)으로 설정할 수 있다.
상기 기준 컬러 테이블은 주변 환경색과 관련이 없는 색으로 구성되며, 반사가 적은 재질로 제작되는 것이 바람직하다. 상기 기준 컬러 테이블의 테두리 부분이 검정색이므로, 촬영시 배경은 밝은 색상으로 하여 촬영이 이루어지는 것이 바람직하다.
도 2a는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예가 도시된 순서도이다.
도 2a 를 참조하여, 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예를 설명하면, 먼저 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득한다(S110).
여기서, 기준 컬러 테이블은 대상 인물의 얼굴 주위에 소정 간격 이격되어 설치된다.
도 6은 본 발명에 따라 카메라로 획득된 정면 영상 및 측면 영상이 도시된 도이다.
도 6을 참조하면, 본 발명에서 상기 기준 컬러 테이블은 얼굴의 하단부 옆에 설치되는데, 이에 한하지 않고 얼굴과 소정 간격 이격된 위치에 설치될 수 있다.
다만, 이 경우 대상 얼굴과 가로 세로 방향으로 겹치지 않도록 충분히 이격되어 설치되는 것이 바람직하다.
상기와 같이 일반적인 정면 영상 및 측면 영상, 그리고 구조화된 빛이 조사된 정면 영상 및 측면 영상을 촬영한 후에는 상기 일반적인 정면 영상 및 측면 영상의 컬러값이 실제 컬러값과 일치하도록 보정하는 작업이 이루어져야 한다.
구체적으로 설명하면, 상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 상기 제 1 단계의 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정한다.
실제 기준 컬러 테이블의 컬러값은 우리가 이미 알고 있는 값들이다. 즉, 앞서 설명한 예에서 검은색 영역은 RGB 값이 R=0, G=0, B=0 이고, 파란색 영역은 R=0, G=0, B=255이며, 흰색 영역은 R=255, G=255, B=255이고, 빨간색 영역은 R=255, G=0, B=0이며, 마지막으로 초록색 영역은 R=0, G=255, B=0이다.
다음으로, 컬러값 보정을 위해 먼저 기준 컬러 테이블 영역 및 상기 서브 컬 러 영역을 찾아낸다(S120).
정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 찾는 방법에는 여러가지 다양한 방법들이 사용될 수 있다.
그 일례로 기준 컬러 테이블 영역이 도 6 과 같이 하반부의 제 4 사분면에 위치한 경우, 하반부에서 그림의 오른쪽 테두리에서 왼쪽으로 검정색에 가장 가까운 2 개의 코너 포인트를 찾는데, 코너 포인트는 해리스 코너 검출 (Harris Corner Detector)과 같은 알고리즘을 사용할 수 있다.
찾아진 2 개 코너 포인트에서 다시 왼쪽 부분에 있는 가장 가까운 검정색 코너 포인트를 찾도록 하고, RGB 임계값을 이용하여 판별한다.
임계값보다 낮은 부분이 검정색 부분으로 설정하여 판별하고, 검정색 내부에서 각 서브 컬러 영역의 코너 포인트를 찾도록 한다.
다음으로, 상기 각 서브 컬러 영역의 대표 컬러값을 추출한다(S130).
여기서, 각 서브 컬러 영역의 대표 컬러값을 구하는 제 1 실시예는 각 서브 컬러 영역의 중심 좌표를 검출하여 중심 좌표의 컬러값을 해당 서브 컬러 영역의 대표 컬러값을 설정하는 것이다. 각 서브 컬러 영역의 가장자리 부분에서는 이웃하는 영역과 컬러값이 명확하게 구분되지 않고 어느 정도 혼합된 색상이 촬영될 수 있기 때문에 중심 좌표의 컬러값을 대표 컬러값으로 설정하는 것이다.
서브 컬러 영역의 대표 컬러값을 구하는 제 2 실시예는 각 서브 컬러 영역 내부의 모든 픽셀의 컬러값을 합산한 후 픽셀의 수로 나누어 평균 컬러값을 구하고, 이렇게 구한 평균 컬러값을 해당 서브 컬러 영역의 대표 컬러값으로 설정하는 것이다. 이러한 과정을 이용하여 상기 기준 컬러 테이블 영역의 각 서브 컬러 영역의 대표값을 모두 구한다.
상기와 같이 각 서브 컬러 영역의 대표 컬러값을 구한 다음에는 상기에서 계산된 각 대표 컬러값과 촬영시 사용했던 기준 컬러 테이블 내의 서브 컬러 영역의 각 컬러값을 비교하여 변화된 수치만큼 상기 정면 영상 및 측면 영상의 컬러값을 교정한다.
이를 위해, 먼저 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구한다(S140). 즉, 컬러 왜곡된 촬영영상을 원래의 기준 컬러 테이블의 컬러값으로 변환시키는 교정 행렬을 구하는 것이다.
Figure 112008047218509-pat00007
교정 행렬은 기본적으로 [수학식 3]의 관계를 이용하여 구한다.
여기서, Rcs, Gcs, Bcs는 실제 촬영시 사용했던 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소이다.
상기 교정 행렬은 기준 컬러 테이블 영역의 각 서브 컬러 영역의 컬러값을 도 7과 같이 [수학식 3]에 대입하여 만들어진 방정식을 풀면 구할 수 있다.
도 7은 각 서브 컬러 영역을 이용하여 만든 행렬식이 도시된 도이다. 도 7에서 (a)는 파란색 컬러 영역, (b)는 흰색 컬러 영역, (c) 는 빨간색 컬러 영역, (d)는 초록색 컬러 영역의 컬러값을 대입하여 만든 식이다.
도 8은 도 7의 행렬식을 하나의 행렬식으로 나타낸 도이다.
도 8에서 C 행렬은 기준 컬러 테이블 내의 각 서브 컬러 영역의 컬러값들이고, T 행렬은 교정 행렬, O 행렬은 촬영된 영상에서의 기준 컬러 테이블 영역 내의 각 서브 컬러 영역의 컬러값들이다.
C 행렬과 O 행렬은 알고 있는 값들이므로, 상기 도 8의 행렬식을 이용하여 교정 행렬(T)을 구한다.
이렇게 교정 행렬이 구해지면, 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정한다(S150).
이 과정은 하기의 [수학식 4]에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀에 대해 컬러 보정이 수행된다.
Figure 112008047218509-pat00008
여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값이며, T는 교정행렬이다.
이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거한다(S160). 도 9는 정면 영상과 측면 영상에서 기준 컬러 테이블 영역이 제거된 모습이 도시된 도인데, 도 9의 우측 그림과 같이 기준 컬러 테이블 영역을 제거한다.
다음으로, 기준 컬러 테이블 영역이 제거된 정면 영상과 측면 영상에서 눈, 코, 입에 해당하는 영역의 특징점 좌표를 각각 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성한다.
이 경우 먼저, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거시키고, 기준 컬러 테이블이 제거된 영상에서 특징점 좌표를 검출한다(S170).
도 10은 정면 영상과 측면 영상에서 특징점이 도시된 도이다.
도 10과 같이 특징점 좌표를 추출한 다음 서로 대응되는 특징점 좌표를 서로 매칭시켜서 하나의 3차원 텍스쳐를 형성한다(S180).
이 경우 먼저, 정면 영상에서 추출한 특징점 좌표와 측면 영상에서 추출한 특징점 좌표를 서로 매칭시켜 공간적인 깊이 정보를 검출한다(S190).
다음으로, 추출한 특징점 좌표와 공간적 깊이 정보를 결합하여 3차원 기하정 보를 가진 모델을 생성한다(S200).
마지막으로, 상기 3차원 모델에 상기 S180 단계에서 생성한 3차원 텍스쳐를 매핑시켜 최종적으로 3차원 기하정보를 가진 컬러 모델을 완성한다(S210).
도 2b는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예가 도시된 순서도이다.
도 2b 를 참조하여, 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예를 설명하면, 먼저 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득한다(S310).
다음으로, 상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득한다(S320).
여기서, 기준 컬러 테이블에 관한 사항은 상기 제 1 실시예와 동일하다.
다음으로, 컬러값 보정을 위해 정면 영상 및 측면 영상에서 먼저 기준 컬러 테이블 영역 및 상기 서브 컬러 영역을 찾아낸다(S330).
다음으로, 상기 각 서브 컬러 영역의 대표 컬러값을 계산한다(S340).
여기서, 각 서브 컬러 영역의 대표 컬러값을 구하는 방법은 본 발명의 제 1 실시예와 동일한 방법이 사용된다.
상기와 같이 각 서브 컬러 영역의 대표 컬러값을 구한 다음에는 상기에서 계 산된 각 대표 컬러값과 촬영시 사용했던 기준 컬러 테이블 내의 서브 컬러 영역의 각 컬러값을 비교하여 변화된 수치만큼 상기 정면 영상 및 측면 영상의 컬러값을 교정한다.
이를 위해, 먼저 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구한다(S350). 즉, 컬러 왜곡된 촬영 영상을 원래의 기준 컬러 테이블의 컬러값으로 변환시키는 교정 행렬을 구하는 것이다.
교정 행렬은 상기 [수학식 3], 도 7 및 도 8을 이용하여 구한다.
이렇게 교정 행렬이 구해지면, 상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정한다(S360).
이 과정은 상기의 [수학식 4]에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀에 대해 컬러 보정이 수행된다.
이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거한다(S370). 즉, 도 9의 우측 그림과 같이 기준 컬러 테이블 영역을 제거한다.
이렇게 정면 영상과 측면 영상의 컬러 보정이 이루어지면, 컬러가 보정된 정면 영상과 측면 영상에서 눈, 코, 입에 해당하는 영역의 특징점 좌표를 각각 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성한다.
이 경우 먼저, 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 제거시 키고, 기준 컬러 테이블이 제거된 영상에서 특징점 좌표를 검출한다(S380).
도 10과 같이 특징점 좌표를 추출한 다음 서로 대응되는 특징점 좌표를 서로 매칭시켜서 하나의 3차원 텍스쳐를 형성한다(S390).
다음으로, 앞서 S320 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출한다(S400).
일정하게 반복되는 직선형 패턴을 대상 인물의 얼굴 부위에 조사하면, 얼굴의 윤곽에 따라 직선이 구부러져 굴곡이 생긴다. 배경에 직선형태로 나타난 부분의 높이를 0 이라 설정하고, 높이가 0인 직선 부분에 비해 구부러진 정도 및 위치에 따라 카메라의 각도를 고려한 높이를 설정하여 얼굴 부위에 해당하는 모든 픽셀에서의 깊이 정보를 계산한다.
다음으로, 상기 추출한 특징점 좌표를 기준으로 상기 두 깊이 정보를 반영한 3차원 기하정보를 가진 모델을 생성한다(S410).
마지막으로, 상기 3차원 모델에 상기 S390 단계에서 생성한 3차원 텍스쳐를 매핑시켜 최종적으로 3차원 기하정보를 가진 컬러 모델을 완성한다(S420).
이상과 같이 본 발명에 의한 컬러 교정을 이용한 3차원 모델 생성 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도,
도 2a는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 1 실시예가 도시된 순서도,
도 2b는 본 발명에 따른 컬러 교정을 이용한 3차원 모델 생성 방법의 제 2 실시예가 도시된 순서도,
도 3a 및 도 3b는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도,
도 4는 본 발명에 따라 빔 프로젝트를 대상 인물의 얼굴에 조사한 모습이 나타난 도,
도 5는 본 발명에 따른 기준 컬러 테이블의 일례가 도시된 도,
도 6은 본 발명에 따라 카메라로 획득된 정면 영상 및 측면 영상이 도시된 도,
도 7은 각 서브 컬러 영역을 이용하여 만든 행렬식이 도시된 도,
도 8은 도 7의 행렬식을 하나의 행렬식으로 나타낸 도,
도 9는 정면 영상과 측면 영상에서 기준 컬러 테이블이 제거된 모습이 도시된 도,
도 10은 정면 영상과 측면 영상에서 특징점이 도시된 도이다.
<도면의 주요 부분에 관한 부호의 설명>
10: 대상 인물
20: 기준 컬러 테이블
30: 카메라
40: 빔 프로젝터

Claims (19)

  1. 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계;
    상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 2 단계;
    컬러값이 보정된 상기 정면 영상과 측면 영상에서 상기 기준 컬러 테이블 영역을 제거하는 제 3 단계;
    상기 제 3 단계에서 상기 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 상기 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 4 단계;
    상기 제 4 단계에서 정면 영상 및 측면 영상에서 추출한 서로 대응되는 특징점 좌표를 매칭시켜 공간적인 깊이 정보를 추출한 후 상기 특징점 좌표에 상기 깊이 정보를 결합하여 3차원 모델을 생성하는 제 5 단계; 및
    상기 제 5 단계에서 생성된 3차원 모델에 상기 제 4 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 6 단계를 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  2. 청구항 1에 있어서,
    상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  3. 청구항 2에 있어서,
    상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색인 것을 특징으로 하는컬러 교정을 이용한 3차원 모델 생성 방법.
  4. 청구항 1에 있어서, 상기 제 2 단계는
    상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정;
    상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정;
    상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정; 및
    상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  5. 청구항 4에 있어서,
    상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  6. 청구항 4에 있어서,
    상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  7. 청구항 4에 있어서,
    상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 구해지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
    Figure 112008047218509-pat00009
    (여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소)
  8. 청구항 4에 있어서,
    상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
    Figure 112008047218509-pat00010
    (여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값, T는 교정 행렬)
  9. 하나 이상의 서브 컬러 영역을 포함하는 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 다수개의 측면 영상을 카메라를 이용하여 획득하는 제 1 단계;
    상기 카메라와 설정된 각도만큼 이격된 각도로 상기 대상 인물에 일정한 패턴을 가진 구조화된 빛(Structured Light)을 조사하여 정면 영상 및 측면 영상을 카메라를 이용하여 획득하는 제 2 단계;
    상기 정면 영상과 측면 영상에서 기준 컬러 테이블 영역을 검출하여 촬영시 사용했던 기준 컬러 테이블의 컬러값과 일치되도록 상기 정면 영상과 측면 영상의 컬러값을 보정하는 제 3 단계;
    상기 제 1 단계 및 상기 제 2 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역을 제거하는 제 4 단계;
    상기 제 4 단계에서 기준 컬러 테이블 영역을 제거된 정면 영상과 측면 영상에서 눈, 입에 해당하는 영역의 특징점 좌표를 추출하고, 정면 영상과 측면 영상에서 서로 대응되는 특징점 좌표를 매칭시켜 하나의 3차원 텍스쳐를 형성하는 제 5 단계;
    상기 제 2 단계에서 획득한 정면 영상 및 측면 영상에서 상기 구조화된 빛의 변형된 정도에 따라 모든 픽셀의 깊이 정보를 추출하고, 상기 제 5 단계에서 추출한 특징점 좌표를 기준으로 상기 깊이 정보를 반영한 3차원 모델을 생성하는 제 6 단계; 및
    상기 제 6 단계에서 생성된 3차원 모델에 상기 제 5 단계에서 생성한 3차원 텍스쳐를 매핑시키는 제 7 단계를 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  10. 청구항 9에 있어서,
    상기 서브 컬러 영역은 테두리 부분의 제 1 컬러 영역, 상기 제 1 컬러 영역으로 둘러싸인 제 2 내지 제 5 컬러 영역으로 이루어지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  11. 청구항 10에 있어서,
    상기 제 1 컬러 영역은 검정색, 제 2 컬러 영역은 파란색, 제 3 컬러 영역은 흰색, 제 4 컬러 영역은 빨간색, 제 5 컬러 영역은 초록색인 것을 특징으로 하는컬러 교정을 이용한 3차원 모델 생성 방법.
  12. 청구항 9에 있어서,
    상기 구조화된 빛은 상기 카메라의 촬영 방향과 설정된 각도만큼 벌어져 상기 대상 인물을 향해 조사되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  13. 청구항 9에 있어서,
    상기 구조화된 빛은 설정된 간격만큼 나란하게 이격된 다수개의 직선 패턴을 가지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  14. 청구항 9에 있어서, 상기 제 3 단계는
    상기 제 1 단계에서 획득된 정면 영상 및 측면 영상에서 기준 컬러 테이블 영역 및 서브 컬러 영역을 검출하는 제 1 과정;
    상기 각 서브 컬러 영역의 대표 컬러값을 계산하는 제 2 과정;
    상기 정면 영상과 측면 영상에 대해, 상기 기준 컬러 테이블 영역에 포함된 각 서브 컬러 영역의 대표 컬러값을 상기 기준 컬러 테이블의 각 서브 컬러 영역의 컬러값에 일치하도록 변환하는 교정 행렬을 구하는 제 3 과정; 및
    상기 교정 행렬을 이용하여 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값을 교정하는 제 4 과정을 포함하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  15. 청구항 14에 있어서,
    상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역의 중심 좌표를 검출한 후 검출된 각 중심 좌표의 컬러값인 것을 특징 으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  16. 청구항 14에 있어서,
    상기 제 2 과정에서 대표 컬러값은 상기 정면 영상 및 측면 영상에서 각 서브 컬러 영역을 구성하는 모든 픽셀의 컬러 평균값인 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
  17. 청구항 14에 있어서,
    상기 교정 행렬은 하기와 같은 행렬식을 상기 서브 컬러 영역별로 적용시켜 구해지는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
    Figure 112008047218509-pat00011
    (여기서, Rcs, Gcs, Bcs는 기준 컬러 테이블의 각 서브 컬러 영역별 RGB값이며, t11 내지 t33은 표면 컬러에 대한 교정 행렬의 요소, Ros, Gos, Bos는 촬영된 영상에서 검출된 기준 컬러 테이블 영역의 각 서브 컬러 영역별 대표 컬러값, b1 내지 b3는 주변 컬러에 대한 교정 행렬의 요소)
  18. 청구항 14에 있어서,
    상기 제 4 과정은 하기의 수학식에 의해 상기 정면 영상 및 측면 영상의 모든 픽셀의 컬러값이 교정되는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
    Figure 112008047218509-pat00012
    (여기서, P'(x,y)는 교정 후 x,y 좌표의 픽셀이 가지는 컬러값이며, P(x,y)는 교정 전의 x,y 좌표의 픽셀이 가지는 컬러값, T는 교정 행렬)
  19. 청구항 9에 있어서, 상기 제 6 단계는
    상기 기준 컬러 테이블 영역이 제거된 정면 영상 및 측면 영상에서 상기 구조화된 빛의 굴곡 정도에 따른 깊이 정보를 각각 추출하는 제 1 과정; 및
    상기 특징점 좌표를 기준으로 상기 제 1 과정에서 추출된 두 영상의 깊이 정보를 반영한 3차원 모델을 생성하는 제 2 과정을 포함하는 것을 특징으로 하는 컬러 교정을 이용한 3차원 모델 생성 방법.
KR1020080062833A 2008-06-30 2008-06-30 컬러 교정을 이용한 3차원 모델 생성 방법 KR100943218B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080062833A KR100943218B1 (ko) 2008-06-30 2008-06-30 컬러 교정을 이용한 3차원 모델 생성 방법
US13/001,942 US8369625B2 (en) 2008-06-30 2008-09-19 Method for grouping 3D models to classify constitution
PCT/KR2008/005542 WO2010002070A1 (en) 2008-06-30 2008-09-19 Method for grouping 3d models to classify constitution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080062833A KR100943218B1 (ko) 2008-06-30 2008-06-30 컬러 교정을 이용한 3차원 모델 생성 방법

Publications (2)

Publication Number Publication Date
KR20100002799A KR20100002799A (ko) 2010-01-07
KR100943218B1 true KR100943218B1 (ko) 2010-02-18

Family

ID=41812789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080062833A KR100943218B1 (ko) 2008-06-30 2008-06-30 컬러 교정을 이용한 3차원 모델 생성 방법

Country Status (1)

Country Link
KR (1) KR100943218B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101849696B1 (ko) 2011-07-19 2018-04-17 삼성전자주식회사 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
CN103593873B (zh) * 2012-08-17 2017-02-08 鸿富锦精密工业（深圳）有限公司 人脸影像调整系统及方法
KR102265109B1 (ko) 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
KR102113053B1 (ko) * 2015-07-03 2020-05-21 전자부품연구원 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법
KR101677165B1 (ko) * 2016-02-18 2016-12-23 대한민국(국가기록원) 행정박물의 3D 정보의 종합품질을 Test Bed에 의한 검증방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029140A (ko) * 2003-06-20 2006-04-04 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
KR100837818B1 (ko) 2006-12-15 2008-06-13 주식회사 케이티 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029140A (ko) * 2003-06-20 2006-04-04 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
KR100837818B1 (ko) 2006-12-15 2008-06-13 주식회사 케이티 이차원 영상을 이용해 삼차원 형상을 복원하는 방법과,이를 이용한 삼차원 영상 생성 방법

Also Published As

Publication number Publication date
KR20100002799A (ko) 2010-01-07

Similar Documents

Publication Publication Date Title
US11100661B2 (en) Multi-modal depth mapping
EP3268935B1 (en) Apparatus and method of texture mapping for dental 3d scanner
CN102878950B (zh) 用于三维轮廓测量的系统和方法
CN104335005B (zh) 3d扫描以及定位系统
US11961238B2 (en) Tooth segmentation using tooth registration
KR100943218B1 (ko) 컬러 교정을 이용한 3차원 모델 생성 방법
US20150374210A1 (en) Photometric stereo endoscopy
CN107735016A (zh) 用于扫描解剖结构且用于显示扫描结果的系统和方法
JP2008249432A (ja) 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
Korotkov et al. A new total body scanning system for automatic change detection in multiple pigmented skin lesions
WO2006054425A1 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
EP2881702A1 (en) Image processing system, and image processing method
JPH11242745A (ja) 顔画像の計測・処理方法
CN110569784B (zh) 一种人体尺寸测量方法、系统、存储介质及电子设备
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
CN112712059A (zh) 基于红外热图像和rgb图像的活体人脸识别方法
WO2007110982A1 (ja) 眼底のステレオ画像のための画像解析装置及びプログラム
KR100904559B1 (ko) 스테레오 영상을 이용한 안면 진단 방법
JP5056662B2 (ja) 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート
JP4507571B2 (ja) 人体姿勢計測装置
KR100992525B1 (ko) 컬러 영상 교정 방법
JP2004302581A (ja) 画像処理方法並びに画像処理装置
JP2016156702A (ja) 撮像装置および撮像方法
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080630

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090928

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100210

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100212

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130529

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130529

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140117

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140117

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150202

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160212

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160212

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20190108

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20200109

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20210104

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20231221

Start annual number: 15

End annual number: 15