KR100482790B1 - 디지털 영상의 알지비(ｒｇｂ) 3차원 색 좌표계에서의조명 추정방법 - Google Patents

Abstract

본 발명은 디지털 영상의 알지비(RGB) 3차원 색좌표계에서의 조명 추정방법에 관한 것으로, 디지털 카메라와 같은 디지털 영상기기로 촬영한 디지털 영상에서 RGB 색 좌표계를 이용하여 촬영 시 조명을 추정하는 방법으로, 디지털 영상에서 RGB 3차원 색 공간을 이용하여 동일한 색 영역을 검출하는 제1단계; 상기 검출된 동일 색 영역의 R, G, B 값 쌍들을 RGB 3차원 색 좌표계에 표시하여 동일한 색 영역별로 대응하는 평면으로 근사화하는 제2단계; 상기 동일한 색 영역별로 근사화된 평면들의 교직선으로부터 방향벡터를 찾는 제3단계; 및 상기 방향벡터가 결정되면 RGB 3차원 색 공간에서 방향을 위주로 하여 조명 추정을 하는 제 4단계를 포함하며, RGB 색 좌표계를 이용하여 평면들을 근사(近似)하고, 근사된 평면들의 교직선을 계산하는 과정을 통해 디지털 영상 촬영시의 조명 상태를 추정하는 것이다.

Description

디지털 영상의 알지비(ＲＧＢ) 3차원 색 좌표계에서의 조명 추정방법 {Illuminant estimation on digital image from 3-dimensional RGB color coordinates}

본 발명은 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법에 관한 것으로, RGB 색 좌표계를 이용하여 평면들을 근사(近似)하고 근사된 평면들의 교직선을 계산하여 그 교직선의 방향벡터를 이용하여 조명을 추정하는 디지털 영상 촬영시의 조명 상태를 추정하는 방법에 관한 것이다.

일반적으로 디지털 영상은 디지털 영상기기의 센서부에 입사되는 빛의 세기와 파장에 의해서 출력 색 좌표인 R, G, B값 쌍들이 결정된다. 동일한 디지털 영상기기를 이용하여 동일한 물체를 다양한 조명 아래에서 촬영하여 획득한 디지털 영상들의 R, G, B값 쌍들은 일반적으로 서로 다른 값들을 갖는다.

이와 같은 조명의 효과로 인하여 영상 표시기기(예를 들어, 모니터 등)나 출력기기(예를 들어, 프린터 등)를 통하여 구현된 색상은 실제 촬영 대상 물체의 색과는 다른 색을 나타내는 경우가 많다. 따라서, 조명 상태와는 무관하게 물체의 색을 재현하고자 하는 경우에는 먼저, 촬영시의 조명 성분을 추정하고 추정된 결과를 이용하여 획득된 디지털 영상의 R, G, B값 쌍들에 대해 별도의 색 보정을 수행하게 된다.

종래 기술에 따른 디지털 영상으로부터 조명성분의 추정을 위한 방법으로는 영상내의 거울과 같이 반사하는 빛(specularly reflected light)을 검출하여, 그 빛의 색에 의해 조명성분을 추정하는 방법(Hsien Che Lee의 미국특허 제4686071호(등록일: 1987. 8. 4.)), 영상내의 동일색 영역들로부터 2-dimensional chrominance histogram을 작성하여 조명성분을 추정하는 방법(Schwartz의 미국특허 제5495428호(등록일: 1996. 2. 27.)), 영상내의 동일한 색 영역들로부터 색도 좌표에 직선을 근사하여 생성되는 교점들을 이용하여 조명성분을 추정하는 방법(박두식의 국내특허출원 제1997-15844호(출원일: 1997. 4. 28.)) 등이 사용되고 있다.

이와 같이 종래의 기존 방식들은 3차원 색 공간을 2차원 좌표계로 나타내는 색도 좌표를 사용한다. 이러한 경우에 추정시에 사용되는 초기 데이터들이 2차원의 좌표계로 이루어지기 때문에 3차원인 색 공간에 비해서 조명성분의 추정에 오차가 생긴다는 단점이 있다.

본 발명은 상기와 같은 단점을 해소하기 위한 것으로, 조명에 관계없이 촬영 대상 물체색을 영상 표시기기나 출력기기에 재현하고자 하는 경우에 요구되는 촬영시에 조명 상태를 추정하기 위한 것으로, 디지털 영상기기로부터 획득된 디지털 영상에서 동일한 색을 갖는 영역을 추출하고, 추출된 영역내의 R, G, B값 쌍들을 RGB 3차원 색 좌표계에 표시하여 동일색 영역에 대응하는 하나의 평면을 근사화하고, 이와 같은 과정을 다른 동일색 영역에 적용하여 다른 하나의 평면을 근사화하며, 두 개의 근사화된 평면들이 서로 교차하는 교직선을 찾아내고, 그 교직선의 방향벡터로 조명성분을 추정함으로써, 2차원 데이터로 변환하여 추정하는 방법에 비해 데이터의 손실을 줄이고 정확한 조명 상태를 추정하여 조명의 분류를 수행하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법을 제공하기 위한 것이 목적이다.

본 발명은 상기의 목적을 달성하기 위하여, 디지털 영상에서 RGB 3차원 색 공간을 이용하여 동일한 색 영역을 검출하는 제1단계; 상기 검출된 동일 색 영역의 R, G, B 값 쌍들을 RGB 3차원 색 좌표계에 표시하여 동일한 색 영역별로 대응하는 평면으로 근사화하는 제2단계; 상기 동일한 색 영역별로 근사화된 평면들의 교직선으로부터 방향벡터를 찾는 제3단계; 및 상기 방향벡터가 결정되면 RGB 3차원 색 공간에서 방향을 위주로 하여 조명 추정을 하는 제 4단계를 포함하는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법을 제공한다.

이하 첨부된 도면을 참조하면서 본 발명을 상세히 설명하면 다음과 같다.

일반적으로 낙엽이나 플라스틱 또는 페인트칠이 된 물체의 표면 같은 비등질성 물질(nonhomogenous materials)의 빛에 대한 반사 특성은 이색성 반사 모델(Dichromatic reflection model)(Steve Shafer의 Using Color to Separate Reflection Components, Color Research Application 10, pp. 210－218, 1985)로 설명된다.

이색성 반사 모델은 비등질 물질의 표면으로부터 반사되는 빛의 전체 방사 L을 비등질성 물질의 표면에서 반사되는 빛의 방사(surface reflection) L_s와 물질의 몸체를 통하여 반사되는 빛의 방사(body reflection) L_b의 선형 조합으로 나타낸다.

즉 도 1에서, 비등질 물질에 입사되는 조명 방향(I)과 물질에서의 수직 방향(N)과 물체에서 반사되는 방향(R), 그리고 디지털 영상기기의 센서의 방향(S)과의 관계를 나타낸 것이다. 비등질 이색성 물질 표면으로부터 반사되어 디지털 영상기기에 입사되는 빛의 전체 방사(L)는 파장 λ와, 입사하는 빛의 방향(I)과 물질의 한 위치에서의 수직 방향(N)과의 각 i와, 디지털 영상기기의 센서(S)와 물질로부터 반사되는 빛의 방향(R)과의 각 r, 및 디지털 영상기기의 센서(S)와 입사하는 빛의 방향(I)과의 각 s의 4가지 성분에 의해서 변하게 되므로, 이를 수학식으로 표시하면 다음과 같이 나타낼 수 있다.

물질 표면의 특정한 점에서는 기하학적 요소인 각도가 결정되어지게 되므로 파장에 의해서만 센서에 들어오는 빛의 방사를 결정한다. 따라서, 물질 표면의 위치에 의해 결정되어지는 기하학적 요소와 파장은 다음의 수학식과 같이 분리할 수 있다.

또한, 디지털 영상기기에 입사되는 빛에 대한 영상기기의 출력식은 다음의 수학식과 같이 삼자극치 적분으로 주어진다.

여기서, r(λ), g(λ), b(λ)는 디지털 영상기기의 분광 감도(spectral sensitivity)를 나타낸다. 상기 수학식 3에서 나타내는 삼자극치의 적분에 수학식 2를 적용하면 다음의 수학식과 같이 된다.

상기 수학식 3과 수학식 4에 의해 다음의 수학식을 얻을 수 있다.

상기 수학식 5에서 R, G, B쌍들을 벡터로 가정하면, [R_s G_s B_s]^T와 [R_b G_b B_b]^T는 동일한 색 영역에서는 거의 변화가 없으므로 동일한 색 영역 안에서 변하는 것은 L_s,∠ 와 L_b,∠가 된다. 따라서, 동일 색 영역에서의 각 화소의 R, G, B값 쌍들은 [R_s G_s B_s]^T와 [R_b G_b B_b] ^T의 두 벡터로 이루어지는 평면상에 존재한다. 또한 L_s,∠와 L_b,∠가 양수의 모든 값을 가질 수 있으므로 평면은 원점을 지나게 된다.

도 2는 상기 [R_s G_s B_s]^T와 [R_b G_b B _b]^T로 이루어진 평면을 나타낸 것이다. 동일한 색 영역에서의 R, G, B값 쌍들은 하나의 평면을 이루게 되므로 각각 다른 몇 개의 동일 색 영역에서 나타나는 평면간에 교직선을 만들게 된다. 교직선의 방향 벡터는 두 평면이 공통적으로 포함하는 벡터이다. 따라서, 교직선의 방향 벡터는 두 가지의 색 영역의 공통 요소인 조명을 나타내게 된다. 디지털 영상의 획득시에 두 물체에 유일하게 공통적으로 적용되는 조건은 조명이 될 것이다. 그러므로 상기의 평면들이 이루는 교차직선의 방향벡터가 조명을 나타낸다.

디지털 영상에서의 조명 추정에 대한 전체적인 흐름은 도 3의 흐름도와 같다.

즉 제 1단계에서 디지털 영상(S10)에서 동일한 색 영역을 추출하기 위해서 본 발명에서는 3차원의 R-G-B 색공간을 사용하기 때문에 가장 일반적으로 사용하는 에지(edge)를 이용하여 동일한 색 공간을 추출한다(S20). 일정한 값 이상으로 R, G, B값의 변화가 생기는 부분을 에지로 가정하여 에지를 포함하지 않는 일정 영역을 동일한 색 영역으로 할당한다.

제 2단계에서는 상기의 제 1단계에서 할당된 동일한 색 영역에 대하여 3차원 R-G-B 색공간(좌표계)(S30)(S31) 상의 원점을 지나는 평면을 근사화하여야 한다(S40)(S41). 평면은 동일한 색 영역의 각 화소값들의 오차가 최소가 되도록 근사화한다. 오차를 최소화하여 근사하는 방법은 여러 가지가 있으나 본 발명에서는 최소제곱 오차방법을 사용하였다.

도 4는 최소오차 제곱방법으로, 동일 색 영역을 근사한 것을 나타낸 것이다. 따라서, 제 3단계에서 상기 평면 근사화를 몇 개의 동일한 색 영역에 이용하여 수행하여 근사 평면들을 여러 개로 생성시킨 후에 이 평면들간의 관계를 이용하여 평면들간의 교직선을 구하게 된다(S50).

도 5에서와 같이 교직선은 항상 원점을 지나게 되고, 방향벡터는 직선의 방향에서 단위벡터를 생성하여 구하게 되므로, 방향벡터는 교직선과 일직선상에 위치하게 된다(S60).

제 4단계에서는 상기에서 추출한 방향벡터는 디지털 영상의 획득 시에 조명의 RGB값의 방향을 나타내게 되므로, 조명의 추정을 가능하게 한다(S70). 또한, 조명의 분류를 수행할 시에는 방향벡터와 각 조명의 데이터를 방향각의 대소만으로 분류를 행할 수 있다.

이와 같이 본 발명에서는 디지털 영상에서 R, G, B값 쌍들을 이용하여 RGB 3차원 공간상에서 추정을 함으로써, 기존에 2차원에서 추정한 결과보다 향상된 추정을 하게 되고, 2차원에서 추정시에 고려되지 않은 나머지 한 차원의 정보를 고려할 수 있게 되므로, 조명이 3차원의 어느 하나에 치중되어 있을 경우에 추정이 더욱 향상되는 효과가 있다.

이와 같은 본 발명의 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법은 상술한 실시예에만 한정되지 않고, 당업자가 용이하게 변경 또는 치환할 수 있을 것이다.

도 1은 광이 물체에 반사되는 관계를 나타낸 설명도,

도 2는 두 벡터가 평면에 생성되는 관계를 나타낸 설명도,

도 3은 본 발명에 따른 디지털 영상의 방향벡터를 이용한 조명 추정 방법을 나타낸 전체적인 흐름도,

도 4는 본 발명에서의 RGB 3차원 데이터를 이용한 평면 근사 관계를 나타낸 도면,

도 5는 본 발명에서의 평면들의 교직선과 방향벡터의 관계를 나타낸 그래프.

Claims (5)

1. 디지털 영상에서 RGB 3차원 색 공간을 이용하여 동일한 색 영역을 검출하는 제1단계;

   상기 검출된 동일 색 영역의 R, G, B 값 쌍들을 RGB 3차원 색 좌표계에 표시하여 동일한 색 영역별로 대응하는 평면으로 근사화하는 제2단계;

   상기 동일한 색 영역별로 근사화된 평면들의 교직선으로부터 방향벡터를 찾는 제3단계; 및

   상기 방향벡터가 결정되면 RGB 3차원 색 공간에서 방향을 위주로 하여 조명 추정을 하는 제 4단계; 를 포함하는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법.
2. 제 1항에 있어서, 상기 동일한 색 영역을 검출하는 제 1단계에서 에지(edge)만을 이용하여 일정한 값 이상의 차이를 R, G, B값에서 나타내지 않으면, 동일한 표면색 영역으로 판단하는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법.
3. 제 1항에 있어서, 상기 평면을 근사하는 제 2단계에서 RGB 3차원 색 공간을 이용하여 R, G, B값 쌍들을 하나의 벡터 값으로 사용하여 평면을 근사함으로써 원점을 지나는 평면을 생성하는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법.
4. 제 1항에 있어서, 상기 교직선에서 방향벡터를 구하는 제 3단계에서 방향벡터 자체가 교직선이 원점을 지나기 때문에 같은 직선 상에 놓이게 되는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법.
5. 제 1항에 있어서, 상기 결정된 방향벡터를 이용하여 조명을 추정하는 제 4단계에서 방향벡터의 RGB 3차원 공간에서 방향벡터의 방향각을 이용하여 조명을 추정하는 것을 특징으로 하는 디지털 영상의 알지비(RGB) 3차원 색 좌표계에서의 조명 추정방법.