KR19980078328A

KR19980078328A - 화상신호로부터 조명색을 검출하는 방법

Info

Publication number: KR19980078328A
Application number: KR1019970015844A
Authority: KR
Inventors: 박두식; 김창용
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1997-04-28
Filing date: 1997-04-28
Publication date: 1998-11-16
Also published as: KR100237284B1; JP2989168B2; JPH10340336A; US6654055B1

Abstract

본 발명은 비디오 카메라 등의 칼라 화상 입력 장치 등에 있어서 촬영 당시의 조명의 영향을 고려하여 색 보정한 화상을 저장하기 위하여 조명색을 검출하기 위한 방법으로서, 기존에 사용되었던 방법들에서 나타났던 비용부담이나 과다한 수행시간의 요구 등을 해결하기 위하여 고안되었다.

본 발명은 화상 내에서 물체 표면의 반사에 의해 발생하는 하이라이트와 물체 간에 발생한 색 천이 띠를 찾고, 그것들로부터 조명색을 얻는 방법을 제공한다. 색 천이 띠는 하이라이트와 물체, 혹은 물체와 물체간에 발생 가능하다. 조명의 정보는 물체와 하이라이트간에서 발생한 색 천이 띠에서만 쉽게 얻을 수 있기 때문에 이것을 찾기 위해서 고유값의 제한을 두어 물체와 물체간에 발생하는 색 천이 띠는 제거한다.

또한 물체와 하이라이트간에서 발생한 색 천이 띠의 고유벡터를 이용하여 색도 도상에서의 직선을 구하고 그것들의 교점의 평균을 조명색으로 결정한다.

이로써 본 발명은 기존 방법의 문제점이었던 과다한 수행시간을 단축할 수 있고, 보다 정확한 조명색 정보를 제공한다.

Description

화상신호로부터 조명색을 검출하는 방법

본 발명은, 칼라 화상 입력 장치 등에 있어서 촬영 당시의 조명의 영향을 고려하여 색 보정된 화상을 저장하기 위한 조명색을 검출하기 위한 방법에 관한 것으로서, 특히 화상 입력장치에서 얻어진 화상으로부터 정확한 조명색을 검출하기 위한 화상 신호의 처리 방법에 관한 것이다.

지금까지 디지탈 카메라와 같은 칼라 화상 입력장치 등에 있어서 백색 조절(white balance) 과 같은 색보정을 수행하기 위한 여러 가지 방법이 이미 알려져 있었다.

다양한 조명 환경 하에서 스스로 물체를 인식, 판단할 수 있도록 제작된 로봇의 시각 시스템 등에서는 현재환경의 조명성분 즉, 조명색 혹은 조명의 스펙트럼 파워 분포(Spectral Power Distribution : 이하 SPD라 약칭함)를 검출하는 것이 필연적으로 요구된다. 이것은 조명에 따라 물체의 색이 다르게 보이기 때문이다.

이러한 화상 입력장치에서 얻어지는 화상으로부터 정확한 색보정이나 인식 결과를 얻기 위해서는 조명성분의 정확한 검출 방법이 요구된다.

종래 기술에 따른 백색 조절 또는 색보정을 수행하기 위한 방법으로는, 비디오 카메라의 경우 보통 촬영전에 흰색 판(혹은 종이)등을 촬영하여 조명의 칼라를 얻고 이 칼라를 참조하여 백색 조절을 수행하는 방법; 조명성분을 검출할 목적으로 카메라 장치에 직접 조명에서 방사되는 빛을 감지하는 검출기 등을 내장하여 사용하는 방법; 카메라에 특정한 조명에 대응하는 버튼을 두어 그 버튼에 대한 사용자의 버튼 입력을 기준으로 조명을 결정하는 방법 등 카메라에 하드웨어를 부가하여 조명성분을 검출하는 방법; 이미지 자체로부터 조명색을 얻는 방법 등이 사용되고 있다.

그러나 상기와 같이 검출기를 덧붙여 사용하는 경우, 부가적인 하드웨어의 부착에 따른 비용 부담 외에도, 하드웨어로 직접 대응할 수 없는 원거리 촬영 등에서 얻어지는 화상에 적용하는 데는 문제가 있다. 또한 사람에 의해 결정되는 버튼의 경우 다양한 조명 성분에 적절하게 대응하기 위해서는 수많은 버튼이 필요하게 되는 문제점이 있다.

상기한 기존 방식에 따른 이러한 문제점들을 극복하기 위한 해결책으로서, 화상 자체로부터 조명의 색을 검출하는 방법이 Hsien-Che[미국특허번호 4685071 (등록일:1987. 8. 4)]에 의해 제안되었다.

이 방법에 대해 개략적으로 살펴보면, 화상내의 장면(scene)에서 거울같이 반사하는 빛(specularly reflected light)의 색을 검출하여, 그 장면을 조사하는 빛의 칼라를 결정한다. 그리고 그 화상에서 여러 개의 서로 다른 표면 색을 가진 물체 상에서 동일한 색조(hue)와 변화하는 채도(saturation)를 나타내는 여러 개의 점의 세트를 검출함으로써 거울같이 반사하는 빛의 색을 검출하는 것이 가능하다.

여기에서 밝기에 대해 독립적인 색의 변화를 검출하기 위해서는, 화상을 색도 좌표(chromaticity coordinate)를 가진 색 공간으로 변환한 뒤, 채도와 색상이 가장 급하게 변하는 색 경계를 검출하고, 또한 채도의 변화에 의한 색 경계 주위의 데이터 세트를 사용하여 조명색을 검출한다.

여기서 색도 좌표란 R. G. B 라는 3차원 색 공간을 r, g의 2차원 좌표계로 나타낸 것으로 색 공학 분야에서 일반적으로 사용되는 좌표이다.

이 경우, 채도의 변화에 의한 경계인지 색상의 변화에 의한 경계인지를 구별하기 위해, 그 경계점의 양변에 있는 데이터 세트를 수집하여 직선 근사하고, 양변에서 수집된 데이터 세트로부터 구한 직선의 기울기가 같은 경우 채도에 의한 경계로 결정하고, 조명색 검출을 위한 데이터 세트로 하며, 이러한 채도의 변화에 의한 경계점 주위의 많은 데이터 세트로부터 얻어진 직선의 교점들의 경로로부터 조명색을 결정하는 변수를 구한다.

이 방법의 가장 큰 문제점은, 데이터 세트의 수집과 근사화에 따른 과다한 수행시간의 요구이다. 각 경계점 데이터에서 양변의 데이터 수집이 용이하지 않을 뿐만 아니라, 데이터를 경계점 단위로 처리함으로써 수많은 경계점에서 양변의 데이터를 수집하고 직선으로 근사화 하여 비교 판단하는 작업이 반복되어야 한다는 단점이 있다.

따라서 본 발명은 이와 같은 문제점들을 해결하기 위해서 고안된 것으로서, 화상 자체로부터 다수의 색 천이 띠(Color Transition Band)를 찾아, 각 색 천이띠에 포함된 화소의 색도 좌표로부터 직선을 근사화하고, 그 직선들 간의 교점의 평균을 조명색으로 정함으로써, 기존의 방법에 비해 고속 처리가 가능하고 정확한 조명색을 얻는 것이 가능한 방법을 제공하는 것을 목적으로 한다.

도 1 은 광의 각도(Photometric angles).

도 2 는 반사 파라미터와 색도 도(chromaticity diagram)상에서의 기하학적 파라미터들의 관계.

도 3 은 실제 카메라 화상에서 선택된 물체에서 샘플링(sampling)된 화소의 색도상의 분포.

도 4 는 본 발명에 따라 조명색을 검출하기 위한 화상신호의 처리도.

상기와 같은 목적을 달성하기 위해서 고안된 본 발명에 따라 화상신호로부터 조명색을 검출하기 위한 방법은, 화상 내에서 물체와 가장 밝은 부분(highlight) 간에 발생한 색 천이 띠를 찾고 그것들로부터 조명색을 얻는 방법을 제공하기 위하여,

입력 화상 신호에서 저휘도, 고채도, 포화된 신호를 제거(그 값을 0으로 세팅)하는 과정; 화상에서 경계정보를 유지하는 방법으로 잡음을 제거하기 위해 다단 미디언 필터링(multistage median filtering)을 수행하는 과정; 입력 화상의 모든 화소에 대한 색 신호 R. G. B를 색도 좌표로 변환하는 과정; 화상의 색도 좌표에서의 색 경계를 구하기 위해 그래디언트(gradient)의 크기를 계산하는 과정; 색 천이 띠를 결정하는 과정;

그리고, 직선 근사를 위해 각 색 천이 띠에 대한 고유값(eigen values)과 고유벡터(eigen vectors)를 계산하는 과정; 물체와 물체간에 발생한 색 천이 띠를 제거하기 위하여 구해진 고유값 중에서 더 큰 고유값(bigger eigen value:이하 BEV라 한다)이, 주어진 제한 조건 보다 큰지를 판단하는 과정; 입력된 화상 데이타 중 의미 있는 데이터를 선택하기 위하여 BEV의 절대값이 제한조건보다 큰지를 판단하는 과정; BEV에 상응하는 고유벡터를 이용하여 색 천이 띠에 대한 직선 근사식을 구하는 과정; 상기의 과정에서 구한 색 천이 띠에 대한 모든 직선식을 사용하여 상호 교점을 구하여 조명색을 결정하는 과정을 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

일반적으로 물질의 빛에 대한 반사 특성과 반사되는 빛의 색의 색도 좌표를 근사화하기 위한 방법은 다음과 같다.

낙엽, 피부, 플라스틱과 페인트칠된 물체의 표면과 같은 비등질성 물질(nonhomogenous materials)의 빛에 대한 반사 특성이 이색성의 반사 모델(Dichromatic reflection model) [Steve A. Shafer의 “Using Color to Separate Reflection Components, Color Research Application 10, pp.210-218, 1985]로 잘 설명된다는 사실은 컴퓨터 공학 분야에서는 이미 잘 알려져 있다.

이색성의 반사 모델은, 도 1 과 같은 광의 각도(photometric angle)를 가진 비등질 이색성 물질(inhomogeneous dielectric materials)의 표면으로부터 반사되는 빛의 전체 방사(radiance)을, 물질의 표면으로부터 반사되는 빛(surface reflection)의 방사와, 물질의 몸체로부터 반사되는 빛(body reflection)의 방사의 선형 조합으로 표현한다. 대부분의 경우 물질의 표면으로부터 반사되는 빛은 조명색과 동일한 색 혹은 동일한 관계의 SPD(relative Spectral Power Distribution)를 가진 것으로 가정한다.

도 1 은 비등질 이색성 물질에 가해진 조명의 방향(E)과, 컬러 비디오 카메라 등의 센서의 방향(V)과, 물체의 한 위치에서의 수직(normal) 방향(N)과, 이상적으로 반사된 방향(J)의 관계를 나타낸 것이다.

빛의 파장(λ)과, 조명의 방향(E)과 물체의 한 위치에서의 수직(normal) 방향(N)이 이루는 각(i), 물체의 한 위치에서의 수직 방향(N)과 센서의 방향(V)이 이루는 각(e), 조명의 방향(E)과 센서의 방향(V)이 이루는 각(g)의 네 변수를 가지는, 비등질 이색성 물질의 표면으로부터 반사되는 빛의 전체 방사은 이색성의 반사 모델에 의해와의 선형조합으로 표현되며, 수학식 1과 같다.

[수학식 1]

표면의 특정한 점을 고려할 때, 그 점에서의 기하요소(각도i, e, g)는 결정된다. 이것으로부터 이색성 반사 모델을 다시 쓰면, 수학식 2와 같이 파장에 의존하는 색의 항(color term)와 각도에 의존하는 기하 항 (geometric term)으로 분리 가능하다. 이 경우와는 스칼라(scalar) 값으로 고려될 수 있다.

[수학식 2]

그러므로 수학식 2를 고려하면, 수학식 1 은 수학식 3 과 같이 다시 표현될 수 있다.

[수학식 3]

카메라 화상에서 물질의 표면으로부터 반사되는 빛에 대한 해석을 용이하게 하는데 이색성의 반사 모델이 적용 가능하다. 어떤 입사되는 스펙트럼 파워 분포(Spectral Power Distribution : SPD)에 대한 카메라의 출력 식은, 다음 수학식 4 와 같이 삼자극치 적분(tristimulus intergeration)으로 주어진다.

[수학식 4]

여기에서는 카메라의 스펙트럼 민감도(spectral sensitivities)를 나타낸다.

삼자극치 적분의 선형 변환 특성을 이용하여 카메라의 출력색 공간과 이색성의 반사 모델의 관계를 정리하면 수학식 5 와 같이 표현 가능하다.

[수학식 5]

여기에서 물질의 표면으로부터 반사되는 빛의 항과 물질의 몸체로부터 반사되는 빛의 항을 분리하기 위해

[수학식 6]

,,

T : 전치(Transpose)행렬

이라고 하면,

[수학식 7]

이 된다.

여기서,

: 각 픽셀(pixel)에서의 반사의 크기를 나타내는 기하학적 인자.

: 카메라에서 출력된 색

: 물질의 표면으로부터 반사되는 빛의 색

: 물질의 몸체로부터 반사되는 빛의 색

이 된다.

이러한 카메라 출력 신호를 색도 좌표(chromaticity coordinates)에서 해석하기 위해 R. G. B의 항으로 나타내면 수학식 8과 같이 된다.

[수학식 8]

그리고, 물질의 표면으로부터 반사되는 빛의 색과 물질의 몸체로부터 반사되는 빛의 색의 색도 좌표는 수학식 9 와 같이 된다.

[수학식 9]

,

여기서,이다.

그러므로 임의 점에서의 색도 좌표는 수학식 10 과 같이 표현된다.

[수학식 10]

,

수학식 10 을와의 항으로 정리하면 수학식 11과 같다.

[수학식 11]

여기서라고 하면 수학식 11은 수학식 12와 같이 표현될 수 있다.

[수학식 12]

상기에서 설명된 식과색도 도상을 나타낸 도 2 로부터 임의의 점에서 색도 좌표을 가지는 점는 점와 점를 연결하는 선분을 β와 α로 나누는 점에 위치한다는 것을 알 수 있다.

이로부터 화상에서 두 개의 물질의 표면으로부터 반사되는 빛을 가진 이색성 물질이 존재하면, 두 반사광으로부터 얻어진 두 선분의 교점은 두 반사광이 공통적으로 가지고 있는 성분 즉 외부에서 가해진 하나의 조명이므로, 이 교점으로부터 조명의 색을 얻는다는 것이 가능함을 쉽게 알 수 있다.

그 이유는 외부에서 제각기 다른 여러 개의 물체에 가해진 하나의 조명은 제각기 다른 물체에서 반사되어도 같은 색도 좌표를 갖게 될 것이기 때문이다. 그러므로 서로 다른 물체에서 반사된 여러 가지 색도 성분 중 같은 좌표를 갖는 성분을 찾아내면 그것이 바로 조명의 색이라는 결론이 나온다.

그러나, 실제 카메라 화상에서는 동일한 색을 가진 하나의 물질의 표면으로부터 반사된 빛에 대한 경우라도, 카메라의 촬영 과정에서 생긴 잡음(noise), 양자화(quantization) 잡음, 물체 상호간의 반사(interreflection), 센서(sensor)의 포화(saturation)등에 영향을 받는 관계로, 카메라 출력값의 분포는 하나의 직선을 형성하는 것이 아니라 일정한 폭을 갖는 분포로 형성된다. 그러므로 이 분포로부터 직선 근사를 행하는 과정이 포함되어야 한다.

실제 화상에서 물질의 표면으로부터 반사되는 빛()의 크기가 무시할 수 없을 정도인 화소를 하이라이트 포인트(highlight point)라 하고, 하이라이트 포인트가 집중적으로 나타나는 영역을 하이라이트 영역이라 한다.

밝게 빛나는 물체에 있어서 하이라이트는 너무 밝아서 카메라의 유효 범위(dynamic range)를 넘게 되고, 카메라의 출력이 클립(clip)되는 카메라 클리핑(clipping) 현상을 야기한다. 카메라 클리핑은, 어떤 화소에 대해 하나의 색 채널(R, G, B)이라도 그 값이 최대 값 (8비트/채널 인 카메라의 경우 255) 을 가지게 되는 현상을 말한다. 이러한 현상을 보이는 영역을 포화된(saturated) 영역이라 한다.

실제 카메라 화상에서 하이라이트 영역에서부터 물체의 색이 일정하게 나타나는 영역까지의 샘플링된 점들(points)의 색도 도상의 분포의 한 예가 도 3 에 나타나 있다.

도 3 에서 보는 바와 같이 실제로 측정된 색을색도 도상에서의 분포로 나타내면 포화된 영역과 몸체 색(body color) 영역, 색 천이 띠 (color transition band)와 같이 크게 세 부분으로 나누어진다.

이러한 분포로부터 조명색을 얻고자 한다면, 포화된 영역의 데이터는 버려져야 하며, 직선 근사의 정확도를 높이기 위해 과다한 몸체색의 샘플링은 피해야 하고, 색 천이 띠의 데이터를 적절하게 얻어야 한다. 그러므로 이것을 해결하기 위한 방법이 강구되어야 함을 쉽게 알 수 있다.

본 발명은 상기한 모델링 방법을 이용하여 화상에서 물체와 하이라이트간에 발생하는 색 천이 띠를 찾고, 그것들로부터 조명색을 얻는 방법을 제공한다.

색 천이 띠는 물체의 표면에서 반사되는 빛에 의해 발생하는 하이라이트와 물체, 혹은 물체와 물체간에 발생 가능하다. 조명 정보는 물체와 하이라이트간에서 발생한 색 천이 띠에서만 쉽게 얻을 수 있기 때문에, 이것을 찾기 위해 고유값의 조건을 정해 물체와 물체간에 발생하는 색 천이 띠는 제거해야 한다. 고유값의 조건을 결정하는 방법은 뒤에서 설명된다.

또한 다수의 물체에서 발생하는 물체와 하이라이트간에서 발생하는 여러 색 천이 띠의 고유 벡터를 이용하여 색도 도상에서의 직선을 여러개 구하고 그 교점의 평균을 조명색으로 결정한다. 이로써 본 발명은 기존의 방법에서 나타난 문제점이었던 과다한 수행시간을 단축할 수 있고, 보다 정확한 조명색 정보를 얻는 방법을 제공할 수 있다.

이하 첨부된 도 4 를 참조하여 본 발명에 따른 화상 신호로부터 조명색을 검출하는 방법을 상세히 설명하기로 한다.

도 4 는 본 발명에 따라 조명색을 검출하기 위해 화상 신호를 처리하는 과정을 나타낸 흐름도 이다.

도시된 바와 같이 본 발명에 따른 화상신호로부터 조명색을 검출하기 위한 방법은,

화상 입력장치로부터 화상 신호(100); 입력 화상 신호에서 저휘도, 고채도, 포화된 신호를 제거(그 값을 0으로 세팅)하는 과정(110); 화상에서 경계정보를 유지하는 방법으로 잡음을 제거하기 위해 다단 미디언 필터링(multistage median filtering)을 수행하는 과정(120); 입력 화상의 모든 화소에 대한 색 신호 R. G. B를 색도 좌표로 변환하는 과정(130); 화상의 색도 좌표에서의 색 경계를 구하기 위해 그래디언트(gradient)의 크기를 계산하는 과정(140); 색 천이 띠를 결정하는 과정(150): 각 색 천이 띠에 대한 고유값(eigen values)과 고유벡터(eigen vectors)를 계산하는 과정(160); 구해진 고유값 중에서 더 큰 고유값(Bigger Eigen Value:이하 BEV라 한다)의 비율이 주어진 제한 조건 보다 큰지를 판단하는 과정(170); BEV의 절대값이 제한조건보다 큰지를 판단하는 과정(180); BEV에 상응하는 고유벡터를 이용하여 색 천이 띠에 대한 직선 근사식을 구하는 과정(190); 모든 색 천이 띠가 처리되었는지를 확인하는 과정(200); 상기의 과정에서 구한 색 천이 띠에 대한 모든 직선식을 사용하여 상호 교점을 구하여 조명색을 결정하는 과정(210)을 포함하는 것이 특징이다.

이하 상기와 같이 구성된 본 발명에 따른 컬러 화상 입력 장치로부터 조명색을 검출하기 위한 화상 신호의 처리 방법의 작용을 첨부한 도 1 을 참조하여 상세하게 설명하기로 한다.

상기 과정 110 에서는 입력된 화상 신호에서 저휘도, 고채도 및 포화된 신호를 제거(그 값을 0으로 세팅)한다. 제거되는 각각의 신호는 다음의 기준에 의해 정의되고 제거된다.

⑴ 저휘도 신호 : 휘도(Y) 50, 여기서 Y = (R+G+B)/3 이다.

⑵ 포화된 신호 : R, G, B 세 요소 중 어느 한 요소의 값이 255

⑶ 고채도 신호 :색도 도상에서 0.6 PCC(chroma 비율 상수) 삼각형 외부의 색신호.

여기서 0.6 PCC 삼각형이란 다음과 같다.

색도 도상의 중심점을 C(0.333, 0.333),좌표의 최대점을 각각,, 원점을로 나타내고, 그것들을 잇는 선분과 선분상의 점들을,

:와을 잇는 선분.

:와을 잇는 선분상의 임의의 한 점과를 잇는 선분.

이라고 정의하면, PCC는 수학식 13 과 같이 정의된다.

[수학식 13]

여기서, 0.6 PCC 삼각형이란을 만족하도록 정의된 세 점를 꼭지점으로 하는 삼각형을 뜻한다.

도 4 의 과정 120 은 화상에서 경계 정보를 유지하는 과정으로서 잡음을 제거하기 위해 다단 미디언 필터링(multistage median filtering)을 수행한다.

잡음 제거를 위해 에버리지 필터(average filter)와 같은 것이 사용 가능하나, 이러한 선형 저 대역 필터는 화상의 라인이나 코너와 같은 상세한 정보를 뭉개버리거나, 경계를 흐리게 하는 성향이 있다.

화상의 경계와 상세한 정보를 유지하면서 효과적으로 잡음을 제거하기 위해 비선형 저 대역 필터가 제안되었는데, 대표적인 것으로 미디언 필터가 있다. 그러나, 상대적으로 큰 (5×5이상) 창을 가진 미디언 필터에 의해 종종 화상에서의 상세 정보가 파괴된다. 이것은 화상의 구조적이고 공간적인 정보를 파괴한다.

화상의 구조적인 정보를 고려하여 만들어진, 미디언 필터의 수정된 형태가 다단 미디언 필터이다. 다단 미디언 필터는 수평, 수직, 대각 방향에 민감한 부필터(sub-filters)를 사용했기 때문에 이러한 방향의 상세 정보를 잘 보전할 수 있다.

화상의 위치에서의 입력에 대한창 크기의 다중 미디언 필터의 출력는 수학식 14와 같다.

[수학식 14]

여기에서는 미디언(median)을 의미한다.

도 4 의 과정 130 에서는 입력 화상의 모든 화소에 대한 색신호 R, G, B를 다음 수학식 15를 사용하여 색도 좌표로 변환한다.

[수학식 15]

,

도 4 의 과정 140 에서는 화상의 색도 좌표에서의 색 경계를 구하기 위해 그래디언트(gradient)의 크기를 계산한다. 화상의 임의의 위치에서의 빛의 크기 함수를라고 할 때 그 위치에서 화소의 그래디언트와 벡터의 크기는 수학식 16으로 표현된다.

[수학식 16]

그래디언트 :

그래디언트의 크기 :

수학식 16 에 나타낸방향의 각각의 편 미분를 수행하는 두 마스크를 소블 연산자(sobel operator)라 하며, 이것은 디지탈 화상 처리 분야에서는 널리 사용되는 것이다.

이러한 마스크를 화상에서 색도 좌표에 각각 적용하여각각의 그래디언트의 크기를 계산하고, 이것들의 평균값을 화상에서의 그래디언트의 크기로 한다.

여기서 화상의 위치는 상기 과정 120에서 설명된 위치와 같은 개념이다.

이러한 방법으로 계산해낸 전체 화소에 대한 그래디언트의 크기를 이용하여 하나의 화상을 만들고 이것을 그래디언트 화상이라 한다. 그래디언트 화상을 만드는 과정을 좀더 상세히 설명하면 다음과 같다.

⑴ 모든 화소의 그래디언트의 크기를 구한다.

여기서,는각각에 대한 그래디언트의 크기이다.

⑵ 그래디언트의 크기를 평준화한다.

: 화상 전체에서 가장 큰 그래디언트의 크기

⑶ 평준화된 그래디언트의 크기를 양자화 한다.

: 최대 양자화 수준

그래디언트의 크기 값이 최대 크기값 내에서 소수점 이하의 미소한 변화를 보이는 경우, 그 값들을 확장하여 새로운 간격의 값을 갖게 하는 양자화 과정에서, 사용자에 의해 임의로 정해지는 그 최대값()이 크면 클수록 세밀한 표현이 가능해진다. 즉, 여기서 결정된 그래디언트의 양자화된 값에 의해 결정되는 색 천이가 좀더 정확해진다.

⑷ 양자화된 그래디언트의 크기로 그래디언트 화상을 만든다.

도 4 의 과정 150 에서는 색 천이 띠를 결정한다. 색 천이 띠를 결정하는 과정은 크게 쓰레스홀딩(thresholding)과 라벨링(labeling)이라는 부 과정(sub-process)으로 나눌 수 있다. 그 과정을 좀 더 상세하게 설명하면 다음과 같다.

⑴ 전체 화소의 양자화된 그래디언트의 크기를 평가하여 히스토그램(histogram)을 구한다.

for(k = 0; k = MaxQ ; k++ )

if(QMoG(x, y) == k)

histogram[k]++

임의의 k에 대한histogram[k]의 크기는 화상에서 k크기의를 가진 화소의 수를 나타낸다. 가령 최대 양자화 수준이 255인 경우, 화상에서 임의의 화소의 위치에서가 100이라고 하고, 이러한 크기를 가진 화소가 전체화상에서 30개가 있다고 하면histogram[100]의 값은 30이 된다.

이와 같이의 값이 100이면 현재 자신의 화소 위치주변에서 색의 변화량이 화상전체에서 최대의 색 변화량을 가진 어느 점에 비해 반정도(100/255)의 색 변화량을 가졌음을 나타낸다. 다시 말해,는 어느 화소에 있어서 색의 변화량을 나타내는 수치이다. 그리고histogram[k]는 전체 화상에서 k라는 색의 변화량을 나타내는 수치를 저장하고 있는 총 화소수이다.

⑵ 그래디언트의 크기에 대한 히스토그램으로부터 누적(accumulated) 히스토그램을 만든다.

for(k = 0; k MaxQ; k++ )

Accumulated_histogram[k] = histogram[i]

Accumulated_histogram[k]는 특정 k 값에서 자신보다 작은 k 값에서의histogram[k]를 모두 더한 값이다. 이것은 전체 화상에서 색 변화 정도를 나타내는 수치가 특정한 값 k 보다 작은 총 화소수를 보여주는 값이다.

⑶ 누적 히스토그램을 기초로 쓰레스홀딩 한다. 쓰레스홀딩 하는 과정은 다음과 같다.

① 물체의 몸체 반사에 의한 최대 색 변이의 누적 히스토그램에 기초한 상대적 크기(이하 MRCT라 약칭한다)의 값을 설정한다.

MRCT는 색 변화량을 기준으로 전체 화소수에 대한 특정 화소수의 비를 나타내는 값으로, 여기에서는 색 변화량이 별로 없는 화소에 대한 화상 전체의 비율을 의미한다. 여기에서 MRCT=0.3 (0~1.0의 범위)이라고 하면 이것은, 전체 화소에서 색 변화량을 기준으로 30% 이내에 들어가는 화소는 색 천이를 나타내는 값에 포함하지 않는다는 것을 의미한다.

이러한 화소는 단지 카메라의 잡음 등에 의해 동일한 색을 가진 물체 색의 색 변화로 간주한다는 것을 의미한다. 따라서 이러한 값은 특정한 카메라의 잡음 특성 등에 따라 다르게 고려되어야 한다.

다시 말해, 입력장치의 특성을 미리 알고, 적절한 값을 결정하는 것이 조명색 추정의 정확도를 높이는데 도움이 된다.

②Accumulated_histogram[MaxQ]*MRCT ≤ Accumulated_histogram[k]를 만족하는 최저의 k(Mink)를 양자화된 그래디언트의 크기의 쓰레스홀드로 한다.

카메라 자체의 잡음 등에 의해 발생하는 동일한 색을 가진 물체색의 색 변화를 제거하기 위한 문턱값(threshold)이 결정되었다.

③ 그래디언트 화상에 대한 쓰레스홀딩을 수행하여 쓰레스홀딩 화상을 만든다.

if( QMoG(x, y) Mink )

QMoG(x, y) = 0

else

QMoG(x, y) = 255

⑷ 쓰레스홀드된 화상에 대한 라벨링을 수행한다.

① 쓰레스홀드된 화상에서 서로 연결된 화소에 대해 L자-모양의 패턴(L-shaped template)을 사용한 얼룩 채색법(blob coloring) [Dana H. Ballard Christopher M. Brown, Computer Vision, Prentice-Hall INC.]으로 동일한 라벨을 붙인다.

여기서 사용된 얼룩 채색법은 흑백 화상(binary image)에 적용되는 서로 연결된 화소간에 동일한 라벨을 붙이는 기능을 하는 화상 처리 방법의 하나이다.

흑백 화상에서 서로 연결된 백색의 화소를 연결하는 기능을 하는 것으로, 여기에서는 쓰레스홀딩의 과정을 거친 화상은 흑백의 화상이 된다. 이것은 백(white)인 현재의 화소에서 바로 위와 바로 왼쪽의 화소가 백이면 서로 연결된 화소로 간주하는 방법으로 화소들을 연결시켜 나간다.

이렇게 동일한 라벨이 붙은 화소들은 화상에서 그 위치 정보를 제공하고, 각 화소의 위치에서, 다른 기억장치에 이미 저장되어 있는 화소의 색도값을 얻고 그것을 색 천이 띠의 색도값 데이터로 사용한다.

② 동일한 라벨을 가진 각 화소의 집합을 색 천이 띠라 한다.

③ 색 천이 띠의 구성요소로 결정된 각 화소의 색도 좌표를 색 천이 띠의 색도값 데이터로 한다.

이러한 과정을 거쳐 색도 도상에서의 색 천이 띠가 만들어진다.

도 4 의 과정 160 에서는 색도 도상에 분포된 점들로 구성된 색 천이 띠에 대한 직선 근사를 행하기 위해 주성분 분석법(principal component analysis)을 사용하여 각 색 천이 띠에 대한 고유값(eigen values)과 고유벡터(eigen vector)를 계산한다.

그 과정을 상세히 설명하면 다음과 같다.

⑴ n개의 화소를 포함한 색 천이 띠를 가정하고,각각의 평균값을 구하여 각 화소의값에 대해 그것을 뺀 값으로 매트릭스를 구성하는 경우, 하나의 색 천이 띠는 다음과 같이 표현 가능하다.

여기서 n은 화소의 개수이다.

⑵ 이것의 공분산(covariance) 행렬을라 하면 다음과 같이 표현된다.

⑶ 이때 공분산 행렬의 모든 고유값은 대각(diagonal) 행렬로 표현되고, 이에 상응하는 고유벡터는 하나의 행렬로 표현된다.

하나의 정방행렬가 존재할 때 다음의 식이 성립되게 하는 정방행렬와 대각행렬가 존재할 때, 이러한 식을 만족하게 하는 행렬를 고유벡터,의 대각항은 고유값이라고 한다.

여기서,

,

이다.

⑷ 고유값에 상응하는 고유벡터는이며, 고유값에 상응하는 고유벡터는이다. 이러한 고유값과 고유벡터를 구하기 위해 통계학 분야에서 이미 잘 알려진 방법인 단일 값 분해(singular value decomposition: 이하 SVD라 약칭한다)를 사용한다. 특히가 정방행렬이 아닌 경우에도 위의 식을 만족하는를 구하기 위하여 SVD를 사용한다.

도 4 의 과정 170 에서는 구해진 고유값 중에서 더 큰 고유값 (bigger eigen value : 이하 BEV라 약칭함)이 아래와 같이 주어진 제한 조건보다 큰지를 판단한다. 조명의 정보는 물체와 하이라이트간에 발생한 색 천이 띠(Color Transition Band: CTB)에서만 쉽게 얻을 수 있으므로 물체와 물체간에 발생하는 색 천이 띠는 제거해야 하기 때문이다.

아래와 같이 비교하여 주어진 제한조건보다 작으면 상기 과정 160의 과정으로 돌아가 다른 색 천이 띠에 대한 처리를 수행하고, 크면 과정 180으로 진행한다.

이 과정에서 주어진 제한 조건은 다음과 같이 결정한다.

⑴ 전체 공분산에 대한 BEV의 비율(Ratio of BEV to the total variance, 이하 RBEV라 약칭한다)은색도 도상에서 입력된 각 위치의 화상에 대한 타원형의 데이터 분포에서 장축의 비율을 나타낸다.

⑵ RBEV는 색 천이 띠의 직선성을 나타낸다. 외부에서 가해진 조명에 대한 반사정보는 여러 가지 물체에 대해서도 일정한 패턴을 가질 것이므로, RBEV가 클수록 해당 색 천이 띠는 물체와 하이라이트간에 발생한 색 천이 띠로 간주된다. RBEV의 최소값을 설정하고 이것을 주어진 제한 조건으로 한다.

도 4 의 과정 180 에서는 BEV의 절대값(absolute magnitude of BEV, 이하 AMBEV라 약칭한다)이 제한조건보다 큰지를 판단하고, 작으면 과정 160으로 돌아가 다른 색 천이 띠에 대한 처리를 수행하고, 크면 과정 190으로 진행한다.

BEV 의 절대값에 대한 제한조건은 다음과 같이 결정한다.

⑴ AMBEV는 전체 데이터의 분포의 표면적을 나타내는 것으로 너무 작은 값을 가진 색 천이 띠는 의미있는 정보를 주지 않는 것으로 간주한다.

⑵ AMBEV의 최소값을 설정하고 이것을 제한조건으로 한다.

도 4 의 과정 190 에서는 색 천이 띠에 대한 직선 근사식을 구한다. 이때 BEV에 상응하는 고유벡터를 이용하여 기울기와 절편을 구한다.

⑴ 고유벡터는 색 천이 띠의 기울기를 나타내는 값이다.

⑵ 과정 160 에서 구한 색 천이 띠에서 r, g 각각의 평균값만큼 직선의 중심을 옮기면 직선의 절편을 구할 수 있다.

과정 200 에서는 모든 색 천이 띠가 처리되었는지 검사하고, 다 처리되지 않았으면 다른 화소에 대한 색 천이 띠를 구하기 위해 과정 160으로, 다 처리되었으면 최종적으로 조명색을 결정하기 위해 과정 210 으로 진행한다.

과정 210 에서는 과정 190에서 구한 색 천이 띠에 대한 모든 직선식을 사용하여 상호 교점을 구한다. 이때 기울기의 곱이 음인 두 직선의 교점만을 유효한 데이터로 남기고 기울기의 곱이 양인 두 직선의 교점은 버린다. 그 이유는 상기의 방법으로 근사화된 직선들이 기울기의 차이 즉, 두 직선의 각도 차이가 크지 않을 경우 약간의 오차에도 그 교점은 크게 달라지게 되기 때문이다.

그러므로 비교적 각도의 차가 큰 직선의 교점을 구하기 위해, 두 직선의 기울기의 곱이 음인 (또는 두 직선이 이루는 각도 중 작은 각도의 크기가 일정 각도 이상인) 직선들의 교점만 구하면 그 교점들의 정확도를 높일 수 있다. 이와 같이 구한 모든 유효한 교점을 평균하여 조명색으로 결정한다.

이상 본 발명에 대해 서술하였으나, 본 발명의 기술적 사상을 기초로 한 각종 유효한 변경이 가능함은, 이 분야의 숙련된 기술자들에게는 자명하다.

본 발명에 의하면 기존 방법의 광원 검출기와 같이 부가적인 장치를 요구하지 않아서 실제 화상 입력장치의 제조 비용을 낮출 수 있다. 또한 본 발명은 화상으로부터 직접 조명색을 얻는 기존의 방법이 많은 계산 시간을 요구하는데 비해 계산 시간을 적게 요구하여 화상 처리 시간을 단축시키게 되는 효과가 있고, 또한 보다 정확한 조명색 정보를 얻을 수 있다는 장점이 있다.

Claims

화상 입력 장치로부터 입력된 칼라 화상 신호(100)와; 상기 화상 신호로부터 저휘도, 고채도, 포화된 신호를 제거(그 값을 0으로 세팅)하는 과정(110)과; 화상에서 경계정보를 유지하는 방법으로 잡음을 제거하기 위해 다단 미디안 필터링(multistage median filtering)을 수행하는 과정(120)과; 입력 화상의 모든 화소에 대한 색신호 R. G. B를 색도 좌표로 변환하는 과정(130)과; 화상의 색도 좌표에서의 색 경계를 구하기 위해 그래디언트(gradient)의 크기를 계산하는 과정(140)과; 색 천이 띠를 결정하는 과정(150)과: 각 색 천이 띠에 대한 고유값(eigen values)과 고유벡터(eigen vectors)를 계산하는 과정(160)과; 구해진 고유값 중에서 더 큰 고유값(BEV)이 주어진 제한 조건 보다 큰지를 판단하는 과정(170)과; BEV의 절대값이 제한조건보다 큰지를 판단하는 과정(180)과; BEV에 상응하는 고유벡터를 이용하여 색 천이 띠에 대한 직선 근사식을 구하는 과정(190)과; 모든 색 천이 띠가 처리되었는지를 확인하는 과정(200)과; 상기의 과정 190에서 구한 색 천이 띠에 대한 모든 직선식을 사용하여 상호 교점을 구하여 조명색을 결정하는 과정(210)을 포함하는, 화상 신호로부터 조명색을 검출하는 방법.
청구항 1 에 있어서, 상기 (110)단계에서 저휘도 신호는 휘도 (Y) 50 , Y = (R+G+B)/3 이고, 고채도 신호는 r-g 색도 도상에서 0.6 PCC 삼각형 외부의 색신호이며, 포화된 신호는 R, G, B 세 요소 중 어느 한 요소의 값이 255인, 화상 신호로부터 조명색을 검출하는 방법.
청구항 2 에 있어서, 상기 고채도 신호를 정의하기 위한색도 도상에서 색도 도상의 중심점을이라 하고,좌표의 최대점을,, 원점을로 나타내며, 그것들을 잇는 선분과 선분상의 점을 각각,은와을 잇는 선분,는와을 잇는 선분,는와을 잇는 선분,은와을 잇는 선분상의 임의의 한 점과를 잇는 선분,는와을 잇는 선분상의 임의의 한 점과를 잇는 선분,는와을 잇는 선분상의 임의의 한 점과를 잇는 선분이라고 할 때,로 정의되는 PCC 삼각형은, 특정 PCC의 크기에 의해 결정되는 점를 잇는 삼각형인, 화상 신호로부터 조명색을 검출하는 방법.
청구항 1 에 있어서, 상기 단계 (140)은, 모든 화소의 그래디언트의 크기를 구하는 과정과; 그래디언트의 크기를 평준화하는 과정과; 평준화된 그래디언트의 크기를 양자화 하는 과정과; 양자화된 그래디언트의 크기로 그래디언트 화상을 만드는 과정을 포함하여 이루어지는, 화상신호로부터 조명색을 검출하는 방법.
청구항 4 에 있어서, 모든 화소의 그래디언트를 구하는 과정은, 화상의 임의 위치에서의 그래디언트가이고, 그래디언트의 크기가이며,각각에 대한 그래디언트의 크기가,일 때,로 주어지는,

화상신호로부터 조명색을 검출하는 방법.
청구항 4 에 있어서, 그래디언트의 크기를 평준화하는 과정은, 화상 전체에서 가장 큰 그래디언트의 크기가이고, 모든 화소의 그래디언트의 크기가일 때,

로 주어지는, 화상신호로부터 조명색을 검출하는 방법.
청구항 4 에 있어서, 평준화된 그래디언트의 크기를 양자화 하는 과정은, 최대 양자화 수준이, 평준화된 그래디언트의 크기가,일 때,로 주어지는, 화상신호로부터 조명색을 검출하는 방법.
청구항 1에 있어서, 상기 (150) 과정은, 전체 화소의 양자화된 그래디언트의 크기를 평가하여 히스토그램을 구하는 단계와; 그래디언트의 크기에 대한 히스토그램으로부터 누적된(accumulated) 히스토그램을 만드는 단계와; 누적 히스토그램을 기초로 쓰레스홀딩 하는 단계와; 쓰레스홀드된 화상에 대한 라벨링을 수행하는 단계를 포함하여 이루어지는, 화상신호로부터 조명색을 검출하는 방법.