KR100230446B1

KR100230446B1 - 칼라 화상으로부터 조명의 칼라를 결정하는 방법

Info

Publication number: KR100230446B1
Application number: KR1019970016813A
Authority: KR
Inventors: 박두식; 김창용
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1997-04-30
Filing date: 1997-04-30
Publication date: 1999-11-15
Also published as: KR19980079137A

Abstract

본 발명은 칼라화상으로부터 조명의 칼라를 결정하는 방법에 관한 것으로, 카메라를 포함한 칼라화상 입력장치에서, 칼라화상신호에 대한 적색과 녹색 신호의 비율을 각각 r, g라 하면, 입력된 칼라화상신호의 각 픽셀에 대해 r, g로 이루어진 색도좌표 공간으로 변환하는 단계; 변환된 좌표에서 소정의 좌표값을 갖는 한 점을 백색 기준점으로 정하는 단계; 변환된 점(r,g)에 대해 백색 기준점으로부터 각과 거리를 구하고, 칼라화상신호에 대한 휘도신호의 비율이 소정의 값 이하인 저휘도 픽셀에 대해서는 구해진 각을 0으로하는 단계; 구해진 각을 색상 각이라 할 때, 색상 각과 거리로부터 각각 얻어진 두 화상을 합성하는 단계; 합성된 화상으로부터 동일한 값을 갖는 픽셀끼리 수집하는 단계; 및 수집된 색상 집합의 다수여부에 따라 조명의 칼라를 결정하는 단계로 이루어진다.

본 발명에 의하면, 별도의 장치와 제한 조건없이 카메라에서 얻어진 화상 또는 이미 저장된 화상자체로부터 조명성분이 포함된 화상영역을 추출하여 조명의 칼라를 결정할 수 있으며, 이렇게 얻어진 조명의 칼라는 카메라의 백색조절을 위한 조명성분으로 사용할 수 있고, 화상재현 시스템에서 정확한 화상재현을 위한 정보를 제공할 수 있다.

Description

칼라화상으로부터 조명의 칼라를 결정하는 방법

본 발명은 조명의 칼라를 결정하는 방법에 관한 것으로, 특히 칼라화상으로부터 조명의 칼라를 결정하는 방법에 관한 것이다.

일반적으로, 물체의 칼라는 조명의 칼라에 따라 달라지므로, 디지털 카메라와 같은 칼라화상 입력장치에 있어서, 조명의 영향을 고려하여 보정된 화상을 얻기 위해서는 화이트 밸런스(white balance)가 필요하다. 화이트 밸런스는 화상을 입력하는 시점의 조명성분을 기초로 이루어지며, 카메라의 주변 조명 성분, 즉, 조명의 전력 분포 스펙트럼(Spectral Power Distribution, 이하 SPD라 약함) 혹은 조명의 칼라가 자동적으로 결정되는 장치나 방법이 요구된다. 또한 여러 조명 환경하에서 스스로 물체를 인식, 판단하도록 제작된 로봇등의 시각 시스템(카메라 시스템)에서도 더욱 정확한 보정이나 인식 결과를 얻기위해 현재의 조명성분을 검출하는 것이 필요하다.

종래의 조명성분 검출 방법으로는 카메라에 내장되어 있고, 조명에서 방사되는 빛을 감지하는 검출기를 이용하는 방법이 있다. 그러나, 이 방법은 카메라에 부가적인 장치를 부착해야하는 부담이 있으므로 일반적으로 사용되는 상업용 카메라에 적용하는데 무리가 있다. 다른 방법으로는 카메라 사용자로 하여금 화상의 입력시점의 조명성분을 선택하게하고, 선택된 조명성분에 따라 미리 정해진 방법으로 화이트 밸런스를 적용하는 방법이 도입되고 있으나, 부가적인 장치에 대한 부담이 있을 뿐 만 아니라 다양한 조명성분에 적절하게 대응하기 어렵다. 또 다른 방법으로는 화상자체로부터 조명의 칼라를 검출하는 방법이 있으나, 하나의 화상에 서로 다른 표면색(surface color)을 가진 여러 개의 물체가 존재해야하고, 칼라 경계(color edge) 양쪽면의 데이터를 추출해야하는 제한 조건이 있다.

본 발명은 상술한 문제점을 해결하기 위하여 창안된 것으로, 별도의 장치와 제한조건이 없이, 화상처리 기법을 이용하여 보다 정확한 조명의 칼라를 얻기위해 칼라화상으로부터 조명의 칼라를 결정하는 방법을 제공함에 목적이 있다.

도 1은 본 발명에 따른 조명의 칼라를 얻기위한 화상신호 처리 흐름도이다.

도 2는 색상 각에 따른 픽셀 수의 히스토그램이다.

도 3은 색상 각에 따른 2차 차분값을 도시한 것이다.

도 4는 두 색상 집합에 포함된 픽셀을 색도좌표상에 도시한 것이다.

상기 목적을 달성하기 위한, 본 발명에 따른 칼라화상으로부터 조명의 칼라를 결정하는 방법은 카메라를 포함한 칼라화상 입력장치에서, 칼라화상신호에 대한 적색과 녹색 신호의 비율을 각각 r, g라 하면, 입력된 칼라화상신호의 각 픽셀에 대해 상기 r, g로 이루어진 색도좌표 공간으로 변환하는 단계; 상기 변환된 좌표에서 소정의 좌표값을 갖는 한 점을 백색 기준점으로 정하는 단계; 상기 변환된 점(r,g)에 대해 상기 백색 기준점으로부터 각과 거리를 구하고, 상기 칼라화상신호에 대한 휘도신호의 비율이 소정의 값 이하인 저휘도 픽셀에 대해서는 상기 각을 0으로하는 단계; 상기 구해진 각을 색상 각이라 할 때, 상기 색상 각과 거리로부터 각각 얻어진 두 화상을 합성하는 단계; 상기 합성된 화상으로부터 동일한 값을 갖는 픽셀끼리 수집하는 단계; 및 상기 수집된 색상 집합의 다수여부에 따라 조명의 칼라를 결정하는 단계를 포함함이 바람직하다.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다. 도 1은 본 발명에 따른 조명의 칼라 결정 방법을 흐름도로 도시한 것이다. 먼저, 입력되는 신호는 디지털 카메라와 같은 화상 입력장치의 적색(Red, R), 녹색(Green, G) 및 청색(Blue, B)의 3원색 출력값이다(100단계). 이 입력신호는 카메라의 내부신호 혹은 카메라 장치의 최종 출력치로서 저장매체에 저장된 화상신호로서, 만일 카메라 장치의 내부신호라면 본 발명에 의해 구해지는 조명의 칼라는 화이트 밸런스를 위한 기초정보가 된다. 저장매체에 저장된 화상인 경우에도 본 발명에 따라 화상자체로부터 조명의 칼라를 얻을 수 있는데, 이 경우에는 사용된 카메라의 감도특성을 미리 알고 있다고 가정한다. 입력화상의 모든 픽셀에 대한 칼라신호 R, G, B는 휘도 Y 및 색도좌표(r,g)공간으로 변환된다(105단계).

[수학식 1]

Y=(R+G+B)/3

r=R/(R+G+B)

g=G/(R+G+B)

이 색도좌표를 이용하여 다음과 같이 각 픽셀의 색상 각(hue angle, θ)을 계산하고, 한 점 (r=0.333, g=0.333)을 백색 기준점으로 정하여 이 점으로부터의 거리 d를 계산한다. 각 픽셀에서 Y의 비율이 20%이하인 저휘도 신호는 모두 θ를 0으로 처리한다(110단계). HDx=r-0.333, HDy=g-0.333 으로 정할 때, 색상 각θ와 d는 다음과 같다.

[수학식 2]

θ=tan^-1(HDy/HDy)

이 때, θ는 다음과 같은 조건에 따라 결정된다. (HDx>=0이고 HDy>=0) 이면 θ=θ이고, (HDx>0이고 HDy<0) 이면 θ=θ+360가 된다. 그 이외이면, θ=θ+180 이다.

각 픽셀의 색상 각을 그 픽셀의 색을 나타내는 값으로하는 하나의 화상을 만들고 이 화상을 색상 화상이라 하자(115단계). 색상 화상으로부터 각 색상 각에 대한 픽셀 수의 히스토그램으로부터 다중 색상 문턱치(Multi-level Hue Threshold, 이하 문턱치라 약함)를 구한다. 문턱치를 구하는 방법은 다음과 같다(120단계).

1) 색상 각에 대한 픽셀 수의 히스토그램으로부터 잡음제거를 위해 인접한 각의 픽셀수에 대해 1차 평균을 취한다.

2)x 각에서의 평균값은 x-2, x-1, x, x+1, x+2 각에서의 픽셀수를 더하여 평균을 취한다.

3) 1차 평균이 취해진 히스토그램에 대해 다시 한번 더 1차 평균과 동일한 방법으로 2차 평균하여 히스토그램을 구한다.

4) 어떤 각의 픽셀과 그 다음 각의 픽셀을 뺀 1차 차분을 구한다. x각에서의 차분은 (x+1 각의 픽셀 수-x 각의 픽셀 수)로 나타낸다.

5) 구해진 차분값이 0보다 크면 +1을, 작으면 -1을 픽셀에 준다.

6) 0이면 바로 전 각의 값을 준다.

7) 1차 차분과 동일한 방법으로 2차 차분을 구한다. 2차 차분값으로 +2를 갖는 각이 문턱치가 된다.

이렇게 구해진 문턱치를 사용하여 색상 화상의 각 픽셀은 해당 문턱치로 대치된다(125단계). 예를 들어, 문턱치 T1과 다음 문턱치 T2사이의 색상 각을 갖는 픽셀은 T1으로 대치된다. 도 2는 디지털 카메라로 임의의 장면을 촬영하여 얻은 화상에 대해 본 발명을 적용한 것으로, 색상 각에 따른 픽셀수의 히스토그램을 보인 것이고, 도 3은 색상 각에 대한 2차 차분값을 보인 것으로 차분값이 +2인 각도에서 하나의 문턱치가 결정된다.

한편, (r,g)의 좌표값이 (0,0), (0,1), (1,0)인 세 점을 연결하여 얻은 삼각형내에서 기준 백색점으로부터 삼각형 빗변까지의 최단거리를 반경으로하는 원의 내부를 반회색(Semi-Gray, 이하 SM이라 약함) 영역이라할 때, 수학식 2의 d를 계산하여 SM영역에 포함되는 픽셀에 대해 1을, 포함되지 않는 픽셀에 대해서는 0의 값을 가진 화상을 만들고 이를 저채도 화상이라하자(130단계). 저채도 화상에 대해서는 잡음을 제거하기 위해 공간 중간값 필터링(median filtering)한다(135단계). 필터의 형태는 다양하게 구현할 수 있으며 하나의 예로서, 현재 픽셀의 위치를 (x,y)로 할 때, 5x5의 중간값 필터에 포함되는 각 픽셀의 위치가 표 1에 있다.

[표 1]

중간값 필터를 표현하는 픽셀의 위치

(x-2,y-2)	(x-1,y-2)	(x,y-2)	(x+1,y-2)	(x+2,y-2)
(x-2,y-1)	(x-1,y-1)	(x,y-1)	(x+1,y-1)	(x+2,y-1)
(x-2,y)	(x-1,y)	(x,y)	(x+1,y)	(x+2,y)
(x-2,y+1)	(x-1,y+1)	(x,y+1)	(x+1,y+1)	(x+2,y+1)
(x-2,y+2)	(x-1,y+2)	(x,y+2)	(x+1,y+2)	(x+2,y+2)

중간값 필터의 출력값은 표 1에서 나타낸 각 픽셀에서 그 값의 순서대로 나열하여 중간의 위치에 있는 값, 즉 13번째 크기의 값이 된다.

문턱치로 대치된 색상 화상과 중간값 필터링된 저채도 화상의 서로 대응되는 픽셀끼리 곱하여 합성화상을 생성한다(140단계). 하나의 문턱치에 속하는 모든 픽셀의 집합체를 하나의 색상 집합이라하면, 이 합성화상으로부터 동일한 문턱치를 가진 픽셀을 따로 수집하여 색상 집합을 만든다(145단계). 이 때, 색상 집합에서 하나의 색상 집합만 있는 경우(150단계), 이 집합에 속하는 각 픽셀을 색도좌표상에 나타내면, 각 픽셀의 분포는 직선으로 근사될 수 있다(155단계). 이렇게 근사된 직선과 조명궤적이 만나는 점을 조명의 칼라로 정한다(160단계). 여기서 조명의 궤적은 미리 카메라의 감도(sensitivity)특성과 다양한 조명의 SPD를 사용하여 미리 결정되는 값이다. 카메라의 감도가 r(λ), g(λ), b(λ)라 하고, n개 조명의 SPD를 E_i(λ)(i=1,2,…,n)라 할 때, 각 조명을 색도좌표상에 나타내면,

[수학식 3]

와 같이 되고, 각 조명의 (r_i,g_i)를 하나의 곡선으로 근사하면 조명의 궤적을 얻게된다.

색상 집합이 여러 개인 경우, 각 색상 집합에 포함되는 픽셀에 해당하는 색도좌표의 집합을 하나의 벡터 집합으로 간주하여 각 벡터에 대한 고유값과 고유벡터를 구한다(165단계). 상술한 165단계에서 각 벡터 집합으로부터 두 개의 고유값이 구해지는데, 두 고유값중 큰 값을 두 값의 합으로 나눈 비율이 가장 큰 두 개의 색상 집합을 선택하고, 이 두 색상 집합의 고유벡터를 이용하여 얻어지는 두 직선의 교차점이 조명칼라로 결정된다(170단계). 도 4는 두 색상 집합의 픽셀을 색도좌표에 나타낸 것으로, 두 근사된 직선의 교점 A가 조명의 칼라로 결정된다.

본 발명에 의하면, 별도의 장치와 제한 조건없이 카메라에서 얻어진 화상 또는 이미 저장된 화상자체로부터 조명성분이 포함된 화상영역을 추출하여 조명의 칼라를 결정할 수 있으며, 이렇게 얻어진 조명의 칼라는 카메라의 화이트 밸런스를 위한 조명성분으로 사용할 수 있고, 모니터나 프린터와 같은 화상재현 시스템에서 정확한 화상재현을 위한 정보를 제공할 수 있다.

Claims

카메라를 포함한 칼라화상 입력장치의 출력인 칼라화상신호에 대한 적색과 녹색 신호의 비율을 각각 r, g라 하면, 입력된 칼라화상신호의 각 픽셀에 대해 상기 r, g로 이루어진 색도좌표 공간으로 변환하는 단계;

상기 변환된 좌표에서 소정의 좌표값을 갖는 한 점을 백색 기준점으로 정하는 단계;

상기 변환된 점(r,g)에 대해 상기 백색 기준점으로부터 각과 거리를 구하고, 상기 칼라화상신호에 대한 휘도신호의 비율이 소정의 값 이하인 저휘도 픽셀에 대해서는 상기 각을 0으로하는 단계;

상기 구해진 각을 색상 각이라 할 때, 상기 색상 각과 거리로부터 각각 얻어진 두 화상을 합성하는 단계;

상기 합성된 화상으로부터 동일한 값을 갖는 픽셀끼리 수집하는 단계; 및

상기 각각 수집된 픽셀들을 색상 집합이라할 때, 상기 색상 집합의 다수여부에 따라 조명의 칼라를 결정하는 단계를 포함하는 칼라화상으로부터 조명의 칼라를 결정하는 방법.
제1항에 있어서, 상기 두 화상의 합성단계는

상기 색상 각을 각각의 픽셀의 색을 나타내는 값으로 갖는 화상을 형성하고, 상기 각 픽셀에 대해 문턱치를 구하는 단계;

상기 형성된 화상을 색상 화상이라 할 때, 상기 색상 화상의 픽셀값을 상기 문턱치로 대치하는 단계;

상기 백색 기준점으로부터 구해진 거리가 소정의 값 이하인 영역에 위치한 픽셀을 추출하여 화상을 형성하고, 상기 추출된 화상을 저채도화상이라 할 때, 상기 저채도화상에 대해서 소정의 크기로 이루어진 중간값 필터를 이용하여 필터링하는 단계; 및

상기 문턱치로 대치된 화상과 상기 필터링된 화상의 각 대응되는 픽셀끼리 곱하여 저채도화상에서 소정의 값을 가진 픽셀에 대해서만 색상 화상을 갖도록 합성화상을 생성하는 단계를 구비함을 특징으로하는 칼라화상으로부터 조명의 칼라를 결정하는 방법.
제2항에 있어서, 상기 문턱치를 구하는 단계는

상기 각 색상 각에 대해 동일한 색상 각을 갖는 픽셀 수의 히스토그램을 구하는 단계;

상기 히스토그램으로부터 잡음제거를 위해 소정의 인접한 색상 각에 대한 픽셀 수를 1차 평균하는 단계;

상기 1차 평균이 취해진 히스토그램에 대해 한 번 더 상기 1차 평균과 동일한 방법으로 2차 평균하는 단계;

상기 2차 평균 히스토그램으로부터 상기 각 색상 각의 픽셀수와 그 다음 색상 각의 픽셀 수의 차를 상기 각 색상 각에 대응시키는 1차 차분 단계;

상기 대응된 값의 부호에 따라 소정의 값을 부여하는 단계;

상기 부여된 값에 따라 다시 1차 차분 단계와 동일한 방법으로 차분값을 구하되, 부호가 양인 차분 값에 해당하는 색상 각을 상기 문턱값으로 결정하는단계; 및

상기 결정된 문턱값 A와 그 다음 결정된 문턱값 B사이의 색상 각을 픽셀값으로 갖는 픽셀에 대해서는 문턱값 A를 대치시키는 단계를 구비함을 특징으로하는 칼라화상으로부터 조명의 칼라를 결정하는 방법.
제1항에 있어서, 상기 조명의 칼라를 결정하는 단계는

색상 집합이 복수 개인가를 점검하는 단계;

상기 점검 결과 복수 개이면, 상기 각 색상 집합을 이루는 픽셀의 색도좌표값을 벡터형태로 나타내고, 상기 각 벡터에 대해 두 고유값을 구하는 단계;

상기 구해진 두 고유값을 합하고, 두 고유값중 큰 고유값을 상기 합으로 나눈 비율을 구한 다음, 상기 비율이 가장 큰 두 집합을 선정하는 단계;

상기 선정된 두 집합에 속하는 픽셀을 상기 색도좌표상에 나타내어 각 집합별로 직선으로 근사시킬 때, 상기 두 근사된 직선의 교점을 조명의 칼라로 결정하는 단계;

상기 점검 결과 색상 집합이 하나이면, 상기 집합에 속하는 각 픽셀을 상기 색도좌표상에 나타내어 직선으로 근사시키고, 조명의 궤적을 결정하는 단계; 및

상기 근사된 직선과 상기 결정된 조명 궤적의 교점을 조명의 칼라로 결정하는 단계를 구비함을 특징으로하는 칼라화상으로부터 조명의 칼라를 결정하는 방법.
제4항에 있어서, 조명 궤적의 결정은

상기 칼라화상 입력장치의 감도를 r(λ), g(λ), b(λ)라하고, n개 조명의 전력 분포 스펙트럼을 E_i(λ)(i=1,2,…,n)라 할 때,

와 같이 각 조명의 칼라를 색도좌표상의 (r_i,g_i)로 나타내는 단계를 구비함을 특징으로하는 칼라화상으로부터 조명의 칼라를 결정하는 방법.