KR100695129B1

KR100695129B1 - 칼라영상의 조명색 추정장치 및 방법

Info

Publication number: KR100695129B1
Application number: KR1020040083981A
Authority: KR
Inventors: 김동관
Original assignee: 삼성전자주식회사
Priority date: 2004-10-20
Filing date: 2004-10-20
Publication date: 2007-03-14
Also published as: KR20060034936A

Abstract

칼라영상의 조명색 추정장치 및 방법에 관한 것이다. 칼라영상의 조명색 추정장치는 서로 다른 복수개의 조명에 대한 카메라의 반응모델을 2차원 색도도상에 조명궤적으로 생성하는 조명궤적 생성부; 카메라를 통해 칼라영상을 촬상하여 입력하는 영상입력부; 상기 영상입력부를 통해 입력되는 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 하이라이트 영역 추출부; 상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 직선 근사화부; 및 상기 적어도 하나 이상의 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 조명색 결정부로 이루어진다.

Description

칼라영상의 조명색 추정장치 및 방법{Apparatus and method of estimating color of illuminant}

도 1은 본 발명의 일실시예에 따른 조명색 추정장치의 구성을 나타내는 블럭도,

도 2는 도 1에 있어서 조명궤적 생성부에서 생성된 조명궤적을 나타낸 도면,

도 3는 본 발명의 일실시예에 따른 조명색 추정방법의 동작을 설명하는 흐름도,

도 4는 도 3에 있어서 조명궤적 생성단계의 세부적인 동작을 설명하는 흐름도, 및

도 5는 도 3에 있어서 하이라이트 영역 추출단계의 세부적인 동작을 설명하는 흐름도이다.

본 발명은 조명색을 추정하는 장치 및 방법에 관한 것으로, 특히 카메라에 의해 촬상된 칼라영상에서 추출된 적어도 하나 이상의 하이라이트 영역들에 대하여 각 하이라이트 영역에 포함된 화소들의 색값을 색도도상에서 근사화시킨 직선과 카 메라의 조명궤적을 이용하여 조명색을 추정하기 위한 조명색 추정장치 및 방법에 관한 것이다.

색 항상성(color constancy)은 조명의 변화에도 물체 고유의 색을 보려고 하는 인간의 시지각 특성중의 하나이다. 이 특성은 조명색의 변화에 따라 사람의 시각계가 조명색을 인지하고 조명색을 고려하여 물체의 고유색을 추정하는 능력이 있음을 보여준다. 그러나, 카메라를 이용한 시각장치(machine vision)에서는 입사되는 빛의 파장에 대해 상대적인 감도의 크기가 항상 일정하기 때문에, 동일한 물체에 대해서도 조명의 변화에 따라 서로 다른 색의 물체로 인지하게된다. 이런 시각장치에 인간의 시각계와 유사하게 조명색을 추정하고 고려하는 기능을 제공함으로써 조명 조건과 독립적인 물체 고유의 색을 얻는 능력을 갖도록 하는 것이 조명색을 추정하는 기술 연구의 중요한 과제가 되고 있다. 조명색을 추정하기 위해, 우선 화상에서 나타나는 하이라이트에 조명색 정보가 있다고 가정하여 그 하이라이트 정보를 이용하여 조명색을 추정한다. 하이라이트는 조명색과 물체 고유의 색 성분이 함께 존재하는 이미지상의 특별한 영역으로 이 영역의 색값들을 잘 분석하면 조명색을 추정할 수 있게된다. 그 색 값들을 분석하기 위해서는 적절한 반사모델(reflection model)을 개발하거나 이용하는 것이 필수적이다.

종래의 대표적인 반사모델에는, 물체의 표면으로부터 반사되는 빛은 표면반사(surface reflection)와 몸체반사(body reflection)의 합으로 표현가능하고, 표면반사의 분광구성(spectral composition)은 조명의 분광 분포의 조성과 동일하다고 가정하는 Steven A. Shafer에 의한 논문 "Using Color to Separate Reflection Components"(COLOR Research and Application 10(4), 210-218, 1985.)에 개시된 이색성 반사 모델(dichromatitic reflection model)이 있다. 이 모델에 따르면 동일한 표면의 하이라이트상의 색값들의 분포는 3차원 색 공간에서 하나의 평면상에 존재하며 두 개의 벡터, 즉 몸체반사와 표면반사의 선형 조합으로 나타낼 수 있다. Gudrun J. Klinker, Steven A, Shafer, and Takeo Kanade에 의한 논문 "The Measurement of Highlights in Color Images"(International Journal of Computer Vision 2(1), 7-32, 1989)에서는 이 모델을 기초로 화상의 화소에서 몸체반사 성분과 표면반사 성분을 분리하는 방법을 개발했다. 이 방법은 하이라이트에 의해 형성되는 칼러 분포로부터 두 개의 벡터를 추정하는 방법을 개발했다. 이 방법은 하이라이트에 의해 형성되는 칼러 분포로부터 두 개의 벡터를 추정하는 방법으로 3차원 색 공간에서 그 두 개의 벡터를 추정하는 방법이 상당한 복잡성을 가져 조명색 추출을 위해 직접 이용되기 보다는 영역구분등 화상의 물리적 해석에 다양하게 이용되고 있다.

CIE 1931 (x,y) 색도도(chromaticity diagram)의 각 좌표는 CIE 1931 측색 표준 관찰자(standard colorimetric observer)에 의해 관찰되는 유일한 색과 일치한다. 색도좌표(chromaticity cocrdinates)에서 그 분포는 조명색과 몸체반사에 의해 결정되는 몸체색을 연결하는 직선상에 위치하게 된다. 이것은 표면반사 성분이 단순히 몸체반사 성분의 색 포화도(saturation)를 감소시킨다는 것을 의미하며, 측색적으로는 동일한 표면의 색들은 순도는 다르지만 조명색에 대해 동일한 주파장을 가진것으로 알려져 있다. 이러한 점들의 경로는 하이라이트를 갖는 여러개의 물체가 존재하는 화상에서 조명색을 중심으로 방사상으로 놓이는 경향이 있는 직선군을 형성한다. 따라서 화상에서 하이라이트가 있는 두 개의 서로 다른 분광반사 특성을 가진 표면이 존재하면, 두 개의 직선은 하나의 점을 결정하고 이것으로부터 조명색 정보를 알 수 있다. 이 경우, 하이라이트 주변에서 발생하는 색 경계를 찾고, 색 경계 화소를 중심으로 주변화소를 취하여 색도도상에서 직선근사하고, 근사된 직선들의 기울기와 절편을 축으로하는 새로운 변수공간을 설정하여 하프 변환(Hough transformation)과 유사한 방법으로 직선들을 변수공간으로 변환하여 하나의 직선을 결정하고, 해당 직선의 기울기와 절편을 조명색으로 하는 조명색 결정 방법이 Hsien-Che Lee(미국특허번호 4685071)에 의해 제안되었다. 이 방법을 이용하여 조명색을 추정하기 위해서는, 이론적으로 최소한 두 개 이상의 하이라이트를 갖는 서로 다른 분광분포 특성을 갖는 물체가 존재해야 하며 실제 이미지에서 어느정도의 정확도를 확보하기 위해서는 그 이상의 하이라이트가 필요하게 된다.

종래에는 백색 조절이나, 색 보정을 수행하기 위해 조명성분을 검출할 목적으로 카메라 장치에 직접 조명에서 방사되는 빛을 감지하는 검출기 등을 내장하여 사용하거나, 카메라에 특정한 조명에 대응하는 버튼을 두어 그 버튼에 대한 사용자의 입력을 기준으로 조명을 결정하는 방법, 혹은 화상 자체로부터 조명의 색을 검출하는 방법 등이 제안되었으나, 검출기를 사용하는 경우 부가적인 하드웨어의 부착에 따른 비용 부담외에도 하드웨어로 직접 대응 가능하지 않은 원거리 촬영등에서 얻어지는 화상에 대한 조명색 추정에 문제가 있고, 사람에 의해 결정되는 버튼의 경우 다양한 조명 성분에 적절하게 대응하기 위해서는 수많은 버튼이 필요하게 되는 단점이 있다. 또한, 종래의 화상 자체로부터 조명색을 검출하는 방법의 경우 3차원 색공간에서 해석을 함으로써 화상처리가 복잡해지며, 2차원 색도도에서 해석시에도 화상내에 최소한 두 개 이상의 하이라이트를 갖는 서로 다른 분광분포 특성을 갖는 물체가 존재해야만 조명색을 추정할 수 있게 된다.

본 발명이 이루고자 하는 기술적 과제는, 카메라에 의해 촬상된 칼라영상에서 추출된 적어도 하나 이상의 하이라이트 영역들에 대하여 각 하이라이트 영역에 포함된 화소들의 색값을 색도도상에서 근사화시킨 직선과 카메라의 조명궤적을 이용하여 조명색을 추정하기 위한 조명색 추정장치 및 방법을 제공하는데 있다.

상술한 기술적 과제를 해결하기 위한 본 발명에 의한 칼라영상의 조명색 추정장치는 서로 다른 복수개의 조명에 대한 카메라의 반응모델을 2차원 색도도상에 조명궤적으로 생성하는 조명궤적 생성부; 카메라를 통해 칼라영상을 촬상하여 입력하는 영상입력부; 상기 영상입력부를 통해 입력되는 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 하이라이트 영역 추출부; 상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 직선 근사화부; 및 상기 적어도 하나 이상의 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 조명색 결정부를 포함하는 것을 특징으로 한다.

상술한 기술적 과제를 해결하기 위한 본 발명에 의한 칼라영상의 조명색 추정방법은 (a) 서로 다른 복수개의 조명에 대한 카메라의 반응모델을 생성하여 2차원 색도도상에 조명궤적으로 표현하는 단계; (b) 카메라로부터 촬상된 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 단계; (c) 상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 단계; 및 (d) 상기 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 단계를 포함하는 것을 특징으로 한다.

상기 칼라영상의 조명색 추정방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 작용 및 효과에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 조명색 추정장치의 구성을 나타내는 블럭도로서, 조명궤적 생성부(110), 영상입력부(120), 하이라이트 영역 추출부(130), 직선 근사화부(140), 및 조명색 결정부(150)로 이루어진다.

도 1을 참조하면, 조명궤적 생성부(110)는 2차원 색도도 예를 들면, CIE 1931 (x,y) 색도도(Chromaticity diagram)상에서 복수개의 조명에 대한 카메라의 시지각 특성을 수학적으로 표현한 카메라의 조명궤적을 생성한다.

영상입력부(120)는 일반적으로 칼라영상을 입력하는 장치로서, 필요한 경우 감마보상기능을 더 포함할 수 있다.

하이라이트 영역 추출부(130)는 입력된 칼라영상으로부터 하이라이트 영역을 추출하기 위한 것으로서, 카메라로부터 촬상된 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출한다. 다른 실시예로는 입력된 칼라영상에서 소정의 문턱치, 즉 칼라화상 전체의 평균휘도값의 소정 상수배, 여기서는 3배 이상의 휘도값을 갖는 화소들을 그루핑하여 하이라이트 영역으로 추출한다. 여기서, 문턱치는 입력되는 칼라영상의 특성에 따라 유동적인 값이 될 수 있다.

직선 근사화부(140)는 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시킨다. 각 하이라이트 영역에 대하여 근사화된 직선을 얻는 방법은 일실시예에 따르면 해당 하이라이트 영역의 2차원 색도도 상에서의 색도값 분포 중 장축을 기준으로 직선으로 근사화시킬 수 있다. 다른 실시예에 따르면, 해당 하이라이트 영역에 대하여 각 화소의 색도값과 휘도값을 입력으로 하고, 휘도값을 기준으로 오름차순으로 정렬한다. 가장 어두운 부분에서 밝은 부분까지 이동창평균(moving window) 값을 계산한다. 통상 해당 하이라이트 영역에 포함되는 화소의 수가 수백개를 초과하므로 이동창의 크기는 약 20 화소 정도로 설정한다. 2차원 색도도상에서 휘도값 변화를 직선으로 근사화시키고, 근사화된 직선을 추종하는 직선 성향이 강한 색도 좌표를 적어도 4 내지 5 개 정도 추출하여 이를 연결하여 직선으로 근사화시킨다.

조명색 결정부(150)는 적어도 하나 이상의 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정한다.

도 2는 도 1에 있어서 조명궤적 생성부(110)에서 생성된 조명궤적을 나타낸 도면이다.

도 2에 도시된 조명궤적은 일예로 CIE 1931 (x,y) 색도도 상에 나타낸 것이다. CIE 1931 (x,y) 색도도 상에서 정의되는 일광궤적(daylight locus)(210)은 일광에 대한 여러 지역, 여러 사람의 시지각 특성에 대한 많은 실험결과에 의해 결정된 수학적 표현이다. 카메라의 조명궤적(220)은 일광궤적과 동일한 개념을 사람의 시지각이 아닌 카메라의 시지각 기능에 도입하여 산출한 것이다. 조명은 단일 파장대의 분광파워분포를 가지는 단색광에서부터 가시광선 전 대역에 걸쳐 특정한 크기의 분광파워분포를 가지는백색광에 이르기까지 다양하다. 일광궤적과 동일한 개념을 도입하면, 카메라의 조명궤적은 이러한 다양한 조명에 대한 조명의 분광파워분포와 카메라에 있는 분광감지 센서의 분광감도 특성의 곱에 의해 결정되는 카메라의 출력 색값들의 색도좌표를 연결하는 선이된다. 사용가능한 조명이 많은 경우 직접적으로 각 조명에 상응하는 카메라의 출력 색값을 연결하는 궤적을 특정한 함수로 근사하여 조명궤적으로 정의한다. 사용가능한 조명의 수가 제한적인 경우에도 조명궤적을 추정하는 것이 가능한데, 여기에서는 소수의 조명 종류를 사용하여 카메라의 조명궤적을 추정하는 방법을 설명한다.

도 2에서는, 단일 파장대의 분광파워분포를 가지는 단색광에서부터 가시광선 전 대역에 걸쳐 특정한 크기의 분광파워분포를 가지는 백색광류로 제한된 조명에 대해, 그 조명을 백색색표(카메라에 백색 조명을 제공하기 위한 것)에 비추고 그로 부터 반사되는 빛의 키메라 출력 색값들의 색도좌표를 연결한 카메라 조명궤적(220)을 나타낸다.

도 3는 본 발명의 일실시예에 따른 조명색 추정방법의 동작을 설명하는 흐름도이다.

도 3을 참조하면, 310 단계에서는 CIE 1931 (x,y) 색도도 상에서 복수개의 조명에 대한 카메라의 시지각 특성을 수학적으로 표현한 카메라의 조명궤적을 생성한다. 이때, 조명궤적은 각 조명의 분광파워 분포와 카메라의 분광감도 특성을 곱한 값인 카메라의 출력 색값들을 색도도상에 좌표화한 점들을 연결한 선으로 나타낼 수 있다.

320 단계에서는 촬상된 칼라영상에서 조명색에 대한 정보를 가지고 있는 후보영역들 중에서 하이라이트 영역을 추출한다.

330 단계에서는 320 단계에서 추출된 하이라이트 영역에 포함된 화소들의 색값을 산출하여 2차원 색도도상에 표현하여 직선으로 근사화시킨다. 이때, 카메라의 색 인식 또는 그 처리시, 물체의 몸체반사와 표면반사의 조합으로 이뤄지는 색값을 나타내는 2차원 색도도 CIE 1931 (x,y)를 이용한다.

하이라이트 영역에 포함된 화소의 색값을 색도도상에 나타내는 구체적 과정을 살펴보면 다음과 같다.

먼저, 단일 광원이 조사되는 조명환경하에서 이색성 물체의 특정한 점에서 반사되는 빛의 방사(radiance),

를 구하며, 이는 다음 수학식 1과 같이 표 현할 수 있다.

여기서,

는 하이라이트 영역내 화소의 조명색 성분을 나타내는 표면반사,

는 물체고유의 색 성분을 나타내는 몸체 반사,

는 각각 표면반사 와 몸체반사의의 비례상수로서 기하학적 성분의 스칼라 표현을 나타낸다.

다음, 입력 빛에 선형적인 반응 특성을 나타내는 칼라 CCD 카메라의 입력 방사

에 대한 출력 색값 C를, 표면반사 색값과 몸체반사 색값을 합하여 다음 수학식 2와 같이 나타낼 수 있다.

상기 수학식 2와 같이 구해진 출력 색값 C의 색도도상의 좌표 (r, g)를, 표 면반사에 의한 조명색 출력 색값의 색도좌표 (r_s, g_s)와 몸체반사에 의한 물체고유의 색값의 색도좌표 (r_b, g_b)로 나타내면 다음 수학식 3과 같다.

여기서,

는 각각

을 나타낸다.

동일한 색이 칠해진 하나의 이색성 물체의 임의의 한점에서의 카메라의 출력 색값의 색도 좌표 M은 조명색성분에 대한 색도좌표 M_s와 물체 고유의 색 성분에 대한 색도좌표 M_b를 연결하는 하나의 직선의 선분상에 놓이며 그에 대한 수학적 표현은 다음 수학식 4와 같이 나타낼 수 있다.

여기서,

이며,

이다.

는 몸체색 M_b로부터 M까지의 거리이며, m_s의 크기에 비례한다. 화상에서 무시할 수 없을 정도의 표면반사를 포함하는 상당한 크기의 m_s값을 가진 화소들로 구성된 영역을 하이라이트 영역이라 하며, 임의의 화소가 하이라이트 영역에 포함되어 그 점에서의 m_s가 양의 값을 가지면 m_s의 증가에 비례해서

도 증가한다. 이것은 하이라이트 영역에 포함된 화소의 색이 몸체색으로부터 조명색 방향으로 색 천이를 나타내는 현상을 설명하고 있다.

상기 과정을 통하여 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함되는 화소들에 대하여 색도도상에서의 좌표값들을 구하여 2차원 색도도 상에 직선으로 근사화시킨다.

340 단계에서는 각 하이라이트 영역에 대하여, 330 단계에서 근사화시킨 색도좌표상의 직선과 310 단계에서 생성된 조명궤적과의 교점을 획득한다. 이때, 교점은 적어도 하나 이상 존재할 수 있다.

350 단계에서는 340 단계에서 획득한 교점이 하나인 경우에는 해당 교점을 조명색으로 결정한다. 한편, 340 단계에서 획득한 교점이 두개 이상인 경우에는 평균한 좌표값 혹은 미리 설정된 조명색 좌표값에 인접한 교점의 좌표값을 조명색으로 결정한다.

상기 340 및 350 단계에 대하여 좀 더 세부적으로 설명하면 다음과 같다.

통상, 동일 혹은 유사한 색이 칠해진 하나의 물체상에 나타나는 하이라이트 영역의 모든 화소에 대한 카메라 출력 색값의 색도좌표는 몸체색으로부터 조명색 방향으로 향하는 하나의 직선을 형성하나 조명색 M_s와 직접 연결되어 있지는 않다. 그러나 이 직선의 연장선은 반드시 조명색을 통과하게 되고, 카메라의 조명궤적이 그 조명색을 포함하게 되므로, 색도도 상에서 카메라의 조명궤적과 하이라이트 영역 화소의 색 좌표 직선은 한 개 이상의 교점을 가지게 되며, 그 교점은 화상의 촬영장면에서의 조명색의 좌표점이다. 즉, 하이라이트 영역 화소 색값의 직선 또는 그 직선의 연장선과 상기 카메라의 조명 궤적이 만나는 부분을 조명색으로 결정한다. 화상에 하나의 하이라이트만 존재하는 경우, 이 하이라이트 영역의 화소에 의해 결정되는 색도도상의 근사된 직선과 카메라의 조명궤적이 만나는 점은 조명색으로 결정된다. 만일, 한 개의 하이라이트에 대해, 색도도상에서 카메라의 조명 궤적과 상기 하이라이트 영역 화소의 색도도상의 좌표인 직선 또는 직선의 연장선이 2개의 점에서 교차한다면, 두 교점 중에서 좌표 r=0.333, g=0.333에 가까운 점을 조명색으로 추정한다. 화상에 여러개의 하이라이트가 존재하는 경우, 종래에 각 하이라이트로부터 근사된 색도도상의 직선들의 교점의 평균을 조명색으로 결정한 것과 달리, 본 발명에서는 이 직선들과 카메라의 조명궤적의 교점의 평균을 조명색으로 결정한다.

도 4는 도 3에 있어서 조명궤적 생성단계(310)의 세부적인 동작을 설명하는 흐름도이다.

도 4를 참조하면, 410 단계에서는 CIE 1931 (x,y) 색도도 상에 조명에 대한 반응 궤적을 표현한 카메라 조명 궤적의 산출은 먼저, 소정 조명의 분광파워분포와 카메라 분광감도를 이용하여 조명의 삼자극치를 구한다. 조명의 삼자극치는 다음 수학식 5와 같이, 조명의 분광파워분포인

, 백색 색표의 분광반사도인

및 적(r), 녹(g), 청(b) 성분에 대한 카메라의 분광감도인

의 적분값인 R_m, G_m, B_m으로 나타낼 수 있다.

여기서는 색표의 몸체반사 성분만 고려되었고 하이라이트 성분은 없는 경우로 한다. R_c, G_c, B_c는 백색 색표에 대한 선형화된 카메라의 출력색값으로 이 값으로부터 구한 색도좌표를 측정된 조명색이라 한다.

420 단계에서는 조명의 삼자극치와 그 조명하에서 촬영된 백색 화상으로부터 얻어지는 화상출력 색값(R_c, G_c, B_c)간의 선형 변환 관계를 가정하여 그 비례상수인 조명변환계수(k_nr, k_ng, k_nb)를 결정하며, 이는 다음 수학식 6에 나타낸 바와 같다.

430 단계에서는 조명변환계수를 이용하여 실제 조명 궤적을 구할 때, 분광파워분포를 알고 있는 다른 다양한 조명에 대해 상응하는 카메라 출력 색값의 색도좌표값을 산출한다.

440 단계에서는 430 단계에서 산출된 색도좌표들을 연결하는 경로를 카메라의 조명궤적으로 결정한다.

도 5를 참조하면, 510 단계에서는 카메라에 의해 촬상된 칼라영상을 색도값이 유사한 적어도 하나 이상의 영역으로 분할한다. 이를 위하여, 먼저 칼라영상의 각 화소의 색값, 즉 RGB 색값을 추출한다. 다음, 추출된 색값을 기반으로 하여 영역을 분할한다. 칼라영상의 영역분할은 RGB 공간 또는 CIELUV 색공간상에서 유사거리에 있는 화소들은 서로 병합하고 떨어진 화소들은 분리시켜서 다수개의 칼라군으로 영역화하는 것이다. 분할된 영역들마다 각각 해당 영역의 대표 RGB와 그 색도값 r 및 g를 계산한다. 여기서 대표 RGB는 해당 영역에서 평균 RGB를 의미하며, 대표 RGB의 색도값 r 및 g는 대표 RGB를 2차원으로 투영시킨 값이다. 색도값 r 및 g는 다음 수학식 7에서와 같이 산출한다.

다음, 분할된 영역의 대표 RGB 및 그 색도값 r 및 g 값을 산출한 후, 색도값 r 및 g가 유사한 영역들을 병합한다. 이는 분할된 영역들을 색도값 r 및 g를 기반으로 영역 병합을 하는 것을 말하며, r 및 g 영역 병합은 한 영역에서 인접 영역과 r 및 g 차를 비교하여 허용범위내에 들면 두 영역을 병합하고, 허용범위 밖이면 두 영역을 병합시키지 않고 그대로 유지시킨다.

520 단계에서는 예상 조명휘도값을 계산한다. 이를 위하여, 칼라영상으로부터 상기 510 단계에서 추출된 RGB 색값을 이용하여, 칼라영상 전체의 평균 휘도값과 최대 휘도값을 계산하고, 계산된 평균 휘도값, 최대휘도값 및 미리 설정된 하이라이트 비율을 이용하여 예상 조명 휘도값을 계산한다. 예를 들면, 칼라영상 전체의 평균 휘도값이 100, 최대 휘도값이 200이고, 하이라이트 비율이 5%로 설정된 경우, 최대 휘도값과 평균 휘도값 사이에서 상위 5%, 즉 195가 예상 조명 휘도값이 된다.

530 단계에서는 상기 510 단계에서 분할된 후 병합된 영역들 중 상기 예상 조명 휘도값 이상의 휘도값을 가지는 영역들을 하이라이트 영역들로 추출한다.

한편, 다른 실시예로는 병합된 영역들 중 평균 휘도값이 상기 계산된 예상 조명 휘도값 이상인 제1 영역들을 선택하고, 병합된 영역들 가운데 소정의 하이라이트 휘도값 이상의 휘도값을 갖는 제2 영역들을 선택하고, 선택된 제1 영역들의 개수와 제2 영역들의 개수를 비교하여, 작은 개수의 영역들을 하이라이트 후보 영역으로 선택할 수 있다.

다음, 본 발명에 따른 칼라영상의 조명색 추정방법 및 장치의 성능을 평가하 기 위한 실험을 실시하였다.

실험에는 인공 일광등(7500K), 할로겐등(2300K) 및 표준 백열등(2856K)의 세 조명을 사용하여 조명별로 변환계수를 구하고, 조명별 변환계수들의 평균을 조명변환계수라 하며, 상기 수학식 2에 정의된 바와 같다. 조명변환계수는 수학식 1에 나타낸 조명의 삼자극치로부터 카메라의 해당 조명에 대한 측정된 조명색을 결정하는 변수로, 이 값이 유효하다면 실험에 사용되지 않은 다른 조명에 대한 카메라의 측정된 조명색을 얻을 수 있다. 조명변환계수의 실용성 검토를 위해 실험에 사용된 세 조명에 적용하여 예측된 조명색을 구했다.

다음 표 1은 조명변환계수를 적용하여 예측된 조명색과 측정된 조명색을 비교한 것이다.

표 1에 있어서 오차율은 측정된 조명색을 기준으로 예측된 조명색의 차에 대한 백분율로 나타낸다. 최대 예측오차율이 일광등에서 2.2% 미만으로, 본 발명의 방법으로 구한 조명변환계수의 적용이 조명의 삼자극치와 백색 색표에 대한 선형화된 카메라의 출력 색값간의 변환을 정의하는 적절한 방법으로 사용 가능함을 보인다. 이것으로부터 조명궤적을 계산하기 위해 구해진 조명변환계수를 5종의 일광 (D75, D65, D55, D50)과 백열등에 적용하여 색도좌표를 구하고 그 색도좌표로부터조명의 궤적을 근사하여 얻는다. 결과의 조명궤적은 다음 수학식 8과 같이 2차 방적식으로 근사되고, 도 2의 210과 같이 나타난다.

도 2에서는 편의상 조명의 궤적을 나타내는 r-g 색도도상에 CIE x-y 단색광 색도좌표 경로를 중첩하여 나타낸 것이다.

다음 표 2는 카메라의 조명궤적과 화상의 하이라이트 영역 화소에 의해 형성되는 색도도상의 색도좌표의 근사에 의해 결정되는 직선과의 교점과 실제 촬영에 사용된 조명색 좌표를 비교한 것이다.

상기 표 2는 할로겐등 조명하에서 촬영된 화상에서 일정한 색으로 칠해진 서로 다른 색을 가진 두 물체에서 발생한 하이라이트 영역을 구하여 추정된 조명색과 실제 측정된 조명색을 비교한 것이다. 추정된 조명색과 측정된 조명색과의 오차 백분율이 물체가 노란색 플라스틱인 것과 파란색 플라스틱인 경우 모두 2% 내외의 오차를 보인다. 오차의 백분율은 각 색도축에 대해 촬영 조명색을 기준점으로 하 여 추정된 조명색과의 거리를 촬영 조명색의 각 색도좌표로 나눈 값의 백분율이다.

상기 표 1 및 표 2에서 2차 방정식으로 근사된 조명궤적과 각 하이라이트 영역 화소에 대해 근사된 직선과의 교점은 일반적으로 두 개가 존재하는데 이 경우 두 교점 중에서 이상적인 백색 색도좌표(r=0.333, g=0.333)와 가까운 점을 조명색으로 추정한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

상술한 바와 같이 본 발명에 의하면, 카메라의 반응모델을 조명궤적으로 생성하고, 카메라에 의해 촬상된 칼라화상에서 물체에 비춰진 적어도 하나 이상의 하이라이트 영역에 대하여 각 하이라이트 영역에 포함된 화소들의 색값을 색도도상의 직선으로 근사화시킨 후, 적어도 하나 이상의 근사화된 직선을 조명궤적상에 연장시켜 교차하는 적어도 하나 이상의 교점 중 평균한 좌표값 혹은 미리 설정된 조명색 좌표값에 인접한 교점의 좌표값을 조명색으로 추정함으로써, 절차를 간소화시키면서 정확하게 조명색을 추정할 수 있는 이점이 있다.

Claims

서로 다른 복수개의 조명에 대한 카메라의 반응모델을 2차원 색도도상에 조명궤적으로 생성하는 조명궤적 생성부;

카메라를 통해 칼라영상을 촬상하여 입력하는 영상입력부;

상기 영상입력부를 통해 입력되는 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 하이라이트 영역 추출부;

상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 직선 근사화부; 및

상기 적어도 하나 이상의 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 조명색 결정부를 포 함함을 특징으로 하는 칼라영상의 조명색 추정장치.
제1 항에 있어서, 상기 조명궤적 생성부는 상기 복수개의 조명에 대하여 구해진 삼자극치와 상기 조명하에서 촬영된 칼라영상의 카메라 출력 색값 사이의 선형 관계로부터 얻어지는 조명변환계수를 산출를 이용하여 카메라 출력 색값의 색도좌표값을 산출하여 상기 조명궤적으로 생성하는 것을 특징으로 하는 칼라영상의 조명색 추정장치.
제1 항에 있어서, 상기 하이라이트 영역 추출부는 상기 입력되는 칼라영상 중 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 것을 특징으로 하는 칼라영상의 조명색 추정장치.
제1 항에 있어서, 상기 하이라이트 영역 추출부는 상기 영역들 중 평균 휘도값이 상기 계산된 예상 조명 휘도값 이상인 제1 영역들과, 상기 영역들 가운데 소정의 하이라이트 휘도값 이상의 휘도값을 갖는 제2 영역들 중 작은 갯수를 갖는 영역들을 하이라이트 영역으로 추출하는 것을 특징으로 하는 칼라영상의 조명색 추정장치.
제1 항에 있어서, 상기 직선 근사화부는 해당 하이라이트 영역의 2차원 색도 도 상에서의 색도값 분포 중 장축을 기준으로 직선으로 근사화시키는 것을 특징으로 하는 칼라영상의 조명색 추정장치.
제1 항에 있어서, 상기 직선 근사화부는 하이라이트 영역에 대하여 각 화소의 색도값과 휘도값을 입력으로 하고, 휘도값을 기준으로 오름차순으로 정렬한 다음, 2차원 색도도상에서 휘도값 변화를 직선으로 근사화시키고, 근사화된 직선을 추종하는 복수개의 색도 좌표를 연결하여 직선으로 근사화시키는 것을 특징으로 하는 칼라영상의 조명색 추정장치.
(a) 서로 다른 복수개의 조명에 대한 카메라의 반응모델을 생성하여 2차원 색도도상에 조명궤적으로 표현하는 단계;

(b) 카메라로부터 촬상된 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 단계;

(c) 상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 단계; 및

(d) 상기 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 단계를 포함함을 특징으로 하는 칼라영상의 조명색 추정방법.
제7 항에 있어서, 상기 (a) 단계는,

(a1) 상기 복수개의 조명에 대하여, 각 조명의 분광파워분포와 카메라 분광감도를 이용하여 조명의 삼자극치를 구하는 단계;

(a2) 상기 조명의 삼자극치와 상기 조명하에서 촬영된 칼라영상의 카메라 출력 색값 사이의 선형 관계를 설정하여 그 선형관계의 비례상수인 조명변환계수를 산출하는 단계;

(a3) 상기 조명변환계수를 이용하여 카메라 출력 색값의 색도좌표값을 산출하는 단계; 및

(a4) 상기 산출된 색도좌표들을 연결하는 경로를 카메라의 조명궤적으로 결정하는 단계로 이루어지는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제7 항에 있어서, 상기 (b) 단계는

(b1) 상기 칼라영상의 RGB 색값을 추출하여, 상기 칼라영상을 색을 기반으로 영역 분할하는 단계;

(b2) 상기 분할된 영역 각각에 대해 대표 RGB 및 상기 대표 RGB의 2차원 색도값을 산출하고, 상기 산출된 색도값이 유사한 영역들을 병합하는 단계;

(b3) 상기 칼라영상 전체의 평균 휘도값 및 최대 휘도값을 계산하고, 상기 평균 휘도값, 최대 휘도값 및 소정의 하이라이트 비율을 이용하여 예상 조명 휘도값을 계산하는 단계;

(b4) 상기 병합된 영역들 중 평균 휘도값이 상기 예상 조명 휘도값 이상인 영역들을 하이라이트 영역으로 선택하는 단계로 이루어지는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제9 항에 있어서, 상기 (b1) 단계는

RGB 공간상에서 유사거리에 있는 칼라 화소들은 서로 병합시키고 떨어진 칼라 화소들은 분리시켜서 입력 영상을 다수개의 칼라군으로 영역화하는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제9 항에 있어서, 상기 (b1) 단계는

시아이이엘유브이(CIELUV) 공간상에서 유사거리에 있는 칼라 화소들은 서로 병합하고 떨어진 칼라 화소들은 분리시켜서 입력영상을 다수개의 칼라군으로 영역화하는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제9 항에 있어서, 상기 (b2) 단계는

(b21) 상기 병합된 영역들 중 평균 휘도값이 상기 계산된 예상 조명 휘도값 이상인 영역들을 선택하는 단계;

(b22) 상기 병합된 영역들 가운데 소정의 하이라이트 휘도값 이상의 휘도값을 갖는 영역을 선택하는 단계; 및

(b23) 상기 (b21)단계에서 선택된 영역들의 개수와 상기 (b22)단계에서 선택된 영역들의 개수를 비교하여, 작은 개수의 영역들을 하이라이트 후보 영역으로 선 택하는 단계를 포함하는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제9 항에 있어서, 상기 (b2) 단계는

분할된 영역과 그 영역의 인접 영역에서의 rg 차를 비교하여 소정의 허용범위 내에 들면 두 영역을 병합하고, 허용범위 밖이면 두 영역을 그대로 유지하는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
제7 항에 있어서, 상기 (d) 단계는

(d1) 상기 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 구하는 단계;

(d2) 상기 교점이 하나인 경우 해당 교점의 좌표값을 조명색으로 결정하는 단계; 및

(d3) 상기 교점이 두개 이상인 경우 교점들의 평균을 조명색으로 추정하는 단계로 이루어지는 것을 특징으로 하는 칼라영상의 조명색 추정방법.
(a) 서로 다른 복수개의 조명에 대한 카메라의 반응모델을 생성하여 2차원 색도도상에 조명궤적으로 표현하는 단계;

(b) 카메라로부터 촬상된 칼라영상을 유사한 색도값을 갖는 적어도 하나 이상의 영역들 중 예상 조명 휘도값을 초과하는 휘도값을 갖는 영역을 하이라이트 영역으로 추출하는 단계;

(c) 상기 각 하이라이트 영역에 대하여, 하이라이트 영역에 포함된 화소들의 상기 2차원 색도도상의 색도값을 직선으로 근사화시키는 단계; 및

(d) 상기 근사화된 직선을 연장시켜 상기 조명궤적과 교차하는 적어도 하나 이상의 교점을 이용하여 조명색으로 결정하는 단계를 포함하는 칼라영상의 조명색 추정방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.