KR100916484B1

KR100916484B1 - 자동 화이트 밸런스 방법

Info

Publication number: KR100916484B1
Application number: KR1020070081696A
Authority: KR
Inventors: 곽부동; 강봉순; 김상준; 하주영; 손경수; 김학선; 최원태; 김주현
Original assignee: 삼성전기주식회사
Priority date: 2007-08-14
Filing date: 2007-08-14
Publication date: 2009-09-08
Also published as: DE102008038807A1; KR20090017158A; CN101404776A; US20090046928A1; CN101404776B

Abstract

입력 영상의 색공간을 RGB 색공간에서 국제조명위원회 L*a*b* 색공간으로 변환하는 색공간 변환 단계; 기준 백색이 변화된 것으로 추정할 수 있는 사전 설정된 L*a*b* 값의 범위 내에 속하는 상기 입력 영상의 픽셀 중 적어도 일부를 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계; 상기 결정된 기준 백색의 추정에 사용될 픽셀들의 L* 값의 평균값, a* 값의 평균값 및 b* 값의 평균값을 기준 백색 추정값으로 결정하는 단계; 및 상기 기준 백색 추정값을 기설정된 화이트밸런스를 위한 목표값으로 이동시킬 수 있는 컬러 이득을 산출하는 단계를 포함하는 오토 화이트 밸런스 방법이 개시된다.

화이트 밸런스(white balance), CIE, 색공간

Description

자동 화이트 밸런스 방법{METHOD FOR AUTO WHITE BALANCE}

본 발명은 디지털 영상 처리에 관한 것으로, 더욱 상세하게는 광원 등 주변 환경에 의해 변화된 기준 백색을 추정하기 위해 국제 조명 위원회(Commission International de I'Eclairage: CIE) L*a*b* 색공간을 이용한 자동 화이트 밸런스 방법에 관한 것이다.

화이트 밸런스란 디지털 이미지 센서 같은 영상 촬상 수단에 의해촬상된 영상의 색상이 광원 등과 같은 주변 환경에 의해 변화되지 않고 원래의 컬러를 유지시키기 위한 기능이다. 즉, 화이트 밸런스가 수행되지 않으면 이미지 센서로부터 전달된 영상은 광원 등의 주변 환경의 영향을 받아 백색 피사체가 정확한 백색으로 표현되지 않는다.

일반적으로, 화이트 밸런스를 위해 이미지 센서로부터 얻은 영상으로부터 광원에 의한 변화 정도를 추정하는 것은 기준 백색을 추정하는 것으로 간주된다. 즉, 영상에서의 백색의 부분에 어떠한 변화가 있었는지를 추정하는 것이다.

종래에 알려진 이러한 추정 방법으로는, 입력된 영상에서 최대 RGB(Red, Greed, Blue) 값 각각을 기준으로 백색으로 추정하는 최대 RGB 기법, 입력된 컬라 이미지의 평균 RGB 값을 회색으로 결정하고 회색을 이용하여 기준 백색을 추정하는 그레이월드(grayworld) 기법 및 신경망을 이용하여 기준 백색을 추정하는 방법 등이 알려져 있다. 상기 종래의 추정 방법을 통해 피사체의 색을 보정하기 위한 대표적인 방법은 왜곡된 백색의 피사체를 각 색 정보에 곱해지는 계수인 컬러 이득(Color Gain)을 조정하여 정확한 백색으로 표현되도록 만드는 것이며 이러한 과정이 오토 화이트 밸런스(Auto White Balance)이다. 오토 화이트 밸런스를 통한 영상은 이상적으로는 하나의 피사체에 대해 모든 광원에서 찍은 이미지의 결과가 원래의 컬러와 동일하여야 한다.

그러나 상기 종래의 기준 백색 추정 방식의 경우, 영상의 특정 부분만이 매우 밝거나 특정 색이 많이 분포하는 경우에 잘못된 백색을 추정하여 잘못된 컬러 이득을 산출하는 경우가 많으며 이로 인해 오토 화이트 밸런스가 올바르게 수행되지 못하는 문제점을 갖는다.

본 발명은 다양한 주변 환경에서도 정확한 영상 분석이 가능하도록, 밝기와 색도로 영상 정보를 나타내는 색공간인 국제조명위원회(CIE) L*a*b* 색공간을 사용하여 L*, a*, b* 값에 따른 픽셀의 분포를 통해 기준 백색의 추정을 수행함으로써 정확도가 향상된 오토 화이트 밸런스 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위해 본 발명은,

입력 영상의 색공간을 RGB 색공간에서 국제조명위원회 L*a*b* 색공간으로 변환하는 색공간 변환 단계;

기준 백색이 변화된 것으로 추정할 수 있는 사전 설정된 L*a*b* 값의 범위 내에 속하는 상기 입력 영상의 픽셀 중 적어도 일부를 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계;

상기 결정된 기준 백색의 추정에 사용될 픽셀들의 L* 값의 평균값, a* 값의 평균값 및 b* 값의 평균값을 기준 백색 추정값으로 결정하는 단계; 및

상기 기준 백색 추정값을 기설정된 화이트밸런스를 위한 목표값으로 이동시킬 수 있는 컬러 이득을 산출하는 단계

를 포함하는 오토 화이트 밸런스 방법을 제공한다.

바람직하게, 상기 색공간 변환 단계는, 상기 입력 영상의 각 픽셀이 갖는 RGB 값을 국제조명위원회 표준안에 따른 XYZ 값으로 변환하는 단계; 및 상기 변환된 각 픽셀의 XYZ 값을 상기 L*a*b* 값으로 변환하는 단계를 포함할 수 있다.

더 구체적으로, 상기 XYZ 값으로 변환하는 단계는 하기 식 1과 같이 수행되며, 상기 L*a*b* 값으로 변환하는 단계는 하기 식 2와 같이 수행될 수 있다.

[식 1]

[식 2]

바람직하게 상기 사전 설정된 L*a*b* 값의 범위는,크기 순으로 복수의 영역으로 구분된 L* 값의 각 영역별로 a* 값 및 b* 값의 영역이 결정된 복수의 구간으로 이루어지며, 상기 복수의 구간은 L*이 클수록 더 넓은 영역의 a* 값 및 b* 값을 가질 수 있다.

본 발명의 일실시예에서, 상기 사전 설정된 L*a*b* 값의 범위는, 하기 표 1 과 같이 결정될 수 있다.

[표 1]

구간번호	L* 값 범위	a* 값 범위	b* 값 범위
1	99.85 < L* ≤100	전체	전체
2	95 < L* ≤99.8	-18 < a* ≤18	-18 < b* ≤18
3	90 < L* ≤95	-18 < a* ≤18	-18 < b* ≤18
4	85 < L* ≤90	-16 < a* ≤16	-16 < b* ≤16
5	80 < L* ≤85	-14 < a* ≤14	-14 < b* ≤14
6	75 < L* ≤80	-12 < a* ≤12	-12 < b* ≤12
7	70 < L* ≤75	-10 < a* ≤10	-10 < b* ≤10
8	65 < L* ≤70	-9 < a* ≤9	-9 < b* ≤9
9	60 < L* ≤75	-8 < a* ≤8	-8 < b* ≤8
10	55 < L* ≤60	-7 < a* ≤7	-7 < b* ≤7
11	50 < L* ≤55	-6 < a* ≤6	-6 < b* ≤6
12	45 < L* ≤50	-5 < a* ≤5	-5 < b* ≤5
13	40 < L* ≤45	-4 < a* ≤4	-4 < b* ≤4
14	20 <L* ≤40	-3 < a* ≤3	-3 < b* ≤3

바람직하게, 상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는, 상기 L* 값이 큰 구간부터 순서대로 각 구간에 속한 픽셀들의 누적된 수가 기설정된 기준 샘플수보다 많거나 같아지는 구간까지 각 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계일 수 있다.

이 때, 상기 기준 샘플수는, 상기 입력 영상의 전체 픽셀수의 최소 2.5 %인 것이 바람직하다.

바람직하게, 상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는, 하기 식 3을 만족하는 최소 n을 결정하고, 1번 구간부터 n번 구간까지 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계일 수 있다.

[식 3]

n 번 구간까지의 누적픽셀수 ≥ 기준 샘플수

본 발명의 일실시형태에서, 상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는, 상기 복수의 구간에 속한 픽셀의 수를 서로 비교하여 상기 입력 영상이 영상 전체의 밝기 분포가 일정한 일반 입력 영상인지 영상의 일부분만 밝은 특정 입력 영상인지를 판단하는 단계; 상기 판단결과 상기 입력 영상이 일반 입력 영상인 경우, 상기 L* 값이 큰 구간부터 순서대로 각 구간에 속한 픽셀들의 누적된 수가 기설정된 기준 샘플수보다 많거나 같아지는 구간까지 각 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계; 및 상기 판단결과 상기 입력 영상이 특정 입력 영상인 경우, 가장 큰 L* 값을 갖는 구간을 제외한 상기 복수의 구간 중 상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계를 포함할 수 있다.

이 실시형태에서, 상기 판단하는 단계는, 가장 큰 L* 값을 갖는 구간 및 두번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제1 합과 세번째로 큰 L* 값을 갖는 구간 및 네번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제2 합을 비교하는 단계; 상기 제1 합이 제2 합보다 작은 경우 상기 입력 영상을 상기 일반 입력 영상으로 판단하고, 상기 제1 합이 제2 합보다 큰 경우 상기 두번째로 큰 L* 값을 갖는 구간과 상기 세번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제3 합과 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수를 비교하는 단계; 및 상기 제3 합이 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수 보다 큰 경우 상기 입력 영상을 상기 일반 입력 영상으로 판단하고, 상기 제3 합이 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수 보다 작은 경우 상기 특정 입력 영상으로 판단하는 단계를 포함할 수 있다.

바람직하게, 상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계에서, 상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간이 존재하지 않는 경우 상기 입력 영상을 다시 상기 일반 입력 영상으로 판단할 수 있다.

또한, 상기 컬러 이득을 산출하는 단계는, 상기 기준 백색이 변화된 것으로 추정할 수 있는 사전 설정된 L*a*b* 값의 범위 내에 속하는 상기 입력 영상의 픽셀들의 L* 값의 평균값과, a*=0 및 b*=0를 목표값으로 설정하는 단계; 상기 기준 백색 추정값을 상기 목표값으로 이동시키기 위한 접근값을 산출하는 단계; 및 상기 접근값을 RGB 색공간으로 이동시키는 단계를 포함하는 것이 바람직하다.

이 때, 상기 접근값을 산출하는 단계는, 하기 식 4과 같이 컨스턴트 모듈러스 알고리즘(Constant Modulus Algorithm: CMA)을 적용하여 접근값을 산출하는 단계인 것이 바람직하다.

[식 4]

(App_point: 접근값, Tar_point: 목표값이며, Ave_image: 기준 백색 추정값, μ: 임의의 접근 인자, 상기 접근값, 목표값 및 기준 백색 추정값은 각각 [L* a* b*]형태의 행렬로 표현됨)

바람직하게, 상기 접근값을 RGB 색공간으로 이동시키는 단계는, 상기 접근값이 갖는 L*a*b* 값을 국제조명위원회 표준안에 따른 XYZ 값으로 변환하는 단계; 및 상기 변환된 각 픽셀의 XYZ 값을 RGB 값으로 변환하는 단계를 포함할 수 있다.

이 경우, 상기 XYZ 값으로 변환하는 단계는 하기 식 5과 같이 수행되며, 상기 RGB 값으로 변환하는 단계는 하기 식 6과 같이 수행될 수 있다.

[식 5]

(여기서, X_n=95.047, Y_n=100, Z_n=108.883)

[식 6]

(L*, a*, b*: 상기 접근값의 L* 값, a* 값, b* 값, X, Y, Z: 상기 변환된 접 근값의 X 값, Y 값, Z 값, R, G, B: 상기 변환된 접근값의 R 값, G 값, B 값)

바람직하게, 상기 컬러 이득을 산출하는 단계는, 상기 RGB 색공간으로 이동된 접근값을 정규화하고, 상기 정규화된 접근값의 역수를 컬러 이득으로 결정하는 단계를 더 포함할 수 있으며, 이 단계는 하기 식 7과 같이 컬러 이득을 결정할 수 있다.

[식 7]

(R_gain, G_gain, B_gain: 입력영상의 R 값, G 값 및 B 값 각각에 대한 컬러 이득, R: 접근값의 R 값, G: 접근값의 G 값, B: 접근값의 B 값)

본 발명의 일실시형태는, 상기 산출된 컬러 이득을 상기 입력 영상에 적용하여 상기 입력 영상의 색상을 보정하는 단계를 더 포함할 수 있다. 또한, 상기 색상이 보정된 입력 영상을 새로운 입력 영상으로 설정하여 상기 색공간 변환 단계, 상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계, 상기 기준 백색 추정값으로 결정하는 단계, 상기 컬러 이득을 산출하는 단계 및 상기 보정하는 단계를 반복 수행하는 것이 바람직하다.

본 발명에 따르면, 기준 백색의 추정을 위해 입력 영상을 실제의 색차와 시각상의 색차가 일치하는 특징을 갖는 CIE L*a*b*색 공간으로 영상을 이동시켜 영상의 분포를 통해 특성을 파악함으로써 사람의 시각에 일치하는 기준 백색 추정이 가능하여 더욱 자연스러운 오토 화이트 밸런스가 가능한 효과가 있다.

또한, L*, a*, b*에 따른 복수의 구간에 포함된 픽셀의 수들을 비교하여 영상을 분류 함으로써, 영상의 특정 부분만이 매우 밝거나 특정 색이 많이 분포하는 경우에 잘못된 백색을 추정하여 잘못된 화이트 밸런스를 하는 것을 방지 할 수 있는 효과가 있다.

또한, 화이트 밸런스를 위해 영상의 전 픽셀을 대상으로 하는 것이 아니라 기준 백색이 변화된 것으로 추정할 수 있는 추정범위 내에 포함된 픽셀만 연산의 대상이 되므로, 연산이 복잡하지 않고 단순한 하드웨어로 구현이 가능하여 휴대 전화기나 피디에이(PDA)와 같은 초소형 디지털 카메라 장치로의 적용이 가능한 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.

도 1은 본 발명의 일실시형태에 따른 자동 화이트밸런스 방법을 도시한 플로우차트이다.

도 1에 도시된 바와 같이, 본 발명의 일실시형태에 따른 자동 화이트밸런스 방법은, 입력영상의 색공간을 RGB 색공간에서 국제 조명 위원회(Commission International de I'Eclairage: CIE) L*a*b* 색공간으로 변환하는 색공간 변환 단계(S11)와, 기준 백색을 추정하기 위해 사전 설정된 L*a*b* 값의 범위(기준 백색 추정범위) 내에 포함된 픽셀을 결정하는 기준 백색의 추정에 사용될 픽셀을 결정하는 단계(S12)와, 상기 기준 백색의 추정에 사용될 픽셀의 적어도 일부를 이용하여 기준 백색 추정값을 결정하는 단계(S13)와, 상기 기준 백색 추정값을 이용하여 컬러 이득을 산출하는 단계(S14)를 포함한다.

더하여, 상기 산출된 컬러 이득을 상기 입력 영상에 적용하여 상기 입력 영상의 색상을 보정하는 단계(S15)를 더 포함할 수 있으며, 이 보정된 새로운 입력 영상으로 설정하여(S16) 다시 상기 단계들(S11-S15)을 반복할 수 있다.

이하, 상기와 같은 단계들을 포함하는 본 발명의 일실시형태에 대해 각 단계별로 더욱 상세하게 그 작용을 설명한다.

색공간 변환 단계(S11)

본 발명의 일실시형태는, 먼저 입력되는 영상의 색공간을 국제 조명 위원회(Commission International de I'Eclairage: CIE) L*a*b* 색공간으로 변환한다. 이 색공간 변환 단계(S11)에서는, 입력 영상의 각 픽셀이 갖는 적색, 녹색, 청색(RGB) 값을 L*, a*, b* 값으로 변환할 수 있다.

CIE L*a*b* 색공간은 색좌표 상의 색차와 시각상의 색차가 일치하는 특징을 갖는 색공간으로, 적색, 녹색, 청색(RGB) 신호를 대신하여 밝기를 나타내는 L*을 수직 축으로 하고 색도를 나타내는 a*, b*를 축으로하는 수평 평면으로 이루어진 색공간이다. L*은 0 내지 100의 값을 가지며 값이 클수록 밝은 색을 나타낸다. a*는 0 값을 기준으로 양(+)의 방향의 값은 적색(Red)을, 음(-)의 방향의 값은 녹색(Green)을 나타낸다. 또한, b*는 0 값을 기준으로 양(+)의 방향의 값은 노란색(Yellow)을, 음(-)의 방향의 값은 파란색(Blue)을 나타낸다. 이러한 CIE L*a*b* 색공간이 도 2에 3차원으로 도시된다.

본 발명은 입력되는 영상의 색공간을 시각상의 색차와 일치하는 CIE L*a*b* 색공간으로 변환함으로써 영상 정보의 분포를 시각적으로 쉽게 파악할 수 있는 장점을 갖는다.

RGB 공간의 입력 영상을 CIE L*a*b* 색공간으로 변환하기 위해서, 입력 영상의 전체 픽셀의 RGB 값을 변환행렬을 이용하여 XYZ 값으로 변환하고, 다시 변환된 XYZ 값을 L*a*b* 값으로 변환한다.

CIE의 표준안에 따른 XYZ 좌표로의 변환행렬은 하기 식 1과 같다.

[식 1]

상기 식 1에서 2.55는, 통상 RGB 값이 8비트 즉 0 내지 255의 값을 갖는 것을 감안하여, CIE L*a*b* 색공간의 L*의 값이 가질 수 있는 범위를 0 내지 100으로 나타낼 수 있도록 하기 위해 정규화를 하기 위한 값이다. RGB 값이 다른 범위에서 표현되는 경우 식 1의 2.55라는 값은 RGB 값의 범위에 따라 변경될 수 있다.

상기 식 1에 의해 구한 XYZ 값을 L*a*b* 값으로 변환하기 위해 하기 식 2와 같은 공식이 표준안에 알려져 있다.

[식 2]

상기 식 1 및 식 2를 통해 입력된 RGB 영상신호는 CIE L*a*b* 색공간으로 변환된다. CIE L*a*b* 색공간에서는 L*=100, a*=0, b*=0인 값이 가장 밝은 백색, 즉 기준 백색이 된다.

기준 백색의 추정에 사용될 픽셀을 결정하는 단계(S12)

본 단계(S12)에서는 CIE L*a*b* 색공간으로 변환된 입력 영상의 픽셀 중 기준 백색이 변화된 것으로 추정할 수 있는 픽셀(설명의 편의를 위해 이하에서는 '추정 픽셀'이라 지칭함)을 결정하고, 이 중 일부 또는 전부를 기준 백색의 추정에 사용될 픽셀으로 결정한다. 이 추정 픽셀은, 기준 백색이 변화된 것으로 추정할 수 있는 L*a*b* 값의 범위(설명의 편의를 위해 이하에서는 '추정범위'라 지칭함) 내에 존재하는 L*a*b* 값을 갖는 픽셀이다. 상기 추정범위는 다음과 같이 사전 결정될 수 있다.

CIE L*a*b* 색공간에서 L*=100, a*=0, b*=0가 기준 백색의 좌표가 되므로, 입력된 신호의 픽셀이 L*=100, a*=0, b*=0에 가까울수록 광원 등에 의해 기준 백색이 변화된 픽셀로 추정할 수 있다. 즉, CIE L*a*b* 색공간으로 변환된 입력 영상의 픽셀 중 L*=100, a*=0, b*=0에 가까운 픽셀일수록 원래 기준 백색을 갖는 픽셀일 확률이 높다. 따라서, 본 발명에서는 기준 백색이 변화된 픽셀이 가질 수 있는 L* 값에 따른 a*, b* 값의 범위를 사전에 결정한 후 이 범위 내에 존재하는 픽셀을 대상으로 백색을 추정한다. 추정범위를 결정하는 기법에 대해 더욱 상세하게 설명하면 다음과 같다.

앞서 설명하였듯이, 영상에서 주변 환경에 의해 기준 백색이 변화되어 존재할 가능성이 가장 높은 영역은, 픽셀의 L*,a*,b* 값들이 L*=100,a*=0,b*=0에 가장 가까운 픽셀들이다. 정확히 기준 백색에 가까운 픽셀을 얻기 위해서, 영상에 포 함된 모든 픽셀을 기준 백색으로부터의 거리에 따라 순위를 정렬하고 기준 백색을 포함한 일정한 범위 내에 속하는 픽셀의 L*,a*,b* 값들을 백색 추정을 위해 선택함으로써 충분한 수의 픽셀을 이용하여 백색을 추정한다면 매우 정확한 백색 추정이 가능하지만, 이러한 방법은 복잡한 연산 과정과 연산 시스템을 필요로 하므로 시간적인 측면이나 경제적인 측면에서 적합하지 못하다.

그러나, 본 발명에서는 도 3 및 도 4에 도시된 것과 같은 L* 값에 따른 색영역(gamut)을 참고하여 기준 백색의 색도가 변화되어 CIE L*a*b*색공간에 분포되어 있을 가능성이 있는 a* 및 b* 값의 영역을 결정한다. 주변 환경에 따른 회색도(gray level)의 변화 정도를 살펴보면, 기준 백색에 가까울수록 변화량이 큰 것으로 나타나며 어두워질수록 그 변화를 인지하기 어렵다. 따라서, 본 발명에서는, 0-100의 범위를 갖는 L* 값을 크기 순에 따라 복수의 영역으로 구분하고, 상기 구분된 L* 값의 각 영역별로 a* 값 및 b* 값의 영역이 결정한다. 즉, 본 발명에서, 상기 추정범위는 크기 순으로 복수의 영역으로 구분된 L* 값의 각 영역별로 a* 값 및 b* 값의 영역이 결정된 복수의 구간으로 이루질 수 있다. 또한, L*이 클수록 기준 백색이 존재할 수 있는 범위가 넓어 지므로, L* 값에 따른 a*, b* 값의 영역은 도 5의 (a), (b)에 도시된 바와 같이, L* 값이 클수록 a*, b* 값의 영역을 넓게 결정하고, L*의 값이 작을수록 a*, b* 값의 영역를 좁게 결정한다. 이를 통해, 영상에 포함된 모든 픽셀이 아니라 기준 백색이 변화될 확률이 높은 픽셀들만을 대상으로 기준 백색을 추정할 수 있게 됨으로써, 기준 백색 추정을 위한 연산 과정 및 연 산 시스템을 간소화할 수 있다.

전술한 것과 같은, 기준 백색이 변화된 것으로 추정할 수 있는 L*a*b* 값의 추정범위는 다음의 표 1과 같이 14 개의 구간으로 결정될 수 있다. 하기 표 1은 본 발명을 실시하기 위한 예시적인 실시형태를 설명하기 위한 것으로, 표 1에 개시된 범위의 수치가 본 발명을 한정하는 것은 아니다.

[표 1]

상기 표 1에 도시된 실시형태에서와 같이, 기준 백색이 변화된 것으로 추정할 수 있는 L*a*b* 값의 범위는, L* 값이 99.8 - 100인 구간의 픽셀들은 모두 기준 백색이 광원에 의해 변화된 것으로 간주될 수 있으며, 그 외의 구간에서는 소정 단위로 L* 값을 구분하고, 구분된 각각의 L* 값의 영역에 적용되는 a*, b* 값의 영역를 적절하게 설정할 수 있다. 또한, L* 값이 0-20인 영역에서는 검은색에 매우 가까운 색으로 기준 백색이 변화되어 존재할 확률의 거의 없으므로 추정할 픽셀을 찾 지 않을 수 있다.

한편, 기준 백색을 추정하는데 있어, 기준 백색을 추정하는 과정에서 발생하는 오차를 최소화하기 위해 충분한 양의 샘플, 즉 기준 백색 추정에 사용되는 충분한 양의 픽셀을 확보할 필요가 있다. 이를 위해, 본 발명은 L*의 값이 큰 구간에 포함된 픽셀부터 차례로 그 수를 누적하여, 그 누적된 픽셀수가 입력 영상 전체 픽셀수의 소정 비율 이상이 되는 구간까지의 픽셀들을 선택하여 기준 백색 추정에 사용한다. 예를 들어, 상기 기준 백색 추정에 사용되는 픽셀 비율을 입력 영상의 전체 픽셀의 최소 2.5 %로 설정할 수 있다. 이는 입력 영상이 2 M 픽셀인 경우 적어도 50000 개의 픽셀을 기준 백색 추정에 사용한다는 의미이다. 설명의 편의를 위해 사전에 설정된 상기 비율에 따른 최소 샘플 수를 "기준 샘플수"라고 한다.

상기 표 1의 예에서, 각 구간은 L* 값이 큰 순서대로 그 번호를 부여하고 있다. 이 구간들의 번호를 이용하여 하기 식 8과 같이 각 구간까지의 누적 픽셀수를 산출할 수 있다.

[식 8]

누적픽셀수_1 = 1번 구간의 픽셀수

누적픽셀수_2 = 누적픽셀수_1 + 2번 구간의 픽셀수

누적픽셀수_3 = 누적픽셀수_2 + 3번 구간의 픽셀수

누적픽셀수_4 = 누적픽셀수_3 + 4번 구간의 픽셀수

…

누적픽셀수_14 = 누적픽셀수_13 + 14번 구간의 픽셀수

(누적픽셀수_k: k번 구간까지의 누적 픽셀수)

상기 식 8에 표시된 누적 픽셀수가, 기준 샘플수보다 크거나 같게되는 번호를 갖는 구간까지의 누적 픽셀을 기준 백색 추정에 사용하게 된다. 즉, 하기 식 3을 적용하여 기준 백색의 추정에 사용될 픽셀이 결정될 수 있다.

[식 3]

n 번 구간까지의 누적픽셀수 ≥ 기준 샘플수

상기 식 3을 만족하는 최소 n이 결정되면, 1번 구간 내지 n번 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정할 수 있다. 예를 들어, 3번 구간까지의 누적 픽셀수가 입력영상 픽셀수의 2.5 % 미만이고, 4번 구간까지의 누적 픽셀수가 입력영상 픽셀수의 2.5 %를 초과하는 경우, 4번 구간까지의 누적 픽셀수 즉, 1 내지 4번 구간에 포함된 픽셀을 기준 백색 추정에 사용하게 된다. 또한, 마지막 구간인 14번 구간까지 기준 샘플수보다 적은 경우, 전체 추정범위에 포함된 모든 픽셀을 기준 백색의 추정에 사용될 픽셀으로 결정하는 것이 바람직하다.

정리하면, 본 발명의 기준 백색의 추정에 사용될 픽셀을 결정하는 단계(S12)는, 전술한 것과 같이 사전에 설정된 기준 백색이 변화된 것으로 추정할 수 있는 L*a*b*값의 범위 내에 존재하는 픽셀을 선택하고, 이 중 L*이 큰 구간에 포함된 픽셀들부터 차례로 누적하여 전체 입력 영상을 기준으로 소정 비율 이상의 픽셀들로서 기준 백색의 추정에 사용될 픽셀들을 결정하는 단계일 수 있다.

한편, 상기의 기준 백색의 추정에 사용될 픽셀을 결정하는 방법은, 입력 영상의 밝기가 대체로 균일한 일반적인 영상(이하, "일반 입력 영상"이라 함)의 화이트 밸런스에 적용될 수 있는 방법이다. 전술한 기준 백색의 추정에 사용될 픽셀을 결정하는 방법이 특정 부분만이 매우 밝거나 주위 부분에 특정 색이 많이 분포하는 입력 영상(이하, "특정 입력 영상"이라 함)에 적용되는 경우 입력 영상의 환경적 변화에 의한 추정값을 잘못 추정하게 되는 수가 있다. 이에 본 발명은 이러한 특정 입력 영상에 대해서 정확한 기준 백색 추정을 하기 위한 추정 픽셀 선택 방법을 제공한다. 이 일반 입력 영상과 특정 입력 영상을 구별하여 기준 백색의 추정에 사용될 픽셀을 결정하는 방법은 도 6에 상세하게 도시된다.

먼저, 상술한 바와 같이 추정범위의 각 구간에 포함되는 추정 픽셀들이 결정된 후, 가장 큰 L* 값을 갖는 구간 및 두번째로 큰 L* 값을 갖는 구간에 속한 픽셀 수의 제1 합과 세번째로 큰 L* 값을 갖는 구간 및 네번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제2 합을 비교한다(S21). 예를 들어, 표 1과 같이 추정범위의 구간이 결정된 경우 하기 식 9를 적용할 수 있다.

[식 9]

1번 구간의 픽셀수+2번 구간의 픽셀수

≥3번 구간의 픽셀수+4번 구간의 픽셀수

상기 식 9에서 1번 구간과 2번 구간의 픽셀들은 매우 밝은 부분에서 기준 백색이 변화했을 확률이 있는 색의 범위를 만족하는 픽셀들이다. 상기 식 9를 만족한다는 것은, 매우 밝은 부분에 많은 픽셀이 포함되어 있으나, 그 보다 약간 어두운 부분(3, 4번 구간)에는 픽셀들이 많이 포함되어 있지 않는다는 것을 의미한다. 즉, 이는 입력 영상에서 특정 부분에 밝은 픽셀들이 존재하는 것으로 판단할 수 있다. 상기 식 9를 만족하지 않는 경우는 일반 입력 영상으로 판단할 수 있으므로, 전술한 것과 같이 누적된 픽셀수가 기준 샘플수보다 커지는 구간까지의 픽셀들을 기준 백색 추정에 사용할 픽셀으로 결정한다(S25).

그러나, 상기 식 9를 만족하는 경우라고 하더라도, 영상의 특정 부분이 밝은 것이 아니라 전체가 밝은 경우가 있을 수 있다. 이 경우에는 일반 입력 영상과 동일한 방식으로 기준 백색의 추정에 사용될 픽셀을 결정되는 것이 바람직하다. 상기 식 9를 만족하는 영상 중 특정 부분이 밝은 영상인지 영상 전체가 밝은 영상인지 판단하기 위해 두번째로 큰 L* 값을 갖는 구간과 세번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제3 합과 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수를 비교한다(S22). 예를 들어, 표 1과 같이 추정범위의 구간이 결정된 경우 하기 식 10을 적용할 수 있다.

[식 10]

2번 구간의 픽셀수+3번 구간의 픽셀 수≥1번 구간의 픽셀수

상기 식 10을 만족하는 경우는, 가장 밝은 구간인 1번 구간의 픽셀수보다, 1번 구간보다 어두운 2, 3번 추정역역의 픽셀수가 많으므로 전체영상이 밝은 것이라 판단할 수 있다. 즉, 식 10을 만족하는 경우에는 영상 전체가 밝은 것으로 판단하고 일반 입력 영상과 같은 방식으로 기준 백색 추정에 사용될 픽셀을 결정한다(S26).

입력 영상이 상기 식 9를 만족하고 식 10을 만족하지 않는 경우, 최종적으로 특정 입력 영상으로 판단하고 하기 식 11을 적용하여(S23) 기준 백색 추정에 사용될 픽셀을 결정한다.

[식 11]

n 번 구간의 픽셀수 ≥ 기준 샘플수 (n≠1)

즉, 식 11과 같이 기준 샘플수보다 많은 픽셀을 갖는 구간 중 최소 n을 갖는 구간에 포함된 픽셀들을 기준 백색 추정에 사용될 픽셀으로 결정한다(S24). 이 경우, 1 번 구간은 상기 식 11에서의 비교대상에 포함되지 않는다. 1 번 구간은 특정 부분만 밝은 특정 입력 영상의 이 특정 부분에 포함된 픽셀로 판단할 수 있으므로 기준 백색 추정에 이를 제외하기 위함이다. 또한, 상기 식 11을 만족하는 구간이 존재하지 않는 경우 전술한 일반 입력 영상의 기준 백색 추정을 위한 픽셀 결정 방법(S25)를 적용할 수 있을 것이다.

기준 백색 추정값을 결정하는 단계(S13)

본 단계(S13)는 전술한 기준 백색의 추정에 사용될 픽셀을 결정하는 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 픽셀값과 그 수를 이용하여 기준 백색 추정값을 결정한다.

본 발명에서, 상기 기준 백색 추정값은 상기 기준 백색의 추정에 사용될 픽셀들의 L*a*b* 값들의 평균값으로 결정될 수 있다. 즉, 상기 기준 백색 추정값은 하기 식 12와 같이 결정될 수 있다.

[식 12]

L* 추정값 = Total_L*_of_selected pixels / Number_of_selcted_pixels

a* 추정값 = Total_a*_of_selected pixels / Number_of_selcted_pixels

b* 추정값 = Total_b*_of_selected pixels / Number_of_selcted_pixels

상기 식 12에서, Total_L*(a* 또는 b*)_of_selected pixels은 상기 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 L*(a* 또는 b*) 값을 모두 합산한 값이며, Number_of_selcted_pixels은 상기 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 수이다. 상기 식 12에 나타난 바와 같이, 기준 백색 추정을 위한 L*값은 상기 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 L* 값의 평균값이며, 기준 백색 추정을 위한 a*값은 상기 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 a* 값의 평균값이며, 기준 백색 추정을 위한 b*값은 상기 단계(S12)에서 결정된 기준 백색의 추정에 사용될 픽셀들의 b* 값의 평균값이다.

기준 백색 추정값을 이용하여 컬러 이득을 산출하는 단계(S14)

본 단계(S14)에서는, 상기 식 12과 같이 산출된 기준 백색 추정값을 이용하여 이 기준 백색 추정값을 이상적인 목표값으로 이동시킬 수 있는 컬러 이득을 산출한다.

상기 식 12를 통해 얻어진 기준 백색 추정값은, 입력 영상에서의 기준 백색이 이상적인 값인 a*=0, b*=0로부터 상기 기준 백색 추정값 만큼 컬러의 변화가 있는 것이라는 의미로 이해될 수 있다. 본 단계(S14)에서는, 이를 보상하여 화이트 밸런스를 수행할 수 있는 컬러 이득(color gain)을 산출한다. 더욱 상세하게, 본 단계(S14)에서는, 화이트 밸런스를 위해 추정범위에 포함된 픽셀 전체의 L*값의 평균과, a*=0 및 b*=0을 목표값(Target Point)으로 설정하여 입력 영상의 기준 백색 추정값을 목표값으로 이동시킬 수 있는 컬러 이득을 산출한다.

또한, 본 단계(S14)에서는, 화이트 밸런스를 수행하기 위한 컬러 이득을 산출하는 과정에서 컬러 이득이 너무 클 경우 화이트 밸런스 과정에서 입력 영상의 색상이 포화(Saturation)될 확률이 커지는 것을 감안하여, 상기 기준 백색 추정값에서 목표값으로의 이동을 한번에 수행할 수 있는 컬러 이득을 산출하는 방식 보다는 상기 기준 백색 추정값을 조금씩 이동시켜 목표값과 일치시키는 컬러 이득을 산출하는 것이 바람직하다. 즉, 기준 백색 추정값과 목표값의 차를 한번에 보정하는 것이 아니라, 입력 영상에 조금씩 컬러 이득을 적용하여 보상하는 방식이 바람직하다. 이 목표값으로의 접근속도는 접근 인자(Factor)에 의해 조정 가능하다. 상기 기준 백색 추정값에서 목표값으로 이동하기 위한 접근값(Approch_point)을 구하기 위해 적응 신호처리 알고리즘의 하나인 컨스턴트 모듈러스 알고리즘(Constant Modulus Algorithm: CMA)을 적용할 수 있다. 상기 CMA는 다음의 식 13과 같이 알려져 있으며, 이를 통해 구한 가중치 벡터를 컬러 이득을 구하기 위한 요소로 사용할 수 있다.

[식 13]

상기 식 13에서 w는 가중치 벡터이며 v는 입력 신호이다. 상기 기준 백색 추정값을 목표값으로 이동시키는데 사용되는 접근값을 구하는데 상기 식 13을 반영한다. v(m)은 입력 신호로써 본 발명에서는 영상의 추정값을 적용하고, w(m)은 목표값으로 추정범위 내에 포함된 픽셀 전체의 L*값의 평균과, a*=0 및 b*=0의 값을 적용한다. 상기 식 13을 통해 얻은 w(m+1)이 화이트 밸런스를 위해 기준 백색 추정값으로부터 목표값으로 이동하기 위한 접근값(Approch point)이 된다. 이 접근값은 접근 인자인 μ의 크기를 조정함으로써 접근 속도의 조절이 가능하다. 예를 들어, 상기 접근 인자 μ의 크기로 1/32를 적용하는 것이 바람직하다. 상기 식 13을 본 발명에 적용하면 하기 식 4와 같다.

[식 4]

상기 식 4에서 App_point는 접근값이고, Tar_point는 목표값이며, Ave_image는 상기 식 13을 통해 구한 기준백색 추정값이다. 구체적으로 목표값은 [L* 추정값 0 0]으로 표현되며, 추정값은 [L*추정값 a*추정값 b*추정값]으로 표현된다. 따라서, 접근값은 [L*접근값 a*접근값 b* 접근값]의 형태로 표현될 수 있다.

한편, 상기 기준 백색 추정값에서 목표값으로 이동하기 위한 접근값은 상기 식 4에 표현된 것과 같이 CIE L*a*b* 색공간에서 산출될 수 있으나, 이 CIE L*a*b* 색공간은 휘도와 색차를 분리하여 표현한 것이므로 RGB 값으로 표현되는 입력 영상을 직접 보정해주기 위한 컬러 이득(Color Gain)을 구하는데 적합하지 않다. 따라서, 컬러 이득을 결정하기 위해서는 CIE L*a*b* 색공간에서 산출된 접근값을 RGB 색공간으로 이동시키는 과정이 필요하다.

전술한 단계(S11)에서 설명한 RGB 색공간의 입력 영상을 CIE L*a*b* 색공간으로 변환하는 과정과 유사하게, CIE L*a*b* 색공간에서 RGB 색 공간으로 옮기기 위해서는 L*a*b* 값을 XYZ 값으로 이 XYZ값을 RGB 값으로 변환하는 과정이 필요하다. 먼저, L*a*b* 값을 XYZ 값으로 변환하기 위한 변환식은 하기 식 5과 같이 알려져 있다.

[식 5]

(여기서, X_n=95.047, Y_n=100, Z_n=108.883)

또한, XYZ 값을 RGB(Red, Green, Blue) 값으로 변환하는데는 하기 식 6을 이용할 수 있는 것으로 알려져 있다.

[식 6]

상기 식 5의 마지막 세 개의 식에 곱한 상수 100과 상기 식 6의 상수 255는 RGB 값을 0-255의 범위를 갖는 값으로 변환하기 위한 것이다.

R 값, G 값 및 B 값이 모두 같을 때 어떠한 색도 포함되지 않은 그레이 레벨 중 하나가 된다. 상기 식 6을 통해 얻어진 접근값의 RGB 값의 비율은 입력영상이 그 비율만큼 해당 색에 치우쳐 있다는 것을 의미하며, 이 비율만큼 보상하는 화이트 밸런스 과정이 필요하게 된다. 따라서, 상기 비율의 역수를 영상에 곱하게 되면 화이트 밸런스를 수행할 수 있다. 따라서 화이트 밸런스를 하기 위한 상기 비율의 역수를 화이트 밸런스를 위한 컬러 이득(Color Gain)으로 결정할 수 있다. 컬러 이득을 산출하기 위해 상기 식 6을 이용하여 연산된 접근값의 RGB 값이 서로 같아 지도록 G 값을 기준으로 정규화하고(normalization), 그 역수를 입력 영상의 화이트 밸런스를 위한 컬러 이득으로 결정한다. 즉, 이 컬러 이득은 하기 식 7과 같이 구할 수 있다.

[식 7]

상기 식 7을 통해 산출된 컬러 이득은 입력 영상의 전체 픽셀 각각의 R 값, G 값 및 B 값에 R_gain, G_gain, 및 B_gain을 각각 적용함으로써 화이트 밸런스를 수행할 수 있다.

상기 접근값은 한번에 화이트 밸런스를 완료하는 것이 아니라, 목표값으로 추정값을 조금씩 이동시키기 위한 것이므로, 입력 영상의 전체 픽셀 각각의 R 값, G 값 및 B 값에 R_gain, G_gain, 및 B_gain을 적용하여 얻어진 영상을 다시 새로운 입력 영상으로 설정하여 상기 본 발명의 단계들(S11-S14)을 반복하면 더욱 정확한 화이트 밸런스가 가능하다.

도 1은 본 발명의 일실시형태에 따른 자동 화이트 밸런스 방법을 도시한 플로우차트이다.

도 2는 CIE L*a*b* 색공간을 3차원으로 도시한 도면이다.

도 3 내지 도 4는 CIE L*a*b* 색공간에서 L* 값에 따른 a* 값, b* 값의 색영역(gamut)를 도시한 도면이다.

도 5는 L* 값에 따라 결정되는 a*, b* 값의 영역의 일례를 도시한 도면이다.

도 6은 일반 입력 영상과 특정 입력 영상을 구분하여 기준 백색 추정에 사용될 픽셀을 결정하는 단계를 도시한 플로우차트이다.

Claims

입력 영상의 색공간을 RGB 색공간에서 국제조명위원회 L*a*b* 색공간으로 변환하는 색공간 변환 단계;

상기 국제조명위원회 L*a*b* 색공간에서 L*=100, a*=0, b*=0인 좌표의 색상인 기준 백색이 변화된 것으로 추정할 수 있는 사전 설정된 L*a*b* 값의 범위 내에 속하는 상기 입력 영상의 픽셀 중 적어도 일부를 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계;

상기 결정된 기준 백색의 추정에 사용될 픽셀들의 L* 값의 평균값, a* 값의 평균값 및 b* 값의 평균값을 기준 백색 추정값으로 결정하는 단계; 및

상기 기준 백색 추정값을 기설정된 화이트밸런스를 위한 목표값으로 이동시킬 수 있는 컬러 이득을 산출하는 단계

를 포함하는 오토 화이트 밸런스 방법.
제1항에 있어서, 상기 색공간 변환 단계는,

상기 입력 영상의 각 픽셀이 갖는 RGB 값을 국제조명위원회 표준안에 따른 XYZ 값으로 변환하는 단계; 및

상기 변환된 각 픽셀의 XYZ 값을 상기 L*a*b* 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제2항에 있어서, 상기 XYZ 값으로 변환하는 단계는 하기 식 1과 같이 수행되 며, 상기 L*a*b* 값으로 변환하는 단계는 하기 식 2와 같이 수행되는 것을 특징으로 하는 오토 화이트 밸런스 방법.

[식 1]

[식 2]
제1항에 있어서, 상기 사전 설정된 L*a*b* 값의 범위는,

크기 순으로 복수의 영역으로 구분된 L* 값의 각 영역별로 a* 값 및 b* 값의 영역이 결정된 복수의 구간으로 이루어지며, 상기 복수의 구간은 L*이 클수록 더 넓은 영역의 a* 값 및 b* 값을 갖는 것을 특징으로 하는 오토 화이트 밸런스 방법.

제4항에 있어서, 상기 사전 설정된 L*a*b* 값의 범위는,

하기 표 1과 같이 결정되는 것을 특징으로 하는 오토 화이트 밸런스 방법.

[표 1]

제4항에 있어서,

상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는,

상기 L* 값이 큰 구간부터 순서대로 각 구간에 속한 픽셀들의 누적된 수가 기설정된 기준 샘플수보다 많거나 같아지는 구간까지 각 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계인 것을 특징으로 하는 오토 화이트 밸런스 방법.
제6항에 있어서, 상기 기준 샘플수는,

상기 입력 영상의 전체 픽셀수의 최소 2.5 %인 것을 특징으로 하는 오토 화이트 밸런스 방법.
제5항에 있어서,

상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는,

하기 식 3을 만족하는 최소 n을 결정하고, 1번 구간부터 n번 구간까지 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계인 것을 특징으로 하는 오토 화이트 밸런스 방법.

[식 3]

n 번 구간까지의 누적픽셀수 ≥ 기준 샘플수
제4항에 있어서,

상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계는,

상기 복수의 구간에 속한 픽셀의 수를 서로 비교하여 상기 입력 영상이 영상 전체의 밝기 분포가 일정한 일반 입력 영상인지 영상의 일부분만 밝은 특정 입력 영상인지를 판단하는 단계;

상기 판단결과 상기 입력 영상이 일반 입력 영상인 경우, 상기 L* 값이 큰 구간부터 순서대로 각 구간에 속한 픽셀들의 누적된 수가 기설정된 기준 샘플수보다 많거나 같아지는 구간까지 각 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계; 및

상기 판단결과 상기 입력 영상이 특정 입력 영상인 경우, 가장 큰 L* 값을 갖는 구간을 제외한 상기 복수의 구간 중 상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계를 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제9항에 있어서, 상기 판단하는 단계는,

가장 큰 L* 값을 갖는 구간 및 두번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제1 합과 세번째로 큰 L* 값을 갖는 구간 및 네번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제2 합을 비교하는 단계;

상기 제1 합이 제2 합보다 작은 경우 상기 입력 영상을 상기 일반 입력 영상으로 판단하고, 상기 제1 합이 제2 합보다 큰 경우 상기 두번째로 큰 L* 값을 갖는 구간과 상기 세번째로 큰 L* 값을 갖는 구간에 속한 픽셀수의 제3 합과 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수를 비교하는 단계; 및

상기 제3 합이 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수 보다 큰 경우 상기 입력 영상을 상기 일반 입력 영상으로 판단하고, 상기 제3 합이 상기 가장 큰 L* 값을 갖는 구간에 속한 픽셀수 보다 작은 경우 상기 특정 입력 영상으로 판단하는 단계를 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제9항에 있어서,

상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간에 포함된 픽셀들을 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계에서, 상기 기설정된 기준 샘플수보다 많은 수의 픽셀을 갖는 가장 큰 L* 값을 갖는 구간이 존재하지 않는 경우 상기 입력 영상을 다시 상기 일반 입력 영상으로 판단하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제1항에 있어서, 상기 컬러 이득을 산출하는 단계는,

상기 기준 백색이 변화된 것으로 추정할 수 있는 사전 설정된 L*a*b* 값의 범위 내에 속하는 상기 입력 영상의 픽셀들의 L* 값의 평균값과, a*=0 및 b*=0를 목표값으로 설정하는 단계;

상기 기준 백색 추정값을 상기 목표값으로 이동시키기 위한 접근값을 산출하는 단계; 및

상기 접근값을 RGB 색공간으로 이동시키는 단계를 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제12항에 있어서, 상기 접근값을 산출하는 단계는,

하기 식 4과 같이 컨스턴트 모듈러스 알고리즘(Constant Modulus Algorithm: CMA)을 적용하여 접근값을 산출하는 단계인 것을 특징으로 하는 오토 화이트 밸런스 방법.

[식 4]

(App_point: 접근값, Tar_point: 목표값이며, Ave_image: 기준 백색 추정값, μ: 임의의 접근 인자, 상기 접근값, 목표값 및 기준 백색 추정값은 각각 [L* a* b*]형태의 행렬로 표현됨)
제12항에 있어서, 상기 접근값을 RGB 색공간으로 이동시키는 단계는,

상기 접근값이 갖는 L*a*b* 값을 국제조명위원회 표준안에 따른 XYZ 값으로 변환하는 단계; 및

상기 변환된 각 픽셀의 XYZ 값을 RGB 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제14항에 있어서, 상기 XYZ 값으로 변환하는 단계는 하기 식 5과 같이 수행되며, 상기 RGB 값으로 변환하는 단계는 하기 식 6과 같이 수행되는 것을 특징으로 하는 오토 화이트 밸런스 방법.

[식 5]

(상기 식 5에서, X_n=95.047, Y_n=100, Z_n=108.883, L*, a*, b*: 상기 접근값의 L* 값, a* 값, b* 값)

[식 6]

(상기 식 6에서, X, Y, Z: 상기 변환된 접근값의 X 값, Y 값, Z 값, R, G, B: 상기 변환된 접근값의 R 값, G 값, B 값)
제12항에 있어서, 상기 컬러 이득을 산출하는 단계는,

상기 RGB 색공간으로 이동된 접근값을 정규화하고, 상기 정규화된 접근값의 역수를 컬러 이득으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 오토 화이트 밸런스 방법.
제16항에 있어서,

상기 컬러 이득은 하기 식 7과 같이 결정되는 것을 특징으로 하는 오토 화이트 밸런스 방법.

[식 7]

(R_gain, G_gain, B_gain: 입력영상의 R 값, G 값 및 B 값 각각에 대한 컬러 이득, R: 접근값의 R 값, G: 접근값의 G 값, B: 접근값의 B 값)
제1항에 있어서,

상기 산출된 컬러 이득을 상기 입력 영상에 적용하여 상기 입력 영상의 색상을 보정하는 단계를 더 포함하며,

상기 색상이 보정된 입력 영상을 새로운 입력 영상으로 설정하여 상기 색공간 변환 단계, 상기 기준 백색의 추정에 사용될 픽셀으로 결정하는 단계, 상기 기준 백색 추정값으로 결정하는 단계, 상기 컬러 이득을 산출하는 단계 및 상기 보정하는 단계를 반복 수행하는 것을 특징으로 하는 오토 화이트 밸런스 방법.