KR101030393B1

KR101030393B1 - 디지털 영상의 화이트 밸런스 조정 장치 및 방법

Info

Publication number: KR101030393B1
Application number: KR1020090014438A
Authority: KR
Inventors: 김지혜; 조성대; 박민규; 박희찬; 김진호; 오윤제; 김경태; 김춘우; 장슬기
Original assignee: 인하대학교 산학협력단; 삼성전자주식회사
Priority date: 2009-02-20
Filing date: 2009-02-20
Publication date: 2011-04-20
Anticipated expiration: 2029-02-20
Also published as: EP2227025A1; EP2227025B1; KR20100095253A; US20100214434A1

Abstract

본 발명은 디지털 영상의 화이트 밸런스 조정 방법에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 과정과, 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정과, 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과, 계산한 각 채널별 이득을 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정과, 상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 포함한다.

화이트 밸런스, 컬러 매칭 행렬, 광원, 휘도

Description

디지털 영상의 화이트 밸런스 조정 장치 및 방법{APPARATUS AND METHOD FOR ADJUSTING WHITE BALANCE OF DIGITAL IMAGE}

본 발명은 디지털 영상을 처리하는 장치 및 방법에 관한 것으로서, 특히 디지털 영상의 화이트 밸런스를 조정하는 장치 및 방법에 관한 것이다.

컬러의 영상을 제공하거나 촬영하기 위한 영상 장치는 재생되는 영상 또는 촬영된 영상을 사용자가 인식한 피사체와 동일하거나 거의 유사한 정도로 색을 유지하기 위해서 화이트 밸런스(White balance) 조정을 하게된다.

피사체가 촬영되는 조건 중에서 특히 피사체를 조명하는 광원(ex 태양광, 형광등, 백열등) 또는 피사체가 촬영되는 외부 배경으로 인해서, 피사체의 색이 최초에 사용자가 인지한 색과 다른 색감을 갖는 영상이 촬영 또는 재생될 수 있다. 인간은 조명과 장소가 달라지더라도 색에 대한 순응성을 가지고 있기 때문에 색의 변화를 느끼지 못하나, 디지털 카메라 또는 영상을 재생하기 위한 수단과 같은 기기들은 색에 대한 순응성이 없기 때문에 사용자가 느낀 피사체의 색감이 실제 촬영 또는 재생되는 영상의 색과 다를 수 있다.

화이트 밸런스는 상술한 바와 같이 사용자가 인식한 피사체의 색과 다른 색 감을 갖는 영상을 최초 사용자가 인식한 색과 동일하거나 거의 유사한 정도로 조정하는 과정을 의미한다. 화이트 밸런스는 영상에 포함된 영역들 중에서 흰색의 영역을 기준으로 하며, 촬영되는 피사체를 조명하는 광원 또는 주변 배경에 따라서 변화된 흰색을 사용자가 인지한 최초의 흰색으로 되돌리는 보정 방법이다.

화이트 밸런스 조정 방법으로는 촬영 시 이용된 배경 조명의 종류(광원)를 추정하고, 추정된 배경 조명에 따라서 화이트 밸런스를 조정하는 방법이 있다. 이 방법은 영상의 흰색 영역을 찾아서 그에 해당하는 영상 정보 RGB 값의 평균 또는 색차 신호((R-Y)(B-Y))의 평균을 이용해서 각 채널의 이득을 조절하는 방법이다. 그 외, 광원을 추정하지 않는 방법에는 영상 전체의 채널별 평균값을 이용하여 각 채널의 이득을 조절하는 방법이 있다. 이 방법은 입력 영상이 충분한 색상 변화를 가질 경우 각 채널의 평균으로 이루어진 색상을 회색이라고 가정한다. 즉, 각 채널의 평균값이 동일해지도록 영상의 RGB 값의 이득을 조절하면 영상의 화이트 밸런스를 재현할 수 있다.

상기 배경 조명을 추정하여 화이트 밸런스를 조정하는 방법은 영상의 흰색 영역을 찾는 과정이 선행되어야 한다. 따라서 입력 영상이 흰색 영역을 포함하는 경우에만 화이트 밸런스를 조정할 수 있으며, 영상의 흰색 영역을 정확하게 검출하지 못하면 화이트 밸런스 조정의 성능이 저하될 수 있다.

또한 배경 조명을 추정하여 화이트 밸런스를 조정하는 방법은 촬영 시 센서의 특성을 고려하지 않은 단순한 화이트 검출 방법이기 때문에 화이트 밸런스 후의 성능이 좋지 않다. 또한 화이트 밸런스 조정 후 컬러 매칭 시에 광원에 상관없이 하나의 변환 행렬(또는 룩업 테이블(lookup table))을 사용하기 때문에 광원에 따라서 색이 달라 보일 수 있다.

본 발명은 흰색을 포함하는 영상에 대해서 광원에 의한 색의 왜곡을 최소화하기 위한 화이트 밸런스 조정 장치 및 방법을 제공하고자 한다.

이를 달성하기 위한 본 발명의 일 형태에 따르면, 디지털 영상의 화이트 밸런스 조정 방법에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 과정과, 상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정과, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과, 상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정을 포함함을 특징으로 하며,

상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 더 포함함을 특징으로 하며,

상기 변환된 영상의 각 화소가 YCbCr 색공간에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 과정은, 각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하는 과정과, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하는 과정과, 상기 각 광원마다, 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하는 과정과, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하는 과정과, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 형태에 따르면, 디지털 영상의 화이트 밸런스 조정 장치에 있어서, 입력 영상을 YCbCr 색공간 형태로 변환하는 영상 변환부와, 상기 변환된 입력 영상의 각 화소가 YCbCr 색공간(color space)에서 미리 설정된 영역 내에 포함되는지 판단하여 화이트 화소를 검출하는 화이트 검출부와, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 이득 계산부와, 상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 화이트 밸런스 수행부를 포함함을 특징으로 하며,

상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하고, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 컬러 매칭 수행부를 더 포함함을 특징으로 하며,

상기 화이트 검출부는, 각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하며, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하며, 상기 각 광원마다 상기 모델링된 1차함수 그래프의 기 울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하며, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하며, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 한다.

본 발명은 흰색을 포함하는 영상의 화이트 영역을 정확히 검출하여 화이트 밸런스 조정의 성능을 향상시킬 수 있으며, 이에 따라 광원에 따른 색의 왜곡을 최소화하고 영상의 품질을 향상시키는 효과가 있다.

이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

본 발명은 디지털 영상의 화이트 밸런스를 조정하여 흰색을 포함하는 영상에 대해 광원에 따른 색의 왜곡을 최소화하고 영상의 품질을 향상시킨다. 이를 위 해 본 발명은 입력된 영상을 YCbCr 색공간(color space) 형태로 변환하고, 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 패치를 각 광원에 대하여 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)와의 관계를 나타낸 그래프를 1차함수 그래프로 모델링하여 모델링된 1차함수 그래프를 이용하여 입력된 영상의 화이트 화소를 검출한다. 그리고 검출된 화이트 화소들의 R, G, B 평균으로부터 R, G, B 이득(gain)을 계산하고, 계산된 R, G, B 이득을 이용하여 화이트 밸런스를 조정하며, 특정 채널의 이득으로 광원을 구분하고 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하는 것을 특징으로 한다. 이하 도면을 참조하여 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치 및 방법에 대해 더욱 상세히 살펴보기로 한다.

도 1은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치의 블록 구성도이다.

본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치는 영상 변환부(110)와, 화이트 검출부(120)와, 이득 계산부(130)와, 화이트 밸런스 수행부(140)와, 컬러 매칭 수행부(150)를 포함한다.

영상 변환부(110)는 입력된 영상의 각 픽셀의 RGB(Red, Green, Blue)값을 이용하여 입력된 영상을 YCbCr 색공간 형태로 변환한다. YCbCr 변환은 하기의 수학식 1을 이용한다.

상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타낸다.

화이트 검출부(120)는 영상 변환부(110)로부터 YCbCr 색공간 형태로 변환된 정보를 전달받아 화이트 화소를 검출한다.

먼저 화이트 검출부(120)는 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치에 대해 각각 |Cb|+|Cr|과 Y에 대한 1차함수 그래프를 모델링한다. 상기 'Macbeth color checker'는 도 8의 800에 도시되며 일반적으로 영상의 채도 레벨 측정에 사용하는 시험 차트이다.

도 2는 각 광원별로 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치를 각 광원에서 CMOS(complementary metal-oxide semiconductor) 센서로 촬영 후 YCbCr 색공간 형태로 변환하여 CbCr 평면에 도시한 그래프이다. 본 발명의 일 실시 예에서는 Horizon, A, U30, Cool white, D65의 다섯가지 광원을 이용한다. 도 2를 참조하면 다섯 가지 광원에서 상기 6개의 그레이 패치에 대한 CbCr을 나타내는 그래프는 Horizon, A, U30, Cool white, D65의 각 광원의 순서대로 왼쪽 위에서 오른쪽 아래에 표시된다.

또한 각 그래프들은 휘도가 커질수록 그레이 축(Cb=Cr=0)으로부터 멀어지는 특징이 있다. 이러한 특징으로 인해 |Cb|+|Cr|이 커질수록 휘도가 커진다. 도 3은 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프이다.

도 3의 그래프는 |Cb|+|Cr|과 휘도가 비례하기 때문에 1차함수 그래프로 모델링할 수 있다. 도 4는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프를 1차함수 그래프로 모델링하여 표시한 도면이다.

도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 영상의 화이트 검출을 위해 모델링된 1차함수 그래프에서 화이트로 검출되는 기울기 범위를 도시한 도면이다. 본 발명은 각 광원 별로 모델링된 1차함수 그래프의 기울기에서 미리 설정된 만큼 더하거나 뺀 기울기를 가지는 두 개의 새로운 1차함수 그래프를 계산하고, 그 두 개의 새로운 1차함수 그래프 영역 내에 입력된 영상의 화소가 포함되는지 판단하여 화이트 화소인지 여부를 판단한다. 즉, 특정 광원의 휘도와 |Cb|+|Cr| 관계를 1차함수 그래프인 Y=aX+b 의 형태로 모델링하고, 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값인 tol만큼 차이 나는 두 개의 1차함수 그래프를 도 5에 도시한 바와 같이 계산한다. 그리고 입력된 영상의 화소가 상기 계산된 두 개의 1차함수 그래프의 사이 영역에 포함되면 화이트 화소로 판단한다.

또한 휘도가 입력 영상의 평균 휘도의 미리 설정된 배수인 c배보다 큰 경우 에도 화이트 화소로 판단한다. 이러한 화이트 검출은 하기의 수학식 2 및 수학식 3에 의해 수행된다.

(a-tol)(|Cb|+|Cr|)+b < Y < (a+tol)(|Cb|+|Cr|)+b

상기 수학식 2의 a는 특정 광원의 휘도와 |Cb|+|Cr|의 관계를 나타내는 모델링된 1차함수 그래프의 기울기이고, b는 y절편, tol는 미리 설정된 기울기 범위이며, Y는 입력 영상의 휘도를 나타낸다.

상기 수학식 3의

는 입력 영상의 평균 휘도이고, c는 평균 휘도에 곱해지는 미리 설정된 상수를 나타낸다.

상기 수학식 2의 경우 5개 광원에 대해 계산된 두 개의 1차함수 그래프에 대해서 모두 적용한다. 즉 5개의 광원으로 도출된 식을 모두 만족하는 화소를 화이트 화소로 판단하여 검출한다.

또한 입력 영상의 RGB가 그레이와 가깝다면, 즉 입력 영상의 Cb와 Cr이 동시에 0에 근접하면 화이트 검출 시 제외한다. 이에 입력 영상의 Cb와 Cr의 절대값이 미리 설정된 문턱값보다 작은 경우 그레이와 가깝다고 판단하여 화이트 검출 시 제외한다.

이는 검출된 화이트로 자동 화이트 밸런스에서 사용될 RGB 이득을 계산하는 데, 계산 시 그레이가 포함된다면 이득 계산이 잘못되어 자동 화이트 밸런스 결과 영상이 색을 띌 수 있기 때문이다. 따라서 수학식 2 또는 수학식 3을 만족하면서 더불어 하기의 수학식 4도 만족하는 경우에 화이트 화소로 판단한다.

Cb <　TH　or Cb >　TH

Cr <　TH　or Cr >　TH

상기 수학식 4에서 Th는 미리 설정된 문턱값이며 그레이를 검출하기 위한 기준이 된다.

도 6은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 각 광원에 따른 화이트 검출 결과를 도시한 도면이다. 도 6은 각 광원 별 'Macbeth color checker'에 대해서 화이트 검출 전 영상과 화이트 검출 결과 영상을 나타낸다. 도 6에 도시된 각 오른쪽 영상에서 흰색으로 표시된 영역은 화이트 화소가 검출된 영역을 나타낸다.

이득 계산부(130)는 화이트 밸런스 조정을 수행하기 위해 검출된 화이트 화소들의 R, G, B 평균으로부터 R, G, B 이득을 계산한다. 이득 계산은 하기의 수학식 5를 이용한다.

상기 수학식 5에서

는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 R값의 평균이며,

는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 G값의 평균이며,

는 상기 화이트 검출부(120)에서 검출한 화이트 화소들의 B값의 평균이다. 상기 수학식 5에서 R_gain은 R 이득이며, G_gain은 G 이득이며, B_gain은 B 이득이다.

화이트 밸런스 수행부(140)는 상기 수학식 4에 의해 계산된 R, G, B 이득을 이용하여 화이트 밸런스 조정을 수행한다. 화이트 밸런스 조정은 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 수행된다.

상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이 된다.

컬러 매칭 수행부(150)는 화이트 밸런스가 수행된 영상에 컬러 매칭 행렬을 적용한다.

도 7은 R, G, B 별 각 광원의 이득 값을 나타낸 도면이다. 도 7을 참조하면, R 이득과 B 이득은 광원에 따라 다른 값을 가지며 G 이득은 광원에 상관없이 비슷한 값을 나타낸다. 이에 광원 구분을 위해 R 이득 또는 B 이득이 사용될 수 있다.

상기 화이트 밸런스 수행부(140)에서 화이트 밸런스를 수행 후에 컬러 매칭 수행부(150)는 컬러 매칭을 위한 행렬을 적용한다.

도 8은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 수행되는 컬러 매칭 행렬을 만드는 과정을 도시한 도면이다.

컬러 매칭 행렬을 계산하기 위해서는 먼저 'Macbeth color checker'(800)를 Horizon, A, U30, Cool white, D65의 다섯 개의 광원에서 촬영 후 화이트 밸런스를 수행(810)하여 각 패치의 R, G, B값을 획득(820)한다. 또한 24개 패치의 Lab를 측정(840)하고, 측정한 Lab를 RGB 형태로 표현(830)하여 R', G', B'로 변환한다(850). 이 경우 화이트 밸런스 수행 후 획득된 각 패치의 R, G, B와 Lab로부터 변환된 R', G', B' 사이를 선형 변환(linear transformation)하는 행렬(860)이 컬러 매칭 행렬이 된다. 이때 컬러가 광원별로 다르기 때문에 광원별로 컬러 매칭 행렬을 계산하며, 컬러 매칭 행렬을 계산하기 위해 회귀(Regression)분석을 수행할 수 있다.

상기 Lab은 Lab 색공간의 값을 나타내며, Lab 색공간은 세계적으로 표준화된 색공간으로서 색 좌표 L*, a*, b*로 표시되며, L*는 명도, a*는 Red와 Green의 정도, b*는 Yellow와 Blue의 정도를 나타내는 입체 좌표이다.

도 9는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 방법의 동작 흐름도이다. 도 9를 참조하면 먼저 910단계에서 영상이 입력되면, 920단계에서 입력된 영상의 RGB 값을 이용하여 영상을 YCbCr 색공간으로 변경한다. 다음 930단계에서는 영상의 화이트 화소를 검출한다. 화이트 화소 검출은 'Macbeth color checker'의 24개의 패치중에서 제일 아래에 위치한 6개의 그레이 패치에 대해 각 광원마다 |Cb|+|Cr|과 휘도(Y)와의 관계를 나타낸 그래프를 1차함수 그래프로 모델링하고, 각 광원마다 모델링된 1차함수 그래프의 기울기와 미리 설정된 만큼 기울기가 차이나는 두 개의 1차함수 그래프를 계산하며, 계산된 두 개의 그래프 사이의 영역에 입력 영상의 화소가 포함되면 해당 입력 영상의 화소를 화이트 화소로 판단하여 검출한다. 이때 입력 영상의 화소는 모든 광원의 새로 계산된 두 개의 그래프 사이에 포함되어야 한다. 또한 입력 영상의 화소의 휘도가 입력 영상 전체의 평균 휘도보다 특정 배 이상 크면 화이트 화소로 판단하여 검출한다. 이때 입력 화소의 Cb와 Cr이 0에 가까운 그레이 화소는 제외한다.

다음 940단계에서는 상기 930단계에서 검출된 화이트 화소들의 R, G, B평균으로부터 R, G, B 이득을 계산한다. 다음 950단계에서는 상기 940단계에서 계산된 R, G, B 이득을 이용하여 화이트 밸런스 조정을 수행한다. 다음 960단계에서는 영 상의 R 이득 및/또는 B 이득을 이용하여 광원을 구분하고 광원에 해당되는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행한다. 이때 각 광원의 컬러 매칭 행렬은 상기 도 8에서 설명한 과정에 따라 계산한다.

본 발명은 상기 과정에 따라 화이트 밸런스 조정을 수행하여 광원에 따른 색의 왜곡을 최소화 하고 영상의 품질을 향상시킬 수 있다.

한편 상기한 본 발명의 설명에서는 일 실시 예에 따른 디지털 영상의 화이트 밸런스 조정 장치에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 장치의 블록 구성도

도 2는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 CbCr을 나타낸 그래프

도 3은 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프

도 4는 각 광원별로 'Macbeth color checker'의 그레이 패치를 촬영한 영상의 |Cb|+|Cr|과 휘도(Y)를 나타낸 그래프가 1차함수 그래프로 모델링하여 표시한 도면

도 5는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 영상의 화이트 검출을 위해 모델링된 1차함수 그래프에서 화이트로 검출되는 기울기 범위를 도시한 도면

도 6은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 각 광원에 따른 화이트 검출 결과를 도시한 도면

도 7은 각 RGB 별 각 광원의 이득(Gain) 값을 나타낸 도면

도 8은 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 시 수행되는 컬러 매칭 행렬을 만드는 과정을 도시한 도면

도 9는 본 발명의 일 실시 예에 따른 화이트 밸런스 조정 방법의 동작 흐름도

Claims

디지털 영상의 화이트 밸런스 조정 방법에 있어서,

입력 영상을 YCbCr 색공간 형태로 변환하는 과정과,

상기 변환된 입력 영상의 휘도 및 색차 성분을 미리 설정된 그레이 패치들을 촬영한 영상의 휘도 및 색차 성분과 비교하여 화이트 화소를 검출하는 과정과,

상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정과,

상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정을 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
제1항에 있어서,

상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하는 과정과,

상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
제1항에 있어서, 상기 입력 영상을 YCbCr 색공간 형태로 변환하는 과정은,

하기의 수학식 1을 이용하는 것을 특징으로 하는 화이트 밸런스 조정 방법.

[수학식 1]

상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타냄.
제1항에 있어서, 상기 화이트 화소를 검출하는 과정은,

각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하는 과정과,

상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하는 과정과,

상기 각 광원마다, 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하는 과정과,

입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하는 과정과,

상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
제4항에 있어서, 상기 입력 영상의 화소의 휘도가 상기 입력 영상의 전체 화소의 평균 휘도보다 미리 설정된 배수 이상 큰 경우에도, 상기 입력 영상의 화소를 화이트 화소로 판단하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
제5항에 있어서, 상기 화이트 화소로 판단된 화소 중에서, Cb값과 Cr값의 절대값이 미리 설정된 문턱값보다 작은 화소는 화이트 화소가 아닌 것으로 판단하는 과정을 더 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
제1항에 있어서, 상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 과정은,

하기의 수학식 5를 이용하는 것을 특징으로 하는 화이트 밸런스 조정 방법.

[수학식 5]

은 상기 검출된 화이트 화소들의 R값의 평균이며,
는 상기 검출된 화 이트 화소들의 G값의 평균이며,
는 상기 검출된 화이트 화소들의 B값의 평균이며, R_gain은 R 이득, G_gain은 G 이득, B_gain은 B 이득임.
제1항에 있어서, 상기 계산한 각 채널별 이득을 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 과정은,

상기 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 수행하는 것을 특징으로 하는 화이트 밸런스 조정 방법.

[수학식 6]

상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이며, R_gain은 R 이득, G_gain은 G 이득, B_gain은 B 이득임.
제2항에 있어서, 상기 특정 채널의 이득은,

R 이득 또는 B 이득임을 특징으로 하는 화이트 밸런스 조정 방법.
제2항에 있어서, 상기 컬러 매칭 행렬은,

'Macbeth color checker'를 각 광원에서 촬영 후 화이트 밸런스를 수행하고, 상기 'Macbeth color checker'의 각 패치의 제1 R, G, B값을 획득하고, 상기 각 패치의 Lab를 측정하여 제2 R, G, B값으로 변환하며, 상기 제1 R, G, B값과 상기 제2 R, G, B값 사이를 선형 변환하여 계산된 행렬임을 특징으로 하는 화이트 밸런스 조정 방법.
제4항 또는 제10항중 한 항에 있어서, 상기 각 광원은 Horizon, A, U30, Cool white, D65임을 특징으로 하는 화이트 밸런스 조정 방법.
디지털 영상의 화이트 밸런스 조정 장치에 있어서,

입력 영상을 YCbCr 색공간 형태로 변환하는 영상 변환부와,

상기 변환된 입력 영상의 휘도 및 색차 성분을 미리 설정된 그레이 패치들을 촬영한 영상의 휘도 및 색차 성분과 비교하여 화이트 화소를 검출하는 화이트 검출부와,

상기 검출된 화이트 화소들의 R, G, B값의 평균으로 각 채널별 이득(gain)을 계산하는 이득 계산부와,

상기 계산한 각 채널별 이득을 상기 입력 영상의 각 화소에 적용하여 화이트 밸런스 조정을 수행하는 화이트 밸런스 수행부를 포함함을 특징으로 하는 화이트 밸런스 조정 장치.
제 12항에 있어서,

상기 채널별 이득 중에서 특정 채널의 이득을 이용하여 상기 입력 영상의 광원을 구분하고, 상기 구분된 광원에 해당하는 컬러 매칭 행렬을 적용하여 컬러 매칭을 수행하는 컬러 매칭 수행부를 더 포함함을 특징으로 하는 화이트 밸런스 조정 장치.
제12항에 있어서, 영상 변환부는,

하기의 수학식 1을 이용하여 상기 입력 영상을 YCbCr 색공간 형태로 변환하는 것을 특징으로 하는 화이트 밸런스 조정 장치.

[수학식 1]

상기 수학식 1의 R, G, B는 해당 픽셀의 R, G, B 픽셀값이며, Y는 휘도성분이며 Cb와 Cr은 색차성분을 나타냄.
제12항에 있어서, 상기 화이트 검출부는,

각 광원에서 'Macbeth color checker'의 그레이 패치를 촬영한 영상을 YCbCr 색공간 형태로 변환하며, 상기 각 광원에서 촬영하여 YCbCr 색공간 형태로 변환된 각 영상을 |Cb|+|Cr|과 휘도(Y)의 관계를 나타낸 1차함수 그래프로 모델링하며, 상기 각 광원마다 상기 모델링된 1차함수 그래프의 기울기에서 미리 설정된 기울기 값만큼 차이가 나는 두 개의 1차함수 그래프를 계산하며, 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는지 판단하며, 상기 입력 영상의 화소가 상기 각 광원마다 계산된 두 개의 1차함수 그래프 사이의 영역에 포함되는 경우 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
제15항에 있어서, 상기 화이트 검출부는,

상기 입력 영상의 화소의 휘도가 상기 입력 영상의 전체 화소의 평균 휘도보다 미리 설정된 배수 이상 큰 경우에 상기 입력 영상의 화소를 화이트 화소로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
제16항에 있어서, 상기 화이트 검출부는,

상기 화이트 화소로 판단된 화소 중에서, Cb값과 Cr값의 절대값이 미리 설정된 문턱값보다 작은 화소는 화이트 화소가 아닌 것으로 판단하는 것을 특징으로 하는 화이트 밸런스 조정 장치.
제12항에 있어서, 상기 이득 계산부는,

하기의 수학식 5를 이용하여 이득을 계산하는 것을 특징으로 하는 화이트 밸런스 조정 장치.

[수학식 5]

상기
은 상기 검출된 화이트 화소들의 R값의 평균이며,
는 상기 검출된 화이트 화소들의 G값의 평균이며,
는 상기 검출된 화이트 화소들의 B값의 평균이며, R_gain은 R 이득, G_gain은 G 이득, B_gain은 B 이득임.
제12항에 있어서, 상기 화이트 밸런스 수행부는,

상기 입력 영상의 모든 화소에 하기의 수학식 6을 적용하여 화이트 밸런스를 수행하는 것을 특징으로 하는 화이트 밸런스 조정 장치.

[수학식 6]

상기 수학식 6에서 R', G', B'는 화이트 밸런스가 수행된 화소값이며, R_gain은 R 이득, G_gain은 G 이득, B_gain은 B 이득임.
제13항에 있어서, 상기 특정 채널의 이득은,

R 이득 또는 B 이득임을 특징으로 하는 화이트 밸런스 조정 장치.
제13항에 있어서, 상기 컬러 매칭 행렬은,

'Macbeth color checker'를 각 광원에서 촬영 후 화이트 밸런스를 수행하고, 상기 'Macbeth color checker'의 각 패치의 제1 R, G, B값을 획득하고, 상기 각 패치의 Lab를 측정하여 제2 R, G, B값으로 변환하며, 상기 제1 R, G, B값과 상기 제2 R, G, B값 사이를 선형 변환하여 계산된 행렬임을 특징으로 하는 화이트 밸런스 조정 장치.
제15항 또는 제21항중 한 항에 있어서, 상기 각 광원은 Horizon, A, U30, Cool white, D65임을 특징으로 하는 화이트 밸런스 조정 장치.