KR101075773B1 - 화이트 밸런스 조정 방법 - Google Patents

Abstract

본 발명에 따른 화이트 밸런스 조정 방법은 다수의 입력 화소들을 디지털 색공간으로 변환하는 과정과, 색공간 변환된 입력 화소들 각각의 색상(HUE) 구간을 결정하는 과정과, 결정된 색상 구간에 따른 변환 행렬을 결정하는 과정을 포함한다.

색공간, 화이트 밸런스, 색상

Description

화이트 밸런스 조정 방법{CALIBRATING METHOD FOR WHITE BALANCE}

본 발명은 영상 기기의 화이트 밸런스 조정 방법에 관한 발명으로서, 특히 단일 색상으로 이루어진 영상의 화이트 밸런스 조정 방법에 관한 발명이다.

색을 갖는 칼러(color)의 영상을 제공하거나 또는 촬영하기 위한 영상 장치들은 재현되는 영상 또는 촬영된 영상을 사용자가 인식한 피사체와 동일하거나 또는 거의 유사한 정도로 색을 유지하기 위해서 화이트 밸런스 조정이 요구된다.

피사체가 촬영되는 조건 중에서 특히 피사체를 조명하는 광원 또는 피사체가 촬영되는 외부 배경으로 인해서, 피사체의 색이 최초에 사용자가 인지한 색과 다른 색감을 갖는 영상이 촬영 또는 재생될 수 있다. 인간은 조명과 장소가 달라지더라도 색에 대한 순응성을 가지고 있기 때문에 색의 변화를 느끼지 못하나, 디지털 카메라 또는 영상을 재생하기 위한 수단과 같은 기기들은 색에 대한 순응성이 없기 때문에 사용자가 느낀 피사체의 색감이 실제 촬영 또는 재생되는 영상의 색과 다를 수 있다.

상술한 화이트 밸런스(white balance)는 상술한 바와 같이 사용자가 인식한 피사체의 색과 다른 색감을 갖는 영상을 최초 사용자가 인식한 색과 동일하거나 또 는 거의 유사한 정도로 조정하는 과정을 의미한다. 화이트 밸런스는 영상에 포함된 영역들 중에서 흰색의 영역을 기준으로 하며, 촬영되는 피사체를 조명하는 광원(ex 태양광, 형광등, 백열등) 또는 주변 배경에 따라서 변화된 흰색을 사용자가 인지한 최초의 흰색으로 되돌리는 보정 방법이다.

화이트 밸런스 조정 방법으로는 촬영 시 이용된 배경 조명의 종류(광원)를 추정하고, 추정된 배경 조명에 따라서 화이트 밸런스를 조정하는 방법이 있다. 상술한 배경 조명을 추정해서 화이트 밸런스를 조정하는 방법은 영상의 흰색 영역을 찾아서 그에 해당하는 영상 정보 RGB 값의 평균 또는 색차 신호((R-Y)(B-Y))의 평균을 이용해서 각 채널의 이득을 조절하는 방법이다. 그 외, 광원을 추정하지 않는 방법에는 영상 전체의 각 채널 별 평균값을 이용하여 각 채널의 이득을 조절하는 방법이 있다. 상기 방법은 입력 영상이 충분한 색상 변화를 가질 경우 각 채널의 평균으로 이루어진 색상은 회색이라고 가정한다. 즉, 각 채널의 평균값이 동일해지도록 영상의 RGB 값의 이득을 조절하면 영상의 화이트 밸런스를 재현할 수 있다.

상술한 화이트 밸런스 조정 방법들은 조정 대상인 영상이 충분한 색상 변화를 갖거나 또는 흰색 영역을 포함하는 경우에만 화이트 밸런스를 조정할 수 있다. 그러나, 그렇지 않은 경우에 상술한 화이트 밸런스 조정은 색을 왜곡시킬 수 있다.

본 발명은 단색의 영상 또는 영상 내에 흰색 영역이 포함되지 않은 영상도 화이트 밸런스 조정이 가능한 방법을 제공하고자 한다.

본 발명에 따른 화이트 밸런스 조정 방법은,

다수의 입력 화소들을 디지털 컴퍼넌트 색공간으로 변환하는 과정과;

색공간 변환된 입력 화소들 각각의 색상(HUE) 구간을 결정하는 과정과;

결정된 색상 구간에 따른 변환 행렬을 결정하는 과정을 포함한다.

본 발명은 입력 화소가 속한 색상 구간에 따른 변환 행렬을 산출하고, 산출된 변환 행렬에 의해서 입력 화소가 해당하는 색상 구간마다 각각 다른 변환 행렬을 적용함으로써 단색의 배경에서 촬영된 영상을 색의 왜곡을 최소화함과 동시에 화이트 밸런스 조절이 가능하다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

도 1은 본 발명에 따른 화이트 밸런스(White balance) 조정 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 본 발명에 따른 화이트 밸런스 조정 방법(100)은 시작(S1)과 동시에 화이트 밸런스 대상이 되는 영상이 입력(S2)되고, 상기 입력 영상을 구성하는 다수의 입력 화소들을 디지털 색공간(YCbCr 또는 디지털 컴퍼넌트 색공간)으로 변환하는 과정(S3)과, 디지털 색공간 변환된 입력 화소들 각각의 색상(HUE) 구간을 결정하는 과정(S4)과, 결정된 색상 구간에 따른 변환 행렬을 결정하는 과정(S5)과, 제1 색상표(입력 화소의 RGB)의 색상 구간에 따라서 결정된 변환 행렬을 적용해서 제2 색상표(R'G'B')를 산출하는 과정(S6)과, 영상의 마지막인지를 판단해서 영상의 마지막이라면 종료 과정(S8)으로 진행하고, 영상의 마지막이 아니라면 입력 화소의 색상 구간을 결정하는 과정(S4)을 진행하기 위한 과정(S7)을 포함한다.

즉, 본 발명에 따른 화이트 밸런스는 사용자에게 제공될 또는 촬영된 영상과 같이 화이트 밸런스 조정의 대상이 되는 영상이 제공되면, 제공되는 영상을 디지털 색공간으로 변환해서 색상(HUE) 구간을 결정한다. 그 결과(결정된 색상 구간)에 따른 변환 행렬이 적용된 색상표로 변환된 영상을 사용자에게 제공한다.

상기 디지털 색공간(Digital component, 디지털 컴퍼넌트 색공간) 변환 과정(S3)은 아래의 <수학식 1>과 같이 정의될 수 있다.

위의 <수학식 1>에서 Y는 디지털 색공간의 휘도 성분을 의미하고, Cb와 Cr은 디지털 색공간의 색차 성분을 의미한다. R은 삼색 좌표계의 적색 좌표계를 의미하고, G는 삼색 좌표계의 녹색 좌표계를 의미하며, B는 삼색 좌표계의 청색 좌표계를 의미한다.

위의 디지털 색공간(YCbCr)은 디지털 영상 장치들에서 사용되는 색공간의 일종으로서, Y는 명도를 의미할 수 있으며, Cb는 청색의 강도를 의미할 수도 있으며, Cr은 적색의 강도도 의미할 수 있다.

즉, 상술한 디지털 색공간 변환 과정(S3)은 제1 색상표에 의한 삼원색계(RGB)의 형태로 입력되는 영상을 디지털 기기들이 인식할 수 있는 디지털 색공간(YCbCr)의 형태로 변환시키기 위한 과정이다.

상기 색상(HUE) 구간을 결정하는 과정(S4)은 촬영된 단색의 피사체 또는 사용자에게 제공하기 위한 단색의 영상이 포함된 색상 구간을 결정하기 위한 과정이다. 디지털 기기들로 촬영되는 영상 또는 사용자에게 제공되는 영상들은 다수의 화소들(Pixels)로 구성되어 있으며, 상술한 영상(촬영되는 영상 또는 사용자에게 제공되는 영상)과 같이 화이트 밸런스의 대상이 되는 영상들을 입력 영상으로 정의한다. 따라서, 상술한 입력 영상도 다수의 화소들로 구성되며, 화이트 밸런스의 대상이 되는 화소를 입력 화소라 한다.

도 2는 색상 구간을 설명하기 위한 설명하기 위한 그래프(200)로서, 입력 화 소가 속하는 색상 구간(HUE 구간)의 예를 도시한 그래프(200)이다. 도 2는 CbCr 공간을 4분 면으로 동일하게 나누어 색상 구간을 정의하였으나, 이미지 센서(Image sensor) 또는 디스플레이(display)에 따라서 다르게 정의될 수 있다.

상기 색공간 변환된 입력 화소들 각각의 색상(HUE) 구간을 결정하는 과정(S4)은 화이트 밸런스 조정 대상인 입력 화소들의 색상이 도 2에 예시된 그래프와 같은 형태의 색상 구간의 어느 색상 공간에 입력 화소들이 포함되는지를 결정하기 위한 과정이다.

상술한 변환 행렬은 화이트 밸런스 조정된 새로운 색상표(R'G'B')를 얻기 위한 행렬로서, 다음의 <수학식 2>와 <수학식 3>을 통해 구해질 수 있다. 상술한 변환 행렬은 화이트 밸런스 조정의 대상이 되는 단색 피사체가 속하는 색상에 따라서 이 선택될 수 있다. 변환 행렬을 결정하기 위한 과정(S5)은 도 3을 참조해서 설명할 수 있다.

위의 <수학식 2>와 <수학식 3>에서 I는 각 색상(ex, 적색, 청색, 녹색)이 각각의 상태(광원 등과 같은 외부 조건)에 따른 영상 데이터들(310)을 의미하고, LM은 변환 대상이 되는 각 색상의 기준되는 색상의 데이터(330)를 의미한다. 또한, O 는 I의 영상 데이터들이 변환된 상태의 데이터(320)를 의미한다.

즉, <수학식 2>와 같이 얻어진 행렬은 <수학식 3>과 같은 선형 변환(LM)을 통해서 각 색상의 변환 행렬로서 결정될 수 있다.

상술한 변환 행렬은 각 광원별로 단색의 영상들을 획득하는 과정과, 각 광원별로 획득한 영상을 각 광원 정보에 의해 본래의 색상으로 변환하는 과정과, 변환 전의 영상 데이터와 변환 후의 영상 데이터를 선형 변환을 통해서 변환 행렬을 산출하는 과정을 통해 결정될 수 있다.

각 광원 별로 획득한 영상 데이터들을 각 광원 정보에 의해 본래의 색상으로 변환하는 과정은 각 광원의 정보로 각 광원 별로 촬영된 흰색 영상의 평균 RGB를 이용해서 채널 별로 이득을 계산한다. 계산된 이득을 촬영된 단색 영상에 적용해서 본래의 색상으로 변환시킬 수 있다. 변환 전의 영상 정보와 변환 후의 영상 정보의 선형 변환을 통해서 3×3 변환 행렬을 계산하는 단계에서는 변환 전과 변환 후의 영상 정보로 영상 전체의 평균 RGB를 이용한다. 상기 방법을 색상 구간 별로 수행함으로써 각 구간의 변환 행렬을 얻을 수 있다.

따라서, 입력 화소의 색상 구간이 결정되면 적용될 변환 행렬도 선택될 수 있으며, 해당 입력 화소의 제1 색상표(RGB)에 변환 행렬을 적용함으로써 새로운 제2 색상표(R'G'B')를 산출할 수 있다.

도 1은 본 발명에 따른 화이트 밸런스 조정 방법을 설명하기 위한 순서도,

도 2는 색상 구간을 설명하기 위한 설명하기 위한 그래프,

도 3은 변환 행렬을 설명하기 위한 블록도.

Claims (5)

1. 화이트 밸런스 조정 방법에 있어서,

   다수의 입력 화소들을 디지털 색공간으로 변환하는 과정과;

   색공간 변환된 입력 화소들 각각의 색상(HUE) 구간을 결정하는 과정과;

   결정된 색상 구간에 따른 변환 행렬을 결정하는 과정을 포함하고,

   상기 변환 행렬의 산출 과정은,

   각 광원에 따른 단색 영상을 획득하는 과정과;

   각 광원에 따른 영상들을 각 광원 정보에 의해 본래의 색상으로 변환하는 과정과;

   변환 전의 영상과 변환 후의 영상을 선형 변환해서 변환 행렬을 산출하는 과정을 포함함을 특징으로 하는 화이트 밸런스 조정 방법.
2. 제1 항에 있어서, 상기 화이트 밸런스 조정 방법은,

   상기 각 입력 화소의 제1 색상표에 색상 구간에 따라서 결정된 변환 행렬을 적용해서 제2 색상표를 산출함을 특징으로 하는 화이트 밸런스 조정 방법.
3. 삭제
4. 제1 항에 있어서,

   상기 변환 행렬은 아래의 <수학식 4>를 만족함을 특징으로 하는 화이트 밸런스 조정 방법.

   

   (I : 색상 구간 결정에 의해 결정된 색상의 서로 다른 광원들 하에서 촬영된 영상 데이터들, LM : 변환 대상이 되는 각 색상의 기준되는 색상의 데이터, O :는 I의 영상 데이터들이 변환된 영상 데이터들)
5. 제1 항에 있어서,

   다수의 입력 화소들을 디지털 색공간으로 변환하는 과정은 아래의 <수학식 5>를 만족함을 특징으로 하는 화이트 밸런스 조정 방법.

   

   

   

   (Y : 디지털 색공간의 Y 좌표, Cb : 디지털 색공간의 Cb 좌표, Cr : 디지털 색공간의 Cr 좌표, R : 삼색 좌표계의 적색 좌표계, G : 삼색 좌표계의 녹색 좌표계, B : 삼색 좌표계의 청색 좌표계)

Images