KR20100082457A

KR20100082457A - 화이트 밸런스 보정 장치 및 그 동작 방법

Info

Publication number: KR20100082457A
Application number: KR1020090001777A
Authority: KR
Inventors: 박종하
Original assignee: 엘지이노텍 주식회사
Priority date: 2009-01-09
Filing date: 2009-01-09
Publication date: 2010-07-19

Abstract

본 발명의 실시 예는 화이트 밸런스 보정 장치 및 그 보정 방법에 관한 것으로서, 영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지가 디스플레이되는 표시부와, 디스플레이되는 영상 이미지에서, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 사용자로부터 지정받는 조작부와, 사용자로부터 지정받은 화이트 영역을 기준으로 하여 상기 영상 이미지에 대해서 화이트 밸런스 보정을 수행한 후 메모리에 저장하는 이미지신호 처리 프로세서를 포함한다.

카메라, 색온도, 보정, 화이트 밸런스, WB

Description

화이트 밸런스 보정 장치 및 그 동작 방법{Apparatus for compensating white balance and method for operating the same}

본 발명의 실시 예는 화이트 밸런스 보정 장치 및 그 보정 방법에 관한 것이다.

일반적으로 디지털 스틸 카메라, 디지털 비디오 카메라 등과 같은 디지털 영상 장치를 사용하여 동일한 피사체를 촬영하는 경우에도, 옥외의 태양광 아래, 흐린날, 옥내의 백색 조명 아래, 형광 조명 아래와 같은 여러가지 광원의 조건에 따라 촬영된 색의 겉보기가 달라진다.

사람의 눈은 이들의 광원에 순응해서, 화이트(white)를 화이트로 느낄 수 있도록 되어 있음으로 커다란 부자연스러움을 느끼지 않는다. 그러나 디지털 영상 장치에서는 이들 색온도(color temperature)가 서로 다른 광원에 포함되어 있는 RGB 성분에 충실히 반응해서, 색온도가 높으면 푸르름이 있는 화이트, 색온도(K)가 낮으면 붉음이 있는 화이트로 재현된다.

따라서 이러한 경우에는 화이트가 희게 보이도록 하는 것이 필요하며, 색온도가 변해버린 경우에도 그 색온도에서 화이트 밸런스를 유지하는 것이 바람직하 다. 이를 위해, 푸르름이 있는 화이트에서는 B(blue)의 이득보다 R(red)의 이득을 더 올리고, 붉음이 있는 화이트에서는 R의 이득보다 B의 이득을 더 올리도록 하는 화이트 밸런스 보정이 이루어진다.

일반적으로 화이트 밸런스를 보정하기 위해, 화이트를 검출하는데, 프레임 내의 윈도우 영역을 블록단위로 하여 화이트를 검출하거나, 프레임 내의 윈도우 영역을 픽셀단위로 하여 화이트를 검출하고 있다.

프레임 내의 윈도우 영역을 블록단위로 하여 화이트를 검출하는 경우, 블록 내 픽셀들의 평균 R, G, B의 합으로 색온도 좌표가 계산되기 때문에 다양한 피사체와 환경에서 무난한 성능을 낼 수 있으나, 블록 내부에 다양한 색상이 존재하는 경우 화이트 패턴을 추출하지 못하거나 왜곡된 화이트를 검출할 확률이 높아지게 되는 문제점이 있다.

한편, 기존의 화이트 밸런스 보정에 있어서, 이미 프로그래밍되어 있는 보정값 이내의 광원(3000K~7000K)에 대해서는 자동으로 오토 화이트 밸런스(AWB;Auto White Balance)가 이루어지며, 2800K~10000K의 광원에 대해서는 사용자(user)의 요구를 충족시켜줄 수 있는 각 모드(형광등 모드, 백열등 모드 등)의 셋팅(setting)을 통해 화이트 밸런스 보정이 이루어지도록 하였다.

그러나, 2000K~2800K, 10000K 이상의 광원에 대해서는 화이트 밸런스 보정을 제공하지 않고 있기 때문에, 이러한 색온도 구간에서의 화이트 밸런스 보정이 이루어질 수 없는 문제가 있다.

본 발명의 실시 예는 모든 광원 범위에서 정확한 화이트 밸런스 보정이 이루어지도록 한다.

본 발명의 실시 예는 영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지가 디스플레이되는 표시부와, 디스플레이되는 영상 이미지에서, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 사용자로부터 지정받는 조작부와, 사용자로부터 지정받은 화이트 영역을 기준으로 하여 상기 영상 이미지에 대해서 화이트 밸런스 보정을 수행한 후 메모리에 저장하는 이미지신호 처리 프로세서를 포함한다.

상기 이미지신호 처리 프로세서는, ADC로부터 출력되는 색상 신호로 된 이미지 정보를 입력받아 증폭하는 증폭부와, 증폭된 색상 신호에 대하여 색차 신호로서 보간 및 색 공간 변환을 실시하는 보간/색 공간 변환부와, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 상기 표시부 및 조작부를 통해 사용자로부터 지정받아, 화이트 영역을 판별하는 화이트 화소 판별부와, 상기 화이트 영역에 있는 픽셀들에 대한 색차 정보의 평균값인 색차 평균값을 산출하는 평균 산출부와, 상기 색차 평균값을 이용하여 화이트 밸런스 보정을 실시하고 그 결과를 증폭부로 피드백 제공하는 제어부를 포함한다.

또한, 본 발명의 실시 예는 영상 촬상이 이루어진 후 저장 직전에 프리뷰 디 스플레이되는 영상 이미지에 대한 화이트 밸런스 보정을 위한 화이트 영역 사용자 지정 모드가 설정되었는지를 판정하는 과정과, 상기 화이트 영역 사용자 지정 모드가 설정된 경우에는 증폭된 색상 신호의 영상 이미지에 대하여 색차 신호로서 보간 및 색 공간 변환을 수행하는 과정과, 상기 프리뷰 디스플레이되는 영상 이미지에서, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 사용자로부터 지정받는 과정과, 상기 화이트 영역에 있는 픽셀들에 대한 색차 정보의 평균값인 색차 평균값을 산출하는 과정과, 상기 색차 평균값을 이용하여 상기 영상 이미지에 대해서 화이트 밸런스 보정을 수행한 후 메모리에 저장하는 과정을 포함한다.

본 발명의 실시 예는 화이트 밸런스 보정 시에 기준이 되는 화이트 영역을 사용자로부터 지정 받음으로써, 모든 광원 범위에서 정확한 화이트 밸런스 보정이 이루어지도록 하는 효과가 있다.

이하, 본 발명의 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

도 1은 종래의 화이트 밸런스 보정 장치의 블록도를 도시한 도면이다.

이미지센서는 들어오는 빛을 전기적 신호로 바꾸는 장치이기 때문에 광원에 따라 피사체의 색이 바뀌는 현상이 발생한다. 즉, 다른 광원 아래서는 같은 물체가 다른 색깔을 가지게 되는 것이다. 피사체의 색을 보정하기 위해, 대표적으로 흰 피사체를 각 색정보에 곱해지는 계수 즉, 화이트 밸런스 게인(White Balance Gain)을 조정하여 하얗게 표현하는 화이트 밸런스 보정을 한다.

기존의 화이트 밸런스 보정 장치는 증폭부(10), 보간/색 공간 변환부(20), 화이트 화소 판별부(30), 평균 산출부(40), 제어부(50)로 이루어져 화이트 밸런스 보정을 한다.

즉, ADC(Analog Digital Converter)로부터 출력되는 RGB 색상 신호로 된 이 미지 정보를 입력받아 화이트 밸런스 게인을 이용하여 증폭하는 증폭부(10), 증폭된 RGB 색상 신호에 대하여 YUV(또는 YCbCr 색차 신호)로 보간 및 색 공간 변환을 실시하는 보간/색 공간 변환부(20), 색 공간 변환이 이루어진 이미지 정보를 이용하여 화이트 화소를 판별하는 화이트 화소 판별부(30), 화이트 화소로 판별된 화소에서 색차 정보의 색차 평균값을 산출하는 평균 산출부(40)와, 색차 평균값을 이용하여 화이트 밸런스 보정을 실시하고 그 결과를 증폭부로 피드백 제공하는 제어부(50)로 이루어진다.

상기와 같이 화이트 밸런스를 보정하기 위해 화이트 영역을 검출해야 하는데, 기존의 화이트 화소 판별부(30)는 색 공간 변환이 이루어진 이미지 정보를 이용하여 화이트 화소를 판별하였다. 즉, 색 공간 변환이 이루어진 이미지의 평균 그레이(gray)값을 미리 설정해 놓은 기준 그레이(gray) 값과 비교 및 판단하여 전체 이미지에서 화이트 영역을 판별하였다.

그러나 이러한 방식으로 판별할 경우에는, 왜곡된 화이트 영역 판별이 일어날 수 있는 우려가 있다.

특히, 2000K~2800K, 10000K 이상의 광원에 대해서는 왜곡된 화이트 영역 판별이 이루어질 수 있어, 일반적으로 2000K~2800K, 10000K 이상의 광원에 대해서는 화이트 밸런스 보정이 이루어지지 않는다.

본 발명에서는 화이트 화소 판별에 있어 직접 사용자(user)가 직접 화이트 영역을 지정하도록 한다.

도 2는 본 발명의 실시 예에 따른 화이트 밸런스 보정 장치의 구성 블록도이다.

본 발명의 실시 예는 영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지에 대하여, 사용자의 화이트 영역 지정이 있을 경우, 사용자로부터 지정된 화이트 영역을 기준으로 하여 디지털 카메라 장치 내의 이미지신호 처리 프로세서(ISP;Image Signal Processor)에서 화이트 밸런스 보정을 하는 특징을 가진다.

만약, 촬영 이루어진 직후의 저장 전의 프리뷰된 영상 이미지에 대하여 사용자의 화이트 영역 지정이 없을 경우에는 종래의 화이트 밸런스 보정 알고리즘에 따라 화이트 영역을 자체 검출하여 화이트 밸런스 보정을 한다.

이하에서, 증폭부(10), 보간/색 공간 변환부(20), 화이트 화소 판별부(30), 평균 산출부(40), 제어부(50)는 이미지 신호 처리 프로세서(ISP)에서 동작이 이루어지는 모드로서, 상기 이미지 신호 처리 프로세서는 사용자로부터 지정받은 화이트 영역을 기준으로 하여 화이트 밸런스 보정을 수행한다.

증폭부(10)는 ADC로부터 출력되는 RGB 색상 신호로 된 이미지 정보를 입력받아 화이트 밸런스 게인을 이용하여 증폭한다.

보간/색 공간 변환부(20)는 증폭부에서 출력되는 RGB 색상 신호에 대하여 보간 및 색 공간 변환을 실시하는데, Raw data인 색상 신호로 된 RGB신호(RGB 각 8bit)를 상대적으로 적은 양의 색상 신호인 YUV(또는 YCbCr)와 같은 색차 신호로 변환시킨다.

결국, YUV 포맷, YCbCr 포맷과 관련해서는 센서에 따라 다를 수 있으며 근래에 출시되는 이미지센서의 경우 YUV, YCbCr의 두가지 포맷을 모두 지원하는 경우가 많다. 따라서 보간/색 공간 변환부는 RGB 색상 신호를 YUV 또는 YCbCr의 어느 하나의 포맷으로 변환시킨다.

참고로, RGB 색상값을 YUV 또는 YCbCr의 색차값으로 변환하는 공식은 하기와 같다.

[YUV 변환식]

Y = 0.2125*R + 0.7154*G + 0.0721*B

V = (R- Y) + 128

U = (B - Y) + 128

[YCbCr 변환식]

Y = 0.2125*R + 0.7154*G + 0.0721*B

Cb=0.564 (B-Y)

Cr=0.713 (R-Y)

화이트 화소 판별부(30)는 화이트 영역을 검출하는데, 화이트 영역 검출에 있어 평균 그레이(gray) 값과 미리 설정한 기준 그레이(gray) 값의 비교를 통하여 화이트 전체 이미지에서 화이트 영역을 판별하는 기존 방식과 달리, 사용자(user)로부터 직접 화이트 영역을 지정받는 방식을 취한다.

이를 위하여 화이트 화소 판별부(30)는 표시부(60)와 조작부(70)를 통해 화 이트 영역을 사용자로부터 지정받아, 화이트 영역을 판별할 수 있다.

표시부(60)에는 영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지가 디스플레이된다. 디스플레이된 영상 이미지에 대하여 화이트 영역 지정을 조작부 조작을 통한 사용자 지정에 의해 이루어진다.

조작부(70)는 키패드 또는 LCD 터치 조작을 통해 영상 이미지에서 화이트 영역으로 지정할 부분을 사용자로부터 선택받는다.

도 3은 이동통신단말기에서 촬상이 이루어진 후 메모리에 저장되기 직전에 프리뷰된 이미지 영상이 디스플레이된 모습을 도시한 것으로서, 사용자는 키패드 또는 LCD 터치 방식을 통해 화이트 영역을 지정하는 선택 커서를 상하좌우로 이동시켜 가며, 화이트 영역이라 생각되는 부분을 지정한다.

평균 산출부(40)와 제어부(50)는 종래와 마찬가지로 상기 지정된 화이트 영역을 기준으로 하여 종래와 마찬가지로 평균값을 산출한 후 이미지 영상 전체에 대하여 화이트 밸런스 보정을 수행한다.

즉, 평균 산출부(40)는, 상기 지정된 화이트 영역에 있는 픽셀값들을 기준으로 하여 색차 정보의 평균값을 산출한다. 예컨대, 보간/색 공간 변환부에서 YUV로 변환되었을 경우에는 해당 화이트 영역에 있는 픽셀들의 U 및 V의 평균값을 산출하며, YCbCr로 변환되었을 경우에는 해당 화이트 영역에 있는 픽셀들의 Cb 및 Cr의 평균값을 산출한다.

제어부(50)는 상기 산출한 평균값을 이용하여 이미지 영상 전체에 대하여 화이트 밸런스 보정을 실시하고, 그 결과를 증폭부로 피드백 제공한다.

도 4는 본 발명의 실시 예에 따라 화이트 밸런스 보정하는 과정을 도시한 플로차트이다.

영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰 디스플레이(S41)되는 영상 이미지가 표시되면, 화이트 영역 사용자 지정 모드가 설정되어 있는지를 판정(S42)한다.

프리뷰된 영상 이미지에 대하여 사용자의 화이트 영역 지정 모드가 설정되어 있지 않을 경우에는 종래의 화이트 밸런스 보정 알고리즘에 따라 화이트 영역을 자체 검출하여 화이트 밸런스 보정을 한다.

즉, ADC로부터 출력되는 이미지 정보를 증폭(S43a)하여 보간 및 색 공간 변환(S44a)을 실시한 후, 색 공간 변환이 이루어진 이미지 정보를 이용하여 화이트 화소를 자체 판별(S45)한다. 화이트 화소를 자체 판별(S45)하는 것은, 색 공간 변환이 이루어진 이미지의 평균 그레이(gray)값을 미리 설정해 놓은 기준 그레이(gray) 값과 비교 및 판단하여 전체 이미지에서 화이트 영역을 자체 판별한다.

화이트 화소로 판별된 화소에서 색차 평균값을 산출(S47a)한 색차 정보의 색차 평균값을 이용하여 화이트 밸런스 보정(S48a)을 실시하고 그 결과를 증폭부로 피드백 제공한 후, 화이트 밸런스 보정된 이미지 영상을 메모리에 최종 저장(S49)한다.

한편, 프리뷰 디스플레이된 영상 이미지에 대하여 사용자의 화이트 영역 지 정 모드가 설정되어 있을 경우에는, 화이트 영역 지정을 사용자로부터 입력받아 화이트 밸런스 보정을 수행한다.

상술하면, ADC로부터 출력되는 이미지 정보를 증폭(S43b)하여 보간 및 색 공간 변환(S44b)을 실시한 후, 사용자로부터 화이트 영역을 지정(S46)받는다.

사용자로부터 화이트 영역을 지정(S46)받는 방식은 다음과 같다.

영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지가 표시부에 디스플레이되면, 사용자로부터 디스플레이된 영상 이미지에 대하여 화이트 영역 지정을 지정받는다. 상기 화이트 영역 지정은 키패드 또는 LCD 터치 조작을 통해 영상 이미지에서 화이트 영역으로 지정할 부분을 선택 커서를 이동시켜 지정받는다.

상기와 같이 사용자로부터 화이트 영역을 지정(S46)받은 다음에는, 상기 지정된 화이트 영역에 있는 픽셀값들을 기준으로 하여 색차 정보의 색차 평균값을 산출(S47)한 후, 상기 산출한 색차 평균값을 이용하여 이미지 영상 전체에 대하여 화이트 밸런스 보정(S48b)을 실시하고, 또한, 그 결과를 증폭부로 피드백 제공한다.

상기 과정을 마쳐 화이트 밸런스 보정된 이미지는 메모리에 최종 저장(S49)된다.

참고로, 도 5는 사용자에 의해 화이트 영역 지정된 후 이를 기준으로 화이트 밸런스 보정 결과를 도시한 사진으로서, 도 5(a)는 사용자에 의해 화이트 영역 지정된 부분을 나타내고 도 5(b)는 지정된 화이트 영역을 기준으로 한 화이트 밸런스 보정 후에 메모리에 저장되는 결과물 사진이다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

도 3은 이동통신단말기에서 촬상이 이루어진 후 프리뷰 디스플레이된 이미지 영상에서 선택커서를 나타낸 모습을 도시한 그림이다.

도 5는 사용자에 의해 화이트 영역 지정된 후 이를 기준으로 화이트 밸런스 보정 결과를 도시한 사진

*도면의 주요 부분에 대한 부호의 설명*

10: 증폭부 20: 보간/색 공간 변환부

30: 화이트 화소 판별부 40: 평균 산출부

50: 제어부

Claims

영상 촬상이 이루어진 후 메모리에 최종 저장되기 직전에 프리뷰되는 영상 이미지가 디스플레이되는 표시부;

디스플레이되는 영상 이미지에서, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 사용자로부터 지정받는 조작부;

사용자로부터 지정받은 화이트 영역을 기준으로 하여 상기 영상 이미지에 대하여 화이트 밸런스 보정을 수행한 후 메모리에 저장하는 이미지신호 처리 프로세서

를 포함하는 화이트 밸런스 보정 장치.
제1항에 있어서, 상기 이미지신호 처리 프로세서는,

ADC로부터 출력되는 색상 신호로 된 이미지 정보를 입력받아 증폭하는 증폭부;

증폭된 색상 신호에 대하여 색차 신호로서 보간 및 색 공간 변환을 실시하는 보간/색 공간 변환부;

화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 상기 표시부 및 조작부를 통해 사용자로부터 지정받아, 화이트 영역을 판별하는 화이트 화소 판별부;

상기 화이트 영역에 있는 픽셀들에 대한 색차 정보의 평균값인 색차 평균값을 산출하는 평균 산출부;

상기 색차 평균값을 이용하여 화이트 밸런스 보정을 실시하고 그 결과를 증폭부로 피드백 제공하는 제어부

를 포함하는 화이트 밸런스 보정 장치.
제2항에 있어서, 상기 색차 신호는, YUV 포맷 또는 YCbCr 포맷 방식임을 특징으로 하는 화이트 밸런스 보정 장치.
제3항에 있어서, 상기 색차 신호가 YUV 포맷 방식일 경우 상기 색차 평균값은, 상기 화이트 영역에 있는 픽셀들의 U 및 V의 평균값임을 특징으로 하는 화이트 밸런스 보정 장치.
제3항에 있어서, 상기 색차 신호가 YCbCr 포맷 방식일 경우 상기 색차 평균값은, 상기 화이트 영역에 있는 픽셀들의 Cb 및 Cr의 평균값임을 특징으로 하는 화이트 밸런스 보정 장치.
제1항 또는 제2항에 있어서, 상기 조작부는 키패드 또는 LCD 터치 조작을 통해 화이트 영역을 지정받는 화이트 밸런스 보정 장치.
영상 촬상이 이루어진 후 저장 직전에 프리뷰 디스플레이되는 영상 이미지에 대한 화이트 밸런스 보정을 위한 화이트 영역 사용자 지정 모드가 설정되었는지를 판정하는 과정;

상기 화이트 영역 사용자 지정 모드가 설정된 경우에는 증폭된 색상 신호의 영상 이미지에 대하여 색차 신호로서 보간 및 색 공간 변환을 수행하는 과정;

상기 프리뷰 디스플레이되는 영상 이미지에서, 화이트 밸런스 보정에 있어 기준이 되는 화이트 영역을 사용자로부터 지정받는 과정;

상기 화이트 영역에 있는 픽셀들에 대한 색차 정보의 평균값인 색차 평균값을 산출하는 과정;

상기 색차 평균값을 이용하여 상기 영상 이미지에 대해서 화이트 밸런스 보정을 수행한 후 메모리에 저장하는 과정

을 포함하는 화이트 밸런스 보정 방법.
제7항에 있어서, 상기 화이트 영역 사용자 지정 모드가 설정되지 않은 경우에는 화이트 영역을 자체 검출하여 화이트 밸런스 보정을 수행하는 화이트 밸런스 보정 방법.
제7항에 있어서, 키패드 또는 LCD 터치 사용자 조작을 통해 상기 프리뷰 디스플레이되는 영상 이미지에서 선택 커서를 이동시켜 화이트 영역을 지정받는 화이트 밸런스 보정 방법.