KR100724253B1

KR100724253B1 - 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지처리장치 및 방법

Info

Publication number: KR100724253B1
Application number: KR1020050128696A
Authority: KR
Inventors: 문장식
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2005-12-23
Filing date: 2005-12-23
Publication date: 2007-05-31

Abstract

본 발명은 단색 이미지가 그레이 이미지로 변환되는 것을 방지할 수 있는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치 및 방법을 제공하기 위한 것으로, 이를 위해 본 발명은 화소 어레이와, 상기 화소 어레이로부터 출력되는 RGB 아날로그 화소 값을 증폭하여 출력하는 이득 증폭부와, 상기 이득 증폭부를 통해 증폭된 아날로그 화소 값을 디지털 신호로 변환하는 아날로그-디지털 컨버터와, 상기 아날로그-디지털 컨버터를 통해 디지털화된 디지털 화소 값을 YCbCr로 변환하는 칼라 공간 변환부와, 상기 칼라 공간 변환부로부터 출력된 YCbCr의 화소가 단색 영역을 포함하지 않는 화이트 바운더리 내에 들어오는 지를 확인하고, 상기 화이트 바운더리 내에 들어오는 모든 화소의 CbCr을 합하여 한 프레임의 평균값을 생성하는 프레임 평균값 생성부와, 상기 프레임 평균값 생성부로부터 생성된 상기 평균값과 이미 설정된 목표값을 비교하여 상기 이득 증폭부의 이득 값을 제어하는 자동 화이트 밸런스 이득 제어부를 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치를 제공한다.

이미지 센서, 화이트 바운더리, 자동 화이트 밸런스, AWB

Description

이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AN IMAGE TO CONTROL AUTO WHITE BALANCE OF IMAGE SENSOR}

도 1은 화이트 바운더리(white boundary)를 설명하기 위하여 도시한 도면.

도 2는 본 발명의 실시예에 따른 이미지 센서의 자동 화이트 밸런스(auto white balance)를 조정하기 위한 이미지 처리장치의 구성을 설명하기 위하여 도시한 블럭도.

도 3은 도 2에 도시된 프레임 평균값 생성방법을 설명하기 위하여 도시한 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 화소 어레이

11 : R/B 이득 증폭부

12 : ADC(Analog Digital Conveter)

13 : 이미지 처리부

14 : 칼라 공간 변환부

15 : 이미지 처리부

16 : 프레임 평균값 생성부

17 : AWB(Auto White Balance) 이득 제어부

본 발명은 반도체 설계 기술에 관한 것으로, 특히 이미지 센서(image sensor)의 자동 화이트 밸런스(Auto White Balance)를 조정하기 위한 이미지 처리장치에 관한 것이다.

최근들어 디지털 카메라(digital camera)는 인터넷을 이용한 영상통신의 발전과 더불어 그 수요가 폭발적으로 증가하고 있는 추세에 있다. 더욱이, 카메라가 장착된 PDA(Personal Digital Assistant), IMT-2000(International Mobile Telecommunications-2000), CDMA(Code Division Multiple Access) 단말기 등과 같은 이동통신단말기의 보급이 증가됨에 따라 소형 카메라 모듈의 수요가 증가하고 있다.

카메라 모듈은 기본적으로 이미지 센서를 포함한다. 일반적으로, 이미지 센서라 함은 광학 영상(optical image)을 전기 신호로 변환시키는 소자를 말한다. 이러한 이미지 센서로는 전하 결합 소자(Charge Coupled Device, 이하, CCD라 함)와 시모스(CMOS; Complementary Metal-Oxide-Semiconductor) 이미지 센서가 널리 사용 되고 있다.

이중 시모스 이미지 센서는 하나의 단일 칩 상에 제어, 구동 및 신호 처리 회로의 모놀리식 집적화가 가능하기 때문에 최근에 보다 주목을 받고 있다. 게다가, 시모스 이미지 센서는 저전압 동작 및 저전력 소모, 주변기기와의 호환성 및 표준 CMOS 제조 공정의 유용성으로 인하여 기존의 CCD에 비해 잠재적으로 적은 비용을 제공한다.

최근 이러한 이점에 의해 시모스 이미지 센서가 내장된 셀룰러 폰(cellular phone)과 PCS(Personal Communication Service) 단말기의 보급이 확대되면서 자동 화이트 밸런스(Auto White Balance; AWB)는 시모스 이미지 센서의 필수적인 신호처리 과정이 되었다.

자동 화이트 밸런스는 광원에 의해 야기되는 색의 왜곡에 의한 이미지를 보상하기 위한 방법으로서, 광원에 따라 다르게 반사되어 이미지 센서로 입력되는 물체의 색을 자동 화이트 밸런스 방법을 사용하여 광원과 무관한 동일한 색으로 표현한다.

종래기술에 따른 시모스 이미지 센서의 자동 화이트 밸런스는 한 프레임(frame)의 평균을 취하면 무채 색이 되어야 한다는 가정에 근거하여 한 프레임의 평균 값이 흰색 영역을 벗어나게 되면 R(Red)과 B(Blue)의 이득을 조절하여 화이트 밸런스를 조정하는 방식을 사용하고 있다. 그러나, 이러한 종래기술에 따른 자동 화이트 밸런스는 단색 이미지를 그레이(gray) 이미지로 변화시키는 문제가 발생하게 되었다.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 단색 이미지가 그레이 이미지로 변환되는 것을 방지할 수 있는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치를 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 일 측면에 따른 본 발명은, 화소 어레이와, 상기 화소 어레이로부터 출력되는 RGB 아날로그 화소 값 중 RB 아날로그 화소 값을 증폭하여 출력하는 이득 증폭부와, 상기 이득 증폭부를 통해 증폭된 아날로그 화소 값을 디지털 신호로 변환하는 아날로그-디지털 컨버터와, 상기 아날로그-디지털 컨버터를 통해 디지털화된 디지털 화소 값을 YCbCr로 변환하는 칼라 공간 변환부와, 상기 칼라 공간 변환부로부터 출력된 YCbCr의 화소가 단색 영역을 포함하지 않는 화이트 바운더리 내에 들어오는 지를 확인하고, 상기 화이트 바운더리 내에 들어오는 모든 화소의 CbCr을 합하여 한 프레임의 평균값을 생성하는 프레임 평균값 생성부와, 상기 프레임 평균값 생성부로부터 생성된 상기 평균값과 이미 설정된 목표값을 비교하여 상기 이득 증폭부의 이득 값을 제어하는 자동 화이트 밸런스 이득 제어부를 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치를 제공한다.

또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은, 화소 어레이로부터 출력된 RGB 아날로그 화소 값 중 RB 아날로그 화소 값을 증폭하는 단계와, 상기 아날로그 화소 값을 디지털 신호로 변환하는 단계와, 상기 디지털화된 디지털 화소 값을 YCbCr로 변환하는 단계와, 상기 YCbCr의 화소가 단색 영역을 포함하지 않는 화이트 바운더리 내에 들어오는 지를 확인하고, 상기 화이트 바운더리 내에 들어오는 모든 화소의 CbCr을 합하여 한 프레임의 평균값을 생성하는 단계와, 상기 평균값과 이미 설정된 목표값을 비교하여 상기 RGB 아날로그 화소 값 중 RB 아날로그 화소 값의 증폭 이득 값을 조정하는 단계를 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리방법을 제공한다.

본 발명은 단색을 포함하지 않는 화이트 바운더리(white boundary)를 설정하여 화이트 바운더리 내에 들어오는 화소(pixel)들 만을 자동 화이트 밸런스용 이미지로 판단하여 화이트 바운더리 내에 들어오는 화소들에 대해서만 자동 화이트 밸런스를 수행한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분은 동일한 기능을 수행하는 동일 요소들을 나타낸다.

실시예

도 1은 본 발명의 실시예에 따른 화이트 바운더리를 구성하는 일례로서, 인접한 선은 연결되며, 각 선의 기울기와 접점은 단색 영역을 포함하지 않고, 색 온도에 따른 흰색 영역을 포함해야 한다. 예컨대, 8개의 직선으로 8각형의 화이트 바운더리를 결정하며, 각 직선의 기울기와 시작점은 사용자에 의해 임의로 결정할 수 있다.

도 2는 본 발명의 실시예에 따른 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치의 구성을 설명하기 위하여 도시한 블럭도(block diagram)이다.

도 2를 참조하면, 본 발명의 실시예에 따른 이미지 처리장치는 화소 어레이(10), 이득 증폭부(11), 아날로그-디지털 컨버터(Analog-Digital Converter; 이하, ADC라 함)(12), 칼라 공간 변환 전 이미지 처리부(13)(이하, 제1 이미지 처리부라 함), 칼라 공간 변환부(14), 칼라 공간 후 이미지 처리부(15)(이하, 제2 이미지 처리부라 함), 프레임 평균값 생성부(16) 및 자동 화이트 밸런스 이득 제어부(17)를 포함한다.

화소 어레이(10)는 외부에서 빛으로 들어오는 이미지를 아날로그 신호로 변환하여 출력한다.

이득 증폭부(11)는 화소 어레이(10)로부터 출력되는 R/B 화소 값을 각각 증폭하여 출력한다. 이러한 이득 증폭부(11)는 자동 화이트 밸런스용으로 내장되어 있다.

ADC(12)는 이득 증폭부(11)로부터 출력되는 아날로그 화소 값을 디지털 신호로 변환한다.

제1 이미지 처리부(13)는 ADC(12)에서 출력되는 R/G/B 디지털 화소 값을 YCbCr 값으로 변환하기 전 블럭으로서, 감마 보정(gamma correction), 보간(interpolation) 등이 이루어진다.

칼라 공간 변환부(14)는 R/G/B 디지털 화소 값을 입력받아 YCbCr 값으로 변환한다.

제2 이미지 처리부(15)는 YCbCr 데이터를 이용하여 이미지를 처리하여 출력한다.

프레임 평균값 생성부(16)는 매 프레임마다 모든 화소에 대해 도 1에 도시된 화이트 바운더리 내에 들어오는지를 확인하고, 화이트 바운더리 내에 들어오는 화소에 대해서만 합을 구한 후 매 프레임 마지막에 한 프레임에 대한 평균값을 계산한다.

자동 화이트 밸런스 이득 제어부(17)는 매 프레임마다 구해진 평균값을 가지고 사용자가 설정한 목표값과 비교한다. 그 결과, Cr/Cb의 평균값이 목표값보다 작은 경우 R/B 이득 값을 증가시키고, 큰 경우에는 R/B 이득 값을 감소시킨다. 이때, Cr/Cb에 대하여 독립적으로 계산한다. 이러한 과정을 매 프레임마다 반복적으로 실시하여 Cr/Cb의 평균값을 목표값에 맞춤으로써 이미지의 화이트 밸런스를 조정할 수 있다.

이하, 도 3을 참조하여 매 프레임마다 화이트 바운더리 내에 들어오는 화소 에 대한 합을 구하여 매 프레임의 평균값을 구하는 방법을 설명하기 위하여 도시한 흐름도이다.

도 3을 참조하면, 먼저 변수를 초기화한 후 현재 화소가 화이트 바운더리 내에 들어오는지를 확인한다(S10, S11). 이후, 현재 화소가 화이트 바운더리 내에 들어온 경우 화이트 바운더리 내에 들어오는 모든 화소의 화소 값을 더한다. 즉, 화이트 바운더리 내에 들어오는 모든 화소의 Cb/Cr를 더한다(S12). 이러한 동작은 화소 카운터 값을 하나씩 증가시켜 한 프레임의 이미지가 모두 출력될 때까지 실시된다(S13). 이후, 한 프레임에 대한 Cb/Cr의 평균값을 계산하고, 계산된 평균값을 이용하여 화이트 밸런스를 조정한다.

본 발명의 기술 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예들이 가능함을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 단색을 포함하지 않는 화이트 바운더리를 설정하여 상기 화이트 바운더리 내에 들어오는 화소들 만을 자동 화이트 밸런스용 이미지로 판단하여 화이트 바운더리 내에 들어오는 화소들에 대해서만 자동 화이트 밸런스를 수행함으로써 단색에 대한 그레이화 문제를 해결할 수 있다.

Claims

화소 어레이;

상기 화소 어레이로부터 출력되는 RGB 아날로그 화소 값 중 RB 아날로그 화소 값을 증폭하여 출력하는 이득 증폭부;

상기 이득 증폭부를 통해 증폭된 아날로그 화소 값을 디지털 신호로 변환하는 아날로그-디지털 컨버터;

상기 아날로그-디지털 컨버터를 통해 디지털화된 디지털 화소 값을 YCbCr로 변환하는 칼라 공간 변환부;

상기 칼라 공간 변환부로부터 출력된 YCbCr의 화소가 단색 영역을 포함하지 않는 화이트 바운더리 내에 들어오는 지를 확인하고, 상기 화이트 바운더리 내에 들어오는 모든 화소의 CbCr을 합하여 한 프레임의 평균값을 생성하는 프레임 평균값 생성부; 및

상기 프레임 평균값 생성부로부터 생성된 상기 평균값과 이미 설정된 목표값을 비교하여 상기 이득 증폭부의 이득 값을 제어하는 자동 화이트 밸런스 이득 제어부

를 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치.
제 1 항에 있어서,

상기 화이트 바운더리는 색 온도에 따른 흰색 영역을 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치.
제 2 항에 있어서,

상기 자동 화이트 밸런스 이득 제어부는 상기 평균값과 상기 목표값을 비교하여 상기 평균값이 상기 목표값보다 작은 경우 상기 이득 증폭부를 통해 상기 이득 값을 증가시키고, 상기 평균값이 상기 목표값보다 큰 경우 상기 이득 증폭부를 통해 상기 이득 값을 감소시키는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치.
제 1 항 내지 제 3 항 중 어느 하나의 항에 있어서,

상기 이득 증폭부는 상기 자동 화이트 밸런스 이득 제어부의 제어에 응답하여 상기 화소 어레이로부터 출력되는 RGB 아날로그 화소 값 중 RB 아날로그 화소 값의 증폭 이득 값을 증가 또는 감소시키는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리장치.
화소 어레이로부터 출력된 RGB 아날로그 화소 값 중 RB 아날로그 화소 값을 증폭하는 단계;

상기 아날로그 화소 값을 디지털 신호로 변환하는 단계;

상기 디지털화된 디지털 화소 값을 YCbCr로 변환하는 단계;

상기 YCbCr의 화소가 단색 영역을 포함하지 않는 화이트 바운더리 내에 들어오는 지를 확인하고, 상기 화이트 바운더리 내에 들어오는 모든 화소의 CbCr을 합하여 한 프레임의 평균값을 생성하는 단계; 및

상기 평균값과 이미 설정된 목표값을 비교하여 상기 RGB 아날로그 화소 값 중 RB 아날로그 화소 값의 증폭 이득 값을 조정하는 단계

를 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리방법.
제 5 항에 있어서,

상기 화이트 바운더리는 색 온도에 따른 흰색 영역을 포함하는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리방법.
제 6 항에 있어서,

상기 평균값과 상기 목표값을 비교하는 단계는 상기 평균값이 상기 목표값보다 작은 경우 상기 증폭 이득 값을 증가시키고, 상기 평균값이 상기 목표값보다 큰 경우 상기 증폭 이득 값을 감소시키는 이미지 센서의 자동 화이트 밸런스를 조정하기 위한 이미지 처리방법.