KR100977055B1

KR100977055B1 - 자동 화이트 밸런스(ａｗｂ) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치

Info

Publication number: KR100977055B1
Application number: KR1020090014417A
Authority: KR
Inventors: 장승호
Original assignee: 주식회사 코아로직
Priority date: 2009-02-20
Filing date: 2009-02-20
Publication date: 2010-08-19
Also published as: JP2012518361A; CN102326392B; US8243163B2; JP5427247B2; WO2010095873A2; WO2010095873A3; US20100214435A1; CN102326392A

Abstract

본 발명은 주변 환경에 의해 화면의 색상 변화가 흔들이는 문제를 해결하고, 색감을 좀더 정확하게 표현할 수 있으며, 화이트 밸런스(WB)를 실외와 실내를 구분하여 처리하여 오차율을 줄이며, 또한 사용자 및 개발자의 취향에 맞게 색감에 게인(gain)을 적용함으로써, 보다 유연한 AWB 실행할 수 있는 자동 화이트 밸런스(AWB) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치를 제공한다. 그 AWB 조정장치는 레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하여 복 수배의 광원 박스들에 대한 맵으로 셋팅하는 맵 셋팅부; 셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 세는 픽셀 카운트부; 최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 판단하는 광원 판단부; 및 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인(red gain: R_gain) 및 블루 게인(blue gain: B_gain)을 계산하는 밸런스 게인(balance gain) 적용부;를 포함한다.

AWB: Auto White Balance, Predefined gain, Non-Predefined gain, Partitial-predefined gain

Description

자동 화이트 밸런스(ＡＷＢ) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치{Device and method for adjusting auto white balance(AWB) and image processing apparatus comprising the same device}

본 발명은 디지털 영상 처리장치 및 방법에 관한 것으로, 특히 주변 환경 및 설정에 유연한 자동 화이트 밸런스를 조정하는 장치 및 방법에 관한 것이다.

현재 디지털 영상 처리장치에 대한 관심과 보급이 확대되면서 디지털 영상 처리 장치의 신호처리에 필수적인 자동 화이트 밸런스(Auto White Valance: AWB)기능이 적용되고 있다.

AWB는 화이트 색상을 수상할 때 휘도가 밝은 부분이나 어두운 부분에서 색온도가 일정하게, 즉 전기적으로 무채색이 되도록 적(R), 녹(G), 청(B)의 이득(gain)을 자동으로 조정함을 말한다. 이러한 AWB기능 구현을 위해 다양한 방법들이 제시되고 있으며, 그 중 하나가 전하결합소자(Charge Coupled Device; CCD)를 통해 입력되는 영상신호를 자동노출(Auto Exposure; AE)처리가 끝난 후의 전체화면에 대하여 적분하여 AWB를 수행하는 방법이다.

종래의 AWB처리방법에 대해 좀더 설명하면, 렌즈를 통해 입력되는 피사체로 부터의 광학적 영상신호는 CCD를 통해 광 전 변환된다. 광 전 변환된 영상신호는 DRAM 등의 메모리에 한 화면단위, 즉 프레임 단위로 저장된다. 종래 AWB 방법은 CCD 입력값으로써의 화면 전체를 적분하여 무채색을 얻을 수 있음을 이용하며, 이때 색 온도에 대한 색 좌표계는 R/G, B/G 좌표계를 사용한다. 색 온도 색의 영역을 결정하기 위해 화면 전체를 적분하는 데, 아주 밝은 부분과 아주 어두운 부분은 전체화면을 포화시키거나 왜곡시킬 수 있어 제외한다.

모자이크식 CCD에서 하나의 색을 나타낼 수 있는 단위는 2×2 화소 크기이다. 그래서, 메모리에 저장된 영상신호의 한 화면전체에 대해 2×2 화소 크기를 기본단위로 하여 그 값을 적분하며, 그 중 아주 밝은 부분과 아주 어두운 부분에 대해 클리핑(clipping)을 수행하여 제외시키고 유효한 부분에 대해서만 게인을 계산한다. 그런 다음, 전체화면을 소정의 화소 크기의 블록(block)단위로 나누어 전체 블록에 대해 광원을 검출한다. 검출된 광원에 대하여 AWB 처리를 수행하고, 이때 구해진 AWB 게인을 전체화면에 적용하게 된다.

현재 디지털 영상 처리 장치는 양산 시 적용된 AWB 파라미터를 기준으로 AWB 알고리즘을 적용하여 전세계 어디서나 똑같은 방식으로 AWB를 실행하고 있다. 즉, 영상이 촬영되는 장소 및 시간정보를 이용하지 않고 각 사에서 정해진 표준 장면과 표준 차트를 이용하여 AWB 성능을 최적화 해오고 있다. 하지만 지역별 및 시간별로 색온도가 다르기 때문에 인지 색감 측면에서 보면 같은 피사체를 촬영하더라도, 촬영한 장소 및 시간에 따라 사진에 표현된 색이 틀리게 표현된다. 그러나, 현재 디지털 카메라는 각 사에서 지원하는 표준 장면과 표준 차트 이외의 장소에서 영상이 촬영되었을 때, 그 장소 및 시간에서의 최적화된 AWB 성능을 얻기가 어려운 실정이다.

본 발명이 해결하고자 하는 과제는 주변 환경에 의해 화면의 색상 변화가 흔들이는 문제를 해결하고, 색감을 좀더 정확하게 표현할 수 있으며, 화이트 밸런스(WB)를 실외와 실내를 구분하여 처리하여 오차율을 줄이며, 또한 사용자 및 개발자의 취향에 맞게 색감에 게인(gain)을 적용함으로써, 보다 유연한 AWB 실행할 수 있는 자동 화이트 밸런스(AWB) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치를 제공하는 데에 있다.

상기 과제를 해결하기 위하여, 본 발명은 레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하여 복 수배의 광원 박스들에 대한 맵으로 셋팅하는 맵 셋팅부; 셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 카운트하는 픽셀 카운트부; 최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 광원 선택부; 및 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인(red gain: R_gain) 및 블루 게인(blue gain: B_gain)을 계산하여 AWB를 조정하는 밸런스 게인(balance gain) 적용부;를 포함하는 자동 화이트 밸런스(AWB: Auto White Balance) 조정장치를 제공한다.

본 발명에 있어서, 상기 맵 셋팅부는 8개의 상기 레지스터를 이용하여 제n-1 프레임과 제n 프레임에 각각 8개의 상기 광원 박스에 대한 정보를 나누어 셋팅하고, 상기 픽셀 카운트부가 임시 메모리를 이용하여 각각의 상기 광원 박스 내의 상 기 화이트 픽셀의 개수를 카운트하며, 상기 밸런스 게인 적용부가 상기 최대 광원 박스를 기반으로 계산한 상기 레드 게인 및 블루 게인을 제n+1 프레임에 적용할 수 있다. 여기서, 상기 레드 게인 및 블루 게인은 상기 기준 영상의 레드 컬러 값 및 블루 컬러 값에 상기 최대 광원 박스의 맵핑 값을 곱함으로써 계산될 수 있다.

본 발명은 또한 상기 과제를 해결하기 위하여, 피사체에 대한 아날로그 이미지 신호를 출력하는 이미지 센서; 상기 아날로그 이미지 신호를 디지털화 및 보정하고, 광원에 따라 AWB를 조정하여 출력을 위한 비디오 영상 신호로 변환시키는 이미지 신호 처리장치; 상기 이미지 신호 처리장치로부터 상기 비디오 영상 신호를 입력받아 디스플레이 장치에 출력시키는 출력부; 및 상기 이미지 센서, 이미지 신호 처리장치 및 출력부를 제어하는 제어부를 포함하고, 상기 AWB 조정이 상기 AWB 조정장치를 통해 이루어지는 것을 특징으로 하는 영상처리장치를 제공한다.

더 나아가 본 발명은 상기 과제를 해결하기 위하여, 레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하는 방식을 통해 복수 배의 광원 박스들에 대한 맵을 셋팅하는 단계; 셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀의 개수를 카운트하는 단계; 최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 단계; 및 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인 및 블루 게인을 계산하여 AWB를 조정하는 밸런스 게인 적용단계;를 포함하는 AWB 조정방법을 제공한다.

한편, 본 발명은 상기 과제를 해결하기 위하여, 레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하는 방식을 통해 복수 배의 광원 박스들에 대 한 맵을 셋팅하는 단계; 셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 카운트하는 단계; 최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 단계; 상기 광원의 오검출을 보상하기 위하여 실외환경인지 실내환경인지 판단하는 환경판단 단계; 및 상기 실외환경인지 실내환경인지에 따라 AWB를 조정하는 단계;를 포함하는 AWB 조정방법을 제공한다.

본 발명에 있어서, 상기 AWB 조정하는 단계에서는, 상기 실외 환경이거나 또는 상기 Daylight 인 경우에, 추출된 AWB의 소정 범위 내에서 상기 레드 게인 또는 블루 게인을 조정하는 프리디파인드 방식을 통해 상기 AWB가 조정하며, 상기 실내 환경이고 상기 Daylight가 아닌 경우에는, 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인 및 블루 게인을 계산하는 넌-프리디파인드 방식을 통해 상기 AWB를 조정할 수 있다.

본 발명에 따른 자동 화이트 밸런스(AWB) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치는 맵 스위칭을 통해 최대 16개의 광원 박스를 사용함으로써, 광원과 광원 사이의 편차가 줄어들게 되어 화면의 색상 변화가 크게 흔들리는 문제점을 해결할 수 있고, 그에 따라 이미지 센서의 품질을 향상시킬 수 있다.

또한, 본 발명은 광원박스의 개수가 늘어나게 되면서 광원박스들이 보다 작고 촘촘하게 배치되기 때문에 해당광원에 속하지 않는 색이 들어갈 확률이 낮아져, 색감을 보다 정확하게 표현할 수 있다.

더 나아가 본 발명은 방어 코드부를 둠으로써, 태양광과 실내광이 복합적으 로 나타나는 환경과 같은 다중 광원 환경에서 광원을 오검출하는 가능성을 감소시켜, 주변 환경에 대한 밸런스 색감을 극대화하여 표현할 수 있고, 또한 사용자 및 개발자의 취향에 맞게 색감에 게인(gain)을 적용함으로써, 보다 유연한 AWB 실행할 수 있도록 한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 이하의 설명에서 어떤 구성 요소가 다른 구성 요소에 연결된다고 기술될 때, 이는 다른 구성 요소와 바로 연결될 수도 있지만, 그 사이에 제3의 구성 요소가 개재될 수도 있다. 또한, 도면에서 각 구성 요소의 구조나 크기는 설명의 편의 및 명확성을 위하여 과장되었고, 설명과 관계없는 부분은 생략되었다. 도면상에서 동일 부호는 동일한 요소를 지칭한다. 한편, 사용되는 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 영상처리장치에 대한 블럭 구조도이다.

도 1을 참조하면, 본 실시예의 영상처리장치는 이미지 센서(1100), 이미지 신호 처리 장치(1000), 출력부(1200) 및 제어부(1300)를 포함한다.

이미지 센서(1100)는 피사체를 캡쳐하여 피사체에 대한 아날로그 이미지 신호를 출력하며, 이미지 신호 처리 장치(1000)는 A/D 컨버터(미도시), 감마 보정부(미도시), AWB 조정장치(100) 등을 포함하여, 아날로그 이미지 신호를 디지털화, 신호 왜곡 보정, 및 광원에 따라 AWB 조정 등을 통해, 출력을 위한 비디오 영상 신 호를 생성하는 기능을 수행한다. 이미지 신호 처리 장치(1000) 내의 AWB 조정장치(100)는 주변 환경에 의해 화면의 색상 변화가 흔들이는 문제를 해결하고, 색감을 좀더 정확하게 표현할 수 있으며, 화이트 밸런스(WB)를 실외와 실내를 구분하여 처리하여 오차율을 줄임으로써, 보다 유연한 AWB 실행할 수 있도록 하는데, AWB 조정장치(100) 대해서는 도 2a 및 2b에 대한 설명부분에서 좀더 상세히 기술한다.

출력부(1200)는 이미지 신호 처리장치(1000)로부터 상기 비디오 영상 신호를 입력받아 디스플레이 장치에 출력시키며, 제어부(1300)는 이미지 센서(1100), 이미지 신호 처리장치(1000) 및 출력부(1200)를 전반적으로 제어한다. 한편, 도시하지는 않았지만, 본 발명의 영상처리장치는 이미지 신호 처리를 위한 필요한 다양한 데이터들을 저장하는 저장장치를 포함할 수 있음은 물론이다.

본 실시예의 영상처리장치는 이미지 신호 처리장치(1000) 내에 주변 환경에 따라 유연하게 AWB를 조정할 수 있도록 맵 스위칭을 통해 최대 16개의 광원 박스를 이용할 수 있는 AWB 조정장치(100)를 포함함으로써, 광원과 광원 사이의 편차를 줄여 화면의 색상 변화가 크게 흔들리는 문제점을 해결할 수 있고, 그에 따라 이미지 센서의 품질을 향상시킬 수 있으며, 또한, 광원박스들을 보다 작고 촘촘하게 배치함으로써, 해당광원에 속하지 않는 색이 들어갈 확률을 낮춰, 색감을 보다 정확하게 표현할 수 있도록 한다.

도 2a 및 2b는 도 1의 영상처리장치 내의 AWB 장치를 좀더 상세하게 보여주는 블럭 구조도이다.

도 2a를 참조하면, 본 실시예의 AWB 조정장치(100)는 맵 셋팅부(110), 픽셀 카운트부(120), 광원 선택부(130) 및 밸런스 게인(balance gain) 적용부(140)를 포함한다.

맵 셋팅부(110)는 8개의 레지스터를 이용하여 구성되는 광원 박스들에 대하여 맵을 스위칭하는 방식을 통해 2배의 광원 박스들에 대하여 맵으로 셋팅하는 기능을 한다. 즉, 종래에는 8개의 레지스터를 이용하여 각각 하나의 프레임에 8개의 광원 박스들에 대한 맵을 셋팅하고 그러한 맵 셋팅된 각각의 프레임에 대하여 광원을 추적하였지만, 본 실시예에서는 8개의 레지스터를 이용하여 어느 하나의 프레임에 최대 8개의 광원 박스를 매핑하고, 또한 바로 다음 프레임에 다시 최대 8개의 광원 박스를 매핑하여 스위칭을 통해 두 프레임의 16개의 광원 박스를 함께 이용하는 방법을 통해 기존 광원 박스들의 개수의 최대 2배, 즉 최대 16개의 광원 박스를 이용하여 광원을 추적하게 된다. 이러한 맵 셋팅에 대한 내용은 도 3을 통해 좀더 상세하게 설명한다. 본 실시예에서는 맵 스위칭 방식을 통해 2배의 광원 박스들을 맵 셋팅하는 방법을 설명하였지만, 필요에 따라 그 이상의 광원 박스들을 맵 스위칭을 통해 맵 셋팅할 수 있음은 물론이다.

픽셀 카운트부(120)는 셋팅된 각각의 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 카운트하여 카운트 된 개수를 임시 저장장치로 저장하여, 화이트 픽셀의 개수가 가장 많은 최대 광원 박스를 찾는다. 또한, 화이트 픽셀의 개수에 따라 광원 박스를 소팅(sorting)하는 기능도 한다. 여기서, 화이트 픽셀은 실외 및 실내에서 촬영한 복수 개의 그레이 차트(Gray chart)나 맥베스 차트(Macbeth chart)를 이용한 기준 영상으로부터 추출하게 되는데, 이러한 기준 영 상은 그레이 차트의 각 패치 영역으로부터 화이트 픽셀의 개수가 충분히 포함되는 컬러 정보로 이루어지는 것이 바람직하며, 또한 그러한 기준 영상의 화이트 픽셀의 카운트는 맥베스 차트의 그레이 패치 부분의 픽셀들을 카운트함으로써 이루어지는 것이 바람직하다.

한편, 기준 영상의 올바른 화이트 픽셀을 카운트하기 위해서 오직 렌즈 쉐이딩(Lens Shading) 보정만을 거친 후의 영상을 사용하여 맵 셋팅이 수행되는 것이 바람직하다. 여기서, 렌즈 쉐이딩 보정은 렌즈의 사이즈에 따라 렌즈 주변부의 밝기가 그 중앙부의 밝기보다 감소되는 현상을 제거하기 위해 수행되는 보정이다.

광원 선택부(130)는 픽셀 카운트부(120)에서 카운트한 화이트 픽셀의 개수가 최대인 최대 광원 박스를 기초로 하여 해당 광원을 선택한다. 즉, 광원 박스들은 앞서의 맵 셋팅부(110)를 통해 Horizon, A, TL84, CWF, Fluorescent, Daylight 등에 해당하는 시험 광원들에 따라 맵 셋팅이 이루어지게 된다. 여기서, Horizon, A, TL84, CWF, Fluorescent, Daylight 등의 시험 광원들은 광 부스(light booth) 내에서 규정된 색 온도를 갖는다. 예컨대, Horizon은 3000K, A는3500K, TL84은 4200K, CWF는 4800 ~ 5000K, Fluorescent는 5500K, 그리고 Daylight는 6500K의 색 온도를 갖는다. 따라서, 화이트 픽셀의 개수가 최대인 최대 광원 박스를 찾으면, 그 최대 광원 박스에 대응하는 시험 광원을 현재 영상의 광원으로서 선택할 수 있다.

밸런스 게인 적용부(140)는 광원 선택부(130)에서 광원을 선택한 후, 최대 광원 박스의 맵핑 값을 기반으로 레드 게인(red gain: R_gain) 및 블루 게인(blue gain: B_gain)을 계산한다. 여기서, 계산된 레드 게인이나 블루 게인은 기준 영상의 레드 및 블루의 컬러 값을 최대 광원 박스의 맵핑 값을 이용하여 보정한 새로운 보정 영상의 레드 게인 및 블루 게인이다. 이러한 레드 게인 및 블루 게인의 보정 은 R/G 및 B/G를 축으로 하는 색 온도에 대한 색 좌표계 상에서 해당 광원 박스에 속해 있던 화이트 픽셀들을 색 좌표계 상의 중심 부분으로 이동시킨다는 개념이다. 이는 도 5a ~ 6b을 참조하면 쉽게 이해할 수 있다.

레드 게인이나 블루 게인의 조정은 기본적으로,

"기준 영상의 R 및 B의 컬러값 * 매핑 값 = 보정 영상의 R 및 B 게인"의 개념을 기반으로 계산할 수 있다. 즉, 수식으로 표현하면 식(1)과 같이 전개가 가능하고, 식(1)은 다시 식(2)와 같이 일반화시킬 수 있다.

R_gain = Gsumreg[BoxMax]/Rsumreg[BoxMax] * 1024

B_gain = Gsumreg[BoxMax]/Bsumreg[BoxMax] * 1024................식(1)

R_gain = 128/(Rsumreg[BoxMax]/Gsumreg[BoxMax]) * 1024

B_gain = 128/(Bsumreg[BoxMax]/Gsumreg[BoxMax]) * 1024...........식(2)

여기서, Gsumreg[BoxMax]는 최대 광원 박스 내의 그린(green) 컬러 값의 모든 합을 의미하며, Rsumreg[BoxMax]는 최대 광원 박스 내의 레드 컬러 값의 모든 합을 의미하며, Bsumreg[BoxMax]는 최대 광원 박스 내의 블루 컬러 값의 모든 합을 의미한다. 한편, 1024는 이론적인 10비트 매핑 값이며, 128은 0 ~ 256 컬러 스페이스에서의 중간값이다. 따라서, 식(2)를 통해 레드 및 블루의 게인을 조정하게 되면, 해당 광원 박스에 속해 있던 화이트 픽셀이 R/G 및 B/G를 축으로 하는 색 좌표계 상에서 중심부분으로 이동하게 된다. 이러한 게인의 조정을 통해 화이트 픽셀을 색 좌표계 상의 중심부분으로 이동시키는 것은 현재의 광원에 대한 화이트 밸런스를 정확하게 맞추는 것을 의미한다.

도 2b를 참조하면, 본 실시예는 도 2a와 유사한 구조를 가지나, 광원 선택부(130) 후단으로 광원의 오검출을 보상하기 위한 방어 코드부(150)를 더 포함하며, 또한 밸런스 게인 적용부(140) 대신에 밸런스 게인 적용부(140)와 고정 AWB 추출부(145)를 선택적으로 적용하는 AWB 조정부(160)를 포함한다.

방어 코드부(150)는 먼저 AE(Auto Exposure) 시간, 즉 셔터 타임 인터벌(int_time)을 소정 문턱값(threshold)과 비교하여 실외환경인지 실내환경인지 판단한다. 즉, AE 시간이 실외 환경에서 더 짧아짐은 자명하기 때문에, AE 시간이 소정 문턱값보다 작은 경우는 실외환경으로, 소정 문턱값보다 큰 경우는 실내환경으로 판단한다. 예컨대, 문턱값을 200, 즉 수평 동기(Hsync) 라인 200개에 해당하는 시간으로 설정하고, AE 시간이 200보다 적은 경우에는 실외 환경으로, 200보다 크거나 같은 경우는 실내 환경으로 판단한다.

한편, 방어 코드부(150)는 실내 환경으로 판단된 경우에도 다시 광원이 Daylight인지 판단하게 되는데, 실내 환경으로 판단된 경우에도 불구하고, 광원이 Daylight인 경우에는 실외 환경에 따른 AWB를 적용하기 위함이다. 광원이 Daylight인지의 판단은 광원 선택부(120)에서 선택된 최대 광원 박스가 색 좌표계 상에서 최하부에 위치하는 광원박스인지를 판단함으로써 결정할 수 있다.

방어 코드부(150)에서 주변 환경을 판단한 후에, AWB 조정부(160)가 주변 환경에 따라 AWB를 조정한다. AWB 조정부(160)는 밸런스 게인 적용부(140) 및 고정 AWB 추출부(145)를 포함하는데, 실내 환경이고 Daylight가 아닌 환경으로 판단된 경우에는 도 2a의 설명한 바와 같이 밸런스 게인 적용부(140)에서 레드 게인과 블 루 게인을 최대 광원 박스의 매핑 값에 기초하여 계산하여 AWB를 조정하게 된다. 한편, 실외환경이거나 광원이 Daylight인 경우는 고정 AWB 추출부(145)를 통해 각 광원에 따라 종래에 이미 추출되어 있는 고정값인 AWB의 소정 범위 내에서 상기 레드 게인 또는 블루 게인을 수동으로 조정하여 AWB 조정한다.

참고로, 실내 및 실외 환경의 구분의 의미는 보통 사용자의 취향에 맞게 고려되는데, 이미 추출된 정확한 AWB 값에서 블루 게인 값을 보강하여 전반적으로 시원하고 보이고 싶거나 인물을 강조하기 위해서 레드 게인값을 보강하고자 하는 경우에 수동으로(manually) 게인을 조정하여 사용될 수 있다. 이러한 경우는 실외환경 테스트에서 정확하게 계산되어 있는 고정 AWB 값을 기초로 하여, 타겟 영상에 대해 추출된 고정 AWB 값에서 많이 벗어나지 않는 범위 내에서 수동으로 레드나 블루의 게인 값을 상향 조정해야 한다. 이러한 방식을 프리디파인드(predefined) 방식으로 정의한다.

실내환경에 대해서는 본 발명의 AWB 조정장치의 밸런스 게인 적용부(140)에서 식(2)를 통해 레드 게인 및 블루 게인을 계산하여 AWB를 조정하는 방법을 적용할 수 있는데 이러한 방식을 넌-프리디파인드(Non-predefined) 방식으로 정의한다.

한편, 실내환경 내에서라도 태양광이 많이 들어오는 창문과 인접한 장소에서는 실내라고 판단하지 않고 실외광원으로 판단하여 프리디파인드 방식을 사용할 수 있으며, 마찬가지로 실외환경이라도 밝기가 충분하지 않거나 창문 근처라도 충분한 태양광이 존재하지 않는 장소에서는 넌-프리디파인드 방식을 사용할 수 있다. 즉, 환경을 판단하여 프리디파인드 방식과 넌-프리디파인드 방식을 혼용해서 사용하는 것을 분할-프리디파인드(Partitial-predefined) 방식이라 정의한다.

위와 같은 정의에 기초하여 앞서 AWB 조정부(160) 작용을 다시 설명하면, 실외환경이거나 광원이 Daylight인 경우는 프리디파인드 방식을 통해 AWB를 조정하며, 실내 환경이고 Daylight가 아닌 환경인 경우에는 넌-프리디파인드 방식을 통해 AWB를 통해 조정한다. 본 실시예의 AWB 조정장치(100a)는 방어 코드부(150)를 통해 주변 환경을 판단하게 되고, 그에 따라 프리디파인드 방식과 넌-프리디파인드 방식을 선택적으로 사용하기 때문에 전체적으로 분할-프리디파인드 방식을 채용하고 있다고 할 수 있다. 또한, 본 발명의 분할-프리디파인드 방식에서는 전술한 바와 같이 실내 환경과 실내 환경을 정확히 구분하지 않고 필요에 따라 적절하게 프리디파인드 방식과 넌-프리디파인드 방식을 혼용하여 사용할 수 있다.

본 실시예의 AWB 조정장치는 맵 스위칭을 통해 최대 16개의 광원 박스를 사용함으로써, 광원과 광원 사이의 편차가 줄어들게 되어 화면의 색상 변화가 크게 흔들리는 문제점을 해결할 수 있고, 그에 따라 이미지 센서의 품질을 향상시킬 수 있다. 또한, 본 발명은 광원박스의 개수가 늘어나게 되면서 광원박스들이 보다 작고 촘촘하게 배치되기 때문에 해당광원에 속하지 않는 색이 들어갈 확률이 낮아져, 색감을 보다 정확하게 표현할 수 있다는 장점을 갖는다.

한편, 본 실시예의 AWB 조정장치는 방어 코드부를 두어 주변 환경에 따라 프리디파인드 방식 또는 넌-프리디파인드 방식을 통해 AWB를 조정함으로써, 태양광과 실내광이 복합적으로 나타나는 환경과 같은 다중 광원 환경에서 광원을 오검출하는 가능성을 감소시켜, 주변 환경에 대한 밸런스 색감을 극대화하여 표현할 수 있고, 또한 사용자 및 개발자의 취향에 맞게 색감에 게인(gain)을 적용하여, 보다 유연한 AWB 실행할 수 있도록 한다.

도 3은 색 좌표계 내에 광원 박스를 나열하는 모습을 보여주는 도면으로서, 여기서, x축은 그린에 대한 블루의 상대적인 색 좌표(B/G)를 나타내고, y축은 그린에 대한 레드의 상대적인 색 좌표(R/G)를 나타낸다.

도 3을 참조하면, 본 실시예의 AWB 조정장치는 맵 셋팅부(110)에서 맵 스위칭 방식을 통해 2개의 프레임에 2배의 광원 박스들에 대하여 맵 셋팅을 수행하게 된다. 이러한 맵 셋팅 과정은 광 부스(Light booth) 내에서 렌즈 쉐이딩 기능만을 활성화시킨 상태에서, 그레이 차트를 최대한 화면 가득히 채우고, 맵 스위칭 방식을 통해 최대 16개의 광원박스를 Horizon, A, TL84, CWF, Fluorescent, Daylight 등의 시험 광원에 따라 순차적으로 나열함으로써 이루어진다.

이때, 각각의 광원박스(A)는 색 좌표계 내에서 10x10 크기를 가지며 시험 광원들 사이의 빈 공간이 생기지 않도록 여유 광원박스들을 순차적으로 위치시킨다. 순차적으로 나열된 광원박스들이 해당 광원과 광원 사이를 충분히 채웠다고 판단될 경우 여분의 광원 박스는 사용하지 않아도 된다. 종래에는, 8개의 레지스터를 사용하기 때문에 최대 8개의 광원 박스만을 셋팅시킬 수 있었다. 따라서, 시험 광원들 사이를 충분히 채우지 못하였고, 만약 셋팅시킨 광원 박스 사이에 화이트 픽셀이 최대로 존재하게 되면, 근처의 광원 박스의 매핑 값을 통해 레드 게인과 블루 게인을 계산하게 됨으로써, 정확한 밸런스 게인을 획득할 수 없는 문제점을 가지고 있었다.

그러나 본 발명은 맵 스위칭 방식을 통해 최대 16개의 광원 박스를 사용할 수 있으므로, 그에 따라 시험 광원들 사이를 충분히 채울 수 있도록 광원 박스를 배치시킬 수 있다. 한편, 언급한 바와 같이 반드시 16개 전체를 사용할 필요는 없으며, 해당 광원과 광원 사이를 충분히 채웠다고 판단될 경우 여분의 광원 박스는 사용하지 않아도 된다. 본 도면에서는 13개의 광원 박스(A)가 배치되고 있음을 알 수 있다. 한편, 여분 광원 박스는 저조도 및 스킨톤 보정을 사용될 수 있다. 예컨대, 10개의 광원 박스를 매핑을 위해 사용하고, 나머지 6개의 여분 광원 박스는 저조도 및 스킨톤 보정을 사용되는 것이 바람직하다. 여기서 중심 부분의 박스(B)는 현재 광원의 화이트 픽셀들이 존재해야 하는 색 좌표 영역으로서, 밸런스 게인 적용, 즉 레드 게인 및 블루 게인 보정에 의해 최대 광원 박스에 속하는 화이트 픽셀들이 이동되어야 할 영역이다.

도 4는 본 발명의 AWB 장치 내의 맵 셋팅부 및 픽셀 카운트부의 동작을 보여주는 개념도이다.

도 4를 참조하면, 종래에 맵 셋팅은 8개의 레지스터를 이용하여 프레임별로 8개의 광원 박스에 대한 셋팅만이 가능하다. 즉, 8개의 레지스터에 각 광원 박스에 대한 위치 정보가 셋팅되게 된다. 그러나 본 발명에서는 맵 셋팅부(110)가도시한 바와 같이 8개의 레지스터를 이용하여 먼저 제N-1 번째 프레임(C₁)에 대하여 8개의 광원 박스에 대하여 셋팅을 하고, 셋팅된 광원 박스들에 대하여 픽셀 카운트부(120)가 임시 저장부(미도시)를 이용하여 소프트웨어적으로 화이트 픽셀을 카운 트하여 저장한다. 다음 제N 번째 프레임(C₂)에 대하여 다시 레지스터를 이용하여 광원 박스에 대하여 셋팅을 하고, 픽셀 카운트부(120)가 셋팅된 광원 박스들에 대하여 화이트 픽셀을 카운트하여 저장한다.

이와 같은 맵 스위칭 동작을 통해 맵 셋팅부(110)는 최대 16개의 광원 박스에 대하여 맵 셋팅이 가능하고, 픽셀 카운트부(120)는 최대 16개의 광원 박스들에 대한 화이트 픽셀의 개수를 카운트하는 것이 가능하다. 또한, 픽셀 카운트부(120)는 임시 저장부(미도시)에 저장된 화이트 픽셀의 개수에 근거하여 화이트 픽셀의 개수가 최대인 최대 광원 박스를 추출하며, 화이트 픽셀의 개수에 따라 광원 박스를 소팅한다. 한편, 제N-1 번째 프레임(C₁)에 셋팅되는 광원 박스들과 제N 번째 프레임(C₂)에 셋팅되는 광원 박스들의 위치는 다르므로, 프레임 간에는 수직-동기(Vsync: D)가 맞춰져야 한다.

픽셀 카운트부(120)를 통해 최대 광원 박스가 추출된 경우에, 최대 광원 박스의 매핑값에 근거하여 레드 게인 및 블루 게인이 식(2)를 통해 계산되며, 계산된 레이 게인 및 블루 게인은 제N+1 번째 프레임(C₃)에 적용된다. 그 후, 제N+1 번째 프레임(C₃)은 다음 맵 셋팅에 이용되고, 그에 따라 계산된 레드 게인 및 블루 게인이 다음 제N+2 번째 프레임에 적용되는 식으로 계속하여 진행된다.

이러한 맵 셋팅 과정 및 픽셀 카운트 과정은 전적으로 초기에 설정된 맵 셋팅에 할당된 레지스터 개수에 의존하게 되는데, 본 실시예에서는 맵 스위칭 방법을 통해, 필요에 따라 할당된 레지스터의 최대 2배수의 광원 박스를 사용할 수 있다. 한편, 전술한 바와 같이 본 발명은 필요에 따라 맵 스위칭 방법을 통해 3배 이상의 광원 박스를 맵 셋팅할 수 있음은 물론이다.

도 5a 및 5b는 AWB가 보정되지 않은 경우의 색점들의 위치를 보여주는 광 좌표 및 그에 따른 연색성(color rendition) 챠트를 보여주는 도면들이다.

도 5a는 앞서 맵 셋팅부(110) 및 픽셀 카운트부(120)를 통해 11 개의 광원 박스들(A) 중에서 화이트 픽셀이 최대인 10번 광원 박스(A1)가 최대 광원 박스임을 보여주고 있다. 여기서, P는 10원 광원 박스 내에 존재하는 화이트 픽셀들을 포함한 색점들을 지칭한다.

도 5b는 도 5a에서와 같이 화이트 픽셀들이 10번 광원 박스 내에 최대로 존재하는 경우의 연색성(color rendition) 챠트에 대한 사진을 보여주고 있는데, 전체적으로 블루 계통으로 치우쳐 표시되고 있음을 확인할 수 있다.

도 6a 및 6b는 AWB가 보정된 경우의 색점들의 위치를 보여주는 색 좌표계 및 그에 따른 연색성(color rendition) 챠트를 보여주는 도면들이다.

도 6a는 식(2)를 통해 레드 게인 및 블루 게인 계산하여 AWB를 보정한 후에, 화이트 픽셀을 포함한 색점들(P')이 중심 부분의 박스(B)로 이동한 모습을 보여주고 있으며, 도 6b는 그러한 AWB 보정 후의 연색성(color rendition) 챠트에 대한 사진을 보여주고 있다. 도시된 바와 같이, 도 5b에 비해 색깔들이 좀더 선명하게 표시되고 있음을 확인할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 AWB 조정 방법을 보여주는 흐름도이 다. 이해의 편의를 위해 도 2a를 참조하여 설명한다.

도 7을 참조하면, 본 실시예에 따른 AWB 조정 방법은 먼저, 맵 셋팅부(110)에서 맵 스위칭을 통하여 설정된 레지스터의 2배의 광원 박스에 대한 맵 셋팅을 수행한다(S110). 이러한 맵 스위칭에 의한 맵 셋팅은 도 4에서 상세히 설명하였으므로 그에 대한 설명은 생략한다. 다음, 픽셀 카운트부(120)를 통하여 셋팅된 각각의 광원 박스 내에 속하는 화이트 픽셀의 개수를 카운트한다(S120). 그 후, 광원 선택부(130)가 화이트 픽셀의 개수가 최대인 최대 광원 박스에 기초하여 현재의 광원을 선택한다(S130). 최대 광원 박스가 추출되면, 최대 광원 박스의 매핑 값에 기초하여 식(2)를 통해 밸런스 게인 적용부(140)에서 레드 게인 및 블루 게인을 계산하여 AWB를 조정한다(S140)).

도 8a는 본 발명의 또 다른 실시예에 따른 AWB 조정 방법을 보여주는 흐름도이다. 이해의 편의를 위해 도 2b를 참조하여 설명한다.

도 8a를 참조하면, 본 실시예에 따른 AWB 조정 방법은 앞서 도 7에서의 AWB 조정 방법과 전단부의 과정은 동일하다. 즉, 맵 셋팅을 수행하고(S210), 셋팅된 각각의 광원 박스 내에 속하는 화이트 픽셀의 개수를 카운트하며(S220). 최대 광원 박스에 기초하여 현재의 광원을 선택한다(S230). 다음, 방어 코드부(150)를 통하여 주변 환경을 판단한다(S240). 방어 코드부(150)를 통한 주변 환경 판단에 대한 내용은 도 2b에서 상세히 설명하였으므로 그에 대한 설명은 생략한다. 주변 환경 판단 후, AWB 조정부(160)에서 판단된 주변 환경에 따라 AWB 조정을 수행한다(S250). 주변 환경 판단 과정(S240)과 AWB 조정 과정(S250)은 이하, 도 8b에서 좀더 상세히 설명한다.

도 8b는 도 8a의 촬영 환경 판단 단계와 AWB 조정 단계를 좀더 상세하게 보여주는 흐름도이다.

도 8b를 참조하면, 광원 선택 후(S230), 방어 코드부(150)에서 일단 실외 환경인지 실내 환경인지를 판단한다(S242). 실외 환경과 실내 환경의 판단은 전술한 바와 같이, AE시간, 즉 셔터 타임 인터벌(int_time)을 소정 문턱값(threshold)과 비교하여 실외환경인지 실내환경인지 판단한다. 예컨대, 문턱값을 200, 즉 수평 동기(Hsync) 라인 200개에 해당하는 시간으로 설정하고, AE 시간이 200보다 적은 경우에는 실외 환경으로, 200보다 크거나 같은 경우는 실내 환경으로 판단한다.

실내외 환경 판단 후 실외 환경인 경우는 앞서 정의한 프리디파인드 방식을 통해 레드 게인 및 블루 게인을 조정한다(S252a). 한편, 실내 환경인 경우에는 다시 광원이 Daylight인지를 판단한다(S244). Daylight인지의 판단은 광원 선택부(130)에서 선택된 최대 광원 박스가 색 좌표계 상에서 최하부에 위치하는 광원박스인지를 판단함으로써 결정할 수 있다. 광원이 Daylight 광원인 경우에는 다시 프리디파인드 방식을 통해 레드 게인 및 블루 게인을 조정한다(S252a). 한편, 광원이 Daylight 광원이 아닌 경우에는 넌-프리디파인드 방식, 즉 식(2)를 통해 레드 게인 및 블루 게인을 계산한다(S252b). 이러한 주변 환경에 따른 게인 계산이 수행된 후에, 해당 프레임에 적용되어 AWB 조정이 수행된다(S254).

표시된 바와 같이, 본 실시예의 AWB 조정 방법은 방어 코드부를 통해 주변 환경에 따라 프리디파인드 방식 또는 넌-프리디파인드 방식을 선택적으로 적용할 수 있는 분할-프리디파인드 방식을 채용한다.

한편, 실내환경 내에서라도 태양광이 많이 들어오는 창문과 인접한 장소에서는 실내라고 판단하지 않고 실외광원으로 판단하여 프리디파인드 방식을 사용할 수 있으며, 마찬가지로 실외환경이라도 밝기가 충분하지 않거나 창문 근처라도 충분한 태양광이 존재하지 않는 장소에서는 넌-프리디파인드 방식을 사용할 수 있음은 전술한 바와 같다.

지금까지, 본 발명을 도면에 표시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 3은 색 좌표계 내에 광원 박스를 나열하는 모습을 보여주는 도면이다.

도 5a 및 5b는 AWB가 보정되지 않은 경우의 색점들의 위치를 보여주는 색 좌표계 및 그에 따른 연색성(color rendition) 챠트를 보여주는 도면들이다.

도 7은 본 발명의 다른 실시예에 따른 AWB 조정 방법을 보여주는 흐름도이다.

도 8a는 본 발명의 또 다른 실시예에 따른 AWB 조정 방법을 보여주는 흐름도이다.

Claims

레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하여 복수 배의 광원 박스들에 대한 맵으로 셋팅하는 맵 셋팅부;

셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 카운트하는 픽셀 카운트부;

최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 광원 선택부; 및

상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인(red gain: R_gain) 및 블루 게인(blue gain: B_gain)을 계산하여 AWB를 조정하는 밸런스 게인(balance gain) 적용부;를 포함하는 자동 화이트 밸런스(AWB: Auto White Balance) 조정장치.
제1 항에 있어서,

상기 맵 셋팅부는 8개의 상기 레지스터를 이용하여 제n-1 프레임과 제n 프레임에 각각 8개의 상기 광원 박스에 대한 정보를 나누어 셋팅하고,

상기 픽셀 카운트부가 임시 메모리를 이용하여 각각의 상기 광원 박스 내의 상기 화이트 픽셀의 개수를 카운트하여, 상기 광원 선택부가 해당 상기 광원을 선택하며,

상기 밸런스 게인 적용부가 상기 최대 광원 박스를 기반으로 계산한 상기 레드 게인 및 블루 게인을 제n+1 프레임에 적용하는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제1 항에 있어서,

상기 맵 셋팅부는 광 부스(light booth) 내에 그레이 차트(Gray chart)를 채운 상태에서 광원 박스들을 시험 광원에 따라 순차적으로 배열하여 상기 맵을 셋팅하는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제3 항에 있어서,

상기 기준 영상은 렌즈 쉐이딩(lens shading) 보정만을 수행한 영상이며,

상기 시험 광원은 Horizon, A, TL84, CWF, Fluorescent, 및 Daylight 광원을 포함하며,

상기 광원 박스들은 색 좌표계 상의 상기 시험 광원들 사이에 빈 공간이 생기지 않도록 배치되는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제1 항에 있어서,

상기 레드 게인 및 블루 게인은 상기 기준 영상의 레드 컬러 값 및 블루 컬러 값에 상기 최대 광원 박스의 맵핑 값을 곱함으로써 계산되는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제5 항에 있어서,

상기 레드 게인은 상기 최대 광원 박스 내의 레드 컬러 값의 합을 그린(green: G) 컬러 값의 합으로 나눈 값인 R/G 비율값을 구하고, 128을 상기 R/G 비율값으로 나눈 결과값에 10 비트 값(1024)을 곱하여 계산하며,

상기 블루 게인은 상기 최대 광원 박스 내의 블루 컬러 값의 합을 그린 컬러 값의 합으로 나눈 값인 B/G 비율값을 구하고, 128을 상기 B/G 비율값으로 나눈 결과값에 10 비트 값(1024)을 곱하여 계산하는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제1 항에 있어서,

상기 광원 선택부에서의 상기 광원의 오검출을 보상하기 위한 방어 코드부를 더 포함하는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제7 항에 있어서,

상기 방어 코드부는 AE(Auto Exposure) 시간을 소정 문턱값(threshold)과 비교하여 실외환경인지 실내환경인지 판단하고,

실외 환경인 경우는 추출된 AWB의 소정 범위 내에서 상기 레드 게인 또는 블루 게인을 조정하는 프리디파인드(predefined) 방식으로 상기 AWB가 조정되며,

실내 환경인 경우는 상기 방어 코드부가 Daylight 광원인지 판단한 후, 상기 Daylight 광원이면, 상기 프리디파인드 방식을 통해 상기 AWB가 조정되며, 상기 Daylight 광원이 아니면 상기 밸런스 게인 적용부를 통해 상기 레드 게인 및 블루 게인을 계산하여 조정하는 넌-프리디파인드(Non-predefined) 방식으로 상기 AWB가 조정되는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
제8 항에 있어서,

상기 실외 환경에 상기 넌-프리디파인드 방식이 적용되거나,

상기 실내 환경에 상기 프리디파인드 방식이 적용될 수 있는 것을 특징으로 하는 자동 화이트 밸런스 조정장치.
피사체에 대한 아날로그 이미지 신호를 출력하는 이미지 센서;

상기 아날로그 이미지 신호를 디지털화고, 레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하여 복수배의 광원 박스들에 대한 맵으로 셋팅하고, 셋팅된 각각의 상기 광원 박스 내에 최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하며, 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인(red gain: R_gain) 및 블루 게인(blue gain: B_gain)을 계산하여 AWB를 조정하여 출력을 위한 비디오 영상 신호로 변환시키는 이미지 신호 처리장치;

상기 이미지 신호 처리장치로부터 상기 비디오 영상 신호를 입력받아 디스플레이 장치에 출력시키는 출력부; 및

상기 이미지 센서, 이미지 신호 처리장치 및 출력부를 제어하는 제어부를 포 함하는 것을 특징으로 하는 영상처리장치.
제10 항에 있어서,

상기 이미지 신호 처리장치는 상기 AWB 조정을 위한 AWB 조정장치를 포함하며,

상기 AWB 조정장치는,

상기 레지스터를 이용하여 제n-1 프레임과 제n 프레임에 각각 상기 광원 박스에 대한 정보를 나누어 셋팅하는 맵 셋팅부, 임시 메모리를 이용하여 각각의 상기 광원 박스 내의 상기 화이트 픽셀의 개수를 카운트하는 픽셀 카운트부, 상기 최대 광원 박스에 기반하여 해당 상기 광원을 선택하는 광원 선택부, 상기 최대 광원 박스를 기반으로 계산한 상기 레드 게인 및 블루 게인을 제n+1 프레임에 적용하는 밸런스 게인 적용부를 포함하는 것을 특징으로 하는 영상처리장치.
제10 항에 있어서,

상기 레드 게인 및 블루 게인은 레드 컬러 값 및 블루 컬러 값에 상기 최대 광원 박스의 맵핑 값을 곱함으로써 계산되는 것을 특징으로 하는 영상처리장치.
제11 항에 있어서,

상기 이미지 신호 처리장치는 상기 AWB 조정을 위한 AWB 조정장치를 포함하며,

상기 AWB 조정장치는 선택된 상기 광원의 오검출을 보상하기 위하여, AE 시간을 소정 문턱값과 비교하여 실외환경인지 실내환경인지 판단하여 추출된 AWB의 소정 범위 내에서 상기 레드 게인 또는 블루 게인을 조정하는 방식, 또는 상기 밸런스 게인 적용부를 통해 상기 레드 게인 및 블루 게인을 계산하여 조정하는 방식을 선택적으로 적용하도록 하는 방어 코드부를 더 포함하는 것을 특징으로 하는 영상처리장치.
레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하는 방식을 통해 복수 배의 광원 박스들에 대한 맵을 셋팅하는 단계;

셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀의 개수를 카운트하는 단계;

최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 단계; 및

상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인 및 블루 게인을 계산하여 AWB를 조정하는 밸런스 게인 적용단계;를 포함하는 AWB 조정방법.
제14 항에 있어서,

상기 맵 셋팅 단계에서는 8개의 상기 레지스터를 이용하여 제n-1 프레임과 제n 프레임에 각각 8개의 상기 광원 박스에 대한 정보를 나누어 셋팅하고,

상기 픽셀을 카운트하는 단계에서는 임시 메모리를 이용하여 각각의 상기 광 원 박스 내의 상기 화이트 픽셀의 개수를 카운트하며,

상기 밸런스 게인 적용 단계에서는 상기 최대 광원 박스를 기반으로 계산한 상기 레드 게인 및 블루 게인을 제n+1 프레임에 적용하는 것을 특징으로 하는 AWB 조정방법.
제14 항에 있어서,

상기 맵 셋팅 단계에서는 광 부스(light booth) 내에 그레이 차트를 채운 상태에서 최대 16개의 광원 박스들을 순차적으로 배열하되,

Horizon, A, TL84, CWF, Fluorescent, 및 Daylight 광원을 포함한 시험 광원들에 따라 순차적으로 배열하는 것을 특징으로 하는 AWB 조정방법.
제14 항에 있어서,

상기 밸런스 게인 적용단계에서, 상기 레드 게인 및 블루 게인은 레드 컬러 값 및 블루 컬러 값에 상기 최대 광원 박스의 맵핑 값을 곱함으로써 계산하는 것을 특징으로 하는 AWB 조정방법.
제17 항에 있어서,

상기 레드 게인은 상기 최대 광원 박스 내의 레드 컬러 값의 합을 그린(green: G) 컬러 값의 합으로 나눈 값인 R/G 비율값을 구하고, 128을 상기 R/G 비율값으로 나눈 결과 값에 10 비트 값(1024)을 곱하여 계산하며,

상기 블루 게인은 상기 최대 광원 박스 내의 블루 컬러 값의 합을 그린 컬러 값의 합으로 나눈 값인 B/G 비율값을 구하고, 128을 상기 B/G 비율값으로 나눈 결과 값에 10 비트 값(1024)을 곱하여 계산하는 것을 특징으로 하는 AWB 조정방법.
레지스터를 이용하여 구성되는 광원 박스들에 대한 맵을 스위칭하는 방식을 통해 복수 배의 광원 박스들에 대한 맵을 셋팅하는 단계;

셋팅된 각각의 상기 광원 박스 내에 기준 영상의 화이트 픽셀(white pixel)의 개수를 카운트하는 단계;

최대 화이트 픽셀의 개수를 갖는 최대 광원 박스에 기반하여 광원을 선택하는 단계;

상기 광원의 오검출을 보상하기 위하여 실외환경인지 실내환경인지 판단하는 환경판단 단계; 및

상기 실외환경인지 실내환경인지에 따라 AWB를 조정하는 단계;를 포함하는 AWB 조정방법.
제19 항에 있어서,

상기 환경판단 단계는,

먼저 AE 시간을 소정 문턱값과 비교하여 실외환경인지 실내환경인지 판단하는 제1 판단단계; 및

상기 제1 판단 단계에서 실내환경인 경우에 광원이 Daylight 광원인지를 판단하는 제2 판단단계;를 포함하는 것을 특징으로 하는 AWB 조정방법.
제20 항에 있어서,

상기 AWB 조정하는 단계에서는,

상기 실외 환경이거나 또는 상기 광원이 Daylight 광원인 경우에, 추출된 AWB의 소정 범위 내에서 상기 레드 게인 또는 블루 게인을 조정하는 방식을 통해 상기 AWB가 조정하며,

상기 실내 환경이고 상기 광원이 Daylight 광원이 아닌 경우에는, 상기 최대 광원 박스의 맵핑 값을 기반으로 레드 게인 및 블루 게인을 계산하여 조정하는 방식을 통해 상기 AWB를 조정하는 것을 특징으로 하는 AWB 조정방법.