KR101090349B1 - 오토 화이트 밸런스 방법과 상기 방법을 수행할 수 있는 장치 - Google Patents

Abstract

AWB 방법이 개시된다. 상기 AWB 방법은 현재 이미지 프레임에 대한 RGB 평균값들을 계산하는 단계, 계산된 RGB의 평균값들로부터 색 온도를 추정하는 단계, 추정된 색 온도에 따라 RGB 이득들을 계산하는 단계, 상기 현재 이미지 프레임의 좌상단 영역에 정의되는 제1윈도우의 제1평균 밝기값과 상기 현재 이미지 프레임의 우하단 영역에 정의되는 제2윈도우의 제2평균 밝기값을 계산하는 단계, 및 계산된 제1평균 밝기값과 제2평균 밝기값에 기초하여, 상기 RGB 이득들 각각을 상수 값으로 재설정하는 단계를 포함하고, 상기 제1윈도우 및 상기 제2윈도우 각각은 다각형 형태이다.

AWB, ODM, 색온도, RGB

Description

오토 화이트 밸런스 방법과 상기 방법을 수행할 수 있는 장치{Method for performing auto white balance and apparatus using the same}

본 발명의 개념에 따른 실시 예는 오토 화이트 밸런스(auto white balance; AWB) 기술에 대한 것으로, 특히 현재 이미지 프레임의 급격한 밝기값의 변화를 감지하여 다음 이미지 프레임에 적용할 RGB 이득들 각각을 상수로 설정할 수 있는 AWB 방법 및 상기 방법을 수행할 수 있는 장치에 관한 것이다.

AWB(auto white balance)는 조명에 의한 색 왜곡 현상을 보정하는 카메라 기술을 의미한다. 종래의 AWB는 현재 이미지 프레임이 입력되는 동안 상기 프레임의 색 온도(color temperature)를 추정하고, 추정된 색 온도를 중화 또는 보상시킬 수 있는 RGB 이득들 각각을 계산하고, 계산된 RGB 이득들 각각을 다음 이미지 프레임에 적용하는 방법을 사용한다.

예컨대, 현재 이미지 프레임이 저조도 이미지이었다면, 상기 현재 이미지 프레임은 높은 색 온도를 가지기 때문에 다음 이미지 프레임에는 낮은 색 온도가 되도록 RGB 이득들 각각을 계산(예컨대, R이득을 상대적으로 크게)하고, 계산된 RGB 이득들 각각을 상기 다음 이미지 프레임에 적용한다.

그러나, 종래의 AWB는 이미지의 급격한 조도 변화와는 관계없이 현재 이미지 프레임으로부터 색 온도를 추정한 후, 추정된 색 온도에 기초하여 RGB 이득들 각각을 계산하고 계산된 RGB 이득들 각각을 다음 이미지 프레임에 적용한다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 현재 이미지 프레임의 급격한 조도 변화를 감지하고 감지 결과에 따라 다음 이미지 프레임에 적용할 RGB 이득들 각각을 상수로 설정할 수 있는 AWB 방법 및 상기 방법을 수행할 수 있는 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 AWB 방법은 현재 이미지 프레임에 대한 RGB 평균값들을 계산하는 단계; 계산된 RGB의 평균값들로부터 색 온도를 추정하는 단계; 추정된 색 온도에 따라 RGB 이득들을 계산하는 단계; 상기 현재 이미지 프레임 내의 제1윈도우의 제1평균 밝기값과 제2윈도우의 제2평균 밝기값을 계산하는 단계; 및 계산된 제1평균 밝기값과 제2평균 밝기값에 기초하여, 상기 RGB 이득들 각각을 상수 값으로 재설정하는 단계를 포함한다.

상기 재설정하는 단계는, 상기 제2평균 밝기값이 제1기준 값과 상기 제1평균 밝기값의 곱보다 크고 상기 제2평균 밝기값이 제2기준값보다 클 때, 상기 RGB 이득들 각각을 상기 상수 값으로 재설정한다.

상기 제1기준값은 1보다 크고, 상기 제2기준 값은 0보다 크고 상기 현재 이 미지 프레임의 최대 밝기값보다 작다. 상기 제1윈도우는 상기 현재 이미지 프레임의 좌상단 영역에 정의되고, 상기 제2윈도우는 상기 현재 이미지 프레임의 우하단 영역에 정의된다.

상기 제1윈도우와 상기 제2윈도우 각각은 직각삼각형 형태이거나 다각형 형태일 수 있다.

본 발명의 실시 예에 따른 AWB 장치는 현재 이미지 프레임의 이미지 데이터의 RGB를 출력하기 위한 제1ODM; 상기 현재 이미지 프레임 내의 제1윈도우에 대한 제1평균 밝기값과 제2윈도우에 대한 제2평균 밝기값을 계산하기 위한 제2ODM; 및 상기 제1ODM으로부터 출력된 상기 이미지 데이터의 RGB에 따라 RGB 평균값들 각각을 계산하고, 계산된 RGB 평균값들 각각에 기초하여 색 온도를 추정하고 추정된 색 온도에 따라 RGB 이득들을 계산하고, 상기 제2ODM에 의하여 계산된 제1평균 밝기값과 제2평균 밝기값에 따라 상기 RGB 이득들 각각을 상수 값으로 재설정하는 CPU를 포함한다.

상기 CPU는, 상기 제2평균 밝기값이 제1기준값과 상기 제1평균 밝기값의 곱보다 크고 상기 제2평균 밝기값이 제2기준값보다 클 때, 상기 RGB 이득들 각각을 상기 상수 값으로 재설정한다.

상기 제1기준값은 1보다 크고, 상기 제2기준값은 0보다 크고 상기 현재 이미지 프레임의 최대 밝기값보다 작다. 상기 제1윈도우는 상기 현재 이미지 프레임의 좌상단 영역에 정의되고, 제2윈도우는 상기 현재 이미지 프레임의 우하단 영역에 정의된다.

본 발명의 실시 예에 따른 오토 화이트 밸런스(AWB) 방법 및 그 장치는 현재 이미지 프레임에서 급격한 밝기값의 변화가 감지되는 경우, 다음 이미지 프레임에 적용할 RGB 이득 값들 각각을 상수 값으로 재설정할 수 있어 백색으로 포화된 이미지를 디스플레이할 수 있는 효과가 있다.

따라서, 오토 화이트 밸런스(AWB) 방법을 사용하는 이미지 픽업 장치의 사용자 만족도가 증가하는 효과가 있다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어 들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 AWB 장치의 개략적인 블록도이고, 도 2는 본 발명의 실시 예에 따른 이미지 프레임 구조 내에서 평균 밝기값을 구하는 제1윈도우 및 제2윈도우가 정의된 영역들을 나타내고, 도 3은 본 발명의 실시 예에 따르는 AWB 방법에 대한 순서도이다. 도 1에는 설명의 편의를 위하여 AWB 장치(10)와 CIS와 ISP가 함께 도시되어 있다.

도 1 내지 3을 참조하면, AWB (Auto White Balance)장치(10)는 제1ODM (Optical Detection Module; 20), 제2ODM(30), 및 CPU(40)를 포함한다. 실시 예에 따라, AWB 장치(10)는 이득 조절기(50)를 더 포함할 수 있다.

실시 예에 따라 AWB 장치(10)는 이미지 신호 프로세서(ISP)의 내부에 구현될 수 있다.

제1ODM(20)은 CMOS 이미지 센서(CIS)로부터 출력된 이미지 데이터를 수신하여 축적하고 현재 이미지 프레임의 RGB를 CPU(40)로 전송한다.

제2ODM(30)은 현재 이미지 프레임 내의 제1윈도우(60)에 대한 제1평균 밝기 값(B1)과 제2윈도우(70)에 대한 제2평균 밝기값(B2)을 계산하고 계산된 평균값들(B1과 B2)를 CPU(40)로 출력한다.

CPU(40)는 제1ODM(20)으로부터 출력된 RGB에 기초하여 RGB 평균값들 각각을 계산하고, 계산 결과에 따라 색 온도를 추정하고, 추정 결과에 따라 RGB 이득들 각각을 계산한다.

또한, CPU(40)는 제2ODM(30)으로부터 출력된 평균값들(B1과 B2)에 기초하여 상기 RGB 이득들 각각을 상수 값(예컨대, 1 또는 2)으로 재설정할 수 있다.

이득 조절기(50)는 CPU(40)에 의하여 재설정된 RGB 이득들 각각을 다음 이미지 프레임에 적용할 수 있다.

제1윈도우(60)와 제2윈도우(70)로 정의된 각 영역은 직각 삼각형의 형태이며, 제2ODM(30)은 정의된 각 영역(60과 70)에 포함된 이미지 데이터의 평균 밝기값들(B1과 B2) 각각을 계산한다. 제1윈도우(60)와 제2윈도우(70) 각각의 종횡비 (aspect ratio)는 이미지 프레임의 종횡비와 같으며, 제1윈도우(60)와 제2윈도우 (70)의 각각의 폭과 직각인 꼭짓점의 죄표는 조정가능하다. 또한, 제1윈도우(60)와 제2윈도우(70) 각각은 다각형 형태로 구현될 수 있다.

도 3을 참조하면, 제1ODM(20)은 현재 이미지 프레임의 RGB 값들을 축적하고 축적된 RGB 값들을 CPU(40)로 전송한다. CPU(40)는 전송된 RGB 값들에 기초하여 RGB 평균값들 각각을 계산한다(S1). CPU(40)는 계산된 RGB 평균값들로부터 색 온도를 추정하고(S2), 추정된 색 온도로부터 RGB 이득들 각각을 계산한다(S3).

제2ODM(30)은 상기 현재 이미지 프레임 내의 제1윈도우(60)의 제1평균 밝기 값(B1)과 제2윈도우(70)의 제2평균 밝기값(B2)을 계산할 수 있다(S4). 실시 예에 따라, 상기 제1평균 밝기 값(B1)과 제2평균 밝기값(B2)은 동시에 또는 서로 다른 시간에 계산될 수도 있다.

CPU(40)는 제2ODM(30)에 의하여 계산된 제1평균 밝기값(B1)과 제2평균 밝기값(B2)에 기초하여 다음 이미지 프레임의 이미지가 백색 이미지로 포화될 조건을 수학식 1에 따라 체크 한다(S5).

[수학식 1]

B2>T1 && B2/B1>T2 또는 B2>T1 && B2>T2*B1

여기서, 상기 T1은 제1기준 값이고 T2는 제2기준 값이다.

상기 제1기준 값(T1) 및 상기 제2기준 값(T2) 각각은 포화상태를 감지하기 위한 기준 값이다. 상기 제1기준 값(T1)과 상기 제2기준 값(T2) 각각은 CPU(40)에 의하여 변경 또는 조정 가능하다. 여기서, 포화상태는 수학식 1을 만족하는 상태를 의미한다.

제1기준 값(T1)과 제2기준 값(T2)은 현재 이미지 프레임의 최대 밝기값을 Imax라 할 때, 수학식 2를 만족한다.

[수학식 2]

T1>1 && 0<T2<Imax

상기 포화상태가 감지되면, CPU(40)는 S3단계에서 계산된 RGB 이득들 각각을 상수 값으로 재설정하고(S6), 재설정된 RGB 이득들 각각을 다음 이미지 프레임에 적용하기 위하여 이득 조절기(50)로 출력한다(S7).

만일 포화 상태가 감지되지 않으면, AWB 장치(10)는 S3 단계에서 계산된 RGB 이득들 각각을 재설정하지 않고 다음 이미지 프레임에 그대로 적용된다(S7).

도 4는 도 1에 도시된 AWB 장치에 의하여 수행되는 AWB 방법을 이미지 프레임 구간별로 나타내는 도이다.

도 1부터 도 4를 참조하면, 현재 이미지 프레임이 입력되는 동안, 제1ODM (20)은 상기 현재 이미지 프레임의 색 온도를 계산하기 위한 이미지 데이터(예컨대, RGB 데이터)를 축적하고, 상기 현재 이미지 프레임의 RGB 데이터를 CPU(40)로 출력한다.

CPU(40)는 제1ODM(20)로부터 출력된 RBG 데이터로부터 RGB 평균값들 각각을 계산한다(S1). 또한, CPU(40)는 현재 이미지 프레임과 다음 이미지 프레임 사이의 제1수직동기 구간(V-blank) 동안 상기 현재 이미지 프레임의 RGB 평균값들로부터 색 온도를 추정하고(S2), 추정된 색 온도를 중화 또는 보상하기 위한 RGB 이득들 각각을 계산한다(S3).

제2ODM(30)은 현재 이미지 프레임의 각 윈도우(60과 70)에 대한 평균 밝기값들(B1과 B2) 각각을 계산한다(S4). CPU(40)는 제2ODM(30)에 의하여 계산된 평균 밝기값들(B1과 B2)에 기초하여 수학식 1에 따른 포화 상태의 만족 여부를 체크하고(S5), 상기 포화 상태를 감지할 조건이 만족하면, CPU(40)는 계산된 RGB 이득들 각각을 상수 값으로 재설정한다(S6).

다음 이미지 프레임에 CPU(40)에 의하여 상수 값으로 재설정된 RGB 이득들이 적용된다(S7). 다음 이미지 프레임이 입력되는 동안, 제1ODM(20)은 RGB 데이터를 CPU(40)로 출력하고 CPU(40)는 제1ODM(20)으로부터 출력된 RGB 데이터에 따라 RGB 평균값들 각각을 계산한다(S1'). AWB 장치(10)는 제2수직동기 구간 동안 색 온도를 추정하고(S2'), 추정된 색 온도에 따라 RGB 이득들 각각을 계산한다(S3').

CPU(40)는 제2ODM(30)에 의하여 계산된 각 윈도우(60과 70)에 대한 각 평균 밝기값(B1과 B2)을 계산한다(S4'). CPU(40)는 각 평균 밝기값(B1과 B2)이 수학식 1을 만족하는지의 여부를 판단하고 판단 결과에 따라 계산된 RGB 이득들 각각을 그대로 유지하거나 상수 값으로 재설정하는 동작을 수행한다.

피사체 주변의 조명이 저조도에서 고조도로 순간적으로 변화하면, 다음 이미지 프레임에 대한 색 온도 조정이 불안정하기 때문에, 본 발명의 실시 예에 따른 AWB 방법은 미리 정의된 각 윈도우(60과 70) 내의 평균 밝기값들(B1과 B2)에 기초하여 다음 이미지 프레임에 적용할 RGB 이득들 각각을 상수 값으로 재설정할 수 있다. 따라서 피사체 주변의 조명이 저조도에서 고조도로 순간적으로 변화하더라도, 백색 이미지를 순간적으로 디스플레이할 수 있는 효과가 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.

도 1은 본 발명의 실시 예에 따른 AWB 장치의 개략적인 블록 도를 나타낸다.

도 2는 본 발명의 실시 예에 따른 이미지 프레임 구조 내에서 평균 밝기값을 계산할 수 있는 제1윈도우 및 제2윈도우가 정의된 영역들을 나타낸다.

도 3은 본 발명의 실시 예에 따르는 AWB 방법을 설명하기 위한 순서도이다.

도 4는 도 1에 도시된 AWB 장치에 의하여 수행되는 AWB 방법을 이미지 프레임 구간별로 나타내는 도이다.

Claims (12)

1. 현재 이미지 프레임에 대한 RGB 평균값들을 계산하는 단계;

   계산된 RGB의 평균값들로부터 색 온도를 추정하는 단계;

   추정된 색 온도에 따라 RGB 이득들을 계산하는 단계;

   상기 현재 이미지 프레임의 좌상단 영역에 정의되는 제1윈도우의 제1평균 밝기값과 상기 현재 이미지 프레임의 우하단 영역에 정의되는 제2윈도우의 제2평균 밝기값을 계산하는 단계; 및

   계산된 제1평균 밝기값과 제2평균 밝기값에 기초하여, 상기 RGB 이득들 각각을 상수 값으로 재설정하는 단계를 포함하고,

   상기 제1윈도우 및 상기 제2윈도우 각각은 다각형 형태인 AWB(Auto White Balance) 방법.
2. 제1항에 있어서, 상기 재설정하는 단계는,

   상기 제2평균 밝기값이 제1기준 값과 상기 제1평균 밝기값의 곱보다 크고 상기 제2평균 밝기값이 제2기준 값보다 클 때, 상기 RGB 이득들 각각을 상기 상수 값으로 재설정하는 AWB 방법.
3. 제2항에 있어서, 상기 제1기준 값은 1보다 크고, 상기 제2기준 값은 0보다 크고 상기 현재 이미지 프레임의 최대 밝기값보다 작은 AWB 방법.
4. 삭제
5. 제1항에 있어서, 상기 다각형은 직각삼각형인 AWB 방법.
6. 삭제
7. 현재 이미지 프레임의 이미지 데이터의 RGB를 출력하기 위한 제1ODM (Optical Detection Module);

   상기 현재 이미지 프레임의 좌상단 영역에 정의되는 제1윈도우에 대한 제1평균 밝기값과 상기 현재 이미지 프레임의 우하단 영역에 정의되는 제2윈도우에 대한 제2평균 밝기값을 계산하기 위한 제2ODM; 및

   상기 제1ODM으로부터 출력된 상기 이미지 데이터의 상기 RGB에 따라 RGB 평균값들 각각을 계산하고, 계산된 RGB 평균값들 각각에 기초하여 색 온도를 추정하고, 추정된 색 온도에 따라 RGB 이득들을 계산하고, 상기 제2ODM에 의하여 계산된 제1평균 밝기값과 제2평균 밝기값에 따라 상기 RGB 이득들 각각을 상수 값으로 재설정하는 CPU를 포함하고,

   상기 제1윈도우 및 상기 제2윈도우 각각은 다각형 형태인 AWB 장치.
8. 제7항에 있어서, 상기 CPU는,

   상기 제2평균 밝기값이 제1기준 값과 상기 제1평균 밝기값의 곱보다 크고 상기 제2평균 밝기값이 제2기준 값보다 클 때, 상기 RGB 이득들 각각을 상기 상수 값으로 재설정하는 AWB 장치.
9. 제8항에 있어서, 상기 제1기준 값은 1보다 크고, 상기 제2기준 값은 0보다 크고 상기 현재 이미지 프레임의 최대 밝기값보다 작은 AWB 장치.
10. 삭제
11. 제7항에 있어서, 상기 다각형은 직각삼각형인 AWB 장치.
12. 삭제

Images