KR20150128168A - 화이트 밸런싱 장치 및 이의 구동 방법 - Google Patents

Abstract

본 발명의 하나의 실시형태에 따른 화이트 밸런싱 장치는 제1 영상과 상기 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 생성된 제2 영상을 비교하여 인도어-아웃도어(indoor-outdoor) 맵(map)을 생성하는 맵 생성기(map generator) 및 상기 인도어-아웃도어 맵을 이용하여 상기 제2 영상 내 아웃도어 영역에 대한 제1 화이트 포인트와 인도어 영역에 대한 제2 화이트 포인트를 생성하는 AWB(Automatic White Balancing) 블록을 포함한다.

Description

화이트 밸런싱 장치 및 이의 구동 방법{WHITE BALANCING DEVICE AND WHITE BALANCING METHOD THEREOF}

본 발명은 화이트 밸런싱(White Balancing) 장치에 관한 것으로, 특히 입력 영상에 대하여 WDR 알고리즘을 적용하여 출력 영상을 생성하고, 상기 출력 영상과 입력 영상을 비교하여 인도어-아웃도어 맵을 생성하고, 상기 인도어-아웃도어 맵을 이용하여 실내 영역에 대한 제1 화이트 포인트와 실외 영역 각각에 대한 제2 화이트 포인트를 생성하는 화이트 밸런싱 장치 및 이의 구동 방법에 관한 것이다.

종래의 WDR(Wide Dynamic Range) 장치는 글로벌(global)한 AWB(Automatic White Balancing) 방식을 사용할 수 있다. 따라서, 실내(indoor)와 실외(outdoor)의 광원이 서로 다르더라도 글로벌 이득(global gain)으로 보상하기에 color casting 문제가 발생될 수 있다.

이를 해결하기 위해서, 이미지으로부터 인도어(Indoor)/아웃도어(Outdoor)를 분리(segmentation)하여 각각에 다른 WB(White Balance) 이득(gain) 값을 적용하는 방법이 제안된다. 그러나, 영상으로부터 인도어/아웃도어 영역을 분리하기 위해서는 프레임 메모리(frame memory)가 필요하다. 또한, 픽셀로부터 롱(long)/쇼트(short) 노출(exposure) 영상의 포화된 픽셀을 사용하기 때문에 인도어/아웃도어 영역의 구분이 부정확하게 될 수 있고, 인도어와 아웃도어 사이의 경계면이 부자연스러운 문제가 발생될 수 있다.

본 발명의 목적은 인도어와 아웃도어의 광원이 서로 다르더라도 인도어와 아웃도어 각각에 화이트 밸런싱을 실행할 수 있는 화이트 밸런싱 장치를 제공하는 것이다.

본 발명의 다른 목적은 상기 화이트 밸런싱 장치의 구동 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 상기 화이트 밸런싱 장치를 포함하는 이미지 신호 프로세서를 제공하는 것이다.

상기 목적을 달성하기 위하여 본 발명의 하나의 실시형태에 따른 화이트 밸런싱(White Balancing) 장치는 제1 영상과 상기 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 생성된 제2 영상을 비교하여 인도어-아웃도어(indoor-outdoor) 맵(map)을 생성하는 맵 생성기(map generator) 및 상기 인도어-아웃도어 맵을 이용하여 아웃도어 영역에 대한 제1 화이트 포인트와 인도어 영역에 대한 제2 화이트 포인트를 생성하는 AWB(Automatic White Balancing) 블록을 포함한다.

하나의 실시 예에 있어서, 상기 인도어-아웃도어 맵을 이용하여 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역 내 픽셀들 각각의 가중치를 계산하고, 상기 제1 및 제2 화이트 포인트 그리고 상기 가중치를 이용하여 상기 경계 영역 내 픽셀들을 화이트 밸런싱 동작을 실행하기 위한 제3 화이트 포인트를 생성하는 WB(White Balancing) 블록을 더 포함한다.

하나의 실시 예에 있어서, 상기 WB 블록은 상기 제1 화이트 포인트를 이용하여 상기 아웃도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고, 상기 제2 화이트 포인트를 이용하여 상기 인도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고, 상기 제3 화이트 포인트를 이용하여 상기 경계 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행한다.

하나의 실시 예에 있어서, 상기 제3 화이트 포인트는 상기 경계 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다.

하나의 실시 예에 있어서, 상기 제1 화이트 포인트는 상기 아웃도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고, 상기 제2 화이트 포인트는 상기 인도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다.

하나의 실시 예에 있어서, 상기 WDR 알고리즘은 상기 인도어 영역 내 픽셀들에 대하여 롱 인테그레이션 타임(long integration time)을 적용하는 단계와 상기 아웃도어 영역 내 픽셀들에 대하여 쇼트 인테그레이션 타임(short integration time)을 적용하는 단계를 포함한다.

하나의 실시 예에 있어서, 상기 제2 영상 내 픽셀들을 패치 단위로 분류하고, 상기 인도어-아웃도어 맵을 이용하여 상기 패치에 대한 평균 조도값 및 가중치를 계산하고, 상기 계산된 결과를 상기 AWB 블록으로 전송하는 패치 생성기를 더 포함한다.

하나의 실시 예에 있어서, 상기 AWB 블록은 상기 패치 단위로 분류된 평균 조도값 및 가중치를 이용하여 상기 제1 및 제2 화이트 포인트를 생성한다.

하나의 실시 예에 있어서, 상기 인도어-아웃도어 맵은 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역에 대한 정보를 포함한다.

하나의 실시 예에 있어서, 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 제2 영상을 생성하는 WDR 블록을 더 포함한다.

본 발명의 다른 하나의 실시형태에 따른 화이트 밸런싱 장치의 구동 방법은 화이트 밸런싱 장치의 구동 방법에 있어서, 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 제2 영상을 생성하는 단계, 상기 제1 영상과 상기 제2 영상을 비교하여 인도어(indoor)/아웃도어(outdoor) 맵(map)을 생성하는 단계 및 상기 인도어-아웃도어 맵을 이용하여 인도어 영역의 화이트 밸런싱 동작을 위한 제1 화이트 포인트와 아웃도어 영역의 화이트 밸런싱 동작을 위한 제2 화이트 포인트를 생성하는 단계를 포함한다.

하나의 실시 예에 있어서, 상기 인도어-아웃도어 맵을 이용하여 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역 내 픽셀들 각각의 가중치를 계산하는 단계 및 상기 제1 및 제2 화이트 포인트 그리고 상기 가중치를 이용하여 상기 경계 영역 내 픽셀들을 화이트 밸런싱 동작을 실행하기 위한 제3 화이트 포인트를 생성하는 단계를 더 포함한다.

하나의 실시 예에 있어서, 상기 제1 화이트 포인트를 이용하여 상기 아웃도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계, 상기 제2 화이트 포인트를 이용하여 상기 인도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계 및 상기 제3 화이트 포인트를 이용하여 상기 경계 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계를 더 포함한다.

하나의 실시 예에 있어서, 상기 제1 화이트 포인트는 상기 아웃도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고, 상기 제2 화이트 포인트는 상기 인도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고, 상기 제3 화이트 포인트는 상기 경계 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다.

하나의 실시 예에 있어서, 상기 WDR 알고리즘은 상기 인도어 영역 내 픽셀들에 대하여 롱 인테그레이션 타임(long integration time)을 적용하는 단계와 상기 아웃도어 영역 내 픽셀들에 대하여 쇼트 인테그레이션 타임(short integration time)을 적용하는 단계를 포함한다.

본 발명의 또 다른 하나의 실시형태에 따른 이미지 신호 프로세서(Image Signal Processor)는 영상 데이터를 생성하는 이미지 센서 및 상기 영상 데이터에 대하여 화이트 밸런싱 동작을 실행하기 위한 화이트 밸런싱 장치를 포함하고, 상기 화이트 밸런싱 장치는 제1 영상과 상기 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 생성된 제2 영상을 비교하여 인도어-아웃도어(indoor-outdoor) 맵(map)을 생성하는 맵 생성기(map generator) 및 상기 인도어-아웃도어 맵을 이용하여 아웃도어 영역에 대한 제1 화이트 포인트와 인도어 영역에 대한 제2 화이트 포인트를 생성하는 AWB(Automatic White Balancing) 블록을 포함한다.

하나의 실시 예에 있어서, 상기 인도어-아웃도어 맵을 이용하여 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역 내 픽셀들 각각의 가중치를 계산하고,

상기 제1 및 제2 화이트 포인트 그리고 상기 가중치를 이용하여 상기 경계 영역 내 픽셀들을 화이트 밸런싱 동작을 실행하기 위한 제3 화이트 포인트를 생성하는 WB(White Balancing) 블록을 더 포함한다.

하나의 실시 예에 있어서, 상기 WB 블록은 상기 제1 화이트 포인트를 이용하여 상기 아웃도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고, 상기 제2 화이트 포인트를 이용하여 상기 인도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고, 상기 제3 화이트 포인트를 이용하여 상기 경계 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행한다.

하나의 실시 예에 있어서, 상기 제1 화이트 포인트는 상기 아웃도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고, 상기 제2 화이트 포인트는 상기 인도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고, 상기 제3 화이트 포인트는 상기 경계 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다.

하나의 실시 예에 있어서, 상기 WDR 알고리즘은 상기 인도어 영역 내 픽셀들에 대하여 롱 인테그레이션 타임(long integration time)을 적용하는 단계와 상기 아웃도어 영역 내 픽셀들에 대하여 쇼트 인테그레이션 타임(short integration time)을 적용하는 단계를 포함한다.

본 발명의 실시 예들에 따른 화이트 밸런싱 장치는 인도어와 아웃도어 간의 경계를 명확히 인식할 수 있고, 컬러 캐스팅 문제가 없는 영상을 생성할 수 있다.

도 1은 본 발명의 실시 예에 따른 화이트 밸런싱 장치를 도시한 블록도이다.
도 2a 내지 도 2c는 도 1에 도시된 WDR 블록의 동작을 설명하기 위한 개념도이다.
도 3a 및 도 3b는 WDR 알고리즘이 적용되기 전과 적용된 후를 비교하기 위한 이미지이다.
도 4a 및 도 4b는 도 1에 도시된 이미지 센서의 구동 방법을 설명하기 위한 개념도이다.
도 5a 내지 도 5c는 도 1에 도시된 맵 생성기의 동작을 설명하기 위한 이미지이다.
도 6은 도 1에 도시된 제1 및 제2 화이트 포인트를 도시한 그래프이다.
도 7은 도 6에 도시된 제1 및 제2 화이트 포인트를 도시한다.
도 8은 도 1에 도시된 화이트 밸런싱 장치의 구동 방법을 설명하기 위한 개념도이다.
도 9는 도 1에 도시된 화이트 밸런싱 장치의 구동 방법을 도시한 순서도이다.
도 10는 본 발명의 다른 실시 예에 따른 화이트 밸런싱 장치를 도시한 블록도이다.
도 11은 도 10에 도시된 패치 생성기를 설명하기 위한 도면이다.
도 12a 내지 도 12d는 본 발명의 실시 예에 따른 화이트 밸런싱 장치의 구동방법에 의한 결과를 도시한다.
도 13는 도 12a내지 도 12d에 도시된 이미지에 대한 인도어-아웃도어 맵을 도시한다.
도 14a 내지 도 14d는 본 발명의 실시 예에 따른 화이트 밸런싱 장치의 구동방법에 의한 또 다른(another) 결과를 도시한다.
도 15는 도 14a내지 도 14d에 도시된 이미지에 대한 인도어-아웃도어 맵을 도시한다.
도 16은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 모바일 장치(210)의 일 실시 예를 나타낸다.
도 17은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 모바일 장치(220)의 다른 실시 예를 나타낸다.
도 18은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 디스플레이 장치(300)를 나타낸다.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.

도 1은 본 발명의 실시 예에 따른 화이트 밸런싱 장치를 도시한 블록도이다.

도 1를 참조하면, 이미지 센서(Image Sensor; 1)는 대상(object)으로부터 오리지널 영상(original image)을 캡쳐할 수 있다. 이미지 센서(1)는 상기 캡쳐된 오리지널 영상을 이용하여 영상 데이터(image data)를 생성할 수 있다. 구체적으로, 이미지 센서(1)는 WDR 알고리즘(Wide Dynamic Range algorithm)의 실행을 위하여 롱 인테그레이션 시간(long integration time)에 따른 10 비트(bit)의 영상 데이터와 쇼트 인테그레이션 시간(short integration time)에 따른 10 비트의 영상 데이터를 생성할 수 있다. 이미지 센서(1)는 도 4a 및 도 4b를 통하여 상세히 설명된다.

이미지 센서(1)는 롱 인테그레이션 시간에 따른 10 비트의 영상 데이터와 쇼트(short) 인테그레이션 시간에 따른 10 비트의 영상 데이터를 이미지 처리 프로세서(Image Signal Processor; 2)로 전송한다.

이미지 처리 프로세서(2)는 상기 수신된 영상 데이터(즉, 롱 인테그레이션 시간에 따른 10 비트의 영상 데이터와 쇼트 인테그레이션 시간에 따른 10 비트의 영상 데이터)에 대하여 WDR 알고리즘을 실행하거나 화이트 밸런싱 동작(White Balancing operation)을 실행할 수 있다.

하나의 실시 예에 있어서, 이미지 신호 프로세서(2)는 하나의 독립된 칩으로 제조될 수 있다. 또한, 이미지 신호 프로세서(2)는 애플리케이션 프로세서(Application processor) 내 하나의 기능 블록(functional block)으로 구현될 수 있다. 또한, 이미지 신호 프로세서(2)는 이미지 센서(1)에 포함될 수 있다.

이미지 신호 프로세서(2)는 입력부(input unit; 21), 리컨스트럭션 부(reconstruction unit; 22), 화이트 밸런싱 장치(White Balancing device; 23), DCG(Demosaicing CCM Gamma unit; 24) 및 출력부(output unit; 25)를 포함한다.

입력부(21)는 이미지 센서(1)로부터 영상 데이터를 수신한다. 입력부(21)는 롱 인테그레이션 시간에 따른 10 비트의 영상 데이터와 쇼트 인테그레이션 시간에 따른 10 비트의 영상 데이터를 리컨스트럭션부(22)로 전송한다.

리컨스트럭션부(22)는 이미지 센서(1)의 롱(long)/쇼트(short) 인테그레이션 시간 각각에 따른 10 비트의 영상 데이터를 14 비트를 가지는 영상 데이터로 재구성할 수 있다.

화이트 밸런싱 장치(23)는 상기 오리지널 영상 안에 서로 다른 광원들이 사용된 경우, 오리지널 영상 내 화이트 밸런스를 적절히 조절할 수 있다. 예를 들면, 실내에서 실외의 대상이 촬영된 경우, 오리지널 영상에는 실내와 실외의 장면이 모두 캡쳐될 수 있다. 실외 영역에는 자연광(natural light)과 자연광으로 인한 주변 광(ambient light)이 모두 존재할 수 있다. 이에 반하여, 실내 영역에는 실내 조명이 사용될 수 있다. 화이트 밸런싱 장치(23)의 구동 방법은 도 5a 내지 도 8를 통하여 설명된다.

상기 오리지널 영상 내 각기 다른 광원들로 인하여 WDR(Wide Dynamic Range) 알고리즘이 실행된 경우, WDR 알고리즘이 적용된 영상에는 화이트 밸런싱 동작을 실행하기 위한 글로벌한 AWB(Automatic White Balancing) 값이 적용될 수 있다. 따라서, 칼라 캐스팅(color casting) 문제가 발생될 수 있다. 즉, 칼라 캐스팅이란 인간(human)이 하나의 이미지 내 조명에 따라 동일한 색을 인지할 수 없는 것을 의미한다.

인간(human)은 광원의 종류에 관계없이 동일한 색을 인지할 수 있는 능력이있다. 이러한 특성은 Color adaption 또는 Color constancy라고 한다. 칼라 캐스팅 문제가 발생하면, 실제 대상의 칼라와 영상의 칼라 사이에 칼라 불일치가 발생할 수 있다.

이러한 문제를 해결하기 위하여, 본 발명의 실시 예에 따른 화이트 밸런싱 장치(23)는 서로 다른 광원들 각각에 따른 AWB 값을 생성하고, 상기 AWB 값을 상기 WDR 알고리즘이 적용된 영상에 적용할 수 있다.

구체적으로, 화이트 밸런싱 장치(23)는 인도어 영역에 대응하는 제1 AWB 값과 아웃도어 영역에 대응하는 제2 AWB 값을 생성하고, 상기 제1 및 제2 AWB 값을 상기 WDR 알고리즘이 적용된 영상 내 RGB 픽셀들에 적용할 수 있다.

화이트 밸런싱 장치(23)는 WDR 블록(Wide Dynamic Range block; 231), 맵 생성기(Map generator; 232), AWB 블록(Auto White Balancing block; 233) 및 WB 블록(White Balancing block; 234)을 포함한다.

WDR 블록(231)은 WDR 알고리즘을 실행하기 위한 DRC 블록(Dynamic Range Compression block)을 포함할 수 있다. WDR 블록(231)은 DRC 블록을 통하여 리컨스트럭션부(22)로부터 제1 영상(Y_in)을 수신하고, WDR 알고리즘을 적용한 제2 영상(Y_out)을 생성할 수 있다. WDR 알고리즘은 HDR 알고리즘(high dynamic range algorithm)이라고 할 수 있다. WDR 블록(231)이 WDR 알고리즘을 실행하는 방법은 도 2a 내지 도 3b를 통하여 상세히 설명된다.

맵 생성기(232)는 제1 영상(Y_in)과 제2 영상(Y_out)을 수신한다. 맵 생성기(232)는 제1 영상(Y_in)과 제2 영상(Y_out)을 이용하여 인도어-아웃도어 맵 (indoor-outdoor map; IOM)을 생성할 수 있다. 구체적으로, 맵 생성기(232)는 제2 영상(Y_out)의 출력값을 제1 영상(Y_in)의 출력값으로 나누어 인도어-아웃도어 맵(IOM)을 생성한다. 맵 생성기(233)가 인도어-아웃도어 맵(IOM)을 생성하는 방법은 도 5a 내지 도 5c를 통하여 설명된다.

AWB(233) 블록은 인도어-아웃도어 맵(IOM)을 이용하여 화이트 포인트(White Point; WP)를 계산할 수 있다. 즉, 화이트 포인트는 광원의 정보(information of a light source)이다. 화이트 포인트는 광원의 색감(예를 들면, 붉은 광원, 파란 광원 등)에 따른 색온도, RGB 픽셀 각각에 대한 비율 데이터 및 RGB 픽셀 각각에 대한 이득값을 포함할 수 있다. 화이트 밸런싱 장치(23)는 화이트 포인트에 포함된 RGB 픽셀들 각각에 대한 이득값을 이용하여 화이트 밸런싱 동작을 실행할 수 있다.

AWB(233) 블록은 아웃도어 영역(outdoor region)을 위한 제1 화이트 포인트(WP1), 인도어 영역(indoor region)을 위한 제2 화이트 포인트(WP2)를 생성한다. AWB(233) 블록은 제1 및 제2 화이트 포인트(WP1-WP2)를 WB 블록(234)으로 전송한다.

WB 블록(234)은 휴먼 비젼(Human vision)의 color constancy 또는 color adaption을 구현하기 위해 제1 화이트 포인트(WP1) 및 제2 화이트 포인트(WP2) 각각에 포함된 R 픽셀, G 픽셀 및 B 픽셀 각각의 이득값을 WDR 알고리즘이 적용된 영상에 적용할 수 있다.

DCG(24)는 화이트 밸런싱 장치(23)에 의하여 WDR 알고리즘이 적용되거나 화이트 밸런싱이 적용된 영상 데이터에 대하여 포스트 이미지 프로세싱(post image processing)을 수행할 수 있다. 예를 들면, DCG(24)는 Demosaicing 알고리즘을 실행하거나, CCM 방법을 적용하거나, Gamma 값을 조정할 수 있다. Demosaicing 알고리즘은 컬러 관점에서 RGB 픽셀 데이터를 조정하는 것이다. CCM(Color Correction Matrix) 방법은 RGB 픽셀들 각각에 대한 sensitivity를 조정하는 것이다. Gamma 값은 밝기 관점에서 RGB 픽셀 데이터를 조정하는 것이다.

출력부(25)는 포스트 영상 처리가 실행된 영상 데이터를 디스플레이 장치 또는 메모리 장치로 출력할 수 있다.

도 2a 내지 도 2c는 도 1에 도시된 WDR 블록의 동작을 설명하기 위한 개념도이다.

도 1 및 도 2a를 참조하면, 실내에서 실외를 향하여 대상을 촬영하는 경우, 제1 이미지(IM1)는 실내 이미지와 실외 이미지를 모두 포함할 수 있다. 이 경우, 실내 영역(indoor; ID)에 초점을 맞추는 경우, 실외 영역(outdoor; OD)는 푸른 빛이 감도는(bluish) 화이트로 표현될 수 있다. 그리고, 실내 영역(ID)는 적절한 조도를 가질 수 있다.

도 1 및 도 2b를 참조하면, 제2 이미지(IM2)는 실내 이미지와 실외 이미지를 모두 포함한다. 이 경우, 실외 영역(OD)에 초점을 맞추는 경우, 실내 영역(ID)는 붉은 빛이 감도는(reddish) 블랙으로 표현될 수 있다. 또한, 실외 영역(OD)는 적절한 조도를 가질 것이다.

도 1 내지 도 2c를 참조하면, WDR 알고리즘을 적용하는 과정은 제1 이미지(IM1)의 실내 영역(ID)과 제2 이미지(IM2)의 실외 영역(OD)을 합성하여 제3 이미지(IM3)를 만드는 것이다. 구체적으로, WDR 알고리즘이 적용된 제3 이미지(IM3)는 제1 이미지(IM1)의 실내 영역(ID)와 제2 이미지(IM2)의 실외 영역(OD)으로 구성될 수 있다.

즉, WDR 알고리즘을 적용하는 과정은 인테그레이션 타임이 다른 두 장의 이미지를 합성하여 인도어 및 아웃도어 영역에서 적절한 조도를 가지는 하나의 이미지를 합성하는 것이다.

도 3a 및 도 3b는 WDR 알고리즘이 적용되기 전과 적용된 후를 비교하기 위한 이미지이다.

도 3a를 참조하면, 제1 이미지(31)는 WDR 알고리즘이 적용되기 전 이미지이다. 그늘이 있는 영역이 매우 어둡게 표현되고, 햇빛이 비추는 영역은 적당한 조도(luminance)를 가진다.

도 3b를 참조하면, 제2 이미지(32)는 WDR 알고리즘이 적용되기 후 이미지이다. 그늘이 있는 영역에 해당하는 조도가 적당한 조도를 가지도록 수정된다.

도 4a 및 도 4b는 도 1에 도시된 이미지 센서의 구동 방법을 설명하기 위한 개념도이다.

도 1 및 도 4a를 참조하면, 이미지 센서(1)는 대상(object)으로부터 하나의 프레임(frame)을 기준으로 라인별로 서로 다른 인테그레이션 타임을 가질 수 있다. 예를 들면, 제1 라인(L1)이 롱 인테그레이션 타임을 가진다면, 제2 라인(L2)은 쇼트 인테그레이션 타임을 가질 수 있다. 마찬가지로, 홀수 라인은 롱 인테그레이션 타임을 가지며, 짝수 라인은 쇼트 인테그레이션 타임을 가질 수 있다.

도 1 및 도 4b를 참조하면, 이미지 센서(1)는 복수의 픽셀들을 포함한다. 복수의 픽셀들 각각은 대상으로부터 영상 신호를 수신할 수 있다. WDR 알고리즘을 적용하기 위하여, 복수의 픽셀들 각각은 롱 인테그레이션 타임 또는 쇼트 인테그레이션 타임을 가지도록 설계될 수 있다.

예를 들면, 제1 픽셀(P1)이 롱 인테그레이션 타임(L)을 가진다면, 제2 픽셀(P2)은 쇼트 인테그레이션 타임(S)을 가질 수 있다. 마찬가지로, 제3 픽셀(P3)이 롱 인테그레이션 타임(L)을 가진다면, 제4 픽셀(P4)은 쇼트 인테그레이션 타임(S)을 가질 수 있다.

도 5a 내지 도 5c는 도 1에 도시된 맵 생성기의 동작을 설명하기 위한 이미지이다.

도 1 및 도 5a를 참조하면, 이미지 센서(1)는 제1 영상(Y_in)을 생성한다. WDR 블록(231) 및 맵 생성기(232)는 제1 영상(Y_in)을 수신한다.

도 1 및 도 5b를 참조하면, WDR 블록(231)은 제1 영상(Y_in)에 대하여 WDR 알고리즘을 적용하여 제2 영상(Y_out)을 생성한다. WDR 블록(231)은 제2 영상(Y_out)을 맵 생성기(232)로 전송한다.

도 1 및 도 5c 참조하면, 맵 생성기(232)는 제1 영상(Y_in) 및 제2 영상(Y_out)을 수신한다. 맵 생성기(232)는 제2 영상(Y_out)의 출력값을 제1 영상(Y_in)의 출력값으로 나누어 인도어-아웃도어 맵(IOM)을 생성한다.

구체적으로, 맵 생성기(232)는 제1 영상(Y_in) 및 제2 영상(Y_out) 각각은 복수의 픽셀들을 포함한다. 제2 영상(Y_out) 내 픽셀들 각각의 조도값과 동일한 위치에 있는 제1 영상(Y_in) 내 픽셀들 각각의 조도값을 나누어 인도어-아웃도어 맵(IOM)을 생성한다.

인도어-아웃도어 맵(IOM)은 픽셀들 각각에 대한 조도비 정보를 포함할 것이다. 예를 들면, 아웃도어 영역에서 픽셀들 간의 조도 차는 크지 않을 것이다. 따라서, 아웃도어 영역의 조도비 값은 낮은 값을 가질 것이다. 여기서, 아웃도어 영역의 조도비 값은 0.64이다.

또한, 인도어 영역에서 픽셀들 간의 조도 차는 클 것이다. 따라서, 인도어 영역의 조도비율 값은 높은 값을 가질 것이다. 여기서, 인도어 영역의 조도비율 값은 3.38이다.

도 6은 도 1에 도시된 제1 및 제2 화이트 포인트를 도시한 그래프이다.

도 1 및 도 6을 참조하면, 가로축(abscissa)은 제2 영상(Y_out)을 제1 영상(Y_in)으로 나눈 값(즉, 조도비)를 의미한다. 세로축(ordinate)은 화이트 포인트를 의미한다.

화이트 밸런싱 장치(23)는 제1 화이트 포인트 값(예를 들면, 0.64)이하는 0.64로 보정한다. 또한, 화이트 밸런싱 장치(23)는 제2 화이트 포인트 값(예를 들면, 3.38)이상은 3.38로 보정한다.

AWB 블록(233)은 조도비(illumination ratio) 0.64 ~ 3.38을 0 ~ 1로 정규화(normalization)할 수 있다. 따라서, AWB 블록(233)은 아웃도어 영역에 대한 가중치를 0으로 설정하고, 인도어 영역에 대한 가중치를 1로 설정한다.

도 7은 도 6에 도시된 제1 및 제2 화이트 포인트를 도시한다.

도 7을 참조하면, 도 7에 도시된 이미지(71)은 정규화된 조도맵(normalized illuminant map)을 도시한다. 제1 화이트 포인트(WP1)는 아웃도어 영역에 대응되고, 제2 화이트 포인트(WP2)는 인도어 영역에 대응된다.

제1 화이트 포인트(WP1)는 인도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다. 예를 들면, 제1 화이트 포인트(WP1)는 R 픽셀에 대한 이득값으로 1.37, G 픽셀에 대한 이득값으로 1 그리고 B 픽셀에 대한 이득값으로 1.47을 가질 수 있다.

제2 화이트 포인트(WP2)는 아웃도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함한다. 예를 들면, 제2 화이트 포인트(WP2)는 R 픽셀에 대한 이득값으로 1.22, G 픽셀에 대한 이득값으로 1 그리고 B 픽셀에 대한 이득값으로 1.44을 가질 수 있다.

도 8은 도 1에 도시된 화이트 밸런싱 장치의 구동 방법을 설명하기 위한 개념도이다.

도 1 및 도 8을 참조하면, 각 블록은 하나의 픽셀을 나타낸다. 인도어 영역(ID)에 포함된 픽셀들 각각은 1의 가중치를 가지도록 설정된다. 아웃도어 영역(OD)에 포함된 픽셀들 각각은 0의 가중치를 가지도록 설정된다.

인도어 영역(ID)과 아웃도어 영역(OD) 사이의 경계 영역(Boundary Region; B)에 포함된 픽셀들 각각은 0과 1 사이의 가중치를 가질 수 있다. 경계 영역(B) 내 픽셀들에 대한 가중치는 인도어-아웃도어 맵(IOM)을 이용하여 계산될 수 있다.

예를 들면, 경계 영역(B) 내 픽셀들 중 인도어 영역(ID)에 가까운 픽셀은 1에 가까운 가중치를 가질 수 있다. 또한, 경계 영역(B) 내 픽셀들 중 아웃도어 영역(OD)에 가까운 픽셀은 0에 가까운 가중치를 가질 수 있다.

화이트 밸런싱 장치(23)는 인도어 영역(ID) 내 픽셀들에 대하여 제1 화이트 포인트(WP1)를 적용하고, 아웃도어 영역(OD) 내 픽셀들에 대하여 제2 화이트 포인트(WP2)를 적용한다.

또한, 화이트 밸런싱 장치(23)는 제1 및 제2 화이트 포인트(WP1-WP2) 각각에 가중치를 곱하여 경계 영역(B) 내 픽셀들에 대한 화이트 포인트를 계산할 수 있다. 예를 들면, 경계 영역(B) 내 임의의 픽셀(PX)에 대한 화이트 포인트는 (WP1 *0.4 + WP2*0.6)으로 계산될 수 있다.

도 9는 도 1에 도시된 화이트 밸런싱 장치의 구동 방법을 도시한 순서도이다.

도 1 및 도 9를 참조하면, S1 단계에서, 화이트 밸런싱 장치(23)는 제1 영상(Y_in)에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 제2 영상(Y_out)을 생성한다.

S2 단계에서, 화이트 밸런싱 장치(23)는 제1 영상(Y_in)과 제2 영상(Y_out)을 비교하여 인도어-아웃도어 맵(IOM)을 생성한다.

S3 단계에서, 화이트 밸런싱 장치(23)는 인도어-아웃도어 맵(IOM)을 이용하여 인도어 영역의 화이트 밸런싱 동작을 위한 제1 화이트 포인트(WP1)와 아웃도어 영역의 화이트 밸런싱 동작을 위한 제2 화이트 포인트(WP2)를 생성한다.

또한, 화이트 밸런싱 장치(23)는제1 및 제2 화이트 포인트(WP1-WP2)에 가중치를 곱하여 인도어와 아웃도어 사이의 경계 영역(B) 내 픽셀들에 대한 화이트 포인트를 생성할 수 있다.

도 10는 본 발명의 다른 실시 예에 따른 화이트 밸런싱 장치를 도시한 블록도이다.

도 10에 도시된 화이트 밸런싱 장치(23')는 피치 생성기(patch generator)를 제외하고 도 1에 도시된 화이트 밸런싱 장치(23)와 동일하게 구성될 수 있다. 따라서, 설명의 편의를 위하여, 중복되는 내용은 생략한다.

도 10를 참조하면, 화이트 밸런싱 장치(23')는 WDR 블록(23a), 맵 생성기(23b), 피치 생성기(patch generator; 23c), AWB 블록(23d) 및 WB 블록(23e)을 포함한다.

WDR 블록(23a)은 리컨스트럭션부(22)로부터 제1 영상(Y_in)을 수신하고, WDR 알고리즘을 적용한 제2 영상(Y_out)을 생성한다.

맵 생성기(23b)는 제1 영상(Y_in)과 제2 영상(Y_out)을 수신한다. 맵 생성기(23b)는 제1 영상(Y_in)과 제2 영상(Y_out)을 이용하여 인도어-아웃도어 맵(IOM)을 생성할 수 있다. 구체적으로, 맵 생성기(232)는 제2 영상(Y_out)의 출력값을 제1 영상(Y_in)의 출력값으로 나누어 인도어-아웃도어 맵(IOM)을 생성한다.

오리지널 영상 내 픽셀들에 대하여 일정한 크기에 따른 묶음을 패치(patch) 또는 스테티스틱(statistics)라고 한다. 화이트 밸런싱 동작에 대한 계산량을 감소시키기 위하여, 패치 생성기(23c)는 패치에 따라 평균 조도 및 가중치에 관한 정보를 AWB 블록(23d)으로 전송할 수 있다. 패치 생성기(23c)의 동작은 도 11을 통하여 설명된다.

AWB(23d) 블록은 인도어-아웃도어 맵(IOM)을 이용하여 화이트(White Point)를 계산할 수 있다. AWB(23d) 블록은 인도어 영역을 위한 제1 화이트 포인트(WP1), 아웃도어 영역을 위한 제2 화이트 포인트(WP2)를 생성한다. AWB(233) 블록은 제1 및 제2 화이트 포인트(WP1-WP2)를 WB 블록(13e)으로 전송한다.

WB 블록(23e)은 제1 화이트 포인트(WP1) 및 제2 화이트 포인트(WP2) 각각에 포함된 R 픽셀, G 픽셀 및 B 픽셀의 이득값을 오리지널 영상의 모든 픽셀에 적용할 수 있다.

도 11은 도 10에 도시된 패치 생성기를 설명하기 위한 도면이다.

도 10 및 도 11을 참조하면, 일정한 크기를 가지는 픽셀들의 묶음을 패치(patch) 또는 스태티스틱스(statistics)라고 한다.

패치 생성기(23c)는 패치 단위로 픽셀들을 분류하고, 인도어-아웃도어 맵(IOM)을 이용하여 상기 분류된 각각의 패치에 대하여 평균 조도값, 평균 RGB 값 및 가중치를 계산할 수 있다. 패치 생성기(23c)는 패치들 각각에 대한 평균 조도값, 평균 RGB 값 및 가중치 정보를 AWB 블록(23d)으로 전송한다.

AWB 블록(23d)은 패치별 평균 조도 및 가중치 정보를 이용하여 아웃도어에 대한 제1 화이트 포인트(WP1) 및 인도어에 대한 제2 화이트 포인트(WP2)를 생성한다. 각 패치 내 네모 안에 숫자는 평균 조도값이고, 각 원안에 숫자는 가중치이다.

도 12a 내지 도 12d는 본 발명의 실시 예에 따른 화이트 밸런싱 장치의 구동방법에 의한 결과를 도시한다.

도 12a를 참조하면, 하나의 이미지 내 서로 다른 광원들을 가지는 경우, 하나의 이미지에 글로벌 AWB 값(즉, 화이트 포인트)이 적용된 이미지(101)가 도시된다. 박스의 내부는 붉게 나타나고, 박스의 외부는 푸르게 나타난다.

도 12b를 참조하면, 박스의 외부 영역을 기준으로 글로벌 AWB 값이 적용된 이미지(102)가 도시된다. 박스의 내부는 더 붉게 나타나고, 박스의 외부는 정상적으로 나타난다.

도 12c를 참조하면, 박스의 내부 영역을 기준으로 글로벌 AWB 값이 적용된 이미지(103)가 도시된다. 박스의 내부는 정상적으로 나타나고, 박스의 외부는 더 푸르게 나타난다.

도 12d를 참조하면, 도 1에 도시된 화이트 밸런싱 장치(23)의 화이트 밸런싱 방법이 적용된 결과를 도시한다. 즉, 박스의 외부 영역은 도 12b에 도시된 이미지(102)에서 박스의 외부 영역과 동일하게 도시된다. 그리고, 박스의 내부 영역은 도 12c에 도시된 이미지(103)에서 박스의 내부 영역과 동일하게 도시된다. 박스의 내부와 외부는 모두 정상적으로 나타난다.

도 13는 도 12a내지 도 12d에 도시된 이미지에 대한 인도어-아웃도어 맵을 도시한다.

도 12a 내지 도 13을 참조하면, 박스의 내부에 해당하는 영역(즉, 파란색을 가지는 영역)은 밝은 광원을 가지는 영역이다. 그리고 박스의 외부 영역(즉, 붉은 색을 가지는 영역)은 낮은 광원을 가지는 영역이다.

박스(B) 영역에서 인도어/아웃도어 간의 조도비는 낮을 것이다. 박스(B) 영역의 외부 영역에서 인도어/아웃도어의 조도비는 높을 것이다.

도 14a 내지 도 14d는 본 발명의 실시 예에 따른 화이트 밸런싱 장치의 구동방법에 의한 또 다른(another) 결과를 도시한다.

도 14a를 참조하면, 하나의 이미지 내 서로 다른 광원들을 가지는 경우, 하나의 이미지에 글로벌 AWB 값이 적용된 이미지(201)가 도시된다. 인도어는 붉게 나타나고, 아웃도어는 푸르게 나타난다.

도 14b를 참조하면, 박스의 외부 영역을 기준으로 글로벌 AWB 값이 적용된 이미지(202)가 도시된다. 인도어는 더 붉게 나타나고, 아웃도어는 정상적으로 나타난다.

도 14c를 참조하면, 박스의 내부 영역을 기준으로 글로벌 AWB 값이 적용된 이미지(203)가 도시된다. 인도어는 정상적으로 나타나고, 아웃도어는 더 푸르게 나타난다.

도 14d를 참조하면, 도 1에 도시된 화이트 밸런싱 장치(23)의 화이트 밸런싱 방법이 적용된 결과를 도시한다. 즉, 아웃도어 영역은 도 14b에 도시된 이미지(202)에서 아웃도어 영역과 동일하게 도시된다. 그리고, 인도어 영역은 도 14c에 도시된 이미지(203)에서 인도어 영역과 동일하게 도시된다. 인도어와 아웃도어는 모두 정상적으로 나타난다.

도 15는 도 14a내지 도 14d에 도시된 이미지에 대한 인도어-아웃도어 맵을 도시한다.

도 14a 내지 도 15을 참조하면, 아웃도어 영역은(즉, 파란색을 가지는 영역)은 밝은 광원을 가지는 영역이다. 그리고 인도어 영역(즉, 붉은 색을 가지는 영역)은 낮은 광원을 가지는 영역이다.

아웃도어 영역에서 인도어/아웃도어간의 조도비는 낮을 것이다. 인도어 영역에서 인도어/아웃도어의 조도비는 높을 것이다.

도 16은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 모바일 장치(210)의 일 실시 예를 나타낸다.

도 16을 참조하면, 모바일 장치(210)은 스마트 폰(smart-phone), 테블릿(tablet) PC, UMPC(Ultra Mobile Personal Computer), PDA (personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어로 구현될 수 있다.

모바일 장치(210)은 메모리 장치(211), 메모리 장치(211)을 제어하는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(212), 무선 송수신기(213), 안테나(214) 및 디스플레이 장치(215)를 포함할 수 있다.

무선 송수신기(213)는 안테나(214)를 통하여 무선 신호를 주거나 받을 수 있다. 예컨대, 무선 송수신기(213)는 안테나(214)를 통하여 수신된 무선 신호를 애플리케이션 프로세서(212)에서 처리될 수 있는 신호로 변경할 수 있다.

따라서, 애플리케이션 프로세서(212)는 무선 송수신기(213)로부터 출력된 신호를 처리하고 처리된 신호를 디스플레이 장치(215)로 전송할 수 있다. 또한, 무선 송수신기(213)는 애플리케이션 프로세서(212)으로부터 출력된 신호를 무선 신호로 변경하고 변경된 무선 신호를 안테나(214)를 통하여 외부 장치로 출력할 수 있다.

또한, 모바일 장치(210)는 영상 또는 동영상을 촬영하기 위한 이미지 센서(216) 그리고 이미지 센서(216)로부터 촬영된 영상 또는 동영상에 대한 영상 처리를 실행하기 위한 이미지 신호 프로세서(217)를 더 포함할 수 있다. 또한, 애플리케이션 프로세서(212)는 이미지 신호 프로세서(217)를 포함하도록 구현될 수 있다.

이미지 신호 프로세서(217)는 이미지 센서(216)로부터 감지된 영상에 대하여 화이트 밸런스 동작을 실행할 수 있다. 실시 예에 따라, 이미지 신호 프로세서(217)는 도 1에 도시된 화이트 밸런싱 장치(23)를 포함할 수 있다.

도 17은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 모바일 장치(220)의 다른 실시 예를 나타낸다.

도 17을 참조하면, 모바일 장치(220)은 이미지 처리 장치(Image Process Device), 예컨대 디지털 카메라 또는 디지털 카메라가 부착된 이동 전화기, 또는 태블릿(tablet)으로 구현될 수 있다.

모바일 장치(220)은 메모리 장치(221)와 메모리 장치(221)의 데이터 처리 동작을 제어할 수 있는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(222), 입력 장치(223) 및 디스플레이 장치(224)를 포함한다.

입력 장치(223)는 애플리케이션 프로세서(222)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(222)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드 (touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드로 구현될 수 있다.

애플리케이션 프로세서(222)는 입력 장치(223)를 통하여 입력된 데이터에 따라 메모리 장치(221)에 저장된 데이터를 디스플레이 장치(224)를 통하여 디스플레이할 수 있다. 애플리케이션 프로세서(222)는 모바일 장치(220)의 전반적인 동작을 제어할 수 있다.

또한, 모바일 장치(220)는 영상 또는 동영상을 촬영하기 위한 이미지 센서(225) 그리고 이미지 센서(225)로부터 촬영된 영상 또는 동영상에 대한 영상 처리를 실행하기 위한 이미지 신호 프로세서(226)를 더 포함할 수 있다. 또한, 애플리케이션 프로세서(222)는 이미지 신호 프로세서(226)를 포함하도록 구현될 수 있다.

이미지 신호 프로세서(226)는 이미지 센서(225)로부터 감지된 영상의 화이트 밸런스 동작을 실행할 수 있다. 실시 예에 따라, 이미지 신호 프로세서(226)는 도 1에 도시된 화이트 밸런싱 장치(23)를 포함할 수 있다.

도 18은 도 1에 도시된 화이트 밸런싱 장치를 포함하는 디스플레이 장치(300)를 나타낸다.

도 18을 참조하면, 디스플레이 장치(300)는 스마트 TV, 모니터(monitor) 및 각종 모바일 장치에 장착된 디스플레이 장치(display device)로 구현될 수 있다.

디스플레이 장치(300)는 카메라 장치(310)를 포함한다. 디스플레이 장치(300)가 스마트 TV라고 하면, 디스플레이 장치(300)에는 다양한 애플리케이션들이 설치될 수 있다. 예를 들면, 사용자(User)는 디스플레이 장치(300)에 장착된 카메라 장치(310)를 통하여 영상 통화 애플리케이션을 실행할 수 있다. 하나의 실시 예에 있어서, 카메라 장치(310)는 도 1에 도시된 화이트 밸런싱 장치(23)를 포함할 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명은 화이트 밸런싱 장치 및 이를 포함하는 이미지 신호 프로세서 그리고 상기 이미지 신호 프로세서를 포함하는 모바일 장치에 적용이 가능할 것이다.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1 : 이미지 센서
2. 이미지 신호 프로세서
21: 입력 블록
22 : 리컨스럭션 블록
23 : 화이트 밸런싱 장치의 제1 실시 예
24 : DCG 블록
25 : 출력 블록
231 : WDR 블록
232 : 맵 생성기
233 : AWB 블록
234 : WB 블록
23' : 화이트 밸런싱 장치의 제2 실시 예
23a : WDR 블록
23b : 맵 생성기
23c : 피치 생성기
23d : AWB 블록
23e : WB 블록
210 : 모바일 장치의 제1 실시 예
220 : 모바일 장치의 제2 실시 예
300 : 디스플레이 장치

Claims (10)

1. 제1 영상과 상기 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 생성된 제2 영상을 비교하여 인도어-아웃도어(indoor-outdoor) 맵(map)을 생성하는 맵 생성기(map generator); 및
   상기 인도어-아웃도어 맵을 이용하여 아웃도어 영역에 대한 제1 화이트 포인트와 인도어 영역에 대한 제2 화이트 포인트를 생성하는 AWB(Automatic White Balancing) 블록을 포함하는 화이트 밸런싱(White Balancing) 장치.
2. 제 1 항에 있어서,
   상기 인도어-아웃도어 맵을 이용하여 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역 내 픽셀들 각각의 가중치를 계산하고,
   상기 제1 및 제2 화이트 포인트 그리고 상기 가중치를 이용하여 상기 경계 영역 내 픽셀들을 화이트 밸런싱 동작을 실행하기 위한 제3 화이트 포인트를 생성하는 WB(White Balancing) 블록을 더 포함하는 화이트 밸런싱 장치.
3. 제 2 항에 있어서,
   상기 WB 블록은 상기 제1 화이트 포인트를 이용하여 상기 아웃도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고,
   상기 제2 화이트 포인트를 이용하여 상기 인도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하고,
   상기 제3 화이트 포인트를 이용하여 상기 경계 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 화이트 밸런싱 장치.
4. 제 2 항에 있어서,
   상기 제3 화이트 포인트는 상기 경계 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하는 화이트 밸런싱 장치.
5. 제 1 항에 있어서,
   상기 제1 화이트 포인트는 상기 아웃도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하고,
   상기 제2 화이트 포인트는 상기 인도어 영역 내 R 픽셀, G 픽셀 및 B 픽셀에 대한 이득값을 포함하는 화이트 밸런싱 장치.
6. 제 1 항에 있어서,
   상기 WDR 알고리즘은,
   상기 인도어 영역 내 픽셀들에 대하여 롱 인테그레이션 타임(long integration time)을 적용하는 단계와,
   상기 아웃도어 영역 내 픽셀들에 대하여 쇼트 인테그레이션 타임(short integration time)을 적용하는 단계를 포함하는 화이트 밸런싱 장치.
7. 제 1 항에 있어서,
   상기 제2 영상 내 픽셀들을 패치 단위로 분류하고,
   상기 인도어-아웃도어 맵을 이용하여 상기 패치에 대한 평균 조도값 및 가중치를 계산하고,
   상기 계산된 결과를 상기 AWB 블록으로 전송하는 패치 생성기를 더 포함하는 화이트 밸런싱 장치.
8. 제1 영상에 대하여 WDR(Wide Dynamic Range) 알고리즘을 실행하여 제2 영상을 생성하는 단계;
   상기 제1 영상과 상기 제2 영상을 비교하여 인도어(indoor)/아웃도어(outdoor) 맵(map)을 생성하는 단계; 및
   상기 인도어-아웃도어 맵을 이용하여 인도어 영역의 화이트 밸런싱 동작을 위한 제1 화이트 포인트와 아웃도어 영역의 화이트 밸런싱 동작을 위한 제2 화이트 포인트를 생성하는 단계를 포함하는 화이트 밸런싱 장치의 구동 방법.
9. 제 8 항에 있어서,
   상기 인도어-아웃도어 맵을 이용하여 상기 인도어 영역과 상기 아웃도어 영역 사이의 경계 영역 내 픽셀들 각각의 가중치를 계산하는 단계; 및
   상기 제1 및 제2 화이트 포인트 그리고 상기 가중치를 이용하여 상기 경계 영역 내 픽셀들을 화이트 밸런싱 동작을 실행하기 위한 제3 화이트 포인트를 생성하는 단계를 더 포함하는 화이트 밸런싱 장치의 구동 방법.
10. 제 9 항에 있어서,
    상기 제1 화이트 포인트를 이용하여 상기 아웃도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계;
    상기 제2 화이트 포인트를 이용하여 상기 인도어 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계; 및
    상기 제3 화이트 포인트를 이용하여 상기 경계 영역 내 픽셀들에 대한 화이트 밸런싱 동작을 실행하는 단계를 더 포함하는 화이트 밸런싱 장치의 구동 방법.

Images