KR20140124985A - 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법 - Google Patents

Abstract

자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치가 개시된다. 화이트 영역 추출부는 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출한다. 화이트 영역 추정부는 추출된 화이트 영역의 인텐서티를 평균냄으로서 화이트 영역을 추정한다. 자동 백광 조정부는 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 이득을 입력된 컬러 영상에 적용하여 색상을 보정한다. 본 발명에 따르면, 입력된 영상 내 화이트 객체를 찾아 이를 기반으로 전체 영상의 컬러를 보정함으로서 자연스러운 색상 영역을 가진 영상을 생성할 수 있다.

Description

자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법{Apparatus and method for white point estimation based dark channel prior for auto white balance}

본 발명은 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는, 자동 백광 조정(auto white balance)을 위해 다크 채널 프라이어 기반의 백색 영역을 추정하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법에 관한 것이다.

인간 시각 시스템은 객체의 실제 컬러를 인식하기 위해 광원의 색상에 적응되지만, 디지털 카메라는 자동적으로 적응되지 않는다. 자동 백광 조정(AWB: Auto White Balance) 알고리즘은 사용자가 지정한 입력 매개 변수 없이 이미지의 색 조정을 위해 화이트 영역을 찾는 알고리즘이다. 기존에 사용되는 자동 백광 조정 알고리즘들은 픽셀당 색이 너무 다양하기 때문에 종종 성능이 좋지 못한 경우가 있다.

색상을 보정하기 위해서는 영상 내 화이트 지점을 찾아야 한다. 대부분의 화이트 지점은 순수한 화이트 색상을 가진 객체뿐만 아니라 포화된 조도 요소(saturated illumination component)를 포함한다. 따라서 입력 영상에서 적당한 영역을 찾아서 영상 내 안개 등을 제거하는 다크 채널 프라이어를 이용하여 화이트 영역을 추정할 수 있다. 즉 본 발명은 영상 내 화이트 객체를 찾아서 이를 중심으로 전체 영상의 컬러를 보정하고자 한다.

이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2011-0022350호(발명의 명칭 : 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법)에는 색온도, 휘도, 상관 관계를 이용하여 유효 영역을 검출하고 검출된 유효 영역에 대해 화이트 밸런스를 조정하는 장치 및 방법을 개시하고 있다.

또한, 한국공개공보 제2010-0104498호(발명의 명칭 : 하이 다이나믹 레인지상황에 대응하는 자동 노출 제어 및 자동 화이트 밸런스 방법)에는 캡쳐된 프레임의 라이팅 조건을 용이하게 분석하여 노출시간을 각 라이팅 조건에 적합한 최적화된 시간으로 자동 조정하여 최적화된 밝기와 디테일을 제공하도록 보정하며, 캡쳐된 프레임의 색상값이 작거나 어떤 특정 색상이 프레임 전체에 영향을 미치고 있는 경우에도 용이하게 색상 조건을 구분하여 특정 색상 요소의 이득을 자동 조절함으로써 디테일을 향상시킬 수 있는 방법을 개시하고 있다.

본 발명이 이루고자 하는 기술적 과제는, 입력된 영상 내 화이트 객체를 찾아 이를 기반으로 전체 영상의 컬러를 보정함으로서 자연스러운 색상 영역을 가진 영상을 생성할 수 있는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 입력된 영상 내 화이트 객체를 찾아 이를 기반으로 전체 영상의 컬러를 보정함으로서 자연스러운 색상 영역을 가진 영상을 생성할 수 있는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치는, 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출하는 화이트 영역 추출부; 상기 추출된 화이트 영역의 인텐서티를 평균냄으로서 상기 화이트 영역을 추정하는 화이트 영역 추정부; 및 상기 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 상기 이득을 상기 입력된 컬러 영상에 적용하여 색상을 보정하는 자동 백광 조정부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법은, (a) 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출하는 화이트 영역 추출 단계; (b) 상기 추출된 화이트 영역의 인텐서티를 평균냄으로서 상기 화이트 영역을 추정하는 화이트 영역 추정 단계; 및 (c) 상기 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 상기 이득을 상기 입력된 컬러 영상에 적용하여 색상을 보정하는 자동 백광 조정 단계;를 갖는다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.

본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법에 의하면, 입력된 영상 내 화이트 객체를 찾아 이를 기반으로 전체 영상의 컬러를 보정함으로서 자연스러운 색상 영역을 가진 영상을 생성할 수 있다.

도 1은 화이트 영역을 추출하는 일실시예를 도시한 도면,
도 2는 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치의 구성을 도시한 블록도,
도 3은 레드 광원 하에 촬영된 영상에 대해 기존 방법과 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법을 적용한 결과 영상을 도시한 도면, 그리고,
도 4는 블루 광원 하에 촬영된 영상에 대해 기존 방법과 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법을 적용한 결과 영상을 도시한 도면이다.

이하에서 첨부의 도면들을 참조하여 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법은 다크 채널 프라이어(dark channel prior) 방법을 기반으로 하고 있다. 따라서 이미지 센서에 의해 획득된 영상은 아래 수학식 1과 같이 정의될 수 있다.

여기서,

는 영상 좌표,

는 입력된 컬러 영상,

는 조도 등에 의해 영향을 받지 않은 원 영상,

는 공간 변형 전달 계수(space-variant transmission coefficient), 그리고,

는 광원 정수(constant light source)를 의미한다. 결과적으로

와

를 추정한 후

로부터

를 구하는 과정을 통해 자동 백광 조정된 영상을 얻을 수 있다.

다크 채널 프라이어에 의하면, 대부분의 비포화 영역(non-saturated region)에서 최소한 하나 이상의 컬러 채널의 인텐서티(intensity)는 아래 수학식 2와 같이 아주 낮거나 거의 0(zero)에 가까운 몇 개의 픽셀을 가진다.

여기서,

는

의 컬러 채널을 의미한다. 다크 채널 프라이어의 특징은 만약

가 포화된 영역(saturated region)을 포함하고 있지 않다면 그에 상응하는 값은 낮거나 0(zero)에 가까운 값을 가진다. 나아가, 화이트 객체 또는 포화된 영역은 도 1의 (b)에 도시된 바와 같이 높은 인텐서티(intensity)를 가지고 있음을 알 수 있다.

도 2는 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치(100)의 구성을 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치(100)는 화이트 영역 추출부(200), 화이트 영역 추정부(300) 및 자동 백광 조정부(400)를 포함한다.

화이트 영역 추출부(200)는 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출한다. 입력 영상이 순수하게 화이트 객체만 포함한다고 하더라도, 조도(illumination) 때문에 컬러 요소는 해당 객체에 나타나게 된다. 즉, 광원(light source)은 포화된 것으로 보기 때문에 화이트 객체로 간주되므로 광원은 화이트 영역으로 추정될 수 있는 화이트 영역 후보 중 하나이다. 포화된 영역에서 화이트로 인해 발생하는 컬러 편차(colour deviation)는 자동 백광 조정(AWB)시 에러를 유발할 수 있다. 따라서 이러한 문제를 해결하기 위해 본 발명은 아래 수학식 3과 같이 전달 계수를 계산한다.

여기서,

는 각 R, G, B 채널을 의미한다.

또한, 도 1의 (c)는 컬러 영상의 전달 맵을 나타낸다. 도 1의 (c)에 도시된 바와 같이 광원과 남자의 화이트 셔츠는 매우 작거나 거의 0(zero) 값을 가진 전달 계수가 나타날 수 있다. 따라서 본 발명은 화이트 영역을 추정하기 위해 최소 전달 계수를 가시는 영역을 추출함으로서 전달맵을 이용하여 수학식 4와 같이 화이트 영역 후보를 추출한다.

여기서,

는 화이트 영역 후보를 의미한다.

더욱 정확하게 화이트 영역 후보를 추출하기 위해 본 발명은 포화 영역을 제거한다.

화이트 영역 추정부(300)는 추출된 화이트 영역의 인텐서티를 평균냄으로서 화이트 영역을 추정한다. 도 1의 (d)는 이렇게 추출된 화이트 영역 후보를 나타낸다. 그리고 이때 각 영상 채널의 화이트 영역의 인텐서티(intensity)는 입력 영상의 영역을 평균냄으로써 구할 수 있다. 이는 아래 수학식 5와 같이 나타낼 수 있다.

여기서,

는 화이트 영역의 인텐서티, 그리고,

각 채널별 이득(gain)을 나타낸다.

자동 백광 조정부(400)는 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 이득을 입력된 컬러 영상에 적용하여 색상을 보정한다. 색상 보정을 위해 각 컬러 채널을 제어하는 이득(gain)

을 수학식 6과 같이 구할 필요가 있다.

본 발명을 테스트하기 위해 2개의 컬러 영상을 사용하여 기존 알고리즘을 적용한 결과 영상과 비교해 보았다. 도 3은 자동 백광 조정(AWB)을 적용한 결과를 나타낸다. 도 3에 도시된 빨간 상자는 히스토그램을 계산하는데 필요한 측정 영역을 의미한다. 도 3의 (a)에 도시된 입력 영상은 레드 광원(reddish light source)하에 촬영된 것이어서 레드 채널은 도 3의 (a)에 도시된 다른 컬러 채널보다 높은 값을 가진다. 기존 방법은 각 컬러 채널의 평균 인텐서티를 동등하게 하기 위해 이득을 제어하기 때문에 도 3의 (b)에 도시된 바와 같이 레드 채널은 억압되고 블루 채널은 강조됨을 알 수 있다. 따라서 결과 영상은 도 3의 (b)에 도시된 바와 같이 전체적으로 블루색을 가짐을 알 수 있다.

반면 본 발명이 적용되는 경우 기존 방법이 적용된 경우보다 더 정확히 잘 적응됨을 알 수 있는데, 이는 추정된 화이트 영역을 이용하여 이득을 제어하기 때문이다. 그리고 이는 도 3의 (c)에 도시된 바와 같이 서로 독립적으로 컬러 채널에 적응될 수 있다.

또한, 도 4는 자동 백광 조정(AWB)을 적용한 다른 결과를 나타낸다. 도 4의 (a)에 도시된 입력 영상은 블루 광원(bluish light source) 하에 촬영된 것이어서 입력 히스토그램의 블루 채널은 도 4의 (a)에 도시된 바와 같이 높은 인텐서티를 가진다. 기존 방법은 각 컬러 채널의 평균 인텐서티를 동등하게 하기 위해 이득을 제어한다. 따라서 기존 방법에 의한 결과 영상은 전체적으로 노란 경향을 가진다는 것을 알 수 있다. 이는 레드 채널은 그린 채널에 비해 덜 강조되고, 블루 채널은 도 4의 (b)에 도시된 바와 같이 억압되었기 때문이다.

반면 본 발명이 적용된 경우 추정된 화이트 영역의 컬러를 적응시키는 각 컬러 채널의 이득 값을 계산한다. 따라서 본 발명은 도 4의 (c)에 도시된 바와 같이 기존 방법보다 각 컬러 채널에 독립적으로 잘 적응됨을 알 수 있다.

따라서 본 발명에 따른 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법을 적용한 결과 영상은 기존 방법을 사용한 경우보다 더욱 자연스러운 진짜(real)에 가까운 컬러 영상을 저비용으로 구현 가능함을 알 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 : 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치
200 : 화이트 영역 추출부
300 : 화이트 영역 추정부
400 : 자동 백광 조정부

Claims (7)

1. 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출하는 화이트 영역 추출부;
   상기 추출된 화이트 영역의 인텐서티를 평균냄으로서 상기 화이트 영역을 추정하는 화이트 영역 추정부; 및
   상기 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 상기 이득을 상기 입력된 컬러 영상에 적용하여 색상을 보정하는 자동 백광 조정부;를 포함하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치.
2. 제 1항에 있어서,
   상기 화이트 영역 추출부는 최소 전달 계수를 가지는 영역을 추출하여 생성된 전달 맵을 토대로 화이트 영역을 추출하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치.
3. 제 2항에 있어서,
   상기 화이트 영역 추출부는 상기 입력된 컬러 영상에서 포화 영역(saturated region)을 제거하여 화이트 영역을 추출하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치.
4. 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치에 의해 수행되는 백색 영역 추정 방법에 있어서,
   (a) 입력된 컬러 영상에 대해 다크 채널 프라이어(dark channel prior)를 이용하여 화이트 영역을 추출하는 화이트 영역 추출 단계;
   (b) 상기 추출된 화이트 영역의 인텐서티를 평균냄으로서 상기 화이트 영역을 추정하는 화이트 영역 추정 단계; 및
   (c) 상기 추정된 화이트 영역으로부터 각 컬러 채널별 이득(gain)을 구하고, 상기 이득을 상기 입력된 컬러 영상에 적용하여 색상을 보정하는 자동 백광 조정 단계;를 포함하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법.
5. 제 4항에 있어서,
   상기 (a) 단계는 최소 전달 계수를 가지는 영역을 추출하여 생성된 전달 맵을 토대로 화이트 영역을 추출하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법.
6. 제 5항에 있어서,
   상기 (a) 단계는 상기 입력된 컬러 영상에서 포화 영역(saturated region)을 제거하여 화이트 영역을 추출하는 것을 특징으로 하는 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법.
7. 제 4항 내지 제 6항 중 어느 한 항에 기재된 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images