KR101005769B1 - 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법 - Google Patents

Abstract

본 발명은 캡처된 프레임의 라이팅 조건을 용이하게 분석하여 노출 시간을 각 라이팅 조건에 적합한 최적화된 시간으로 자동 조정하여 최적화된 밝기와 디테일을 제공하도록 보정하며, 캡처된 프레임이 색상값이 작거나 어떤 특정 색상이 프레임 전체에 영향을 미치고 있는 경우에도 용이하게 색상조건을 구분하여 특정 색상요소의 이득을 자동 조절하도록 함으로써 디테일을 크게 향상시킬 수 있는 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법에 대한 것이다.

AE(Auto-Exposure), AWB(Auto White-Balance)

Description

하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법 {Auto exposure and auto white-balance method for detecting high dynamic range conditions}

본 발명은 캡처된 프레임의 라이팅 조건을 용이하게 분석하여 노출 시간을 각 라이팅 조건에 적합한 최적화된 시간으로 자동 조정하여 최적화된 밝기와 디테일을 제공하도록 보정하며, 캡처된 프레임이 색상값이 작거나 어떤 특정 색상이 프레임 전체에 영향을 미치고 있는 경우에도 용이하게 색상조건을 구분하여 특정 색상요소의 이득을 자동 조절하도록 함으로써 디테일을 크게 향상시킬 수 있는 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법에 대한 것이다.

영상 신호 처리(이하 ISP: Image Signal Processing)는 다양한 영상 캡처 장치의 발전 및 출현에 따라 관심 연구 분야가 되어 왔다. 영상 시스템들은 디지털 스틸 카메라, 웹캠, 감시 시스템, 캠코더 및 모바일 카메라 등을 포함한다.

많은 ISP 기능들 중에서, 자동 노출(이하 AE: Auto-Exposure)과 자동 화이트 밸런스(이하 AWB: Auto White-Balance)는 디지털 카메라 시스템들 중에서 두가지 중요한 기능이 되어왔다. 상기 AE와 AWB 제어를 제공하는 많은 플랫폼들은 다양한 촬영 조건을 수용하기 위해 제안되었다. 그리고 이러한 두가지 기능들은 전체적인 시스템 기능을 개선시키는데 도움이 될 수 있다.

본 발명은 거의 모든 영상 캡처 장치에 적용할 수 있는 혁신적인 AE와 AWB 알고리즘을 제안한다. 제안된 알고리즘은 하이 콘트라스트 라이팅 조건들을 정밀하게 측정할 수 있으며, 색상값이 작거나 또는 하나의 주요 색상을 가지는 이미지들을 정밀하게 감지할 수 있다. 전체적인 매커니즘은 간단하고 빠르며, CMOS 이미지 센서를 차용하여 모든 플랫폼들에 적용할 수 있다. 그리고 적은 용량을 가지고 있다.

라이팅 조건들은 정상 라이팅, 초과 백라이팅 또는 하이 콘트라스트 라이팅으로 정의될 수 있다. 라이팅 조건들을 정확하게 측정하는 것은 노출 시간을 제어하기 위해 매우 중요하다.

많은 AE 알고리즘들이 하이 콘트라스트 라이팅 조건들을 처리하기 위해 개발되어 왔다. 그러나 이러한 알고리즘들의 대부분은 정밀성 또는 복잡성으로 인하여 상기 CMOS 기술들을 차용하는 것처럼 낮은 용량을 가진 카메라 플랫폼들에 적용되지 못하는 단점이 있었다.

히스토그램 방법들은 하이 콘트라스트 라이팅 조건을 처리하기 위한 일반적인 방법들이다. 그러나, 이러한 방법들을 사용할때 백라이팅 조건인지 프론트라이팅 조건인지를 구별하기가 어렵다. 더하여, 이러한 방법들은 사용자 자신이 획득된 사진이 과도한 라이팅 조건을 가진다라는 것을 결정한 후에야 비로소 활용할 수 있다.

다른 알고리즘들은 밝기나 라이팅 조건을 측정하기 위해 고정창 분할 방법들을 사용하였다. 이외에도, 이러한 알고리즘들은 단지 하나의 주요 대상물을 가진 이미지들만을 고려하였다. 그래서 이러한 알고리즘들은 유연성이 없으며, 주요 대상물이 존재하지 않는 다른 이미지들에서는 적용하기 어려운 면이 있었다.

AWB에 있어서, 색상 획득은 사람의 눈으로 백색으로 보이는 대상물을 출력 이미지에서 백색으로 나오도록 조절된다. 백색의 대상물이 낮은 색상 온도에서 빛을 받았을때, 캡처된 이미지는 붉게 나타난다. 각 AWB 알고리즘은 두가지 스텝으로 구성된다. 첫번째 스텝은 조도 측정이고, 두번째 스텝은 이미지 보상이다.

AWB는 두가지 카테고리가 있는데, 전역 AWB 알고리즘과 지역 AWB 알고리즘이 그것이다. 회색계 가정과 같은 전역 AWB 방법들은 만약 사진이 적은 수의 색상들이 대부분을 차지하고 있는 경우 효율적이지 않다. 지역 AWB 방법들은 캡처된 이미지에서 백색 대상물 또는 사람 얼굴이 존재하는 것에 의존하고 있다.

게다가, 대부분 AWB 방법들은 복잡하고 무거운 계산방식을 가지고 있다. 이외에도, 상기 AWB 방법들은 색상값이 작거나 또는 하나의 색상이 프레임 전체에서 다른 색상보다 값이 상대적으로 큰 경우인 프레임을 감지할 수 없다. 이러한 종류의 이미지들은 항상 AWB 방법에 문제점을 야기시킨다.

따라서, 본 발명은 캡처된 프레임의 라이팅 조건을 용이하게 세분화화고 구별하여 각 라이팅 조건에 대응되는 알고리즘을 적용하도록 함으로써 상기 캡처된 프레임이 최적의 밝기 레벨을 가지도록 보정하여 프레임의 명암과 디테일을 크게 향상시킬 수 있는 AE 및 AWB 방법을 제공하는데 그 목적이 있다.

더하여, 본 발명은 캡처된 프레임이 적은 수의 색상 및 하나의 주요 색상이 이미지 전체에 영향을 미치는 경우에 대한 요인을 명확하게 파악하여, 색상의 이득을 간단한 알고리즘을 통해 조정함으로써 용이한 프레임 보정이 이루어지도록 하는 AE 및 AWB 방법을 제공하는데 그 목적이 있다.

이외에도, 본 발명은 AE와 AWB를 라이팅 조건 및 색상 조건을 복합적으로 파악하여 복수의 조건마다 가장 적합한 순서로 AE 및 AWB를 통한 프레임 보정이 이루어지도록 하여 각 라이팅 및 색상 조건을 효율적으로 보상함으로써 프레임에 대하여 최적의 명암과 디테일을 제공하는 AW 및 AWB 방법을 제공하는데 그 목적이 있다.

더불어, 본 발명은 상기 AE 및 AWB를 최소한의 과정을 통해 상기 라이팅 및 색상 조건을 구별하여 명암 및 디테일을 개선시키도록 하여, 카메라 플랫폼의 용량을 크게 보상할 수 있는 AW 및 AWB 알고리즘을 제공하는데 그 목적이 있다.

상기한 과제를 달성하기 위하여 본 발명에 따른 자동 노출 제어 방법은 카메라를 통해 입력되는 프레임을 구성하는 모든 픽셀들의 평균 밝기 레벨이 기설정된 미드 톤(mid tone)의 범위에 포함되지 않는 경우 중에서, 상기 미드 톤의 최소값과 상기 평균 밝기 레벨을 비교하여 상기 최소값보다 큰 경우 과도 노출로 판단하고 그 이외의 경우 정상 노출로 판단하는 제 1단계와, 상기 제 1단계의 판단 결과 정상 노출인 경우 상기 모든 픽셀들의 중간 밝기 레벨과 상기 평균 밝기 레벨과의 절대값 차이가 기설정된 역치값보다 작은 경우 정상 라이팅으로 판단하고 그 이외의 경우 이상 라이팅으로 판단하여, 상기 프레임을 상기 과도 노출, 정상 라이팅 또는 이상 라이팅에 따라 기설정된 최적 노출 시간으로 노출하여 프레임의 밝기 레벨을 보정하는 제 2단계와, 보정된 프레임의 평균 밝기 레벨과 중간 밝기 레벨의 절대값 차이가 상기 역치값보다 작은 경우 그대로 출력하고, 그 이외의 경우 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 하나의 제 1 퓨전 프레임을 생성하는 제 3단계로 이루어질 수 있다.

이때, 상기 제 1단계는 평균 밝기 레벨이 상기 미드 톤의 범위에 포함되는 경우 프레임을 그대로 출력할 수 있다. 또한, 밝기 레벨이 0~255 레벨일 때, 상기 미드 톤의 범위는 90~130인 것을 특징으로 한다.

또한, 상기 제 2단계는

에 따라 상기 최적 노출 시간인 T_opt를 추출하는 단계를 더 포함하며, 상기 T_n은 상기 프레임의 노출 시간이며, 상기 Bl_n은 상기 프레임의 밝기 레벨이며, 상기 Bl_opt는 최적 밝기 레벨인 것을 특징으로 할 수 있다.

이때, 상기 Bl_n은

에 의해 구해지며, k는 상수이며, L은 주변 밝기의 휘도이며, G는 자동 이득 제어의 이득값이며, F/#는 렌즈의 구경값이다.

또한, 상기 제 2단계는 기설정된 룩업테이블로부터 상기 과도노출, 정상라이팅 또는 이상라이팅에 각각 대응하는 상기 최적 밝기 레벨을 추출하여 상기 Bl_opt에 대입할 수 있다.

한편, 상기 제 3단계는 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 최적 노출 시간의 1/2과 2배로 노출할 수 있다.

더하여, 상기 자동 노출 제어 방법은 상기 제 3단계의 상기 제 1 퓨전 프레임이 상기 미드 톤의 범위내에 포함되는지 판단하여 포함되는 경우 상기 제 1 퓨전 프레임의 상기 절대값 차이와 상기 역치값을 비교하는 단계를 더 포함하고 포함되지 않는 경우 상기 제 1단계의 프레임을 상기 제 1 퓨전 프레임으로 대체하여 제 1 내지 제 3단계를 반복하는 제 4단계와, 상기 제 4단계에서 상기 제 1 퓨전 프레임의 상기 절대값 차이와 상기 역치값의 비교결과 상기 제 1 퓨전 프레임의 상기 절 대값 차이가 상기 역치값보다 큰 경우 상기 제 1 퓨전 프레임을 출력하고, 그 이외의 경우 상기 프레임과 상기 프레임에 연속적인 프레임을 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 하나의 제 2 퓨전 프레임을 생성하는 제 5단계를 더 포함할 수 있다.

이때, 상기 제 5단계는 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 상기 최적 노출 시간의 1/2과 3/2배로 노출하는 것을 특징으로 한다.

또한, 상기 제 2 퓨전 프레임이 상기 미드 톤의 범위 내에 포함되는지 판단하여 포함되는 경우 상기 제 2 퓨전 프레임을 출력하고, 포함되지 않는 경우 상기 제 1 단계의 프레임을 상기 제 2 퓨전 프레임으로 대체하여 상기 제 1 내지 제 5단계를 거치도록 하는 제 6단계를 더 포함할 수 있다.

한편, 본 발명에 따른 자동 화이트 밸런스 방법은 입력되는 프레임의 픽셀에서 회색점을 추출하여, 기설정된 조건에 만족하는 픽셀을 Ω값에 축적하는 제 1단계와, 상기 Ω값에 축적되는 R(Red), G(Green), B(Blue)로 구성된 색상요소의 평균값과 중간값을 각각 상호 비교하여, 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다른 하나는 평균값이 중간값보다 작은 경우 상기 R과 B 중 어느 하나가 평균값이 중간값보다 작은 색상요소의 평균값을

으로 하고, 상기 색상요소 중 G의 평균값을

으로 하며,

의 수식을 만족하도록 상기 R 또는 B의 이득을 조정하는 제 2단계로 이루어질 수 있다.

이때, 상기 제 1단계는 입력되는 프레임의 상기 회색점에 대한 F(R,G,B) 값이

에 의해 추출되며, 상기 G값이 0인 픽셀에 대하여 1로 대체하는 것을 특징으로 할 수 있다. 또한, 상기 F(R,G,B)는

을 만족하는 경우 상기 Ω값에 축적하며, 상기 T는 기설정된 역치값이며, 상기 G값이 0인 픽셀들의 경우 상기 T는 1로 대체하는 것을 특징으로 할 수 있다.

한편, 상기 제 2단계에서 그 이외의 경우

은

과

사이의 절대 차이값이고

은

과

사이의 절대 차이값이며,

수학식

을 만족하는 경우 상기 프레임을 그대로 출력하고, 만족하지 않는 경우 상기

일 경우 상기 수학식이 만족될때 까지 R 이득을 조정하며,

일 경우 상기 수학식이 만족될때 까지 B 이득을 조정하는 제 4단계를 더 포함하며, D_AWBthres는 기설정된 역치값인 것을 특징으로 할 수 있다.

이외에도 본 발명의 실시예에 따른 자동 노출 제어 및 자동 화이트 밸런스 방법은 카메라를 통해 입력되는 프레임의 평균 밝기 레벨과 중간 밝기 레벨을 획득하여, 상기 평균 밝기 레벨과 중간 밝기 레벨과의 절대값 차이가 기설정된 역치값보다 작은지 여부에 따라 정상라이팅 또는 이상라이팅을 판단하여, 기설정된 룩업테이블로부터 상기 정상라이팅 또는 이상라이팅에 대응하는 최적노출 시간으로 상기 프레임의 밝기 레벨을 보정하는 제 1단계와, 상기 보정된 프레임의 상기 절대값 차이를 기설정된 역치값과 비교하여 큰 경우 그대로 출력하고, 그 이외의 경우 상기 보정된 프레임과 상기 보정된 프레임에 연속적인 프레임을 상기 최적 노출 시간의 상이한 배수로 각각 노출하고 퓨전하여 하나의 제 1 퓨전 프레임을 생성하는 제 2단계와, 상기 보정된 프레임 또는 제 1 퓨전 프레임을 구성하는 픽셀에서 회색점을 추출하여 R(Red), G(Green), B(Blue)로 구성된 색상요소의 평균값과 중간값을 각 색상요소마다 비교하여, 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다른 하나는 평균값이 중간값보다 작은 경우 또는 그 이외의 경우로 상기 퓨전 프레임이 대응하는 조건을 구분하고, 상기 조건에 따라 R 또는 B 이득을 조정하여 상 기 보정된 프레임 또는 제 1 퓨전 프레임을 보정하여 출력하는 제 3단계로 이루어질 수 있다.

이때, 상기 제 2단계는 상기 보정된 프레임과 상기 보정된 프레임에 연속적인 프레임을 각각 최적 노출 시간의 1/2과 2배로 노출하는 것을 특징으로 할 수 있다.

또한, 상기 제 3단계는 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다른 하나는 평균값이 중간값보다 작은 경우 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 작은 색상요소의 평균값을

으로 하고, 상기 색상요소 중 G의 평균값을

으로 하며,

의 수식을 만족하도록 상기 R 또는 B의 이득을 조정하는 단계를 더 포함할 수 있다.

더하여, 상기 제 3단계는 상기 그 이외의 경우인 경우

은

과

사이의 절대 차이값이고

은

과

사이의 절대 차이값이며,

수학식

을 만족하는 경우 상기 프레임을 그대로 출력하고, 만족하지 않는 경우 상기

일 경우 상기 수학식이 만족될때 까지 R 이득을 조정하며,

일 경우 상기 수학식이 만족될때 까지 B 이득을 조정하는 단계를 더 포함하며, 상기 D_AWBthres는 기설정된 역치값인 것을 특징으로 한다.

한편, 본 발명에 따른 자동 노출 제어 및 자동 화이트 밸런스 방법은 상기 제 3단계를 통해 보정된 상기 보정된 프레임과 상기 보정된 프레임에 연속되는 프레임을 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 제 2 퓨전 이미지를 생성하여 출력하는 제 4단계를 더 포함할 수 있다.

이때, 상기 제 4단계는 상기 보정된 프레임과 상기 보정된 프레임에 연속되는 프레임을 상기 최적 노출 시간의 1/2과 3/2배로 노출하는 것을 특징으로 할 수 있다.

본 발명은 적은 수의 프레임들의 적절한 노출 값을 신속하게 측정할 수 있다. 이를 통해, 정밀도를 개선시키고, 출력 이미지의 디테일을 향상시킬 수 있다.

또한, AE 제어를 거친 후 수행되는 AWB 방법은 간단한 지역 AWB 알고리즘이 다. 상기 지역 AWB 알고리즘은 높은 정밀도를 제공하며, 회색 포인트의 편재에 기인하는 유연성을 제공한다. 특히, 이러한 AWB는 하나의 주요 색상으로 구성된 이미지들을 감지하고, 이러한 이미지들을 적절하게 다룰 수 있다.

라이팅 조건과 하나의 주요 색상으로 구성된 이미지들을 감지하기 위하여 본 발명에 따른 새로운 메커니즘을 이용한 AE-AWB 시스템은, 유연하며 광원 및 주요 대상물의 위치에 영향받지 않고 모든 이미지들과 모든 조도 조건에서 효율적으로 동작할 수 있다.

본 발명은 하이-엔드(hi-end) 디지털 스틸 카메라를 포함하는 거의 모든 카메라 장치에 적용할 수 있다. 특히, 본 발명에 따른 알고리즘은 계산적으로 복잡하지 않기 때문에, 모바일이나 감시 카메라들과 같은 용량이 제한된 대부분의 CMOS 플랫폼들에 적용할 수 있다.

라이팅 조건들은 정상 라이팅, 백라이팅, 하이 콘트라스트로서 정의될 수 있다. 라이팅 조건들의 정도를 결정하기 위해, 제안된 본 발명은 전체 이미지의 밝기 레벨의 평균값과 중간값을 비교한다. 상기 밝기 레벨은 0~255 레벨로 정의하는 것이 바람직하나 이에 한정되지 않는다.

우선, Bl_mean은 전체 이미지의 평균 밝기 레벨이다. 또한, Bl_med는 이미지의 모든 픽셀의 밝기 레벨들을 순차적으로 정렬한 배열에서 중앙 항목의 수치를 나타 낸 중간 밝기 레벨이다.

CMOS 이미지 센서를 차용한 대부분의 플랫폼들은 RGB 포맷을 아웃풋 이미지로 제공한다. 녹색 컴포넌트는 대부분 이미지의 휘도와 연관이 있다. 따라서, 계산상의 복잡성을 감소시키기 위해, 제안된 시스템은 이미지의 휘도로서 녹색 컴포넌트를 사용하고, 모든 스텝은 상기 녹색 컴포넌트를 근거로 수행된다.

노출정도가 정상이거나 약한 노출인 경우에서 캡처된 이미지를 통해 상기 라이팅 조건들을 구분해 보면, 정상 라이팅 이미지인 도 1(a)에서, Bl_mean가 Bl_med의 차이값인 D_L은 차이값의 역치인 D_thres보다 작은 값으로 나타난다. 보통 D_thres는 10~15인 것이 바람직하다.

한편, 도 1(b)에 도시된 백라이팅과 도 1(c)에 도시된 하이 콘트라스트 라이팅 조건은 상기 D_L값이 상기 D_thres값을 초과하는지 여부로 판단할 수 있다. 특히, 상기 백라이팅과 하이 콘트라스트 라이팅이 과도 노출된 경우에서 캡처된 경우 상기 Bl_mean과 Bl_med의 차이가 더 벌어지게 되므로, 상기 D_L값의 크기는 더욱 커지게 된다.

상기 Bl_mean, Bl_med, D_L과 D_thres는 제안된 수정 AE 알고리즘을 향상키기기 위해 사용된다. 한편, 휘도값과 노출 요소 사이의 관계는 다음과 같은 수학식 1로서 표현될 수 있다.

Bl은 캡처된 이미지의 밝기 레벨이며, k는 상수이며, L은 주변 밝기의 휘도이며, G는 자동 이득 제어의 이득값이며, F/#는 렌즈의 구경값이며, T는 집적 시간(integration time)이다.

상기 수학식 1에 현재 프레임의 노출 시간 T_n 을 대입하여 현재 프레임의 밝기 레벨인 Bl_n 과 최적의 노출 시간인 T_opt를 대입하여 최적 밝기 레벨인 Bl_opt를 구할 수 있다.

어떤 장면에 대해서, 양 프레임이 매우 짧은 시간에 지속적으로 찍혔을때, L 과 G는 거의 같다. CMOS 기술을 차용하는 대부분의 모바일이나 감시 카메라에 있어서, 상기 렌즈의 구경은 최대치로 고정되어 있기 때문에 상기 F/#는 일정하다. 따라서, 상기 수학식 1에 있는 Bl을 Bl_n 과 Bl_opt로 대체하고 Bl_n과 Bl_opt의 관계식은 다음과 같이 표현될 수 있다.

본 발명에 따른 알고리즘은 상호적으로 미드 톤(mid tone)을 요소로 하는 것에서 근거한 AE를 제어하기 위하여 Bl_mean을 사용한다. 그러나, 하나의 고정된 최적의 값을 사용하는 다른 알고리즘과 다르게, 본 발명에서는 최적의 밝기 레벨이 고정되어 있지 않다. 즉, Bl_opt는 라이팅 조건에 따라 변경될 수 있다. 이외에도, 카메라 응답이 완전히 선형이 아니므로, 각 조건에서 실제값은 일련의 실험을 수행함으로써 획득될 수 있다. 이를 통해, 기존 알고리즘보다 정밀한 밝기 레벨을 규정하여 세밀한 조정이 이루어지도록 할 수 있다.

도 2는 프레임의 최적 밝기 레벨을 결정하기 위한 알고리즘을 나타낸 순서도로서, 이를 통해 현재 프레임이 과도 노출된 경우인지 또는 정상 혹은 낮은 노출된 경우인지를 우선적으로 구별하고, 상기 정상 혹은 낮은 노출된 경우에서 라이팅 조건을 구별하여 현재 프레임의 최적 밝기 레벨을 결정하는 방법에 대한 것이다.

상기 순서도를 통해 프로세스 과정을 살펴보면, 첫번째 프레임을 캡처한 후 상기 첫번째 프레임의 Bl_mean의 값이 상기 수학식 1을 통해 계산되며, 계산된 Bl_mean은 최적의 밝기 레벨로 설정된 상기 미드 톤인 Bl_mt의 범위에 속하는지 여부를 판별하게 된다(S101). 상기 Bl_mt의 범위는 100~130인 것이 바람직하다.

상기 Bl_mean이 상기 Bl_mt의 범위에 포함되면 정상적으로 캡처된 이미지로 판별되며, 상기 Bl_mean의 값을 그대로 보존한다. 반면에, 상기 Bl_mean이 Bl_mt의 범위에 포함되지 않을 경우, 상기 Bl_mt의 범위에서 최소값을 상기 Bl_mean과 비교하게 된 다(S102).

이때, 상기 Bl_mean이 상기 최소값보다 큰 경우 상기 Bl_mt는 상기 Bl_mt의 최대값보다 큰 것으로 판별되며, 이와 같은 경우 상기 첫번째 프레임이 과도 노출된 경우로 규정되어 과도 노출의 경우에서 최적 밝기 레벨로 규정된

값이 상기 Bl_opt로 결정된다(S103).

한편, 상기 Bl_mt의 최소값보다 작은 경우 상기 첫번째 프레임의 D_L이 상기 D_thres보다 작은지 판별하여(S104), 상기 D_L이 상기 D_thres보다 큰 경우 상술한 바와 같이 정상 혹은 낮은 노출 정도에서의 백라이팅 또는 하이 콘트라스트 라이팅 조건인 것으로 규정되어, 정상 혹은 낮은 노출 시간을 가진 백라이팅 또는 하이 콘트라스트 라이팅 조건에서의 최적 밝기 레벨인

를 상기 Bl_opt로 결정한다(S105). 또한, 상기 D_L이 D_thres보다 작은 경우 정상 혹은 낮은 노출 시간을 가진 정상 라이팅 조건으로 판단하여, 정상 라이팅 조건에서의 최적 밝기 레벨인

를 상기 Bl_opt로 결정한다(S106).

실제 수행에서, 상기 수학식 4에 포함된 Bl_mean 값인 Bl_n과, T_n 및 상기 도 2에 도시된 순서도를 통해 결정된 Bl_opt는 룩업테이블에 저장되는 데이터인 것이 바람직하다. 따라서, 상기 수학식 4를 통해 최적 노출 시간인 T_opt가 구해질 수 있다.

상기 최적 노출 시간이 결정되면, 도 3에 도시된 알고리즘에 따라 상기 Bl_mean을 Bl_mt의 범위에 포함되도록 하여 최적의 이미지를 구할 수 있다.

우선적으로, 상기 Bl_opt를 통해 계산된 T_opt로 현재 프레임의 노출 시간을 자동 제어하여 최적 노출시간에 따라 노출되어 갱신된 이미지(S201)의 Bl_mean과 Bl_med의 차이인 D_L이 D_thres보다 작은지를 판별한다(S202).

만일 상기 D_L이 D_thres보다 작다면, 상기 최적 노출시간에 의해 정상 라이팅이 적용된 이미지로 갱신되었다는 것을 의미하여 프로세스 과정이 종료된다.

반면에, 상기 D_L이 D_thres보다 크다면, 상기 최적 노출시간에 의해 갱신된 이미지가 여전히 백라이팅 또는 하이콘트라스트 라이팅 조건에 놓여있다는 것을 의미한다.

따라서, 상기 D_L이 상기 D_thres보다 큰 경우, 두가지 상이한 노출 시간으로 찍힌 연속적인 프레임을 퓨전(fusion)하여 백라이팅과 하이 콘트라스트 라이팅 조건을 구분하는 근거를 제공함과 동시에 최적의 이미지를 생성할 수 있다. 즉, 상기 최적 노출시간의 1/2과 2배로 각각 노출된 연속적인 프레임을 퓨전하여 제 1 퓨전 이미지를 생성할 수 있다(S203).

이때, F_X(x,y)는 픽셀 (x,y)의 색상값이고, X는 색상을 구성하는 요소인 R, G, B 값 중 하나이다. lo는 낮은 노출이고, hi는 높은 노출이다.

상기 수학식 5에 따라 퓨전되는 최적 노출시간의 1/2배로 노출된 프레임은 상기 제 1 퓨전 이미지에 디테일을 제공할 수 있으며, 최적 노출시간의 2배로 노출된 프레임은 상기 제 1 퓨전 이미지를 더욱 밝게 하는 효과를 나타낼 수 있다.

이후, 생성된 상기 제 1 퓨전 이미지의 Bl_mean을 계산하여 상기 Bl_mt의 범위에 적합한지를 판별하게 되는데, 이때 상기 Bl_mt의 범위는 90~130인 것이 바람직하다(S204).

상기 제 1 퓨전 이미지의 Bl_mean이 상기 Bl_mt의 범위에 포함된다면, 상기 제 1 퓨전된 이미지의 Bl_med 값을 계산하여 상기 제 1 퓨전 이미지의 Bl_mean과의 차이인 D_L을 구하게 된다.

상기 D_L이 상기 D_thres보다 작을 경우 하이 콘트라스트 라이팅 조건이 적용된 이미지로 판별됨과 동시에 상기 퓨전에 의해 정상 라이팅 조건으로 갱신되었음을 의미하며, 프로세스는 종료된다(S205).

상기 D_L이 상기 D_thres보다 클 경우 백라이팅 조건이 적용된 이미지로 판별되어, 현재 프레임을 상기 최적 노출시간 T_opt에 1/2과 3/2배로 각각 노출된 연속적인 프레임을 퓨전하여 제 2 퓨전 이미지를 생성하도록 한다(S206).

즉, 상기 백라이팅 조건이 적용된 이미지의 노출 시간 갭을 줄여 정상 라이 팅 조건에 부합하는 이미지로 갱신시킬 수 있다. 정상 라이팅 조건에 부합하는지 여부는 상기 제 2 퓨전 이미지로부터 Bl_mean을 계산하여 상기 Bl_mt의 범위에 포함되는지 여부를 통해 판단할 수 있다(S207). 이때, 상기 Bl_mt의 범위는 90~130인 것이 바람직하다.

한편, 상기 Bl_mt의 범위에 포함되는 경우 백라이팅 이미지의 정상 라이팅 조건으로의 갱신이 정상적으로 이루어졌음을 의미하여 프로세스는 종료되고, 포함되지 않는 경우 상기 도 2에서 설명한 알고리즘을 통해 상기 도 3에서 갱신된 이미지의 최적 노출 시간을 결정하여 도 3에서 서술한 알고리즘을 반복하여 거치도록 함으로써 정상 라이팅 조건에 부합하는 최적의 이미지를 생성시킬 수 있다.

더하여, 상기 제 1 퓨전 이미지의 Bl_mean이 상기 Bl_mt의 범위에 포함되지 않는 경우에도 상기 제 2 퓨전 이미지의 Bl_mean이 상기 Bl_mt의 범위에 포함되지 않는 경우의 프로세스와 동일한 과정을 거치게 된다.

한편, 하나의 주요 색상이 이미지를 뒤덮고 있는 경우, 대부분의 경우에 있어서, R, G, B 중 적어도 한가지 색상 요소는 프레임의 평균(mean)값보다 중간(median)값이 더 큰 경우인 것을 알 수 있다. 그러나, 모든 색상들이 같은 법칙을 따르는 것은 아니다. 다음의 조건 중 하나를 만족하는 이미지들만이 특정한 하나의 주요 색상 이미지로서 간주된다.

	R	G	B
Redish	median>mean	median<mean	median<mean
Redish	median>mean	median>mean	median<mean
Bluish	median<mean	median<mean	median>mean
Bluish	median<mean	median>mean	median>mean

이때, 상기 G는 프레임의 상술한 바와 같이 프레임의 밝기 레벨이 영향을 미치는 요소로서 상기 주요 색상 이미지에서 배제되고, R과 B 중 어느 하나의 색상 요소를 고려하여 상기와 같은 조건 중 어느 하나를 만족하는 경우 붉은 이미지(Redish) 또는 푸른 이미지(Bluish)로 구분될 수 있다.

특정한 하나의 주요 색상이 부각되는 이미지는 다음에서 설명하는 것처럼 AWB(Auto White Balance) 메커니즘에 의해 보정될 수 있다.

본 발명에서 상기 AWB의 주요 특징은 대부분의 프레임 어디에서나 회색점을 추출할 수 있다는 것이다. 회색점은 다음의 수식과 기준에 의해 추출될 수 있다.

T는 1보다 아주 작은 역치값이며, 이미지를 캡처하는 수단의 노출 시간으로서 보통 기설정된 값으로 규정된다. 그러나, G값이 0인 픽셀들의 경우, T는 1로 정의되고, G는 상기 수학식 6에서 1로 정의된다. 픽셀의 F(R,G,B)의 값이 수학식 7을 만족하는 각 픽셀은 옴값(Ω)에 축적되며, 상기 옴값(Ω)은 회색점의 집합으로 규정될 수 있다.

,

,

은 옴값의 R, G, B 컴포넌트의 평균값을 나타낸다. G는 앞서 AE를 통한 휘도 조건을 조절하기 위한 요소로 사용되며, 상기 R과 B는 색차 조건을 판별하여 이미지를 보정하는 상기 AWB의 색차 요소로서 사용된다. 즉, 상기 R 과 B의 이득을 제어하는 것이 본 발명에 따른 AWB 알고리즘의 주요 특징이 될 수 있다.

한편,

은

과

사이의 절대 차이값을 의미하며,

은

과

사이의 절대 차이값을 의미한다. 이들 값들은 다음과 같이 계산될 수 있다.

만일

이면, AWB 컨트롤은 종료된 다. 이때, 상기 D_AWBthres는 역치값이다. 반면에,

일 경우 R 이득이 조정될 필요가 있다. 동일하게,

일 경우 B 이득이 조정될 필요가 있다.

그러나, 특정 주요 색상 이미지가 강하여 상술한 표 1에서 설명한 바와 같이 전체적으로 붉은 이미지나 푸른 이미지의 조건에 부합하는 경우 AWB를 체크하는 기준은 다음과 같으며, 이를 통해 R 또는 B 이득을 조정하게 된다.

, if R_mean < R_median

, if B_mean < B_median

따라서, 상술한 바와 같은 AWB 메커니즘을 통해 색상 이미지를 유연하게 처리할 수 있으며, 적은 수의 색상과 단지 하나의 주요 색상을 가진 이미지에서도 향상된 처리가 제공된다.

한편, 상술한 AE 알고리즘과 AWB 알고리즘을 복합하여 연속적으로 사용함으로써, 프레임의 디테일과 밝기 및 색차 보정을 동시에 수행할 수도 있게 되는데, 이를 도 4를 통해 설명하도록 한다.

상술한 바와 같이 도 2의 AE의 알고리즘을 통해 라이팅 조건이 정상 라이팅과 하이 콘트라스트 라이팅 조건인 경우 상술한 바와 같이 최적 노출 시간을 산출하며, 상기 최적 노출 시간을 높은 배수와 낮은 배수로 증폭시켜 명암비의 대역폭을 증가시켜 각각의 증폭된 노출 시간에 노출된 복수의 프레임을 퓨전함으로써 이미지의 디테일 향상에 상당한 이점을 가져다 줄 수 있다. 이와 같은 명암비 대역폭 증가는 HDR(High Dynamic Range) 원리를 이용한 명암비 대역폭 확장을 통한 디테일 개선 효과로 설명할 수 있다.

이때, 상기 정상 라이팅 조건에서 캡처된 프레임은 이미 본 발명에서 기준으로 설정된 미드 톤의 범위 내에 포함되어 정상 프레임으로 판별되므로 별도의 가공이 필요없는 프레임이지만, 상술한 바와 같은 프레임의 퓨전을 통해 명암비를 향상시킴으로써 더욱 디테일한 프레임을 획득할 수도 있다.

이후, 상기 AE 알고리즘을 통해 획득된 프레임에 상기 AWB 알고리즘을 통한 색차 보정이 연속적으로 이루어질 수 있다.

상기 AWB를 통한 색차 보정은 상술한 바와 같이 프레임의 색상을 구성하는 각 R, G, B 요소의 평균값(mean)과 중간값(median)을 산출하여 모든 색상 요소의 평균값이 중간값보다 크거나 작은 경우 또는 본 발명에서 휘도를 구성하는 색차 요소로 규정된 G를 제외한 나머지 R과 B의 평균값이 중간값보다 작은 경우 기존의 AWB 알고리즘에 따른

을 만족하는지 여부를 통해 R과 B 이득을 조절함으로써 색차 보정이 이루어질 수 있다.

또한, 본 발명에 따라 기존의 AWB 알고리즘에서 판별할 수 없었던 표 1에 도시된 바와 같이 특정 색상이 특히 강한 경우에 대해 상기 수학식 11 및 수학식 12를 통해 Bluish 또는 Redish의 경우에 대한 R과 B 이득을 조절함으로써 색차 균형을 조절함으로써 프레임의 유연한 AWB 처리가 가능하다.

한편, 백라이팅 조건을 소유한 프레임에 대해서는 상술한 AWB 알고리즘을 거친 이후 AE 알고리즘을 거치는 것이 효율적일 수 있다.

즉, 백라이팅 조건을 가진 프레임에서 휘도를 결정하는 요소로 정의된 G의 값이 상대적으로 R과 B의 값에 비해 월등히 크므로, 상기 기존의 AWB 알고리즘을 적용하는 조건에 부합하며, 상기 기존의 AWB 알고리즘을 통해 R과 B의 이득을 조절하여 G 값과 균형을 맞추도록 함으로써 상기 G 값이 R 및 B 값에 상대적으로 커서 발생하는 휘도의 불균형 문제를 상기 AWB를 통해 어느정도 상기 AE 알고리즘의 미드 톤 값으로 보정할 수 있다.

이후, 상기 AWB 알고리즘을 거쳐 색차보정과 어느정도의 휘도 보정이 이루어진 백라이팅 조건의 프레임에 대하여 상기 AE 알고리즘을 통한 퓨전을 행하여 디테일 조정 및 상기 AWB 알고리즘에서 보정된 휘도를 더욱 세밀하게 보정하여 프레임의 디테일을 크게 향상시킬 수 있게 된다.

도 1은 밝기 레벨의 평균값과 중간값을 이용한 라이팅 조건의 구분을 도시한 그림.

도 2는 본 발명에 따른 AE 알고리즘을 통해 프레임을 최적 밝기 레벨로 보정하는 과정을 도시한 순서도.

도 3은 본 발명에 따른 AE 알고리즘을 통해 라이팅 조건에 따라 프레임을 퓨전하여 최적 밝기 레벨로 보정하는 과정을 도시한 순서도.

도 4는 본 발명에 따른 AE 알고리즘과 AWB 알고리즘의 복합 과정을 나타낸 순서도.

Claims (20)

1. 카메라를 통해 입력되는 프레임을 구성하는 모든 픽셀들의 평균 밝기 레벨이 기설정된 미드 톤(mid tone)의 범위에 포함되지 않는 경우 중에서, 상기 미드 톤의 최소값과 상기 평균 밝기 레벨을 비교하여 상기 최소값보다 큰 경우 과도 노출로 판단하고 그 이외의 경우 정상 노출로 판단하는 제 1단계;

   상기 제 1단계의 판단 결과 정상 노출인 경우 상기 모든 픽셀들의 중간 밝기 레벨과 상기 평균 밝기 레벨과의 절대값 차이가 기설정된 역치값보다 작은 경우 정상 라이팅으로 판단하고 그 이외의 경우 이상 라이팅으로 판단하여, 상기 프레임을 상기 과도 노출, 정상 라이팅 또는 이상 라이팅에 따라 기설정된 최적 노출 시간으로 노출하여 프레임의 밝기 레벨을 보정하는 제 2단계; 및

   보정된 프레임의 평균 밝기 레벨과 중간 밝기 레벨의 절대값 차이가 상기 역치값보다 작은 경우 그대로 출력하고, 그 이외의 경우 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 하나의 제 1 퓨전 프레임을 생성하는 제 3단계

   로 이루어지는 자동 노출 제어 방법.
2. 청구항 1에 있어서,

   상기 제 1단계는 평균 밝기 레벨이 상기 미드 톤의 범위에 포함되는 경우 프 레임을 그대로 출력하는 것을 특징으로 하는 자동 노출 제어 방법.
3. 청구항 1에 있어서,

   밝기 레벨이 0~255 레벨일 때, 상기 미드 톤의 범위는 90~130인 것을 특징으로 하는 자동 노출 제어 방법.
4. 청구항 1에 있어서,

   상기 제 2단계는

   

   에 따라 상기 최적 노출 시간인 T_opt를 추출하는 단계를 더 포함하며, 상기 T_n은 상기 프레임의 노출 시간이며, 상기 Bl_n은 상기 프레임의 밝기 레벨이며, 상기 Bl_opt는 최적 밝기 레벨인 것을 특징으로 하는 자동 노출 제어 방법.
5. 청구항 4에 있어서,

   상기 Bl_n은

   

   에 의해 구해지며, k는 상수이며, L은 주변 밝기의 휘도이며, G는 자동 이득 제어의 이득값이며, F/#는 렌즈의 구경값인 것을 특징으로 하는 자동 노출 제어 방법.
6. 청구항 4에 있어서,

   상기 제 2단계는 기설정된 룩업테이블로부터 상기 과도노출, 정상라이팅 또는 이상라이팅에 각각 대응하는 상기 최적 밝기 레벨을 추출하여 상기 Bl_opt에 대입하는 것을 특징으로 하는 자동 노출 제어 방법.
7. 청구항 1에 있어서,

   상기 제 3단계는 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 최적 노출 시간의 1/2과 2배로 노출하는 것을 특징으로 하는 자동 노출 제어 방법.
8. 청구항 1에 있어서,

   상기 제 3단계의 상기 제 1 퓨전 프레임이 상기 미드 톤의 범위내에 포함되는지 판단하여 포함되는 경우 상기 제 1 퓨전 프레임의 상기 절대값 차이와 상기 역치값을 비교하는 단계를 더 포함하고, 포함되지 않는 경우 상기 제 1단계의 프레임을 상기 제 1 퓨전 프레임으로 대체하여 제 1 내지 제 3단계를 반복하는 제 4단계; 및

   상기 제 4단계에서 상기 제 1 퓨전 프레임의 상기 절대값 차이와 상기 역치값의 비교결과 상기 제 1 퓨전 프레임의 상기 절대값 차이가 상기 역치값보다 큰 경우 상기 제 1 퓨전 프레임을 출력하고, 그 이외의 경우 상기 프레임과 상기 프레임에 연속적인 프레임을 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 하나의 제 2 퓨전 프레임을 생성하는 제 5단계

   를 더 포함하는 것을 특징으로 하는 자동 노출 제어 방법.
9. 청구항 8에 있어서,

   상기 제 5단계는 상기 프레임과 상기 프레임에 연속적인 프레임을 각각 상기 최적 노출 시간의 1/2과 3/2배로 노출하는 것을 특징으로 하는 자동 노출 제어 방법.
10. 청구항 8에 있어서,

    상기 제 2 퓨전 프레임이 상기 미드 톤의 범위 내에 포함되는지 판단하여 포함되는 경우 상기 제 2 퓨전 프레임을 출력하고, 포함되지 않는 경우 상기 제 1 단계의 프레임을 상기 제 2 퓨전 프레임으로 대체하여 상기 제 1 내지 제 5단계를 거치도록 하는 제 6단계를 더 포함하는 것을 특징으로 하는 자동 노출 제어 방법.
11. 입력되는 프레임의 픽셀에서 회색점을 추출하여, 픽셀의 값이 기설정된 역치값보다 작은 픽셀을 Ω값에 축적하는 제 1단계; 및

    상기 Ω값에 축적되는 R(Red), G(Green), B(Blue)로 구성된 색상요소의 평균값과 중간값을 각각 상호 비교하여, 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다른 하나는 평균값이 중간값보다 작은 경우 상기 R과 B 중 어느 하나가 평균값이 중간값보다 작은 색상요소의 평균값을

    

    으로 하고, 상기 색상요소 중 G의 평균값을

    

    으로 하며,

    

    의 수식을 만족하도록 상기 R 또는 B의 이득을 조정하는 제 2단계

    로 이루어지는 자동 화이트 밸런스 방법.
12. 청구항 11에 있어서,

    상기 제 1단계는 입력되는 프레임의 상기 회색점에 대한 F(R,G,B) 값이

    

    에 의해 추출되며, 상기 G값이 0인 픽셀에 대하여 1로 대체하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
13. 청구항 12에 있어서,

    상기 F(R,G,B)는

    

    을 만족하는 경우 상기 Ω값에 축적하며, 상기 T는 기설정된 역치값이며, 상기 G값이 0인 픽셀들의 경우 상기 T는 1로 대체하는 것을 특징으로 하는 자동 화이트 밸런스 방법.
14. 청구항 11에 있어서,

    상기 제 2단계에서 그 이외의 경우

    

    은

    

    과

    

    사이의 절대 차이값이고

    

    은

    

    과

    

    사이의 절대 차이값이며,

    수학식

    

    을 만족하는 경우 상기 프레임을 그대로 출력하고, 만족하지 않는 경우 상기

    

    일 경우 상기 수학식이 만족될때 까지 R 이득을 조정하며,

    

    일 경우 상기 수학식이 만족될때 까지 B 이득을 조정하는 제 4단계를 더 포함하며, D_AWBthres는 기설정된 역치값인 것을 특징으로 하는 자동 화이트 밸런스 방법.
15. 카메라를 통해 입력되는 프레임의 평균 밝기 레벨과 중간 밝기 레벨을 획득하여, 상기 평균 밝기 레벨과 중간 밝기 레벨과의 절대값 차이가 기설정된 역치값보다 작은지 여부에 따라 정상라이팅 또는 이상라이팅을 판단하여, 기설정된 룩업테이블로부터 상기 정상라이팅 또는 이상라이팅에 대응하는 최적노출 시간으로 상기 프레임의 밝기 레벨을 보정하는 제 1단계;

    상기 보정된 프레임의 상기 절대값 차이를 기설정된 역치값과 비교하여 큰 경우 그대로 출력하고, 그 이외의 경우 상기 보정된 프레임과 상기 보정된 프레임에 연속적인 프레임을 상기 최적 노출 시간의 상이한 배수로 각각 노출하고 퓨전하여 하나의 제 1 퓨전 프레임을 생성하는 제 2단계; 및

    상기 보정된 프레임 또는 제 1 퓨전 프레임을 구성하는 픽셀에서 회색점을 추출하여 R(Red), G(Green), B(Blue)로 구성된 색상요소의 평균값과 중간값을 각 색상요소마다 비교하여, 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다른 하나는 평균값이 중간값보다 작은 경우 또는 그 이외의 경우로 상기 퓨전 프레임이 대응하는 조건을 구분하고, 상기 조건에 따라 R 또는 B 이득을 조정하여 상기 보정된 프레임 또는 제 1 퓨전 프레임을 보정하여 출력하는 제 3단계

    로 이루어지는 자동 노출 제어 및 자동 화이트 밸런스 방법.
16. 청구항 15에 있어서,

    상기 제 2단계는 상기 보정된 프레임과 상기 보정된 프레임에 연속적인 프레임을 각각 최적 노출 시간의 1/2과 2배로 노출하는 것을 특징으로 하는 자동 노출 제어 및 자동 화이트 밸런스 방법.
17. 청구항 15에 있어서,

    상기 제 3단계는 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 크고 다 른 하나는 평균값이 중간값보다 작은 경우 상기 R 과 B 중 어느 하나가 평균값이 중간값보다 작은 색상요소의 평균값을

    

    으로 하고, 상기 색상요소 중 G의 평균값을

    

    으로 하며,

    

    의 수식을 만족하도록 상기 R 또는 B의 이득을 조정하는 단계를 더 포함하는 것을 특징으로 하는 자동 노출 제어 및 자동 화이트 밸런스 방법.
18. 청구항 15에 있어서,

    상기 제 3단계는 상기 그 이외의 경우인 경우

    

    은

    

    과

    

    사이의 절대 차이값이고

    

    은

    

    과

    

    사이의 절대 차이값이며,

    수학식

    

    을 만족하는 경우 상기 프레임을 그대로 출력하고, 만족하지 않는 경우 상기

    

    일 경우 상기 수학식이 만족될때 까지 R 이득을 조정하며,

    

    일 경우 상기 수학식이 만족될때 까지 B 이득을 조정하는 단계를 더 포함하며, 상기 D_AWBthres는 기설정된 역치값인 것을 특징으로 하는 자동 노출 제어 및 자동 화이트 밸런스 방법.
19. 청구항 15에 있어서,

    상기 제 3단계를 통해 보정된 상기 보정된 프레임과 상기 보정된 프레임에 연속되는 프레임을 상기 최적 노출 시간의 상이한 배수로 노출하고 퓨전하여 제 2 퓨전 이미지를 생성하여 출력하는 제 4단계를 더 포함하는 것을 특징으로 하는 자동 노출 제어 및 자동 화이트 밸런스 방법.
20. 청구항 19에 있어서,

    상기 제 4단계는 상기 보정된 프레임과 상기 보정된 프레임에 연속되는 프레임을 상기 최적 노출 시간의 1/2과 3/2배로 노출하는 것을 특징으로 하는 자동 노출 제어 및 자동 화이트 밸런스 방법.

Images