KR20060087661A

KR20060087661A - 자동 노출 제어 장치 및 방법

Info

Publication number: KR20060087661A
Application number: KR1020050008437A
Authority: KR
Inventors: 박준영
Original assignee: 삼성전자주식회사
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2006-08-03

Abstract

자동 노출에 사용되는 제어 파라미터를 전역적으로 제어할 수 있는 자동 노출 제어 장치 및 방법이 개시된다. 자동 노출 제어 장치의 노출 제어부는 현재 촬상된 영상 신호의 휘도 값을 이용하여 산출된 현재 휘도비, 현재 가상축적시간 및 목표 가상축적시간을 근거로 영상촬상장치에 입사되는 광량과 촬상된 영상 신호의 이득을 제어하는 제어신호를 발생한다.

Description

자동 노출 제어 장치 및 방법{Apparatus and Method for controlling Automatic Exposure}

도 1은 종래의 자동 노출 제어를 설명하기 위한 도면이다.

도 2는 본 발명의 일 실시예에 따른 자동 노출 제어 장치의 구성을 나타내는 블록도이다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 자동 노출 제어 방법을 나타내는 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

100 : 촬상부 200 : 아날로그 프론터 엔드

300 : 디지털 신호 처리부 400 : 노출 제어부

본 발명은 카메라의 자동 노출 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 자동 노출에 사용되는 제어 파라미터를 전역적으로 제어할 수 있는 자동 노 출 제어 장치 및 방법에 관한 것이다.

종래의 자동 노출은 각각의 모드에서 서로 다른 파라미터(parameter)를 제어함으로써 각각의 모드에서 독립적으로 동작하는 자동 노출 함수를 구현하였다. 따라서 자동 노출을 수행함에 있어 모드가 변경되는 지점, 즉 현재 파라미터값이 어떤 문턱값에 이르렀을 때까지 동작하며 그 문턱값 이상의 경우에는 다른 함수가 다른 파라미터의 초기값을 가지고 이를 제어하게 된다.

예를 들어, 도 1을 참조하면, 종래의 자동 노출의 제어 범위는 휘도의 세기에 따라 셔터 제어 범위(a), AGC(Automatic Gain Control, AGC) 제어 범위(b), 프레임 레이트(rate) 제어 범위(c)로 나뉘고, 상기 셔터 범위(a)에서는 셔터 값과 AGC 이득 값을 최대로 하고 프레임 레이트의 값만을 제어함으로써 자동 노출을 제어한다. 또한, 상기 프레임 레이트 제어 범위(c)에서는 프레임 레이트 값을 최대로 하고 AGC 이득 값을 최소로 하며, 셔터값만을 제어함으로써 자동 노출을 제어한다.

따라서 전역적인 파라미터를 구비하여 이를 제어하는 것에 비하여 각각의 모드에 따른 서로 다른 개별적인 제어 함수를 가져야 하므로 비효율적이며, 입력이 급격하게 변하는 경우 빠른 대응이 어렵고, 제어 함수들간에 제어 파라미터가 다르기 때문에 몇 프레임 동안의 화상 출력의 휘도 변화를 활용하기 어렵고, 따라서 보다 지능적이고 효율적인 제어 알고리즘을 적용하기 어렵다.

또, 언급한 바와 같이 기존의 방식에서는 휘도 변화 등의 프레임 히스토리(history)를 사용하기 어렵고, 따라서 주로 현재 값과 목표 값을 근거하여 다음 설정치를 결정해야만 했다. 이러한 경우 다음과 같은 문제가 있다. 먼저, 외부 입력 의 변화에 추종하는 시스템에서 이런 경우엔 동작의 안정성을 위하여 증가분이 작아야 한다. 그러나 너무 작은 증가분을 가지게 될 경우 응답성이나 기타 성능이 저하될 수 밖에 없다. 또한, 만약 증가분을 늘리는 경우 어떠한 목표 값들은 도달할 수 없는 상황이 발생하게 되고, 이 경우 상기 도달할 수 없는 목표 값을 중심으로 값이 안정화 되지 않으면서 계속 변경되게 된다.

이에 본 발명의 기술적 과제는 이러한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 노출 파라미터를 전역적으로 이용하여 카메라의 자동 노출을 제어하는 자동 노출 제어 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 노출 파라미터를 전역적으로 이용하여 카메라의 자동 노출을 제어하는 자동 노출 제어 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위하여 본 발명에 따른 자동 노출 제어 장치는 현재 촬상된 영상 신호의 휘도 값을 이용하여 산출된 현재 휘도비, 현재 가상축적시간 및 목표 가상축적시간을 근거로 영상촬상장치에 입사되는 광량과 촬상된 영상 신호의 이득을 제어하는 제어신호를 발생하는 노출 제어부를 포함한다.

상기 현재 휘도비는 상기 촬상된 영상의 현재 휘도 값에 대한 목표 휘도 값의 비율이고, 상기 현재 가상축적시간은 상기 전자셔터의 셔터 스피드에 따른 전하의 축적 시간과 촬상된 영상 신호의 아날로그 이득, 디지털 이득을 이용하여 산출되며, 상기 목표 가상축적시간은 상기 현재 휘도비와 상기 현재 가상축적시간을 곱 하여 산출된다. 상기 목표 가상축적시간과 상기 현재 가상 축적시간으로부터 상기 목표가상축적시간과 최적으로 근사하도록 하는 차회가상축적시간이 계산된다.

본 발명에 따른 영상촬상장치는 입사되는 빛의 광량을 조절하는 전자 셔터를 포함하여 촬상된 영상 신호를 출력하는 촬상부, 상기 촬상된 영상 신호의 아날로그 이득을 조정하는 아날로그 프론트 엔드, 상기 영상 신호를 디지털 영상 데이터로 변환하고 상기 디지털 영상 데이터의 디지털 이득을 조절하며 상기 디지털 영상 데이터의 휘도 신호를 추출하는 디지털 신호 처리부 및 상기 디지털 신호 처리부로부터 제공받은 휘도 신호를 근거로상기 전자 셔터와 상기 촬상된 영상 신호의 아날로그 이득 및 디지털 이득을 제어하는 제어신호를 발생하는 노출 제어부를 포함한다.

본 발명에 따른 자동노출제어방법은 입사되는 빛의 광량을 조절하여 촬상된 영상 신호를 출력하는 단계, 상기 영상 신호를 디지털 영상 데이터로 변환하고, 상기 디지털 영상 데이터의 휘도 신호를 추출하는 단계, 상기 디지털 신호 처리부로부터 제공받은 휘도 신호를 근거로상기 전자 셔터와 상기 촬상된 영상 신호의 아날로그 이득 및 디지털 이득을 제어하는 제어신호를 발생하는 단계 및 상기 제어신호에 근거하여 입사되는 빛의 광량을 조절하고, 상기 영상 신호의 아날로그 이득 및 상기 디지털 영상 데이터의 디지털 이득을 조절하는 단계를 포함한다.

이러한 자동 노출 제어 장치 및 방법에 의하면, 자동 노출에 사용되는 제어 파라미터를 전역적으로 제어할 수 있다.

이하, 첨부한 도면을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 일 실시예에 따른 자동 노출 제어 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자동 노출 제어 장치는 촬상부(100), 아날로그 프론트 엔드(Analog Front End, AFE)(200), 디지털 신호 처리부(Digital signal Processor, DSP)(300) 및 노출 제어부(400)를 포함한다.

상기 촬상부(100)는 영상이 입사되는 렌즈(110)와 상기 입사된 영상의 광량을 제어하는 전자 셔터(120)을 포함하여, 촬영된 영상을 상기 디지털 신호 처리부(200)에 출력한다. 상기 전자 셔터(120)는 예를 들어, CMOS(Complementary Metal Oxide Semiconductor, CMOS) 센서 또는 CCD(Charge Coupled Device) 센서 등의 이미지 센서에 의해 구현될 수 있다.

상기 아날로그 프론트 엔드(200)는 상기 촬상부(100)로부터 아날로그 영상 신호를 입력받아 소정 처리하여 이를 디지털 신호 처리부(300)로 제공한다. 특히 본 발명에서, 상기 아날로그 프론트 엔드(200)는 상기 노출 제어부(400)의 제어하에 아날로그 영상 신호의 아날로그 이득을 조정하는 처리를 수행한다.

상기 디지털 신호 처리부(300)는 아날로그-디지털 변환부(310), 이득 제어부(320), 디지털 제어부(330) 및 휘도 검출부(340)를 포함한다.

상기 아날로그-디지털 변환부(310)는 상기 아날로그 프론트 엔드(200)로부터 출력된 영상 신호를 디지털 영상 데이터로 변환한다.

상기 이득 제어부(320)는 상기 아날로그-디지털 변환부(310)로부터 출력된 디지털 영상 신호의 디지털 이득을 상기 노출 제어부(400)의 제어하에 조정하는 처리를 수행한다.

상기 디지털 제어부(330)는 상기 이득 제어부(320)로부터 제공되는 디지털 영상 데이터를 입력 받아, 화이트 밸런스(white balance), 감마(gamma) 보정 등의 소정 처리를 거친 후 표시부(미도시) 등에 출력하여 이를 디스플레이한다.

상기 휘도 검출부(340)는 현재 프레임에서의 디지털 영상 데이터의 휘도 신호(Br(n))를 검출하여 이를 상기 노출 제어부(400)에 제공한다. 상세하게는, 상기 휘도 검출부(340)는 1 프레임(frame)동안의 휘도 신호의 적분치를 계산한다.

상기 노출 제어부(400)는 가상축적시간 산출부(410) 및 노출 파라미터 제어부(420)을 포함하여 상기 휘도 검출부로부터 제공받은 휘도 신호(Br(n))를 근거로 노출 제어 파라미터 값을 산출한다.

구체적으로, 상기 가상축적시간 산출부(410)는 상기 휘도 검출부(340)으로부터 제공받은 휘도 신호 레벨을 일정하게 유지시키고자 하는 영상의 밝기, 즉 목표 휘도 신호 레벨(Brt)과 비교하여 그 휘도 비(RB(n)=Brt/Br(n))를 구한다. 또한, 주어진 셔터 값과 AFE(200)의 아날로그 이득(AGAIN) 및 이득 제어부(320)의 디지털 이득(DGAIN)으로부터 가상 축적 시간(PEIT)을 구한다.

가상적 축척시간이란 원래 셔터(shutter)를 제어하는 셔터 속도의 개념을 확장한 것으로 이미지 센서에서 포토 다이오드(photo diode)에 빛에 의해 생성된 전하가 축척되는 시간을 의미한다. 본 발명에서는 가상적 축척시간이라는 개념을 도입하여 자동 노출 함수의 전 영역에서 단일한 함수에 의해 자동 노출을 수행하도록 한다. 가상적 축척 시간은 현재의 축척시간에 주어진 상황에서의 화면 밝기와 관련된 파라미터로부터 얻어질 수 있다.

구체적으로, n 번째 프레임에서의 상기 가상적 축적 시간(PEIT)은 다음과 같은 식을 이용하여 얻을 수 있다.

PEIT(n) = EIT(n) * AGAIN_L* DGAIN_L

EIT(n)은 n 번째 프레임에서 실제 셔터를 제어하여 얻은 전하의 축적 시간을 의미하고, AGAIN은 이미지 센서에서 촬상된 신호의 아날로그 이득을 의미하며, DGAIN은 디지털 변환되어 신호 처리되는 촬상 신호의 디지털 이득을 의미한다. 실제 센서의 특성상 아날로그 또는 디지털 이득 값은 비선형적인 특성을 가질 수 있으므로 상기 PEIT를 구함에 있어 이러한 비선형성을 보정한 AGAIN_L과 DGAIN_L값을 이용할 수 있다.

이렇게 전역적인 변수로 시스템을 제어하면 각 모드별로 개별적인 함수를 둘 필요도 없으며 항상 같은 파라미터로 제어하므로 프레임 히스토리 등을 이용하기 쉽다.

상기 설명한 바와 같이 현재 프레임에서의 상기 휘도 비(RB(n))와 가상 축적 시간(PEIT(n))을 구한 후, 상기 목표 휘도 신호 레벨(Brt)에 상응하는 목표 가상 축적 시간(PEITt)을 구한다.

구체적으로, 상기 목표 가상 축적 시간(PEITt)은 다음의 식을 이용하여 구할 수 있다.

PEITt = pEIT(n)*RB(n)

또한, 본 발명은 PID(Proportional-Integral-Differential, PID) 제어 방법을 자동 노출 제어에 적용한다.

즉, 상기 수학식 2로부터 목표 휘도(BRt)를 얻기 위해 요구되는 목표 가상 축적 시간(PEITt) 값을 산출하고, 이를 이용하여 상기 목표 가상 축적 시간(PEITt)과 최적으로 근사하도록 하는 PEIT(n+1)값은 다음의 PID 제어 방식을 이용하여 구할 수 있다.

PEIT(n+1)=PEIT(n)+△PEIT(n+1)

△PEIT(n+1) = K_p(e_n-e_n-1)+K_i*e_n+K_d((e _n-e_n-1)-(e_n-e_n-2))

e_n=PEITt-PEIT(n)

상기 K_p, K_i,K_d 값은 실험적으로 구해지는 계수들이다.

이와 같이, 자동 노출을 제어하는 데 상기 설명한 바와 같이 PID 제어를 적용함으로써, 입력에 대하여 안정적이면서 보다 개선된 수렴 속도를 제공할 수 있다.

상기 노출 제어부(400)은 상기 구해진 PEIT(n+1)값으로부터 이를 얻기 위한 각각의 노출 파라미터, 즉 셔터값, 촬상 신호의 아날로그 이득 및 디지털 이득 값을 결정하여 이를 촬상부(100)의 전자 셔터(120)와 디지털 신호 처리부(200)의 이득 제어부(140)에 제공한다. 구체적으로, 상기 노출 파라미터 제어부(420)는 산출 된 PEIT(n+1)로부터 셔터값을 구하여 이를 전자 셔터(120)에 제공한다. 또한, 상기 노출 파라미터 제어부(420)는 촬상된 영상신호의 아날로그 이득(AGAIN), 디지털 이득(DGAIN)의 값을 결정하여 각각 AFE(200)와 이득 제어부(320)에 제공한다.

또한, 상기 노출 제어부(400)는 상기 셔터값과 영상신호의 아날로그 이득, 디지털 이득값을 기설정된 우선 순위에 따라 이들 노출 파라미터값을 결정할 수 있다. 예를 들어, 셔터 값에 제1 우선 순위를 부여하고 아날로그 이득이 제2 우선 순위를, 디지털 이득이 제3 우선 순위를 갖도록 설정할 수 있다. 이러한 경우 상기 PEIT(n+1)를 만족시키는 셔터 값을 결정하고 상기 셔터 값이 어떠한 문턱값에 이르면 상기 셔터 값의 문턱값과 함께 상기 PEIT(n+1)를 만족시키는 아날로그 이득 값을 구하는 등의 방식으로 노출 파라미터값을 결정할 수 있다.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 자동 노출 제어 방법을 나타내는 순서도이다.

도 2a 및 도 2b를 참조하면, 현재 프레임에서의 휘도 값을 검출한다(단계 S100). 현재 프레임의 휘도 값에 대한 원하는 영상의 목표 휘도 값의 비율을 계산한다(단계 S120). 상기 수학식 1로부터 현재 프레임에서의 PEIT(n)값을 계산한다(단계 S140). 상기 계산된 휘도비와 PEIT(n)값을 이용하여 상기 수학식 2로부터 목표 PEIT값(PEITt)을 계산한다(단계 S160). 현재 프레임에서 상기 목표 PEIT값과 현재의 PEIT(n)을 이용하여 이들의 편차(e_n)를 구한다(단계 S180). 이와 같이, 이전 프레임과 차이전 프레임에서의 편차들(e_n-1,e_n-2)를 이용하여 상기 수학식 3으로부터 PEIT(n+1)값을 계산한다(단계 S200). 상기 계산된 PEIT(n+1) 값으로부터 노출 제어의 입력으로 사용되는 노출 파라미터들을 산출한다(단계 S220). 상기 산출된 노출 파라미터들을 각각의 기능 블록에 입력시키어 자동 노출을 제어한다(단계 S240).

본 발명의 노출 파라미터로서 셔터값, 영상 신호의 아날로그 이득 및 디지털 이득을 예로써 설명하였지만 본 발명은 이에 한정되지 않고 조리개, 프레임 레이트(rate) 등 다른 노출 파라미터가 사용될 수 있음은 자명하다.

이상에서 설명한 바와 같이, 본 발명에 따르면 전역적인 변수로 시스템을 제어하면 각 모드별로 개별적인 함수를 둘 필요도 없으며 항상 같은 파라미터로 제어하므로 프레임 히스토리 등을 이용하기 쉽다.

또한, 본 발명은 PID 제어 방법을 자동 노출 제어에 적용하여 안정적이면서 보다 수렴 속도를 개선할 수 있다.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

입사되는 광량과 촬상된 영상 신호의 이득을 제어하는 영상촬상장치의 자동노출제어장치에 있어서,

현재 촬상된 영상 신호의 휘도 값을 이용하여 산출된 현재 휘도비, 현재 가상축적시간 및 목표 가상축적시간을 산출하는 가상축적시간 산출부;

상기 산출된 현재 휘도비, 현재 가상축적시간 및 목표 가상축적시간을 근거로 상기 영상촬상장치에 입사되는 광량과 상기 촬상된 영상 신호의 이득을 제어하는 제어신호를 발생하는 노출 제어부를 포함하는 것을 특징으로 하는 자동노출제어장치.
제1항에 있어서, 상기 제어신호는,

상기 영상촬상장치에 입사되는 광량을 조절하는 전자셔터의 셔터 스피드를 제어하는 제1 제어신호;

상기 입사되는 광량에 따라 촬상된 아날로그 촬상 신호의 아날로그 이득을 제어하는 제2 제어신호; 및

소정 신호처리를 위해 상기 아날로그 촬상 신호를 디지털 변환한 디지털 촬상 신호의 디지털 이득을 제어하는 제3 제어신호를 포함하는 것을 특징으로 하는 자동노출제어장치.
제2항에 있어서, 상기 현재 휘도비는 상기 촬상된 영상의 현재 휘도 값에 대한 목표 휘도 값의 비율이고, 상기 현재 가상축적시간은 상기 전자 셔터의 셔터값에 따른 전하의 축적 시간과 촬상된 영상 신호의 아날로그 이득, 디지털 이득을 이용하여 산출되며, 상기 목표 가상축적시간은 상기 현재 휘도비와 상기 현재 가상축적시간을 곱하여 산출되는 것을 특징으로 하는 자동노출제어장치.
제3항에 있어서, 상기 목표 가상축적시간과 최적으로 근사하도록 하는 차회 가상축적시간은 다음의 수식을 이용하여 구하는 것을 특징으로 하는 자동노출제어장치.

[수학식3]

PEIT(n+1)=PEIT(n)+△PEIT(n+1)

△PEIT(n+1) = K_p(e_n-e_n-1)+K_i*e_n+K_d((e _n-e_n-1)-(e_n-e_n-2))

e_n=PEITt-PEIT(n)

(PEIT(n+1)은 차회 가상축적시간, PEIT(n)은 현재 가상축적시간)
제4항에 있어서, 상기 노출 제어부는 상기 차회가상축적시간을 근거로 상기 제1 내지 제3 제어신호를 발생하며, 상기 전자 셔터의 셔터값과 상기 촬상된 영상 신호의 아날로그 이득 및 디지털 이득은 기설정된 우선 순위에 따라 그 값이 결정되는 것을 특징으로 하는 자동노출제어장치.
입사되는 빛의 광량을 조절하는 전자 셔터를 포함하여 촬상된 영상 신호를 출력하는 촬상부;

상기 촬상된 영상 신호의 아날로그 이득을 조정하는 아날로그 프론트 엔드;

상기 영상 신호를 디지털 영상 데이터로 변환하고, 상기 디지털 영상 데이터의 디지털 이득을 조절하며, 상기 디지털 영상 데이터의 휘도 신호를 추출하는 디지털 신호 처리부; 및

상기 디지털 신호 처리부로부터 제공받은 휘도 신호를 근거로상기 전자 셔터와 상기 촬상된 영상 신호의 아날로그 이득 및 디지털 이득을 제어하는 제어신호를 발생하는 노출 제어부를 포함하는 것을 특징으로 하는 영상촬상장치.
제6항에 있어서, 상기 디지털 신호 처리부는,

상기 노출 제어부에 의해 제어되어 상기 디지털 영상 데이터의 디지털 이득을 조절하는 이득 제어부; 및

상기 디지털 영상 데이터의 휘도 신호를 검출하여 이를 상기 노출 제어부에 제공하는 휘도 검출부를 포함하는 것을 특징으로 하는 영상촬상장치.
제7항에 있어서, 상기 노출 제어부는,

상기 휘도 검출부로부터 제공받은 휘도 신호와 원하는 영상의 목표 휘도에 근거하여 현재 휘도비를 얻고, 상기 전자 셔터에 의해 제어되는 전하의 축적 시간 과 촬상된 영상 신호의 아날로그 이득, 디지털 이득을 이용하여 산출되는 가상축적시간과 현재 휘도비를 이용하여 목표 가상축적시간을 산출하며, 상기 목표 가상축적시간으로부터 상기 제어신호를 발생하는 것을 특징으로 하는 영상촬상장치.
입사되는 빛의 광량을 조절하여 촬상된 영상 신호를 출력하는 단계;

상기 영상 신호를 디지털 영상 데이터로 변환하고, 상기 디지털 영상 데이터의 휘도 신호를 추출하는 단계;

상기 디지털 신호 처리부로부터 제공받은 휘도 신호를 근거로상기 전자 셔터와 상기 촬상된 영상 신호의 아날로그 이득 및 디지털 이득을 제어하는 제어신호를 발생하는 단계; 및

상기 제어신호에 근거하여 입사되는 빛의 광량을 조절하고, 상기 영상 신호의 아날로그 이득 및 상기 디지털 영상 데이터의 디지털 이득을 조절하는 단계를 포함하는 것을 특징으로 하는 자동노출제어방법.
제9항에 있어서, 상기 제어신호를 발생하는 단계는,

상기 촬상된 영상의 현재 휘도 값에 대한 목표 휘도 값의 비율을 구하는 단계;

입사되는 빛의 광량에 따른 전하의 축적 시간과 상기 영상 신호의 아날로그 이득, 상기 디지털 영상 데이터의 디지털 이득을 이용하여 현재 가상축적시간을 구하는 단계;

상기 목표 휘도 값의 비율 및 현재 가상축적시간을 이용하여 목표 가상축적시간을 구하는 단계;

상기 목표 가상축적시간과 최적으로 근사하도록 하는 차회 가상축적시간을 구하는 단계; 및

상기 차회 가상축적시간으로부터 상기 제어신호를 발생하는 단계를 포함하는 것을 특징으로 하는 자동노출제어방법.