KR20070044257A - 이미지센서의 자동 노출 제어 방법 - Google Patents

Abstract

본 발명은 이미지 센서에서 노출시간과 이득을 조절하여 영상의 밝기의 평균값이 목표 밝기에 도달하도록 하는 자동 노출 제어 방법에 관한 것으로, (a)전체 이미지를 여러 개의 구역으로 나누고, 상기 나누어진 구역마다 가중치를 주어 현재 평균 밝기를 계산하는 단계; (b)상기 현재 평균 밝기와 목표 밝기가 충분히 가까운지 비교 점검하는 단계; (c)노출제어 속도 값에 의해 가중치가 적용된 목표 밝기를 계산하는 단계; (d)상기 가중치 적용된 목표 밝기 값을 이용하여 다음 프레임에 적용할 노출량을 계산하는 단계; (e)상기 노출량으로부터 다음 이미지에 적용할 축적시간과 이득 값을 계산하는 단계; 및 (f)상기 다음 프레임에 적용할 이득 값을 이용하여 실제 이득 회로에 적용하기 위해 변형된 이득을 구하는 단계;를 포함하는 것을 특징으로 한다.

이미지 센서, 노출 제어

Description

이미지센서의 자동 노출 제어 방법{Method of auto exposure control of image sensor}

도 1은 이미지 센서와 자동 노출 조절기와의 관계를 나타내는 도면.

도 2는 본 발명에 의한 자동 노출 제어 알고리듬을 나타내는 도면.

도 3은 전체 이미지를 2개의 구역으로 나눈 것을 나타내는 도면.

도 4a는 평균 밝기는 노출량에 선형적으로 비례하는 것을 나타내는 도면.

도 4b는 상기 도 4a의 기본 가정 하에서 최종 노출량을 나타내는 도면.

도 5는 노출량과 축적 시간 및 이득과의 관계를 나타내는 도면.

도 6은 이득 변환의 일실시예를 나타내는 도면.

도 7과 도 8은 프레임 높이의 변경을 통해 프레임 속도의 변경을 나타내는 도면.

본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 이미지 센서의 노출을 제어하는 방법에 관한 것이다.

본 발명에서 이야기하는 노출(exposure)이라는 말에는 전하 축적 시간 (charge Integration time)과 이득(gain)의 개념이 함께 포함되어 있다. 전하 축적 시간이란 한 픽셀(pixel)이 리셋(reset)되고 나서 다시 빛을 받기 시작하면서부터 축적된 전하량을 읽어낼 때까지 걸린 시간이다. 이득이란, 축적 시간에 비례하여 발생한 전하를 모종의 아날로그/디지털(analog/digital)적인 방식에 의하여 증폭하는 정도를 나타낸다. 조명이 충분할 경우 노출조절은 대체로 이득은 1로 두고, 전하 축적 시간만으로 조절한다. 그러나 조명이 불충분한 환경에서는 노출 시간을 최대로 하여도 충분히 밝은 영상을 얻을 수 없기 때문에, 추가로 1보다 큰 이득을 적용하여 적절히 밝은 영상을 얻는다.

도 1은 이미지 센서와 자동 노출 조절기의 관계를 나타내는 것이다.

도 1에 의하면 자동 노출 조절기는 이미지 센서로부터 영상 데이터를 받아서 처리한 후 적절하다고 판단한 축적시간과 이득을 센서로 보낸다.

본 발명은 영상의 밝기의 평균값이 목표 값에 도달하게 하는 방식의 노출제어 알고리듬에 관한 것으로서, 노출량이라는 하나의 변수만으로 형광등 플리커와 프레임 높이 변경 등의 복잡한 노출제어 기능을 모두 간단하고 일관성 있게 처리하는 방법을 제시한다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 이미지 센서에서의 자동 노출 제어 방법은 (a)전체 이미지를 여러 개의 구역으로 나누고, 상기 나누어진 구역 에 가중치를 주어 현재 평균 밝기를 계산하는 단계; (b)상기 현재 평균 밝기와 목표 밝기를 비교 점검하는 단계; (c)노출제어 속도 값에 의해 가중치가 적용된 목표 밝기를 계산하는 단계; (d)상기 가중치 적용된 목표밝기를 이용하여 다음 프레임에 적용할 노출량을 계산하는 단계; (e)다음 이미지에 적용할 축적시간과 이득 값을 계산하는 단계; 및 (f)상기 다음 프레임에 적용할 이득 값을 이용하여 실제 이득 회로에 적용하기 위해 변형된 이득을 구하는 단계; 를 포함하는 것을 특징으로 한다.

이하에서는 본 발명의 구체적인 실시 예를 도면을 참조하여 상세히 설명하도록 한다.

도 2는 본 발명에 의한 자동 노출 제어 알고리듬을 도시한 것으로서, 평균 밝기 계산 단계(S10), 자동 노출 오차 점검 단계(S20), 노출 제어 속도 값에 의해 가중치가 적용된 목표 밝기 계산 단계(S30), 다음 프레임에 적용할 노출량 계산 단계(S40), 다음 이미지에 적용할 축적시간 및 이득 값 계산 단계(S50) 및 이득 변환 단계(S60)로 구성된다.

상기 도 2의 구성요소에 의거하여 본 발명에 의한 자동 노출 제어 방법을 상세히 설명하기로 한다.

평균 밝기 계산단계(S10)에서는 우선 노출제어를 위해 전체 이미지를 여러 개의 구역으로 나눈다.

도 3의 예는 전체 이미지를 2개의 구역으로 나눈 것을 도시한 것이다.

중앙(center) 영역(12)과 주변(periphery) 영역(14)의 밝기 평균값(평균 밝 기)을 총 밝기에서 면적을 나눈 값으로 각각 구한다. 그 후 상기 중앙 영역(12)에 가중치(weight)를 주어 밝기 평균값을 얻을 수 있다.

여기서, Y_mean_c와 Y_mean_p는 각각 중앙 영역(12)에서의 평균 밝기와 주변 영역(14)에서의 평균 밝기를 의미하고, Y_mean은 중앙 영역(12)과 주변 영역(14)의 평균에 가중치를 주어 평균한 값을 의미하고, #center와 #periphery는 각각 중앙 영역(12)과 주변 영역(14)의 면적(픽셀 수)을 의미한다.

중앙 영역(12)에 가중치를 크게 주면 노출을 계산하는 데 있어서 중앙 영역(12)을 더 많이 참고하게 된다. 즉, 중앙 영역(12)이 어두우면 주위가 밝더라도 중앙 영역(12)을 좀더 밝히기 위해 노출을 조절한다. 반대로 중앙 영역(12)이 밝으면 주위가 어둡더라도 중앙 영역(12)의 밝기를 좀 더 낮출 수 있게 노출을 제어한다.

본 발명에서는 중앙과 주변의 두 구역으로만 구분된 경우에 대해서 고려하는데, 더 많은 영역으로 나뉜 경우에도 쉽게 적용 가능하다.

자동 노출 오차 점검 단계(S20)에서는 현재의 평균 밝기와 목표 밝기간의 차의 절대 값을 목표 밝기로 나눈 값이 허용 오차 보다 작으면 자동 노출 제어(Auto Exposure Control)를 하지 않는다. 이는 수학식 2와 같이 나타낼 수 있다.

여기서, Y_mean은 앞에서 계산한 현재 평균밝기, Y_target = 목표 밝기, 그리고 Lock_threshold 는 허용 오차를 의미한다.

현재의 평균 밝기가 목표로 하는 밝기와 충분히 비슷하면 자동 노출 제어를 하지 않는다.

자동 노출 오차 점검 단계(S20)에서 현재의 평균 밝기와 목표로 하는 밝기가 차이가 난다면, 자동 노출 제어 알고리듬에서 노출 제어 속도 값에 의해 가중치가 적용된 목표 밝기 계산 단계로 진입한다.

노출 제어 속도 값에 의해 가중치가 적용된 목표 밝기 계산 단계(S30)에서는 얼마나 빨리 목표에 도달할 것인가를 의미하는 노출제어 속도로 가중치를 주어 목표 밝기를 계산한다.

도 4a는 평균 밝기는 노출에 선형적으로 비례한다는 기본 가정을 나타낸 것으로, 노출량을 높이면 평균 밝기는 높아지고, 노출량을 낮추면 평균 밝기는 낮아지게 된다.

도 4b는 상기 도 4a의 기본 가정 하에서 최종 노출 목표 값을 나타낸 것이다.

도 4b에 의하면 현재의 노출량(1)과 현재의 평균 밝기(2), 그리고 목표 밝기(3)를 알고 있다면, 목표밝기(3)에 도달하기 위해 적용해야 할 노출량(4)도 알 수 있다. 즉, 최종 노출량은 목표 밝기와 현재 밝기의 비율에 현재 노출량을 곱한 값으로 정해진다.

여기서 N_exposure 는 목표 밝기에 단번에 도달하기 위해 적용해야 할 노출량이고, exposure 는 현재 영상에 적용된 노출량이다. 그런데 노출 제어가 너무 급작스럽게 이루어지면 보기에 좋지 않고, 심지어 발진할 가능성도 있기 때문에 노출 제어의 속도를 적당히 조절하는 것이 좋다. 이때 사용되는 변수가 노출 제어 속도(speed) 값이다. 즉, 노출제어 속도 값에 의해 가중치가 적용되는 목표 밝기는 다음과 같이 정해진다.

여기서 Y_target_w는 노출 제어 속도 값에 의해 가중치가 적용된 목표 밝기, speed는 노출 제어 속도 값. Y_target은 앞선 목표 밝기, 그리고 Y_mean은 현재 평균 밝기를 의미한다.

예를 들어, 노출제어 속도 값이 0.5이면 현재 평균 밝기와 목표 밝기의 중간 값을 새로운 목표 밝기로 할 수 있다. 노출 제어 속도 값을 0과 1사이에서 조절하여 노출제어의 속도를 변화시킬 수 있다.

새로운 목표 밝기가 정해지면, 다음 프레임에 적용할 노출량 계산 단계에서 다음 노출량(next exposure)을 계산한다. 다음 노출량은 앞선 두 식을 적용하여 수학식 5와 같이 계산될 수 있다.

여기서 N_exposure는 다음 영상에 적용될 노출량을 의미하고, exposure는 현재 영상에서 적용된 노출량을 의미한다. 또한 Y_target_w는 속도가 고려된 목표밝기를 의미한다.

다음 영상에 적용될 노출량이 얻어지면, 다음 축적 시간과 다음 이득을 계산하는 단계에 진입한다.

다음 축적 시간과 다음 이득은 수학식 6과 같이 계산될 수 있다.

여기서 N_Time 은 다음 이미지에 적용할 전하축적시간을 의미한다. 최대로 축적할 수 있는 시간은 한 프레임 동안이다. 축적 시간을 더 늘리고 싶으면 이미지 프레임의 크기를 키워서 한 프레임에 걸리는 시간을 연장해야 하는데, 사용자가 지정한 최대 축적시간을 Max_Time 이라고 한다. 자동 노출 제어기는 최대 축적 시간 의 범위 안에서 축적 시간을 조절해야 한다. f_period는 형광등 플리커(flicker) 명암의 주기를 의미하는데, 플리커가 없는 영상을 얻기 위해서는 축적시간이 플리커 명암 주기의 정수배가 되도록 조절해야 한다. M은, N_Time 이 max_Time보다 작거나 같고, N_Time 이 N_exposure보다 작거나 같은 조건을 모두 만족하게 하는 정수 중에 최대 값이다. N_exposure는 앞서 계산한, 다음 프레임에 적용할 노출량이며, N_gain은 다음 프레임에서 적용할 이득 값을 의미한다.

노출(N_exposure)량은 축적시간(N_time)과 이득(N_gain)까지 포함하는 개념이므로, 노출량이 최대 축적 시간보다 커지면 노출량에서 최대 축적 시간을 뺀 나머지 값으로부터 이득을 만들어 낸다. 축적시간을 최대로 한 것보다 더 많은 노출을 하고 싶다면 이득을 키우는 수밖에 없기 때문이다.

축적 시간을 조절할 때는 빛의 깜빡임(flicker)을 고려해야 한다. AC 조명(형광등)이 존재하는 환경에서 축적시간을 임의로 정할 경우, 어둡고 밝음이 반복되는 가로 띠가 생길 수 있으므로 조명의 명암주기의 정수 배로만 노출시간을 정하여야 하는 것은 이미 알려진 사실이다.

축적시간을 플리커(flicker) 주기의 정수 배로 정해야 플리커가 없는 영상을 얻을 수 있기 때문에, 축적시간은 최대 노출 시간보다 작아야 하고, 동시에 노출량보다 작아야 하는데, 플리커 주기의 정수 배이어야 한다. 플리커가 없는 조명에서는 플리커 주기를 1로 설정하면 된다. 그러면 축적시간은 1, 2, 3, 4, …과 같이 노출량에 비례하는 연속적인 값이 된다.

축적시간을 플리커 주기의 정수 배로 하게 되면 (N)주기 노출한 이미지와 (N+1)주기 또는 (N-1)주기 노출한 이미지의 밝기 차이가 크기 때문에 노출제어 도중에 깜박 깜박하는 현상이 발생한다. 또 적절한 밝기를 얻기 못하는 경우도 있다. 이를 피하기 위해서는 축적시간과 함께 이득도 변경해 주어야 부드러운 영상을 얻을 수 있다.

도 5는 다음 영상에 적용될 노출량과 축적 시간 및 이득과의 관계를 나타내는 그래프로서 다음 영상에 적용될 노출량과 축적 시간을 통해서 다음 프레임에서 적용할 이득 값을 계산할 수 있다.

도 5에 의거하여 다음 프레임에서 적용할 이득 값을 다음 영상에 적용할 축적 시간의 구간별로 상세히 설명하기로 한다.

1구간은 노출량이 0에서 서서히 증가하는 구간인데, 노출량은 1 플리커 주기보다 작다. 이때는 노출량이 바로 축적시간이 된다. 즉 환경이 너무 밝을 때 플리커를 없애기 위해 노출 시간을 1 플리커 주기로 주게 되면 지나치게 과포화된 밝은 영상이 나오기 때문에 '노출시간은 f_period 의 정수 배이다'라는 대전제를 포기하고, 플리커가 발생하지만 영상의 밝기를 적당하게 조절하는 방향으로 제어한다. 이때 이득은 1배로 고정된다.

2구간에서는 노출량은 1 플리커 주기(1*f_period)보다 크거나 같고, 2 플리커 주기(2*f_period)보다는 작은 값이며, 축적시간은 1 플리커 주기(1*f_period)에 고정된다. 이때, 이득(gain)은 축적 시간에 대한 노출량의 비가 되는데 이 경우 축적 시간은 1 플리커 주기(1*f_period)이므로 다음과 같이 계산될 수 있다.

따라서 이득(gain)은 1보다 크거나 같고 2보다는 작은 값이 된다.

3구간에서는 노출량은 2 플리커 주기(2*f_period)보다는 크거나 같고 3 플리커 주기(3*f_period)보다는 작은 값이며 축적 시간은 2 플리커 주기(2*f_period)에 고정된다. 이 경우 이득은 앞에서 계산하는 것처럼 계산될 수 있고, 이득(gain)은 1보다 크거나 같고 1.5보다 작은 값이 된다. 즉, 수학식 8과 같다.

이러한 방법으로 4구간에서 6구간까지도 마찬가지 방식으로 축적 시간과 이득을 정할 수 있다.

7구간에서는 6구간의 연속으로 노출량은 5 플리커 주기(5*f_period)보다 크거나 같은 값이 되고, 축적 시간은 5 플리커 주기(5*f_period)가 된다. 이 경우 이득은 수학식 9와 같이 계산될 수 있다.

앞서와 같은 방법으로 다음 이득을 계산한 후에는 이득을 변환하는 단계에 진입하게 된다.

도 6은 이득 변환의 일실시예를 나타내는 것으로서, 선형의 이득이 비선형의 이득으로 변환되는 것을 보여준다.

앞에서 얻은 다음 프레임에서 적용할 이득 값(N_gain)은 선형적인 값이다. 즉 이득 값이 2.5이면 이득이 2.5배라는 의미가 된다. 그런데, 반도체 회로로 이득을 구현할 때는 지수(exponential) 형태 또는 다른 형태의 이득 곡선(gain curve)으로 구현하는 경우가 많다. 따라서 실제 이득 회로에 적용하기 위해서는 앞선 단계에서 얻은 선형의 이득 값을 최종 이득 값(C_gain)으로 변환하는 과정이 필요하다.

앞에서 정의된 노출 변수들 (exposure 와 time) 은 픽셀 클락 주기를 기본 단위로 한다. 즉, exposure=100 이라는 말은 100 픽셀을 읽어내는 시간동안 노출을 한다는 의미와 같다. 따라서 영상 프레임의 크기가 (frame_width, frame_height) 로 주어진 경우, 최대 축적시간은 (frame_width x frame_height) 가 된다.

비디오(Video)의 프레임 속도를 결정하는 요인은 프레임 폭(frame width), 프레임 높이(frame height), 클락 속도(clock speed)가 있다. 그러므로 프레임 속도를 변경하는 방법에는 앞선 프레임 폭, 프레임 높이, 클락 속도를 변경시키는 방 법이 있을 수 있다.

도 7과 도 8은 프레임 높이의 변경을 통한 프레임 속도의 변경을 나타낸다.

높이 가변이 가능한 전체 프레임은 실제로 이미지가 보이는 부분인 액티브 윈도우(Active window)와 눈에 보이지 않는 부분인 타이밍 프레임(Timing frame)으로 구분할 수 있다.

설정된 기본 프레임의 넓이보다 작거나 같은 크기의 노출량은, 프레임의 크기(면적)를 변경시키지 않고도 기본 프레임 내에서 조절할 수 있다. 그런데, 최대 축적시간을 프레임 면적(frame width x frame height) 값보다 크게 설정한 경우, 만약 노출량이 프레임 넓이보다 커지면 축적시간을 기본 프레임의 면적보다 더 길게 가져가야 하는데, 기본 프레임 동안만 노출을 해서는 노출량이 지시하는 축적시간을 유지하지 못한다. 따라서 이런 경우에는 프레임 높이를 더 크게 조절하여 한 프레임을 읽는 데 걸리는 시간을 늘려야 한다.

노출량이 계속 커져서 지정된 최대 축적 시간보다 커지는 경우에는 프레임의 면적은 최대 축적 시간을 수용할 수 있는 한도에서 고정되고, 나머지 노출량은 이득 값을 형성하는 데 사용된다. 이득 값은 수학식 10과 같다.

도 8에 의하면 a 구간에서는 노출량이 프레임 면적보다 작은 구간으로 프레임 속도가 최대치 (프레임 높이가 최소치)에 고정되어 변하지 않는 구간이며, b구 간에서는 노출량이 프레임 면적보다 크거나 같고, 최대 축적 시간보다는 작은 값이다. b 구간에서는 노출량에 따라 프레임 높이 값이 변화하여 프레임 속도가 변한다.

c 구역에서는 노출량이 최대 축적 시간보다 크거나 같은 구간으로 프레임 속도는 최저치 (프레임 높이는 최대치)에 고정되어 변하지 않는 구간이며 노출량이 계속 커지면 이득만 증가한다.

프레임 높이 변경과 마찬가지 방법으로 프레임 폭을 변경시켜 프레임 속도를 변경할 수도 있다.

이상에서 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

본 발명에 따른 자동 노출 제어 방법은 적절한 노출시간과 이득의 조합을 이용하여 이미지 센서가 적당한 밝기를 가지는 효과가 있으며, 이를 통해 이미지 센서 영상의 향상을 가져오는 효과가 있다.

또한 본 발명은 "노출량" 이라는 단일 변수만을 제어하여 형광등 플리커 제거와 프레임 속도변경 등의 복잡한 알고리듬을 모두 쉽게 구현하게 한다.

Claims (8)

1. 이미지 센서의 노출제어 방법에 있어서,

   (a)전체 이미지를 여러 개의 구역으로 나누고, 상기 나누어진 구역에 각각 가중치를 주어 현재 평균 밝기를 계산하는 단계;

   (b)상기 현재 평균 밝기와 목표 밝기를 비교 점검하는 단계;

   (c)노출제어 속도 값에 의해 가중치가 적용된 목표 밝기를 계산하는 단계;

   (d)상기 목표 밝기 값을 이용하여 다음 프레임에 적용할 노출량을 계산하는 단계;

   (e)상기 노출량에 의해 다음 프레임에 적용할 축적시간과 이득 값을 계산하는 단계; 및

   (f)상기 다음 프레임에 적용할 이득 값을 이용하여 실제 이득 회로에 적용하기 위해 변형된 이득을 구하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
2. 제1항에 있어서, 상기 (a)단계는

   상기 중앙(center) 영역과 주변(periphery) 영역의 밝기 평균값(평균 밝기)을 총 밝기에서 면적을 나눈 값으로 각각 구하고 나서, 상기 중앙 영역에 가중치(weight)를 주어 밝기 평균값을 얻는 것을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
3. 제1항에 있어서, 상기 (b)단계는

   상기 평균 밝기와 목표밝기의 차에 대한 비율이 허용 오차율 보다 작으면 노출제어를 수행하지 않는 것을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
4. 제1항에 있어서, 상기 (c)단계는

   

   (여기서, Y_target_w는 노출 제어 속도 값에 의해 가중치가 적용된 목표 밝기, speed는 노출 제어 속도 값, Y_target은 앞선 목표 밝기, 그리고 Y_mean은 현재 평균 밝기를 의미)

   에 의해서 계산됨을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
5. 제1항에 있어서, 상기 (d)단계는

   

   (여기서, exposure 는 현재 영상을 위해 적용된 노출량, N_exposure 는 다음 영상에 적용되어야 할 노출량, Y_mean 은 현재 영상의 밝기를 대표하는 값, Y_target 은 목표로 하는 밝기를 대표하는 값을 의미한다.)

   에 의해서 계산됨을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
6. 제5항에 있어서, 상기 (d)단계에서 노출제어의 속도를 조절하기 위하여

   

   

   (여기서 speed 는 노출제어의 속도를 지정하는 변수로서 0에서 1사이의 값을 가진다.)

   에 의해서 계산됨을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
7. 제1항에 있어서, 상기 (e)단계는

   

   

   (여기서, N_Time은 다음 이미지에 적용할 축적시간을 의미하며, M은 가능한 최대 정수 값을 의미하며, f_period는 플리커(flicker) 명암의 주기를 의미하며, N_gain은 다음 프레임에서 적용할 이득 값을 의미하며, N_exposure는 앞서 계산한, 다음 프레임에 적용할 노출량을 의미한다.)

   에 의해서 계산됨을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.
8. 제7항에 있어서,

   상기 계산된 N_time이 한 프레임 시간보다 큰 경우, 프레임의 높이를 키워서 프레임 지속시간을 연장함으로써 노출시간을 확보하는 것을 특징으로 하는 이미지 센서에서의 자동 노출 제어 방법.

Images