KR20110125170A - 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법 - Google Patents

Abstract

본 발명은 이미지 촬영 장치의 밝기를 자동으로 조절하기 위한 장치 및 방법에 관한 것으로, 이를 위한 본 발명은 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법에 있어서, 상기 이미지에 대한 히스토그램을 계산하는 과정과, 상기 히스토그램을 이용하여 상기 히스토그램에 대한 밝기 평균을 구하는 과정과, 제1범위 이내의 히스토그램 분포 개수 및 제2범위 이내의 히스토그램 분포 개수가 미리 정해진 범위 이내에 각각 포함되는지를 판단하는 과정과, 상기 판단 결과 상기 미리 정해진 범위 이내에 각각 포함되는 경우 상기 밝기 평균이 기준 밝기가 되도록 조정하는 과정을 포함함을 특징으로 한다.

Description

이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법{APPARATUS AND METHOD FOR AUTO ADJUSTING BRIGHTNESS OF IMAGE TAKING DEVICE}

본 발명은 이미지 촬영 장치의 밝기를 조절하는 장치 및 방법에 관한 것으로, 특히 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법에 관한 것이다.

최근 들어 영상기기의 급속한 발전으로 이미지 센서가 장착된 카메라, 캠코더 등의 이미지 촬영 장치에 대한 개발이 가속화되고 있다. 이러한 이미지 촬영 장치는 이미지를 촬영하여 기록 매체에 기록함과 동시에, 언제든지 재생시킬 수 있어 사용자가 급속하게 증가하고 있다. 이에 따라 성능 및 기능에 대한 사용자의 요구도 점차 높아지고 있으며, 소형, 경량화, 저전력화와 더불어 고성능화 및 다기능화가 추구되고 있다.

이러한 이미지 촬영 장치에는 이미지의 색의 균형을 조정하여 주는 자동 화이트 밸런스(Auto White Balace: AWB) 기능과 자동으로 초점을 맞춰주는 자동 초점 조절 기능 등의 자동화 기능들이 기본적으로 채택되어 있다. 이러한 자동화 기능들과 더불어 고려되는 것이 이미지 촬영 장치의 밝기 제어이다. 이미지 촬영 장치의 원하는 밝기를 만들기 위해서 이미지 센서에는 노출 시간 및 아날로그 이득이 조정되어 제공된다. 이와 같이 밝기 제어 방식으로는 조리개 개폐량, 셔터 제어량 및 자동 이득 제어량을 조정해보고 궤환된 밝기 데이터를 관측한 후, 원하는 밝기 데이터가 출력될 때까지 제어하는 방식이 일반적이다.

상기한 바와 같이 종래에는 밝기 제어를 위해 밝기 데이터 즉, Y 데이터만을 이용하기 때문에 특정 환경에서 이미지의 포화 및 촬상/촬영 시 이미지가 어둡게 찍히는 현상이 발생하게 된다. 예를 들어, CMOS(Complimentary Metal Oxide Semiconductor) 이미지 센서를 사용하는 디지털 카메라의 경우 광량이 큰 형광등 등의 피사체를 촬영할 때 영상 신호의 포화로 인해 고스트 이미지가 발생한다. 그러므로, 밝기 데이터를 이용할 경우에 발생하는 포화 및 어둡게 찍히는 현상을 방지하면서도 이미지 센서의 특성에 관계없이 자동으로 밝기를 조절할 수 있는 방법이 요구된다. 또한 만일 R, G, B 데이터를 복합적으로 이용하여 밝기를 조절할 수 있다면 색의 균형을 조정하는 효과를 얻을 수 있어 자동 화이트 밸런스 기능의 성능 향상도 기대할 수 있을 것이다.

따라서 본 발명은 이미지 촬영 장치의 밝기를 자동으로 조절하기 위한 장치 및 방법을 제공한다.

또한 본 발명은 이미지 센서의 특성에 관계없이 포화 및 어둡게 찍히는 현상을 방지하기 위한 장치 및 방법을 제공한다.

또한 본 발명은 이미지 촬영 장치의 밝기를 미리 지정된 범위 내에서 자동으로 유지하도록 함으로써 화질을 개선하기 위한 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법에 있어서, 상기 이미지에 대한 히스토그램을 계산하는 과정과, 상기 히스토그램을 이용하여 상기 히스토그램에 대한 밝기 평균을 구하는 과정과, 제1범위 이내의 히스토그램 분포 개수 및 제2범위 이내의 히스토그램 분포 개수가 미리 정해진 범위 이내에 각각 포함되는지를 판단하는 과정과, 상기 판단 결과 상기 미리 정해진 범위 이내에 각각 포함되는 경우 상기 밝기 평균이 기준 밝기가 되도록 조정하는 과정을 포함함을 특징으로 한다.

또한 본 발명은, 밝기를 자동으로 조절하기 위한 이미지 촬영 장치에 있어서, 이미지를 입력받는 이미지 센서와, 상기 이미지 센서로부터의 상기 이미지에 대한 히스토그램을 계산하고, 상기 히스토그램을 이용하여 상기 히스토그램에 대한 밝기 평균을 구한 후, 제1범위 이내의 히스토그램 분포 개수 및 제2범위 이내의 히스토그램 분포 개수가 미리 정해진 범위 이내에 각각 포함되는지를 판단하는 히스토그램 계산부와, 상기 히스토그램 계산부에 의한 판단 결과 상기 미리 정해진 범위 이내에 각각 포함되는 경우 상기 밝기 평균이 기준 밝기가 되도록 조정하는 자동 밝기 조절부를 포함함을 특징으로 한다.

본 발명에 따르면, 밝기 데이터를 이용할 경우에 발생하는 포화 및 어둡게 찍히는 현상을 방지할 수 있는 이점이 있다. 또한 본 발명은 정지 영상 및 동영상의 화질을 개선할 수 있을 뿐만 아니라 자동 화이트 밸런스의 성능을 개선할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 이미지 촬영 장치의 내부 블록 구성도,
도 2는 본 발명의 실시예에 따른 렌즈 쉐이딩 보정 방법을 설명하기 위한 예시도,
도 3은 본 발명의 실시예에 따라 이미지를 M × N 개의 윈도우로 나눈 예시도,
도 4는 상기 도 3의 각 윈도우를 이용하여 밝기 평균을 구하는 방법을 설명하기 위한 도면,
도 5는 상기 도 3의 각 윈도우를 이용하여 가중화된 히스토그램을 구하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 실시예에 따른 Y 히스토그램 예시도,
도 7은 본 발명의 실시예에 따른 Max(A*Rij, B*Gij, C*Bij) 히스토그램 예시도,
도 8은 본 발명의 실시예에 따른 윈도우의 다른 형태를 도시한 도면,
도 9는 본 발명의 실시예에 따른 감마 보정 방법을 설명하기 위한 도면,
도 10 및 도 11은 본 발명에서 이용되는 색상과 채도 간의 관계 그래프,
도 12는 본 발명의 실시예에 따라 노출 제어량(Ev) 또는 그레이 픽셀에 따른 기준 밝기(Y target)의 변경 예를 도시한 도면,
도 13a 및 도 13b는 본 발명의 실시예에 따른 자동 밝기 조정을 위한 동작 흐름도,
도 14는 본 발명의 실시예에 따른 히스토그램 분포 개수를 나타낸 도면,
도 15a 및 도 15b는 본 발명의 다른 실시예에 따른 자동 밝기 조정을 위한 동작 흐름도,
도 16은 본 발명의 다른 실시예에 따라 밝기 레벨을 구하는데 이용되는 히스토그램 분포 예시도,
도 17은 본 발명의 실시예에 따른 역광 환경을 판별하는 방법을 설명하기 위한 히스토그램의 분포 예시도,
도 18a 및 도 18b는 본 발명의 또 다른 실시예에 따른 자동 밝기 조정을 위한 동작 흐름도,
도 19 및 도 20은 상기 도 1의 이미지 촬영 장치의 내부 블록 구성의 다른 예시도.

이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 이미지 촬영 장치의 내부블록 구성도이다. 이러한 이미지 촬영 장치에는 카메라, 캠코드, 웹카메라, 감시카메라, 의료용 카메라, 고속 카메라, 3D 카메라와 같은 멀티 카메라 등이 있다.

도 1을 참조하면, 이미지 센서(100)는 렌즈를 통해 피사체를 촬영하여 프레임 단위로 그에 따른 영상 신호를 출력한다. 이러한 이미지 센서(100)의 종류는 CMOS(Complimentary Metal Oxide Semiconductor) 센서, CCD(Charge Coupled Device) 센서, 포비언(Foveon) 센서, 보색(Complementary) 이미지 센서 등이 있다.

블랙 레벨 보정부(black level correction)(105)는 이미지가 가지는 블랙 레벨을 보정하는 역할을 한다. 디지털 이득 조정부(110)는 자동 밝기 조절부(125)의 제어하에 자동 화이트 밸런스 조정을 위해 디지털 이득을 조정한다. 이러한 블랙 레벨 보정(105) 및 디지털 이득 조정부(110)는 입력된 이미지에 대한 사전 처리를 수행하는 구성부로써 동작한다.

렌즈 쉐이딩 보정부(115)는 이미지 센서(100)의 특성에 의해 이미지의 중심부보다 이미지의 주변부가 어두운 특징을 가지는 경우 미리 정해진 쉐이딩 보정 곡선에 따라 보정을 수행하는 역할을 한다. 이러한 렌즈 쉐이딩 보정부(115)는 단색 정도에 따라 밝기 보정을 위한 쉐이딩 보정 곡선의 기울기를 선택한다. 이를 도 2를 참조하여 설명하면, 렌즈 쉐이딩 보정 곡선의 기울기를 크거나 작게 함으로써 원본 밝기 대신에 보정 밝기를 가지도록 할 수 있게 된다. 이미지 전체의 밝기를 적절히 보상하기 위해 쉐이딩 보정 곡선은 이미지의 주변부로 향할수록 보상값이 커지는 아래로 볼록한 형태의 곡선(200)이 된다. 이와 달리 이미지의 중심부와 주변부가 밝기 차이가 크게 차이 없으면 보상값이 작아지는 형태의 곡선(210)이 사용된다.

히스토그램 계산부(120)는 프레임 단위로 입력되는 이미지를 복수개의 윈도우로 나눈 후 각 윈도우별 밝기 데이터 및 각 윈도우별 가중치를 이용하여 그 이미지에 대한 밝기 평균 및 그 이미지의 가중된 히스토그램 및 히스토그램 빈도수를 계산한다. 이때, 히스토그램을 위해 이미지 전체가 이용될 수 있으며, 다르게는 서브샘플링과 같은 리사이즈 방식을 통해 일부가 이용될 수도 있다.

예를 들어, 도 3에서와 같이 하나의 이미지(300)를 M × N 개의 윈도우로 나눈 후, 도 4(a)에서와 같은 윈도우별 가중치(W_ij) 즉, 각 윈도우의 노출시간(AE:Auto Exposure) 가중치 및 도 4(b)에서와 같은 윈도우별 밝기 데이터(Y_ij)를 이용하여, 이미지의 밝기 평균(Y_A)을 구할 수 있다. 이를 수학식으로 나타내면 하기 수학식 1과 같다.

상기 수학식 1에서 i는 행(row)을 의미하며, j는 열(column)을 의미한다.

히스토그램 계산부(120)는 상기 수학식 1을 통해 밝기 평균(Y_A)을 구하게 되면, 이를 자동 밝기 조절부(125)로 제공한다.

이러한 경우의 히스토그램은 도 6(a)와 같이 나타나게 된다. 도 6(a)에서 8bit 이미지의 경우, 가로축은 밝기정보 Y, red pixel 밝기 R, green pixel 밝기 G, Blue pixel 밝기 B를 사용할 수 있으며, R, G, B의 통계적인 량 Max(R ,G, B)등을 0부터 255까지의 레벨(level) y로 나타내며, 세로축은 y에 대응하는 도수를 나타낸다. 상기 도 6(a)에서의 함수 f(y)(600)는 윈도우 전체의 가중된 히스토그램(weighted histogram)으로써 하기 수학식 2를 통해 구할 수 있다.

상기 수학식 2에서 L_ij은 도 5(a)에서와 같은 윈도우별 히스토그램 가중치이며, H_ij는 도 5(b)에서와 같은 윈도우별 히스토그램 도수(bin)이다. 상기 수학식 2에서와 같이 f(y)는 각 윈도우에 가중치를 적용한 히스토그램 빈의 합을 나타낸다. 그리고 이미지의 H_ij는 레벨 y에 따라 구하지만, 필요에 따라서 Red, Green, Blue 히스토그램은 상수 α,β,γ를 적응적으로 적용하여 y를 K*y로 변형하여 H_ij를 구한다. 여기서 K는 α,β,γ이다.

히스토그램 계산부(120)는 도 3에서와 같이 이미지에서 복수개의 윈도우를 설정하고, 윈도우별 히스토그램 가중치를 도 5(a)에서와 같이 설정하고, 히스토그램 도수는 도 5(b)에서와 같이 정의된 윈도우를 이용하여 획득한다. 이때, 이미지 센서(100)가 RGB 베이어 센서의 경우, 도 6(a)와 같은 밝기 데이터 Y에 대한 히스토그램 이외에도 Red에 대한 히스토그램, Green에 대한 히스토그램, Blue에 대한 밝기 레벨에 따른 히스토그램이 활용될 수 있다. 또한 WRGB 센서의 경우에는 W, R, G, B, Y 히스토그램을 이용할 수도 있다. 또한 가중된 히스토그램 이외에 윈도우 전체의 통계적 히스토그램으로 Max(A*R_ij, B*G_ij, C*B_ij), Median(A*R_ij, B*G_ij, C*B_ij) 등의 모든 윈도우에서 레벨 RGB의 히스토그램을 이용하는 등 다양한 형식을 이용할 수 있다. 이와 같이 이미지 센서(100)의 종류에 따라 추출되는 히스토그램은 다양한 방법으로 구할 수 있다. 여기서 A, B, C는 상수로 이득을 적응적으로 적용하여 사용할 수 있다.

구체적으로, 히스토그램 계산부(120)는 도 6에서와 같은 Y 히스토그램 이외에 (A*Red + B*Green + C*Blue) 히스토그램, (A*Red + B*Green + C*Blue + D*white)의 히스토그램, (A*Cyan + B*Magenta + C*Yellow)의 히스토그램, (A*Cyan + B*Magenta + C*Yellow + D*Green)의 히스토그램, Max(A*R_ij, B*G_ij, C*B_ij)의 히스토그램, Median(A*R_ij, B*G_ij, C*B_ij)의 히스토그램 등을 이용할 수 있다. 여기서, A, B, C, D는 사용자 정의 상수이다.

상기 히스토그램들 중에서 도 7에서는 Max(A*R_ij, B*G_ij, C*B_ij) 히스토그램을 예시하고 있다. 도 7에서의 f(y) = Max(R, G, B)이며, R에 대한 히스토그램, G에 대한 히스토그램, B에 대한 히스토그램 중에서 각 레벨마다 최대값이 선택되는 히스토그램이다.

또한, 상기 도 3에서 M × N 개의 윈도우 개수 및 그 이미지에서의 시작점과 끝점은 사용자가 정의할 수 있다. 상기 도 3에서는 이미지를 복수개의 동일한 형태의 윈도우로 나누는 경우를 예로 들어 설명하였으나, 도 8에서와 같이 사용자의 필요에 따라 윈도우들(800~815)을 임의의 위치를 기준으로 원하는 개수로 정의할 수 있으며, 윈도우가 서로 중첩되도록 정의될 수도 있음은 물론이다.

자동 밝기 조절부(125)는 밝기 평균(Y_A)이 기준 밝기(Y target 즉, Y_T)와 같아지도록 노출 시간, 아날로그 이득 및 디지털 이득을 조정한다. 이러한 자동 밝기 조절부(125)는 이미지 촬영 장치의 전반적인 동작을 제어하는 제어부로써 동작한다.

이와 같이 밝기 평균(Y_A)을 기준 밝기(Y target)로써 일정하게 유지하더라도 그 이미지 내에 미리 정해진 밝은 레벨 이상에 대응하는 픽셀이 존재하지 않을 경우에는 그 이미지는 전반적으로 어둡게 출력될 수 있다. 다르게는 미리 정해진 밝은 레벨 이상에 대응하는 픽셀이 너무 많을 경우에는 이미지가 전반적으로 너무 밝게 출력될 수 있다.

예를 들어, 도 6(b)에서는 히스토그램을 기준 레벨과 비교해봤을 때 오른쪽이 비어 있는 경우를 예시하고 있는데, 이는 하이키(hi-key)가 부족한 히스토그램이어서 이미지가 전반적으로 어둡게 출력되게 된다. 이러한 경우에는 가중된 히스토그램 f(y)(610)이 615방향으로 옮겨지도록 보정한다면 이미지는 전반적으로 보다 밝게 출력될 것이다. 또한 도 6(c)에서는 기준 레벨과 비교해봤을 때 포화 레벨에 해당하는 픽셀이 많은 하이키가 많음에 따라 포화가 발생하는 히스토그램을 예시하고 있다. 이와 같이 포화 레벨에 해당하는 픽셀이 많을 경우에는 이미지 포화가 발생할 수 있다. 여기서, 포화란 전체 이미지에서 어떤 비율 이상의 픽셀이 미리 정해진 명암 단계 이상을 가질 때를 의미한다. 일반적으로 모든 계조가 풍부한 이미지는 도 6(a)에서와 같이 히스토그램이 넓게 분포되는 형태를 가지는데, 도 6(c)에서는 오른쪽에 많이 분포된 히스토그램 형태를 가지므로, 이미지 계조 표현이 부족하게 된다. 이러한 경우에는 오른쪽에 치우친 히스토그램 분포를 625 방향으로 옮겨지도록 보정한다면 이미지는 모든 계조가 풍부한 이미지로 보정될 것이다.

이때, 이미지의 히스토그램 예를 도시한 도 6에서의 가로축 레벨(y)는 밝기 데이터 Y, 레드 픽셀 밝기 R, 그린 픽셀 밝기 G, 블루 픽셀 밝기 B로 대체될 수 있다. 또한, 히스토그램 도수로는 밝기 R, 밝기 G, 밝기 B, 통계적인 량 Max(RH_ij, GH_ij, BH_ij) 등이 사용될 수 있다.

상기한 바와 같이 자동 밝기 조절부(125)에서는 밝기 평균(Y_A)을 기준 밝기(Y target)로써 일정하게 유지하더라도 도 6(b) 및 도 6(c)에서와 같은 히스토그램 분포가 발생할 수 있다. 이러한 경우를 방지하기 위해 본 발명에서는 히스토그램을 이용한 자동 밝기 조절 방법을 제안한다. 이러한 히스토그램을 이용한 자동 밝기 조절 방법은 하기에서 구체적으로 후술하기로 한다.

이미지 처리부(130)는 레드(Red), 그린(Green), 블루(Blue)로 이루어진 영상 신호에 대한 이미지 처리를 수행한다.

감마 보정부(135)는 이미지에 대한 감마 보정을 수행하는데, 일반적으로 감마(gamma)는 콘트라스트 상태를 나타내는 척도로 특성 곡선의 경사도 즉, 농도의 변화/노광량의 변화를 말한다. 본 발명에 따른 감마 보정부(135)는 히스토그램 분포에 따라 오프셋 포인트, 하이라이트 포인트를 변경할 수 있다. 예를 들어, 도 9에서의 오프셋 포인트를 변경함으로써 이미지가 뿌옇게 되는 구간을 줄일 수 있으며, 하이라이트 포인트를 변경함으로써 이미지가 너무 밝아지는 구간도 줄일 수 있게 된다. 여기서, 감마 보정 변환을 필요에 따라 사용자가 독립적으로 정의할 수 있다. 만일 글로벌톤 맵핑(global tone mapping) 또는 로컬톤 맵핑(local tone mapping) 방법을 이용한 WDR(Wide Dynamic Range) / HDR(High Dynamic Range)과 병행하여 사용한다면, 이미지 다이나믹 레인지를 더욱 개선할 수 있다.

색상 및 채도(hue & saturation) 판단부(140)는 이미지의 그레이 비율 및 단색 특성을 판단하는 역할을 한다. 이때, 이러한 판단을 위해 이미지 전체 또는 필요에 따라 서브샘플링과 같은 리사이즈 방식이 사용될 수 있다. 색상 및 채도 판단부(140)는 이미지의 그레이 비율 및 단색 특성을 판단하기 위해 도 10 및 도 11에서와 같은 색상과 채도 간의 관계 그래프를 이용한다.

또한 이미지 처리에서 얼굴 검출부(Face Detetection)(141)에서와 같은 부가 기능을 이용하여 얼굴 검출 결과를 밝기 조절에 사용할 수도 있다.

구체적으로 색상 및 채도 판단부(140)는 도 11(a)에서와 같이 색상에 따른 채도, 도 11(b)에서와 같이 색상의 도수 및 도 11(c)에서와 같이 채도 도수를 구하여 사용할 수 있다. 또한 이미지의 그레이 비율은 도 10을 이용하여 판단한다. 이미지 내의 그레이 픽셀의 도수의 개수를 이미지 전체 도수의 개수에 대한 비율 "%"로 정의할 때, 도 10을 이용한다면 그 그레이 픽셀의 비율을 알 수 있게 된다. 예를 들어, 도 10에서 중심쪽은 그레이를 나타내므로, 중심쪽에 픽셀이 많이 분포할수록 이미지는 전반적으로 검은 계열의 색을 많이 가지게 된다.

여기서, 그레이 픽셀 도수로는 YCbCr 색공간(color space)의 CbCr Plane에서, Ymin ≤ Y ≤ Ymax 범위의 그레이 픽셀을 고려할 수도 있고, 도 12에서와 같은 가중치를 고려하여 도 10의 그레이 존을 만족하는 픽셀만 고려할 수도 있다. 여기서, 단색 정도에 따라 도 12에서와 같이 Y target을 변경할 수 있다.

도 12(a)는 노출 제어량(Ev)에 따른 기준 밝기(Y target)의 변경 예를 도시하고 있으며, 도 12(b)는 그레이 픽셀에 따른 Y target의 변경 예를 도시하고 있다. 노출 제어량(Ev)은 그 값이 커질수록 노출량이 적게되어 이미지는 더욱 어두워진다. 반대로 노출 제어량이 작으면 작을수록 노출량이 많아지게 되어 이미지는 더욱 밝아진다. 따라서 도 12(a)에서와 같이 노출 제어량에 따라 Y target을 변경함으로써 밝은 곳의 흰색 이미지의 경우에는 보다 희게 처리된 이미지가 출력되며, 어두운 곳의 흰색 이미지의 경우에는 보다 어둡게 처리된 이미지가 출력되게 된다. 이와 유사하게 도 12(b)에서와 같이 그레이 픽셀에 따라 Y target을 변경함으로써 검은색 이미지의 경우에는 좀 검게 보일 수 있도록 처리된 이미지가 출력되게 된다.

또한, 도 1의 얼굴 검출부(141)에서와 같은 얼굴 검출 알고리즘과 연동하여, 얼굴 검출이 되는 경우 Y target 및 Y_LOWER, Y_UPPER를 변경하여 줌으로써 카메라 사용자의 기호에 맞게 이미지 밝기를 변경하여 줄 수도 있다. 그리고 얼굴이 검출되지 않는 경우에는 Y target 및 Y_LOWER, Y_UPPER의 초기치 또는 얼굴 검출이 되기 전 Y target 및 Y_LOWER, Y_UPPER의 마지막 값으로 복귀를 한다.

이하, 도 13a 및 도 13b를 참조하여 이미지 촬영 장치의 밝기를 자동으로 조절하는 과정을 설명하기로 한다. 본 발명에서는 자동 밝기 조절을 위해 각 윈도우에 가중치를 적용한 히스토그램 도수의 합 f(y)를 이용한다.

도 13a를 참조하면, 이미지 촬영 장치는 우선 900단계에서 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀개수 L_T, 상한 밝기 픽셀개수 U_T 각각에 대한 초기치를 설정한다. 905단계에서 이미지가 입력되면 910단계에서 이미지에 대한 히스토그램을 계산한다. 이하의 설명에서 도 6의 Y 히스토그램을 예시하여 설명을 하지만 본 발명에서 이용되는 히스토그램은 이에 한정되는 것은 아니다. 즉, 이미지 센서(100)의 종류에 따라 다양한 히스토그램이 구해질 수 있다. 예를 들어, (A*Red + B*Green + C*Blue) 히스토그램, (A*Red + B*Green + C*Blue + D*white)의 히스토그램, (A*Cyan + B*Magenta + C*Yellow)의 히스토그램, (A*Cyan + B*Magenta + C*Yellow + D*Green)의 히스토그램, Max(A*R_ij, B*G_ij, C*B_ij)의 히스토그램, Median(A*R_ij, B*G_ij, C*B_ij)의 히스토그램 중 어느 하나를 계산할 수 있다.

또한 히스토그램을 계산하기 이전에 상기 수학식 1에서와 같이 밝기 평균(Y_A)을 구할 수 있다. 이러한 밝기 평균(Y_A) 대신에 히스토그램을 계산하게 되면, 그 계산된 히스토그램을 이용하여 그 히스토그램에 대한 밝기 평균(Y_H)을 구할 수 있다. 이러한 밝기 평균(Y_H)는 하기 수학식 3을 통해 구할 수 있다.

상기 수학식 3에서 y는 레벨을 나타내며, f(y)는 각 윈도우에 가중치를 적용한 히스토그램 도수의 합을 나타낸다. 이와 같이 밝기 평균(Y_A) 또는 밝기 평균(Y_H)은 자동 밝기 조절에 이용된다. 즉, 밝기 평균(Y_A) 또는 밝기 평균(Y_H)이 기준 밝기 Y_T와 같아지도록 함으로써 자동 밝기 조절을 수행한다. 본 발명에서는 이러한 밝기 평균(Y_A) 또는 밝기 평균(Y_H)을 이용하는 방법 이외에 추가적으로 히스토그램 제어 방법을 이용함으로써 자동 밝기 조절 방법을 제안하는 것이다.

이를 위해 900단계에서 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀개수 L_T, 상한 밝기 픽셀개수 U_T 각각에 대한 초기치를 설정하는 것이다. 또한, 레벨의 최대값(m)은 이미지 촬영 장치 내에 미리 설정된 것일 수 있다. 여기서, 밝기 픽셀개수를 설명하기 위해 도 14를 참조한다. 도 14는 픽셀 개수의 분포 히스토그램을 예시하고 있다. 도 14에서는 히스토그램 하한 레벨변수를 l(705), 상한 레벨 변수를 u(710), 레벨의 최대값을 m(715)이라고 정의한다. 이러한 경우 도 14(a)에서와 같이 하한 레벨변수 l(705)과 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수를 L이라고 할 경우 상기 L은 하기 수학식 4를 통해 구할 수 있다.

상기 수학식 4와 같이 정의된 L은 도 14(a)에서의 빗금친 면적(700)에 대응한다. 본 발명에서는 하한 레벨변수 l(705)과 상한 레벨 변수 u(710) 사이에서 히스토그램 f(y)에 대한 픽셀 개수를 미리 정해진 범위 이내에 포함되도록 조정함으로써 밝기를 조정할 수 있게 된다. 예를 들어, 하한 레벨변수 l(705)과 상한 레벨 변수 u(710) 사이에서 히스토그램 f(y)에 대한 픽셀 개수가 100일 경우 최소한 150개 이상이 되어야 밝게 조정이 된다고 가정했을 경우 그 픽셀 개수를 150개로 맞추는 것이다.

이와 달리 레벨이 높은 쪽에 많은 픽셀이 몰려있을 경우 도 14(b)에서와 같은 픽셀 개수의 분포 히스토그램이 나타나게 된다. 이러한 경우 상한 레벨 변수 u(710)와 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수를 U라고 할 경우 상기 U는 하기 수학식 5를 통해 구할 수 있다.

상기 수학식 5와 같이 정의된 U는 도 14(b)에서의 빗금친 면적(720)에 대응한다. 이러한 경우에는 상한 레벨 변수 u(710)와 레벨의 최대값 m(715) 사이의 픽셀 개수 U가 일정 개수 이상일 경우 이미지가 너무 밝게 나타나게 되므로, 이러한 경우에는 그 픽셀 개수를 일정 개수 이하로 줄이는 것이다.

상한 밝기 변수 Y_UPPER 및 하한 밝기 변수 Y_LOWER는 도 14에서의 하한 레벨변수 l(705)과 상한 레벨 변수 u(710)를 나타낸다. 이러한 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀개수 L_T, 상한 밝기 픽셀개수 U_T 각각은 변경 가능함은 물론이다. 본 발명에서와 같이 상기 변수들은 도 12에서와 같이 Ev 또는 Bv, 그레이 픽셀 등에 의해 변경될 수 있다.

이에 따라 915단계에서 그레이 픽셀의 비율을 판단한 후 920단계에서 그레이 픽셀의 비율에 따라 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀개수 L_T, 상한 밝기 픽셀개수 U_T 각각을 재설정한다. 이러한 변수들의 재설정은 그레이 픽셀 비율과 변수들값 간의 맵핑 관계를 나타낸 미리 정해진 테이블값에 따를 수 있다. 이후, 925단계에서 렌즈 쉐이딩 보정 후 930단계에서 감마 보정을 수행한다. 이러한 렌즈 쉐이딩 보정 및 감마 보정은 이미지의 화질을 개선하는 방법으로써 보다 개선된 화질을 얻고자 하는 경우에 추가적으로 적용될 수 있다.

이어, 도 13b의 931단계로 진행한다. 도 13a의 930단계 및 도 13b의 931단계가 연결되는 것임을 나타내기 위해 심볼A를 사용하였다. 또한 도 13a의 905단계 및 도 13b의 985단계가 연결되는 것임을 나타내기 위해 심볼B를 사용하였다.

만일 931단계에서 얼굴 검출 알고리즘을 통해 얼굴이 검출이 되는 경우 932단계로 진행하여 Y target 및 Y_LOWER, Y_UPPER를 변경한다. 이렇게 함으로써 카메라 사용자의 기호에 맞게 이미지 밝기를 변경하여 줄 수도 있다. 이와 달리 얼굴이 검출되지 않는 경우에는 933단계로 진행하여 Y target 및 Y_LOWER, Y_UPPER의 초기치 또는 얼굴 검출이 되기 전 Y target 및 Y_LOWER, Y_UPPER의 마지막 값으로 복귀를 한다.

상기 수학식 4, 5에서와 같이 히스토그램의 밝기 픽셀 개수 L과 U를 구한 후, 935단계에서 하한 레벨변수 l(705)과 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수 L이 하한 밝기 픽셀개수 L_T 보다 크면서, 상한 레벨 변수 u(710)와 레벨의 최대값 m(715) 사이의 픽셀 개수 U가 상한 밝기 픽셀개수 U_T보다 작은지를 판단한다. 만일 상기 조건을 만족한다면 픽셀이 고르게 분포하고 있음을 나타내는 것이므로 940단계에서 밝기 평균 Y가 Y_T가 되도록 밝기를 조정한다. 여기서, 밝기 평균 Y는 밝기 평균(Y_A) 또는 밝기 평균(Y_H)을 의미한다.

이와 달리 상기 조건을 만족하지 않는다면 945단계에서 L이 하한 밝기 픽셀개수 L_T 보다 작은지를 판단한다. 만일 L이 하한 밝기 픽셀개수 L_T보다 작은 경우 950단계에서 밝기 평균 Y가 하한 밝기 변수 Y_LOWER보다 작은지를 판단한다. 판단 결과, 밝기 평균 Y가 하한 밝기 변수 Y_LOWER보다 작지 않은 경우 960단계에서 하한 레벨변수 l(705)과 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수 L를 하한 밝기 픽셀개수 L_T 조정한다. 이는 밝기 평균이 원하는 밝기 조건 범위 이내에 들더라도 포화 및 어둡게 찍히는 현상이 발생할 수 있으므로, 이러한 경우를 방지하기 위해 밝기 픽셀 개수도 조정하는 것이다. 이와 달리 밝기 평균 Y가 하한 밝기 변수 Y_LOWER보다 작은 경우 밝기 평균 Y를 최소한의 밝기로 맞추어야 하므로 밝기 평균 Y가 하한 밝기 변수 Y_LOWER가 되도록 제어한다.

한편, 945단계에서 L이 하한 밝기 픽셀개수 L_T보다 작지 않은 경우 965단계에서 U가 상한 밝기 픽셀개수 U_T보다 큰지를 판단한다. 만일 U가 상한 밝기 픽셀개수 U_T보다 큰 경우 970단계에서 밝기 평균 Y가 상한 밝기 변수 Y_UPPER보다 큰지를 판단한다. 만일 밝기 평균 Y가 상한 밝기 변수 Y_UPPER보다 큰 경우 975단계에서 밝기 평균 Y가 상한 밝기 변수 Y_UPPER가 되도록 제어한다. 즉, 밝기 평균 Y가 너무 크지 않도록 상한 밝기 변수 Y_UPPER로 줄이는 것이다. 이와 달리 밝기 평균 Y가 상한 밝기 변수 Y_UPPER보다 크지 않은 경우 980단계에서 U가 상한 밝기 픽셀개수 U_T가 되도록 제어한다. 상기한 과정을 수행함으로써 985단계에서 밝기 조정을 위한 AE 기능이 종료되는지를 판단한다. 만일 AE 기능이 종료되지 않는 한 도 13a의 B로 되돌아가 프레임 단위로 입력되는 이미지에 대해 전술한 과정을 반복 수행한다.

하지만, 자동으로 밝기 평균을 미리 정해진 상한값을 기준으로 조정할 경우 사용자가 원하는 밝기보다 지나치게 이미지의 밝기가 밝아질 수 있다. 반대로 밝기 평균을 자동으로 미리 정해진 하한값을 기준으로 조정할 경우에는 역광 등의 이유로 지나치게 어두운 이미지가 출력되는 경우도 발생할 수 있다.

본 발명의 다른 실시예에서는 이러한 다양한 경우를 고려하여 이미지 촬영 장치의 밝기를 자동으로 조절하는 과정을 설명하기로 한다.

도 15a를 참조하면, 이미지 촬영 장치는 우선 1500단계에서 사용자 설정 기준 밝기 Y_TO, 제어를 위한 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀 개수 L_T, 상한 밝기 픽셀 개수 U_T 각각에 대한 초기치를 설정한다. 여기서, 하한 밝기 픽셀 개수 L_T 는 하한 밝기에 대해 최대로 조정할 수 있는 하한 밝기 레벨을 의미하며, 상한 밝기 픽셀 개수 U_T 는 상한 밝기에 대해 최소로 조정할 수 있는 상한 밝기 레벨을 의미한다.

이어, 1505 단계 내지 1515단계에서의 동작은 도 13a의 905단계 내지 915단계에서와 동일하므로, 그 설명은 생략하기로 한다. 다만, 본 발명의 다른 실시예에서의 밝기 평균(Y_H)는 하기 수학식 6을 통해 구할 수 있다.

상기 수학식 6에서 y는 레벨을 나타내며, f(y)는 각 윈도우에 가중치를 적용한 히스토그램 도수의 합을 나타낸다. 이와 같이 상기 수학식 1의 밝기 평균(Y_A) 또는 상기 수학식 6의 밝기 평균(Y_H)이 기준 밝기 Y_T와 같아지도록 함으로써 자동 밝기 조절을 수행한다. 여기에 추가적으로 픽셀 개수의 분포를 나타낸 히스토그램 제어 방법을 이용한 자동 밝기 조절 과정은 다음과 같다.

도 14(a)에서의 픽셀 개수의 분포 히스토그램을 참조하면, 하한 레벨변수 l(705)과 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수를 L_l이라고 할 경우 상기 L_l은 하기 수학식 7을 통해 구할 수 있다.

상기 수학식 7과 같이 정의된 L_l은 도 14(a)에서의 빗금친 면적(700)에 대응한다. 본 발명에서는 하한 레벨 변수 l(705)과 상한 레벨 변수 u(710) 사이에서 히스토그램 f(y)에 대한 픽셀 개수를 미리 정해진 범위 이내에 포함되도록 조정함으로써 밝기를 조정할 수 있게 된다. 예를 들어, 하한 레벨변수 l(705)과 상한 레벨 변수 u(710) 사이에서 히스토그램 f(y)에 대한 픽셀 개수(L_l)가 100일 경우 최소한 150개 이상이 되어야 밝게 조정이 된다고 가정했을 경우 그 픽셀 개수(L₁)을 하한 밝기 픽셀 개수 L_T인 150개로 맞추는 것이다.

이와 달리 레벨이 높은 쪽에 많은 픽셀이 몰려있을 경우 도 14(b)에서와 같은 픽셀 개수의 분포 히스토그램이 나타나게 된다. 이러한 경우 상한 레벨 변수 u(710)와 레벨의 최대값 m(715) 사이의 밝기 픽셀 개수를 U_u라고 할 경우 상기 U_u는 하기 수학식 8을 통해 구할 수 있다.

상기 수학식 8에서의 U_u는 도 14(b)에서의 빗금친 면적(720)에 대응한다. 이러한 경우에는 상한 레벨 변수 u(710)와 레벨의 최대값 m(715) 사이의 픽셀 개수 U_u가 일정 개수 이상일 경우 이미지가 너무 밝게 나타나게 되므로, 이러한 경우에는 그 픽셀 개수를 일정 개수 이하로 줄이는 것이다. 예를 들어, 픽셀 개수(U_u)가 200일 경우 최대 150개 이하로 되어야 너무 밝지 않게 조정이 된다고 가정했을 경우 그 픽셀 개수(U_u)을 상한 밝기 픽셀 개수 U_T인 150개로 맞추는 것이다.도 14에서의 하한 레벨변수 l(705)과 상한 레벨 변수 u(710)를 각각 상한 밝기 변수 Y_UPPER 및 하한 밝기 변수 Y_LOWER라고 정의하며, 픽셀 개수(L_l) 및 픽셀 개수(U_u)는 각각 하한 밝기 픽셀개수 L_T 및 상한 밝기 픽셀개수 U_T를 기준으로 조정된다. 이러한 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀개수 L_T, 상한 밝기 픽셀개수 U_T 각각은 변경 가능함은 물론이며, 도 12에서와 같이 Ev 또는 Bv, 그레이 픽셀 등에 의해 변경될 수 있다.

위의 개념을 일반화하여 다음과 같은 수학식 9로 표현할 수 있다.

상기 수학식 9는 0레벨부터 m레벨 사이의 전체 픽셀 개수 중 A%가 되는 밝기 레벨 LE를 구하는 수학식이며, 이러한 수식을 K_A라고 정의한다. 도 16을 참조하면, A는 미리 정해지는 값이라고 보면, 히스토그램 f(y)에 대한 0 레벨부터 어느 레벨까지의 픽셀 개수의 합이 전체의 A%(721)가 되는지 그 어느 레벨에 해당하는 밝기 레벨 LE(725)를 구하는 것이다. 이와 같이 수학식 9는 히스토그램의 전체 픽셀 개수가 미리 정해진 픽셀 개수로 유지되는 밝기 레벨을 구하는 수식이다. 상기 수학식 9에서와 같은 K_A는 현재 상태의 히스토그램 분포에서 구해지며, 제어에 활용하기 위해서는 하기 수학식 10과 같은 정규화 과정을 거쳐야한다.

상기 수학식 10에서, K_A’는 정규화값이며, K_A는 히스토그램 누적값이며, Y_TO는 사용자 설정 기준 밝기이며, Y_A 는 밝기 평균이다.

한편, 1520단계에서 그레이 픽셀의 비율에 따라 기준 밝기 Y_T, 상한 밝기 변수 Y_UPPER, 하한 밝기 변수 Y_LOWER, 하한 밝기 픽셀 개수 L_T, 상한 밝기 픽셀 개수 U_T 각각을 재설정한다. 이어, 1525단계 및 1530단계는 도 13a에서의 925단계 및 930단계에서와 동일하다. 도 15a의 1530단계 및 도 15b의 1531단계가 연결되는 것임을 나타내기 위해 심볼C를 사용하였다. 또한 도 15a의 1505단계 및 도 15b의 1585단계가 연결되는 것임을 나타내기 위해 심볼D를 사용하였다. 또한, 도 15b의 1531단계 내지 1533단계는 도 13b의 931단계 내지 933단계에서와 동일하다.

한편, 촬영/촬상하고자 하는 피사체보다 월등히 밝은 광원이 피사체 뒤에 있는 역광(Backlit) 환경에서는, 도 17에서와 같이 히스토그램이 Low-key 와 Hi-Key에 양분되어 분포하게 된다. 이러한 경우 제어 변수 변화가 매우 급격하게 변화하므로 제어가 매우 곤란하게 된다. 따라서 1534단계에서 역광 여부를 판별해야 한다.

이러한 역광 여부를 판별하기 위해 도 17을 참조한다. 역광 여부는 히스토그램 누적값이 A%인 K_A의 레벨 x(732), 히스토그램 누적값이 A-C%인 K_{A -C}의 레벨 x-p(731), 히스토그램 누적값이 A+C%인 K_{A +C}의 레벨 x+p(733)을 이용한다. 다시 말하면, 역광 여부를 판단하기 위해 미리 정해진 히스토그램 누적값을 만족하는 밝기 레벨, 상기 미리 정해진 히스토그램 누적값에서 제1값을 뺀 누적값을 만족하는 밝기 레벨 및 상기 미리 정해진 히스토그램 누적값에서 제1값을 더한 누적값을 만족하는 밝기 레벨 간의 상호 관계를 이용한다. 예를 들어, 이들의 상호 관계를 K_A- K_A-C= p라고 하며, K_{A +C}- K_A= q하고 하며, K_{A +C} - K_{A -C} = p+q라고 정의할 경우, p, q, p+q를 각각의 임계치와 비교하여 그 임계치들보다 클 경우 히스토그램이 로우키와 하이키에 양분되어 분포되어 있음을 알 수 있게 된다. 따라서 이러한 상호 관계를 이용하여 역광 여부를 판단하는 것이다.

이로부터 역광이 검출되는 경우 1576단계로 진행하여 모든 설정값의 변경 없이 역광이 검출되기 직전에 계산된 제어 변수값을 유지한다. 이와 달리 역광이 검출되지 않은 경우 1535단계로 진행한다. 이와 같이 역광 환경에서는 제어 변수값을 유지함으로써 역광으로 인한 밝기 제어의 오류를 줄일 수 있게 된다.

1535단계에서는 정규화 값 K_A'이 하한 밝기 픽셀 개수 L_T 보다 크면서, 상한 밝기 픽셀 개수 U_T보다 작은지를 판단한다. 이를 위해 우선 수학식 9를 통해 K_A를 구한 후, 이를 이용하여 수학식 10을 통해 정규화 값 K_A'를 구한다. 만일 상기 조건을 만족한다면 픽셀이 고르게 분포하고 있음을 나타내는 것이므로 1540단계에서 제어 밝기 평균 Y가 기준 밝기 Y_T가 되도록 밝기를 조정한다. 여기서, 이미지에서 측정된 밝기 평균 Y_C 는 밝기 평균(Y_A) 또는 밝기 평균(Y_H)을 의미한다.

이와 달리 상기 1535단계의 조건을 만족하지 않는다면 1545단계에서 정규화 값 K_A'이 하한 밝기 픽셀 개수 L_T 보다 작고, 상한 밝기 픽셀 개수 U_T 보다 작은 지를 판단한다. 만일 1545단계에서의 조건을 만족하는 경우에는 K_A가 L_T가 되도록 관련 제어변수 계산을 수행한다. 이어, 1560단계에서 현재 이미지에서 측정된 밝기 Y_C(Y_A 또는 Y_H임)가 Y_C<Y_Lower 을 만족하는 경우에는, 1561단계에서 K_A = L_T가 되도록 제어를 수행한다. 만일 Y_C<Y_Lower 을 만족하지 않는 경우에는 1555단계에서 Y= Y_Lower가 되도록 제어하고, K_A도 L_T가 되도록 제어변수를 재설정한다. 즉, 1550단계에서 계산한 제어 변수가 제한치를 벗어나지 않도록 제어 변수를 재설정한다. 이는 이미지에서 측정된 밝기 평균 Y_C 가 원하는 밝기 조건 범위 이내에 들더라도 포화 및 어둡게 찍히는 현상이 발생할 수 있으므로, 이러한 경우를 방지하기 위해 제어 변수를 조정하는 것이다.

반면, 1545단계에서의 조건을 만족하지 않는 경우에는 1570단계에서 K_A가 U_T가 되도록 관련 제어 변수 계산을 수행한다. 이때, 1580단계에서 현재 이미지에서 측정된 밝기 Y_C(Y_A 또는 Y_H임)가 상한 밝기 변수 Y_UPPER보다 큰 경우에는 1581 단계에서 K_A = U_T가 되도록 제어한다. 즉, 이미지에서 측정된 밝기 평균 Y_C가 너무 크지 않도록 상한 밝기 변수 Y_UPPER로 줄이는 것이다. 이와 달리 이미지에서 측정된 밝기 평균 Y_C가 상한 밝기 변수 Y_UPPER보다 크지 않은 경우 1575단계에서 밝기 평균 Y = Y_Upper가 되도록 제어하고, K_A = U_T가 되도록 하는 제어 변수가 제한치를 벗어나지 않도록 제어 변수를 재설정한다. 상기한 과정을 수행함으로써 1585단계에서 밝기 조정을 위한 AE 기능이 종료되는지를 판단한다. 만일 AE 기능이 종료되지 않는 한 도 15a의 D로 되돌아가 프레임 단위로 입력되는 이미지에 대해 전술한 과정을 반복 수행한다.

한편, 전술한 본 발명의 다른 실시예에서는 밝기 평균을 이용한 밝기 조정 과정을 설명하였으나, 본 발명의 또다른 실시예에서는 히스토그램의 밝기 레벨 개수를 일정하게 유지하는 방법을 이용한 밝기 조정 과정을 설명하기로 한다.

이를 위해 도 18a를 참조하면, 본 발명의 또다른 실시예에 따른 자동 밝기 조정 과정은 1802단계 및 1806단계에서의 초기치 설정 및 재설정하는 변수가 다를 뿐, 나머지 부분에 있어 도 13a 및 도 15a에서 기술한 과정들과 동일하므로, 그 상세한 설명은 생략하기로 한다. 다만, 도 18a의 1808단계 및 도 18b의 1809단계가 연결되는 것임을 나타내기 위해 심볼E를 사용하였다. 또한 도 18a의 1803단계 및 도 18b의 1815단계가 연결되는 것임을 나타내기 위해 심볼F를 사용하였다.

1802단계에서 변수 Y_T2는 밝기 평균 제어의 target 값, Y_U2는 밝기 평균제어의 상한치 제한 값, Y_L2는 밝기 평균제어의 하한치 제한 값, L_T2는 히스토그램의 밝기 레벨이다. 여기서, L_T2는 히스토그램을 이용한 자동 밝기 제어의 타겟 레벨(target level)이다. 이러한 히스토그램을 이용한 자동 밝기 조절 과정에서 밝기 평균이 지나치게 밝아지거나 어두워지는 현상을 방지하기 위해 밝기의 상한치 및 밝기의 하한치를 제한할 필요성이 있다.

이를 위해 도 18b를 참조하면, 1809단계에서 자동 밝기 제어에 필요한 제어 변수들인 X_2U, X_2L, Y_C2A, Y_C2B 를 각각 계산한다.

이러한 자동 밝기 제어에 필요한 제어 변수들 중 밝기의 상한치를 제한하기 위해 하기 수학식 11을 정의한다.

상기 수학식 11에서, 밝기의 상한치를 제한하기 위한 변수 X_2U는 밝기 평균을 정규화하는데 사용되며, 상기 L_T는 하한 밝기 픽셀 개수이며, K_A는 0레벨부터 LE 레벨까지의 픽셀 개수들의 합의 비율을 %로 나타낸 값이다.

만일 도 16의 히스토그램에서 밝기 평균을 도 16의 도면부호 721에 의해 지시되는 바와 같은 밝기 상한으로 일정하게 유지하는 경우, K_A에서 LE가 변하게 되며, 이를 이용하여 밝기 평균을 정규화하기 위해 사용할 변수 X_2U를 상기 수학식 11과 같이 정의하는 것이다. 여기서, Rt_A는 “ L_T - K_A ”를 스케일링(Scaling)하는 사용자 정의 상수이다.

상기 수학식 12에서 Y_C2A 는 측정된 밝기 평균 Y_C를 정규화한 값으로, 상기 수학식 11에서 정의한 X_2U를 대입함으로써 구해진다.

또한, 히스토그램을 이용한 자동 밝기 조절 과정에서 밝기 평균이 지나치게 어두워지는 현상을 방지하기 위해 밝기의 하한치를 제한할 필요성이 있다.

이러한 밝기의 하한치를 제한하기 위해 하기 수학식 13을 정의한다.

상기 수학식 13에서 밝기의 하한치를 제한하기 위한 변수 X_2L는 밝기 평균을 정규화하는데 사용된다. 수학식 11, 12의 경우와 마찬가지로 상기 X_2L를 정의하며, Rt_B는 “ L_T - K_A ”를 스케일링하는 사용자 정의 상수이다. 그러나 이 경우에는 K_A≤ L_T 범위까지는 수학식 13의 X_2L가 연속적으로 변하나, K_A > L_T가 될 수 없으므로 인해 X_2L 변화가 제한되는 경우가 발생한다.

이러한 제한을 극복하기 위하여, 밝기 하한으로 도 16의 도면부호 721에 의해 지시되는 바와 같은 밝기 평균을 일정하게 유지하는 경우, 히스토그램 K_A과정에서 구하는 LE가 최대(Max) 밝기 레벨 m으로 고정되는 경우도 발생한다. 이러한 경우, K_A = m이 되더라고, L_T2보다 큰 도수가 증가하므로, L_T2 ~ m 영역의 도수함수 H_A2 를 아래 수학식 14와 같이 정의하여 제어 변수가 연속적으로 변하게 할 수 있다.

상기 수학식 14에서 히스토그램 f(y)에서 0레벨부터 m레벨까지의 픽셀 개수들의 합 중 L_T2 레벨부터 m레벨까지의 픽셀 개수들의 합의 비율을 L_T2 ~ m 영역의 도수함수 H_A2라고 정의한다. 이러한 H_A2 특성 예는, 밝은 픽셀 도수가 증가하는 경우에 H_A2도 증가하는 특성을 가진다.

상기 수학식 15에서 상기 수학식 13에서와 마찬가지로 밝기의 하한치를 제한하기 위한 변수 X_2L는 밝기 평균을 정규화하는데 사용되며, Rt_C는 “(1-H_A2) - A ”를 스케일링하는 사용자 정의 상수이다. 다만, 상기 수학식 15에서 (1-H_A2)를 쓰는 이유는, K_A가 L_T가 되는 경우에 H_A2는 1-A 이기 때문이다.

하한에 제약을 주는 경우, 정규화 방법은 아래와 같다.

상기 수학식 16에서 Y_C2B 는 측정된 밝기 평균 Y_C를 정규화한 값으로, 상기 수학식 15에서 정의한 X_2L를 대입함으로써 구해진다.

상기 수학식 13 및 수학식 16에서 사용한 X_2L를 이용하여 밝기제어 변수 Y_C를 Y_C'으로 정규화할 경우 이를 수식으로 표현하면 하기 수학식 17과 같다.

상기 수학식 17에서 Rt_D, Rt_E 는 Y_C의 크기에 따라 사용자가 정의할 수 있으며, 일반적으로 Rt_D = Rt_E = 1 조건을 사용한다. 만일 Rt_D ≠1 또는 Rt_E ≠1 경우에는 사용자가 Y_C의 변환 영역을 변경하는 것을 의미한다.

상기한 바와 같은 과정을 통해 도 17b에서의 1809단계에서 자동 밝기 제어에 필요한 제어변수를 계산한다. 이어, 히스토그램의 밝기 레벨 개수 퍼센트가 일정하게 유지되는 경우, 1810단계에서 가중 평균된 현재 측정된 밝기 평균을 정규화한 밝기 평균 Y_c'이 정의된 Y_L2, Y_U2 사이에 있는지를 판단한다. 만일 밝기 평균 Y_c'이 Y_L2, Y_U2 사이에 있는 경우에는 1811단계에서 히스토그램 분포를 이용하여 K_A가 L_T2가 되도록 제어한다. 만약 이 범위를 벗어나는 경우, 즉 밝기 평균 Y_c'이 Y_L2, Y_U2 사이에 있지 않은 경우 1812단계로 진행한다.

1812단계에서 Y_c'≤Y_L2, Y_c'≤Y_U2가 되었을 때는, 1813단계로 진행하여 밝기 평균 target Y이 Y_L2가 되도록 한다. 이와 달리 그렇지 않는 경우에는 예를 들어, Y_c'≥Y_L2, Y_c'≥Y_U2 조건을 만족하는 경우 1814단계로 진행하여 밝기 평균 target Y가 Y_U2가 되도록 한다. 만일 AE 기능이 종료되지 않는 한 도 18a의 F로 되돌아가 프레임 단위로 입력되는 이미지에 대해 전술한 과정을 반복 수행한다.

한편, 도 19와 도 20은 상기 도 1의 이미지 촬영 장치의 내부 블록 구성의 다른 예시도로서, 도 15a, 15b과 도 18a, 18b에서의 동작 알고리즘을 도 1과 같이 하드웨어적으로 하나의 부품으로 구성할 수 없는 경우를 고려한 구성을 예시하고 있다.

이미지 센서와 ISP 일체형인 SoC(System on a Chip) 형태의 경우에도 본 발명에서 제안하는 밝기 평균 알고리즘을 적용할 수 있다. 이 경우 밝기 조절 알고리즘은 ISP에 내장되어 있다. 도 19와 도 20에서와 같이 SoC(1901, 2001)를 이미지 센서(1909,2009)와 ISP(1910, 2010) 일체형으로 구성하여 상기 알고리즘을 구현할 수도 있다. 도 19에서는 SoC(1901)와 히스토그램 계산, 색상 및 채도 검출을 수행하는 구성부를 독립적으로 연결함으로써 밝기 평균 알고리즘을 구현한 촬영 장치를 예시하고 있으며, 도 20에서는 SoC(1901)와 밝기, 색상 및 채도 검출을 수행하는 구성부를 독립적으로 연결함으로써 밝기 평균 알고리즘을 구현한 촬영 장치를 예시하고 있다.

먼저, 도 19에서 ISP(1910)에서의 밝기 평균 알고리즘이 Y 평균 제어를 이용한 자동 밝기 조정 방식이라고 할 경우 이미지 센서(1909)는 도 1의 이미지 센서(100)에 대응하며, 도 1의 나머지 구성부들은 ISP(1910)로 구현할 수 있는 것이다. 다만, 도 1에서의 히스토그램 계산부(120), 색상 및 채도 판단부(140) 등의 구성부는 도 19의 1908에 의해 지시되는 구성부에 대응한다.

상기와 같은 구성을 가지는 이미지 촬영 장치의 SoC(1901)의 출력에 대해 1903단계에서 데이터 변환 및 Y 평균을 리드하게 된다. 구체적으로, SoC(1901)의 출력이 압축(Compressed) 데이터인 경우 압축을 푸는 동작을 수행하고, 압축을 푼 데이터가 YUV 데이터인 경우 RGB로 변환한다. 또한 SoC(1901)의 출력이 YUV 데이터인 경우에는 이를 바로 RGB로 변환한다. 이어, 1904단계에서 변환된 RGB 데이터에 대해 도 3과 같이 윈도우를 지정하면, 1905단계에서 각각의 윈도우에 대한 히스토그램을 구한다. 그리고나서 1906단계에서 도 1에서와 동일하게 색상 및 채도를 검출한 후, 1907단계에서 Y_Upper, Y_Lower, 렌즈 쉐이딩 변화량을 계산하여 SoC(1101)로 피드백함으로써 본 발명의 다른 실시예에 따른 자동 밝기 조절 과정이 구현될 수 있다.

한편, 도 20에서의 구성부 및 그 동작은 도 19와 유사하다. 다만, 도 20의 SoC(2001)의 ISP(2010)에서 히스토그램 제어를 이용한 AE 방식을 제공하는 경우, 2005단계에서 각각의 윈도우에 Y, R, G. B 평균을 구하고, 2007단계에서 Y_U2, Y_L2, L_T2, 렌즈 쉐이딩 변화량을 계산한다는 점에서 다르다. 이렇게 계산된 값들은 SoC(2001)로 피드백됨으로써 본 발명의 또다른 실시예에 따른 자동 밝기 조절 과정이 구현될 수 있다.

Claims (20)

1. 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법에 있어서,
   상기 이미지에 대한 히스토그램을 계산하는 과정과,
   상기 히스토그램을 이용하여 상기 히스토그램에 대한 밝기 평균을 구하는 과정과,
   제1범위 이내의 히스토그램 분포 개수 및 제2범위 이내의 히스토그램 분포 개수가 미리 정해진 범위 이내에 각각 포함되는지를 판단하는 과정과,
   상기 판단 결과 상기 미리 정해진 범위 이내에 각각 포함되는 경우 상기 밝기 평균이 기준 밝기가 되도록 조정하는 과정을 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
2. 제1항에 있어서,
   사용자 설정 기준 밝기, 상기 기준 밝기, 상한 밝기 변수, 하한 밝기 변수, 하한 밝기 픽셀 개수 및 상한 밝기 픽셀 개수 각각에 대한 초기치를 설정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
3. 제2항에 있어서,
   상기 히스토그램을 계산하기 이전에 상기 이미지를 복수개의 윈도우로 분할하는 과정과,
   상기 분할된 각 윈도우의 밝기 데이터와 각 윈도우의 가중치를 이용하여 밝기 평균을 구하는 과정과,
   상기 각 윈도우의 가중치를 이용한 밝기 평균이 상기 기준 밝기가 되도록 조정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
4. 제1항에 있어서, 상기 히스토그램에 대한 밝기 평균을 구하는 과정은,
   상기 이미지를 복수개로 분할한 각 윈도우에 가중치를 적용한 히스토그램 도수의 합을 구하는 과정과,
   상기 히스토그램 도수의 합과 레벨을 이용하여 상기 히스토그램에 대한 밝기 평균을 구하는 과정을 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
5. 제2항에 있어서, 상기 제1범위 이내의 히스토그램 분포 개수는 상기 하한 밝기 변수와 미리 정해진 최대 밝기 레벨 사이의 밝기 픽셀 개수이며,
   상기 제2범위 이내의 히스토그램 분포 개수는 상기 상한 밝기 변수와 상기 최대 밝기 레벨 사이의 밝기 픽셀 개수인 것을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
6. 제3항에 있어서,
   상기 계산된 히스토그램의 전체 픽셀 개수가 미리 정해진 픽셀 개수로 유지되는 밝기 레벨을 구하는 과정과,
   상기 구해진 밝기 레벨, 상기 사용자 설정 기준 밝기 및 상기 각 윈도우의 가중치를 이용한 밝기 평균을 이용하여 정규화를 수행하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
7. 제6항에 있어서,
   상기 이미지에 대한 역광 여부를 판단하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
8. 제7항에 있어서,
   상기 역광이 아닐 경우 상기 정규화를 수행한 값이 상기 하한 밝기 픽셀 개수보다 크면서 상기 상한 밝기 픽셀 개수보다 작은지를 판단하는 과정과,
   상기 정규화를 수행한 값이 상기 하한 밝기 픽셀 개수보다 크면서 상기 상한 밝기 픽셀 개수보다 작은 경우 상기 밝기 평균이 상기 기준 밝기가 되도록 조정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
9. 제8항에 있어서,
   상기 정규화를 수행한 값이 상기 하한 밝기 픽셀 개수 및 상기 상한 밝기 픽셀 개수보다 작은 경우 상기 구해진 밝기 레벨이 상기 하한 밝기 픽셀 개수가 되도록 조정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
   
10. 제8항에 있어서,
    상기 정규화를 수행한 값이 상기 하한 밝기 픽셀 개수 및 상기 상한 밝기 픽셀 개수보다 큰 경우 상기 구해진 밝기 레벨이 상기 상한 밝기 픽셀 개수가 되도록 조정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
    
11. 제1항에 있어서,
    상기 이미지의 그레이 비율 및 단색 특성을 판단하는 과정과,
    상기 단색 특성에 따라 렌즈 쉐이딩 보정을 수행하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
    
12. 제11항에 있어서,
    상기 이미지의 그레이 비율에 따라 하한 밝기 레벨, 상한 밝기 레벨, 하한 밝기 픽셀개수 및 상한 밝기 픽셀개수를 재설정하는 과정을 더 포함함을 특징으로 하는 이미지 촬영 장치에서 밝기를 자동으로 조절하는 방법.
    
13. 밝기를 자동으로 조절하기 위한 이미지 촬영 장치에 있어서,
    이미지를 입력받는 이미지 센서와,
    상기 이미지 센서로부터의 상기 이미지에 대한 히스토그램을 계산하고, 상기 히스토그램을 이용하여 상기 히스토그램에 대한 밝기 평균을 구한 후, 제1범위 이내의 히스토그램 분포 개수 및 제2범위 이내의 히스토그램 분포 개수가 미리 정해진 범위 이내에 각각 포함되는지를 판단하는 히스토그램 계산부와,
    상기 히스토그램 계산부에 의한 판단 결과 상기 미리 정해진 범위 이내에 각각 포함되는 경우 상기 밝기 평균이 기준 밝기가 되도록 조정하는 자동 밝기 조절부를 포함함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
14. 제13항에 있어서, 상기 히스토그램 계산부는,
    상기 이미지를 복수개의 윈도우로 분할하고, 상기 분할된 각 윈도우의 밝기 데이터와 각 윈도우의 가중치를 이용하여 밝기 평균을 구함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
15. 제14항에 있어서, 상기 자동 밝기 조절부는,
    상기 히스토그램 계산부에 의해 구해진 밝기 평균이 상기 기준 밝기가 되도록 조정함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
16. 제13항에 있어서, 상기 히스토그램 계산부는,
    상기 이미지를 복수개로 분할한 각 윈도우에 가중치를 적용한 히스토그램 도수의 합을 구한 후, 상기 히스토그램 도수의 합과 레벨을 이용하여 상기 히스토그램에 대한 밝기 평균을 구함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
17. 제13항에 있어서, 상기 제1범위 이내의 히스토그램 분포 개수는 각각 하한 밝기 레벨과 미리 정해진 최대 밝기 레벨 사이의 밝기 픽셀 개수이며,
    상기 제2범위 이내의 히스토그램 분포 개수는 상한 밝기 레벨과 상기 최대 밝기 레벨 사이의 밝기 픽셀 개수인 것을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
18. 제13항에 있어서, 상기 히스토그램 계산부는,
    상기 계산된 히스토그램의 전체 픽셀 개수가 미리 정해진 픽셀 개수로 유지되는 밝기 레벨을 구한 후, 상기 구해진 밝기 레벨, 상기 사용자 설정 기준 밝기 및 상기 각 윈도우의 가중치를 이용한 밝기 평균을 이용하여 정규화를 수행함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
19. 제18항에 있어서, 상기 자동 밝기 조절부는,
    상기 이미지에 대한 역광을 판단하여 역광이 아닐 경우 상기 정규화를 수행한 값이 상기 하한 밝기 레벨보다 크면서 상기 상한 밝기 레벨보다 작은지를 판단하고, 상기 정규화를 수행한 값이 상기 하한 밝기 레벨보다 크면서 상기 상한 밝기 레벨보다 작은 경우 상기 밝기 평균이 상기 기준 밝기가 되도록 조정함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.
    
20. 제13항에 있어서,
    상기 이미지의 그레이 비율 및 단색 특성을 판단하는 색상 및 채도 판단부와,
    상기 단색 특성에 따라 렌즈 쉐이딩 보정을 수행하는 렌즈 쉐이딩 보정부와,
    상기 히스토그램 분포에 따라 오프셋 포인트 및 하이라이트 포인트를 변경함으로써 밝기를 조정하는 감마 보정부를 더 포함함을 특징으로 하는 밝기를 자동으로 조절하기 위한 이미지 촬영 장치.

Images