KR101592790B1

KR101592790B1 - 카메라 노출 제어 시스템 및 그 방법

Info

Publication number: KR101592790B1
Application number: KR1020140166610A
Authority: KR
Inventors: 윤일용
Original assignee: 현대자동차주식회사
Priority date: 2014-11-26
Filing date: 2014-11-26
Publication date: 2016-02-18
Also published as: US20160150144A1; CN105635596B; US9692982B2; CN105635596A

Abstract

본 발명의 실시예에 따른 카메라 노출 제어 시스템은 입력된 영상으로부터 히스토그램을 산출하는 히스토그램 산출부; 상기 산출된 히스토그램에 노출을 다르게 적용하여 가상 히스토그램을 생성하는 가상 히스토그램 생성부; 상기 가상 히스토그램에 생성된 홀을 필터링하여 최종 히스토그램을 생성하는 히스토그램 홀 필터링부; 상기 최종 히스토그램에 대해 균일화를 수행하는 히스토그램 균일화부; 및 상기 균일화된 히스토그램에 따른 노출값을 적용하는 최적 노출 설정부를 포함할 수 있다.

Description

카메라 노출 제어 시스템 및 그 방법{System for controling exposure of camera and method thereof}

본 발명은 카메라 노출 제어 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가상의 히스토그램을 생성하여 카메라의 최적 노출을 설정하는 기술에 관한 것이다.

주정차 문제, 교통 문제 및 교통사고 등의 해결을 위해 차량, 건물 등에 블랙박스, CCTV 등의 카메라 영상장치를 탑재하는 경우가 증가하고 있다.

이러한 카메라 영상 장치의 경우 노출량에 따라 이미지의 품질이 좌우될 수 있어 이러한 노출 제어를 통해 이미지 품질을 향상시키기 위한 카메라 노출 자동 제어 기술이 개발되어 왔다.

그런데 종래의 카메라 노출 자동 제어 기술은 이미지 전체의 평균 그레이(GRAY) 또는 선택된 몇 개의 점의 평균 그레이 값이 특정값을 추종하도록 제어한다.

이러한 방식은 주변환경에 따라 노출이 달라지므로 각막에 의한 조명 반사점의 밝기 변화를 야기하여 글린트의 밝기가 프레임마다 변화하여 글린트(glint) 검출을 위한 임계치(Threshold) 설정에 악영향을 미쳐 글린트 트래킹이 어려운 문제점이 있다.

또한, 글린트는 일반적으로 255이상으로 포화되어 있어 포화를 절대적으로 억제하는 경우 얼굴이 너무 어두워져서 얼굴 인식에 실패할 수 있다.

본 발명의 실시예는 가상 히스트로그램을 생성하고 그 중 가장 이미지 품질이 높을 것으로 예상되는 노출을 선택하도록 제어함으로써 최적의 노출을 제공할 수 있는 카메라 노출 제어 시스템 및 그 방법을 제공하고자 한다.

본 발명의 실시예에 따른 카메라 노출 제어 시스템은 입력된 영상으로부터 히스토그램을 산출하는 히스토그램 산출부; 상기 산출된 히스토그램에 노출을 다르게 적용하여 가상 히스토그램을 생성하는 가상 히스토그램 생성부; 상기 가상 히스토그램에 생성된 홀을 필터링하여 최송 히스토그램을 생성하는 히스토그램 홀 필터링부; 상기 최종 히스토그램에 대해 균일화를 수행하는 히스토그램 균일화부; 및 상기 균일화된 히스토그램에 따른 노출값을 적용하는 최적 노출 설정부를 포함할 수 있다.

또한, 본 발명의 카메라 노출 제어 시스템은 상기 산출된 히스토그램을 저장하는 히스토그램 저장부; 상기 제 1 임시 히스토그램을 저장하는 제 1 임시 히스토그램 저장부; 및 상기 제 2 임시 히스토그램을 저장하는 제 2 임시 히스토그램 저장부를 더 포함할 수 있다.

또한, 상기 히스토그램 홀 필터링부는, 상기 가상 히스토그램의 빈(bin)의 인덱스를 증가시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 좌측 빈의 값을 가져와 저장하여 제 1 임시 히스토그램을 생성하고, 상기 가상 히스토그램의 빈(bin)의 인덱스를 감소시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 우측 빈의 값을 가져와 저장하여 제 2 임시 히스토그램을 생성할 수 있다.

또한, 상기 히스토그램 홀 필터링부는, 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈 중 하나라도 제로값이 있으면 제로값으로 저장하고 상기 제로값이 아닌 경우 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈의 평균값으로 저장하여 상기 최종 히스토그램을 생성할 수 있다.

또한, 상기 히스토그램 홀 필터링부는, 상기 최종 히스토그램의 각 빈의 값을 1/k배 하여 상기 최종 히스토그램의 전체 빈의 합이 상기 산출된 히스토그램의 전체 빈의 합과 동일하게 생성한다.

또한, 상기 가상 히스토그램 생성부는, 노출 배수를 1보다 크게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 큰 경우, 상기 가상 히스토그램의 빈 중 상기 산출된 히스토그램의 마지막 빈 이후의 값을 누적 합산하여 상기 가상 히스토그램의 마지막 빈 값으로 저장한다.

또한, 상기 가상 히스토그램 생성부는, 노출 배수를 1보다 작게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 작은 경우 상기 가상 히스토그램의 마지막 빈의 수가 상기 산출된 히스토그램의 빈의 수와 동일해지도록 상기 가상 히스토그램의 마지막 빈 직전의 빈의 값을 상기 산출된 히스토그램의 나머지 빈의 수만큼 저장한다.

본 발명에 따른 카메라 노출 제어 방법은 입력된 영상 데이터로부터 히스토그램을 산출하여 저장하는 단계; 상기 산출된 히스토그램을 기반으로 노출을 변화시켜 적용한 가상 히스토그램을 생성하는 단계; 상기 가상 히스토그램에 형성된 홀을 필터링하여 최종 히스토그램을 생성하는 단계; 상기 최종 히스토그램에 대해 균일화를 수행하는 단계; 및 상기 균일화된 히스토그램에 따른 노출값을 적용하는 단계를 포함할 수 있다.

또한, 상기 가상 히스토그램을 생성하는 단계는, 노출 배수를 1보다 크게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 큰 경우, 상기 가상 히스토그램의 빈 중 상기 산출된 히스토그램의 마지막 빈 이후의 값을 누적 합산하여 상기 가상 히스토그램의 마지막 빈 값으로 저장할 수 있다.

또한, 상기 가상 히스토그램을 생성하는 단계는, 노출 배수를 1보다 작게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 작은 경우 상기 가상 히스토그램의 마지막 빈의 수가 상기 산출된 히스토그램의 빈의 수와 동일해지도록 상기 가상 히스토그램의 마지막 빈 직전의 빈의 값을 상기 산출된 히스토그램의 나머지 빈의 수만큼 저장할 수 있다.

또한, 상기 최종 히스토그램을 생성하는 단계는 상기 가상 히스토그램의 빈(bin)의 인덱스를 증가시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 좌측 빈의 값을 가져와 저장하여 제 1 임시 히스토그램을 생성하고, 상기 가상 히스토그램의 빈(bin)의 인덱스를 감소시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 우측 빈의 값을 가져와 저장하여 제 2 임시 히스토그램을 생성할 수 있다.

또한, 상기 최종 히스토그램을 생성하는 단계는 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈 중 하나라도 제로값이 있으면 제로값으로 저장하고 상기 제로값이 아닌 경우 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈의 평균값으로 저장하여 상기 최종 히스토그램을 생성할 수 있다.

본 기술은 카메라 영상 촬영 시 최적의 노출 조건을 제공하여 이미지 품질을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 카메라 노출 제어 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 카메라 노출 제어 방법을 나타내는 순서도이다.
도 3은 도 2의 가상 히스토그램 생성 방법을 설명하는 순서도이다.
도 4는 도 2의 가상 히스토그램 홀 필터링 방법을 설명하는 순서도이다.
도 5a는 본 발명의 실시예에 따른 세츄레이션된(saturation) 가상 히스토그램의 예시도이다.
도 5b는 본 발명의 실시예에 따른 세츄레이션되고 노출배수가 1보다 작고 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 작은 경우의 가상 히스토그램의 예시도이다.
도 5c는 본 발명의 실시예에 따른 세츄레이션되고 노출배수가 1보다 작고 ㅇ임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 큰 경우의 가상 히스토그램의 예시도이다.
도 6a는 입력 영상으로 산출된 원본 히스토그램의 예시도이다.
도 6b는 도 6a의 히스토그램에 노출을 2배로 적용한 경우 홀이 생기는 현상을 설명하기 위한 도면이다.
도 7a는 본 발명의 실시예에 따른 가상 히스토그램의 예시도이다.
도 7b는 본 발명의 실시예에 따른 제 1 임시 히스토그램의 예시도이다.
도 7c는 본 발명의 실시예에 따른 제 2 임시 히스토그램의 예시도이다.
도 7d는 본 발명의 실시예에 따른 최종 히스토그램의 예시도이다.
도 8은 본 발명의 실시예에 따른 히스토그램 균일화를 설명하기 위한 그래프이다.
도 9a는 고정 노출 시 동공 및 글린트 인식 실패한 경우의 예시도이다.
도 9b는 본 발명의 실시예에 따른 노출 제어를 수행하여 동공 및 글린트 검출 성공률이 증가한 예시도이다.
도 10은 본 발명의 실시예에 따른 카메라 노출 제어 알고리즘을 적용한 하드웨어 구성을 나타내는 도면이다.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.

이하, 도 1 내지 도 10을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 카메라 노출 제어 시스템의 구성도이다.

본 발명의 실시예에 따른 카메라 노출 제어 시스템은 히스토그램 산출부(200), 히스토그램 저장부(300), 가상 히스토그램 생성부(400), 제 1 임시 히스토그램 저장부(500), 제 2 임시 히스토그램 저장부(600), 히스토그램 홀 필터링부(700), 히스토그램 균일화부(800), 최적 노출 설정부(900)를 포함한다.

히스토그램 산출부(200)는 영상 데이터가 입력되면 히스토그램 산출부(200)는 영상 데이터로부터 히스토그램을 산출한다.

히스토그램 저장부(300)는 히스토그램 산출부(200)에서 산출된 히스토그램을 저장한다. 이때, 영상 데이터로부터 산출된 히스토그램을 원본 히스토그램이라 명한다.

가상 히스토그램 생성부(400)는 히스토그램 저장부(300)에 저장된 원본 히스토그램을 기준으로 노출을 변화시켜 노출값 별로 가상 히스토그램을 생성한다.

도 5a, 도 5b, 도 5c를 참조하여 가상 히스토그램을 생성하는 방법을 설명하면 아래와 같다. 여기서, 빈(bin)은 히스토그램이 값을 갖는 각 슬롯(slot)을 나타내며 빈스(bins)는 히스토그램의 단계수를 가리킨다. 따라서, 빈스(bins)는 히스토그램의 마지막 슬롯의 번호를 나타낼 수 있다.

먼저, 원본 히스토그램에 대해 노출을 k배 증가시켜 가상 히스토그램을 생성하는데, k가 1보다 큰값인 경우와 k가 1보다 작은 값인 경우로 구분하여 설명하기로 한다.

도 5a는 세츄레이션(saturation)된 히스토그램을 나타낸다.

도 5a를 참조하면, 원본 히스토그램에 대해 노출을 k배 증가시켜 가상 히스토그램을 생성하기로 한다. G*bin의 히스토그램 값을 round(k*bins)bin으로 이동시킨다. 이때, round(k*bins)bin의 값이 빈스(bins) 값을 넘을 경우 누적 합산한다. 이때, G는 픽셀값을 의미한다.

예를 들어, 265개의 픽셀값(명암값)이고 k가 2인 경우, 히스토그램의 노출을 2배로 증가시킴으로써 256개가 512개가 된다. 이때, 256을 넘어서는 257에서 512의 값은 256 즉 빈스(bins) 값에 누적하여 합산한다.

한편, k가 1보다 작은 경우는 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 작은 경우와 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 큰 경우로 구분될 수 있다. 여기서 round(k*bins)는 k배 노출한 히스토그램의 빈스(bins) 값을 의미하고, 히스토그램(bins-1)는 히스토그램에서 맨 끝 빈스(bins)의 이전 값을 의미하고 round(k*bins는 총 픽셀값에 노출배수를 곱한 값을 의미한다.

도 5b는 k가 1보다 작은 경우에서 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 작은 경우의 가상 히스토그램의 예시도이고, 도 5c는 k가 1보다 작은 경우에서 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 큰 경우의 가상 히스토그램의 예시도이다.

도 5b를 참조하면 세츄레이션되고 k가 1보다 작은 경우에서 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins)*히스토그램(bins-1)보다 작은 경우, 히스토그램(bins-1)의 값으로 round(k*bins)값과 같아질 때까지 채운다. 예를 들어, 256 픽셀값을 갖는 히스토그램이 있을 때, k가 0.5인 경우, 256*0.5이므로 픽셀값이 128개가 되어 128개가 부족하게 된다. 이에, 마지막 바로 전 포화되기 전의 히스토그램 값히스토그램(bins-1)으로 채우고 129에서 256까지의 픽셀값을 채워서 총 256 픽셀값을 가지는 가상 히스토그램을 생성하게 된다.

빈스(Bins)는 빈(bin)의 개수고 따라서 히스토그램의 가장 큰 빈(bin)의 값이므로 최대 밝기에 해당한다. 임시히스토그램 Round(k*bins)는 1보다 작은 노출배수에 의해 원본 히스토그램의 최대 밝기가 얼마나 작아지는가를 나타낸다. 따라서 임시히스토그램 round(k*bins)은 세츄레이션(saturation)된 히스토그램의 값이 1보다 작은 노출배수에 의해 임시히스토그램의 round(k*bins)로 이동된다는 것을 의미한다. 여기서 세츄레이션된 값은 실제 그레이값을 모르기 때문에 노출에 따라 이동해봐야 의미가 없으며 의미가 있는 값중 가장 높은 레벨값은 원본 히스토그램의 세츄레이션되기 직전값인 히스토그램(bins-1) 이다. 이 값은 k에 의해 줄어도 물리적으로 합당하며 이 값을 이용하여 가상히스토그램상의 임시히스토그램 round(k*bins) 보다 큰 빈(bin)들에 가상적인 히스토그램값을 생성한다. 모든 빈(bin)을 k배 하여 이동하면 임시히스토그램상에는 round(k*bins)이후의 빈(bin)들은 비어 있게 된다. 하지만 세츄레이션되었다는 것은 그 이후에도 값들이 있을 것임을 나타내기 때문에 비어있는 빈(bin)도 채울 필요가 있으며 위에서 생성된 히스토그램 값들의 합은 세추레이션된 값과 동일하게 맞추어져야 합니다.

빈들(Bins)과 round(k*bins)의 차이는 bins-round(k*bins)+1 개의 채워야 할 점이 있으며 위의 히스토그램(bins-1)로 빈 점을 채웠을 때 이 채운 점들의 합이 (bins-round(k*G)*histogram(bins-1)가 된다. 그리고 채운점들의 합이 실제 세츄레이션된 값인 임시히스토그램(round(k*bins)과 큰지 작은지를 비교해 본 것이다.

만약 세츄레이션된 된 값보다 합이 크다면 합이 같아질 때까지 채워야 될 점을 채우면 되고 합이 작다면 채우고도 모자란 값은 임시히스토그램(bins)에 더해주어야 한다.

도 5c를 참조하면, k가 1보다 작은 경우에서 임시히스토그램 round(k*bins)의 값이 (bins-round(k*bins*히스토그램(bins-1)보다 큰 경우 히스토그램(bins-1)의 값으로 round(k*bins)값과 같아질 때까지 채우고 부족한 부분을 빈스의 값에 더한다. 즉, 도 5c는 히스토그램(bins-1) 의 값으로 임시히스토그램의 빈 곳을 채워도 세츄레이션된 값을 전부 맞추지 못한 경우이다.

이미 포화(Saturation) 되어 있는 상태에서는 노출이 낮아졌을 때 포화된 픽셀들이 어떻게 반응할 지 알 수 없으므로 일단 포화되지 않은 직전 히스토그램 값히스토그램(bins-1)으로 채우고 그래도 부족한 부분은 다시 포화시키는 것이다.

이렇게 생성된 가상 히스토그램은 노출배수에 따라 히스토그램이 늘려지면 값이 존재하지 않는 홀(hole)이 생기게 된다. 예를 들어, 도 6a와 같이 원본 히스토그램에 대해 노출을 2배로 증가시키면 도 6b와 같이 1, 3, 5 그레이에는 값이 존재하지 않는 홀이 생기게 된다.

이에, 히스토그램 홀 필터링부(700)는 가상 히스토그램의 홀 필터링을 수행하여 제 1 임시 히스토그램 및 제 2 임시 히스토그램을 생성하고 제 1 히스토그램 및 제 2 임시 히스토그램으로부터 최종 히스토그램을 생성한다. 이때, 본 발명에서는 편의상 제 1 임시 히스토그램 및 제 2 임시 히스토그램, 즉 2개의 임시 히스토그램을 생성하는 예를 개시하고 있으나 이러한 임시 히스토그램의 수는 2개로 한정되는 것이 아니라 n개로 형성될 수 있다.

예를 들어, 도 7a와 같이 홀을 가지는 가상 히스토그램이 있다고 가정하자.

히스토그램 홀 필터링부(700)는 도 7a의 가상 히스토그램의 k를 증가시키면서 k번째 빈(bin)이 "0"인 경우 좌측 값을 가져와 도 7b와 같은 제 1 임시 히스토그램을 생성한다.

한편, 히스토그램 홀 필터링부(700)는 도 7a의 가상 히스토그램의 k를 감소시키면서 k번째 빈(bin)이 "0"인 경우 우측 값을 가져와 도 7c와 같은 제 2 임시 히스토그램을 생성한다.

그 후, 히스토그램 홀 필터링부(700)는 제 1 임시 히스토그램과 제 2 임시 히스토그램 중에서 하나라도 "0"이면 "0"의 값을 선택하고 둘 다 "0"이 아닌 경우제 1 임시 히스토그램과 제 2 임시 히스토그램의 평균값을 선택하여 저장함으로써 도 7d와 같은 최종 히스토그램을 생성한다.

이어서, 히스토그램 홀 필터링부(700)는 전체 빈(bin)의 합이 동일해야 하므로 bins-1까지의 값을 1/k 배 한다.

제 1 임시 히스토그램 저장부(500)는 가상 히스토그램 및 제 1 임시 히스토그램을 저장하고, 제 2 임시 히스토그램 저장부(600)는 제 2 임시 히스토그램을 저장한다. 이때, 임시 히스토그램 저장부로서 제 1 임시 히스토그램 저장부(500)와 제 2 임시 히스토그램 저장부(600)의 2개를 개시하고 있으나 이에 한정되는 것이 아니라 임시 히스토그램의 수에 따라 임시 히스토그램 저장부의 수가 변경될 수 있다. 또한, 가상 히스토그램을 저장하는 별도의 저장부를 구비할 수 있다.

여기서, 가상 히스토그램은 원본 히스토그램을 바탕으로 생성되고, 제 1 임시 히스토그램 및 제 2 임시 히스토그램은 가상 히스토그램을 바탕으로 생성될 수 있다.

이 후, 히스토그램 균일화부(800)는 히스토그램 홀 필터링부(700)에서 홀 필터링되어 생성된 최종 히스토그램에 대해 균일화(uniformity)를 수행한다. 이때, 이미지의 품질과 직접적인 관련이 있는 로컬 콘트라스트는 히스토그램의 균일화에 의해 좌우된다. 히스토그램이 가장 정량화한 상태인 경우 이미지 품질이 좋아지며 도 8은 본 발명의 실시예에 따른 히스토그램 균일화를 설명하기 위한 그래프이다. 도 8을 참조하면 로컬 컨트라스트와 히스토그램의 균일화는 반비례의 상관관계를 가지며,도 8은 동일한 장면에 대해 노출을 증가시켜가면서 로컬 컨트라스트와 히스토그램 균일화를 도식화한 것이다.

본 발명에서는 히스토그램 데이터의 분산값을 사용하여 데이터간의 편차가 클수록 값이 커지도록 하여, 가상 히스토그램 중 분산값이 가장 클 때 이미지 품질도 비례해서 좋아진다고 가정하였다. 도 8의 그래프에서 균일화를 1/분산값으로 정의하여 그래프상에서는 반비례 관계가 된다.

하지만 지수가 반드시 분산값으로 한정될 필요는 없으며 평균과 데이터들과의 차의 제곱의 합인 분산값 외에도 평균과 데이터들과의 차의 절대값이 될 수도 있고 푸리에 변환등을 통해 균일화 파라미터를 도출할 수도 있다.

또한, 균일화를 1/분산값 으로 정의하였지만 이것은 연구자에 의해 언제든 변경될 수 있으며 이미지 품질은 흑과 백이 명백히 구분될 때 좋아지므로 히스토그램 데이터가 넓은 범위에 산포될수록 좋다. 따라서 정량화지수는 분산값을 예시로 제시하고 그 기능에 준하는 균일화 등 데이터 산포를 대변할 수 있는 값이면 사용이 가능하다.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 카메라 노출 제어 방법을 구체적으로 설명하기로 한다.

먼저, 영상 데이터가 입력되면 히스토그램 산출부(200)는 영상 데이터로부터 히스토그램을 산출하여 히스토그램 저장부(300)에 저장한다(S100). 이때, 산출된 히스토그램을 원본 히스토그램이라 칭한다.

가상 히스토그램 생성부(400)는 저장된 원본 히스토그램을 기준으로 노출을 변화시켜 노출값 별로 가상 히스토그램을 생성하여 저장한다(S200).

히스토그램 홀 필터링부(700)는 생성된 가상 히스토그램에 대해 홀 필터링을 수행하여 최종 히스토그램을 생성한다(S300).

이 후, 히스토그램 균일화부(800)는 최종 히스토그램에 대해 균일화(uniformity)를 수행한다(S400)

이어서, 최적 노출 설정부(900)는 균일화된 히스토그램에 맞춰 노출값을 설정한다(S500).

이 후, 카메라(100)는 최적의 노출값을 적용하여 피사체를 촬영한다.

이처럼 본 발명은 입력된 영상데이터로부터 한번 산출된 히스토그램을 바탕으로 노출을 변화시킨 가상 히스토그램을 생성하고, 가상 히스토그램에 대해 홀 필터링을 수행하여 가상 히스토그램 중 가장 이미지 품질이 높을 것으로 예상되는 노출을 선택하여 선택된 노출로 다음 이미지를 획득할 수 있도록 한다.

이하, 도 3을 참조하여 도 2의 가상 히스토그램을 생성하는 방법을 구체적으로 설명하기로 한다. 도 2의 가상 히스토그램 생성 방법은 가상 히스토그램 생성부(400)가 주체이고 본 발명의 히스토그램은 1에서 빈스(bins)까지의 값이 존재하고 빈스는 히스토그램 범위의 최대값을 의미한다. 또한, 본 발명의 가상 히스토그램은 제 1 임시 히스토그램 저장부(500)에 저장된다.

k가 노출 배수이고 i가 히스토그램의 빈(bin)의 인덱스라고 할 때, i=0부터 시작한다(S201).

가상 히스토그램 생성부(400)는 히스토그램의 빈의 인덱스를 1 증가시키고(S202), Round(k*i)가 빈스(bins)의 값보다 크거나 같은지를 판단한다(S203). 즉, k배한 값이 마지막값인 빈스(bins)값을 넘는지를 판단한다. 예를 들어, 256 픽셀값을 가지는 경우 k배한 값이 256을 넘는지를 판단한다.

가상 히스토그램 생성부(400)는 Round(k*i)가 빈스(bins)의 값보다 크거나 같은 경우, 누적합산하여 제 1 임시 히스토그램 저장부(500)에 저장함으로써 가상 히스토그램을 생성한다(S204).

한편, 가상 히스토그램 생성부(400)는 Round(k*i)가 빈스(bins)의 값보다 작은 경우, 해당 값을 제 1 임시 히스토그램 저장부(500)의 해당 인덱스에 저장한다(S205).

그 후, 가상 히스토그램 생성부(400)는 빈의 인덱스 i가 마지막 인덱스인 빈스(bins)보다 작은지를 판단하여(S206), 빈의 인덱스 i가 마지막 인덱스인 빈스(bins)보다 작으면 상기 과정 S202~S205를 반복 수행한다.

반면 빈의 인덱스 i가 마지막 인덱스인 빈스(bins)보다 크거나 같으면 가상 히스토그램 생성부(400)는 노출배수인 k가 1과 같거나 1보다 큰지를 판단한다(S207).

그 후, 노출 배수 k 가 1과 같거나 1보다 큰 경우 히스토그램 생성부(400)는 히스토그램 홀 필터링부(700)로 가상 히스토그램을 전송한다(S215).

한편, 노출 배수 k 가 1보다 작은 경우 히스토그램 생성부(400)는 히스토그램의 포화(saturation) 여부를 판별한다(S208).

가상 히스토그램 생성부(400)는 히스토그램이 포화된 경우 가상 히스토그램을 히스토그램 홀 필터링부(700)로 전송하고 히스토그램이 포화되지 않은 경우 히스토그램의 빈스값(bins)을 직전값( bins-1)으로 나누어 y 좌표값을 구하고, y좌표값을 정수화(Ceil)하여 x값을 산출한다(S209).

그 후 가상 히스토그램 생성부(400)는 x값이 bins-round(k*bins)+1보다 큰지를 판단한다(S210).여기서 (bins-round(k*bins)+1는 임시히스토그램상 채워야할 빈의 개수이다.

여기서, x값이 bins-round(k*bins)+1보다 작으면 가상 히스토그램 생성부(400)는 포화 직전 값으로 round(k*bins)값과 같아질 때까지 채운다(S211). 즉, 원본 히스토그램의 빈이 256이고 k가 0.5이면 128이 되므로 129에서 255까지를 127번째 값으로 채운다. 그 후, 가상 히스토그램 생성부(400)는 bins-1*(y-x)값을 마지막 값으로 처리한다(S212).

한편, x값이 bins-round(k*bins)+1보다 크면 가상 히스토그램 생성부(400)는 포화 직전 값으로 round(k*bins)값과 같아질 때까지 채우고 부족한 부분을 빈스의 값에 더한다(S213, S214).

이하, 도 4를 참조하여 가상 히스토그램을 홀 필터링 하는 방법을 구체적으로 설명하기로 한다. 가상 히스토그램 홀 필터링 방법은 모두 히스토그램 홀 필터링부(700)가 주체이다.

먼저, 히스토그램 홀 필터링부(700)는 제 1 임시 히스토그램저장부(500)에 저장되어 있는 가상 히스토그램을 제 2 임시 히스토그래저장부(600)에 복사한다(S301).

히스토그램 홀 필터링부(700)는 가상 히스토그램의 인덱스 i=0부터 시작하여(S302), 가상 히스토그램의 인덱스 i를 1 증가시키고(S303), 제 1 임시 히스토그램 저장부(500)에 저장된 가상 히스토그램의 인덱스 i의 값이 0인지 판단한다(S304).

가상 히스토그램의 인덱스 i가 0이 아니면 상기 과정 S303를 반복 수행하여 i를 1씩 증가시키면서 값이 0인 인덱스가 존재하는 지를 판단한다.

가상 히스토그램의 인덱스 i가 0의 값을 가지면, 히스토그램 홀 필터링부(700)는 가상 히스토그램의 인덱스 i의 좌측의 인덱스 i-1의 값을 인덱스 i에 저장한다(S305). 이로써 제 1 임시 히스토그램이 생성된다.

그 후, 히스토그램 홀 필터링부(700)는 해당 인덱스 i가 빈스 직전 인덱스(bins-1)보다 작은지를 판단하여(S306), 해당 인덱스 i가 빈스 직전 인덱스(bins-1)보다 작으면 상기 과정 S303~S306을 반복 수행하고 해당 인덱스 i가 빈스 직전 인덱스(bins-1)보다 크면 인덱스 i를 마지막 인덱스인 빈스라고 지정한다(S307).

그 후, 히스토그램 홀 필터링부(700)는 마지막 인덱스인 빈스에서 1을 감소시키고(S308), 제 2 임시 히스토그램 저장부(600)의 가상 히스토그램의 인덱스 i의 값이 0인지를 판단한다(S309). 즉, 마지막 인덱스인 빈스부터 1씩 감소시키며 값이 0인지를 판단하는 것이다.

이어서, 히스토그램 홀 필터링부(700)는 해당 인덱스가 0의 값을 가지지 않으면 상기 과정 S308을 반복하여 인덱스를 1씩 감소시키고, 해당 인덱스 i가 0의 값을 가지면 해당 인덱스 i의 우측의 인덱스 i+1의 값을 해당 인덱스(i)에 저장한다(S310). 이로써, 제 2 임시 히스토그램이 생성된다.

이 후 제 1 임시 히스토그램과 제 2 임시 히스토그램으로부터 최종 히스토그램을 생성한다.

먼저 히스토그램 홀 필터링부(700)는 인덱스 i가 1보다 큰지를 판단하여(S311), 인덱스 i가 1보다 크면 상기 과정 S308 내지 S310을 반복수행한다.

인덱스 i가 1보다 작으면 i=0으로 설정하고(S312), 인덱스 i를 1 증가시킨다(S313).

히스토그램 홀 필터링부(700)는 제 1 임시 히스토그램과 제 2 임시 히스토그램의 각 인덱스를 비교하여 둘 중 하나라도 0의 값을 갖는지를 판단한다(S314).

제 1 임시 히스토그램과 제 2 임시 히스토그램의 각 인덱스를 비교하여 모두 0의 값을 갖지 않는 경우, 히스토그램 홀 필터링부(700)는 제 1 임시 히스토그램과 제 2 임시 히스토그램의 각 인덱스의 평균값을 해당 인덱스에 저장시킨다(S316).

한편, 제 1 임시 히스토그램과 제 2 임시 히스토그램의 각 인덱스를 비교하여 둘 중 하나라도 0의 값을 갖는 경우, 히스토그램 홀 필터링부(700)는 해당 인덱스에 0의 값을 저장한다(S315).

그 후, 히스토그램 홀 필터링부(700)는 i가 빈스보다 작은지를 판단하여(S317), 작은 경우 상기 과정 S313 내지 S316을 반복 수행한다. i가 빈스보다 큰 경우 저장된 최종 히스토그램에 대해 1/k배 하여, 원본 히스토그램의 빈의 합계와 동일하도록 만든다(S318).

도 9a는 고정 노출 시 동공 및 글린트 인식 실패한 경우의 예시도이고, 도 9b는 본 발명의 실시예에 따른 노출 제어를 수행하여 동공 및 글린트 검출 성공률이 증가한 예시도이다.

도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

입력된 영상으로부터 히스토그램을 산출하는 히스토그램 산출부;
상기 산출된 히스토그램에 노출을 다르게 적용하여 가상 히스토그램을 생성하는 가상 히스토그램 생성부;
상기 가상 히스토그램에 생성된 홀을 필터링하여 최종 히스토그램을 생성하는 히스토그램 홀 필터링부;
상기 최종 히스토그램에 대해 균일화를 수행하는 히스토그램 균일화부; 및
상기 균일화된 히스토그램에 따른 노출값을 적용하는 최적 노출 설정부
를 포함하는 카메라 노출 제어 시스템.
청구항 1에 있어서,
상기 산출된 히스토그램을 저장하는 히스토그램 저장부;
를 더 포함하는 것을 특징으로 하는 카메라 노출 제어 시스템.
청구항 1에 있어서,
상기 히스토그램 홀 필터링부는,
상기 가상 히스토그램의 빈(bin)의 인덱스를 증가시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 좌측 빈의 값을 가져와 저장하여 제 1 임시 히스토그램을 생성하고,
상기 가상 히스토그램의 빈(bin)의 인덱스를 감소시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 우측 빈의 값을 가져와 저장하여 제 2 임시 히스토그램을 생성하는 것을 특징으로 카메라 노출 제어 시스템.
청구항 3에 있어서,
상기 제 1 임시 히스토그램을 저장하는 제 1 임시 히스토그램 저장부; 및
상기 제 2 임시 히스토그램을 저장하는 제 2 임시 히스토그램 저장부
를 더 포함하는 것을 특징으로 하는 카메라 노출 제어 시스템.
청구항 3에 있어서,
상기 히스토그램 홀 필터링부는,
상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈 중 하나라도 제로값이 있으면 제로값으로 저장하고 상기 제로값이 아닌 경우 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈의 평균값으로 저장하여 상기 최종 히스토그램을 생성하는 것을 특징으로 하는 카메라 노출 제어 시스템.
청구항 5에 있어서,
상기 히스토그램 홀 필터링부는,
상기 최종 히스토그램의 각 빈의 값을 1/k(k는 노출배수)배 하여 상기 최종 히스토그램의 전체 빈의 합이 상기 산출된 히스토그램의 전체 빈의 합과 동일하도록 하는 것을 특징으로 하는 카메라 노출 제어 시스템.
청구항 1에 있어서,
상기 가상 히스토그램 생성부는,
노출 배수를 1보다 크게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 큰 경우, 상기 가상 히스토그램의 빈의 수와 상기 산출된 히스토그램의 빈의수의 차이인 나머지 빈의 값을 누적하여 상기 가상 히스토그램의 빈의 수와 상기 산출된 히스토그램의 빈의수가 동일해지도록 상기 가상 히스토그램의 마지막 빈에 저장하는 것을 특징으로 카메라 노출 제어 시스템.
청구항 1에 있어서,
상기 가상 히스토그램 생성부는,
노출 배수를 1보다 작게 설정하고 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 작은 경우 상기 가상 히스토그램의 빈들의　값의 합이　상기 산출된 히스토그램의 빈들의 값의 합과 동일해지도록 상기 가상 히스토그램의 마지막 빈 직전 빈의 값을 이후의 빈들에 저장하는 것을 특징으로 하는 카메라 노출 제어 시스템.
입력된 영상 데이터로부터 히스토그램을 산출하여 저장하는 단계;
상기 산출된 히스토그램을 기반으로 노출을 변화시켜 적용한 가상 히스토그램을 생성하는 단계;
상기 가상 히스토그램에 형성된 홀을 필터링하여 최종 히스토그램을 생성하는 단계;
상기 최종 히스토그램에 대해 균일화를 수행하는 단계; 및
상기 균일화된 히스토그램에 따른 노출값을 적용하는 단계
를 포함하는 것을 특징으로 하는 카메라 노출 제어 방법.
청구항 9에 있어서,
상기 가상 히스토그램을 생성하는 단계는,
노출 배수를 1보다 크게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 큰 경우, 상기 가상 히스토그램의 빈의 수와 상기 산출된 히스토그램의 빈의 수의 차이인 나머지 빈의 값을 누적하여 상기 가상 히스토그램의 빈의수와 상기 산출된 히스토그램의 빈의수가 동일해지도록 상기 가상 히스토그램의 마지막 빈에 저장하는 것을 특징으로 하는 카메라 노출 제어 방법.
청구항 9에 있어서,
상기 가상 히스토그램을 생성하는 단계는,
노출 배수를 1보다 작게 설정하여 상기 가상 히스토그램의 빈의 수가 상기 산출된 히스토그램의 빈의 수보다 작은 경우 상기 가상 히스토그램의 빈들의　값의 합이　상기 산출된 히스토그램의 빈들의 값의 합이 동일해지도록 상기 가상 히스토그램의 마지막 빈 직전 빈의 값을 상기 가상 히스토그램의 마지막 빈 이후의 빈들에 저장하는 것을 특징으로 하는 카메라 노출 제어 방법.
청구항 9에 있어서,
상기 최종 히스토그램을 생성하는 단계는
상기 가상 히스토그램의 빈(bin)의 인덱스를 증가시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 좌측 빈의 값을 가져와 저장하여 제 1 임시 히스토그램을 생성하고,
상기 가상 히스토그램의 빈(bin)의 인덱스를 감소시키면서 값이 제로인 홀이 존재하는 경우 상기 홀의 우측 빈의 값을 가져와 저장하여 제 2 임시 히스토그램을 생성하는 것을 특징으로 하는 카메라 노출 제어 방법.
청구항 12에 있어서,
상기 최종 히스토그램을 생성하는 단계는
상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈 중 하나라도 제로값이 있으면 제로값으로 저장하고 상기 제로값이 아닌 경우 상기 제 1 임시 히스토그램과 상기 제 2 임시 히스토그램의 빈의 평균값으로 저장하여 상기 최종 히스토그램을 생성하는 것을 특징으로 하는 카메라 노출 제어 방법.