KR101637637B1 - 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치 - Google Patents

Abstract

비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치가 개시된다. 자동 노출 장치는, 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부; 및 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부를 포함할 수 있다.

Description

비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치{METHOD AND APPARATUS FOR LOCAL AUTO EXPOSURE IN VIDEO SENSOR SYSTEMS}

본 발명의 실시예들은 비디오 센서의 노출(exposure)을 자동 보정하는 기술에 관한 것이다.

영상 기기에서는 입력 영상의 노출을 적정 상태로 보정하는 과정(이하, '자동 노출'이라 칭함)이 중요하다. 이때, 자동 노출은 영상의 밝기값을 미리 설정된 목표값에 부합되도록 비디오 센서의 노출을 조절할 수 있다.

예컨대, 한국등록특허 제10-0641188호(등록일 2006년 10월 25일)에서는 현재 영상 프레임의 평균 휘도값과 미리 설정된 목표 휘도값의 차이에 따른 수렴 계수값을 근거로 자동 노출을 보정하는 기술이 개시되어 있다.

영상 기기에 적용되는 비디오 센서 시스템은 외부에서 입사되는 빛이 각 화소에서 전기적 신호로 변환되어 전기적 신호의 크기로 광량을 측정하는 방식으로 작동한다.

좀 더 자세히는, 첫 단계에서 광자가 전하로 변환되어 일정 노출 시간(exposure time) 동안 각 화소에 축적되고, 화소의 전하량을 읽어내는 별도의 단계에서 축적된 전하의 양을 측정하여 영상을 구성하게 된다. 이때, 노출 시간이 너무 짧으면 화소 간 값의 차이가 작고 잡영(noise) 때문에 영상을 알아보기 어렵고, 노출 시간이 너무 길면 화소 내에 축적할 수 있는 최대 전하량이 포화되어 영상을 알아볼 수 없다.

다시 말해, 비디오 센서에 들어오는 상이 영역 별로 명암 차이가 심각한 경우에 하나의 노출 시간으로 모든 영역의 물체를 선명하게 촬영하기에 어려움이 있다.

예를 들어, 도 1을 참조하면 햇빛이 비추는 문을 등지고 위치한 물체를 촬영한 영상(100)에서 열린 문이 위치한 영역(101)은 매우 밝으나 영상(100)의 우측 영역인 물체가 위치한 영역(102)은 역광으로 어둡게 나타난다. 이때, 노출을 물체가 위치한 영역(102)에 맞추면 문 밖의 경치가 너무 밝아져서 포화(saturation) 현상이 발생하고, 문 밖 영역(101)에 노출 시간을 맞추면 물체가 위치한 영역이 더욱 어둡게 처리되어 물체가 보이지 않는 저노출(under-exposure) 현상이 발생한다.

종래의 자동노출 기법으로 노출을 조절한다 하더라도 영상 자체에 어두운 부분과 밝은 부분이 섞여 있는 경우에는 포화를 회피하고자 하면 어두운 부분의 저노출이 일어나고 저노출을 회피하고자 하면 밝은 부분의 포화가 일어나는 것을 피할 수 없다.

이러한 문제를 해결하기 위하여, 일반적인 사진이나 비디오 촬영에서는 주 피사체가 존재하는 일부 영역에 노출을 맞추어 다른 피사체의 저노출이나 포화를 감수하는 것이 가능하다. 그러나, CCTV와 같은 감시 카메라 등과 같이 주요 피사체를 특정할 수 없거나, 어두운 부분과 밝은 부분에서 일어나는 이벤트를 동시에 감지해야 하는 경우에는 이러한 자동 노출 방법이 한계를 가지게 된다.

저노출과 포화가 동시에 일어나는 영상의 문제를 해결하기 위한 다른 예로, 서로 다른 노출 시간을 가진 두 장의 사진을 찍어서 이를 합성하는 방법으로 WDR(wide dynamic range)을 구현하였다. 그러나, 기존 WDR 기법은 물체가 움직이지 않아야 한다는 전제를 필요로 하며, 이전 프레임의 노출에 대한 분석 및 피드백을 요구하지 않는다. 특히, WDR은 카메라의 다이내믹 레인지를 넓혀서 모든 영역을 커버하는 것을 목표로 한다. 그리고, WDR은 모든 영역에서 입력 밝기 및 출력 사이의 관계에 대한 동일한 전달 함수를 사용한다. 따라서, WDR은 영상 내에서 빠른 시간에 적은 에너지로 이벤트(예컨대, 무단 침입 등)를 감지해야 하는 경우에는 더욱 적합하지 못하다. 아래에서 상세히 설명하겠지만, 본 발명은 여러 영역들 각각에 대하여 서로 다른 입력 밝기 및 출력 사이의 관계에 대한 전달 함수를 사용하는 한편, 다이내믹 레인지가 충분하지 않아도 피드백을 통하여 영역들 각각에 대하여 적절한 노출을 도출할 수 있다.

영상의 전체 영역에 대하여 포화 현상과 저노출 현상을 모두 회피할 수 있는 자동 노출 방법 및 그 장치를 제공한다.

영상의 영역 별로 차별화 된 다중 노출 기능을 구현할 수 있는 자동 노출 방법 및 그 장치를 제공한다.

본 발명의 실시예에 따르면, 자동 노출 장치는, 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부; 및 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부를 포함할 수 있다.

일 측면에 따르면, 상기 영상 센서부는, 노출 시간 또는 이득을 조절하기 위한 전기적 셔터가 상기 영역 별로 각각 구성될 수 있다.

다른 측면에 따르면, 상기 영상 신호 처리부는, 상기 영상 센서부로부터 이전 노출값이 적용된 영상을 전달 받아 상기 영역 각각에 대하여 최대 화소값을 측정한 후 상기 최대 화소값과 상기 이전 노출값을 이용하여 상기 영역 별 노출 보정값을 결정하고 상기 영역 별 노출 보정값에 따라 상기 영역 각각에 대한 노출 시간을 제어할 수 있다.

또 다른 측면에 따르면, 상기 영상 신호 처리부는, 상기 영역의 노출값을 이용하여 해당 영역의 경계(edge)에 해당되는 화소의 노출값을 보간할 수 있다.

본 발명의 실시예에 따르면, 모니터링 시스템은, 영상을 촬영하는 촬영 수단; 및 상기 촬영 수단에서 촬영된 영상을 분석하여 특정 이벤트의 발생 여부를 판단하는 이벤트 감지부를 포함할 수 있으며, 이때 상기 촬영 수단은, 상기 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부와, 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부를 포함할 수 있다.

본 발명의 실시예에 따르면, 자동 기록 시스템은, 영상을 촬영하는 촬영 수단; 및 특정 이벤트가 감지되면 상기 촬영 수단을 통해 촬영된 영상을 기록하는 영상 기록부를 포함할 수 있으며, 이때 상기 촬영 수단은, 상기 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부와, 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부를 포함할 수 있다.

본 발명의 실시예에 따르면, 이미지 센서의 노출(exposure)을 자동 조절하는 자동 노출 방법은-상기 이미지 센서는 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되고-, 상기 이미지 센서에 대하여 상기 영역 별로 해당 영역의 노출을 개별적으로 제어하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 이미지 센서의 화소들을 영역 별로 구분하여 이미지 시그널 프로세서(ISP)에서의 노출 측정과 이미지 센서(IS)에서의 노출 조정을 영역 별로 별도로 처리함으로써 영상 전체에서 저노출과 포화를 동시에 회피할 수 있다. 따라서, CCTV와 같은 감시 카메라 등과 같이 주요 피사체를 특정할 수 없는 환경에서 지역적으로 나타날 수 있는 모든 이벤트를 놓치지 않고 정확히 감지할 수 있다.

본 발명의 실시예에 따르면, 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 부드럽게 보간 처리함으로써 시각적인 방해 요소를 제거할 수 있을 뿐 아니라 영상 분석이나 활용 시에 영상 내 유효한 정보를 훼손하지 않는 질적인 영상을 제공할 수 있다.

도 1은 포화(saturation)와 저노출(under-exposure)이 동시에 일어나는 영상의 예시를 도시한 것이다.
도 2는 본 발명의 일 실시예에 있어서, 영역 별 노출 제어가 가능한 자동 노출 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 있어서, 영역 별 노출 제어를 위한 이미지 센서의 구조를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 있어서, 도 3의 센서 구조에 의한 영상 분할 형태를 도시한 예시 도면이다.
도 5는 본 발명의 일 실시예에 있어서, 영역 별로 노출 제어가 이루어진 결과 영상을 도시한 예시 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 있어서, 영역 간 경계를 보간하는 과정을 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일 실시예에 있어서, 영역 간 경계가 보간 처리된 결과 영상을 도시한 예시 도면이다.
도 10은 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 촬영 수단이 적용된 모니터링 시스템의 내부 구성을 도시한 블록도이다.
도 11은 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 촬영 수단이 적용된 자동 기록 시스템의 내부 구성을 도시한 블록도이다.
도 12는 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 자동 노출 방법을 도시한 순서도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 실시예들은 정지 영상 또는 동영상을 촬영하는 데 사용하는 이미지 센서의 노출을 자동 보정하는 기술로서, 더욱 상세하게는 저노출(under-exposure)과 포화(saturation) 없이 영상 내의 어두운 부분과 밝은 부분을 모두 식별 가능한 형태로 표현할 수 있는 기술에 관한 것이다.

본 명세서에서, '이미지 센서(또는 비디오 센서)'는 자외선이나 가시선, 적외선, X선 등 다양한 입력에 의하여 전달되는 영상을 전기적 신호로 변환할 수 있는 모든 영상 검지 디바이스를 의미할 수 있다.

도 2는 본 발명의 일 실시예에 있어서, 영역 별 노출 제어가 가능한 자동 노출 장치를 도시한 블록도이다.

도 2에 도시한 바와 같이, 일 실시예에 따른 자동 노출 장치(200)는 영상 센서부(image sensor, IS)(210)와, 영상 신호 처리부(image signal processor, ISP)(220)를 포함하여 구성될 수 있다.

먼저, 영상 센서부(210)는 빛을 받아 들이는 화소(pixel)들로부터 영상의 전기적 신호를 생성하는 역할을 한다.

특히, 영상 센서부(210)는 특정 개수의 복수 영역으로 구분되어 영역 별로 개별적으로 동작할 수 있다. 이를 위하여, 센서의 전체 면적을 몇 개로 분할하고 각 영역 별로 센서의 노출을 독립적으로 제어할 수 있는 구조로 영상 센서부(210)를 설계할 수 있다.

도 3을 참조하면, 영상 센서부(210)는 영상을 표현하기 위한 센서 영역인 화소 배열(pixel array)(311)과, 각 화소의 노출을 조절하기 위한 전기적 셔터(shutter)(312)와, 각 화소의 노출값을 읽어오기 위한 스캐너(scanner)(313)로 구성될 수 있다.

본 실시예에서는 영상 센서부(210)의 영역 별 노출 제어가 가능하도록 화소 배열(311)을 N×M개의 개별 영역(A)으로 분할할 수 있다. 이 때, 개별 영역은 하나 이상의 화소를 포함할 수 있으므로, N과 M은 1보다 크거나 같은 자연수이다. 이에, 전기적 셔터(312)는 개별 영역(A) 별로 각각 하나씩 대응하여 구성될 수 있다. 다시 말해, 각 개별 영역(A)에 대하여 노출 제어를 위한 셔터(312)가 개별적으로 작동되도록 구성된다.

도 3에서는 2×2로 이루어진 4개의 화소를 하나의 개별 영역으로 하여 4×4의 16개 영역으로 나누어진 구조의 화소 배열(311)을 도시하고 있으나, 이에 한정되는 것은 아니며 화소 배열(311)의 분할 방식은 시스템 구조나 용도 등에 따라 얼마든지 변경 가능하다. 또한, 전기적 셔터(312)의 구성은 화소 배열(311)의 분할 방식과 개별 영역 개수에 따라 결정된다.

영상 센서부(210)에서 획득할 수 있는 영상은 도 3을 통해 설명한 센서 설계 구조에 대응하여 도 4에 도시한 바와 같이 복수의 영역으로 분할되어 각 영역 별로 개별 처리될 수 있다.

다시 도 2에서, 영상 신호 처리부(220)는 잡영(noise) 제거, 색상 보정 등 각종 영상 처리 과정을 거쳐 영상 센서부(210)에서 획득한 영상을 개선하는 역할을 한다.

다른 역할로서, 영상 신호 처리부(220)는 영상 센서부(210)의 자동 노출(auto exposure)을 수행할 수 있다.

일반적으로, 영상 신호 처리부(220)는 특정 시간에서 영상 센서부(210)의 출력 또는 그 출력이 일부 신호 처리된 결과를 받아 화면의 전체 혹은 일부 영역의 최대 화소값을 측정한다. 이후, 영상 신호 처리부(220)는 최대 화소값과 현재의 노출 시간을 기반으로 이후의 특정 시간의 노출 시간과 적절한 게인을 결정하여 영상 센서부(210)로 피드백 하고, 이에 영상 센서부(210)는 지정된 노출 시간만큼 화소에 전하를 축적함으로써 저노출과 포화를 회피할 수 있다. 이 때, 게인은 영상 센서부(210)에서 제어될 수도 있고, 영상 신호 처리부(220)에서 프레임이 프레임 버퍼에 도달하기 이전에 제어될 수도 있다. 영상 신호 처리부(220)에서 프레임이 프레임 버퍼에 도달하기 이전에 게인을 제어하기 위해서는 멀티플라이어, 시프터가 사용될 수 있다.

예를 들어, 영상 신호 처리부(220)는 한 프레임의 길이보다 길거나 짧은 시간 이후에 피드백을 수행할 수 있다. 첫 번째 프레임이 영상 센서부(210)로부터 영상 신호 처리부(220)로 제공되면, 영상 신호 처리부(220)는 첫 번째 프레임을 기초로 최적의 노출 시간 또는 게인을 결정하고, 결정된 최적의 노출 시간 또는 게인을 영상 센서부(210)로 제공하고, 결정된 최적의 노출 시간 또는 게인은 두 번째 프레임 또는 세 번째 프레임을 위하여 사용된다.

또한, 영상 신호 처리부(220)는 영상의 각 영역에 대하여 노출을 개별적으로 제어할 수 있다. 다시 말해, 영상 신호 처리부(220)는 영상 센서부(210)의 분할된 각 영역 별로 최적의 노출 시간을 자동으로 찾아 영상 센서부(210)를 통해 획득한 영상 내의 어두운 부분과 밝은 부분을 모두 식별 가능하도록 한다.

먼저 영상 센서부(210)에서는 이전 노출값(이전 프레임의 노출값 또는 초기 노출값)으로 영상으로 획득한다. 이때, 획득된 영상은 영상 신호 처리부(220)로 전달되며 영상 신호 처리부(220)에서는 영상의 각 영역 별로 적정 노출을 계산하게 된다. 일 예로, 영상 신호 처리부(220)는 영상 센서부(210)로부터 이전 노출값이 적용된 영상을 전달 받아 영상의 각 영역 별로 해당 영역의 최대 화소값을 측정한 후 최대 화소값과 이전 노출값을 이용하여 해당 영역에 대한 노출 보정값을 결정할 수 있다. 다른 예로, 영상 신호 처리부(220)는 영상 센서부(210)로부터 전달 받은 영상의 각 영역 별로 밝기 히스토그램을 생성하여 히스토그램의 평균값으로 해당 영역의 밝기를 구하고 그 밝기에 따라 해당 영역에 대한 노출 보정값을 결정할 수 있다.

영상 신호 처리부(220)에서 결정된 영역 별 노출 보정값은 영상 센서부(210)로 피드백 되어 다음 화면(프레임)을 촬영할 때 적용된다. 다시 말해, 영상 센서부(210)는 영역 별 노출 보정값에 따른 셔터 동작에 의해 각 영역의 노출을 개별적으로 조절할 수 있다.

예컨대, 도 1이 초기 영상이라고 가정하면 초기 영상으로부터 영역 별 자동 노출을 통해 도 5와 같은 영상을 얻을 수 있다. 도 1에서 역광으로 어둡게 보이는 우측 하단 영역(102)의 화소값은 거의 모두 0에 가까워서 영상을 정확히 식별할 수 없으나, 도 5에서는 도 1과 대응되는 영역을 보면 영상 속 물체를 확연히 인식할 수 있다.

도 5에 도시한 바와 같이, 영역의 경계선(edge)에 걸쳐 있는 물체의 영상은 영역의 경계를 지나면서 색이 달라 보이는 문제가 있으나, 영역 별 자동 노출을 통해 영상 내에서 물체를 대부분 식별할 수 있기 때문에 어둡거나 밝은 영역에 있어서 보이지 않는 물체의 가능성을 최대한 억제하였기에 이벤트 검출기의 용도로 사용될 경우 거짓 음성(false negative) 문제(실제 이벤트인데 이벤트가 아니라고 판단하는 오류)는 현저히 줄어들 것이다.

한편, 영역 별 노출 시간이 달라서 같은 색이 다르게 표현되는 문제로 인한 거짓 양성(false positive) 문제(실제 이벤트가 아닌데 이벤트로 인지하는 오류)를 줄이는 방법은 (1) 경계선 상에서는 이벤트 감지를 하지 않는 방식, (2) 영상 센서부에서 스스로 알고 있는 각 영역 별 노출 시간을 고려하여 영역 경계를 보간 처리하거나 경계선에 걸친 물체의 색을 보정하는 방식 등을 적용하여 해당 문제를 해결할 수 있다. 특히, 영역들 각각에서 서로 다른 노출이 적용되는 것은 영역들 사이의 경계가 부자연스러워질 수 있는 문제를 야기할 수도 있는데, 이러한 문제는 감시 카메라 시스템에서 상대적으로 덜 중요할 수 있다. 왜냐 하면 감시 카메라 시스템에서는 경계에서의 부자연스러움보다는 이벤트 감지를 놓치는(miss) 것을 방지하는 것이 더 중요하기 때문이다.

거짓 음성 문제와 거짓 양성 문제를 해결하기 위한 한 가지 실시예로서, 영상 신호 처리부(220)는 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 보이지 않도록 처리할 수 있다. 이를 위하여, 영상 신호 처리부(220)는 영역 각각에 대한 노출값을 이용하여 해당 영역의 경계에 해당되는 화소의 노출값을 보간할 수 있다.

상세하게, 영상 신호 처리부(220)에서는 영상 센서부(210)의 각 화소의 실제 노출값을 화소가 위치한 영역의 노출값으로부터 정할 수 있다. 도 6은 도 5에 도시된 영상에 대한 각 영역의 노출값의 역수를 도시한 것이다. 영상 신호 처리부(220)는 각 영역의 경계를 부드럽게 하기 위해 도 6에 도시한 각 영역의 노출값을 도 7과 같이 부드럽게 보간 처리할 수 있다. 다시, 영상 신호 처리부(220)에서는 각 화소 별로 실제 노출값을 보간된 노출값(도 7)으로 나누어 줌으로써 도 8과 같은 노출 보정값을 얻을 수 있다. 도 8의 노출 보정값을 실제 화소값을 나타내는 도 5의 영상에 곱함으로써 도 9에 도시한 바와 같이 영역 경계가 보간 처리된 최종 영상을 얻을 수 있다.

따라서, 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 부드럽게 보간 처리함으로써, 예를 들어 감지자가 영상을 검토할 때 시각적으로 방해 받지 않고 물체나 이벤트를 인지할 수 있다.

도 2 내지 도 9를 통해 설명한 본 발명에 따른 자동 노출 장치(200)는 다양한 목적이나 용도로 구현된 각종 시스템에 입력 영상을 제공하는 촬영 수단으로서 적용될 수 있다.

도 10은 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 촬영 수단이 적용된 모니터링 시스템의 내부 구성을 도시한 블록도이다.

도 10에 도시한 바와 같이, 일 실시예에 따른 모니터링 시스템은 촬영 수단(1001)과, 이벤트 감지부(1002)를 포함하여 구성될 수 있다. 이때, 모니터링 시스템은 범죄 예방용 감시는 물론, 산업용, 교육용, 의료용, 교통 관제용 감시, 방재용 및 화상정보 전달용 등 다양한 용도로 구현된 CCTV 시스템을 의미할 수 있다.

이때, 촬영 수단(1001)은 도 2 내지 도 9를 통해 설명한 자동 노출 장치(200)를 의미하는 것으로, 영역 별 자동 노출이 처리된 영상을 모니터링 시스템의 입력 영상으로 제공할 수 있다.

그리고, 이벤트 감지부(1002)는 촬영 수단(1001)으로부터 입력된 영상을 분석하여 특정 이벤트의 발생 여부를 감지 및 판단할 수 있다. 일 예로, 이벤트 감지부(1002)는 입력 영상에서 이벤트 감지 영역을 설정한 후 이벤트 감지 영역 내에서 이동 객체가 존재하는지 여부를 특정 이벤트로서 판단할 수 있다.

이벤트 감지부(1002)에서 이동 객체의 존재 여부를 판단하기 위해서는 영상에서 관심 객체를 탐지 및 추적하기 위한 기 공지된 알고리즘 중 적어도 하나를 이용할 수 있다. 예컨대, IFT(Scale-Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)와 같은 알고리즘을 이용해서 영상에서 특징 기술자(Feature Descriptors) 정보를 추출하며, 추출된 특징 기술자 정보를 학습된 영상들의 특징 기술자 정보들과 비교 연산을 수행함으로써 관심 객체를 인식할 수 있고, 처음 인식된 관심 객체와 다음 인식된 관심 객체 사이의 시간 간격 및 객체의 처음 인식된 거리와 다음 인식된 거리를 이용하여 관심 객체의 이동 속도를 계산함으로써 객체 추적 또한 가능하다.

따라서, 이미지 센서의 화소들을 영역 별로 구분하여 노출 제어를 영역 별로 별도로 처리한 영상을 입력 영상으로 제공함으로써 주요 피사체를 특정할 수 없는 환경에서 지역적으로 무작위로 나타날 수 있는 모든 이벤트를 놓치지 않고 정확히 감지할 수 있다.

도 11은 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 촬영 수단이 적용된 자동 기록 시스템의 내부 구성을 도시한 블록도이다.

도 11에 도시한 바와 같이, 일 실시예에 따른 자동 기록 시스템은 촬영 수단(1101)과, 영상 기록부(1102)를 포함하여 구성될 수 있다. 이때, 자동 기록 시스템은 내비게이션(navigation) 단말, 블랙박스(black box) 장비 등 특정 이벤트를 기준으로 영상을 기록할 수 있는 디바이스를 의미할 수 있다.

영상 기록을 위해서, 예컨대 자동 기록 시스템은 기가바이트(GB) 이상의 저장 용량을 가지고 있고 H.264 기반의 실시간 영상 인코딩 기능이 내장되어 있어 촬영 수단(1101)를 통해 촬영된 고화질 영상을 실시간 압축하는 것이 가능한 단말일 수 있다.

마찬가지로, 촬영 수단(1101)은 도 2 내지 도 9를 통해 설명한 자동 노출 장치(200)를 의미하는 것으로, 영역 별 자동 노출이 처리된 영상을 자동 기록 시스템의 입력 영상으로 제공할 수 있다.

그리고, 영상 기록부(1102)는 촬영 수단(1101)으로부터 입력된 영상을 상시 녹화하거나, 특정 이벤트의 감지 여부에 따라 녹화할 수 있다. 일 예로, 영상 기록부(1102)는 자이로 센서, 충격 감지 센서 등을 이용하여 충격이나 충돌 등으로 인한 이벤트를 감지할 수 있으며 이벤트가 감지된 시점을 기준으로 소정 시간의 영상을 기록할 수 있다. 다른 예로, 영상 기록부(1102)는 영상 분석을 통해 영상 내에서 이동 객체가 감지되거나 모션 감지 센서 등을 통해 모션이 감지될 경우 해당 시점을 기준으로 영상을 기록할 수 있다.

따라서, 이미지 센서의 화소들을 영역 별로 구분하여 노출 제어를 영역 별로 별도로 처리한 영상을 제공함으로써 저노출과 포화 없이 어두운 부분과 밝은 부분을 모두 식별 가능한 영상을 기록할 수 있다.

도 2 내지 도 9를 통해 설명한 본 발명에 따른 자동 노출 장치는 상기한 모니터링 시스템, 자동 기록 시스템 이외에도 영상을 기반으로 유효한 정보를 획득하기 위해 구현된 모든 시스템에 적용 가능하다.

도 12는 본 발명의 일 실시예에 있어서, 영역 별로 노출을 제어하는 자동 노출 방법을 도시한 순서도이다. 일 실시예에 따른 자동 노출 방법은 도 2 내지 도 9를 통해 설명한 자동 노출 장치에 의해 각각의 단계가 수행될 수 있다.

단계(S1210)에서 자동 노출 장치는 센서 영역이 복수의 영역으로 분할된 이미지 센서로부터 영상을 획득할 수 있다. 이때, 이미지 센서는 센서의 전체 면적을 몇 개로 분할하고 각 영역 별로 센서의 노출을 독립적으로 제어할 수 있는 구조로 설계될 수 있다. 다시 말해, 이미지 센서는 영역 별 노출 제어가 가능하도록 화소 배열이 N×M개의 개별 영역으로 분할될 수 있고 노출을 제어하기 위한 전기적 셔터가 개별 영역 별로 각각 하나씩 대응하도록 구성될 수 있다.

단계(S1220)에서 자동 노출 장치는 이미지 센서의 각 영역에 대하여 노출을 개별적으로 제어할 수 있다. 다시 말해, 자동 노출 장치는 이미지 센서의 분할된 각 영역 별로 최적의 노출 시간을 자동으로 찾아 이미지 센서를 통해 획득한 영상 내의 어두운 부분과 밝은 부분을 모두 식별 가능하도록 처리할 수 있다. 상세하게, 자동 노출 장치는 이미지 센서로부터 이전 노출값이 적용된 영상을 전달 받아 영역 별로 해당 영역의 최대 화소값을 측정한 후 영역 각각에 대하여 최대 화소값과 이전 노출값을 이용하여 영역 별 노출 보정값을 결정할 수 있다. 이후, 자동 노출 장치는 이미지 센서에 대하여 영역 별 노출 보정값에 따라 영역 각각에 대한 노출 시간을 제어할 수 있다. 이에, 이미지 센서에서는 영역 별 노출 보정값에 따른 셔터 동작에 의해 각 영역의 노출을 개별적으로 조절할 수 있다. 더 나아가, 자동 노출 장치는 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 보이지 않도록 영역 각각에 대한 노출값을 이용하여 해당 영역의 경계에 해당되는 화소의 노출값을 보간할 수 있다.

따라서, 자동 노출 장치는 이미지 센서의 영역 별 자동 노출을 통해 포화와 저노출을 동시에 회피할 수 있으며 영상 분석 오류를 막기 위하여 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 부드럽게 보간 처리할 수 있다.

도 13은 본 발명의 일 실시예에 따라 노출값(노출량)을 제어하기 위하여 게인을 제어하는 예를 나타낸 도면이다.

도 13을 참조하면, 게인 컨트롤러가 Programmable Gain Amplifier(PGA)와 ADC를 공유할 수 있다. 이 때, 이미지 센서들의 수직 동기 신호 (VSYNC) 및 수평 동기 신호 (HSYNC)로부터 블록들 각각이 식별될 수 있고, ISP로부터 피드백 된 게인값으로 PGA의 아날로그 게인이 제어될 수 있다.

도 14는 본 발명의 일 실시예에 따라 노출값(노출량)을 제어하기 위하여 게인을 제어하는 다른 예를 나타낸 도면이다.

도 14를 참조하면, Analog Front End(AEF)회로가 열병렬 형태로 집적된 CIS에 있어서 블록 별로 아날로그 게인이 제어될 수 있다. 이 때, PGA의 gain을 설정하는 신호는 블록별로 제어되고, vertical 방향으로 구분되는 블록에 대해서는 수직 동기신호 (VSYNC)로부터 카운트된 row의 개수를 카운트함으로써 블록이 구별될 수 있고, 구별된 블록들 각각에 대하여 게인이 제어된다.

도 15는 본 발명의 일 실시예에 따라 노출값(노출량)을 제어하기 위하여 게인을 제어하는 다른 예를 나타낸 도면이다.

도 15를 참조하면, 수직, 수평동기로부터 각 블록이 식별될 수 있고, 디지털 신호로 변환된 이미지센서(CIS)의 출력(DOUT)에 대해서는 간단한 bit shift 연산이 수행됨으로써, 디지털 게인을 제어된다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 자동 노출을 위한 앱은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션(예컨대, 카메라 기능 등)의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.

이와 같이, 본 발명의 실시예에 따르면, 이미지 센서의 화소들을 영역 별로 구분하여 이미지 시그널 프로세서(ISP)에서의 노출 측정과 이미지 센서(IS)에서의 노출 조정을 영역 별로 별도로 처리함으로써 영상 전체에서 저노출과 포화를 동시에 회피할 수 있다. 그리고, 본 발명의 실시예에 따르면, 영역 별로 서로 다른 노출 적용으로 인해 나타나는 영역의 경계를 부드럽게 보간 처리함으로써 시각적인 방해 요소를 제거할 수 있을 뿐 아니라 영상 분석이나 활용 시에 영상 내 유효한 정보를 훼손하지 않는 질적인 영상을 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

200: 자동 노출 장치
210: 영상 센서부
220: 영상 신호 처리부

Claims (21)

1. 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부;
   상기 복수의 영역과 연결되고, 수평적 스캐닝 방식으로 화소 값을 읽어오는 수평적 스캐너; 및
   상기 수평적 스캐닝 방식으로 읽어오는 화소 값에 기초하여 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부
   를 포함하고,
   상기 영상 신호 처리부는
   상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하기 위한 피드백을 상기 영상 센서부로 제공하고,
   상기 영역 각각의 노출과 관련된 게인은 상기 피드백에 의하여 제어되며,
   상기 영상 센서부는
   상기 영상 신호 처리부의 피드백에 기초하여 상기 복수의 영역에 대한 아날로그 게인을 제어하는 게인 컨트롤러
   를 포함하며,
   상기 게인 컨트롤러는
   상기 복수의 영역 각각의 노출을 제어하기 위한 게인 증폭기 및 아날로그 디지털 변환기(ADC)를 공유하여 상기 복수의 영역에 대한 아날로그 게인을 제어하는 자동 노출 장치.
2. 삭제
3. 제1항에 있어서,
   상기 영상 신호 처리부는,
   상기 영상 센서부로부터 이전 노출값이 적용된 영상을 전달 받아 상기 영역 각각에 대하여 최대 화소값을 측정한 후 상기 최대 화소값과 상기 이전 노출값을 이용하여 상기 영역 별 노출 보정값을 결정하고 상기 영역 별 노출 보정값에 따라 상기 영역 각각에 대한 노출 시간 또는 이득을 제어하는 것
   을 특징으로 하는 자동 노출 장치.
4. 제1항에 있어서,
   상기 영상 신호 처리부는,
   상기 영역의 노출값을 이용하여 해당 영역의 경계(edge)에 해당되는 화소의 노출값을 보간하는 것
   을 특징으로 하는 자동 노출 장치.
5. 제1항에 있어서,
   상기 복수의 영역 각각은 적어도 하나의 화소를 포함하는 것
   을 특징으로 하는 자동 노출 장치.
6. 제1항에 있어서,
   제1 프레임 및 상기 제1 프레임 이후의 제2 프레임이 존재하는 경우,
   상기 영상 신호 처리부는
   상기 제1 프레임에 기초하여 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하기 위한 피드백을 상기 영상 센서부로 제공하는 것을 특징으로 하는 자동 노출 장치.
7. 삭제
8. 삭제
9. 제1항에 있어서,
   상기 영상 센서부는
   Analog Front End(AEF) 회로를 포함하고,
   상기 게인 증폭기의 게인을 설정하는 신호는 블록별로 제어되고, vertical 방향으로 구분되는 블록에 대해서는 수직 동기신호 (VSYNC)로부터 카운트된 row의 개수를 카운트함으로써 블록이 구별되고, 구별된 블록들 각각에 대하여 게인이 제어되는 것을 특징으로 하는 자동 노출 장치.
10. 제1항에 있어서,
    디지털 신호로 변환된 영상 센서부의 출력에 대해서 bit shift 연산이 수행됨으로써 디지털 게인이 제어되는 것을 자동 노출 장치.
11. 영상을 촬영하는 촬영 수단; 및
    상기 촬영 수단에서 촬영된 영상을 분석하여 특정 이벤트의 발생 여부를 판단하는 이벤트 감지부
    를 포함하고,
    상기 촬영 수단은,
    상기 영상을 획득하기 위한 센서 영역이 복수의 영역으로 분할되는 영상 센서부와,
    상기 복수의 영역과 연결되고, 수평적 스캐닝 방식으로 화소 값을 읽어오는 수평적 스캐너; 및
    상기 수평적 스캐닝 방식으로 읽어오는 화소 값에 기초하여 상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하는 영상 신호 처리부
    를 포함하고,
    상기 영상 신호 처리부는
    상기 영역 각각에 대하여 노출(exposure)을 개별적으로 제어하기 위한 피드백을 상기 영상 센서부로 제공하고,
    상기 영역 각각의 노출과 관련된 게인은 상기 피드백에 의하여 제어되며,
    상기 영상 센서부는
    상기 영상 신호 처리부의 피드백에 기초하여 상기 복수의 영역에 대한 아날로그 게인을 제어하는 게인 컨트롤러
    를 포함하며,
    상기 게인 컨트롤러는
    상기 복수의 영역 각각의 노출을 제어하기 위한 게인 증폭기 및 아날로그 디지털 변환기(ADC)를 공유하여 상기 복수의 영역에 대한 아날로그 게인을 제어하는 모니터링 시스템.
12. 제11항에 있어서,
    상기 영상 신호 처리부는
    상기 영역 각각에 대하여 노출(exposure) 시간 또는 이득을 개별적으로 제어하는 모니터링 시스템.
13. 제11항에 있어서,
    상기 복수의 영역 각각은 적어도 하나의 화소를 포함하는 것을 특징으로 하는 모니터링 시스템.
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제

Images