KR102396062B1 - 광학 셔터를 이용한 다중 노출 영상 취득 장치 - Google Patents

Abstract

본 발명은 다중 노출 영상 취득 장치로서, 입사되는 광의 투과량을 조절하는 광학 셔터, 상기 광학 셔터를 투과한 광의 투과량에 따라 전하를 축적하여 영상을 취득하는 이미지센서, 상기 이미지센서의 영상 취득을 제어하는 전자 셔터, 및 상기 이미지센서가 상기 투과한 광의 투과량에 따라 달라지는 노출을 가지는 복수의 연속된 영상을 취득하도록 상기 광학 셔터를 제어하는 광학 셔터 제어부를 포함하되 상기 복수의 연속된 영상을 합성하여 높은 동적 범위의 영상을 생성할 수 있다.

Description

광학 셔터를 이용한 다중 노출 영상 취득 장치{Apparatus for Acquiring Multiple Exposure Images Using Optical Shutter}

본 발명은 카메라에서 다중 노출 영상을 취득하고, 취득된 다중 노출 영상을 이용하여 높은 동적 범위(High Dynamic Range)의 영상을 취득하기 위한 기술에 관한 것이다.

종래의 감시카메라 시스템의 영상 촬영 장치, 자동차의 영상 기록 장치, 자율주행 자동차의 영상 촬영 장치, 자율 드론의 영상 촬영 장치 등 실시간 영상 기록 장치 또는 감시용 촬영 장치들은 주로 단일 노출의 영상 촬영으로 인해, 다양한 날씨와 조도, 역광, 및 조명 방향 변화 등에 능동적으로 대처할 수 없어, 정확하게 사물을 식별하는 데에 장애를 일으키는 경우가 많이 있다.

감시카메라 시스템을 예로 들면, CCTV를 이용한 감시 시스템은 날씨나 교통 상황, 건물, 차량, 얼굴 식별 등을 통하여 주변 상황을 파악하여 범죄 또는 안전사고를 예방하는 목적과 각종 시설물 관리 목적 등 광범위한 용도로 사용되고 있다.

특히, 조명이 고르지 못한 야간이나, 또는 외부 광이 강하거나, 실외의 강한 빛과 그늘 영역이 동시에 존재하는 상황에서는 CCTV 시스템의 카메라 노출을 어느 한 곳에 맞출 경우 조명 등 광 조건이 다른 영역의 사물 식별은 어려워진다. 예를 들어, 야간에 차량의 전조등이 비추는 경우, 사람의 얼굴이 역광에 의해 어둡게 보이는 경우, 지하 주차장처럼 조도가 낮은 경우, 밝은 날에 건물 그늘로 인해 사물의 윤곽이나 색, 얼굴, 또는 문자의 인식이 어려운 문제 등이 자주 발생된다.

상기 CCTV 시스템에서 발생하는 문제와 같은 문제들을 해결하기 위하여 취득할 영상의 동적 범위(dynamic range)를 확장하는 방법을 사용한다.

일반적으로 사용되는 카메라 이미지센서의 휘도 입력에 대한 동적 범위는 60dB 내외이지만 실제 장면에 대한 인간 시각의 동적 범위는 140dB에 이른다. 따라서 카메라 이미지센서의 제한된 동적 범위 내에서 식별 대상을 처리 가능한 동적 범위 영역 안에 들어오도록 하기 위해 셔터 속도와 조리개 값, ISO 감도 등을 조절하게 된다.

이미지센서는 내부적으로 자동노출(auto exposure) 조정을 통해 평균적인 휘도 상황에 대해 최적의 노출 값을 찾지만, 허용 노출 대역 밖의 매우 밝거나 매우 어두운 영역에 대해서는 포화된 출력이나 낮은 신호 대 잡음 비의 출력을 보낸다. 일단 기준 노출에서 벗어난 과도 노출(over exposed) 혹은 부족 노출(under exposed) 영역의 데이터는 원래의 밝기 정보를 가지고 있지 않기 때문에 센서의 해상도를 높이거나 화질을 보정하는 방법으로는 복원되지 않는다.

따라서, 광역의 휘도 정보를 표현하는 고성능 카메라 시스템의 구현을 위해 고감도의 WDR(Wide Dynamic Range) 이미지센서와 함께 시각적으로 인지되는 표현을 위해 WDR 디스플레이를 사용하거나, 현재 WDR 이미지센서와 고성능 화상 보정기술 장비의 사용으로 비교적 양호한 다중 노출 영상 합성 결과를 보이고 있으나, 부품 비용이 높은 문제가 뒤 따른다.

한편, 실시간 처리가 가능한 다중 노출 영상 촬영 방법은 대표적으로 다음의 두 가지 방법이 있다. 첫 번째 방법은 한 개의 이미지 센서에 2가지 노출의 촬상 화소를 공간적으로 배치하여 제작한 듀얼 캡처 이미지센서를 사용하여 다중 노출 영상을 촬영하는 것인데, 듀얼 캡처 이미지센서는 화소 밀도가 낮아 고해상도 동영상이 지원되지 않으며, WDR 이미지센서에 비해 동적 범위 영역이 상대적으로 좁다. 다른 방법은 한 개의 렌즈로 피사체로부터 입사하는 광을 받아들여 광분할(beam splitting)한 후, 분할된 광을 두 개의 이미지센서를 이용하여 다중 노출로 촬영하는 방식이다. 하지만 일반 카메라와 달리 두 개의 이미지센서를 사용함은 물론, 광 분할기(beam splitter), ND 필터 등 고가의 추가 부품의 사용이 요구되며, 또한, 사후 관리 문제 및 소형화에 제약이 있는 문제가 있다.

일본 공개특허공보 특개2005-065077호

따라서, 본 발명이 이루고자 하는 과제는 전술한 문제점을 해결하고자 하는 것으로, 하나의 낮은 동적 범위(Low Dynamic Range)의 이미지센서를 이용하여 다중 노출 영상을 용이하게 획득할 수 있는 장치를 제공하는 것이다.

또한, 본 발명이 이루고자 하는 과제는 낮은 동적 범위의 이미지센서를 이용하여 다중 노출 영상을 획득하고, 이를 이용하여 높은 동적 범위 영상을 생성할 수 있는 장치를 제공하는 것이다.

또한, 본 발명이 이루고자 하는 과제는 낮은 동적 범위의 이미지센서를 통해 획득한 다중 노출 영상을 이용하여 높은 동적 범위 영상을 실시간으로 생성할 수 있는 장치를 제공하는 것이다.

또한, 본 발명이 이루고자 하는 과제는 이미지 처리 과정을 단순하게 하여 높은 동적 범위 영상을 쉽게 생성할 수 있도록 하는 다중 노출 영상을 획득할 수 있는 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 다중 노출 영상 취득 장치는 입사되는 광의 투과량을 조절하는 광학 셔터, 상기 광학 셔터를 투과한 광의 투과량에 따라 전하를 축적하여 영상을 취득하는 이미지센서, 상기 이미지센서의 영상 취득을 제어하는 전자 셔터, 및 상기 이미지센서가 상기 투과한 광의 투과량에 따라 달라지는 노출을 가지는 복수의 연속된 영상을 취득하도록 상기 광학 셔터를 제어하는 광학 셔터 제어부를 포함하되 상기 복수의 연속된 영상을 합성하여 높은 동적 범위(High Dynamic Range)의 영상을 생성할 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은 실질적으로 동일한 조리개 값, 동일한 이미지센서 감도, 및 동일한 전자 셔터 속도에서 취득될 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은 상기 광학 셔터의 광 투과율 또는 광 투과시간 중 적어도 한 가지 이상이 변화된 상태에서 취득된 영상일 수 있다.

실시 예에 따라, 상기 광학 셔터 제어부는 상기 광학 셔터에 인가되는 전압의 레벨을 달리하여 상기 광 투과율을 조절하고, 상기 광학 셔터에 인가되는 전압의 펄스 폭을 달리하여 상기 광 투과시간을 조절할 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 전자 셔터의 작동 타이밍에 노출이 달라진 영상이 취득될 수 있다.

실시 예에 따라, 다중 노출 영상 취득 장치는 상기 전자 셔터의 개폐 시간과 개폐 시각을 제어하는 전자 셔터 제어부를 더 포함할 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 프레임 레이트에 동기하여 상기 광 투과율을 변화시키는 중에 상기 전자 셔터를 상기 이미지센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 작동하여 취득될 수 있다.

실시 예에 따라, 상기 읽어내기 시간의 전과 후의 전자 셔터 작동 타이밍의 간격은 상기 읽어내기 시간의 후의 전자 셔터 작동 타이밍과 그 다음 전자 셔터 작동 타이밍과 사이의 간격보다 짧을 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 전자 셔터가 완전히 개방된 상태에서 상기 광학 셔터 제어부는 상기 이미지센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 서로 다른 펄스 폭의 전압을 상기 광학 셔터에 각각 인가하여 취득될 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 전자 셔터가 완전히 개방된 상태에서 상기 광학 셔터 제어부는 상기 이미지센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 서로 다른 펄스 폭 및 서로 다른 레벨의 전압을 상기 광학 셔터에 각각 인가하여 취득될 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 전자 셔터가 완전히 개방된 상태에서 상기 광학 셔터 제어부는 상기 이미지센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 동일한 펄스 폭 및 서로 다른 레벨의 전압을 상기 광학 셔터에 각각 인가하여 취득될 수 있다.

실시 예에 따라, 상기 복수의 연속된 영상은, 상기 이미지센서의 영상 프레임 레이트에 동기하여 연속적으로 취득되되, 상기 전자 셔터가 완전히 개방된 상태에서 상기 광학 셔터 제어부는 상기 이미지센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 상기 광학 셔터의 광 투과율의 그래프가 각각 상승하는 형태와 하강하는 형태를 가지도록 상기 광학 셔터에 비대칭 경사 함수 형의 전압 펄스를 인가하여 취득되되 상기 상승하는 형태의 광 투과율 그래프의 경사도의 절대값이 상기 하강하는 형태의 광 투과율 그래프의 경사도의 절대값보다 더 클 수 있다.

실시 예에 따라, 상기 광학 셔터는 전기장의 강도 또는 지속 시간에 따라 상기 광 투과율 또는 상기 광 투과시간이 조절되는 전기광학 소자를 포함할 수 있다.

실시 예에 따라, 상기 다중 노출 영상 취득 장치는 상기 복수의 연속된 영상을 합성하여 높은 동적 범위(High Dynamic Range)의 영상을 생성할 수 있다.

실시 예에 따라, 상기 다중 노출 영상 취득 장치를 이용한 자동차의 영상 기록 장치, 자동차의 감시용 영상 촬영 장치, 자동차의 사이드 미러용 영상 촬영 장치, 드론의 영상 촬영 장치, 감시카메라 시스템의 영상 촬영 장치, 로봇의 영상 촬영 장치 중 어느 하나는 높은 동적 범위의 영상을 생성하는 장치에 적용될 수 있다.

본 발명의 실시 예에 따른 장치는 복수의 이미지센서 또는 광대역 영역 이미지센서를 사용하지 않고, 하나의 이미지센서를 이용하여 저비용으로 다중 노출 영상을 취득할 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 장치는 하나의 이미지센서를 이용하여 다중 노출 영상을 취득할 때, 고노출 영상과 저노출 영상의 촬영 타이밍이 달라서 발생하는 영상 합성 시의 고스트 발생(ghost effect)을 감소시킬 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 장치는 하나의 이미지센서를 이용하여 다중 노출 영상을 취득할 때, 카메라의 이미지 노출계(셔터 시간, 조리개 값, ISO 감도)를 실질적으로 동일하게 한 상태에서 여러 가지 노출의 영상을 취득할 수 있으므로, 높은 동적 범위 영상의 합성 시 발생되는 블러링 문제(blurring effect)를 감소시킬 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 장치는 하나의 낮은 동적 범위(Low Dynamic Range)의 이미지센서를 이용하여 다중 노출 영상을 용이하게 획득하고, 획득한 다중 노출의 영상을 이용하여 실시간으로 높은 동적 범위의 영상(HDR 영상)을 생성할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따라 높은 동적 범위의 영상을 생성하는 다중 노출 영상 취득 장치를 나타낸 구성도이다.
도 2는 도 1에 도시한 다중 노출 영상 취득 장치에서 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.
도 3은 본 발명의 다른 실시 예에 따른 다중 노출 영상 취득 장치의 구성도로서, 이미지센서의 수직 동기 신호에 광학 셔터를 동기하여 다중 노출 영상을 취득하는 장치의 구성을 도시한 것이다.
도 4는 도 3에 도시한 다중 노출 영상 취득 장치에서 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.
도 5는 도 1에 도시한 다중 노출 영상 취득 장치에서 광학 셔터의 개폐와 전자 셔터의 작동 타이밍을 제어하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.
도 6은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.
도 7은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.
도 8은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 다른 도이다.
도 9는 도 1에 도시한 다중 노출 영상 취득 장치에서 비대칭 경사 함수 형태의 전압 펄스로 다중 노출 영상의 취득 시의 동작 타이밍도이다.
도 10은 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치를 이용하여 취득한 복수의 다중 노출 영상을 합성하여 높은 동적 범위의 영상을 생성한 예를 도시한 도이다.
도 11은 본 발명의 실시 예에 따라 서로 다른 세 가지 노출의 영상을 취득하여 높은 동적 범위의 영상을 생성하는 다중 노출 영상 취득 장치의 구성도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈(module)" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.

이하에서는 본 발명의 바람직한 실시 예, 즉, 광학 셔터를 이용하여 다중 노출 영상을 취득할 수 있는 기술에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

본 명세서에 개시된 기술은 광학 셔터를 이용하여 다중 노출 영상을 취득하는 기술 및 상기 취득한 다중 노출 영상을 이용하여 높은 동적 범위의 영상을 생성하는 기술에 적용된다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 다중 노출 영상을 취득하기 위한 장치와 방법 및 높은 동적 범위 영상의 생성을 위한 장치와 방법에도 적용될 수 있다.

도 1은 본 발명의 실시 예에 따라 높은 동적 범위의 영상을 생성하는 다중 노출 영상 취득 장치를 나타낸 구성도이다.

도 1에 도시한 바와 같이, 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치는 광학 셔터(100), 이미지센서(110), 전자 셔터 제어부(120), 광학 셔터 제어부(130), 및 HDR 영상 생성부(140)를 포함하여 구성될 수 있다.

이하에서는 도 1을 참조하여 상기 각 구성 요소의 기능에 대해서 상세하게 설명한다.

상기 광학 셔터(100)는 상기 이미지센서(110)로 입사되는 광의 투과량을 조절할 수 있다.

상기 이미지센서(110)는 상기 광학 셔터(100)를 투과한 광의 투과량에 따라 전하를 축적하여 영상을 취득할 수 있다.

상기 전자 셔터 제어부(120)는 상기 이미지센서(110)의 전자 셔터에 대한 개폐 시간과 개폐 시각(개폐 타이밍)을 제어할 수 있다.

상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)의 개폐를 제어하여 상기 광학 셔터(100)를 투과하는 광의 투과량을 조절할 수 있다. 따라서, 상기 이미지센서(110)는 상기 투과된 광량에 따라 달라지는 노출 정도를 가지는 복수의 연속된 영상, 즉, 고노출의 영상과 저노출의 영상을 연속적으로 취득하여 출력할 수 있다.

여기서, 상기 광학 셔터(100)에 대한 개폐의 제어는 상기 광학 셔터(100)의 광 투과량을 조절하는 것을 의미하여, 상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)로 입력되는 전압의 레벨 및 전압 펄스 폭, 즉, 전압 펄스의 지속시간을 제어함으로써 상기 광 투과량을 조절할 수 있다. 따라서, 상기 이미지센서(110)는 상기 광학 셔터(100)를 투과하여 입사되는 광의 광량에 따라 노출의 정도가 다른 복수의 연속된 영상들을 취득할 수 있다.

한편, 상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)로 입력되는 전압의 레벨을 조절하는 전압 제어부(도시하지 않음)를 포함할 수 있다.

상기 HDR 영상 생성부(140)는 상기 노출 정도가 다른 복수의 연속된 영상을 합성하여 높은 동적 범위(High Dynamic Range)의 영상을 생성할 수 있다.

여기서, 상기 노출 정도가 다른 복수의 연속된 영상들은 상기 광학 셔터(100)에 의해 광 투과량이 조절된 것 외에는 실질적으로 동일한 조리개 값, 동일한 이미지센서 감도(ISO), 및 상기 이미지센서(110)에 대한 동일한 전자 셔터 속도 조건 아래에서 연속하여 촬영된 것 일 수 있다.

즉, 본 발명에 실시 예에 따른 다중 노출 영상 취득 장치에 의하면, 연속해서 영상을 촬영할 때, 카메라의 이미지 노출계(셔터 시간, 조리개 값, ISO 감도)는 고정한 채로 광학 셔터(100)를 통해 광량만 조절하기 때문에, 밝기와 포화 영역만 다르고 사물의 경계의 선명함과 흐림 정도는 동일한 영상을 연속해서 촬영할 수 있다. 따라서, 상기 노출 정도가 다른 연속 촬영 영상을 이용하여 높은 동적 범위의 영상을 합성할 때, 경계 정보의 차이로 인한 오류 문제(합성 경계 왜곡)를 해결할 수 있다.

상기 전자 셔터 제어부(120)는 상기 광학 셔터 제어부(130)에서 발생한 상기 광학 셔터(100)에 대한 개폐 타이밍 신호를 이용하여 상기 이미지센서(110)의 전자 셔터에 대한 개폐 시간과 개폐 시각(개폐 타이밍)을 제어함으로써, 상기 이미지센서(110)의 영상 취득 타이밍을 제어할 수 있다.

상기 광 투과량은 상기 광학 셔터(100)의 광 투과율 또는 광 투과시간 중 적어도 한 가지 이상에 의해서 달라질 수 있다. 따라서, 상기 노출 정도가 다른 복수의 연속된 영상은 상기 광 투과량이 변화하는 상태에서 취득될 수 있다.

여기서, 상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)에 인가하는 전압의 레벨을 달리하여 상기 광학 셔터(100)의 광 투과율을 조절하고, 상기 광학 셔터(100)에 인가되는 전압의 펄스 폭, 즉, 전압 펄스 인가 시간을 달리하여 상기 광학 셔터(100)의 광 투과시간을 조절할 수 있다.

본 실시 예에서는 광학 셔터(100)로 액정 글래스 렌즈(Liquid Crystal glass lens)를 채용하여 설명하였지만, 상기 광학 셔터(100)는 전기장의 강도 또는 전기장의 지속 시간에 따라 광 투과율 또는 광 투과시간이 조절될 수 있는 전기광학(electro-optical) 소자이면 어느 것이든 채용될 수 있다.

이하에서는 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 방법에 대해서 도 1 내지 도 2를 참조하여 상세히 설명한다.

도 2는 도 1에 도시한 다중 노출 영상 취득 장치에서 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.

도 2에 도시한 다중 노출 영상을 취득하기 위한 다중 노출 영상 취득 장치의 실시 예의 제작에 사용된 주요 하드웨어의 사양 및 하드웨어의 설정 방법을 설명하면 다음과 같다.

이미지센서(110)를 포함하고 있는 카메라 모듈의 사양은 아래와 같다.

- 모델명 : Edmund Optics의 EO-0413

- 이미지센서 해상도 : 752X480

- 이미지센서 전자 셔터 방식 : global shutter 방식

- 이미지센서 영상 프레임 레이트(frame rate) : 100 frame/second 이하

광학 셔터(100)로는 액정 셔터 글래스(liquid crystal shutter glass)가 사용되며 사양은 아래와 같다.

- 모델명 : 삼성전자의 SSG-4100GB

- 액정 과도시간(on-off) : 약 4ms

- 전압과 광 투과율의 관계 : 0V-40%, 5V-5%, 10V-1%이하

또한, 본 발명의 발명자는 상기 카메라 모듈의 내부 함수를 다음과 같이 설정하여 다중 노출 영상을 촬영(취득)하였다.

- 노출 : 전자 셔터의 개방 시간을 3ms 고정 노출로 수동 설정함

- 마스터 이득(master gain) :　X1 (RGB 채널 모두 동일하게 설정함)

- 자동화이트밸런스 조정 : 자동 노출(auto exposure) 조절, 자동 이득(auto gain) 조절, 자동 화이트밸런스(auto white balance) 조절 모두 작동 중지 하였음

- 트리거 모드(trigger mode) : 하강 엣지 연속 트리거 작동(falling edge triggering)

- 프레임 레이트(frame rate) : 전자 셔터 제어부(120)의 설정에 따라 60Hz로 설정하였음

또한, 상기 하드웨어를 포함한 다중 노출 영상 취득 장치에 대한 설정 방법은 다음과 같다.

먼저, 상기 광학 셔터 제어부(130)에서 저노출 영상 및 고노출 영상에 대한 각각의 목표 광 투과율이 되도록 상기 광학 셔터(100)로 입력되는 전압을 설정한다. 본 실시 예에서는 저노출 영상을 획득하기 위해 상기 광학 셔터(100)에 대한 입력 전압을 5V로 설정하여 광 투과율이 5%가 되도록 하고, 고노출 영상을 획득하기 위해 상기 광학 셔터(100)에 대한 입력 전압을 0V로 설정하여 광 투과율이 40%가 되도록 한다.

다음으로 상기 광학 셔터 제어부(130)에서는 최종적으로 합성할 높은 동적 범위의 영상(HDR 영상)의 프레임 레이트(frame rate)를 설정한다. 본 실시 예에서는 HDR 영상의 프레임 레이트를 30frame/second, 즉, 30Hz로 설정한다.

상기 전자 셔터 제어부(120)는 상기 광학 셔터 제어부(130)에서 출력되는 전압 펄스 신호의 상승 엣지(rising edge)와 하강 엣지(falling edge)에서 트리거 신호(trigger signal)을 생성한다. 이때, 상기 광학 셔터 제어부(130)에서 설정된 HDR 영상 프레임 레이트가 30Hz이므로 상기 전자 셔터 제어부(120)에서 발생하는 트리거 신호는 60Hz로 설정한다. 한편, 상기 트리거 신호의 펄스 폭은 상기 광학 셔터(100)의 과도(transient) 시간을 고려하여 5ms로 설정할 수 있다.

다음으로 상기 카메라 모듈의 트리거 모드를 전술한 바와 같이 하강 엣지 트리거 모드(falling edge trigger mode)로 설정하면, 상기 광학 셔터(100)의 광 투과율 변동이 일어나고, 상기 트리거 신호의 펄스 폭(5ms) 만큼 시간이 지난 후 상기 이미지 센서(110)에 대한 전자 셔터가 작동하여 서로 다른 노출의 영상이 교대로 취득된다.

이하에서는 상기 다중 노출 영상 취득 장치의 하드웨어 설정 및 도 1 내지 도 2를 참조하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 방법을 설명한다.

도 2를 참조하면, (a)는 광학 셔터 제어부(130)에서 광학 셔터(100)로 입력되는 전압 레벨을 도시한 것으로, 최종적으로 프레임 레이트가 30frame/second인 높은 동적 범위의 영상을 생성하고자 한다면, 상기 광학 셔터 제어부(130)는 60분의 1초의 주기(60Hz)로 낮은 레벨의 전압과 높은 레벨의 전압을 상기 광학 셔터(100)에 교대로 인가하되, 홀수 번째 주기에는 0V의 전압 레벨을 가지는 전압을 인가하고, 짝수 번째 주기에는 5V의 전압 레벨을 가지는 전압을 인가한다.

여기서, 상기 광학 셔터 제어부(130)는 30분의 1초의 주기(30Hz)로 50% 듀티 사이클의 전압 펄스를 상기 광학 셔터(100)에 인가해도 최종적으로 프레임 레이트 30인 높은 동적 범위의 영상을 얻을 수 있다.

(b)는 상기 광학 셔터(100)에 인가되는 전압 레벨에 따라 변화하는 상기 광학 셔터(100)의 광 투과율을 도시한 것으로, 홀수 번째 주기에는 40%의 투과율(211, 213)을 나타내고, 짝수 번째 주기에는 5%의 투과율(212, 214)을 나타낸다.

(c)는 이미지센서(110)에 대한 전자 셔터의 개폐를 위하여 전자 셔터 제어부(120)에서 출력되는 트리거 펄스를 도시한 것으로, 상기 전자 셔터 제어부(120)는 상기 광학 셔터 제어부(130)에서 출력되는 전압 펄스 신호의 상승 엣지(rising edge)와 하강 엣지(falling edge)에 동기하여 트리거 펄스(trigger pulse)를 생성하므로, 본 실시 예의 경우, 상기 트리거 펄스는 60Hz로 설정되고, 그 펄스 폭은 상기 광학 셔터(100)의 과도(transient) 시간을 감안하여 설정할 수 있다. 본 실시 예에서는 상기 과도 시간이 4ms이므로 상기 트리거 펄스의 폭은 5ms로 설정하였다. 여기서, 트리거 펄스가 60Hz라는 것은 상기 이미지센서(110)의 영상 프레임 레이트가 60frame/second 임을 나타낸다.

(d)는 상기 전자 셔터의 작동 타이밍을 도시한 것으로, 상기 전자 셔터의 개방 타이밍은 상기 트리거 펄스에 동기하여 상기 트리거 펄스의 하강 엣지 마다 미리 정한 시간 동안, 예를 들어 3ms 동안 상기 전자 셔터가 개방(오픈)된다.

상기 이미지센서(110)는 (e)에 도시한 바와 같이, 홀수 번째 프레임과 짝수 번째 프레임에 각각 고노출의 영상(221, 223)과 저노출의 영상(222, 224)을 취득할 수 있다.

따라서, 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치는 상기 연속하여 취득된 서로 다른 노출의 영상의 쌍들을 합성하여 HDR 영상 프레임을 생성할 수 있다. 즉, 고노출 영상 프레임(221)과 저노출 영상 프레임(222)을 합성하여 n번째 HDR 영상 프레임을 생성하고, 고노출 영상 프레임(223)과 저노출 영상 프레임(224)을 합성하여 (n+1)번째 HDR 영상 프레임을 생성함으로써, 프레임 레이트가 30frame/second인 HDR 영상을 생성할 수 있다. 상세한 설명 내에서 n은 자연수 이다.

도 2에 도시한 실시 예는 전자 셔터 제어부(120)에서 발생된 외부 트리거 신호를 이용하여 이미지센서(110)의 프레임 레이트를 결정하는 신호를 발생하는 경우이며, 다른 실시 예로 상기 외부 트리거 신호 없이 카메라 모듈 내부의 프레임 레이트를 결정하는 이미지센서(110)의 수직 동기 신호(Vertical synchronous signal)에 광학 셔터(100)를 동기할 수 있다.

도 3은 본 발명의 다른 실시 예에 따른 다중 노출 영상 취득 장치의 구성도로서, 이미지센서의 수직 동기 신호에 광학 셔터를 동기하여 다중 노출 영상을 취득하는 장치의 구성을 도시한 것이다.

도 3에서 각 구성요소의 참조기호는 도 1의 구성요소와 동일한 경우에는 동일한 참조기호를 사용하였다.

도 3에 도시한 바와 같이, 본 발명의 다른 실시 예에 따른 다중 노출 영상 취득 장치는 광학 셔터(100), 이미지센서(110), 광학 셔터 제어부(130), 및 HDR 영상 생성부(140)를 포함하여 구성되며, 상기 광학 셔터(100), 상기 이미지센서(110), 및 상기 HDR 영상 생성부(140)의 작동은 도 1의 구성요소에 대한 설명과 동일하다.

단, 상기 광학 셔터 제어부(130)는 상기 이미지센서(110)의 프레임 레이트를 결정하는 수직 동기 신호에 동기하여 상기 광학 셔터(100)의 개폐를 제어함으로써, 상기 광학 셔터(100)를 투과하는 광의 투과량을 조절할 수 있다. 즉, 상기 광학 셔터 제어부(130)는 상기 이미지센서(110)에 대한 전자 셔터의 트리거 신호의 주기에 동기하여 상기 광의 투과량을 조절함으로써, 상기 이미지센서(110)가 고노출의 영상과 저노출의 영상을 교대로 취득하게 할 수 있다.

도 4는 도 3에 도시한 다중 노출 영상 취득 장치에서 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.

도 4에 도시한 전자 셔터의 트리거 신호는 전술한 바와 같이, 상기 이미지센서(110)의 수직 동기 신호에 동기되어 발생되며, 상기 광학 셔터 제어부(130)는 상기 수직 동기 신호에 동기하여 목표 투과율을 달성할 수 있는 전압 레벨을 상기 광학 셔터(100)에 인가함으로써, 최종적으로 상기 이미지센서(110)가 고노출의 영상과 저노출의 영상을 교대로 취득하게 할 수 있다.

예를 들어, 도 4에 도시한 바와 같이, 상기 이미지센서(110)의 영상 취득 프레임 레이트(frame rate)가 60frame/second이면, 본 발명에 따른 다중 노출 영상 취득 장치는, 광학 셔터(100)의 광 투과율이 높은 상태에서 1/60초의 영상 취득 구간 내의 특정 시점에 전자 셔터를 일정 시간 동안, 예를 들어 3ms 동안 작동하여 홀수 번째 프레임 취득 타이밍 마다 고노출의 영상을 취득하고, 광학 셔터(100)의 광 투과율이 낮은 상태에서 1/60초의 영상 취득 구간 내의 특정 시점에 전자 셔터를 일정 시간 작동하여 짝수 번째 프레임 취득 타이밍 마다 저노출의 영상을 취득한다. 이후, HDR 영상 생성부(140)는 상기 취득된 고노출 영상과 저노출 영상을 합성하여 한 프레임의 높은 동적 범위(High Dynamic Range)의 영상을 생성할 수 있다. 즉, 이미지센서(110)의 프레임 레이트(frame rate)가 60인 경우, 프레임 레이트가 30인 높은 동적 범위의 동영상을 얻을 수 있다.

이하에서는 광학 셔터의 개폐와 전자 셔터의 작동 타이밍을 제어하여 다중 노출 영상을 취득하고, 이를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 다른 방법에 대해서 도 5를 참조하여 설명한다.

도 5는 도 1에 도시한 다중 노출 영상 취득 장치에서 광학 셔터의 개폐와 전자 셔터의 작동 타이밍을 제어하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.

도 5를 참조하면, 광학 셔터 제어부(130)에서 광학 셔터(100)로 입력되는 전압 레벨을 도시한 것으로, 최종적으로 프레임 레이트가 30frame/second인 높은 동적 범위의 영상을 생성하고자 한다면, 상기 광학 셔터 제어부(130)는 60분의 1초의 주기(60Hz)로 낮은 레벨의 전압과 높은 레벨의 전압을 광학 셔터(100)에 교대로 인가하되, 홀수 번째 주기에는 0V의 전압 레벨을 가지는 전압을 인가하고, 짝수 번째 주기에는 5V의 전압 레벨을 가지는 전압을 인가한다.

따라서, 상기 광학 셔터(100)의 광 투과율은 (f)에 도시한 바와 같이, 인가되는 전압 레벨에 따라 광 투과율이 변화하고, 홀수 번째 주기에는 40%의 투과율(높은 투과율)을 나타내고, 짝수 번째 주기에는 5%의 투과율(낮은 투과율)을 나타낸다.

상기 전자 셔터 제어부(120)는 (g)에 도시한 바와 같이, 상기 이미지센서(110)의 전자 셔터가 연속된 홀수 번째 영상 프레임 취득 구간의 끝 시점과 짝수 번째 영상 프레임 취득 구간의 시작 시점에 미리 정한 시간 동안, 예를 들어 3ms 동안 상기 전자 셔터가 개방(501, 502)되도록 전자 셔터 트리거 신호를 발생할 수 있다.

본 실시 예에서는, 상기 전자 셔터는 상기 이미지센서(110)의 홀수 번째 읽어내기 시간(Read-out Time)에 근접하여 작동시킨 것이며, 실시 예와 다르게 짝수 번째 프레임에 대한 읽어내기 시간에 근접하여 작동하도록 전자 셔터 작동 타이밍을 조절할 수도 있다.

한편, (g)에 도시한 바와 같이, 상기 전자 셔터가 상기 이미지센서(110)의 홀수 번째 읽어내기 시간에 근접하여 작동하도록 할 경우(501, 502), 상기 근접한 전자 셔터 작동 타이밍의 간격(504)은 짝수 번째 프레임에서의 전자 셔터 개방 타이밍(502)과 그 다음 홀수 번째 프레임에서의 전자 셔터 개방 타이밍(503)과의 시간 간격(505)보다 짧아야 상기 전자 셔터가 상기 이미지센서(110)의 홀수 번째 읽어내기 시간에 근접하여 작동하게 할 수 있다.

따라서, 상기 이미지센서(110)는 (h)에 도시한 바와 같이, 홀수 번째 프레임과 짝수 번째 프레임에 각각 고노출의 영상과 저노출의 영상을 연속하여 취득할 수 있으며, HDR 영상 생성부(140)는 상기 연속하여 취득된 서로 다른 노출의 영상의 쌍들을 합성하여 HDR 영상 프레임을 생성할 수 있다. 즉, 연속된 고노출 영상 프레임과 저노출 영상 프레임을 합성하여 n번째 HDR 영상 프레임을 생성하고, 그 다음으로 연속된 고노출 영상 프레임과 저노출 영상 프레임을 합성하여 (n+1)번째 HDR 영상 프레임을 생성함으로써, 프레임 레이트가 30frame/second인 HDR 영상을 생성할 수 있다.

전술한 바와 같이, 상기 이미지센서(110)에 대한 홀수 번째 프레임의 읽어내기 시간 또는 짝수 번째 프레임의 읽어내기 시간의 전과 후의 근접한 시점에 영상 프레임을 취득하면, 상기 취득된 영상 프레임의 합성 시, 영상 프레임 취득 시점의 차이로 인해 발생하는 피사체의 움직임에 의한 합성 경계 오차를 최소화 할 수 있는 효과가 있다.

도 5의 (g)에서의 상기 근접한 전자 셔터 작동 타이밍의 간격(504)을 상기 이미지센서(110)가 허용하는 한도 내에서 최대한 좁힐 수록 연속적으로 취득하는 영상 프레임의 취득 시점 차이를 줄일 수 있으므로, 상기 합성 경계 오차를 더 줄일 수 있다.

다른 실시 예에 따라, 전자 셔터를 완전히 개방한 상태에서, 이미지센서(110)의 홀수 번째 프레임에 대한 읽어내기 시간마다 상기 읽어내기 시간의 전후에 인접하여 서로 다른 지속 시간 동안 광학 셔터(100)가 개방되도록 상기 광학 셔터(100)에 일정 전압을 인가함으로써, 상기 이미지센서(110)가 고노출의 영상과 저노출의 영상을 교대로 연속하여 취득하게 할 수 있다.

이하에서는 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과시간을 조절하여 다중 노출 영상을 취득하고, 이를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 다른 방법에 대해서 도 6을 참조하여 설명한다.

도 6은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.

도 6을 참조하면, 상기 이미지센서(110)의 프레임 레이트가 60frame/second인 경우, 본 발명에 따른 다중 노출 영상 취득 장치는, 전자 셔터 제어부(120)를 통해 상기 전자 셔터를 완전히 개방한 상태((j)에 도시됨)에서, 상기 이미지센서(110)의 홀수 번째 프레임의 읽어내기 시간에 걸쳐서 미리 결정된 시간 동안 상기 광학 셔터(100)를 개방할 수 있다((i)에 도시됨).

이 때, 홀수 번째 프레임의 영상을 고노출로 취득하고, 짝수 번째 프레임의 영상을 저노출로 취득하고자 한다면, 상기 광학 셔터(100)의 개방 시간 중 홀수 번째 프레임에 걸친 시간(601)이 짝수 번째 프레임에 걸친 시간(602)보다 길게 되도록 설정하면 된다((i)에 도시됨).

이 때, 실질적인 전자 셔터의 개방 시간은 상기 광학 셔터(100)의 개방 시간과 동일하게 되어, (k)에 도시한 바와 같이 될 수 있다(603, 604).

따라서, 상기 이미지센서(110)는 (l)에 도시한 바와 같이, 홀수 번째 프레임과 짝수 번째 프레임에 각각 고노출의 영상과 저노출의 영상을 연속하여 취득할 수 있으며, HDR 영상 생성부(140)는 상기 연속하여 취득된 서로 다른 노출의 영상의 쌍들을 합성하여 HDR 영상 프레임을 생성할 수 있다.

전술한 바와 같이, 상기 전자 셔터를 완전히 개방한 상태에서 상기 광학 셔터(100)의 개방 타이밍을 조절하여 고노출의 영상과 저노출의 영상을 연속적으로 취득하면, 상기 취득된 영상 프레임의 합성 시, 영상 프레임 취득 시점의 차이로 인해 발생하는 피사체의 움직임에 의한 합성 경계 오차를 최소화 할 수 있는 효과가 있다.

여기서, 상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)에 인가되는 전압 레벨의 조절로 상기 광학 셔터(100)의 광 투과율을 정밀하게 조절하지 않고, 단순하게 상기 광학 셔터(100)가 최대의 광 투과율을 가지도록 전압을 인가하거나, 상기 광학 셔터(100)가 최소의 광 투과율을 가지도록 전압을 인가함으로써 상기 광학 셔터(100)를 온(On) 상태와 오프(Off) 상태로 제어하고, 단지 상기 광학 셔터(100)가 온되는 시각과 온되어 지속되는 시간만 제어함으로써 취득할 영상에 대한 목표 노출을 용이하게 얻을 수 있다.

실시 예에 따라, 전자 셔터를 완전히 개방한 상태에서, 서로 다른 지속 시간 및 서로 다른 광 투과율로 광학 셔터(100)가 개방되도록 이미지센서(110)의 홀수 번째 프레임에 대한 읽어내기 시간마다 상기 읽어내기 시간의 전후에 인접하여 상기 광학 셔터(100)에 전압을 인가함으로써, 상기 이미지센서(110)가 고노출의 영상과 저노출의 영상을 교대로 연속하여 취득하게 할 수 있다.

이하에서는 풀타임 전자 셔터 조건 아래에서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하고, 이를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 방법에 대해서 도 7을 참조하여 설명한다.

도 7은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 도이다.

도 7을 참조하면, 본 실시 예에 따른 다중 노출 영상 취득 방법은 도 6에 도시한 다중 노출 영상 취득 방법과 대부분 동일하며, 광학 셔터(100)의 광 투과율 및 광 투과시간을 조절하기 위한 광학 셔터 제어부(130)의 제어 방법만 차이가 있다.

상기 이미지센서(110)는 홀수 번째 프레임의 영상을 고노출로 취득하고, 짝수 번째 프레임의 영상을 저노출로 취득하고자 한다면, 홀수 번째 프레임의 읽어내기 시간에 걸쳐서 미리 결정된 시간 동안 상기 광학 셔터(100)를 개방하되, 상기 광학 셔터(100)의 개방 시간 중 홀수 번째 프레임에 걸친 시간이 짝수 번째 프레임에 걸친 시간보다 길게 되도록 설정하는 동시에 홀수 번째 프레임에 걸친 시간 동안의 광 투과율이 짝수 번째 프레임에 걸친 시간 동안의 광 투과율 보다 크게 되도록 설정하면 된다((m)에 도시됨).상기 취득된 다중 노출 영상을 합성하여 HDR 영상을 합성하는 방법은 도 6의 설명과 동일하므로 생략한다.

전술한 바와 같이, 상기 전자 셔터를 완전히 개방한 상태에서 상기 광학 셔터(100)의 개방 타이밍 및 광 투과율을 조절하여 고노출의 영상과 저노출의 영상을 연속적으로 취득하면, 다중 노출 영상을 취득함에 있어서 휘도에 대한 동적 영역이 더 확장되며, 촬영 타이밍에 대한 오차가 낮아지고, 노출 비에 대한 설정성이 향상되는 효과가 있다.

여기서, 상기 광학 셔터 제어부(130)는 상기 광학 셔터(100)에 인가되는 전압 레벨의 조절로 상기 광학 셔터(100)의 광 투과율을 정밀하게 조절하는 한편, 상기 광학 셔터(100)가 온(On)되는 시각과 온(On)되어 지속되는 시간도 함께 제어함으로써 취득할 영상에 대한 목표 노출을 더욱 정밀하게 얻을 수 있다.

실시 예에 따라, 전자 셔터를 완전히 개방한 상태에서, 서로 동일한 지속 시간 및 서로 다른 광 투과율로 광학 셔터(100)가 개방되도록 이미지센서(110)의 홀수 번째 프레임에 대한 읽어내기 시간마다 상기 읽어내기 시간의 전후에 인접하여 상기 광학 셔터(100)에 전압을 인가함으로써, 상기 이미지센서(110)가 고노출의 영상과 저노출의 영상을 교대로 연속하여 취득하게 할 수 있다.

이하에서는 풀타임 전자 셔터 조건 아래에서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하고, 이를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 다른 방법에 대해서 도 8을 참조하여 설명한다.

도 8은 도 1에 도시한 다중 노출 영상 취득 장치에서 풀타임 전자 셔터 조건 아래서 광학 셔터의 광 투과율 및 광 투과시간을 조절하여 다중 노출 영상을 취득하기 위한 각 구성 요소의 제어 신호 발생 타이밍을 도시한 다른 도이다.

도 8을 참조하면, 본 실시 예에 따른 다중 노출 영상 취득 방법은 도 7에 도시한 다중 노출 영상 취득 방법과 대부분 동일하며, 광학 셔터(100)의 광 투과시간을 조절하기 위한 광학 셔터 제어부(130)의 제어 방법만 차이가 있으므로, 상세한 설명은 생략한다.

도 8에 대한 실시 예에서 설명한 바와 같이, 상기 전자 셔터를 완전히 개방한 상태에서 상기 광학 셔터(100)의 개방 타이밍 및 광 투과율을 조절하여 고노출의 영상과 저노출의 영상을 연속적으로 취득하면, 상기 취득된 다중 노출 영상의 합성하여 높은 동적 범위의 영상을 생성함에 있어서 합성 경계 왜곡이 매우 낮으며, 촬영 타이밍에 대한 오차가 낮아지고, 노출 비에 대한 설정성이 향상되는 효과가 있다.

이하에서는 비대칭 경사 함수(ramp function) 형태의 전압 레벨 파형으로 광학 셔터를 조절하여 다중 노출 영상을 취득하고, 이를 이용하여 높은 동적 범위의 영상(HDR 영상)을 생성하는 방법에 대해서 도 9를 참조하여 설명한다.

도 9는 도 1에 도시한 다중 노출 영상 취득 장치에서 비대칭 경사 함수 형태의 전압 펄스로 다중 노출 영상의 취득 시의 동작 타이밍도이다.

도 9를 참조하면, 도면의 (o)에 도시된 바와 같이, 광학 셔터 제어부(130)는 비대칭 경사 함수 형태의 전압을 광학 셔터(100)에 인가함으로써, 고노출 구간에서 높은 상승 경사도의 광 투과율 파형(910)으로 고노출 촬영 조건이 되도록 하고, 목표로 하는 저노출 촬영 조건이 달성될 수 있도록 읽어내기 시간(Read-out Time) 구간에서 광 투과율 파형의 시작점을 조정한 뒤, 저노출 구간에서 낮은 하강 경사도의 광 투과율 파형(920)으로 상기 저노출 촬영 조건이 되도록 할 수 있다.

따라서, 전자 셔터 제어부(120)가 전자 셔터를 완전히 개방한 상태에서, 상기 광학 셔터 제어부(130)가 이미지센서(110)의 홀수 번째 프레임의 읽어내기 시간마다 상기 읽어내기 시간에 걸쳐서, 전술한 비대칭 경사 함수 형태의 전압을 상기 광학 셔터(100)에 인가하여 목표로 하는 광 투과율의 파형을 얻을 수 있고, 상기 이미지센서(100)가 홀수 번째 프레임의 영상을 고노출로 취득하고, 짝수 번째 프레임의 영상을 저노출로 취득할 수 있다.

상기 서로 다른 노출의 연속된 영상을 합성하여 HDR 영상을 합성하는 방법은 전술한 바와 동일하므로 생략한다.

전술한 바와 같이, 상기 비대칭 경사 함수 형태의 전압 펄스를 이용하여 상기 광학 셔터(100)를 제어하면, 상기 광학 셔터(100)의 노출을 세밀하게 조정할 수 있으며, 상기 광학 셔터의 응답속도 한계로 인한 노출 설정의 오차를 개선할 수 있고, 또한, 고노출 영상과 저노출 영상의 광량 비율을 정확하게 조절할 수 있는 효과가 있다.

즉, 삼각파, S파 등의 비대칭 경사 함수(ramp function) 파형으로 상기 광학 셔터(100)에 인가되는 전압 레벨을 가변 시킴으로써 상기 광학 셔터(100)의 투과율을 서서히 변화시킬 수 있어 목표로 하는 고노출 또는 저노출의 노출 설정에 대해 오차를 최소화 할 수 있다.

또한, 상기 비대칭 경사 함수 형태의 전압 펄스를 이용하여 상기 광학 셔터(100)의 개폐를 제어하는 경우, 다중 노출 영상을 취득함에 있어서 촬영 타이밍에 대한 오차가 낮아지고, 노출 비에 대한 설정성이 향상되는 효과가 있으며, 상기 취득된 서로 다른 노출 값을 가지는 복수의 영상 프레임의 합성 시, 영상 프레임 취득 시점의 차이에 의한 피사체의 움직임에 의한 합성 경계 오차(왜곡)를 최소화 할 수 있는 효과가 있다.

이하에서는 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치를 통해 취득한 복수의 다중 노출 영상을 HDR 영상 생성부에 구비된 HDR 영상 합성 소프트웨어를 이용하여 높은 동적 범위의 영상을 합성한 예를 도 10을 참조하여 설명한다.

도 10은 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치를 이용하여 취득한 복수의 다중 노출 영상을 합성하여 높은 동적 범위의 영상을 생성한 예를 도시한 도이다.

도 10을 참조하면, 이미지 합성 소프트웨어를 이용하여, 다중 노출 영상 취득 장치를 통해 취득된 홀수 번째 영상 프레임(Odd Frame)인 고노출 영상(1000) 한 장과 짝수 번째 영상 프레임(Even Frame)인 저노출 영상(1010) 한 장을 합성하여 높은 동적 범위(High Dynamic Range)의 영상 한 장을 합성(Tone Mapped Image, 1020)하였다.

여기서, 상기 이미지 합성에 사용된 다중 노출 영상의 취득 환경은 조도 10,000Lux 이상의 일광 조건이며, 어두운 곳과 밝은 곳의 휘도 비는 10,000:1 이상이다.

따라서, 도 10에 도시한 바와 같이, 본 발명의 실시 예에 따른 다중 노출 영상 취득 장치를 이용하면, 서로 다른 노출의 두 장의 영상을 합성하여 높은 동적 범위의 영상을 용이하게 생성할 수 있는 효과가 있다.

한편, 전술한 서로 다른 노출의 두 장의 영상의 합성 외에 세 장의 서로 다른 노출의 영상, 예를 들어 고노출(High Exposure), 중노출(Middle Exposure), 저노출(Low Exposure)의 영상을 합성하여 동적 범위가 더 확장된 영상을 용이하게 생성할 수도 있다.

이하에서는, 세 장의 서로 다른 노출의 영상을 합성하여 동적 범위가 확장된 영상(즉, 높은 동적 범위의 영상)을 생성하는 방법에 대해서 도 11을 참조하여 상세히 설명한다.

도 11은 본 발명의 실시 예에 따라 서로 다른 세 가지 노출의 영상을 취득하여 높은 동적 범위의 영상을 생성하는 다중 노출 영상 취득 장치의 구성도이다.

먼저, 광학 셔터 제어부(130)는 이미지센서(100)의 영상 취득 주기에 동기하여 저노출 영상, 중노출 영상 및 고노출 영상에 대한 각각의 목표 광 투과량을 달성하도록 광학 셔터(100)로 입력되는 전압을 설정한다.

다음으로, 상기 이미지센서(110)는 연속된 세 개의 프레임 각각에서 상기 저노출 영상, 중노출 영상 및 고노출 영상을 취득하고, HDR 영상 생성부(140)에서는 상기 취득된 세 장의 서로 다른 노출 정도를 가지는 영상을 합성하여 동적 범위가 확장된 높은 동적 범위의 영상을 생성할 수 있다.

여기서, 상기 이미지센서(110)의 프레임 레이트(frame rate)가 60frame/second이면, 상기 광학 셔터 제어부(130)는 상기 이미지센서(110)가 연속된 세 개의 프레임 단위로, 서로 다른 노출의 세 개의 영상을 취득하도록 상기 광학 셔터(100)를 제어함으로써, 최종적으로 출력되는 높은 동적 범위의 영상의 프레임 레이트는 20frame/second가 된다.

본 실시 예에서는 서로 다른 노출을 가지는 세 개의 영상을 취득하여 높은 동적 범위의 영상 합성하는 경우를 예로 들었지만, 상기 높은 동적 범위의 영상의 합성에 사용되는 서로 다른 노출의 영상의 개 수에는 제한이 없다.

본 명세서에서 상술한 실시 예들에서는 이미지센서의 프레임 레이트가 60frame/second인 경우로 설명하였으며, 따라서, 최종적으로 합성된 높은 동적 범위의 영상은 두 장의 서로 다른 노출의 영상을 합성하는 경우에는 30frame/second의 프레임 레이트가 되고, 세 장의 서로 다른 노출의 영상을 합성하는 경우에는 20frame/second의 프레임 레이트가 된다. 그러나, 상기 이미지센서의 프레임 레이트가 높아질수록 최종적으로 합성되는 높은 동적 범위의 영상의 프레임 레이트도 높아지게 된다.

한편, 본 발명의 개념에 따른 다중 노출 영상 취득 장치는 카메라의 낮은 동적 범위로 인해 영상 분석 정확도가 떨어지는 장비의 성능을 개선할 수 있어, 영상 촬영을 통해 사물을 인식하거나 화면을 분석하는 기술 분야에 적용할 수 있다.

예를 들어, 본 발명의 개념에 따른 다중 노출 영상 취득 장치는 구름, 건물 그림자, 태양 노출 등 비행 중에 발생할 수 있는 급격한 노출 변화를 극복하여 정확한 전방 감시와 장애물 회피의 필요가 있는 드론 기술 분야나 영상 분석을 통해 사물, 사람, 자동차 등의 특정 사물을 분석할 필요가 있는 CCTV 보안 시스템에 적용될 수도 있다.

또한, 본 발명의 개념에 따른 다중 노출 영상 취득 장치는 전방 영상을 촬영하여 도로의 차선과 상대방 차량을 인식한 후, 차선을 유지하거나, 장애물 회피, 전방 차량 추돌 또는 충돌 방지 등의 기술이 요구되는 자율 주행 자동차 분야, 블랙 박스 등의 자동차의 주행 영상 기록장치 분야, 또는 카메라를 이용한 자동차의 사이드 미러 또는 백 미러 등의 자동자 영상 장치 기술 분야에 적용될 수 있다.

본 발명의 개념에 따른 다중 노출 영상 취득 장치는 전술한 응용 기술 분야 뿐만 아니라 영상 촬영을 통해 사물을 인식하거나 화면을 분석하는 모든 응용 기술 분야에 적용될 수 있다.

본 발명의 권리 범위는 상기 다중 노출 영상 취득 장치의 구성요소들의 수량 및 종류에 의해 제한 해석되지 않는다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

1. 입사되는 광의 투과량을 조절하는 광학 셔터와, 상기 광학 셔터를 투과한 광의 투과량에 따라 전하를 축적하여 영상을 취득하는 이미지센서와, 상기 이미지센서의 전자 셔터에 대한 개폐 시간과 개폐 시각을 제어하는 전자 셔터 제어부와, 상기 광학 셔터로 입력되는 전압의 레벨 및 전압 펄스 폭을 제어하여 광의 투과량을 조절하는 광학 셔터 제어부를 포함하는 다중 노출 영상 취득 장치에 있어서,
   상기 이미지 센서로부터 노출의 정도가 다르게 출력되는 홀수 번째 프레임과 짝수 번째 프레임 영상의 쌍을 합성하여 HDR(High Dynamic Range) 영상을 생성하는 HDR 영상 생성부;를 포함하되,
   상기 광학 셔터 제어부는 상기 이미지센서에서 고노출 영상과 저노출 영상이 프레임 단위로 교대 출력되도록 상대적으로 낮은 레벨의 전압과 높은 레벨의 전압이 규칙적으로 위치하는 전압 펄스 신호를 생성하여 상기 광학 셔터에 인가하고,
   상기 전자 셔터 제어부는 상기 광학 셔터 제어부로부터 입력되는 상기 전압 펄스 신호의 상승 엣지와 하강 엣지에 각각 동기된 소정의 펄스 폭을 가지는 트리거 펄스를 생성해 상기 전자 셔터에 인가하며,
   상기 트리거 펄스의 하강 엣지 마다 미리 정한 시간 동안 개방되는 상기 전자 셔터의 개방 타이밍에 의해 상기 이미지 센서에서는 상기 홀수 번째 프레임과 상기 짝수 번째 프레임에 노출 정도가 다른 영상이 프레임 단위로 교대 출력됨을 특징으로 하는 다중 노출 영상 취득 장치.
2. 청구항 1에 있어서, 피사체 움직임에 의한 합성 경계 오차를 최소화하기 위해서, 상기 이미지센서에 대한 홀수 번째 프레임의 읽어내기 시간과 뒤이어지는 짝수 번째 프레임의 읽어내기 시간이 상대적으로 짧은 값을 가지도록 상기 전자 셔터의 개방 타이밍을 설정함을 특징으로 하는 다중 노출 영상 취득장치.
3. 청구항 1에 있어서, 노출의 정도가 다르게 출력되는 상기 홀수 번째 프레임과 상기 짝수 번째 프레임의 영상은,
   상기 전자 셔터가 완전히 개방된 상태에서 상기 광학 셔터 제어부는 상기 이미지 센서의 읽어내기 시간 중 격순의 읽어내기 시간의 전과 후에 상기 광학 셔터의 광 투과율의 그래프가 각각 상승하는 형태와 하강하는 형태를 가지도록 상기 광학 셔터에 비대칭 경사 함수 형의 전압 펄스를 인가하여 취득되되, 상기 상승하는 형태의 광 투과율 그래프의 경사도의 절대값이 상기 하강하는 형태의 광 투과율 그래프의 경사도의 절대값 보다 더 큰 것을 특징으로 하는 다중 노출 영상 취득 장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images