KR20170018826A

KR20170018826A - 센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템

Info

Publication number: KR20170018826A
Application number: KR1020167034261A
Authority: KR
Inventors: 요아프 그라우어; 오페르 데이비드; 이얄 레비
Original assignee: 브라이트웨이 비젼 엘티디.
Priority date: 2014-06-24
Filing date: 2015-05-18
Publication date: 2017-02-20
Also published as: EP3161521A4; KR102165399B1; IL233356A; EP3161521A1; WO2015198300A1; US20170115395A1; US9753141B2; EP3161521B1

Abstract

연속적인 센서 노출들 사이의 최소화된 시간 주기에 의해 특징지어진 능동 또는 수동 게이트된-센서 이미징 시스템. 상기 능동 이미징 시스템에서, 광원은 관심영역 쪽으로 광 펄스들을 방출하며, 이미지 센서는 이미징되는 DOF에 위치한 물체들로부터 반사된 펄스들의 반사들을 수신하며 상기 반사들을 이미지로 변환한다. 상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함한다. 각각의 게이팅 싸이클은 각각의 광 펄스의 방출 및 상기 각각의 펄스의 반사들의 수신을 포함한다. 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의된다. 컨트롤러는, 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간을 최소화하기 위해, 상기 광원 및 상기 이미지 센서의 동작을 제어하며, 상기 지연-시간은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정된다.

Description

센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템{Gated Sensor Based Imaging System With Minimized Delay Time Between Sensor Exposures}

본 발명은 일반적으로 이미징 시스템들에 관한 것으로, 특히 게이트된 이미징을 갖는 능동 조명 또는 수동 이미징 시스템들에 관한 것이다.

야간 시각 이미징 시스템들(Night vision imaging systems)은 최소의 주변 광(ambient light)을 갖는 환경의 가시적인 이미지들을 발생시키며, 이것은 그렇지 않으면 육안에는 보이지 않는다. 이러한 시스템들은 군용 및 법 집행장치들(law enforcement units)뿐만 아니라, 다양한 민간 응용분야들에 의해 사용된다. 이러한 한가지의 응용분야는 야간, 우천, 안개, 또는 시계가 불량한 운전조건들 동안의 운송수단 운전자의 시계를 개선시키기 위한 것이다. 운송수단 주위의 영역의 발생된 이미지는, 전방충돌경보(forward collision warning, FCW), 차선이탈 경고(lane de parture warning, LDW), 교통 표지판 인식(traffic sign recognition, TSR), 및 보행자들 또는 다가오는 운송수단들과 같은 관련 실체들의 감지와 같은, 다양한 운전자 지원 및 안전성 기능들을 제공하기 위해 처리될 수도 있다. 상기 이미지는 또한, 예컨대 운송수단 전면유리 상의 전방 표시[투영]장치(head-up display, HUD)상에 투영되어 운전자에게 표시될 수도 있다. 운송수단 야간 시각 시스템은 또한 저조도(低照度) 또는 불량한 시계 조건들에서의 자율적인 운전을 가능하게 하기 위해 사용될 수도 있다.

이미징 시스템은 능동적이거나 수동적일 수도 있다. 일부의 수동적인 이미징 시스템들은 가시적인 영상 이미지(즉, 반사된 이미지)를 발생시키기 위해 상기 환경에서의 현존하는 저조도 조명을 증폭함으로써 동작한다. 다른 수동 이미징 시스템들은 열 감지 또는 적외선 카메라에 근거하며, 이것은 주변영역에서의 물체들에 의해 방출된 적외선 복사에서의 차이들을 감지하며, 상기 감지된 복사 차이들(즉, 방출된 이미지)에 따른 영상 이미지를 발생시킨다. 능동 이미징 시스템은 상기 환경을 조명하기 위해 광원으로부터의 빛을 전달하고, 상기 반사된 광을 이미징 센서에 의해 축광하며, 상기 환경에 현존하는 주변 광이 사실상 없을 때에도 가시적인 이미지를 제공하는 것을 포함한다. 예컨대, LED, 필터링된 백열전구, 또는 레이저일 수도 있는 상기 광원은 빛을 지속파(continuous wave, CW) 또는 일련의 펄스들의 형태로 전달할 수도 있다.

현대의 이미지 센서들은 전형적으로, 전하결합소자들(charge-coupled device s, CCD), 또는 상보성 금속-산화물-반도체(CMOS) 또는 N-형 금속-산화물-반도체(N MOS) 공정들을 사용하여 제조된 능동-픽셀 센서들(active-pixel sensors, APS)과 같은, 반도체 기반의 센서들이다. 상기 이미지 센서들의 예들은 : 강화된-CCD(ICC D)/강화된-CMOS(ICMOS); 전자증폭 전하결합소자(Electron Multiplying CCD, EMCC D); 전자 충격식 CMOS(Electron Bombarded CMOS, EBCMOS); 하이브리드 FPA(인듐갈륨비소(InGaAs), 수은카드뮴텔루륨(HgCdTe)과 같은, CCD 또는 CMOS); 및 애벌란시 포토 다이오우드 초점면 배열[(Avalanche Photo-Diode, APD) focal plane array]을 포함한다. CMOS 센서에서, 각각의 배열 픽셀은, 광 검출기, 능동 증폭기, 커패시터, 및 광 검출기 집적된 전하를 판독하기 위한 스위칭 성분들을 포함하는, 입사광을 해당 전하로 변환하기 위한 각각의 전자 성분들 및 회로와 연관된다. 상기 센서 배열에서의 각각의 픽셀 그룹은 입사 방사선(incident radiation)을 수집하고 선택된 노출을 위한 전하를 집적하기 위해 독립적으로 제어될 수 있으며, 픽셀 데이터는 전체 프레임이 포착된 후에 판독을 경험한다. 촬상관(撮像管) 센서들(camera tu be sensors)(예컨대, 광전 배증관(倍增管)(photomultiplier), 광증폭기(光增幅器) 기반 센서들(image intensifier based sensors), 또는 광 배증관들(倍增管)(light multipliers)과 비교하여, CCD/CMOS 이미지 센서들은 일반적으로 포화, 블루밍 효과들(blooming effects) 및 감도의 손실에 덜 민감하기 때문에, 낮은 비용으로 제조 가능하며 다양한 환경들 및 온도 조건들(예컨대, 일광 동작(daylight operat ion))에서 만족스럽게 기능할 수 있다. 촬상관(撮像管) 센서들의 부가적인 단점은 광자들의 일정한 고레벨 입력을 제어하기 위한 증배관(增倍管)(intensifier)의 무능에 의해 야기된 "스크린 번-인(screen burn-in)" 효과이다. 전형적으로, 영상 증배관(增倍管)(image intensifier)이 낮에 동작될 때(광학적 또는 전기적 보호가 없는), 관은 수분 내에 고장나게 된다(burn out). 이와 같이, 일정한 밝기의 물체는 또한 상기 영상 증배관(增倍管)에서의 소진 영역(점)(burn area)(spot)을 야기시킬 수도 있다.

또한 "게이트된 이미징(gated imaging)"이라 알려진, 특정 피사계 심도를 이미징하기 위해 능동 이미징 시스템들에서 조명 펄스들을 카메라 동작과 동기화하는 기술은 이 기술분야에서 잘 알려져 있다. 이 기술은 예컨대, "레이저 게이트된 카메라 이미징 시스템 및 방법"의 명칭의, 인바르 씨(氏) 등에게 특허된 미국특허번호 7,379,164호(U.S. Patent No. 7,379,164 to Inbar et al., entitled "Laser gated ca mera imaging system and method)"에; "운송수단 장착 야간 시각 시스템 및 방법"의 명칭의, 대비드 씨(氏) 등에게 특허된 미국특허번호 7,733,464호(U.S. Patent No. 7,73 3,464 to David et al., entitled "Vehicle mounted night vision imaging sys tem and method")에; "게이트된 이미징"의 명칭의, 대비드 씨(氏) 등에게 특허된 미국특허번호 8,194,126호(U.S. Patent No. 8,194,126 to David et al., entitled "Gated imaging")에; "판독당 다수의 게이트된 픽셀"의 명칭의, 그라우어 씨(氏)등에게 특허된 PCT 특허출원 공개번호 WO2013/157001호(PCT Patent Application Publ ication No. WO2013/157001 to Grauer et al., entitled "Multiple gated pixel per readout")에; 및 "조정 가능한 피사계 심도를 사용하는 게이트된 이미징"의 명칭의, 그라우어 씨(氏)등에게 특허된 PCT 특허출원 공개번호 WO2013/179280호(PCT Patent Application Publication No. WO2013/179280 to Grauer et al., entitled "Gated imaging using an adaptive depth of field")에 설명되어 있다.

상기 조명 펄스가 전송된 후, 상기 카메라는 오프 상태에 남아 있는 한편(즉, 임의의 반사된 광자들을 축적하지 않음), 상기 펄스는 목표 영역에 도달하며 빛은 다시 상기 카메라 쪽으로 반사된다. 상기 반사된 빛이 상기 카메라에 도달할 예정일 때, 상기 카메라는 개방하도록 동작한다(즉, 반사된 광자들을 축적). 상기 펄스가 수신된 후, 상기 카메라는, 후속적인 조명 펄스의 전송 및 반사를 기다리는 동안, 다시 오프된다. 상기 카메라는 상기 목표 영역 쪽으로 이동하여 다시 반사되는 상기 펄스에 대해 필요한 지속시간 동안 오프 상태로 남아 있으며, 후속적으로 원하는 피사계 심도로부터의 반사된 빛을 수신하는데 필요한 지속시간 동안에만 동작한다. 이러한 방식으로, 상기 카메라는 원하는 범위로부터의 반사들만을 수신하며, 후방 산란을 야기하며 발생된 이미지에서의 목표 영역의 명암(contrast)을 감소시킬 수도 있는 상기 환경에서의 입자들과 같은, 다른 물체들로부터의 반사들을 피한다. 게이트된 이미징은 또한 더욱 짧은 거리로부터 더욱 적은 펄스들을 수집함으로써, 근접장 풍경으로의 상기 카메라의 전체 노출 레벨을 낮추고 아주 근접한 물체들로부터의 고강도 반사들을 피함에 의해, 상기 센서에서의 과포화 및 블루밍 효과들에 대한 잠재성을 감소시키는데 사용될 수도 있다. 유사하게, 빛의 세기 또는 상기 조명 펄스의 형태는 상기 목표 물체에 대한 거리의 함수로서 제어될 수도 있어, 상기 수신되어 반사된 펄스의 세기가 상기 이미지 센서의 과노출로 이끌지 않는 레벨에 있는 것을 보장하게 된다.

각 이미지 프레임은 일반적으로 다수의 게이팅 싸이클들을 포함하며, 각 싸이클은 상기 반사된 펄스를 수집하기 위해 펄스 전송/반사 및 각각의 센서 노출로 구성된다. 펄스 폭 및 노출 지속기간은 이미징되는 원하는 피사계 심도를 포함하여, 다양한 관련 매개변수들의 함수로서 결정된다. 상기 촬상(撮像) 센서(camera sensor)가 노출되지 않는 주기 동안(즉, 광 펄스가 여전히 상기 환경을 통해 전달되어지고 있을 수도 있는 동안), 상기 센서는 이상적으로 임의의 광자들을 축적하지 않을 것이다. 그러나 실제로, 특정 레벨의 잔류 광은 여전히 상기 이미지 센서에 들어갈 수도 있거나 상기 이미지 센서에 의해 축적될 수도 있다(즉, 신호 전하는 기생광(parasitic light)에 의해 오염되지 않고서도 메모리 노드에 저장될 수 있다). "누설 광자들"의 현상은 특별히 CMOS 센서들에서의 문제점이며, 픽셀 레벨 센서에서의 메모리 노드(MN) 및 부동 분산(floating diffusion)을 마스크하는 것이 어렵다(전형적인 마스킹 해결책들은 : 상기 MN으로부터 출사되는 빛을 모으는 마이크로-렌즈, 상기 MN 위의 금속층들, 광전자들을 상기 포토 다이오우드로 끌어들이는 전위, 및 상기 MN 주위의 전위 장벽).

그러므로, 비교적 긴 비(非)-노출 주기(즉, 센서 "오프" 시간)는 축적된 잔류 광자들의 규모를 증가시키는데 기여하며, 이것은 획득된 이미지에서의 잡음을 증가시킨다. 이와 반대로, 너무 긴 노출 지속기간(센서 "온" 시간)은 이미지 저하("과노출")를 초래할 것이다. 그러므로, 연속적인 게이팅 싸이클들의 노출들 사이의 시간 주기를 최소화하는 것은 획득된 이미지 프레임에서의 잡음을 감소시킨다. 능동 이미징 시스템들에서의 이미지 센서에 대한 단일 게이팅 싸이클의 전형적인 기간(time-span)(예컨대, 연속적인 펄스 전송들 사이의 지속시간)은 주로 이미징 어플리케이션의 함수이지만, 전형적으로 수백 피코초(ps) 내지 수 마이크로초(μs)의 범위에 있다.

센서 비(非)-노출 주기 동안의 잔류 광자 축적의 문제점은 특별히 이미징에 근거한 운송수단 카메라에 관련된 것이며, 다가오는 운송수단의 전조등에 직면할 때, 또는 그 자체의 능동 이미징 시스템(및 연관된 광원)을 갖는 다가오는 운송수단에 직면할 때와 같이, 특별히 야간 시각 시스템들에 대한 것이고, 이것은 이러한 원하지 않은 광원들의 상당한 축적을 초래한다. 이러한 문제점을 극복하기 위한 현존하는 기술들은 주로 스펙트럼 필터들(spectral filters) 및 광역 동적범위(high dynamic ran ge, HDR) 이미지 센서들에 의존한다.

상기 카메라와 이미징된 물체 사이의 상대적인 이동이 있을 경우(예컨대, 만일 상기 물체가 이동하고/이동하거나 상기 카메라가 이동하면), 이동하는 물체가 상기 이미지에 걸쳐 얼룩진 형태로 나타나기 때문에, 단일 노출 이미지는 흐려짐(b lurring)을 초래하는 경향이 있다. 디콘볼루션(deconvolution)을 통해 움직임 열화효과(motion blur effect)를 제거하는 것은 원래의 이미지에서의 손실된 공간 주파수들에 기인하는 부적절한 문제(ill-posed problem)이다. 움직임 열화(motion blur ring)를 극복하기 위한 한가지 해결책은, 라스카, 라메쉬 씨(氏) 등의 저(著)의" 부호화된 노출 사진술: 흔들리는 셔터를 사용하는 움직임 흐림(Motion Deblurrin g)"의 명칭의, ACM SIGGRAPH 2006 서류, SIGGRAPH '06.(2006):795-804{Raskar, Ram es h, et al., "Coded Exposure Photography: Motion Deblurring using Fluttered Shutter", ACM SIGGRAPH 2006 Papers, SIGGRAPH '06.(2006):795-804}에 설명된 바와 같이, 의사 랜덤 이진 시퀸스(binary pseudo-random sequence)에 따라 노출 지속시간에 걸쳐 카메라 셔터를 신속하게 개방 및 폐쇄하는 것을 포함한다.

본 발명의 한가지 특징에 따르면, 적어도 하나의 광원, 적어도 하나의 이미지 센서, 및 컨트롤러를 포함하는 능동 이미징 시스템이 제공된다. 상기 광원은 일련의 광 펄스들을 관심영역 쪽으로 방출하도록 구성된다. 상기 이미지 센서는 이미징되는 적어도 하나의 피사계 심도(depth of field, DOF)에 위치한 물체들로부터 반사된 펄스들의 반사들을 수신하고, 상기 반사들을 이미지로 변환하도록 구성된 광 검출기들의 배열을 포함한다. 상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함한다.

각각의 게이팅 싸이클은 상기 일련의 광 펄스들 중 각각의 펄스의 방출, 및 상기 이미지 센서에 의한 상기 각각의 펄스의 반사들의 수신을 포함한다. 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의된다. 상기 컨트롤러는 상기 광원 및 상기 이미지 센서의 동작을 제어하고, 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하도록 구성되며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정된다. 상기 시스템 매개변수는 : 펄스 폭; 펄스 세기; 펄스 형태; DOF; 이미징되는 최대 범위; 상기 광원의 고유 매개변수들; 상기 이미지 센서의 고유 매개변수들; 상기 이미지 센서의 감도; 상기 이미지 센서의 프레임율; 이미징되는 풍경의 형태; 이미지 처리 특성의 형태; 및/또는 수학공식을 포함할 수도 있다. 상기 환경조건은 : 동작의 시간 또는 위치; 기상 또는 기후 조건들; 상기 이미징 시스템을 포함하는 플랫폼의 형태; 상기 이미징 시스템의 어플리케이션; 주변 광의 레벨; 근처의 외부 광원들의 존재; 및/또는 동작시간의 계획된 지속시간을 포함할 수도 있다. 상기 광원은 : 발광 표시장치(LED); 레이저; 단면 발광 레이저(edge-emitting laser); 수직-공진형 표면-발광 레이저(vertical-cavity surface-emitting laser); 및/또는 가스-방전등(放電燈)(gas-discharge lam p)일 수도 있다. 상기 이미지 센서는 상보성 금속-산화물-반도체(CMOS) 이미지 센서일 수도 있다. 상기 이미징 시스템은 복수의 광원들을 포함할 수도 있고, 각각의 광원은 상기 이미지 프레임의 다른 게이팅 싸이클에 대한 각각의 펄스를 방출하여, 다른 광원들로부터의 펄스 방출들의 타이밍이 시차를 갖도록 구성된다. 적어도 하나의 이미지 프레임은, 상기 지연-시간(T_DELAY)이 상기 게이팅 싸이클들 중 적어도 일부에서 선택적으로 변화하도록, 변하는 싸이클 지속시간들(T_CYCLE)을 갖는 게이팅 싸이클들을 포함할 수도 있다. 더욱 먼 DOF에 제공되는 상기 게이팅 싸이클들 중 적어도 한 부분의 상기 싸이클 지속시간(T_CYCLE)은 더욱 짧은 DOF에 제공되는 상기 게이팅 싸이클들 중 적어도 다른 한 부분의 상기 싸이클 지속시간(T_CYCLE)보다 더 길 수도 있다. 상기 광원에 의해 방출된 펄스들은, 이미지 센서 광 검출기 배열의 다른 픽셀들과 상관된, 복수의 펄스 파장들을 포함할 수도 있다. 상기 이미징 시스템은, 선택된 필터링 기준에 따라 상기 이미지 센서에 도달하는 것으로부터 수신된 반사들을 필터링하도록 구성된, 적어도 하나의 필터를 추가로 포함할 수도 있다. 상기 이미징 시스템은, 발생된 이미지를 표시하도록 구성된, 표시장치를 추가로 포함할 수도 있다. 상기 이미징 시스템은, 운송수단과 같은, 이동 불가능한 또는 이동 가능한 플랫폼상에 장착될 수도 있다. 복수의 이미징 시스템들은, 상기 이미징 시스템들 중 적어도 하나의 이미지 프레임에 관한 매개변수들의 타이밍이 랜덤 호핑 구조(random hopping scheme)에 따라 결정되는, 보통 환경에서 함께 동작할 수도 있다.

본 발명의 다른 하나의 특징에 따르면, 적어도 하나의 이미지 센서 및 컨트롤러를 포함하는 수동 이미징 시스템이 제공된다. 상기 이미지 센서는, 이미징되는 영역에 위치한 물체들로부터 방출 또는 반사된 방사선을 수신하고, 상기 수신된 방사선을 이미지로 변환하도록 구성된, 광 검출기들의 배열을 포함한다. 상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함한다. 각각의 게이팅 싸이클은 상기 이미지 센서의 각각의 노출 주기를 포함한다. 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출 주기들 사이의 지속시간으로 정의된다. 상기 컨트롤러는 상기 이미지 센서의 동작을 제어하고, 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하도록 구성되며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정된다. 상기 시스템 매개변수는 : 상기 이미지 센서의 고유 매개변수들; 상기 이미지 센서의 감도; 상기 이미지 센서의 프레임율; 이미징되는 풍경의 형태; 이미지 처리 특성의 형태; 및/또는 수학공식을 포함할 수도 있다. 상기 환경조건은 : 동작의 시간 또는 위치; 기상 또는 기후 조건들; 상기 이미징 시스템을 포함하는 플랫폼의 형태; 상기 이미징 시스템의 어플리케이션; 주변 광의 레벨; 근처의 외부 광원들의 존재; 및/또는 동작시간의 계획된 지속시간을 포함할 수도 있다.

본 발명의 추가적인 특징에 따르면, 능동 이미징을 위한 방법이 제공된다. 상기 방법은, 적어도 하나의 광원을 사용하여, 관심영역 쪽으로 일련의 광 펄스들을 방출하는 과정을 포함한다. 상기 방법은 이미징되는 적어도 하나의 피사계 심도 (depth of field, DOF)에 위치한 물체들로부터 반사된 펄스들의 반사들을 검출하고, 적어도 하나의 이미지 센서를 사용하여 상기 반사들을 이미지로 변환하는 과정을 추가로 포함한다. 상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함한다. 각각의 게이팅 싸이클은 상기 일련의 광 펄스들 중 각각의 펄스의 방출, 및 상기 이미지 센서에 의한 상기 각각의 펄스의 반사들의 수신을 포함한다. 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의된다. 상기 방법은 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하는 과정을 추가로 포함하며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정된다. 상기 지연-시간(T_DELAY)을 최소화하는 상기 과정은 상기 이미지 프레임이 변하는 싸이클 지속시간들(T_CYCLE)을 갖는 게이팅 싸이클들을 포함하도록 이미지 프레임의 상기 게이팅 싸이클들 중 적어도 일부에서 상기 지연-시간을 선택적으로 변화시키는 과정을 포함할 수도 있다.

본 발명의 추가적인 특징에 따르면, 수동 이미징을 위한 방법이 제공된다. 상기 방법은 이미징되는 영역에 위치한 물체들로부터 방출 또는 반사된 방사선을 수신하고, 적어도 하나의 이미지 센서를 사용하여 상기 수신된 방사선을 이미지로 변환하는 과정을 추가로 포함한다. 상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함한다. 각각의 게이팅 싸이클은 상기 이미지 센서의 각각의 노출주기를 포함한다. 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의된다. 상기 방법은 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하는 과정을 추가로 포함하며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정된다.

본 발명은 다음의 도면들을 참조하여 설명된 다음의 상세한 설명으로부터 보다 자세히 이해될 것이다:
도 1은 본 발명의 실시예에 따라 구성되고 동작 가능한, 게이트된 능동 이미징 시스템의 도식적인 예.
도 2는 본 발명의 실시예에 따라 동작 가능한, 도 1의 이미징 시스템에서의 광원의 상세도의 도식적인 예.
도 3은 본 발명의 실시예에 따라 동작 가능한, 도 1의 이미징 시스템의 이미지 센서 내의 개별적인 픽셀의 상세도의 도식적인 예.
도 4는 본 발명의 실시예에 따라 동작 가능한, 도 1의 이미징 시스템의 디폴트 모드(default mode) 동작 동안의 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는 타이밍 그래프의 예.
도 5는 본 발명의 실시예에 따라 동작 가능한, 도 1의 이미징 시스템의 버스트 모드(burst-mode) 동작 동안의 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는 타이밍 그래프의 예.
도 6은 본 발명의 실시예에 따른, 다른 시스템 동작 모드들에 대한 이미징된 물체들로부터의 거리의 함수로서의 전형적인 신호 레벨들 및 잔류 광자 잡음의 그래프.
도 7은 본 발명의 실시예에 따라 동작 가능한, 수동 이미징 시스템의 디폴트 모드(default mode) 동작 동안의 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는 타이밍 그래프의 예.
도 8은 본 발명의 실시예에 따라 동작 가능한, 수동 이미징 시스템의 버스트 모드(burst-mode) 동작 동안의 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는 타이밍 그래프의 예.

본 발명은, 관련 기준 및 환경 조건들에 따라, 연속적인 게이팅 싸이클들에서의 센서 노출들 사이의 시간 주기를 선택적으로 조정하도록 구성된 게이트된-센서 이미징 시스템을 제공함으로써 종래 기술의 단점들을 극복한다. 본 발명의 이미징 시스템은 연속적인 센서 노출들 사이의 최소화된 시간 주기에 의해 특징지어진 버스트-모드(burst-mode) 동작에서 동작할 수도 있고, 이것은 센서 비-노출 주기들 동안 잔류 광자 축적의 문제점을 완화시키므로 획득된 이미지에서의 잡음의 레벨을 감소시키도록 기여한다.

이제, 도 1에 관해 설명하자면, 도 1은, 본 발명의 실시예에 따라 구성된 그리고 동작하는, 일반적으로 도면부호 100으로 표기된, 게이트된 능동 이미징 시스템의 도식적인 예이다. 이미징 시스템(100)은 적어도 하나의 광원(102), 적어도 하나의 카메라(104), 컨트롤러(106), 이미지 프로세서(108), 및 표시장치(110)를 포함한다. 컨트롤러(106)는 광원(102) 및 카메라(104)와 결합된다. 이미지 프로세서(108)는 카메라(104), 컨트롤러(106), 및 표시장치(110)와 결합된다.

광원(102)은, 광 펄스(122)와 같은, 일련의 광 펄스들을 시스템(100)에 의해 이미징되는 영역 쪽으로 방출한다. 광원(102)은, 단면 발광 레이저(edge-emitting laser) 또는 수직-공진형 표면-발광 레이저(vertical-cavity surface-emitting las er, VCSEL)와 같은, 레이저 다이오우드를 포함할 수도 있다. 레이저-기반 광원은, 예컨대 LED 광원들과는 대조적으로, 비(非)-레이저 광 수광(受光)(receptions)의 필터링을 가능하게 함이 이해된다. VCSEL은, 능동 표면에 평행한 빔 방출에 의해 특징지어지는 단면 발광 레이저들과는 대조적으로, 광빔이 상기 능동 표면에 수직으로 방출되는 반도체 레이저이다. VCSEL 레이저들은 단면 발광 레이저들과 유사한 스펙트럼 폭을 제공하는 한편 온도 편차들에 아주 덜 민감하며, 이것은 안정성을 보장하는 일정한 온도 모니터링에 대한 필요성을 제거한다. 본 발명의 이미징 시스템은 레이저광 펄스들을 참조하여 예시용으로 설명되어진 한편, 가시적인 또는 비-가시적인 스펙트럼 범위들에서의 광, 적외선 방사, 자외선(UV) 방사, X-선 방사, 감마 방사선, 마이크로파 방사, 무선파들, 등을 포함하여, 전자기적 에너지 방사선의 임의의 적합한 펄스된 방출이 대신에 사용될 수도 있다. 예를 들면, 광원(102)은 발광 표시장치(LED) 또는 가스-방전등(放電燈)(gas-discharge lamp)을 선택적으로 포함할 수도 있다. 상기 방출된 광의 특정 특성들은 관심영역 및 환경조건들에 따라 선택될 수도 있다. 예를 들면, 펄스 폭, 세기(피크 전력), 조명 펄스(122)의 극성 및/또는 형태는 이미징되는 목표 물체에 대한 거리의 함수로서 제어될 수도 있다(즉, 원하는 피사계 심도(depth of field)). 방출된 펄스(122)는, 근적외선(n ear infrared, NIR), 단파 적외선(short wave infrared, SWIR), 또는 중적외선(mid infrared, MIR)과 같은, 임의의 적합한 파장 범위에 있을 수도 있다. 보다 일반적으로, 이미징 시스템(100)은 유사한 또는 다른 특성들을 갖는 복수의 광원들(10 2)(예컨대, 각각의 광원은 다른 파장들의 펄스들을 발생시키도록 구성되는)을 포함할 수도 있고, 이것은 개별적으로 또는 통합적으로 동작하도록 지시받을 수도 있다. 도 2에 관해 설명하자면, 도 2는, 본 발명의 실시예에 따라 동작하는, 이미징 시스템(100)에서의 광원(102)의 상세도의 도식적인 예이다. 광원(102)은 레이저 다이오우드(132), 레이저 드라이버(134), 광 모듈(135), 컨트롤러/인터페이스(136), 및 파장 컨트롤러(137)를 포함한다. 레이저 다이오우드(132)는 스페클 패턴들(spec kle patterns)을 회피하기 위해(예컨대, 에미터들의 배열을 사용하여, 적분구(積分球)(integrating sphere)에 의해, 등등.) 간섭성 레이저 방사선(예컨대, IR 스펙트럼에서), 또는 비-간섭성 레이저 방사선을 발생시킨다. 레이저 드라이버(134)는 레이저 다이오우드(132)의 동작을 구동하는 전류를 전달한다. 컨트롤러/인터페이스(1 36)는 레이저 다이오우드(132) 및/또는 레이저 드라이버(134)의 동작을 제어한다. 컨트롤러/인터페이스(136)는, 내장형-테스트 상태(built-in-tests status)를 제어 및/또는 제공하기 위해 사용된, 운송수단 통신버스로의 통신 인터페이스를 포함할 수도 있다. 컨트롤러/인터페이스(136)는 방출된 광 펄스들(122)의 동기화를 위한 시스템 컨트롤러(106)로의 물리적인 또는 무선 인터페이스를 포함할 수도 있다. 광 모듈(135)은 편광을 투사 및/또는 필터링하기 위해 사용된다. 광 모듈(135)은 광을 분산시키고(예컨대, 홀로그래픽 확산기(holographic diffuser), 광학 렌즈들, 및/또는 다른 적합한 광학 성분들을 통해), 광을 선택된 조명의 필드(field of illum ination, FOI)에 투사하기 위해 추가로 사용된다. 파장 컨트롤러(137)(필요한 경우)는 조명 파장들을 안정화하기 위한 임의의 적합한 기계적, 광학적 및/또는 전기적(예컨대, 열전 냉각기(thermo-electric cooler)) 구조 또는 기술을 사용할 수도 있다. 레이저 안정성 필요조건들을 만족하기 위해, 광원(102)은 방출된 광 전력(예컨대, 펄스 피크 전력, 펄스 폭, 시간당 펄스들의 수)을, 운송수단 속도, 위치, 검출된 물체들, 등과 같은, 관련 매개변수들의 함수로서 감소시킬 수도 있다.

다시 도 1에 관해 설명하자면, 카메라(104)는, 방출된 광 펄스들(122)에 의해 조명된 물체들로부터 반사된, 반사된 광 펄스(124)와 같은, 반사된 광을 수신하며, 경치의 이미지를 발생시킨다. 카메라(104)는, 상기 카메라가 특정 거리로부터의 반사된 펄스들이 상기 카메라에 도달할 예정인 주기 동안 "온"(즉, 광을 수신)되고, 다른 시간 동안에는 "오프"(즉, 광을 수신하지 않음)되도록 동기화되게끔, 게이트된 이미징 능력을 포함함으로써, 시스템(100)의 위치에 관한 특정 피사계 심도에서의 이미징을 제공한다. 카메라(104)는 상기 반사된 광 펄스들을 축적하는 적어도 하나의 이미지 센서(112)를 포함한다. 이미지 센서(112)는 CMOS-기반 능동-픽셀 센서 배열일 수도 있으며, 각 픽셀은 그 자체의 광 검출기 및 관련된 성분들을 포함한다. 양자 택일적으로, 이미지 센서(112)는, 이득을 갖는 또는 이득을 갖지 않는, 하이브리드 센서(예컨대, 인듐갈륨비소(InGaAs) 기반 광 검출기, 수은카드뮴텔루르 화합물(MCT) 기반 광 검출기, 등)일 수도 있다. 보다 일반적으로, 이미지 센서(112)는, 임의의 범위의 파장들에서의 임의의 형태의 전자기적 방사선의 획득을 포함하여(예컨대, 가시적인 또는 비-가시적인 스펙트럼에서의 광, 자외선, 적외선, 레이더, 마이크로파, 무선주파수, 및 등), 실세계 장면의 이미지 표시를 획득 및 저장 가능한 임의의 형태의 장치일 수도 있다. 이미지 센서(112)는, 영상 이미지를 나타내는 연속적인 이미지 프레임들의 시퀀스와 같은, 적어도 하나의 이미지 프레임을 획득하도록 동작하며, 이 이미지 프레임은 후속적인 처리 및/또는 전송을 위한 전자신호로 변환될 수도 있다. 따라서, 여기에 사용된 용어인 "이미지"는, 임의의 스펙트럼 영역에서 획득된 장면의 임의의 광학적 또는 디지털 신호 표시를 포함하여, 상기 이미지 센서로부터의 임의의 형태의 출력을 의미한다. 도 3에 관해 설명하자면, 도 3은, 본 발명의 실시예에 따라 동작하는, 이미징 시스템(100)의 이미지 센서(112) 내의, 도면부호 112A로 표기된, 개별적인 픽셀의 상세도의 도식적인 예이다. 픽셀(112A)은 포토 다이오우드(142), 메모리(144), 컨트롤러(146), 및 픽셀 판독부(148)를 포함한다. 포토 다이오우드(142)는 적어도 광자들을 광전신호로 변환하는 단일 소자이다. 포토 다이오우드(142)는 이득을 가질 수도 또는 이득을 갖지 않을 수도 있다(예컨대, 전위 또는 다른 이득 구조에 근거한). 포토 다이오우드(142)는 핀 다이오우드 또는 임의의 형태의 광 감지/변환구조일 수도 있다. 픽셀 메모리(144)는 신호 축적 및 신호 예비-처리의 기능을 제공할 수도 있다. 신호 축적은 적어도 하나의 포토 다이오우드(142)로부터의 축적된 신호(즉, 광전자들)를 저장하기 위해 적용 가능하다. 신호 축적은 단일 픽셀 노출별로 또는 다수의 픽셀 노출들별로 동작하도록 사용될 수도 있다. 신호 예비-처리는 HDR 처리 및/또는 조정 가능한 신호 임계치 관련 처리를 제공할 수도 있다(예컨대, 신호가 임의의 임계치 및/또는 임의의 임계치까지 통과했다면). 픽셀 컨트롤러(146)는 파형 구조에 근거하여 픽셀들의 동작을 제어한다. 픽셀 판독부(148)는 저장된 축적된/미리 처리된 픽셀 신호를 판독하기 위한 인터페이스를 제공한다. 픽셀 판독부(148)는 픽셀 노출(들)과 병렬로(동시에), 또는 순차적으로, 즉, 픽셀 노출(들) 후에, 동작할 수도 있다. 픽셀(112A)은 "게이트된" 모드 및/또는 "표준" 모드(즉, 픽셀 판독당 단일 노출)에서 동작할 수도 있다. 픽셀(112A)은 광학 소자들 및 구성 가능한 모듈(미도시)을 추가로 포함할 수도 있다. 픽셀(112A)의 광학 소자들은 예컨대: 마이크로-렌즈들, 스펙트럼 필터들, 및 플라스몬 장치(plasmonic device)를 포함할 수도 있다. 픽셀(112A)의 구성 가능한 모듈은, 픽셀 내부전력 공급(pixel internal power supplies)(예컨대, 기능을 변화시키기 위한), 픽셀 내부 메모리 구성, 및 컨트롤러(146)의 파형과 같은, 다른 매개변수들을 제어할 수도 있다.

도 1에 관해 다시 설명하자면, 카메라(104)는 반사된 광 펄스들(124)이 이미지 센서(112)로 향하도록 구성된 관련 광학장치(114)를 추가로 포함한다(예컨대, 렌즈들, 거울들, 광섬유(fiber optics), 도파관들, 등). 카메라(104)는 관련 필터링 기준에 근거하여 광을 필터링하기 위해 동작하는, 다양한 필터들(116)을 추가로 포함할 수도 있다. 예를 들면, 카메라(104)는, 원하지 않은 파장들(예컨대, 방출된 광 펄스들(122)의 파장들과 다른 파장들)을 필터링하기 위한, 대역 필터를 포함할 수도 있다. 카메라(104)는 또한 선택된 파장들을 이미지 센서(112)의 다른 픽셀들로 향하게 하기 위한 스펙트럼 필터를 포함할 수도 있다. 예를 들면, 일부의 픽셀들은 NIR 스펙트럼에서 상기 반사된 펄스들(124)을 수신하도록 구성될 수도 있는 한편, 다른 픽셀들은 가시광을 수신하도록 구성된다. 카메라(104)는, 편광된 광을 방출하는 광원(102)과 결합된, 편광 필터를 추가로 포함할 수도 있어, 상기 편광 필터는 상기 방출된 광 펄스들(122)의 기대된 편광에 부합하는 수신된 광만을 이미지 센서(112)로 관통시키게 된다. 필터들(116)은 이미지 센서(112)의 픽셀 배열상에서 수행될 수도 있다고 한다. 예를 들면, 스펙트럼 필터(116)는 2×2 픽셀 배열의 반복 클러스터에 의해 구현될 수도 있고, 상기 클러스터는 상기 이미지 센서 배열의 일부(또는 전체) 상에서 그 자체를 반복하며, 여기서, 예를 들면, 제1 픽셀은 청색 스펙트럼에서 광을 수신하도록 구성되고, 제2 픽셀은 녹색 스펙트럼에서 광을 수신하도록 구성되며, 제3 픽셀은 적색 스펙트럼에서 광을 수신하도록 구성되고, 제4 픽셀은 NIR 스펙트럼에서 광을 수신하도록 구성된다(즉, 레이저 펄스들(122/1 24)을 발생시키는 NIR 광원(102)과 유사).

카메라(104)의 이미징 특성들(예컨대, 시야(field of view), 감도, 해상도, 초점거리) 및/또는 그 성분들은 관심영역 및 환경조건들에 따라 선택될 수도 있다. 이미징 시스템(100)은 일반적으로 복수의 카메라들(104), 또는 복수의 이미지 센서들(112)을 갖는 단일 카메라(104)를 포함할 수도 있고, 이것은 개별적으로 또는 통합적으로 동작하도록 지시받을 수 있다(예컨대, 입체시(立體視)(stereoscopic vis ion)를 제공하기 위해). 예를 들면, 카메라(104)는 다른 특성들을 갖는 복수의 이미지 센서들(112)을 포함할 수도 있다(예컨대, 다른 감도들, 다른 FOV들, 및/또는 다른 스펙트럼 필터들을 갖는 다수의 이미지 센서들).

광원(102) 및 카메라(104)는 동일한 위치 또는 개별적인 위치들에 하우징될 수도 있다. 예를 들면, 시스템(100)은 "전방 관측(forward looking)" 구성으로 운송수단에 설치될 수도 있고, 카메라(104)는 바람막이 창 뒤에 위치하는 한편, 광원(102)은 안개등(燈)으로서 또는 프론트 그릴(front grille)에서의 현존하는 전조등의 내부에 배치된다. 양자 택일적으로, 시스템(100)은 "후방 관측(rear lookin g)" 구성으로 운송수단에 설치될 수도 있고, 카메라(104) 및 광원(102)은 후방 범퍼 또는 운송수단의 미등(尾燈)에 배치된다. 보다 선택적으로, 카메라(104) 및 광원(102)은, 이동 통신장치(예컨대, 이동전화 카메라)에서와 같이, 단일 하우징 내에 집적될 수도 있다.

컨트롤러(106)는 광원(102) 및 카메라(104)의 동작을 동적으로 제어한다. 예를 들면, 컨트롤러(106)는 광원(102)에 의한 레이저 펄스들(122)의 방출을 능동 게이트된 이미징의 수행을 위한 카메라(104)의 노출과 동기화시킨다. 컨트롤러(106)는 또한, 펄스 시작시간, 펄스 지속시간(즉, 펄스 폭), 이미지 프레임당 펄스들의 수, 및 펄스 형태 및 패턴과 같은, 전송된 레이저 펄스(122)의 다양한 매개변수들을 설정한다. 컨트롤러(106)는, 초당 획득된 이미지 프레임들의 수 및/또는 각각의 이미지 프레임의 형태를 설정하는, 카메라(104)의 이미지 프레임율을 조정할 수도 있다. 컨트롤러(106)는 또한 능동 모드(즉, 광원(102)에 의한 펄스들(122)의 전송이 있는) 또는 수동 모드(즉, 광원(102)의 동작이 없는)에서 이미징 시스템(100)을 선택적으로 동작시킬 수도 있다. 컨트롤러(106)는 또한, 전송된 광 펄스들의 수 및각각의 프레임 슬라이스에 대한 수집된 반사들을 제어하고, 각 프레임 내의 이미지 프레임 슬라이스들의 수를 제어하며, 및/또는 카메라(104)의 노출 지속시간뿐만 아니라 상기 전송된 광 펄스에 관한 노출의 타이밍을 제어함으로써와 같이, 각각의 획득된 프레임에 대한 그리고 프레임의 각 부분(또는 "슬라이스")에 대한 조명 레벨을 설정한다. 컨트롤러(106)는 또한, 자동 이득 제어(AGC) 구조를 사용하는 것과 같이, 이미지 센서(112)의 이득을 제어한다. 일반적으로, 컨트롤러(106)는 이미징 시스템(100)의 동작의 과정 동안 필요한 임의의 매개변수를 동적으로 조정할 수도 있다. 컨트롤러(106)는 카메라(104)와 및/또는 이미지 프로세서(108)와 함께 단일 장치에 집적될 수도 있다.

이미지 프로세서(108)는 카메라(104)에 의해 획득된 이미지 프레임들 상에서 임의의 필요한 처리 또는 분석을 수행하며 최종 이미지를 발생시킨다. 예를 들면, 이미지 프로세서(108)는, 전방충돌경보(forward collision warning, FCW), 차선이탈 경고(lane departure warning, LDW), 교통 표지판 인식(traffic sign recognit ion, TSR), 및 보행자 또는 운송수단 감지, 등과 같은, 운송수단 야간 시각 시스템(vehicle night vision system)에서의 다양한 운전자 지원 기능들을 제공하는데 도움을 주도록 구성될 수도 있다. 표시장치(110)는 발생된 이미지를 시스템(100)의 사용자에게 표시한다. 상기 표시된 이미지는 주위의 경치와 결합될 수도 있어, 상기 사용자가 외부의 상황 인식을 유지하면서도 표시 이미지 및 주위의 경치 둘다 모두를 동시에 관측 가능하게 한다. 예를 들면, 표시장치(110)는, 운송수단-장착 야간 시각 시스템의 운송수단 바람막이 창에 집적된 HUD와 같은, 전방 표시[투영]장치(head-up display)일 수도 있다. 게다가, 상기 획득된 이미지는 운송수단 운전자에게 경보 또는 통고(예컨대, 시각적 또는 음성적)를 제공하기 위해 및/또는 증강 현실(augmented reality)(AR) 데이터(예컨대, 운전 환경에 관한 기호들/그래픽스/텍스트/이미지)를 제공하기 위해 관련 데이터와의 융합을 경험할 수도 있다. 표시장치(110)는 선택적이며 이미지 프로세서(108)는 데이터 통신채널(120)을 통해 상기 이미지를 다른 하나의 시스템(메모리와 같은)으로 또는 원격 위치로 선택적으로 전송할 수도 있다. 데이터 통신채널(120)은, CAN 버스 및/또는 운송수단에서의 배기가스 자기진단장치(on-board diagnostics, OBD) 프로토콜들, 또는 이동통신장치에서의 무선 프로토콜에 따라서와 같이, 시스템 플랫폼에 결합될 수도 있다.

이미징 시스템(100)은, 설명된 요지의 실시를 가능하게 하기 위한, 도 1에 도시되지 않은 부가적인 성분들을 선택적으로 포함할 수도 있고/있거나 도 1에 도시되지 않은 부가적인 성분들과 결합될 수도 있다. 예를 들면, 시스템(100)은 전력을 다양한 성분들에 공급하기 위한 전력 공급장치(미도시)를 포함할 수도 있고, 이미지 프레임들 또는 다른 형태들의 데이터의 일시적인 저장을 위한 메모리 또는 저장장치(미도시)를 추가로 포함할 수도 있다. 시스템(100)은 또한, 시스템(100)의 사용자가 다양한 매개변수들 또는 시스템(100)의 성분들과 연관된 설정치들을 제어 가능하게 하기 위한, 사용자 인터페이스(미도시)를 포함할 수도 있다.

이미징 시스템(100)의 성분들 및 장치들은 하드웨어, 소프트웨어, 또는 그 결합에 근거할 수도 있다. 시스템(100)의 장치들 또는 성분들 중 각각에 연관된 기능이 다수의 장치들 또는 성분들 사이에서 유통될 수도 있음이 이해되며, 이것은 단일 위치 또는 다수의 위치들에 위치할 수도 있다. 예를 들면, 컨트롤러(106) 또는 이미지 프로세서(108)와 연관된 기능은 다수의 컨트롤러들 또는 처리장치들 사이에 유통될 수도 있다.

이제, 도 4 및 도 5에 관해 설명한다. 도 4는, 본 발명의 실시예에 따라 동작하는, 도 1의 이미징 시스템의 디폴트 모드(default mode) 동작 동안의 개별적인 프레임의 게이팅 싸이클들을 도시하는, 일반적으로 도면부호 150으로 표시된, 타이밍 그래프의 예이다. 도 5는, 본 발명의 실시예에 따라 동작하는, 도 1의 이미징 시스템의 버스트 모드(burst mode) 동작 동안의 개별적인 프레임의 게이팅 싸이클들을 도시하는, 일반적으로 도면부호 160으로 표시된, 타이밍 그래프의 예이다. 그래프들(150, 160)의 수직축은 이미징 시스템(100)의 장치의(즉, 광원(102) 또는 카메라(104)의) 동작 상태를 나타내며, "1"은 "온" 상태에 있는 장치의 상태를 나타내며, "0"은 "오프" 상태에 있는 장치의 상태를 나타낸다. 그래프들(150, 160)의 수평축은 시간을 나타낸다. 게이팅 싸이클은 전송되는 하나의 레이저 펄스에 대해 그리고 수집되는 반사된 해당 광자(들)에 대해 필요한 시간 주기로서 정의된다. 게이팅 싸이클의 지속시간(T_CYCLE) 은 그러므로 T_P + T_OFF + T_G + T_IDLE에 의해 주어지며, 여기서:

T_P = 펄스 폭(즉, 전송된 개별적인 레이저 펄스(122)의 지속시간);

T_OFF = 상기 레이저 펄스(122)가 전송된 후, 게이트된 카메라(104)가 "오프" 상태에 남아 있는 지속시간;

T_G = 상기 게이트된 카메라(104)가 "온" 상태에 있고 상기 반사된 펄스(124)를 수신하는 지속시간;

T_IDLE = 1개의 게이팅 싸이클에서의 펄스 수신의 끝(즉, 게이트된 카메라(10 4)가 상기 반사된 펄스(124)를 수집한 후에 "오프"로 다시 스위칭된 후 즉시) 및 후속적인 게이팅 싸이클에서의 펄스 방출의 시작(즉, 광원(102)이 새로운 레이저 펄스(122)의 전송을 시작하는 때) 사이의 지속시간.

부가적으로, "지연-시간" 매개변수(T_DELAY) 는 센서 노출들 사이의 시간 주기, 달리 설명하자면 1개의 게이팅 싸이클에서의 "T_G" 의 완료의 끝 및 후속적인 게이팅 싸이클에서의 다음의 "T_G" 의 시작 사이의 지속시간으로 정의된다(즉, T_DELAY = T_G-cycleN+1 - T_G-cycleN).

예시용으로, 상기 카메라(104)는 90Hz의 프레임율로 동작하여, 90개의 프레임들이 매초 포착되며, 예시적인 이미지 프레임의 지속시간은 20ms이라고 추정된다. 일반적으로, 상기 이미지 프레임들은 지속시간에서 변할 수도 있다(예컨대, 개별적인 프레임 #1은 2ms일 수도 있는 한편, 후속적인 개별적인 프레임 #2는 10ms일 수도 있고, 등등).

펄스 폭(T_P) 및 게이트 노출 지속시간(T_G)은 이미징되는 피사계 심도(depth of field)(다른 관련 기준뿐만 아니라)에 따라 선택된다. 예를 들면, 운송수단 야간 시각 이미징 시스템에서, 거의 15m의 원하는 DOF는 거의 100ns의 게이트 노출 지속시간(T_G) 및 펄스 폭(T_P)에 해당할 것이며; 150m의 DOF에 대해서는, 게이트 노출 지속시간(T_G) 및 펄스 폭(T_P)은 거의 1μs가 될 것이다. 다른 한 예에 대해서는, 휴대용 이미징 장치에서(예컨대, 이동전화 또는 휴대용 카메라에서), 거의 1.5m의 원하는 DOF는 거의 10ns의 게이트 노출 지속시간(T_G) 및 펄스 폭(T_P)에 해당할 것이다.

만일 싸이클 지속시간(T_CYCLE = T_P + T_OFF + T_G + T_IDLE)이 거의 16μs의 지속시간으로 일정하다면(예시적인 이미지 프레임에 대해), 그래프들(150 및 160)에 도시된 바와 같이, 20ms의 개별적인 이미지 프레임의 과정에서 1250개의 게이팅 싸이클들(펄스 전송들 및 수집된 펄스 반사들)까지 갖는 것이 가능하다. 상기 싸이클 지속시간들은 개별적인 이미지 프레임의 과정에 걸쳐 변할 수도 있다고 한다. 특히, 상기 매개변수들 중 각각: T_P; T_OFF; T_G; T_IDLE; 및/또는 T_DELAY, 은 개별적인 이미지 프레임의 다른 게이팅 싸이클들 동안에 다를 수도 있다. 예를 들면, 게이팅 싸이클 #3은, 16μs의 지속시간의 제1 및 제2 게이팅 싸이클과 비교하여, 12μs의 싸이클 지속시간(T_CYCLE-3) 을 갖는 것으로 그래프(150)에 도시되어 있다. 추가적으로, 각각의 이미지 프레임과 연관된 픽셀 판독시간이 또한 존재한다고 하며, 이것은 도면들(도 4, 도 5, 도 7, 도 8)에 도시되어 있지 않다. 이미지 프레임의 프레임 판독주기는 상기 프레임 지속시간의 끝 동안 발생할 수도 있다(예를 들면, 상기 프레임의 최종 게이팅 싸이클을 뒤따르는, 예컨대, 판독에 대한 1ms의 부가적인 주기). 양자 택일적으로, 주어진 이미지 프레임의 판독은 후속적인 이미지 프레임의 게이팅 싸이클들(펄스 방출들/노출들) 동안 발생할 수도 있다.

본 발명에 따르면, 이미지 프레임의 적어도 하나의 게이팅 싸이클의 지연-시간(T_DELAY)은 적어도 하나의 매개변수 또는 환경조건에 따라 적합하게 제어된다. 상기 지연-시간(T_DELAY)은, 펄스 폭; 펄스 세기; DOF; 이미징되는 최대 범위; 이미지 센서의 민감도; 이미징되는 경치/물체의 형태; 이미지 처리 특성의 형태; 및/또는 카메라 프레임율, 을 포함하지만 이에 한정되지는 않는, 다양한 관련 매개변수들 및 기준들의 함수로서 결정될 수도 있다. 지연-시간의 결정은 이러한 매개변수들 중 적어도 일부를 포함하는 수학 방정식 또는 수학식을 활용할 수도 있으며, 그 예는 이하에 설명된다. 게다가, 상기 지연-시간(T_DELAY)은 상기 이미징 시스템(100)과 연관된 환경조건들의 함수로서 결정될 수도 있다. 가능한 환경조건들은 : 이미징 시스템이 동작하고 있는 시간(예컨대, 낮 또는 밤); 이미징 시스템(100)이 동작하고 있는 위치(예컨대, 실내, 도시 또는 시골 환경); 기상 또는 기후 조건들(예컨대, 태양, 비, 안개, 눈, 안개, 먼지); 이미징 시스템(100)이 위치하는 플랫폼의 형태; 이미징 시스템(100)이 사용되고 있는 특정 어플리케이션; 이미징 시스템 (100) 근처의 주변 광 및/또는 외부 광원들의 레벨(예컨대, 그 자체의 능동 이미징 시스템을 갖는 다가오는 운송수단의 존재); 동작시간의 계획된 지속시간(예컨대, 기대된 운전거리); 등등, 을 포함할 수도 있다.

상기 지연-시간(T_DELAY)은, 이미징 시스템(100)과 연관된 관련 환경조건이 변할 때 상기 지연-시간이 증가 또는 감소될 수 있도록(예컨대, 실시간으로), 적합하게 제어된다. 상기 지연-시간(또는 상기 게이팅 싸이클의 다른 매개변수들)이 감소될 수 있는 양을 제한하는 임의의 고유 제한조건들이 있다고 한다. 이러한 한가지 제한조건은 광원(102)의 레이저 드라이버(134)이다. 특히, 상기 레이저 드라이버(134)가, 원하는 피크 전력(수백 미터까지의 이미징에 대한 수백 와트와 같은)을 달성하기 위해, 상기 레이저 드라이버(134)가 후속적인 레이저 펄스의 전송을 진행할 수 있기 전에 그 커패시터들(또는 다른 선택적인 에너지 저장구조)에 충분한 전하(에너지)를 축적하는데 충분한 시간이 경과했다. 그러므로, 연속적인 게이팅 싸이클들(즉, T_P- _cycleN ₊₁ - T_P- _cycleN)에서의 펄스 방출들의 타이밍과, 그러므로 다음의 센서 노출(T_G- _cycleN ₊ ₁)의 타이밍 사이의 차이점은 상기 레이저 드라이버 커패시터가 재충전하는데 필요한 시간에 의해 본질적으로 제한된다.

상기 센서 노출이 전체 펄스가 도달하고 그 DOF 에서의 최대 범위로부터 다시 반사되는데 필요한 적어도 시간의 양에 대해 지연되어야 하기 때문에, 상기 지연-시간이 감소될 수 있는 양을 제한하는 다른 하나의 고유 제한조건은 주어진 게이팅 싸이클에서 이미징되는 DOF이다. 그러므로, 다음의 게이팅 싸이클(T_G-cycleN+1)에서의 센서 노출의 타이밍은 상기 펄스가 이 범위를 통해 전달되는데 필요한 시간에 의해 본질적으로 제한된다(이것은 차례로 또한 펄스 폭 및 다른 매개변수들의 함수이다).

이미징 시스템(100)은 상기 지연-시간(T_DELAY)(그러므로 싸이클 지속시간 T_CYCLE)이 본질적으로 이미징 시스템(100)과 연관된 매개변수들 및 환경조건들뿐만 아니라 고유 제한조건들이 주어질 때 여전히 실현 가능한 지속시간으로 축소되는 모드에서 동작할 수도 있다. 이 동작 모드는 또한 여기에서 "버스트 모드(burst mode)" 동작이라 불리운다. 이미징 시스템(100)은 "디폴트(default)" 동작 모드에서 선택적으로 동작할 수도 있으며, 이 "디폴트(default)" 동작 모드에서 싸이클 지속시간(T_CYCLE)은 본질적으로 축소되며, 즉, T_DELAY 는 고유 제한조건들, 현존의 매개변수들 및 환경조건들이 주어질 때 추가로 감소될 수 있다. 타이밍 그래프(16 0)(도 5)에 관해 설명하자면, 이미징 시스템은 T_DELAY 의 지속시간(3개의 제1 게이팅 싸이클들에 대해 도시된)이 본질적으로 타이밍 그래프(150)(도 4)의 대응하는 T_DELAY 보다 더욱 짧은 버스트 모드에서 동작한다. 결과적으로, 타이밍 그래프(160)의 싸이클 지속시간(T_CYCLE)(버스트 모드 동작에서의)은 본질적으로 타이밍 그래프(150)의 싸이클 지속시간(T_CYCLE)(디폴트-모드 동작에서의)보다 더욱 짧다. 예를 들면, 수백 미터까지의 범위를 이미징하기 위해, T_CYCLE 은, 본 발명에 따라, 그래프(150)에서의 거의 16μs로부터 그래프(160)에서의 거의 5μs로 감소될 수도 있다. 예를 들면, 상기 지연-시간(T_DELAY)은 거의 75m의 DOF를 갖는 거의 250m의 최대 범위를 이미징할 때 버스트-모드 동작에서의 거의 2-3μs로 감소될 수도 있다. 이미징 시스템(100)은, 필요한 경우, 디폴트-모드 동작 및 버스트-모드 동작 사이에서 스위칭될 수도 있다. 이미징 시스템(100)의 동작 모드는 또한, 상기한 바와 같은 예시적인 매개변수들 및 환경조건들과 같은, 이미징 시스템(100)과 연관된 관련 매개변수들 및 환경조건들에 따라 적합하게 제어될 수도 있다. 예를 들면, 만일 이미징 시스템(100) 근처의 주변 광의 레벨이 임계치 위에 있다면, 시스템(100)은 버스트-모드에서 동작하도록 지시받으며, 만일 주변 광이 임계치 아래에 있다면, 시스템(100)은 디폴트-모드에서 동작하도록 지시받는다.

감소된 지연-시간을 갖는, 이미징 시스템(100)의 버스트-모드 동작은 센서 비-노출 주기 동안 외부 광원들의 집적을 위한 매우 짧은 시간을 초래하므로, 비-노출(즉, 비(非)-T_G) 주기들 동안 이미지 센서로의 잔류 광자 입사의 현상을 감소시킨다. 버스트-모드 동작은 또한, 주어진 수의 게이팅 싸이클들에 대한 더욱 짧은 전체 프레임 지속시간(T_FRAME)을 초래하며, 카메라의 효율적으로 더욱 높은 이미지 프레임율에 해당할 뿐만 아니라, 시스템 구성요소들(예컨대, 광원(102) 및 카메라( 104))의 개선된 전력 소비 관리를 가능케 한다. 이미지 프레임 지속시간(T_FRAME)이 감소되어 전체 오프 시간(모든 싸이클들에 대한 T_OFF)이 더욱 크게 됨으로써, 1개의 이미징 시스템의 주어진 광 방출이 다른 이미징 시스템에서의 잔류 광자 잡음(또는 포화 또는 블루밍(blooming)과 같은, 다른 바람직하지 못한 전기-광학 현상)을 초래할 것이기 때문에, 버스트-모드 동작은 또한 함께 동작하는 본 발명의 이미징 시스템을 갖는 다수의 플랫폼들을 가능하게 한다. 부가적인 전체 오프 시간을 활용하기 위한 기술은 임의의 호핑(hopping)을 사용함에 의해, 이미지 프레임의 시작점을 변경하고/변경하거나 이미지 프레임 내의 게이팅 싸이클들의 타이밍을 변경함에 의해서이다. 마지막으로, 버스트-모드 동작은 이미지 프레임당 더욱 적은 펄스들의 사용 및/또는 더욱 낮은 전력 광원(102)(즉, 더욱 낮은 전체 평균전력 및/또는 중간 피크 전력 능력을 갖는)을 가능하게 하며, 이것은 레이저 안전성 관점으로부터 바람직하다. 이것은 "누설 광자들"의 현상이 최소로 감소되어, 이미지 프레임의 동일한 신호-대-잡음비(SNR)를 보존하는 것이 더욱 적은 광원 펄스들 및/또는 더욱 낮은 피크 전력 펄스 및/또는 다른 광 펄스 형태로 달성될 수 있다는 사실에 기인한다.

도 6에 관해 설명하자면, 도 6은, 본 발명의 실시예에 따른, 다른 시스템 동작 모드들에 대해 이미징된 물체들로부터의 거리의 함수로서 전형적인 신호 레벨들 및 잔류 광자 잡음의, 일반적으로 도면부호 170으로 표시된, 그래프이다. 그래프 (170)의 수직축은 이미지 프레임당 축적된 신호 레벨(전자들의 양)을 나타내는 한편, 그래프(170)의 수평축은 이미징 시스템으로부터 이미징된 물체의 미터(m) 단위의 범위(R)를 나타낸다. 그래프(170)의 파형(172)은 디폴트-모드(즉, 비(非)버스트-모드)에서 동작하는 본 발명의 이미징 시스템으로 다가오는 운송수단을 이미징할 때 얻어진 잔류 잡음의 신호값들을 나타낸다. 그래프(170)의 파형(174)은 버스트-모드에서 동작하는 본 발명의 이미징 시스템으로 다가오는 운송수단을 이미징할 때 얻어진 잔류 잡음의 신호값을 나타낸다. 그래프(170)의 파형(176)은, 다른 2개의 파형들(172, 174)에 대한 도면부호로서 사용된, 본 발명의 이미징 시스템(임의의 동작 모드에서의)으로 보행자를 이미징할 때 얻어진 신호값을 나타낸다. 그래프(170)에 도시된 바와 같이, 다가오는 운송수단을 이미징할 때 잔류 광자 입사로부터 기인하는 잡음은 버스트-모드에서 동작할 때 실질적으로 감소된다.

다음은 게이팅 싸이클에 대한 지연-시간을 결정할 때 다른 매개변수들이 고려될 수도 있는지의 예이다. 다음의 매개변수들을 갖는 예시적인 카메라를 고려한다:

일반적인 매개변수들:

물체 반사: rtarget = 0.3;

해수면으로부터의 높이:

;

시정(視程)(visibility range):

;

감쇠 계수 보정:

;

감쇠 계수:

;

카메라 매개변수들:

광 전송:

;

F-수:

센서 노출 지속시간(단일 게이팅, T_G):

;

게이트된 CMOS 이미지 센서 매개변수들:

센서 피치:

;

양자 효율:

;

파장:

;

감도:

광원 매개변수들(이 예에서는 레이저원)

레이저 피크 전력:

;

광 전송:

;

조명의 수평 필드(horizontal field of illumination):

;

펄스 형태:

.

확산성 물체에 대한 단일 게이팅 싸이클당 전자들(즉, 단일 레이저 펄스 및 단일 게이트 노출)은 다음의 식에 의해 제공될 수도 있고, 여기서 R은 범위(전형적으로 원하는 피사계 심도의 중간-범위)를 나타낸다:

그러므로, 상기 예시적인 매개변수들에 근거하여:

이 값은 이미지 센서 배열 픽셀의 광 검출기에 들어가고 수신된 반사된 펄스(즉, 각 펄스에 대해 메모리 구조에 의해 수집된 전자들)별로 이미지 픽셀 메모리 구조(예컨대, 메모리 노드)로 변환되는 광전자들(또는 전자들)의 양에 해당한다. 만일 상기 이미지 센서가 이득을 경험하지 않는다면(즉, 만일 입사 광자들의 증대 또는 광전자의 증대가 없다면), 각 광자는 선형 방식으로 전자로 변환된다. 이 경우, 만일 전자들의 양이 (1)보다 적으면, 입사 광자는 잡음(검출된 신호가 없음)으로 간주된다. 만일, 그러나, 애벌란시 포토 다이오우드(avalanche photodiod e, APD)　센서에서와 같이, 상기 이미지 센서가 이득을 경험하면, 상기 이미지 센서의 감도는 매우 크며, 이것은 본질적으로 지연-시간의 연장을 필요로 한다. 다른 센서들이 다른 민감도들에 의해 특징지어질 수도 있으므로, 단일 전자의 임계치(그 값의 아래로는 상기 입사 광자가 잡음으로 간주되는)가 예만으로서 제공된다고 한다. 상기 예는, 주어진 범위로부터 이전의 펄스의 반사들의 수신을 회피함으로써, 다음의 게이팅 싸이클의 노출 주기(T_G)를 시작하기 전에 최소 지속시간을 설정하기 위해, 주어진 피크 전력 및 다른 관련 매개변수들에 대해, 센서 노출들 사이에서 대기하는데 필요한 시간의 양을 입증한다.

본 발명의 실시예에 따르면, 이미징 시스템(100)은 다수의 레이저원들(102)을 포함하며, 각각의 레이저원은, 상기 레이저원들(102) 중 다른 것들이 다른 게이팅 싸이클들로 레이저 펄스들(122)을 전송할 수 있어, 다른 하나의 광원(102)의 레이저 드라이버(134)가 여전히 그 "휴지기(休止期)(resting phase)"에 있을 때에도 펄스 전송을 가능하게 하도록, 그 연관된 레이저 다이오우드(132) 및 레이저 다이오우드 드라이버(134)를 갖는다. 달리 설명하자면, 다른 레이저원들(102)의 동작의 타이밍은, 교번(交番)의 또는 중첩의 시간 간격들에서 각각의 펄스 전송에 시차를 둠으로써(staggering), 동기화된다. 이러한 방식으로, 유휴 시간(遊休時間)(idle-time)(T_IDLE) 및 지연-시간(T_DELAY), 그러므로 전체 싸이클 지속시간 T_CYCLE (및 프레임 지속시간)은, 개별적인 레이저 드라이버로부터 일어나는 고유 제한조건들에도 불구하고, 추가로 감소될 수 있다.

본 발명의 다른 하나의 실시예에 따르면, 펄스 폭 및/또는 싸이클 지속시간들은 개별적인 프레임 내에서 변화되어, 전체 프레임 지속시간을 추가로 감소 가능하게 한다. 예를 들면, 만일 이미지 프레임이 1000개의 게이팅 싸이클들을 포함하면, 상기 게이팅 싸이클들 중 임의의 비중(예컨대, 700개의 싸이클들)은 더욱 먼 DOF에 제공될 수도 있는 한편, 나머지 비중(예컨대, 300개의 싸이클들)은 더욱 짧은 DOF에 제공된다. 결과적으로, 상기 700개의 싸이클들에 대해 상기 센서 노출 타이밍은 전체 펄스가 상기 더욱 먼 DOF에 전달되고 상기 더욱 먼 DOF로부터 다시 반사되는데 필요한 적어도 지속시간을 대기할 필요가 있으며, 이것은 그러한 싸이클들과 연관된 더욱 긴 지연-시간을 의미하는 한편, 다른 300개의 싸이클들에 대해서는 필요한 대기시간은 더욱 짧아지므로 이러한 싸이클들에 대한 지연-시간은 추가로 감소될 수 있다. 게다가, 이미징 시스템(100)은, 동일한 프레임에서 다수의 슬라이스들(slices)(DOF들)을 얻기 위해, 더욱 긴 DOF들에 제공된 펄스들의 더욱 긴 지연-시간들을 대기하면서도 더욱 짧은 DOF들에 제공된 펄스들에 대한 더욱 짧은 노출 슬라이스들을 수행할 수도 있다.

게다가, 이미징 시스템(100)은 이미지 센서(112)의 다른 픽셀들용의 다른 파장들의 펄스들을 사용할 수도 있다(즉, 임의의 배열 픽셀들이, 상기 파장에 의존하여, 임의의 반사된 펄스들만을 수집하도록 지시받을 수 있도록). 이 구성은 이미징 시스템(100)이 다수의 DOF들을 동시에 이미징하고/이미징하거나 단일 이미지 프레임에서 다(多)스펙트럼 감응성(感應性) 정보(multispectral information)를 획득 가능하게 한다.

본 발명의 추가적인 실시예에 따르면, 이미징 시스템(100)은, 이미지 센서들(112) 중 다른 것들이 다른 게이팅 싸이클들에서 다른 전송된 레이저 펄스들(122)의 반사들을 수집할 수 있도록, 다수의 카메라들(104) 및 이미지 센서들 (112)을 포함할 수도 있다. 예를 들면, 3D 정보(즉, 입체 영상(立體映像)(stereos copic image))는 삼각 측량 및/또는 펄싱(pulsing)/게이팅 구조를 사용하여 추출될 수 있다.

본 발명의 또 다른 하나의 실시예에 따르면, 감소된 지연-시간은 또한 수동 이미징 시스템에 적용될 수도 있으며, 이미지 센서는 이미징된 FOV 에서의 물체들에 의해 방출된 방사선을 검출한다(즉, 능동 이미징 시스템(100)에서처럼, 광원에 의해 방출된 광 펄스들로부터의 반사들을 검출하기 보다는). 이제, 도 7 및 도 8에 관해 설명한다. 도 7은 본 발명의 실시예에 따라 동작하는, 수동 이미징 시스템의 디폴트 모드 동작 동안 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는, 일반적으로 도면부호 180으로 표기된, 타이밍 그래프의 예이다. 도 8은 본 발명의 실시예에 따라 동작하는, 수동 이미징 시스템의 버스트-모드 동작 동안 개별적인 이미지 프레임의 게이팅 싸이클들을 도시하는, 일반적으로 도면부호 190으로 표기된, 타이밍 그래프의 예이다. 그래프들(180, 190)은 그래프들(150, 160)(도 4 및 도 5)와 유사하지만, 능동 이미징 시스템보다는 수동 이미징 시스템(즉, 이것은 광 펄스들을 방출하는 광원을 갖지 않는 이미징된 환경에서 방사선을 검출한다)에 관한 것이다. 그래프들(180, 190)은 수동 이미징 시스템에 의해 획득된 예시적인 이미지 프레임을 도시하며, 여기서 프레임 지속시간(T_FRAME)은 10ms이고 상기 프레임은 전체 1000개의 게이팅 싸이클들을 포함한다. 수동 이미징 시스템에서, 상기 싸이클 지속시간(T_CYCLE)은 노출 지속시간(T_G)만으로 구성되고, 상기 지연-시간(T_DELAY)은 연속적인 센서 노출들 사이의 지속시간으로서 정의된다(즉, T_DELAY = T_G- _cycleN ₊₁ - T_G- _cycleN). 그러므로, 수동 이미징 시스템의 상기 지연-시간(T_DELAY)은 또한, 상기한 바와 같은 예시적인 환경조건들과 같은, 적어도 하나의 환경조건에 따라 적합하게 제어될 수도 있다. 그러나, 게이팅 싸이클에서 센서 노출의 타이밍을 설정할 때 전송된 펄스의 전달시간을 대기할 필요가 없기 때문에, 수동 이미징 시스템에서, T_DELAY 를 감소시키기 위한 제한조건들은, 센서 노출구조(즉, 셔터링 능력(shuttering capabilit ies), 픽셀 메모리 노드에 대한 전자 전송시간, 등등))와 같이, 물리적이다. 그래프들(180, 190)로부터 명백한 바와 같이, 상기 지연-시간 지속시간(T_DELAY), 및 그러므로 싸이클 지속시간들(T_CYCLE) 및 전체 프레임 지속시간(T_FRAME), 은 디폴트-모드 동작(그래프 180)에 대한 버스트-모드 동작(그래프 190)에서 감소된다. 예를 들면, 게이팅 싸이클 #1은 디폴트-모드 동작에서의 10μs로부터 버스트-모드 동작에서의 100ns로 감소된다. 예를 들면, 상기 싸이클 지속시간(T_CYCLE)은 수동 이미징 시스템에서 버스트-모드 동작에서 거의 10-100ns로 감소될 수도 있다.

본 발명은 또한 이동 물체들의 이미지들에서의 번짐 효과(blurring effect)를 설명하는데 적용될 수도 있다. 특히, 제어 가능하게 감소된 "오프" 지속시간들에서 동작하는 게이트된 센서를 제공함에 의해, 상기 게이트된 센서는, 노출 지속시간을 통해 카메라 셔터를 신속하게 개방 및 폐쇄하는 부호화된 노출 사진기술과 유사한, 움직임 번짐(motion blurring)을 경감하는데 사용될 수 있다.

본 발명은 임의의 목적으로 임의의 종류의 이미징에 적용 가능하며 예컨대, 다양한 산업적, 상업적, 의학적, 보안, 또는 오락성 응용 프로그램들(recreational applications)과 같은, 아주 다양한 응용분야들에서 사용될 수도 있다. 본 발명은 관심 목표 또는 관심 물체의 검출 및 식별에, 또는 보다 일반적으로, 임의의 종류의 시각 정보의 획득을 위해, 적용될 수도 있다. 본 발명은, 본질적으로 짧은 범위들(예컨대, 수십 또는 수백 미터의 치수의), 본질적으로 중간 범위들(예컨대, 수십 또는 수백 킬로미터의 치수의), 또는 아주 짧은 범위들(예컨대, 센티미터, 밀리미터, 또는 그 이하의 치수의)과 같은, 임의의 범위의 피사계 심도에서의 이미징에 적용 가능하다.

본 발명의 이미징 시스템의 적어도 일부는, 운송수단과 같은, 이동하는 플랫폼상에 장착될 수도 있다. 예를 들면, 본 발명의 이미징 시스템은 운송수단 주간/야간 시각 시스템으로서 사용될 수도 있다. "운송수단"의 용어는, 자동차(automob ile), 오토바이, 트럭, 비행기, 보우트, 배, 등과 같은, 임의의 형태의 운송장치를 의미하는 것으로 넓게 해석되어야 한다. 유사하게, 상기 이미징 시스템은 선택적으로, 부분적으로 또는 전체적으로, 휴대용 비-운송수단 플랫폼(non-vehicular porta ble platform)(예컨대, 1명 이상의 사람들에 의해 운송되는, 카메라 짐수레(camera dolly))상에, 또는 정적인 플랫폼(예컨대, 보안 울타리, 감시구역(surveillance pe rimeter), 등등)상에 장착될 수도 있다.

본 발명의 설명된 요지의 임의의 실시예들은, 이 기술분야에서의 통상의 지식을 가진 자가 본 발명을 실시 가능하도록, 설명되어졌지만, 이전의 설명은 예시용으로만 설명되어졌다. 다음의 청구항들을 참조하여 결정되어야 하는, 상기 설명된 요지의 범위는 제한되도록 사용되어서는 안된다.

Claims

일련의 광 펄스들을 관심영역 쪽으로 방출하도록 구성된, 적어도 하나의 광원;
이미징되는 적어도 하나의 피사계 심도(depth of field, DOF)에 위치한 물체들로부터 반사된 상기 펄스들의 반사들을 수신하고, 상기 반사들을 이미지로 변환하도록 구성된, 광 검출기들의 배열을 포함하는 적어도 하나의 이미지 센서로서,
상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함하고, 상기 게이팅 싸이클들 중 각각은 상기 일련의 광 펄스들 중 각각의 펄스의 방출, 및 상기 이미지 센서에 의한 상기 각각의 펄스의 반사들의 수신을 포함하며, 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의되는 적어도 하나의 이미지 센서;
상기 광원 및 상기 이미지 센서와 결합된 컨트롤러로서,
상기 컨트롤러는 상기 광원 및 상기 이미지 센서의 동작을 제어하고, 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하도록 구성되며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정되는 컨트롤러;
를 포함하는 능동 이미징 시스템.
제1항에 있어서,
상기 시스템 매개변수는 :
상기 펄스의 펄스 폭;
상기 펄스의 펄스 세기;
상기 펄스의 펄스 형태;
상기 피사계 심도(depth of field)(DOF);
이미징되는 최대 범위;
상기 광원의 고유 매개변수들;
상기 이미지 센서의 고유 매개변수들;
상기 이미지 센서의 감도;
상기 이미지 센서의 프레임율;
이미징되는 풍경의 형태;
이미지 처리 특성의 형태;
수학공식; 및
이들의 임의의 결합;
으로 구성된 리스트로부터 선택되는 능동 이미징 시스템.
제1항에 있어서,
상기 환경조건은 :
동작의 시간;
동작의 위치;
기상 또는 기후 조건들;
상기 이미징 시스템을 포함하는 플랫폼의 형태;
상기 이미징 시스템의 어플리케이션;
주변 광의 레벨;
근처의 외부 광원들의 존재;
동작시간의 계획된 지속시간; 및
이들의 임의의 결합;
으로 구성된 리스트로부터 선택되는 능동 이미징 시스템.
제1항에 있어서,
상기 광원은 :
발광 표시장치(LED);
레이저;
단면 발광 레이저(edge-emitting laser);
수직-공진형 표면-발광 레이저(vertical-cavity surface-emitting laser); 및
가스-방전등(放電燈)(gas-discharge lamp);
으로 구성된 리스트로부터 선택되는 능동 이미징 시스템.
제1항에 있어서,
상기 이미지 센서는 상보성 금속-산화물-반도체(CMOS) 이미지 센서를 포함하는 능동 이미징 시스템.
제1항에 있어서,
상기 지연-시간(T_DELAY)은 2-3μs의 범위에 있는 능동 이미징 시스템.
제1항에 있어서,
상기 능동 이미징 시스템은 복수의 광원들을 포함하고, 각각의 광원은 상기 이미지 프레임의 다른 게이팅 싸이클에 대한 각각의 펄스를 방출하여, 다른 광원들로부터의 펄스 방출들의 타이밍이 시차를 갖도록 구성되는 능동 이미징 시스템.
제1항에 있어서,
상기 이미지의 적어도 하나의 프레임은, 상기 지연-시간(T_DELAY)이 상기 게이팅 싸이클들 중 적어도 일부에서 선택적으로 변화하도록, 변하는 싸이클 지속시간들(T_CYCLE)을 갖는 복수의 게이팅 싸이클들을 포함하는 능동 이미징 시스템.
제8항에 있어서,
더욱 먼 DOF에 제공되는 상기 게이팅 싸이클들 중 적어도 한 부분의 상기 싸이클 지속시간(T_CYCLE)은 더욱 짧은 DOF에 제공되는 상기 게이팅 싸이클들 중 적어도 다른 한 부분의 상기 싸이클 지속시간(T_CYCLE)보다 더 긴 능동 이미징 시스템.
제1항에 있어서,
상기 광원에 의해 방출된 상기 펄스들은, 상기 이미지 센서의 광 검출기들의 상기 배열의 다른 픽셀들과 상관된, 복수의 펄스 파장들을 포함하는 능동 이미징 시스템.
제1항에 있어서,
선택된 필터링 기준에 따라 상기 이미지 센서에 도달하는 것으로부터 수신된 반사들을 필터링하도록 구성된, 적어도 하나의 필터를 추가로 포함하는 능동 이미징 시스템.
제1항에 있어서,
발생된 이미지를 표시하도록 구성된, 표시장치를 추가로 포함하는 능동 이미징 시스템.
제1항에 있어서,
상기 능동 이미징 시스템은 이동 불가능한 또는 이동 가능한 플랫폼상에 장착되는 능동 이미징 시스템.
제1항의 상기 능동 이미징 시스템을 포함하는 운송수단.
제1항의 복수의 능동 이미징 시스템들로서,
상기 능동 이미징 시스템들은 보통 환경에서 함께 동작하는 복수의 능동 이미징 시스템들.
제15항에 있어서,
상기 이미징 시스템들 중 적어도 하나의 이미지 프레임에 관한 매개변수들의 타이밍이 랜덤 호핑 구조(random hopping scheme)에 따라 결정되는 복수의 능동 이미징 시스템들.
이미징되는 영역에 위치한 물체들로부터 방출 또는 반사된 방사선을 수신하고, 상기 수신된 방사선을 이미지로 변환하도록 구성된, 광 검출기들의 배열을 포함하는 적어도 하나의 이미지 센서로서,
상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함하고, 상기 게이팅 싸이클들 중 각각은 상기 이미지 센서의 각각의 노출 주기를 포함하며, 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출 주기들 사이의 지속시간으로 정의되는 적어도 하나의 이미지 센서; 및
상기 이미지 센서와 결합된 컨트롤러로서,
상기 컨트롤러는 상기 이미지 센서의 동작을 제어하고, 이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하도록 구성되며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정되는 컨트롤러;
를 포함하는 수동 이미징 시스템.
제17항에 있어서,
상기 시스템 매개변수는 :
상기 이미지 센서의 고유 매개변수들;
상기 이미지 센서의 감도;
상기 이미지 센서의 프레임율;
이미징되는 풍경의 형태;
이미지 처리 특성의 형태;
수학공식; 및
이들의 임의의 결합;
으로 구성된 리스트로부터 선택되는 수동 이미징 시스템.
제17항에 있어서,
상기 환경조건은 :
동작의 시간;
동작의 위치;
기상 또는 기후 조건들;
상기 이미징 시스템을 포함하는 플랫폼의 형태;
상기 이미징 시스템의 어플리케이션의 형태;
주변 광의 레벨;
근처의 외부 광원들의 존재;
동작시간의 계획된 지속시간; 및
이들의 임의의 결합;
으로 구성된 리스트로부터 선택되는 수동 이미징 시스템.
적어도 하나의 광원을 사용하여, 관심영역 쪽으로 일련의 광 펄스들을 방출하는 과정;
이미징되는 적어도 하나의 피사계 심도(depth of field)(DOF)에 위치한 물체들로부터 반사된 상기 펄스들의 반사들을 검출하고, 적어도 하나의 이미지 센서를 사용하여 상기 반사들을 이미지로 변환하며,
상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함하고, 상기 게이팅 싸이클들 중 각각은 상기 일련의 광 펄스들 중 각각의 펄스의 방출, 및 상기 이미지 센서에 의한 상기 각각의 펄스의 반사들의 수신을 포함하며, 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의되는 과정;
이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정하는 과정;
을 포함하는 능동 이미징을 위한 방법.
제20항에 있어서,
상기 지연-시간(T_DELAY)을 최소화하는 상기 과정은 상기 이미지 프레임이 변하는 싸이클 지속시간들(T_CYCLE)을 갖는 게이팅 싸이클들을 포함하도록 이미지 프레임의 상기 게이팅 싸이클들 중 적어도 일부에서 상기 지연-시간을 선택적으로 변화시키는 과정을 포함하는 능동 이미징을 위한 방법.
이미징되는 영역에 위치한 물체들로부터 방출 또는 반사된 방사선을 수신하고, 적어도 하나의 이미지 센서를 사용하여 상기 수신된 방사선을 이미지로 변환하며,
상기 이미지의 각 프레임은 복수의 게이팅 싸이클들을 포함하고, 상기 게이팅 싸이클들 중 각각은 상기 이미지 센서의 각각의 노출주기를 포함하며, 지연-시간(T_DELAY)은 연속적인 게이팅 싸이클들의 센서 노출주기들 사이의 지속시간으로서 정의되는 과정;
이미지 프레임의 적어도 하나의 게이팅 싸이클에 대한 상기 지연-시간(T_DELAY)을 최소화하며, 상기 지연-시간(T_DELAY)은 적어도 하나의 시스템 매개변수 또는 환경조건에 따라 적합하게 결정되는 과정;
을 포함하는 수동 이미징을 위한 방법.