KR20190004002A - 빔 분할 확장된 동적 범위 이미지 캡처 시스템 - Google Patents

빔 분할 확장된 동적 범위 이미지 캡처 시스템 Download PDF

Info

Publication number
KR20190004002A
KR20190004002A KR1020187038013A KR20187038013A KR20190004002A KR 20190004002 A KR20190004002 A KR 20190004002A KR 1020187038013 A KR1020187038013 A KR 1020187038013A KR 20187038013 A KR20187038013 A KR 20187038013A KR 20190004002 A KR20190004002 A KR 20190004002A
Authority
KR
South Korea
Prior art keywords
image
incident light
beam splitter
image sensor
photon flux
Prior art date
Application number
KR1020187038013A
Other languages
English (en)
Other versions
KR102072600B1 (ko
Inventor
로만 류코우
마크 샨드
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Priority to KR1020207002593A priority Critical patent/KR102301044B1/ko
Publication of KR20190004002A publication Critical patent/KR20190004002A/ko
Application granted granted Critical
Publication of KR102072600B1 publication Critical patent/KR102072600B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10—Simultaneous recording or projection
    • G03B33/12—Simultaneous recording or projection using beam-splitting or beam-combining systems, e.g. dichroic mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N9/097—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Microscoopes, Condenser (AREA)
  • Radio Relay Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

광학 시스템 및 방법은 확장된 동적 범위 이미지들을 캡처하는 것에 관련될 수 있다. 예시적인 실시예에서, 광학 시스템은 입사 광을 수신하도록 구성된 렌즈 요소, 및 렌즈 요소에 광학적으로 결합된 빔 스플리터를 포함할 수 있다. 빔 스플리터는 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분 및 제2 광자 플럭스를 갖는 제2 부분으로 분리하도록 구성된다. 제1 광자 플럭스는 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 크다. 제어기는 제1 이미지 센서가 제1 노출 파라미터들에 따라 입사 광의 제1 부분의 제1 이미지를 캡처하게 하고, 제2 이미지 센서가 제2 노출 파라미터들에 따라 입사 광의 제2 부분의 제2 이미지를 캡처하게 하도록 구성될 수 있다.

Description

빔 분할 확장된 동적 범위 이미지 캡처 시스템
관련 출원에 대한 상호 참조
본 출원은 2016년 8월 3일자로 출원된 미국 특허 출원 제15/227,113호에 대한 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조에 의해 포함된다.
종래의 3칩 카메라들(three-chip cameras)은 색상들을 대강의 가시 광 색상 범위들(예를 들어, 적색, 녹색, 청색)로 분리하기 위한 하나 이상의 빔 스플리터를 포함할 수 있다. 정상적인 장면에서, 이러한 컬러 범위들 각각에서의 예상되는 광자 플럭스(photon flux)는 모든 이미지 센서들에서 신호/노이즈 비율들을 동일하게 하기 위해 실질적으로 균형을 이룰 수 있다.
광학 시스템 및 방법은 통상적으로는 이미지 센서의 섹션들을 과다 노출시킬 광 강도들의 동적 범위의 부분을 캡처하기 위해 복수의 이미지 센서 중 하나 이상으로 진행하는 입사 광을 감쇠시킴으로써 확장된 또는 높은 동적 범위의 이미지를 캡처할 수 있다. 이러한 것으로서, 광학 시스템 및 방법은 높은 동적 범위 이미징에 관련될 수 있다. 예시적인 실시예에 따르면, 광학 시스템은 입사 광을 적어도 2개의 부분으로 분리하도록 구성된 하나 이상의 빔 스플리터를 포함할 수 있다. 광의 부분들은 광자 플럭스에 있어서 적어도 한 자릿수(10x)만큼 차이가 날 수 있다. 예를 들어, 광의 제1 부분은 광의 제2 부분의 광자 플럭스의 100배를 포함할 수 있다. 일부 실시예들에서, 추가의 빔 스플리터들은 입사 광을 광의 다른 부분들로 분리할 수 있다.
양태에서, 광학 시스템이 제공된다. 광학 시스템은 입사 광을 수신하도록 구성된 적어도 하나의 렌즈 요소를 포함한다. 광학 시스템은 적어도 하나의 렌즈 요소에 광학적으로 결합된 적어도 하나의 빔 스플리터를 또한 포함한다. 적어도 하나의 빔 스플리터는 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분 및 제2 광자 플럭스를 갖는 제2 부분으로 분리하도록 구성된다. 제1 광자 플럭스는 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 크다. 광학 시스템은 또한 입사 광의 제1 부분을 수신하도록 구성된 제1 이미지 센서, 및 입사 광의 제2 부분을 수신하도록 구성된 제2 이미지 센서를 포함한다. 또한, 광학 시스템은 적어도 하나의 프로세서 및 메모리를 갖는 제어기를 더 포함한다. 제어기는 동작들을 수행하기 위해 메모리 내에 저장된 명령어들을 실행하도록 구성된다. 동작들은 제1 이미지 센서가 제1 노출 파라미터들에 따라 입사 광의 제1 부분의 제1 이미지를 캡처하게 하는 동작, 및 제2 이미지 센서가 제2 노출 파라미터들에 따라 입사 광의 제2 부분의 제2 이미지를 캡처하게 하는 동작을 포함한다.
양태에서, 방법이 제공된다. 방법은 적어도 하나의 렌즈 요소를 통해 입사 광을 수신하는 단계, 및 적어도 하나의 빔 스플리터에 의해, 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분 및 제2 광자 플럭스를 갖는 제2 부분으로 분리하는 단계를 포함한다. 제1 광자 플럭스는 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 크다. 방법은 제1 이미지 센서가 제1 노출 파라미터들에 따라 입사 광의 제1 부분의 제1 이미지를 캡처하게 하는 단계, 및 제2 이미지 센서가 제2 노출 파라미터들에 따라 입사 광의 제2 부분의 제2 이미지를 캡처하게 하는 단계를 또한 포함한다.
양태에서, 시스템이 제공된다. 시스템은 본 명세서에 설명된 다른 각각의 양태들의 동작들을 수행하기 위한 다양한 수단을 포함한다.
이들 및 다른 실시예들, 양태들, 장점들 및 대안들은 적절한 경우 첨부 도면들을 참조하여 이하의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에 명백해질 것이다. 또한, 본 명세서에 제공된 이러한 개요, 및 다른 설명들 및 도면들은 단지 예로서 실시예들을 설명하도록 의도된 것이며, 그러한 것으로서 많은 변형들이 가능하다는 것을 이해해야 한다. 예를 들어, 구조적 요소들 및 프로세스 단계들은 청구된 실시예들의 범위 내에 남아있으면서 재배열되거나, 결합되거나, 분산되거나, 제거되거나, 다르게 변경될 수 있다.
도 1은 예시적인 실시예에 따른 광학 시스템의 개략도를 도시한다.
도 2a는 예시적인 실시예에 따른 광학 시스템을 도시한다.
도 2b는 예시적인 실시예에 따른 광학 시스템을 도시한다.
도 2c는 예시적인 실시예에 따른 광학 시스템을 도시한다.
도 3a는 예시적인 실시예에 따른 신호등 및 동작 타이밍도를 도시한다.
도 3b는 예시적인 실시예에 따른 후미등을 도시한다.
도 4는 예시적인 실시예에 따른 방법을 도시한다.
예시적인 방법들, 디바이스들 및 시스템들이 본 명세서에 설명된다. 본 명세서에서, "예" 및 "예시적인"이라는 단어는 "예, 사례, 또는 예시의 역할을 하는 것"을 의미하도록 사용된다는 것을 이해해야 한다. 본 명세서에서 "예" 또는 "예시적인" 것으로 설명된 임의의 실시예 또는 특징은 반드시 다른 실시예들 또는 특징들보다 바람직하거나 유리한 것으로 해석되어서는 안 된다. 본 명세서에 제시된 주제의 범위를 벗어나지 않고서, 다른 실시예들이 이용될 수 있고 다른 변경들이 이루어질 수 있다.
따라서, 본 명세서에 설명된 예시적인 실시예들은 제한적이도록 의도된 것이 아니다. 본 명세서에 일반적으로 설명되고 도면들에 도시된 바와 같은 본 개시내용의 양태들은 폭넓게 다양한 상이한 구성들로 배열, 대체, 결합, 분리, 및 설계될 수 있고, 이들 모두가 본 명세서에서 고려된다.
또한, 맥락에서 달리 제시하지 않는 한, 도면들 각각에 도시된 특징들은 서로 조합하여 사용될 수 있다. 따라서, 도면들은 모든 도시된 특징들이 각각의 실시예에 필요한 것은 아니라는 점을 이해하면서, 하나 이상의 전체적인 실시예의 컴포넌트 양태들로서 일반적으로 간주되어야 한다.
I. 개요
광학 시스템의 시야는 광범위하게 변하는 광자 플럭스들을 갖는 장면의 부분들을 포함할 수 있다. 즉, 주어진 장면은 매우 밝은 피처들과 매우 어둑한 피처들 두 가지 모두를 포함할 수 있다. 추가적으로 또는 대안적으로, 장면의 일부 피처들은 주기적인 방식으로 및/또는 변화하는 방식[예를 들어, 스트로빙, 디밍(dimming) 등]으로 광을 방출할 수 있다. 종래의 이미지 센서들의 비교적 제한된 동적 범위로 인해, 소정의 이미지 정보는 주어진 노출 조건에 대해 "폐기될" 필요가 있을 수 있다. 예를 들어, 주어진 장면의 "하이라이트들" 또는 매우 밝은 부분들을 가장 잘 캡처하려는 노력에서, 광학 시스템의 노출 조건은 작은 조리개 설정, 저이득/저감도 이미지 센서 설정, 및/또는 비교적 짧은 노출 시간을 포함할 수 있다. 이러한 시나리오에서, 장면의 밝은 부분들은 정확하게 캡처될 수 있다. 그러나, 그러한 특정 노출 조건에 대해, 장면의 어둑한 영역들로부터의 광자 플럭스는 주어진 이미지 센서의 동적 범위 내에 들어가기에는 너무 작을 수 있기 때문에(예를 들어, 광자 플럭스가 이미지 센서의 노이즈 레벨보다 낮음), 장면의 그러한 부분들은 "흑색"으로서 캡처될 수 있다.
마찬가지로, 주어진 장면의 "그림자들"을 캡처하려는 노력에서, 광학 시스템의 노출 조건은 큰 조리개 설정, 고이득/고감도 이미지 센서 설정, 및/또는 비교적 긴 노출 시간을 포함할 수 있다. 그러한 것으로서, 장면의 어둑한 부분들은 정확하게 캡처될 수 있다. 그러나, 이미지 센서가 장면의 밝은 영역들로부터 이미지 센서의 동적 범위가 재현할 수 있는 것보다 더 많은 광자를 수신했을 수 있으므로, 장면의 밝은 부분들은 포화로 인해 "블로우 아웃"될 수 있다.
본 명세서에 설명된 광학 시스템 및 방법은 높은 동적 범위의 이미지 캡처를 제공할 수 있다. 즉, 예시적인 실시예에 따르면, 광학 시스템은 입사 광을 적어도 2개의 부분으로 분리하도록 구성된 하나 이상의 빔 스플리터를 포함할 수 있다. 광의 상이한 부분들은 광자 플럭스에 있어서 적어도 한 자릿수(10x)만큼 차이가 날 수 있다. 예를 들어, 광의 제1 부분은 광의 제2 부분의 광자 플럭스의 100배를 포함할 수 있다. 일부 실시예들에서, 추가의 빔 스플리터들은 입사 광을 광의 추가의 부분들로 분리할 수 있다.
입사 광의 각각의 부분들은 각각의 이미지 센서들에 의해 수신되고 캡처될 수 있다. 이미지 센서들 각각은 다른 이미지 센서들과 별도로 동작될 수 있다. 구체적으로, 각각의 이미지 센서는 상이한 이미지 캡처 노출 파라미터들을 통해 광의 각각의 부분들을 캡처하도록 구성될 수 있다. 예를 들어, 위에서 설명된 시나리오에서, 광의 제1 부분은 1ms의 노출 시간으로 캡처될 수 있는 한편, 광의 제2 부분은 100ms의 노출 시간으로 캡처될 수 있다. 예시적인 실시예에서, 광학 시스템은 각각의 이미지 센서에 대해 동일한 시야를 포함할 수 있다. 그러한 것으로서, 시차(parallax)와 같은 광학 시스템의 복잡성들이 제거될 수 있다. 예시적인 실시예에서, 이미지 캡처들 둘 다가 동일한 시간 간격(노출 윈도우) 내에서 발생할 수 있다. 그러한 것으로서, 2개의 이미지를 하나의 높은 동적 범위 이미지로 결합하는 작업을 단순화하기 위해, 2개의 이미지 간의 시간적 불일치가 제거될 수 있다.
추가적으로, 입사 광의 하나 이상의 부분의 특성들을 변경하도록 구성된 다른 광학 요소들이 포함될 수 있다. 예를 들어, 다른 광학 요소들은 광학 감쇠기들, 공간 필터들, 또는 렌즈들을 포함할 수 있다.
일부 실시예들에서, 이미지 센서들은 컬러 모자이크 타입일 수 있고, 또는 이미지 센서들 중 하나 이상은 시스템의 다른 이미지 센서들과 상이한 특성들을 가질 수 있다. 예를 들어, 하나 이상의 센서는 단색성일 수 있는 한편, 다른 센서들은 컬러인 것 등일 수 있다. 또한, 센서들 중 하나 이상은 다른 센서들과 상이한 스펙트럼 응답, 상이한 공간 해상도, 또는 상이한 판독 속도들(readout rates)을 가질 수 있다. 동일한 파라미터들을 사용하는 모든 이미지 센서들의 동작이 또한 가능하다.
신호등 및 차량 표시등(예를 들어, 브레이크 등 또는 방향 표시등)을 검출하는 차량의 맥락에서, 다양한 노출 파라미터들이 미리 알려지거나 고정될 수 있다. 그러한 것으로서, 예시적인 실시예는 알려진 광 플럭스에 기초하여 설계될 수 있다. 즉, 센서 듀티 사이클을 최대화하고, 광원의 조명이 광자 캡처 간격을 벗어날 위험을 최소화하기 위해, 프레임 시간(예를 들어, 알려진 신호등 래스터 주기)의 대부분을 포함하는 노출 시간이 제공될 수 있다. 즉, 주어진 장면 내의 스트로빙 또는 플래싱 광을 가장 잘 검출하기 위해, 이미지 캡처 경로들 중 하나는 고정된 노출 시간 및/또는 다른 노출 파라미터들을 포함할 수 있다. 다른 이미지 캡처 경로는 주어진 장면으로부터 다른 요소들을 가장 잘 검출하기 위해 자유롭게 조절가능한 노출 시간(예를 들어, 자동 노출 캡처)을 가질 수 있다.
예시적인 실시예에서, 하나의 공통 렌즈(또는 렌즈 세트)가 시스템 내에 제공될 수 있다. 이는 시스템의 비용 및 크기를 감소시킬 수 있다(예를 들어, 렌즈는 카메라 시스템의 가장 비싸고 부피가 큰 요소일 수 있다). 이러한 단일 렌즈 또는 렌즈 세트는 또한 시차 에러를 제거할 수 있는데, 이는 모든 이미지 센서가 단일 시점(point of view)으로부터 단일 렌즈에 의해 캡처된 장면의 이미지를 수신하고 기록하기 때문이다. 이미지 센서들 중 하나 이상(장면의 강하게 감쇠된 뷰를 기록함)은 긴 노출 시간을 사용할 수 있고, 이에 의해 (예를 들어, 장면의 평균 또는 샘플링된 광자 플럭스에 기초한 노출 파라미터들을 이용하여) 장면의 다르게는 "올바른" 노출을 생성하기 위해 짧은 노출 시간들을 이용하는 캡처 시스템에 의해 누락될 수 있는 장면 내의 단기간의 이벤트들(예를 들어, 래스터 스캔된 또는 펄스 변조된 LED 신호들 및 표시등들로부터의 광의 급속한 펄스들)을 캡처할 수 있게 된다.
본 명세서에 설명된 시스템들 및 방법들은 폭넓게 상이한 광자 플럭스 레벨들을 갖는 영역들을 갖는 장면들, 및/또는 장면 내의 광원들이 펄스화되거나 다르게 변화하는 광자 플럭스들을 제공하는 시나리오들에 대해 확장된 동적 범위 이미징을 제공할 수 있다. 이러한 시스템들 및 방법들은 주어진 장면의 보다 충실한 재생을 캡처하고 및/또는 종래의 이미징 시스템들과 비교하여 시간에 따라 변하는 광원들에 관한 보다 많은 특정 정보를 제공하도록 구성될 수 있다.
Ⅱ. 예시적인 시스템들
도 1은 예시적인 실시예에 따른 광학 시스템(100)의 개략도를 도시한다. 광학 시스템(100)은 하나 이상의 렌즈 요소(110), 하나 이상의 빔 스플리터(120), 및 하나 이상의 광학 요소(130)를 포함할 수 있다. 광학 시스템(100)은 또한 복수의 이미지 센서(140) 및 제어기(150)를 포함한다.
광학 시스템(100)은 스틸 카메라, 비디오 카메라, 현미경, 망원경, 또는 장면으로부터 이미지 정보를 캡처하도록 구성된 다른 디바이스를 포함할 수 있다. 광학 시스템(100)은 독립형 디바이스(예를 들어, 핸드핼드형 카메라)를 포함할 수 있다. 대안적으로, 광학 시스템(100)은 다른 시스템(예를 들어, 자율 주행 차량의 센서 시스템)에 통합될 수 있다(또는 다른 시스템으로서 식별될 수 있다).
광학 시스템(100)은 렌즈 요소들(110) 및/또는 조리개에 의해 정의될 수 있는 시야를 가질 수 있다. 광학 시스템(100)은 렌즈 요소들(110)을 통해 시야로부터 입사 광(102)을 수신할 수 있다. 렌즈 요소들(110)은 싱글 렌즈, 렌즈 더블렛, 렌즈 트리플렛, 및/또는 더 많은 렌즈 요소들을 포함할 수 있다. 렌즈 요소들(110)은 교환가능할 수 있다[예를 들어, 싱글 렌즈 리플렉스(single lens reflex)(SLR) 타입 또는 레인지 파인더 타입 렌즈들]. 즉, 다양한 렌즈들 또는 렌즈들의 조합들은 광학 렌즈 마운트(예를 들어, Canon EF-S 마운트, Nikon F 마운트)를 통해 광학 시스템(100)에 스위치 가능하게 결합될 수 있다. 그러한 것으로서, 광학 시스템(100)은 고정 또는 가변 크기들을 갖는 넓은 범위의 시야들을 제공하도록 구성될 수 있다. 렌즈 요소들(110)은 수동으로, 또는 원격으로 제어되는 액추에이터들을 통해 광학 파라미터들(예를 들어, 초점 거리, 시야, 조리개, 초점 설정, 이미지 안정화 등)를 변화시킬 수 있다.
광학 시스템(100)의 시야는 많은 상이한 타입의 장면들 및/또는 피사체들을 포함할 수 있음이 이해된다. 예시적인 실시예에서, 주어진 장면은 장면의 상이한 부분들로부터 폭넓게 변화하는 광자 플럭스들을 제공할 수 있다.
입사 광(103)의 적어도 일부는 하나 이상의 빔 스플리터(120)와 상호 작용할 수 있다. 하나 이상의 빔 스플리터(120)는 2개의 삼각형 유리 프리즘에 의해 형성된 빔 분할 큐브를 포함할 수 있다. 그러나, 다른 타입의 빔 스플리터들이 가능하다. 예를 들어, 하나 이상의 빔 스플리터(120)는 반사 방지 코팅을 갖는, 부분적으로 은 도금된 거울 또는 유리를 포함할 수 있다.
하나 이상의 빔 스플리터(120)는 수집된 광(103)을 제1 광자 플럭스를 갖는 제1 부분(104)과 제2 광자 플럭스를 갖는 제2 부분(106)으로 분리할 수 있다. 광의 제1 부분(104) 및 광의 제2 부분(106)은 동일한 시야를 가질 수 있다. 그러나, 광의 제1 부분(104)은 광의 제2 부분(106)보다 적어도 한 자릿수만큼 더 큰 광자 플럭스를 가질 수 있다. 예를 들어, 광의 제1 부분(104)은 수집된 광(103)의 광자 플럭스의 96%에 이르는 광자 플럭스를 가질 수 있다. 따라서, 광의 제2 부분(106)은 수집된 광(103)의 광자 플럭스의 4%에 이르는 광자 플럭스를 가질 수 있다. 그러한 것으로서, 예시적인 실시예에서, 빔 스플리터들(120)은 광의 제1 부분(104) 및 광의 제2 부분(106)을 제공하기 위해, 입사 광에 대해 상이한 양의 중성 밀도 광학 감쇠(neutral density optical attenuation)를 유효하게 제공할 수 있다.
일부 실시예들에서, 하나 이상의 빔 스플리터(120)는 이색성 광학 요소 또는 주파수 선택 표면을 포함할 수 있다. 이러한 시나리오에서, 빔 스플리터들(120)은 이색성 광학 요소 또는 주파수 선택 표면에 기초한 특정 스펙트럼 성분들을 갖는 것으로서 광의 각각의 부분들을 제공하도록 추가적으로 또는 대안적으로 구성될 수 있다.
빔 스플리터들(120)과 상호작용한 후, 광의 제1 부분(104) 및 광의 제2 부분(106) 각각은 추가의 광학 요소들(130)과 임의로(optionally) 상호작용할 수 있다. 예시적인 실시예에서, 광학 요소들(130)은 편광 필터, 스펙트럼 필터(spectral filter), 공간 필터, 렌즈, 렌즈 세트, 또는 중성 밀도 필터를 포함할 수 있다. 다른 타입들의 광학 요소들(130)이 고려된다.
복수의 이미지 센서(140)는 입사 광의 제1 부분(104)을 수신하도록 구성된 제1 이미지 센서, 및 입사 광의 제2 부분(106)을 수신하도록 구성된 제2 이미지 센서를 포함할 수 있다. 복수의 이미지 센서(140)는 상보적 금속 산화물 반도체(CMOS) 이미지 센서, 전하 결합 소자(CCD) 이미지 센서, 또는 다른 타입들의 다중 소자 광 검출기 센서(예를 들어, 초점 평면 어레이)를 포함할 수 있지만, 이에 한정되지는 않는다. 또한, 본 명세서의 실시예들은 가시 광 스펙트럼에서의 이미지 캡처 시나리오들을 설명하지만, 다른 파장들 또는 파장 대역들의 광을 수신 및 캡처할 수 있는 유사한 광학 시스템들이 고려된다. 예를 들어, 광학 시스템(100)은 근적외선 파장 범위 또는 다른 스펙트럼 범위에서 동작하도록 구성될 수 있다.
제어기(150)는 적어도 하나의 프로세서(152) 및 메모리(154)를 포함한다. 제어기(150)는 메모리에 저장된 명령어들을 실행하도록 구성된다. 명령어들의 실행은 제1 이미지 센서가 제1 노출 파라미터들에 따라 입사 광의 제1 부분(104)의 제1 이미지를 캡처하도록 하는 동작과 같은 다양한 동작들을 실행하도록 수행될 수 있다. 또한, 동작들은 제2 이미지 센서가 제2 노출 파라미터들에 따라 입사 광의 제2 부분(106)의 제2 이미지를 캡처하도록 하는 동작을 포함할 수 있다.
각각의 노출 파라미터들은 광학 시스템(100)이 제1 이미지 및 제2 이미지를 캡처하기 위해 사용하는 다양한 세팅을 포함할 수 있다. 예를 들어, 각각의 노출 파라미터들은 이미지 센서 감도 설정(예를 들어, ISO), 조리개 설정(예를 들어, f-넘버), 및 이미지 캡처 시간(예를 들어, 셔터 속도)을 포함할 수 있다. 다른 타입들의 노출 파라미터들이 가능하다. 예시적인 실시예에서, 제1 노출 파라미터들은 비교적 짧은 캡처 시간(예를 들어, 1 밀리초)을 포함할 수 있고, 제2 노출 파라미터들은 비교적 긴 캡처 시간(예를 들어, 100 밀리초)을 포함할 수 있다. 즉, 일부 실시예들에서, 제1 이미지를 캡처하는 데 사용된 제1 노출 시간은 제2 이미지를 캡처하는 데 사용된 제2 노출 시간보다 적어도 한 자릿수만큼 더 짧을 수 있다.
확장된 동적 범위 이미지는 제1 이미지 및 제2 이미지에 기초하여 형성될 수 있다. 즉, 제1 이미지 및 제2 이미지는 구성 이미지들(constituent images)에 대해 사실상 더 큰 동적 범위를 갖는 합성 이미지를 형성하도록 결합되거나 병합될 수 있다. 이와 관련하여, 이미지들의 결합 및 병합은 높은 동적 범위(HDR) 이미지 처리를 통해 수행될 수 있다. 예를 들어, 제1 이미지의 노출 부족 영역들은 제2 이미지의 대응 영역들로부터의 "적절하게" 노출된 정보로 대체되거나 증강될 수 있다. 추가적으로 또는 대안적으로, 제2 이미지의 노출 과다 영역들은 제1 이미지의 대응 영역들로부터의 "적절하게" 노출된 정보로 대체되거나 증강될 수 있다. 확장된 동적 범위 이미지를 형성하기 위해 제1 및 제2 이미지를 결합하는 다른 방식들이 가능하다.
확장된 동적 범위 이미지들은 주어진 장면 내의 특정 객체들 또는 피처들에 관한 더 많은 정보를 제공할 수 있다. 예를 들어, 자율 주행 차량 맥락에서, 확장된 동적 범위 이미지들은 래스터 디스플레이[예를 들어, 음극선관 또는 비월 주사 비디오 모니터(interlaced video monitor)] 또는 플래싱 디스플레이[예를 들어, LED 배너 마키(LED banner marquee) 또는 LED 교통 신호]와 같은 어둑하거나 시간에 따라 변하는 광원에 관한 더 완전한 정보를 제공할 수 있다. 다른 타입의 시간에 따라 변하는 광원들이 본 명세서에서 고려된다.
일부 실시예들에서, 하나 이상의 빔 스플리터(120)는 수집된 광(103)을 2개보다 많은 부분으로 분리하도록 구성될 수 있다. 즉, 예시적인 실시예에서, 2개의 광학적으로 결합된 빔 스플리터(120)는 수집된 광(103)을 제1 부분, 제2 부분 및 제3 부분의 광으로 분리하도록 구성될 수 있다. 앞의 예들과 마찬가지로, 광의 제1 부분은 광의 제2 부분보다 적어도 한 자릿수만큼 더 높은 광자 플럭스를 가질 수 있고, 광의 제2 부분은 결국 광의 제3 부분보다 적어도 한 자릿수만큼 더 높은 광자 플럭스를 가질 수 있다. 광의 각각의 부분들 사이의 광자 플럭스의 다른 상대적 레벨들이 가능하고 예상된다.
이러한 시나리오에서, 이미지 센서들(140)은 제3 이미지를 캡처하도록 구성된 제3 이미지 센서를 포함할 수 있다. 제3 이미지는 제3 노출 파라미터들에 따라 캡처된 입사 광의 제3 부분을 포함할 수 있다. 예시적인 실시예에서, 제3 노출 파라미터들은 제2 노출 파라미터들보다 긴 캡처 시간을 포함할 수 있다. 예를 들어, 제3 이미지에 대한 캡처 시간은 1초일 수 있다. 다른 캡처 시간들 및 다른 노출 파라미터들이 가능하다. 제1 이미지, 제2 이미지, 및 제3 이미지에 기초하여, 브래킷된 확장된 동적 범위 이미지(bracketed extended dynamic range image)가 제공될 수 있다. 브래킷된 확장된 동적 범위 이미지는 노출 파라미터들의 주어진 세트로 주어진 장면을 캡처하는 단 하나의 이미지 센서로 가능한 것보다 큰 동적 범위에 걸쳐 이미지 정보를 제공할 수 있다.
임의로, 다양한 이미지 센서들(140)은 (그들이 수신하는 입사 광의 부분을 제외하고는) 동일할 수 있다. 대안적으로, 이미지 센서들(140)은 각각 다른 이미지 센서들과 상이한 속성들을 가질 수 있다. 예를 들어, 복수의 이미지 센서(140) 중의 주어진 이미지 센서는 다른 이미지 센서들과는 상이한 스펙트럼 응답, 상이한 공간 해상도, 또는 상이한 판독 속도를 가질 수 있다. 다양한 이미지 센서들(140) 간에 다른 타입들의 구별이 가능하다.
도 2a 내지 도 2c는 본 개시내용에서 예상되는 광학 시스템의 일부 비제한적인 예들을 도시한다. 도 2a는 예시적인 실시예에 따른 광학 시스템(200)을 도시한다. 광학 시스템(200)은 도 1과 관련하여 설명된 광학 시스템(100)의 대응 요소들과 유사하거나 동일한 요소들을 포함할 수 있다. 광학 시스템(200)은 렌즈 본체(204) 및 하나 이상의 렌즈(206a-c)를 포함할 수 있는 렌즈 요소(210)를 포함한다. 실시예에서, 렌즈 요소(210)는 광학 시스템(200)의 다른 요소들에 제거가능하게 결합될 수 있는 교환가능한 렌즈(예를 들어, SLR 렌즈) 또는 다른 타입의 렌즈를 포함할 수 있다. 광학 시스템(200)은 또한 빔 큐브 또는 본 명세서에 설명된 다른 타입의 광학 빔 스플리터일 수 있는 빔 스플리터(230)를 포함한다. 실시예에서, 빔 스플리터(230)는 입사 광(202)을 제1 부분(209a) 및 제2 부분(209b)으로 분리하도록 구성된 빔 분할 표면(232)을 포함할 수 있다. 예시적인 실시예에서, 제1 부분(209a)은 제2 부분(209b)보다 훨씬 더 큰 광자 플럭스를 포함할 수 있다. 예를 들어, 제1 부분(209a)은 제2 부분(209b)의 광자 플럭스보다 적어도 한 자릿수만큼 더 큰 광자 플럭스를 가질 수 있다. 달리 말하면, 제2 부분(209b)은 감쇠된 렌즈 요소(210)의 시야로부터의 광을 포함할 수 있다.
광학 시스템(200)은 광의 제1 부분(209a)을 수신하도록 구성된 제1 이미지 센서(220a), 및 광의 제2 부분(209b)을 수신하도록 구성된 제2 이미지 센서(220b)를 포함한다. 각각의 이미지 센서들(220a 및 220b)은 각각의 노출 파라미터들에 따라 광의 각각의 부분을 캡처하도록 구성된 유사하거나 동일한 이미지 센서일 수 있다. 예시적인 실시예에서, 제1 이미지는 감도 및/또는 이득 설정 또는 캡처 시간(예를 들어, 노출 시간 또는 셔터 시간)을 포함할 수 있는 제1 노출 파라미터들에 따라 제1 이미지 센서(220a)에 의해 캡처될 수 있다. 예를 들어, 제1 이미지에 대한 캡처 시간은 1 밀리초일 수 있다.
마찬가지로, 제2 이미지는 제2 노출 파라미터들에 따라 제2 이미지 센서(220b)에 의해 캡처될 수 있다. 이러한 시나리오에서, 광의 제2 부분(209b)의 광자 플럭스가 광의 제1 부분(209a)의 광자 플럭스보다 대략 한 자릿수만큼 더 작은 경우, 제2 이미지에 대한 캡처 시간은 10 밀리초일 수 있다. 다른 캡처 시간들이 가능하다. 또한, 각각의 캡처 시간들 및 다른 노출 파라미터들은 장면의 선행 이미지들 및/또는 측광기 측정으로부터의 정보에 기초하여 결정될 수 있다.
도 2b는 예시적인 실시예에 따른 광학 시스템(240)을 도시한다. 광학 시스템(240)은 도 1 및 도 2a와 관련하여 도시되고 설명된 광학 시스템들(100 및 200)의 대응 요소들과 유사하거나 동일한 요소들을 포함할 수 있다. 광학 시스템(240)은 렌즈 요소(210) 및 빔 스플리터(230)를 포함한다. 또한, 광학 시스템(240)은 빔 분할 표면(244)을 갖는 추가의 빔 스플리터(242)를 포함할 수 있다. 그러한 시나리오에서, 추가의 빔 스플리터(242)는 입사 광(209b)을 광의 제2 부분(209d)과 광의 추가의 제3 부분(209c)으로 분리시키도록 구성될 수 있다. 광의 제3 부분(209c)은 광의 제2 부분(209d)보다 적어도 한 자릿수만큼 더 작은 광자 플럭스를 가질 수 있다. 또한, 광학 시스템(240)은 제2 이미지 센서(220d) 및 제3 이미지 센서(220c)를 포함할 수 있다. 제2 이미지 센서(220d)는 광의 제2 부분(209d)에 기초하여 제2 이미지를 캡처하도록 구성될 수 있다. 제3 이미지 센서(220c)는 광의 제3 부분(209c)에 기초하여 제3 이미지를 캡처하도록 구성될 수 있다. 제3 이미지는 제3 노출 파라미터들에 따라 캡처될 수 있다. 예를 들어, 제3 노출 파라미터들은 100 밀리초의 캡처 시간을 포함할 수 있다. 그러나, 다른 캡처 시간들이 가능하다.
도 2c는 예시적인 실시예에 따른 광학 시스템(250)을 도시한다. 광학 시스템(250)은 도 1, 도 2a 및 도 2b와 관련하여 도시되고 설명된 광학 시스템들(100, 200 및 240)의 대응 요소들과 유사하거나 동일한 요소들을 포함할 수 있다. 또한, 광학 시스템(250)은 하나 이상의 추가의 광학 요소(252a 및 252b)를 포함할 수 있다. 추가의 광학 요소들(252a 및 252b)은 빔 스플리터(230)와 각각의 이미지 센서들(220a 및 220b) 사이에 배열될 수 있다. 예시적인 실시예에서, 광학 요소들(252a 및 252b)은 광학 감쇠기, 공간 필터, 또는 렌즈를 포함할 수 있다. 광학 요소들(252a 및 252b)은 예를 들어 (예를 들어, 컨버전 렌즈를 통한) 상이한 크기의 이미지 센서들 또는 상이한 시야로의 변환을 제공할 수 있다. 일부 예시적인 실시예들에서, 광학 요소들(252a 및 252b)은 광학 경로로부터 제어가능하게 삽입 및 제거될 수 있다. 그러한 것으로서, 다양한 광학 요소들(252a 및 252b)은 예를 들어 이미징 조건들(예를 들어, 주위 조명, 평균 또는 샘플링된 광자 플럭스 등)에 기초하여 광학 경로에 적용될 수 있다.
도 3a는 예시적인 실시예에 따른 신호등(300) 및 동작 타이밍도(320)를 도시한다. 신호등(300)은 하우징(302), 및 적색 광(304), 황색 광(306) 및 녹색 광(308)을 포함할 수 있다. 다른 타입들의 교통 신호들 또는 간판이 본 명세서에서 고려됨을 이해해야 한다.
적색 광(304)은 개별 LED 전구들 또는 LED 전구들의 세트들에 대응할 수 있는 복수의 적색 광 세그먼트(314a-c)를 포함할 수 있다. 마찬가지로, 황색 광(306)은 복수의 황색 광 세그먼트(316a-c)를 포함할 수 있고 녹색 광(308)은 복수의 녹색 광 세그먼트(318a-c)를 포함할 수 있다. 간결함을 위해, 설명된 다중 세그먼트 광은 명확성을 위해 단순화된 것으로 이해된다. 종래의 교통 표시등들은 3개보다 많은 세그먼트를 가질 수 있으며, 세그먼트들은 수평 스트립으로 배열될 필요가 없다. 예를 들어, 일부 등(light)들은 어레이 내의 세로 스트립들 또는 픽셀들로서 배열된 복수의 세그먼트를 포함할 수 있다.
동작 타이밍도(320)는 신호등(302)의 순차적 동작의 단순한 예를 도시한다. 즉, 신호등(302)은 제1 시간 슬롯(322a) 동안 "a"로 끝나는 광 세그먼트들[예를 들어, 적색 광 세그먼트(314a), 황색 광 세그먼트(316a), 또는 녹색 광 세그먼트(318a)]을 조명할 수 있다. 또한, 신호등(302)은 제2 시간 슬롯(322b) 동안 "b"로 끝나는 광 세그먼트들[예를 들어, 적색 광 세그먼트(314b), 황색 광 세그먼트(316b), 또는 녹색 광 세그먼트(318b)]을 조명할 수 있다. 또한, 신호등(302)은 제3 시간 슬롯(322c) 동안 "c"로 끝나는 광 세그먼트들[예를 들어, 적색 광 세그먼트(314c), 황색 광 세그먼트(316c), 또는 녹색 광 세그먼트(318c)]을 조명할 수 있다.
제1, 제2 및 제3 시간 슬롯(322a-c)은 반복될 수 있는 시간 주기(324)를 구성할 수 있다. 또한, 녹색, 황색 및 적색 광들은 본 명세서에서 고려되는 것보다 긴 시간 주기에 따라 순환할 수 있다. 즉, "적색" 광 주기 동안, 적색 광 세그먼트들(314a-c)은 동작 타이밍도(320)에 따라 순차적으로 온 및 오프를 순환할 수 있다. 즉, 주기(324) 동안의 임의의 하나의 시간에서 단 하나의 적색 광 세그먼트(314a-c)가 조명될 것이다. 예시적인 실시예에서, 예시를 목적으로, 각각의 시간 슬롯들(322a-c)은 2 밀리초일 수 있지만, 다른 시간 슬롯 주기들이 가능하다. 다른 타입들의 순차적 및 비연속적 조명 동작 모드들이 본 명세서에서 고려된다.
예시적인 실시예에서, 제1 이미지 센서[예를 들어, 이미지 센서(220a)]는 전체 입사 광 플럭스의 약 91%의 광자 플럭스를 갖는 광의 제1 부분을 수신할 수 있다. 이러한 시나리오에서, 제1 이미지 센서는 비교적 짧은 캡처 시간(334)(예를 들어, 1 밀리초)에 걸쳐 제1 이미지를 캡처하도록 제어될 수 있다. 제1 이미지 센서는 판독/리셋 주기(336) 동안 판독 및 리셋 기능을 더 수행할 수 있다. 그러나, 짧은 캡처 시간(예를 들어, 1 밀리초)으로 인해, 제1 이미지는 3개의 광 세그먼트 중 대략 (최대) 2개에 관한 정보만을 포함할 것이다.
제2 이미지 센서[예를 들어, 이미지 센서(220b)]는 전체 입사 광 플럭스의 약 9%의 광자 플럭스를 갖는 광의 제2 부분을 수신할 수 있다. 따라서, 제2 이미지 센서는 비교적 긴 캡처 시간(344)(예를 들어, 6 밀리초)에 걸쳐 제2 이미지를 캡처하도록 제어될 수 있으며, 이는 어느 광 세그먼트들이 시간 슬롯들(322a-c) 각각에서 조명되는지에 관한 정보를 제공할 수 있다. 일부 실시예들에서, 제2 이미지 센서는 제1 이미지 센서와 비교하여 비교적 짧은 판독/리셋 주기(346)를 가질 수 있다.
본 명세서에 설명된 동작 타이밍도(320)는 단지 설명을 위한 것이며, 광범위한 다른 가능한 조명 순서들이 가능하다. 본 발명의 광학 시스템 및 방법은 그러한 순차적 또는 비-영구적인 조명 시스템을 이용하는 정지 신호등들에 대해 더 양호한 이미징 정보를 제공할 수 있다. 시간적으로 동적인 광원들을 수반하는 다른 이미지 캡처 응용들이 고려된다.
도 3b는 예시적인 실시예에 따른 후미등(350)을 도시한다. 후미등(350)은 자율 주행 차량 또는 표준 차량의 일부일 수 있다. 후미등(350)은 복수의 광 세그먼트(352-364)를 포함할 수 있다. 예시적인 실시예에서, 복수의 광 세그먼트(352-364)는 그룹화된 순차 방식으로 조명할 수 있다. 즉, 정상 동작 동안, 후미등(350)은 복수의 순차적인 시간 슬롯 동안 부분적으로 조명할 수 있다. 예로서, 제1 시간 슬롯 동안 제1 그룹의 3개의 광 세그먼트(352, 358, 및 364)가 조명할 수 있고, 제2 시간 슬롯 동안 제2 그룹의 2개의 광 세그먼트(354 및 360)가 그에 후속하고, 제3 시간 슬롯 동안 제3 그룹의 2개의 광 세그먼트(356 및 362)가 그에 후속한다. 일부 실시예들에서, 시나리오는 (예컨대, 방향 표시등과 같은) 후미등(350)을 켜고 끄는 것을 포함할 수 있다. 다른 타입들의 발광 변화들(예를 들어, 시간적 및 공간적)이 가능하다.
이러한 후미등(350)을 이미징할 때, 광학 시스템들(100, 200, 240 및 250)과 같은 광학 시스템은 제1, 제2 및 제3 시간 슬롯의 합산보다 큰 캡처 시간을 갖는 노출 조건으로 적어도 하나의 이미지를 캡처하도록 구성될 수 있다. 그러한 시나리오에서, 합성 확장된 동적 범위 이미지는 후미등(350)의 가능한 조명에 관한 더 완전한 정보를 포함한다.
Ⅲ. 예시적인 방법들
도 4는 예시적인 실시예에 따른 방법(400)을 도시한다. 방법(400)은 다양한 블록들 또는 단계들을 포함할 수 있다. 블록들 또는 단계들은 개별적으로 또는 조합하여 수행될 수 있다. 블록들 또는 단계들은 임의의 순서로 및/또는 직렬로 또는 병렬로 수행될 수 있다. 또한, 블록들 또는 단계들은 방법(400)으로부터 생략되거나 그에 추가될 수 있다.
방법(400)의 일부 또는 모든 블록은 도 1, 도 2a, 도 2b 및 도 2c를 참조하여 도시되고 설명된 광학 시스템들(100, 200, 240 또는 250)의 요소들을 수반할 수 있다. 또한, 방법(400)의 일부 블록들은 도 4a 및 도 4b를 참조하여 도시되고 설명된 바와 같이, 하나 이상의 이미지 센서가 이미지를 캡처하도록 하는 단계를 수반할 수 있다. 방법(400)의 일부 또는 모든 블록은 제어기(150) 및/또는 프로세서(152) 및 메모리(154)에 의해 수행될 수 있다.
블록(402)은 광학 시스템의 적어도 하나의 렌즈 요소를 통해 입사 광을 수신하는 것을 포함한다. 예시적인 실시예에서, 방법은 도 1과 관련하여 도시되고 설명된 렌즈 요소들(110)을 통해 입사 광(102)을 수신하는 단계를 포함할 수 있다. 입사 광은 래스터 디스플레이 또는 플래싱 디스플레이로부터 방출된 광을 포함할 수 있다. 예시적인 실시예에서, 래스터 디스플레이 또는 플래싱 디스플레이는 교통 신호, 차량등(vehicle light) 또는 표시등을 포함할 수 있다.
블록(404)은 적어도 하나의 빔 스플리터에 의해, 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분과 제2 광자 플럭스를 갖는 제2 부분으로 분리하는 것을 포함하며, 여기서 제1 광자 플럭스는 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 크다. 적어도 하나의 빔 스플리터는 반사 방지 코팅을 갖는, 부분적으로 은 도금된 거울 또는 유리를 포함할 수 있다. 예시적인 실시예에서, 적어도 하나의 빔 스플리터는 이색성 광학 요소 또는 주파수 선택 표면을 포함할 수 있다.
예시적인 실시예에서, 적어도 하나의 광학 요소는 적어도 하나의 빔 스플리터와 제1 이미지 센서 또는 제2 이미지 센서 중 적어도 하나 사이의 광학 경로를 따라 배열될 수 있다. 적어도 하나의 광학 요소는 렌즈, 광학 감쇠기, 공간 필터, 또는 스펙트럼 필터를 포함할 수 있다.
블록(406)은 제1 이미지 센서가 제1 노출 파라미터들에 따라 입사 광의 제1 부분의 제1 이미지를 캡처하게 하는 것을 포함한다.
블록(408)은 제2 이미지 센서가 제2 노출 파라미터들에 따라 입사 광의 제2 부분의 제2 이미지를 캡처하게 하는 것을 포함한다. 예시적인 실시예에서, 제1 및 제2 이미지 센서는 다중 소자 광 검출기 어레이를 포함할 수 있다.
예시적인 실시예에서, 제1 노출 파라미터들은 제1 노출 시간을 포함하고, 제2 노출 파라미터들은 제2 노출 시간을 포함한다. 제1 노출 시간은 제2 노출 시간보다 적어도 한 자릿수만큼 더 짧다.
제1 및 제2 이미지는 더 넓은 동적 범위 이미지를 제공하도록 결합 및/또는 병합될 수 있다. 예를 들어, 방법은 임의로, 제1 이미지 및 제2 이미지의 높은 동적 범위(HDR) 이미지 처리에 기초하여 확장된 동적 범위 이미지를 결정하는 단계를 포함할 수 있다.
예시적인 실시예에서, 광학 시스템은 제1 빔 스플리터 및 제2 빔 스플리터를 포함할 수 있다. 제1 빔 스플리터 및 제2 빔 스플리터는 입사 광을 제3 광자 플럭스를 갖는 제3 부분으로 분리하도록 더 구성될 수 있다. 이러한 시나리오에서, 제2 광자 플럭스는 제3 광자 플럭스보다 적어도 한 자릿수만큼 더 클 수 있다.
이러한 시나리오에서, 방법은 또한 제3 이미지 센서가 제3 노출 파라미터들에 따라 입사 광의 제3 부분의 제3 이미지를 캡처하게 하는 단계를 포함할 수 있다. 그러한 것으로서, 본 방법은 또한 제1 이미지, 제2 이미지, 및 제3 이미지에 기초하여 브래킷된 확장된 동적 범위 이미지를 결정하는 단계를 포함할 수 있다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안 된다. 다른 실시예들은 주어진 도면에 도시된 각각의 요소를 다소 포함할 수 있음을 이해해야 한다. 또한, 도시된 요소들 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 도시되지 않은 요소들을 포함할 수 있다.
정보의 처리를 표현하는 단계 또는 블록은 본 명세서에 설명된 방법 또는 기술의 특정한 논리적 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 처리를 표현하는 단계 또는 블록은 (관련된 데이터를 포함하는) 프로그램 코드의 모듈, 세그먼트 또는 부분에 대응할 수 있다. 프로그램 코드는 방법 또는 기술에서 특정한 논리적 기능들 또는 동작들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독가능한 매체에 저장될 수 있다.
또한, 컴퓨터 판독가능한 매체는 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같이 단기간 동안 데이터를 저장하는 컴퓨터 판독가능한 매체와 같은 비일시적 컴퓨터 판독가능한 매체를 또한 포함할 수 있다. 또한, 컴퓨터 판독가능한 매체는 더 긴 기간들 동안 프로그램 코드 및/또는 데이터를 저장하는 비-일시적 컴퓨터 판독가능한 매체를 포함할 수 있다. 따라서, 컴퓨터 판독가능한 매체는 예를 들어 판독 전용 메모리(ROM), 광학 또는 자기 디스크들, 컴팩트 디스크 판독 전용 메모리(CD-ROM)와 같은 2차 또는 영구 장기 저장소를 포함할 수 있다. 컴퓨터 판독가능한 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템들일 수 있다. 컴퓨터 판독가능한 매체는 예를 들어 컴퓨터 판독가능한 저장 매체 또는 실체있는 저장 디바이스로 고려될 수 있다.
다양한 예들 및 실시예들이 개시되었지만, 다른 예들 및 실시예들은 본 기술분야의 통상의 기술자들에게 명백할 것이다. 다양한 개시된 예들 및 실시예들은 설명의 목적을 위한 것이고 제한적인 것으로 의도된 것이 아니며, 진정한 범위는 이하의 청구항들에 의해 표시된다.

Claims (20)

  1. 광학 시스템으로서,
    입사 광을 수신하도록 구성된 적어도 하나의 렌즈 요소;
    상기 적어도 하나의 렌즈 요소에 광학적으로 결합된 적어도 하나의 빔 스플리터 - 상기 적어도 하나의 빔 스플리터는 상기 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분 및 제2 광자 플럭스를 갖는 제2 부분으로 분리하도록 구성되며, 상기 제1 광자 플럭스는 상기 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 큼 -;
    상기 입사 광의 상기 제1 부분을 수신하도록 구성된 제1 이미지 센서;
    상기 입사 광의 상기 제2 부분을 수신하도록 구성된 제2 이미지 센서; 및
    적어도 하나의 프로세서 및 메모리를 포함하는 제어기
    를 포함하고, 상기 제어기는 동작들을 수행하기 위해 상기 메모리 내에 저장된 명령어들을 실행하도록 구성되고, 상기 동작들은,
    상기 제1 이미지 센서가 제1 노출 파라미터들에 따라 상기 입사 광의 상기 제1 부분의 제1 이미지를 캡처하게 하는 동작; 및
    상기 제2 이미지 센서가 제2 노출 파라미터들에 따라 상기 입사 광의 상기 제2 부분의 제2 이미지를 캡처하게 하는 동작
    을 포함하는, 광학 시스템.
  2. 제1항에 있어서, 상기 동작들은 상기 제1 이미지 및 상기 제2 이미지에 기초하여, 확장된 동적 범위 이미지를 결정하는 동작을 더 포함하는, 광학 시스템.
  3. 제1항에 있어서, 상기 적어도 하나의 빔 스플리터는 반사 방지 코팅을 갖는, 부분적으로 은 도금된 거울 또는 유리를 포함하는, 광학 시스템.
  4. 제1항에 있어서, 상기 적어도 하나의 빔 스플리터는 이색성 광학 요소 또는 주파수 선택 표면을 포함하는, 광학 시스템.
  5. 제1항에 있어서, 상기 입사 광은 시간에 따라 변하는 광자 플럭스 소스(temporally-varying photon flux source)로부터 방출된 광을 포함하는, 광학 시스템.
  6. 제5항에 있어서, 래스터 디스플레이(raster display) 또는 플래싱 디스플레이(flashing display)는 교통 신호 또는 차량 표시등(automotive indicator)을 포함하는, 광학 시스템.
  7. 제1항에 있어서, 적어도 하나의 광학 요소를 더 포함하고, 상기 적어도 하나의 광학 요소는 상기 적어도 하나의 빔 스플리터와 상기 제1 이미지 센서 또는 상기 제2 이미지 센서 중 적어도 하나 사이의 광학 경로를 따라 배열되고, 상기 적어도 하나의 광학 소자는 광학 감쇠기, 공간 필터, 또는 렌즈 중 적어도 하나를 포함하는, 광학 시스템.
  8. 제1항에 있어서, 상기 제1 노출 파라미터들은 제1 노출 시간을 포함하고, 상기 제2 노출 파라미터들은 제2 노출 시간을 포함하며, 상기 제1 노출 시간은 상기 제2 노출 시간보다 적어도 한 자릿수만큼 더 짧은, 광학 시스템.
  9. 제1항에 있어서, 상기 적어도 하나의 빔 스플리터는 제1 빔 스플리터 및 제2 빔 스플리터를 포함하고, 상기 적어도 하나의 빔 스플리터는 상기 입사 광을 제3 광자 플럭스를 갖는 제3 부분으로 분리하도록 추가로 구성되고, 상기 제2 광자 플럭스는 상기 제3 광자 플럭스보다 적어도 한 자릿수만큼 더 큰, 광학 시스템.
  10. 제9항에 있어서, 제3 이미지 센서를 더 포함하고, 상기 동작들은,
    상기 제3 이미지 센서가 제3 노출 파라미터들에 따라 상기 입사 광의 상기 제3 부분의 제3 이미지를 캡처하게 하는 동작; 및
    상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지에 기초하여 브래킷된 확장된 동적 범위 이미지(bracketed extended dynamic range image)를 결정하는 동작
    을 더 포함하는, 광학 시스템.
  11. 제10항에 있어서, 상기 제1 이미지 센서, 상기 제2 이미지 센서, 또는 상기 제3 이미지 센서 중 적어도 하나는 다른 이미지 센서들에 대해 상이한 스펙트럼 응답, 상이한 공간 해상도, 또는 상이한 판독 속도(readout rate) 중 적어도 하나를 갖는, 광학 시스템.
  12. 방법으로서,
    적어도 하나의 렌즈 요소를 통해 입사 광을 수신하는 단계;
    적어도 하나의 빔 스플리터에 의해, 상기 입사 광을 적어도, 제1 광자 플럭스를 갖는 제1 부분 및 제2 광자 플럭스를 갖는 제2 부분으로 분리하는 단계 - 상기 제1 광자 플럭스는 상기 제2 광자 플럭스보다 적어도 한 자릿수만큼 더 큼 -;
    제1 이미지 센서가 제1 노출 파라미터들에 따라 상기 입사 광의 상기 제1 부분의 제1 이미지를 캡처하게 하는 단계; 및
    제2 이미지 센서가 제2 노출 파라미터들에 따라 상기 입사 광의 상기 제2 부분의 제2 이미지를 캡처하게 하는 단계
    를 포함하는 방법.
  13. 제12항에 있어서, 상기 제1 이미지 및 상기 제2 이미지에 기초하여, 확장된 동적 범위 이미지를 결정하는 단계를 더 포함하는 방법.
  14. 제12항에 있어서, 상기 적어도 하나의 빔 스플리터는 반사 방지 코팅을 갖는, 부분적으로 은 도금된 거울 또는 유리를 포함하는, 방법.
  15. 제12항에 있어서, 상기 적어도 하나의 빔 스플리터는 이색성 광학 요소 또는 주파수 선택 표면을 포함하는, 방법.
  16. 제12항에 있어서, 상기 입사 광은 래스터 디스플레이 또는 플래싱 디스플레이로부터 방출된 광을 포함하고, 상기 래스터 디스플레이 또는 상기 플래싱 디스플레이는 교통 신호를 포함하는, 방법.
  17. 제12항에 있어서, 상기 적어도 하나의 광학 요소는 상기 적어도 하나의 빔 스플리터와 상기 제1 이미지 센서 또는 상기 제2 이미지 센서 중 적어도 하나 사이의 광학 경로를 따라 배열되는, 방법.
  18. 제12항에 있어서, 상기 제1 노출 파라미터들은 제1 노출 시간을 포함하고, 상기 제2 노출 파라미터들은 제2 노출 시간을 포함하며, 상기 제1 노출 시간은 상기 제2 노출 시간보다 적어도 한 자릿수만큼 더 짧은, 방법.
  19. 제12항에 있어서, 상기 적어도 하나의 빔 스플리터는 제1 빔 스플리터 및 제2 빔 스플리터를 포함하고, 상기 입사 광을 분리하는 단계는 상기 입사 광을 제3 광자 플럭스를 갖는 제3 부분으로 분리하는 단계를 더 포함하고, 상기 제2 광자 플럭스는 상기 제3 광자 플럭스보다 적어도 한 자릿수만큼 더 큰, 방법.
  20. 제19항에 있어서,
    상기 제3 이미지 센서가 제3 노출 파라미터들에 따라 상기 입사 광의 상기 제3 부분의 제3 이미지를 캡처하게 하는 단계; 및
    상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지에 기초하여 브래킷된 확장된 동적 범위 이미지를 결정하는 단계
    를 더 포함하는, 방법.
KR1020187038013A 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템 KR102072600B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207002593A KR102301044B1 (ko) 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/227,113 US9979906B2 (en) 2016-08-03 2016-08-03 Beam split extended dynamic range image capture system
US15/227,113 2016-08-03
PCT/US2017/043934 WO2018026599A1 (en) 2016-08-03 2017-07-26 Beam split extended dynamic range image capture system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002593A Division KR102301044B1 (ko) 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템

Publications (2)

Publication Number Publication Date
KR20190004002A true KR20190004002A (ko) 2019-01-10
KR102072600B1 KR102072600B1 (ko) 2020-02-03

Family

ID=61069754

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207002593A KR102301044B1 (ko) 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템
KR1020187038013A KR102072600B1 (ko) 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207002593A KR102301044B1 (ko) 2016-08-03 2017-07-26 빔 분할 확장된 동적 범위 이미지 캡처 시스템

Country Status (9)

Country Link
US (2) US9979906B2 (ko)
EP (1) EP3494434A4 (ko)
JP (2) JP6901508B2 (ko)
KR (2) KR102301044B1 (ko)
CN (2) CN109416475B (ko)
CA (1) CA3028236C (ko)
IL (1) IL263876B (ko)
SG (1) SG11201811356SA (ko)
WO (1) WO2018026599A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220087797A (ko) * 2020-12-18 2022-06-27 연세대학교 산학협력단 시야각 축소 및 백그라운드 광 잡음의 완화를 위한 무선 광통신 수신 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264196B2 (en) * 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
KR101816572B1 (ko) * 2016-12-28 2018-02-21 엘지전자 주식회사 차량용 카메라 장치 및 차량
JP6765494B1 (ja) 2019-10-31 2020-10-07 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラ
CN110868551A (zh) * 2019-11-23 2020-03-06 英特灵达信息技术(深圳)有限公司 一种时间同步和空间对齐的暗光-亮光成对视频获取系统
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection
CN111666894A (zh) * 2020-06-08 2020-09-15 深圳裹动智驾科技有限公司 交通灯和车灯的检测方法及其感测系统、以及车辆
US11656371B1 (en) * 2020-06-09 2023-05-23 El-Mul Technologies Ltd High dynamic range detector with controllable photon flux functionality
JP2022029026A (ja) * 2020-08-04 2022-02-17 キヤノン株式会社 撮像装置
US11933991B2 (en) * 2020-09-29 2024-03-19 Sony Group Corporation Optical apparatus for improving camera sensitivity and matching of identical perspectives
GB2605768A (en) * 2021-03-31 2022-10-19 Continental Automotive Gmbh An imaging device for a driver monitoring system
FR3123734A1 (fr) * 2021-06-02 2022-12-09 Université de Bourgogne Procédé de traitement de données de pixels, dispositif et programme correspondant
WO2023123110A1 (en) * 2021-12-29 2023-07-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070278386A1 (en) * 2006-06-05 2007-12-06 General Dynamics Advanced Information Systems, Inc. Measurement-diverse imaging and wavefront sensing with amplitude and phase estimation
US20090231465A1 (en) * 2008-03-11 2009-09-17 Fujifilm Corporation Image pick-up apparatus, image pick-up method and recording medium
US20090244717A1 (en) * 2008-03-28 2009-10-01 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61175136A (ja) * 1985-01-30 1986-08-06 Mitsubishi Electric Corp ブレ−キ量表示装置
US6002467A (en) * 1995-03-16 1999-12-14 Nikon Corporation Exposure apparatus and method
JPH09101450A (ja) * 1995-10-05 1997-04-15 Olympus Optical Co Ltd 撮像装置
US6529640B1 (en) * 1998-06-09 2003-03-04 Nikon Corporation Image processing apparatus
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
EP1271935A1 (de) 2001-06-29 2003-01-02 Kappa opto-electronics GmbH Vorrichtung zum Aufnehmen von digitalen Bildern mit zwei gleichzeitig angesteuerten elektronischen Bildsensoren
US20030048493A1 (en) 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US6801719B1 (en) 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
US7496293B2 (en) * 2004-01-14 2009-02-24 Elbit Systems Ltd. Versatile camera for various visibility conditions
US20050219659A1 (en) * 2004-03-31 2005-10-06 Shuxue Quan Reproduction of alternative forms of light from an object using digital imaging system
US7777199B2 (en) 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
US8140529B2 (en) * 2005-07-28 2012-03-20 International Business Machines Corporation Method and apparatus for autonomically regulating information transfer when accessing database resources
JP2007133748A (ja) * 2005-11-11 2007-05-31 Nippon Signal Co Ltd:The 歩行者用信号灯器
EP2014761B1 (en) * 2007-06-22 2016-09-28 Sony Deutschland GmbH A device for processing an analyte and a method of processing and/or detecting an analyte using said device
US8204825B2 (en) * 2007-07-16 2012-06-19 American Express Travel Related Services Company, Inc. System, method and computer program product for processing payments
US20090086074A1 (en) * 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
US20100073499A1 (en) * 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
AU2010221241A1 (en) 2009-03-04 2011-10-27 Paul A. Wagner Temporally aligned exposure bracketing for high dynamic range imaging
CN101909157B (zh) * 2009-06-05 2012-09-05 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
BRPI0924541A2 (pt) 2009-06-16 2014-02-04 Intel Corp Aplicações de câmera em um dispositivo portátil
ES2676511T3 (es) * 2009-09-04 2018-07-20 The Johns Hopkins University Formación de imágenes por moteado láser multimodal
WO2011032028A2 (en) * 2009-09-10 2011-03-17 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system
CN101888487B (zh) * 2010-06-02 2012-03-14 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
FR2968876B1 (fr) * 2010-12-14 2013-02-15 Thales Sa Systeme d'acquisition d'images presentant une dynamique elevee
US9491372B2 (en) 2011-11-23 2016-11-08 Nokia Technologies Oy Apparatus and method comprising a beam splitter
US9258468B2 (en) 2012-02-15 2016-02-09 Fluxdata, Inc. Method and apparatus for separate spectral imaging and sensing
KR20150014453A (ko) * 2012-05-18 2015-02-06 톰슨 라이센싱 네이티브 3-컬러 이미지 및 hdr 이미지
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
US9197819B2 (en) * 2013-12-06 2015-11-24 National Chung Shan Institute Of Science And Technology Exposure-suppressing imaging system
WO2015127328A2 (en) * 2014-02-21 2015-08-27 The Lightco Inc. Illumination methods and apparatus
US9912886B2 (en) * 2014-12-17 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus and driving method of image sensor
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
EP4270976A3 (en) 2016-02-12 2024-01-10 Contrast, Inc. Devices and methods for high dynamic range video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070278386A1 (en) * 2006-06-05 2007-12-06 General Dynamics Advanced Information Systems, Inc. Measurement-diverse imaging and wavefront sensing with amplitude and phase estimation
US20090231465A1 (en) * 2008-03-11 2009-09-17 Fujifilm Corporation Image pick-up apparatus, image pick-up method and recording medium
US20090244717A1 (en) * 2008-03-28 2009-10-01 Contrast Optical Design & Engineering, Inc. Whole beam image splitting system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220087797A (ko) * 2020-12-18 2022-06-27 연세대학교 산학협력단 시야각 축소 및 백그라운드 광 잡음의 완화를 위한 무선 광통신 수신 장치 및 방법

Also Published As

Publication number Publication date
KR20200013082A (ko) 2020-02-05
WO2018026599A1 (en) 2018-02-08
US9979906B2 (en) 2018-05-22
EP3494434A4 (en) 2020-04-01
US20180041721A1 (en) 2018-02-08
IL263876A (en) 2019-01-31
JP6901508B2 (ja) 2021-07-14
SG11201811356SA (en) 2019-01-30
US20180255252A1 (en) 2018-09-06
KR102301044B1 (ko) 2021-09-13
CN114422724A (zh) 2022-04-29
KR102072600B1 (ko) 2020-02-03
CN109416475B (zh) 2022-01-14
CN114422724B (zh) 2023-09-26
CN109416475A (zh) 2019-03-01
JP2019525541A (ja) 2019-09-05
US10674099B2 (en) 2020-06-02
IL263876B (en) 2022-05-01
JP7265588B2 (ja) 2023-04-26
EP3494434A1 (en) 2019-06-12
JP2021158677A (ja) 2021-10-07
CA3028236A1 (en) 2018-02-08
CA3028236C (en) 2020-11-10

Similar Documents

Publication Publication Date Title
KR102301044B1 (ko) 빔 분할 확장된 동적 범위 이미지 캡처 시스템
JP5898481B2 (ja) 撮像装置及び焦点検出方法
CN110493536B (zh) 图像采集装置和图像采集的方法
CN110493535B (zh) 图像采集装置和图像采集的方法
KR102372749B1 (ko) 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
US11201999B2 (en) Imaging device, information acquisition method, and information acquisition program
CN110493495B (zh) 图像采集装置和图像采集的方法
CN103917906A (zh) 摄像装置
JP5791765B2 (ja) 撮像装置及びその制御方法
JP6218434B2 (ja) 焦点検出センサ
US9922410B2 (en) Image processing apparatus and image processing method
US20160337577A1 (en) Image processing apparatus and image processing method
JP2015087494A (ja) 撮像装置
US10616469B2 (en) Image capturing apparatus and control method therefor
JP2016200742A (ja) 撮像装置
JP6902921B2 (ja) 撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant