KR102480618B1 - 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱 - Google Patents

낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱 Download PDF

Info

Publication number
KR102480618B1
KR102480618B1 KR1020227007439A KR20227007439A KR102480618B1 KR 102480618 B1 KR102480618 B1 KR 102480618B1 KR 1020227007439 A KR1020227007439 A KR 1020227007439A KR 20227007439 A KR20227007439 A KR 20227007439A KR 102480618 B1 KR102480618 B1 KR 102480618B1
Authority
KR
South Korea
Prior art keywords
light
image
focused light
scene
photosensitive region
Prior art date
Application number
KR1020227007439A
Other languages
English (en)
Other versions
KR20220032130A (ko
Inventor
브렌단 허말린
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20220032130A publication Critical patent/KR20220032130A/ko
Application granted granted Critical
Publication of KR102480618B1 publication Critical patent/KR102480618B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H04N5/35563—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

본 개시내용은 다중 뷰 광학 시스템들에 관한 것이다. 예시적인 광학 시스템은 장면으로부터의 입사 광을 수신하도록 구성된 적어도 하나의 1차 광학 요소 및 상기 적어도 하나의 1차 광학 요소에 광학적으로 결합된 복수의 릴레이 미러를 포함한다. 상기 광학 시스템은 상기 복수의 릴레이 미러에 광학적으로 결합된 렌즈, 및 상기 렌즈로부터 집속 광을 수신하도록 구성된 이미지 센서를 또한 포함한다. 상기 이미지 센서는 제1 감광 영역 및 제2 감광 영역을 포함한다. 상기 1차 광학 요소, 상기 복수의 릴레이 미러, 및 상기 렌즈는 상기 입사 광과 상호작용하여 제1 집속 광 부분 및 제2 집속 광 부분을 형성한다. 상기 제1 집속 광 부분은 상기 제1 감광 영역 상에 상기 장면의 제1 이미지 부분을 형성하고 상기 제2 집속 광 부분은 상기 제2 감광 영역 상에 상기 장면의 제2 이미지 부분을 형성한다.

Description

낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱{SINGLE OPTIC FOR LOW LIGHT AND HIGH LIGHT LEVEL IMAGING}
관련 출원에 대한 상호 참조
본 출원은 2017년 12월 28일자로 출원된 미국 특허 출원 제15/856,194호에 대한 우선권을 주장하고, 그것은 이로써 그 전체가 인용에 의해 포함된다.
본 명세서에서 달리 지시되지 않는 한, 이 섹션에서 설명되는 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니고, 이 섹션에 포함되어 있다고 해서 종래 기술인 것으로 인정되지 않는다.
각각이 상이한 노출 조건을 갖는 공통 장면의 복수의 이미지 프레임을 캡처함으로써 하이-다이나믹 레인지 이미징이 수행될 수 있다. 복수의 이미지 프레임은 톤-매핑 프로세스에서 조합되어, 기저의 이미지 센서로 달리 가능한 것보다 더 넓은 다이나믹 레인지에 걸쳐 공통 장면의 이미지 세부사항들을 포함하는 하이-다이나믹 레인지 이미지를 제공할 수 있다.
대안적으로, 각각이 동일하거나 유사한 시간에 공통 장면의 이미지를 캡처할 수 있는 다수의 카메라로 하이-다이나믹 레인지 이미징이 수행될 수 있다. 다수의 카메라에 의해 캡처된 이미지들은 톤-매핑 프로세스에서 조합될 수 있다.
그러나, 하이-다이나믹 레인지 이미징을 위한 이들 시스템 및 방법은 긴 노출 시간들(예를 들어, 복수의 이미지를 캡처하기 위해) 또는 복잡한 하드웨어 셋업들(예를 들어, 다수의 카메라)을 요구할 수 있다. 더욱이, 종래의 기법들은 상이한 시간들에서 다수의 이미지를 캡처하는 것을 포함할 수 있다. 그러한 경우들에서, 비동기 이미지 취득은 빠르게 변화하는 장면들을 캡처할 때 도전적인 문제들을 제기할 수 있다.
본 개시내용은 공통 광 경로 및 단일 이미지 센서를 포함할 수 있는 광학 시스템들을 갖는 다중 뷰 레인지 이미징에 관한 것이다. 이 광학 시스템은 1차 광학 요소 및 공통 장면으로부터의 입사 광을, 상기 단일 이미지 센서 상의 2개의 상이한 광학적으로 민감한 영역에 입사되도록 분할하도록 구성된 하나 이상의 반사 릴레이 표면을 포함할 수 있다. 그러한 광학 시스템은 긴 노출 시간들 또는 복잡한 하드웨어 없이 하이-다이나믹 레인지, 하이퍼-스펙트럼 감지, 또는 다른 동기 이미지 캡처 동작들을 제공할 수 있다.
제1 양태에서는, 광학 시스템이 제공된다. 상기 광학 시스템은 장면으로부터의 입사 광을 수신하도록 구성된 적어도 하나의 1차 광학 요소를 포함한다. 상기 광학 시스템은 적어도 하나의 1차 광학 요소에 광학적으로 결합된 복수의 릴레이 미러를 또한 포함한다. 상기 광학 시스템은 상기 복수의 릴레이 미러에 광학적으로 결합된 렌즈를 또한 포함한다. 상기 광학 시스템은 상기 렌즈로부터 집속 광을 수신하도록 구성된 이미지 센서를 또한 포함한다. 상기 이미지 센서는 제1 감광 영역 및 제2 감광 영역을 포함한다. 상기 적어도 하나의 1차 광학 요소, 상기 복수의 릴레이 미러, 및 상기 렌즈의 조합이 상기 입사 광과 상호작용하여 제1 집속 광 부분 및 제2 집속 광 부분을 형성한다. 상기 제1 집속 광 부분은 상기 제1 감광 영역 상에 상기 장면의 제1 이미지 부분을 형성한다. 상기 제2 집속 광 부분은 상기 제2 감광 영역 상에 상기 장면의 제2 이미지 부분을 형성한다. 상기 제1 및 제2 감광 영역들은 중첩하지 않는다.
제2 양태에서는, 광학 시스템이 제공된다. 상기 광학 시스템은 렌즈 바디를 포함하고, 이는 상기 렌즈 바디의 원위 단부에 개구를 포함한다. 상기 개구는 장면으로부터의 광을 수신하도록 구성된다. 상기 광학 시스템은 상기 렌즈 바디 내의 1차 광학 요소를 또한 포함한다. 상기 광학 시스템은 상기 1차 광학 요소에 광학적으로 결합된 복수의 릴레이 미러를 추가로 포함한다. 상기 1차 광학 요소는 상기 장면으로부터의 광을 상기 복수의 릴레이 미러를 향해 반사시키도록 구성된다. 상기 복수의 릴레이 미러는 상기 장면으로부터의 광으로부터 릴레이 광의 각각의 부분들을 형성하도록 구성된다. 상기 광학 시스템은 상기 복수의 릴레이 미러에 광학적으로 결합된 렌즈 및 제1 감광 영역 및 제2 감광 영역을 갖는 이미지 센서를 또한 추가로 포함한다. 상기 렌즈는 릴레이 광의 각각의 부분들과 상호작용하여 제1 집속 광 부분 및 제2 집속 광 부분을 형성한다. 상기 제1 집속 광 부분은 상기 제1 감광 영역 상에 상기 장면의 제1 이미지 부분을 형성하고 상기 제2 집속 광 부분은 상기 제2 감광 영역 상에 상기 장면의 제2 이미지 부분을 형성한다. 상기 제1 및 제2 감광 영역들은 중첩하지 않는다. 상기 광학 시스템은 적어도 하나의 프로세서 및 메모리를 갖는 컨트롤러를 추가로 포함한다. 상기 컨트롤러는 상기 메모리에 저장된 명령어들을 실행하여 동작들을 수행한다. 상기 동작들은 상기 제1 감광 영역에서 상기 제1 집속 광 부분을 수신하는 것 및 상기 수신된 제1 집속 광 부분에 기초하여 상기 제1 이미지 부분을 결정하는 것을 포함한다. 상기 동작들은 상기 제2 감광 영역에서 상기 제2 집속 광 부분을 수신하는 것을 또한 포함한다. 상기 동작들은 상기 수신된 제2 집속 광 부분에 기초하여 상기 제2 이미지 부분을 결정하는 것을 또한 추가로 포함한다. 상기 동작들은 상기 제1 이미지 부분 및 상기 제2 이미지 부분에 기초하여 적어도 하나의 하이-다이나믹 레인지 이미지를 결정하는 것을 추가로 포함한다.
다른 양태들, 실시예들, 및 구현들은 적절한 경우 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자들에게 명백해질 것이다.
도 1은 예시적인 실시예에 따른, 광학 시스템을 예시한다.
도 2a는 예시적인 실시예에 따른, 광학 시스템을 예시한다.
도 2b는 예시적인 실시예에 따른, 광학 시스템을 예시한다.
도 3은 예시적인 실시예에 따른, 합성 이미지를 예시한다.
예시적인 방법들, 디바이스들, 및 시스템들이 본 명세서에서 설명된다. "예" 및 "예시적인"이라는 단어들은 본 명세서에서 "예, 사례 또는 예시로서 역할하는"을 의미하기 위해 사용된다는 것을 이해해야 한다. "예" 또는 "예시적인"인 것으로서 본 명세서에서 설명되는 임의의 실시예 또는 특징은 반드시 다른 실시예들 또는 특징들보다 바람직하거나 유리한 것으로 해석되어서는 안 된다. 본 명세서에서 제시된 주제의 범위를 벗어나지 않고, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다.
따라서, 본 명세서에서 설명된 예시적인 실시예들은 제한하려는 것이 아니다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같은, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 치환, 조합, 분리, 및 설계될 수 있으며, 이들 모두는 본 명세서에서 고려된다.
또한, 컨텍스트가 달리 제안하지 않는 한, 도면들 각각에 예시된 특징들은 서로 조합하여 사용될 수 있다. 따라서, 도면들은 일반적으로 하나 이상의 전체 실시예들의 컴포넌트 양태들로서 간주되어야 하며, 모든 예시된 특징들이 각각의 실시예에 대해 필요하지는 않다는 것을 이해한다.
I. 개관
이미지 캡처 시스템의 다이나믹 레인지를 증가시키기 위해, 동일한 장면의 2개의 이미지(예를 들어, 다중 뷰)를 생성하지만 이들을 이미지 센서의 2개의 상이한 부분 상에 입사 광의 상이한 광 강도 또는 다른 별개의 특성들을 갖도록 생성하는 광학 디바이스가 제공될 수 있다. 이 광학 디바이스는, 예를 들어, 99% 반사 표면 및 1% 반사 표면을 포함하는 내부 빔 스플리터(예를 들어, 내부 전반사 빔 스플리터)일 수 있다. 이들 2개의 표면으로부터의 반사들은 동일한 이미지 센서에 입사하는 동일한 장면의 2개의 별개의 이미지를 생성할 수 있고, 하나의 이미지는 다른 이미지의 광 강도의 1%를 갖는다. 일부 실시예들에서, 이미지 센서의 상이한 영역들 간의 광의 블리딩(bleeding)을 방지하는 디바이스(예를 들어, 광 배플(light baffle))가 사용될 수 있다.
본 개시내용은 동일한 장면의 다중 뷰를 제공한다. 뷰들 각각은 비교적 낮은 다이나믹 레인지(더 높은 품질의 이미지 센서들과 비교하여)를 가질 수 있는 동일한 이미지 센서에 의해 실질적으로 동일한 시간에 캡처될 수 있다. 광학 스플리터 및/또는 다른 유형의 반사 광학 요소들을 이용함으로써, 동일한 장면의 다중 뷰가 동일한 이미지 센서 상에 투영될 수 있다.
일부 실시예들에서, 장면의 각각의 상이한 뷰가 상이한 필터(예를 들어, 중성 밀도(neutral density), 편광, 컬러 등)와 상호작용할 수 있다. 그러한 시스템들은 컬러, 편광 등 사이에 원하는 디스패리티들을 제공하기 위해 유익하게 이용될 수 있다.
그러한 이미지 캡처 시스템들의 다양한 응용들이 고려되지만, 특정 응용들은 자율 및/또는 반자율 차량들에 의해 이용되는 이미징 시스템들을 포함할 수 있다. 즉, 운전 시나리오들에서, 차량들은 하이-다이나믹 레인지 조명 조건들(밝은 햇빛 및 비교적 흐릿한 교통 신호등, 또는 어두운 야간 및 밝은 다가오는 헤드라이트들)에 직면할 수 있다. 그에 따라, 본 명세서에서 설명된 단일 옵틱, 다중 뷰 광학 시스템들이 차량에 통합될 수 있고(예를 들어, 차량의 외부 또는 내부 표면에 결합됨), 차량의 환경 내의 물체들, 위험들, 및/또는 다른 특징들의 더 양호한 그리고/또는 더 신뢰성 있는 식별을 제공하도록 동작가능할 수 있다.
II. 예시적인 광학 시스템들
도 1은 예시적인 실시예에 따른, 광학 시스템(100)을 예시한다. 광학 시스템(100)은 1차 광학 요소(110)를 포함한다. 1차 광학 요소(110)는 장면으로부터의 입사 광(101)을 수신하도록 구성된다.
예시적인 실시예에서, 광학 시스템(100)은 차량을 포함할 수 있다. 그러한 시나리오에서, 광학 시스템(100)의 적어도 일부 다른 요소들은, 반자율 또는 완전-자율 차량을 포함할 수 있는, 차량 상에 또는 내부에 위치될 수 있다. 예를 들어, 광학 시스템(100)의 일부 요소들은 차량의 루프, 사이드 미러, 전방, 사이드, 후방, 또는 임의의 다른 외부 부분에 고정되게 또는 제거가능하게 부착될 수 있다. 추가적으로 또는 대안적으로, 광학 시스템(100)의 일부 요소들은 차량의 내부 표면 또는 부분에 결합될 수 있다. 예시적인 실시예에서, 광학 시스템(100)의 일부 요소들은 차량의 내부 객실에 완전히 또는 부분적으로 부착될 수 있고 차량의 운전 방향에 대해 앞으로 향하는 시야를 갖도록 배열될 수 있다. 다른 부착 위치들 및/또는 시야 배향들이 고려된다.
광학 시스템(100)은 1차 광학 요소(110)에 광학적으로 결합되는 복수의 릴레이 미러(120)를 또한 포함한다. 광학 시스템(100)은 복수의 릴레이 미러(120)에 광학적으로 결합된 렌즈(130)를 추가로 포함한다. 또한 추가로, 광학 시스템(100)은 렌즈(130)로부터 집속 광을 수신하도록 구성된 이미지 센서(140)를 포함한다.
일부 실시예들에서, 1차 광학 요소(110)는 입사 광(101)을 원하는 방식으로(예를 들어, 복수의 릴레이 미러(120)를 향해) 반사시킬 수 있는 반사 표면(예를 들어, 미러와 같은 것)을 포함할 수 있다. 예시적인 실시예에서, 1차 광학 요소(110)는 렌즈 튜브 또는 렌즈 바디 내에 렌즈 튜브의 내벽을 따라 환상 배열로 배치될 수 있다. 그러한 시나리오에서, 1차 광학 요소(110)의 반사 표면은 입사 광(101)을 복수의 릴레이 미러(120)를 향해 반사시키도록 기울어질 수 있다. 그러나, 1차 광학 요소(110)의 다른 배열들 또는 배치들이 가능하고 고려된다. 더욱이, 본 개시내용에서의 일부 실시예들은 단일 1차 광학 요소를 포함할 수 있지만, 다른 실시예들은 복수의 1차 광학 요소를 포함할 수 있다. 1차 광학 요소(110)는 아마도 하나 이상의 반사 표면을 포함하는 것으로 본 명세서에서 설명되지만, 1차 광학 요소(110)는 입사 광을 복수의 릴레이 미러(120)를 향해 지향시키도록 구성된 다른 유형의 광학 요소일 수 있다는 것을 이해할 것이다. 그에 따라, 1차 광학 요소(110)는, 여러 가능성들 중에서도, 하나 이상의 광 파이버, 프리즘, 도파관, 렌즈를 포함할 수 있다.
일부 예들에서, 1차 광학 요소(110) 및 복수의 릴레이 미러(120)는 공통 광학 축을 중심으로 배열될 수 있다. 그러한 시나리오에서, 1차 광학 요소(110)는 복수의 릴레이 미러(120)를 향해 광을 반사시키도록 구성된 기울어진 환상 미러 표면을 포함할 수 있다.
복수의 릴레이 미러(120)는 릴레이 광의 각각의 부분들(예를 들어, 제1 릴레이 광(103) 및 제2 릴레이 광(104))을 렌즈(130)를 향해 지향시키도록 구성될 수 있는 각각의 반사 표면들을 포함할 수 있다.
일부 실시예들에서, 복수의 릴레이 미러(120) 및 1차 광학 요소(110)의 각각의 반사 표면들은 금속성 코팅 또는 HR(high-reflection) 유전체 코팅(예를 들어, 교호하는 고굴절률 및 저굴절률 재료의 주기적인 스택)으로 형성될 수 있다. 일부 시나리오들에서, 본 개시내용에서 설명된 각각의 반사 표면들 및/또는 다른 광학 요소들에 AR(anti-reflection) 코팅이 적용될 수 있다.
이미지 센서(140)는 제1 감광 영역(142) 및 제2 감광 영역(144)을 포함한다. 이미지 센서(140)의 각각의 감광 영역들은 복수의 감광 요소(예를 들어, 픽셀)를 포함할 수 있다. 그러한 시나리오에서, 복수의 픽셀 중 적어도 하나의 픽셀은: CMOS(complementary metal-oxide semiconductor) 센서, CCD(charge-coupled device) 센서, SiPM(silicon photomultiplier), SPAD(single photon avalanche detector), 또는 애벌란시 광전도체를 포함할 수 있다. 다른 유형의 감광 요소들, 또는 더 일반적으로는, 전자기 스펙트럼-민감 요소들(예를 들어, 마이크로-볼로미터들)이 본 개시내용 내용과 관련하여 가능하고 고려된다.
제1 감광 영역(142)은 제1 복수의 픽셀을 포함할 수 있고 제2 감광 영역(144)은 제2 복수의 픽셀을 포함할 수 있다. 일부 실시예들에서, 제1 복수의 픽셀과 제2 복수의 픽셀 사이에 제3 복수의 픽셀이 배열될 수 있다. 즉, 제3 복수의 픽셀은 제1 감광 영역(142)과 제2 감광 영역(144) 사이의 개재하는 영역에 있는 이미지 센서(140)의 픽셀들을 포함할 수 있다.
일부 실시예들에서, 이미지 센서(140)는 이미징될 장면과 비교하여 비교적 낮은 다이나믹 레인지 이미지 센서를 포함할 수 있다. 그러한 시나리오에서, 장면은 다수의 옥타브에 걸치는 넓은 다이나믹 레인지를 포함할 수 있고, 심지어 불연속일 수 있다. 예를 들어, 장면은 장면의 하나의 영역에서 5-1000 럭스의 범위이고 장면의 다른 영역들에서 5000-6000 럭스의 범위일 수 있다. 예로서, 장면의 밝은 부분들은 밝은 주간 하늘에 대응할 수 있다. 그러한 시나리오에서, 장면의 비교적 흐릿한 부분들은 그늘진 지면 또는 다른 어두운 물체들에 대응할 수 있다. 다른 광 레벨들이 본 명세서에서 가능하고 고려된다는 것을 이해할 것이다.
예시적인 실시예에서, 1차 광학 요소(110), 복수의 릴레이 미러(120), 및 렌즈(130)의 조합이 입사 광(101)과 상호작용하여 제1 집속 광 부분(105) 및 제2 집속 광 부분(106)을 형성한다. 제1 집속 광 부분(105)은 제1 감광 영역(142) 상에 장면의 제1 이미지 부분을 형성한다. 제2 집속 광 부분(106)은 제2 감광 영역(144) 상에 장면의 제2 이미지 부분을 형성한다. 제1 감광 영역(142) 및 제2 감광 영역(144)은 중첩하지 않는다.
일부 실시예들에서, 복수의 릴레이 미러(120)는 제1 반사 표면 및 제2 반사 표면을 포함한다. 그러한 시나리오에서, 제1 감광 영역(142)은 제1 반사 표면을 통해 제1 집속 광 부분(105)을 수신하고 제2 감광 영역(144)은 제2 반사 표면을 통해 제2 집속 광 부분(106)을 수신한다. 일부 경우들에서, 제1 반사 표면은 제2 반사 표면보다 더 높은 반사율을 가질 수 있고, 또는 그 반대도 가능하다.
일부 예들에서, 광학 시스템(100)은 제1 감광 영역(142)과 제2 감광 영역(144) 사이에 광 배플(160)을 포함할 수 있다. 광 배플(160)은, 예를 들어, 광을 흡수하거나 차단하도록 구성된 불투명 재료를 포함할 수 있다. 광 배플(160)은 제1 감광 영역(142)과 제2 감광 영역(144) 사이에 위치될 수 있다. 그러한 시나리오에서, 광 배플(160)은 각각의 감광 영역 사이에 벽 부분을 포함할 수 있다. 그러나, 광 배플(160)은 다른 형상들 및 형태들을 취할 수 있다.
다양한 실시예들에서, 제1 집속 광 부분(105)은 제1 광 강도를 갖고 제2 집속 광 부분(106)은 제2 광 강도를 갖는다. 그러한 시나리오에서, 제1 광 강도는 제2 광 강도보다 적어도 10배 더 클 수 있다. 예를 들어, 제2 광 강도는 제1 광 강도의 약 1 퍼센트일 수 있다. 다른 광 강도 차이들 - 더 작은 것 및 더 큰 것 둘 다 - 이 본 개시내용에서 가능하고 고려된다.
광학 시스템(100)이 차량에 결합되는 시나리오들에서, 이미지 센서(140)는 차량의 환경의 적어도 일부의 이미지들을 캡처하도록 동작가능할 수 있다.
광학 시스템(100)은 컨트롤러(150)를 또한 포함할 수 있다. 예시적인 실시예에서, 컨트롤러(150)는 적어도 하나의 프로세서(152) 및 메모리(154)를 포함할 수 있다. 컨트롤러(150). 컨트롤러(150)는 차량 상에 배치된 컴퓨터, 외부 컴퓨터, 또는 스마트폰, 태블릿 디바이스, 개인용 컴퓨터, 웨어러블 디바이스 등과 같은 모바일 컴퓨팅 플랫폼을 포함할 수 있다. 추가적으로 또는 대안적으로, 컨트롤러(150)는 클라우드 서버와 같은 원격 위치된 컴퓨터 시스템을 포함하거나 그에 연결될 수 있다. 예시적인 실시예에서, 컨트롤러(150)는 본 명세서에서 설명된 다양한 블록들 또는 단계들로서 동작들의 일부 또는 전부를 수행하도록 구성될 수 있다.
예로서, 적어도 하나의 프로세서(152)는 특정 동작들을 수행하기 위해 메모리(154)에 저장된 명령어들을 실행할 수 있다. 동작들은 본 명세서에서 설명된 기능들, 블록들, 또는 단계들의 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 상이한 컴퓨팅 디바이스들 또는 컨트롤러들은 본 명세서에서 설명된 다양한 기능들, 블록들, 또는 단계들을 다양한 조합으로 수행할 수 있다.
동작들은 제1 감광 영역(142)에서 제1 집속 광 부분(105)을 수신하는 것을 포함할 수 있다. 다시 말해서, 장면으로부터의 입사 광(101)의 일부는 반사 광(102)으로서 1차 광학 요소(110)에 의해 복수의 릴레이 미러(120) 중 적어도 하나의 릴레이 미러를 향해 반사될 수 있다. 적어도 하나의 릴레이 미러는 렌즈(130)를 향해 제1 릴레이 광(103)을 반사시킬 수 있다. 제1 릴레이 광(103)과 렌즈(130) 사이의 상호작용은 제1 집속 광 부분(105)을 형성할 수 있다. 제1 집속 광 부분(105)은 제1 감광 영역(142)을 향해 지향될 수 있고/있거나 그에 입사될 수 있다. 제1 감광 영역(142)에서 제1 집속 광 부분(105)을 수신하는 것은 물리적(기계적) 셔터를 작동시키는 것 및/또는 제1 감광 영역(142)에 대응하는 전자 셔터를 트리거하는 것을 포함할 수 있다.
동작들은 수신된 제1 집속 광 부분(105)에 기초하여 제1 이미지 부분을 결정하는 것을 또한 포함할 수 있다. 달리 말하면, 이미지 센서(140) 및 컨트롤러(150)는 제1 감광 영역(142)에서 수신된 광에 기초하여 제1 이미지 부분을 형성할 수 있다.
동작들은 제2 감광 영역에서 제2 집속 광 부분(106)을 수신하는 것을 추가로 포함할 수 있다. 다시 말해서, 장면으로부터의 입사 광(101)의 일부는 반사 광(102)으로서 1차 광학 요소(110)에 의해 복수의 릴레이 미러(120) 중 적어도 하나의 릴레이 미러를 향해 반사될 수 있다. 적어도 하나의 릴레이 미러는 렌즈(130)를 향해 제2 릴레이 광(104)을 반사시킬 수 있다. 제2 릴레이 광(104)과 렌즈(130) 사이의 상호작용은 제2 집속 광 부분(106)을 형성할 수 있다. 제2 집속 광 부분(106)은 제2 감광 영역(144)을 향해 지향될 수 있고/있거나 그에 입사될 수 있다. 제2 감광 영역(144)에서 제2 집속 광 부분(106)을 수신하는 것은 물리적(기계적) 셔터를 작동시키는 것 및/또는 제2 감광 영역(144)에 대응하는 전자 셔터를 트리거하는 것을 포함할 수 있다.
동작들은 수신된 제2 집속 광 부분(106)에 기초하여 제2 이미지 부분을 결정하는 것을 또한 추가로 포함할 수 있다. 달리 말하면, 이미지 센서(140) 및 컨트롤러(150)는 제2 감광 영역(144)에서 수신된 광에 기초하여 제2 이미지 부분을 형성할 수 있다.
예시적인 실시예에서, 이미지 센서(140)는 제1 이미지 부분 및 제2 이미지 부분을 실질적으로 동일한 시간에 취득하도록 구성될 수 있다. 즉, 제1 이미지 부분은 제2 이미지 부분의 기간과 동일한 기간 동안 취득될 수 있다. 대안적으로, 제1 이미지 부분은 제2 이미지 부분이 취득되는 기간과 부분적으로 중첩하는 기간 동안 취득될 수 있다. 다시 말해서, 제1 이미지 부분 및 제2 이미지 부분은 각각의 비중첩 기간들 동안에 취득될 수 있지만, 그럴 필요는 없다.
예시적인 실시예에서, 제1 이미지 부분 및 제2 이미지 부분은 실질적으로 공통 장면에 관한 정보를 포함할 수 있고 이미지 데이터 파일로서 저장될 수 있다. 이미지 데이터 파일은 RAW, JPEG, TIF, GIF(Graphical Interchange Format), MPEG, 또는 다른 유형의 이미지 파일 포맷과 같은 이미지 파일 포맷으로 배열될 수 있다.
동작들은 제1 이미지 부분 및 제2 이미지 부분에 기초하여 적어도 하나의 하이-다이나믹 레인지 이미지를 결정하는 것을 또한 포함한다.
제1 이미지 부분, 제2 이미지 부분, 및/또는 적어도 하나의 하이-다이나믹 레인지 이미지는 메모리(154)에 저장될 수 있다. 추가적으로 또는 대안적으로, 제1 이미지 부분, 제2 이미지 부분, 및/또는 적어도 하나의 하이-다이나믹 레인지 이미지는 송신되고/되거나 다른 곳에 저장될 수 있다.
일부 실시예들에서, 광학 시스템(100)은 추가적으로 또는 대안적으로 적어도 하나의 필터를 포함할 수 있다. 적어도 하나의 필터는: 중성 밀도 필터, 편광 필터, 스펙트럼 필터, 대역 통과 필터, 저역 통과 필터, 또는 고역 통과 필터 중 적어도 하나를 포함할 수 있다. 광과 상호작용하도록 구성된 다른 유형의 투과성 또는 반사성 광학 필터들 또는 광학 요소들이 본 개시내용에서 고려된다.
그러한 시나리오에서, 적어도 하나의 필터는: 제1 집속 광 부분 또는 제2 집속 광 부분 중 적어도 하나를 필터링하도록 구성될 수 있다.
더욱이, 적어도 하나의 필터는: 이미지 센서, 렌즈, 적어도 하나의 1차 광학 요소, 또는 복수의 릴레이 미러 중 적어도 하나에 광학적으로 결합될 수 있다.
도 2a 및 도 2b는 예시적인 실시예에 따른, 광학 시스템(200)을 예시한다. 먼저 도 2a를 참조하면, 광학 시스템(200)은 광학 시스템(200)의 적어도 일부 요소들을 보호 및/또는 하우징하도록 구성된 바디를 포함할 수 있다. 예를 들어, 바디의 일부가 렌즈 바디(212)를 포함할 수 있다.
렌즈 바디(212)의 일부가 개구(213)를 포함할 수 있다. 개구(213)는 렌즈 바디(212)의 원위 단부에 있을 수 있다. 개구(213)는 장면(280)으로부터의 광을 수신하도록 구성되고, 위치되고, 및/또는 성형될 수 있다. 장면(280)은 광학 시스템(200) 외부의 환경의 일부일 수 있다. 즉, 장면(280)은 광학 시스템(200)의 시야를 포함할 수 있다.
광학 시스템(200)은 렌즈 바디(212) 내의 1차 광학 요소(210)를 또한 포함할 수 있다. 일부 실시예들에서, 1차 광학 요소(210)는 반사 표면(예를 들어, 표면들(210a 및 210b))을 포함할 수 있다.
광학 시스템(200)은 렌즈 바디(212) 내의 복수의 릴레이 미러(220) 및 적어도 하나의 렌즈(230)를 추가로 포함할 수 있다. 복수의 릴레이 미러(220)는 1차 광학 요소(210) 및 적어도 하나의 렌즈(230)에 광학적으로 결합된다. 예를 들어, 1차 광학 요소(210)의 표면(210a)으로부터 반사된 입사 광은 복수의 릴레이 미러(220)의 제1 릴레이 미러 표면(220a)을 향해 지향되고 그와 상호작용할 수 있다. 마찬가지로, 1차 광학 요소(210)의 표면(210b)으로부터 반사된 입사 광은 복수의 릴레이 미러(220) 중 제2 릴레이 미러(220b)를 향해 지향될 수 있다. 도 2a 및 도 2b에는 1차 광학 요소 표면들 및 릴레이 미러들의 2개의 "쌍"만이 예시되어 있지만, 1차 광학 요소 표면들 및 릴레이 미러들의 추가적인 "쌍들"이 본 개시내용의 컨텍스트 내에서 가능하고 고려된다는 것을 이해할 것이다.
일부 실시예들에서, 표면들(220a 및 220b)의 각각의 반사 특성들은 상이할 수 있다. 예를 들어, 표면(220a)은 거의 1(예를 들어, 0.98)의 정규화된 반사율을 가질 수 있고 표면(220b)은 0.02의 정규화된 반사율을 가질 수 있다. 표면들(220a 및 220b)은 1과 0 사이의 변화하는 정규화된 반사율 값들을 가질 수 있다는 것을 이해할 것이다. 더욱이, 표면들(220a 및 220b)의 각각의 반사율 값들은 파장 또는 편광과 같은 입사 광의 특성에 기초하여 달라질 수 있다. 예를 들어, 표면(220a 또는 220b) 중 적어도 하나는 다른 파장들 또는 파대역(waveband)들의 광과 비교하여 상이한 반사율 값으로 원하는 파장 또는 파대역의 광을 반사시키도록 구성될 수 있다. 표면들(220a 및 220b)의 상이한 반사율 값들의 결과로서, 반사 광의 상이한 강도들이 이미지 센서(240)의 각각의 부분들에 제공될 수 있다.
예를 들어, 1차 광학 요소(210) 및/또는 복수의 릴레이 미러(220)는 광학 시스템(200)의 광학 축(270)에 대해 연속적인 또는 불연속적인 환상 배열로 배열될 수 있다. 예를 들어, 1차 광학 요소(210)는 광학 축 및 복수의 릴레이 미러(220)를 향해 입사 광을 반사시키도록 안쪽으로 기울어진 연속적으로 만곡하는 미러를 포함할 수 있다. 유사하게, 복수의 릴레이 미러(220)는 렌즈(230)를 향해 광을 반사시키도록 광학 축(270)으로부터 멀어지면서 기울어지는 불연속적인 표면들의 세트 또는 연속적인 표면을 포함할 수 있다.
광학 시스템(200)은 이미지 센서(240)를 포함한다. 이미지 센서(240)는 제1 감광 영역(240a) 및 제2 감광 영역(240b)을 포함할 수 있다. 예시적인 실시예에서, 제1 감광 영역(240a) 및 제2 감광 영역(240b)은 공간적으로 중첩하지 않는다.
이미지 센서(240)는: CMOS 센서, CCD 센서, SiPM(silicon photomultiplier), SPAD(single photon avalanche detector), 또는 애벌란시 광전도체 중 적어도 하나를 포함할 수 있다. 더욱이, 이미지 센서(240)는 감광 디바이스들 또는 픽셀들의 어레이를 포함할 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 이미지 센서(240)는 실질적으로 동일한 기간 동안 제1 감광 영역(240a) 및 제2 감광 영역(240b)으로부터 이미지를 캡처하도록 구성될 수 있다. 예시적인 실시예에서, 이미지 캡처 기간 동안, 제1 감광 영역(240a)은 제2 감광 영역(240b)과 비교하여 상이한 이득 설정(예를 들어, ISO 또는 감도)을 이용하여 동작될 수 있다. 제1 감광 영역(240a)과 제2 감광 영역(240b) 사이에 노출을 조정하는 다른 방식들이 본 명세서에서 고려된다.
예시적인 실시예에서, 복수의 릴레이 미러(220)는 1차 광학 요소(210)에 광학적으로 결합될 수 있다. 추가적으로, 1차 광학 요소(210)는 장면(280)으로부터의 광을 복수의 릴레이 미러(220)를 향해 반사시키도록 구성될 수 있다. 그러한 시나리오에서, 복수의 릴레이 미러(220)는 장면(280)으로부터의 광으로부터 릴레이 광의 각각의 부분들을 형성하도록 구성된다. 릴레이 광은 렌즈(230)를 향해 지향될 수 있다. 일부 실시예들에서, 렌즈(230)는 릴레이 광을 이미지 센서(240) 상에 집속시키고/시키거나 릴레이 광을 이미지 센서(240)를 향해 지향시키도록 구성될 수 있다.
일부 실시예들에서, 광학 시스템(200)은 광 배플(260)을 포함할 수 있다. 광 배플(260)은 하나 이상의 광 흡수 "벽" 또는 부분을 포함할 수 있다. 광 배플(260)은 제1 감광 영역(240a)과 제2 감광 영역(240b) 사이에 배치될 수 있다. 광 배플(260)은 이미지 센서(240)의 각각의 감광 영역들 사이에 또는 광학 시스템(200)의 부분들 사이에 미광(stray light)이 "누출"되는 것을 방지하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 광학 시스템(200)은 미광을 감소시키고, 광 필드(light field)를 수정하거나 성형하고/하거나 고스트 반사(ghost reflections)를 감소시키도록 구성된 다른 요소들을 포함할 수 있다. 그러한 다른 요소들은 추가의 배플들, 스톱들, 미러들, 렌즈, 코팅들, 광 가이드들, 광 파이버들, 또는 다른 광학 재료들을 포함할 수 있다.
일부 실시예들에서, 광학 시스템(200)은 필터(272)를 포함할 수 있다. 도 2a 및 도 2b는 렌즈 바디(212)의 원위 단부 근처에 있는 것으로 필터(272)를 예시하지만, 필터(272)에 대한 다른 위치들이 본 명세서에서 가능하고 고려된다. 예를 들어, 필터(272)는 1차 광학 요소(210)의 하나 이상의 표면 및/또는 복수의 릴레이 미러(220)의 하나 이상의 표면에 결합될 수 있다. 일부 실시예들에서, 필터(272)는 제1 감광 영역(240a)에 의해 수신된 광과 상호작용하지만, 제2 감광 영역(240b)에 의해 수신된 광과는 그렇지 않을 수 있고, 또는 그 반대도 가능하다.
도 2b는 예시적인 실시예에 따른, 광학 시스템(200)을 예시한다. 도 2b는 도 2a와 유사하지만, 광학 시스템(200) 내의 특정 광 경로들을 근사화하는 예시적인 광선들을 또한 예시한다.
개구(213)는 장면(280)으로부터의 입사 광을 수신하도록 구성될 수 있다. 입사 광은 개구(213)의 전체 영역을 통해 렌즈 바디(212)에 들어갈 수 있지만, 명료성을 위해 입사 광의 2개의 부분 - 제1 입사 광 부분(201a) 및 제2 입사 광 부분(201b) - 만이 여기에 예시되어 있다. 다른 입사 광 부분들이 광학 시스템(200)에 의해 수신될 수 있고 본 개시내용은 다른 모든 그러한 부분들을 고려한다는 것을 이해할 것이다.
예시적인 실시예에서, 제1 입사 광 부분(201a)은 1차 광학 요소(210)와 상호작용할 수 있다. 예를 들어, 제1 입사 광 부분(201a)은 표면(210a)에 의해 반사되고 반사 광(202a)으로서 복수의 릴레이 미러(220)를 향해 지향될 수 있다. 즉, 반사 광(202a)은 제1 릴레이 미러 표면(220a)과 상호작용할 수 있다.
그러한 시나리오에서, 제1 릴레이 미러 표면(220a)은 릴레이 광 부분(203a)으로서 렌즈(230)를 향해 광을 반사시킬 수 있다. 렌즈(230)는 릴레이 광 부분(203a)을 집속시켜 제1 집속 광 부분(204a)을 제공하도록 릴레이 광 부분(203a)과 상호작용할 수 있다. 제1 집속 광 부분(204a)은 이미지 센서(240)의 제1 감광 영역(240a)을 향해 지향될 수 있다.
유사하게, 제2 입사 광 부분(201b)은 1차 광학 요소(210)와 상호작용할 수 있다. 예를 들어, 제2 입사 광 부분(201b)은 표면(210b)에 의해 반사되고 반사 광(202b)으로서 복수의 릴레이 미러(220)를 향해 지향될 수 있다. 반사 광(202b)은 제2 릴레이 미러 표면(220b)과 상호작용할 수 있다.
그러한 시나리오에서, 제2 릴레이 미러 표면(220b)은 릴레이 광 부분(203b)으로서 렌즈(230)를 향해 광을 반사시킬 수 있다. 렌즈(230)는 릴레이 광 부분(203b)을 집속시켜 제2 집속 광 부분(204b)을 제공하도록 릴레이 광 부분(203b)과 상호작용할 수 있다. 제2 집속 광 부분(204b)은 이미지 센서(240)의 제2 감광 영역(240b)을 향해 지향될 수 있다.
제1 집속 광 부분(204a)은 제1 감광 영역(240a) 상에 장면(280)의 제1 이미지 부분을 형성할 수 있고 제2 집속 광 부분(204b)은 제2 감광 영역(240b) 상에 장면(280)의 제2 이미지 부분을 형성할 수 있다. 일부 실시예들에서, 제1 집속 광 부분(204a)은 제1 광 강도를 가질 수 있고 제2 집속 광 부분(204b)은 제2 광 강도를 갖는다. 그러한 시나리오에서, 제1 광 강도는 제2 광 강도보다 적어도 10배 더 클 수 있다. 대응하여, 제1 이미지 부분은 제2 이미지 부분과 비교하여 훨씬 더 밝은 장면(280)의 이미지를 나타낼 수 있다.
일부 실시예들에서, 광학 시스템(200)은 컨트롤러(도 2a 또는 도 2b에는 예시되지 않음)를 포함할 수 있다. 컨트롤러는 메모리 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 컨트롤러는 상기 메모리에 저장된 명령어들을 실행하여 동작들을 수행한다. 동작들은 제1 감광 영역(240a)에서 제1 집속 광 부분(204a)을 수신하는 것을 포함할 수 있다. 동작들은 수신된 제1 집속 광 부분(204a)에 기초하여 제1 이미지 부분을 결정하는 것을 또한 포함할 수 있다. 동작들은 제2 감광 영역(240b)에서 제2 집속 광 부분(204b)을 수신하는 것을 또한 추가로 포함할 수 있다. 동작들은 수신된 제2 집속 광 부분(204b)에 기초하여 제2 이미지 부분을 결정하는 것을 또한 포함할 수 있다.
예시적인 실시예들에서, 컨트롤러는 제1 이미지 부분 및 제2 이미지 부분에 기초하여 적어도 하나의 하이-다이나믹 레인지 이미지를 결정하도록 동작가능할 수 있다. 예를 들어, 제1 이미지 부분 및 제2 이미지 부분에 기초하여 적어도 하나의 하이-다이나믹 레인지 이미지를 결정하는 것은: 비선형 톤-매핑 알고리즘, 비선형 복사-매핑(radiance-mapping) 알고리즘, 또는 컬러 외관 모델 중 적어도 하나의 적용을 포함할 수 있다. 하이-다이나믹 레인지 이미지를 제공하도록 제1 이미지 부분과 제2 이미지 부분을 조합하는 다른 방식들이 가능하다는 것을 이해할 것이다. 예를 들어, 하이-다이나믹 레인지 이미지는 제1 또는 제2 이미지 부분들 중 어느 하나와 비교하여 더 적은 수의 부족 또는 과도 노출된 영역들을 포함할 수 있다. 하이-다이나믹 레인지 이미지는 이미지의 특정 영역들에서 또는 특정 동작 조건들 하에서 제1 이미지 부분 또는 제2 이미지 부분 중 어느 하나보다 더 상세하게 제공할 수 있다. 예를 들어, 하이-다이나믹 레인지 이미지는 매우 밝은(예를 들어, 충분한 햇빛, 햇빛을 바라보는 것, 적극적으로 조명된 장면들, 등) 또는 매우 어두운(야간) 이미징 시나리오들에서 더 높은 품질의 물체 식별 정보를 제공할 수 있다. 밝은 헤드라이트들을 갖는 야간 장면 또는 비교적 흐릿한 교통 신호등들을 갖는 밝은 주간 장면과 같은 다른 높은 다이나믹 레인지 장면들이 또한 고려된다. 즉, 제1 이미지 부분 및 제2 이미지 부분은 더 신뢰성 있는 또는 덜 모호한 물체 식별 정보를 제공하도록 그러한 방식으로 조합되거나 달리 이용될 수 있다.
"제1 이미지 부분" 및 "제2 이미지 부분" - 및 그들의 조합 - 이 본 명세서에서 설명되지만, 다른 수의 이미지들 및/또는 이미지 부분들이 가능하다는 것을 이해할 것이다. 예를 들어, 이미지 센서(240) 상의 복수의 감광 영역이 대응하는 복수의 이미지 부분을 제공하기 위해 이용될 수 있다. 복수의 이미지 부분 중 적어도 일부는 하이-다이나믹 레인지 이미지를 형성하도록 조합될 수 있다.
더욱이, 제1 이미지 부분 및 제2 이미지 부분의 동시 이미지 캡처가 고려되지만, 다른 이미지 캡처 시퀀스들이 가능하다. 예를 들어, 제1 및 제2 이미지 부분들은 상이한 조명 또는 이미지 캡처(예를 들어, 노출) 조건들 하에서 상이한 시간들에서 캡처될 수 있다. 또한, 버스트 이미징 모드들이 본 개시내용의 범위 내에서 고려된다. 즉, 복수의 이미지가 이미지 버스트로 캡처될 수 있다(예를 들어, 빠른 시간 연속으로 캡처된 이미지들). 복수의 이미지 중 적어도 일부는 본 명세서에서 설명된 하이-다이나믹 레인지 이미지를 제공하기 위해 조합될 수 있다. 추가적으로 또는 대안적으로, 본 명세서에서 설명된 시스템 및 동작들은 복수의 하이-다이나믹 레인지 이미지 - 예컨대 하이-다이나믹 레인지 이미지 세트 또는 비디오 스트림 - 를 제공할 수 있다.
도 3은 예시적인 실시예에 따른, 합성 이미지(300)를 예시한다. 합성 이미지(300)는 제1 이미지 부분(310) 및 제2 이미지 부분(320)을 포함한다. 제1 이미지 부분(310)은 실외 장면의 일반적으로 과도 노출된 이미지를 포함할 수 있다. 제2 이미지 부분(320)은 실외 장면의 일반적으로 부족 노출된 이미지를 포함할 수 있다. 다시 말해서, 합성 이미지(300)는 합성 이미지(300) 내의 상이한 비중첩 위치들에 있는 것으로서 제1 이미지 부분(310) 및 제2 이미지 부분(320)을 포함할 수 있다. 대안적으로 또는 추가적으로, 합성 이미지(300)는 적어도 부분적으로 중첩하는 것으로서 제1 이미지 부분(310) 및 제2 이미지 부분(320)을 포함할 수 있다.
본 명세서에서 설명된 바와 같이, 제1 이미지 부분(310) 및 제2 이미지 부분(320)으로부터의 정보는 하이-다이나믹 레인지 이미지를 제공하도록 조합되거나 달리 조작될 수 있다. 예를 들어, 본 시나리오에서, 하이-다이나믹 레인지 이미지는 조명된 교통 신호등들에 대한 정확한 컬러 정보, 제1 이미지 부분(310)의 과도 노출된 영역들에서의 증가된 세부사항, 및 제2 이미지 부분(320)의 부족 노출된 영역들에서의 증가된 세부사항을 제공할 수 있다. 동일한 장면의 복수의 이미지를 조합하거나 달리 이용함으로써 하이-다이나믹 레인지 정보를 획득하는 다른 방식들이 본 명세서에서 고려된다.
도면들에 도시된 특정 배열들은 제한하는 것으로 간주되어서는 안 된다. 다른 실시예들이 주어진 도면에 도시된 각각의 요소를 더 많이 또는 더 적게 포함할 수 있다는 것을 이해해야 한다. 또한, 예시된 요소들 중 일부는 조합되거나 생략될 수 있다. 또한 추가로, 예시적인 실시예는 도면들에 예시되지 않은 요소들을 포함할 수 있다.
정보의 처리를 나타내는 단계 또는 블록은 본 명세서에서 설명된 방법 또는 기법의 특정 논리 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 처리를 나타내는 단계 또는 블록은 모듈, 세그먼트, 물리적 컴퓨터(예를 들어, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit), 또는 프로그램 코드의 일부(관련 데이터를 포함함)에 대응할 수 있다. 프로그램 코드는 방법 또는 기법에서의 특정 논리 기능들 또는 액션들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드 드라이브, 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체 상에 저장될 수 있다.
컴퓨터 판독가능 매체는 레지스터 메모리, 프로세서 캐시, 및 랜덤 액세스 메모리(RAM)와 같은 단기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 또한 포함할 수 있다. 컴퓨터 판독가능 매체는 더 긴 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 또한 포함할 수 있다. 따라서, 컴퓨터 판독가능 매체는 예를 들어, 판독 전용 메모리(ROM), 광학 또는 자기 디스크, 컴팩트-디스크 판독 전용 메모리(CD-ROM)와 같은 보조 또는 영구 장기 저장소를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템들일 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 컴퓨터 판독가능 저장 매체 또는 유형 저장 디바이스로 간주될 수 있다.
다양한 예들 및 실시예들이 개시되었지만, 다른 예들 및 실시예들이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 다양한 개시된 예들 및 실시예들은 예시를 위한 것이고 제한적인 것으로 의도되지 않고, 진정한 범위는 다음의 청구항들에 의해 지시된다.

Claims (17)

  1. 광학 시스템으로서,
    장면으로부터의 입사 광을 수신하도록 구성된 적어도 하나의 1차 광학 요소;
    상기 적어도 하나의 1차 광학 요소에 광학적으로 결합된 복수의 릴레이 미러 - 상기 복수의 릴레이 미러는 제1 반사 표면 및 제2 반사 표면을 포함하고, 상기 제1 반사 표면은 상기 제2 반사 표면보다 더 높은 반사율을 가짐 - ;
    상기 복수의 릴레이 미러에 광학적으로 결합된 렌즈; 및
    상기 렌즈로부터 집속 광을 수신하도록 구성된 이미지 센서
    를 포함하고, 상기 이미지 센서는 제1 감광 영역 및 제2 감광 영역을 포함하고, 상기 적어도 하나의 1차 광학 요소, 상기 복수의 릴레이 미러, 및 상기 렌즈의 조합이 상기 입사 광과 상호작용하여 제1 집속 광 부분 및 제2 집속 광 부분을 형성하고, 상기 제1 집속 광 부분은 상기 제1 감광 영역 상에 상기 장면의 제1 이미지 부분을 형성하고 상기 제2 집속 광 부분은 상기 제2 감광 영역 상에 상기 장면의 제2 이미지 부분을 형성하고, 상기 제1 집속 광 부분은 제1 광 강도를 갖고 상기 제2 집속 광 부분은 제2 광 강도를 갖고, 상기 제1 광 강도가 상기 제2 광 강도와 상이한, 광학 시스템.
  2. 제1항에 있어서,
    상기 광학 시스템은 차량을 추가로 포함하고, 상기 이미지 센서는 상기 차량의 환경의 적어도 일부의 이미지들을 캡처하도록 동작가능한, 광학 시스템.
  3. 제1항에 있어서,
    상기 이미지 센서는 복수의 픽셀을 포함하고, 상기 복수의 픽셀 중 적어도 하나의 픽셀은: CMOS 센서, CCD 센서, SiPM(silicon photomultiplier), SPAD(single photon avalanche detector), 또는 애벌란시 광전도체를 포함하는, 광학 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 1차 광학 요소 및 상기 복수의 릴레이 미러는 공통 광학 축을 중심으로 배열되는, 광학 시스템.
  5. 제4항에 있어서,
    상기 적어도 하나의 1차 광학 요소는 상기 복수의 릴레이 미러를 향해 광을 반사시키도록 구성된 환상 미러 표면을 포함하는, 광학 시스템.
  6. 제1항에 있어서,
    상기 제1 감광 영역은 상기 제1 반사 표면을 통해 상기 제1 집속 광 부분을 수신하고, 상기 제2 감광 영역은 상기 제2 반사 표면을 통해 상기 제2 집속 광 부분을 수신하는, 광학 시스템.
  7. 제1항에 있어서,
    상기 제1 감광 영역과 상기 제2 감광 영역 사이에 광 배플(light baffle)을 추가로 포함하는, 광학 시스템.
  8. 제1항에 있어서,
    상기 제1 감광 영역은 제1 복수의 픽셀을 포함하고 상기 제2 감광 영역은 제2 복수의 픽셀을 포함하고, 상기 제1 복수의 픽셀과 상기 제2 복수의 픽셀 사이에 제3 복수의 픽셀이 배열되는, 광학 시스템.
  9. 제1항에 있어서,
    컨트롤러를 추가로 포함하고, 상기 컨트롤러는 동작들을 수행하기 위해 명령어들을 실행하고, 상기 동작들은:
    상기 제1 감광 영역에서 상기 제1 집속 광 부분을 수신하는 것;
    상기 수신된 제1 집속 광 부분에 기초하여 상기 제1 이미지 부분을 결정하는 것;
    상기 제2 감광 영역에서 상기 제2 집속 광 부분을 수신하는 것;
    상기 수신된 제2 집속 광 부분에 기초하여 상기 제2 이미지 부분을 결정하는 것; 및
    상기 제1 이미지 부분 및 상기 제2 이미지 부분에 기초하여 적어도 하나의 합성 이미지를 결정하는 것을 포함하는, 광학 시스템.
  10. 제1항에 있어서,
    적어도 하나의 필터를 추가로 포함하고, 상기 적어도 하나의 필터는: 중성 밀도 필터, 편광 필터, 스펙트럼 필터, 대역 통과 필터, 저역 통과 필터, 또는 고역 통과 필터 중 적어도 하나를 포함하는, 광학 시스템.
  11. 제10항에 있어서,
    상기 적어도 하나의 필터는: 상기 제1 집속 광 부분 또는 상기 제2 집속 광 부분 중 적어도 하나를 필터링하도록 구성되는, 광학 시스템.
  12. 제11항에 있어서,
    상기 적어도 하나의 필터는: 상기 이미지 센서, 상기 렌즈, 상기 적어도 하나의 1차 광학 요소, 또는 상기 복수의 릴레이 미러 중 적어도 하나에 결합되는, 광학 시스템.
  13. 광학 시스템으로서,
    장면으로부터 광을 수신하도록 구성된 개구를 포함하는 렌즈 바디;
    상기 렌즈 바디 내의 1차 광학 요소;
    상기 1차 광학 요소에 광학적으로 결합된 복수의 릴레이 미러 - 상기 1차 광학 요소는 상기 장면으로부터의 광을 상기 복수의 릴레이 미러를 향해 반사시키도록 구성되고, 상기 복수의 릴레이 미러는 상기 장면으로부터의 상기 광으로부터 릴레이 광의 각각의 부분들을 형성하도록 구성되고, 상기 복수의 릴레이 미러는 제1 반사 표면 및 제2 반사 표면을 포함하고, 상기 제1 반사 표면은 상기 제2 반사 표면보다 더 높은 반사율을 가짐 -;
    상기 복수의 릴레이 미러에 광학적으로 결합된 렌즈;
    제1 감광 영역 및 제2 감광 영역을 갖는 이미지 센서 - 상기 렌즈는 상기 릴레이 광의 각각의 부분들과 상호작용하여 제1 집속 광 부분 및 제2 집속 광 부분을 형성하고, 상기 제1 집속 광 부분은 상기 제1 감광 영역 상에 상기 장면의 제1 이미지 부분을 형성하고 상기 제2 집속 광 부분은 상기 제2 감광 영역 상에 상기 장면의 제2 이미지 부분을 형성함 - ; 및
    메모리 및 적어도 하나의 프로세서를 포함하는 컨트롤러
    를 포함하고, 상기 컨트롤러는 동작들을 수행하기 위해 상기 메모리에 저장된 명령어들을 실행하고, 상기 동작들은:
    상기 제1 감광 영역에서 상기 제1 집속 광 부분을 수신하는 것;
    상기 수신된 제1 집속 광 부분에 기초하여 상기 제1 이미지 부분을 결정하는 것;
    상기 제2 감광 영역에서 상기 제2 집속 광 부분을 수신하는 것;
    상기 수신된 제2 집속 광 부분에 기초하여 상기 제2 이미지 부분을 결정하는 것; 및
    상기 제1 이미지 부분 및 상기 제2 이미지 부분에 기초하여 적어도 하나의 합성 이미지를 결정하는 것을 포함하는, 광학 시스템.
  14. 제13항에 있어서,
    상기 제1 집속 광 부분은 제1 광 강도를 갖고 상기 제2 집속 광 부분은 제2 광 강도를 갖고, 상기 제1 광 강도가 상기 제2 광 강도보다 적어도 10배 더 큰, 광학 시스템.
  15. 제13항에 있어서,
    상기 제1 이미지 부분 및 상기 제2 이미지 부분에 기초하여 적어도 하나의 합성 이미지를 결정하는 것은: 비선형 톤-매핑 알고리즘, 비선형 복사-매핑(radiance-mapping) 알고리즘, 또는 컬러 외관 모델 중 적어도 하나를 적용하는 것을 포함하는, 광학 시스템.
  16. 제13항에 있어서,
    상기 이미지 센서는: CMOS 센서, CCD 센서, SiPM(silicon photomultiplier), SPAD(single photon avalanche detector), 또는 애벌란시 광전도체 중 적어도 하나를 포함하는, 광학 시스템.
  17. 제13항에 있어서,
    상기 제1 감광 영역과 상기 제2 감광 영역 사이에 광 배플을 추가로 포함하는, 광학 시스템.
KR1020227007439A 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱 KR102480618B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/856,194 2017-12-28
US15/856,194 US10473903B2 (en) 2017-12-28 2017-12-28 Single optic for low light and high light level imaging
KR1020207021558A KR102372749B1 (ko) 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
PCT/US2018/066335 WO2019133348A1 (en) 2017-12-28 2018-12-18 Single optic for low light and high light level imaging

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021558A Division KR102372749B1 (ko) 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱

Publications (2)

Publication Number Publication Date
KR20220032130A KR20220032130A (ko) 2022-03-15
KR102480618B1 true KR102480618B1 (ko) 2022-12-26

Family

ID=67059488

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227007439A KR102480618B1 (ko) 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
KR1020207021558A KR102372749B1 (ko) 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207021558A KR102372749B1 (ko) 2017-12-28 2018-12-18 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱

Country Status (10)

Country Link
US (3) US10473903B2 (ko)
EP (1) EP3718299A4 (ko)
JP (1) JP7080328B2 (ko)
KR (2) KR102480618B1 (ko)
CN (1) CN111527744B (ko)
AU (1) AU2018395952B2 (ko)
CA (1) CA3086679A1 (ko)
IL (1) IL275604A (ko)
SG (1) SG11202005739PA (ko)
WO (1) WO2019133348A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473903B2 (en) 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
US11933991B2 (en) 2020-09-29 2024-03-19 Sony Group Corporation Optical apparatus for improving camera sensitivity and matching of identical perspectives
CN112702537B (zh) * 2020-12-25 2022-06-28 上海科技大学 基于反照率差的高动态范围环境光动态采集系统
KR102343216B1 (ko) 2021-04-29 2021-12-27 (주)티에이치엔 플랫 케이블 연결 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514395A (ja) 2013-02-21 2016-05-19 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ・ビデオのための表示管理
US20160286199A1 (en) * 2015-02-26 2016-09-29 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data for a Compound Imaging System
US20170161540A1 (en) * 2015-12-03 2017-06-08 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002213157A1 (en) 2000-10-12 2002-04-22 Amnis Corporation System and method for high numeric aperture imaging systems
US20020141002A1 (en) * 2001-03-28 2002-10-03 Minolta Co., Ltd. Image pickup apparatus
US20030048493A1 (en) 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP4591063B2 (ja) * 2004-12-07 2010-12-01 ソニー株式会社 撮像装置および撮像方法
US8008641B2 (en) * 2007-08-27 2011-08-30 Acushnet Company Method and apparatus for inspecting objects using multiple images having varying optical properties
KR100958569B1 (ko) 2008-05-30 2010-05-17 주식회사 도담시스템스 레이저 다이오드 및 반사 거울을 이용한 휴대용 야간 감시카메라
US20100073499A1 (en) * 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
JP5446521B2 (ja) * 2009-07-06 2014-03-19 株式会社リコー 撮像装置
US8598559B2 (en) 2010-07-21 2013-12-03 Northrop Grumman Systems Corporation Systems and methods for beam splitting for imaging
DE102011008406A1 (de) 2011-01-12 2012-07-12 Udo Riss Schnell koppelnde Biomoleküle
JP2012208209A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 立体映像撮像装置
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
DE102011080407A1 (de) * 2011-08-04 2013-02-07 Robert Bosch Gmbh Kameravorrichtung zum Erzeugen eines digitalen Bildes und Verfahren zum Betrieb der Kameravorrichtung
US9110293B2 (en) * 2011-10-17 2015-08-18 Manufacturing Techniques, Inc. Prismatic image replication for obtaining color data from a monochrome detector array
US9964747B2 (en) 2012-06-11 2018-05-08 Helmholtz Zentrum Munchen Deutsches Forschungszentrum Fur Gesundheit Und Umwelt (Gmbh) Imaging system and method for imaging an object
US9720223B2 (en) 2013-03-15 2017-08-01 Lawrence Livermore National Security, Llc Integrated telescope assembly
US8988539B1 (en) 2013-09-27 2015-03-24 The United States Of America As Represented By Secretary Of The Navy Single image acquisition high dynamic range camera by distorted image restoration
CA2902675C (en) 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
WO2016125135A1 (en) 2015-02-02 2016-08-11 Visionmap Ltd. Cassegrain telescope with angled reflector
US9661234B2 (en) * 2015-07-16 2017-05-23 Pixart Imaging (Penang) Sdn. Bhd. Image processing method and image processing system assigning different gains to different sections
CN105390515A (zh) * 2015-10-13 2016-03-09 青岛中科软件股份有限公司 一种图像传感器
US9967547B2 (en) * 2016-06-08 2018-05-08 Qualcomm Incorporated Wafer level optics for folded optic passive depth sensing system
US10473903B2 (en) 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514395A (ja) 2013-02-21 2016-05-19 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ・ビデオのための表示管理
US20160286199A1 (en) * 2015-02-26 2016-09-29 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data for a Compound Imaging System
US20170161540A1 (en) * 2015-12-03 2017-06-08 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector

Also Published As

Publication number Publication date
US10473903B2 (en) 2019-11-12
WO2019133348A1 (en) 2019-07-04
CN111527744B (zh) 2022-05-17
AU2018395952A1 (en) 2020-07-16
SG11202005739PA (en) 2020-07-29
EP3718299A4 (en) 2021-03-10
CN111527744A (zh) 2020-08-11
AU2018395952B2 (en) 2021-03-11
US20200049965A1 (en) 2020-02-13
US11675174B2 (en) 2023-06-13
JP2021509556A (ja) 2021-03-25
US11002949B2 (en) 2021-05-11
US20210255443A1 (en) 2021-08-19
KR20220032130A (ko) 2022-03-15
KR20200091952A (ko) 2020-07-31
KR102372749B1 (ko) 2022-03-10
IL275604A (en) 2020-08-31
JP7080328B2 (ja) 2022-06-03
EP3718299A1 (en) 2020-10-07
US20190204572A1 (en) 2019-07-04
CA3086679A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR102480618B1 (ko) 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
CN109964097B (zh) 用于多个f值镜头的方法和系统
US10674099B2 (en) Beam split extended dynamic range image capture system
CN110365878A (zh) 一种摄像装置和方法
JP6547073B2 (ja) 改善されたオートフォーカス性能を有する撮像装置
US10063795B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
US20200036914A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
WO2017028652A1 (zh) 一种镜头、摄像机、包裹检测系统和图像处理方法
JP2014185917A (ja) 撮像装置
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7191597B2 (ja) 撮像装置及びそれを備える監視システム、制御方法並びにプログラム
JP2010102281A (ja) 可視光・赤外光撮影用レンズアダプタ
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
JP6910881B2 (ja) 撮像装置、及びその制御方法
JP2022179259A (ja) 光束分離光学系および画像処理装置
CN115735142A (zh) 用于场景成像的系统
JP2021076722A (ja) カメラ
JP2016004133A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant