KR102479014B1 - 픽셀 단위 이미징을 위한 방법 및 시스템 - Google Patents

픽셀 단위 이미징을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102479014B1
KR102479014B1 KR1020197035361A KR20197035361A KR102479014B1 KR 102479014 B1 KR102479014 B1 KR 102479014B1 KR 1020197035361 A KR1020197035361 A KR 1020197035361A KR 20197035361 A KR20197035361 A KR 20197035361A KR 102479014 B1 KR102479014 B1 KR 102479014B1
Authority
KR
South Korea
Prior art keywords
pixel
light
scene
collection
collection nodes
Prior art date
Application number
KR1020197035361A
Other languages
English (en)
Other versions
KR20200003858A (ko
Inventor
로만 제노브
키리아코스 쿠툴라코스
나비드 사란네자드
니콜라 카틱
미안 웨이
Original Assignee
더 가버닝 카운슬 오브 더 유니버시티 오브 토론토
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 filed Critical 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토
Publication of KR20200003858A publication Critical patent/KR20200003858A/ko
Application granted granted Critical
Publication of KR102479014B1 publication Critical patent/KR102479014B1/ko

Links

Images

Classifications

    • H04N5/341—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)

Abstract

본 발명은 장면의 픽셀 단위 이미징을 위한 방법 및 시스템에 관한 것이다. 이러한 방법은 이미지 센서의 픽셀들의 어레이에서 각 픽셀에 대한 마스킹 값을 포함하는 픽셀 단위 패턴을 수신하는 단계; 그러한 픽셀이 상기 장면으로부터 수신된 광에 노출될 때 각 픽셀에서 전자 신호를 생성하는 단계; 및 각각의 마스킹 값에 기초하여 그러한 픽셀에 연관된 하나 이상의 컬렉션 노드들에 각 픽셀에서의 전자 신호를 향하게 하는 단계를 포함하고, 상기 하나 이상의 컬렉션 노드들은 각각 수신된 전자 신호를 통합할 수 있다.

Description

픽셀 단위 이미징을 위한 방법 및 시스템
다음 내용은 일반적으로, 이미징, 그리고 더 구체적으로는 픽셀 단위 이미징(pixel-wise imaging)을 위한 방법 및 시스템에 관한 것이다.
스틸 카메라 및 비디오 카메라에서 발견되는 것과 같은 이미징 센서는 복수의 감광성 수용체를 갖는다. 통상적으로, 수용체는 CMOS(Complementary Metal Oxide Semiconductor) 장치이다. 광의 광자들은 수용체들의 포토사이트(photosite)들에서 수집되며, 일반적으로 각 픽셀마다 하나의 포토사이트가 존재한다. 통상적으로, 광자는 하나 이상의 렌즈를 통해 이미징 센서의 감광체로 향한다. 그 포토사이트에 대한 수용체의 실리콘에서 전하가 생성되는데, 여기서 전하는 수광된 빛의 강도에 비례한다. 각 전하의 값은 아날로그-디지털 변환기에 의해 디지털 값으로 바뀐다.
기존의 컬러 이미징 이미징 센서들의 경우, 포토사이트의 1/4은 적색 광, 또 다른 1/4은 청색 광 및 나머지 절반은 녹색의 광을 기록한다. 통상적으로, 각 포토사이트에 대한 이러한 광 필터링은 베이어 필터 어레이(bayer filter array)로 지칭되는 각각의 포토사이트 상에 컬러 필터를 배치함으로써 달성된다. 각 컬러 픽셀은 모자이크 작업을 통해 인접 포토사이트의 컬러 데이터와 함께 보간되어 각 픽셀에 전체 컬러 값을 할당한다.
통상적으로, 카메라가 개방될 때, 모든 감광체는 동시에 광을 수신하는데, 이는 각각의 픽셀이 이미지와 거의 동일하다는 것을 의미한다. 다른 경우에는 롤링 셔터가 있을 수 있으며, 롤링 셔터는 일부 광자가 이미징 센서에 도달하는 것을 연속적으로 차단한다. 따라서, 수직 또는 수평으로 이미징 센서를 가로질러 시간 스캐닝을 제공한다. 어떤 세트의 포토사이트로부터 나오는 포토사이트들을 선택하는 가는 특정 순간에 셔터에 의해 집합적으로 차단된다.
그러므로 본 발명의 목적은 종래의 단점이 제거되거나 완화되고 바람직한 속성의 달성이 용이한 방법 및 시스템을 제공하는 것이다.
일 양태에서, 장면(scene)의 픽셀 단위 이미징(pixel-wise imaging)을 위한 시스템이 제공되고, 이러한 시스템은 픽셀들의 어레이를 포함하는 이미지 센서로서, 각 픽셀은 상기 장면으로부터 수신되는 광에 노출될 때 전자 신호를 생성하는 감광성 수용체를 포함하는, 상기 이미지 센서;
각 픽셀에 대한 하나 이상의 컬렉션 노드(collection node)들을 포함하는 신호 저장 모듈로서, 각 컬렉션 노드는 각각의 상기 감광성 수용체에 의해 수신되는 상기 전자 신호를 통합(integrate)할 수 있는, 상기 신호 저장 모듈; 및
제어 메모리와 하나 이상의 로직 구성성분들을 포함하는 제어 로직 모듈(control logic module)로서, 상기 제어 메모리는 픽셀 단위 패턴(pixel-wise pattern)을 수신하고, 상기 픽셀 단위 패턴은 상기 이미지 센서의 각 픽셀에 대한 마스킹 값(masking value)을 포함하며, 상기 픽셀들 각각에 대해, 상기 하나 이상의 로직 구성성분들은 각각의 마스킹 값에 기초하여 하나 이상의 상기 각각의 컬렉션 노드들에 상기 전자 신호를 향하게 하는, 상기 제어 로직 모듈을 포함한다.
특별한 경우에, 하나 이상의 컬렉션 노드들은 픽셀 당 정확히 2개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 1-디지트 2진 값(1-digit binary value)이며, 하이 2진 값(high binary value)은 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 것을 나타내고, 로우 2진 값(low binary value)은 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 것을 나타낸다.
또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 하나의 픽셀 당 정확히 4개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 2-디지트 2진 값(2-digit binary value)이며, 상기 4개의 컬렉션 노드들 각각은 상기 2-디지트 2진 값들 중 하나와 연관되고, 상기 하나 이상의 로직 구성성분들은 상기 각각의 2-디지트 2진 값에 기초하여 상기 각각의 컬렉션 노드에 상기 전자 신호를 향하게 한다.
역시 또 다른 경우에, 제어 메모리는 매 프레임마다(for every frame) 새로운 픽셀 단위 패턴을 수신하고, 상기 하나 이상의 로직 구성성분들은 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 상기 전자 신호를 향하게 한다.
역시 또 다른 경우에, 제어 메모리는 매 서브프레임마다(every subframe) 새로운 픽셀 단위 패턴을 수신하고, 상기 하나 이상의 로직 구성성분들은 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 상기 전자 신호를 향하게 하고, 각각의 프레임은 복수의 서브프레임(subframe)들을 포함한다.
역시 또 다른 경우에, 제어 메모리는 제1 메모리 유닛과 제2 메모리 유닛을 포함하고, 상기 제2 메모리 유닛은 현재 서브프레임에 대한 상기 픽셀 단위 패턴을 저장하며, 상기 제1 메모리 유닛은 다가오는 서브프레임(upcoming subframe)에 대한 새로운 픽셀 단위 패턴을 저장한다.
역시 또 다른 경우에, 다가오는 서브프레임에 대한 상기 새로운 픽셀 단위 패턴은 상기 제1 메모리에 순차적으로 로드(load)되고, 상기 현재 서브프레임에 대한 상기 픽셀 단위 패턴은 상기 제2 메모리에 동시에 로드된다.
역시 또 다른 경우에, 이미지 센서는 핀드-포토다이오드(pinned-photodiode), 포토-게이트, 전하-결합 디바이스, 전하 주입 디바이스, 또는 단일 광자 애벌런치 다이오드(single photon avalanche diode) 중 하나를 포함한다.
역시 또 다른 경우에, 로직 구성성분들은 전하 전송 게이트들을 포함하고 상기 컬렉션 노드들은 플로팅 확산 노드(floating diffusion node)들을 포함한다.
역시 또 다른 경우에, 각 컬렉션 노드에서 상기 통합(integration)의 측정치(measure)을 디지털화하고 출력하기 위한 디지털화 모듈(digitization module)을 더 포함한다.
역시 또 다른 경우에, 이미징 센서는 라인 센서이다.
역시 또 다른 경우에, 상기 장면으로부터 수신되는 상기 광은 광원으로부터의 일시적으로 변조되는 광을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 시스템은 상기 광원에서 상기 변조되는 광과 상기 감광성 수용체에서 수신되는 상기 광 사이의 위상 차이들을 측정함으로써 상기 변조되는 광의 비행 시간(time-of-flight)을 결정하기 위한 프로세서를 더 포함하고, 상기 하나 이상의 로직 구성성분들은 상기 변조되는 광의 상기 변조의 제1 부분 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하고, 상기 변조되는 광의 상기 변조의 제2 부분 동안에는 다른 컬렉션 노드에 상기 전자 신호를 향하게 한다.
역시 또 다른 경우에, 상기 소정의 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면(specular) 광 경로로 이루어지는 그룹으로부터 선택된다.
역시 또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하고, 상기 시스템은 상기 장면상으로 광 패턴을 투영하기 위한 프로젝터(projector)를 더 포함하고, 만약 상기 각각의 픽셀에서 수신되는 상기 연관되는 광이 대략적으로 소정의 경로 유형을 포함한다면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 상기 컬렉션 노드들 중 하나에 향하게 하고, 그렇지 않으면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 다른 컬렉션 노드에 향하게 하는 상보적 패턴(complementary pattern)을 상기 픽셀 단위 패턴이 포함한다.
역시 또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 1개의 컬렉션 노드를 포함하고, 상기 시스템은 상기 장면상으로 광 패턴을 투영하기 위한 프로젝터를 더 포함하고, 만약 상기 각각의 픽셀에서 수신된 연관되는 광이 대략적으로 소정의 경로 유형을 포함한다면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 상기 컬렉션 노드를 향하게 하고, 그렇지 않으면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호를 차단 또는 무시하게 하는 상보적 패턴을 상기 픽셀 단위 패턴이 포함하며, 상기 소정의 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택된다.
역시 또 다른 경우에, 상기 장면으로부터 수신되는 상기 광은 광원으로부터의 광도계 입체 광 일루미네이션 상태(photometric stereo light illumination condition)들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 하나 이상의 로직 구성성분들은 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 하고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드로 상기 전자 신호가 향하게 하며, 상기 시스템은 각 픽셀에서 수신되는 광의 강도를 결정하는 것을 통해 상기 장면에서의 하나 이상의 객체(object)들의 정상 상태(normal)들을 결정하기 위한 프로세서를 더 포함한다.
역시 또 다른 경우에, 상기 정상 상태들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크(intensity demosaicing)를 사용하여 결정된다.
역시 또 다른 경우에, 상기 정상 상태들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정된다.
역시 또 다른 경우에, 상기 장면으로부터 수신되는 상기 광은 광원으로부터의 구축되는(structured) 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 하나 이상의 로직 구성성분들은 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 하고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드에 상기 전자 신호가 향하게 하며, 상기 시스템은 상기 광원에서의 픽셀들과 상기 이미지 센서에서의 픽셀들과의 삼각 측량법(triangulation)을 통해 각 픽셀에서 수신되는 광의 강도로부터 상기 장면에서의 하나 이상의 객체들에 대한 깊이를 결정하기 위한 프로세서를 더 포함한다.
역시 또 다른 경우에, 상기 깊이들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정된다.
역시 또 다른 경우에, 상기 깊이들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정된다.
또 다른 양태에서, 장면의 픽셀 단위 이미징을 위한 방법이 제공되고, 이러한 방법은 픽셀 단위 패턴을 수신하는 단계로서, 상기 픽셀 단위 패턴은 이미지 센서의 픽셀들의 어레이에서 각 픽셀에 대한 마스킹 값을 포함하는, 상기 픽셀 단위 패턴을 수신하는 단계; 그러한 픽셀이 상기 장면으로부터 수신되는 광에 노출될 때 각 픽셀에서 전자 신호를 생성하는 단계; 및 상기 각각의 마스킹 값에 기초하여 그러한 픽셀과 연관되는 하나 이상의 컬렉션 노드들에 각 픽셀에서의 상기 전자 신호를 향하게 하는 단계로서, 상기 하나 이상의 컬렉션 노드들은 각각 상기 수신되는 전자 신호를 통합할 수 있는, 상기 전자 신호를 향하게 하는 단계를 포함한다.
특별한 경우에, 상기 하나 이상의 컬렉션 노드들은 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 1-디지트 2진 값이며, 하이 2진 값은 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 것을 나타내고, 로우 2진 값은 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 것을 나타낸다.
또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 픽셀마다 정확히 4개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 2-디지트 2진 값이며, 상기 4개의 컬렉션 노드들 각각은 상기 2-디지트 2진 값들 중 하나와 연관되고, 상기 전자 신호는 상기 각각의 2-디지트 2진 값에 기초하여 상기 각각의 컬렉션 노드에 향한다.
역시 또 다른 경우에, 매 프레임마다 새로운 픽셀 단위 패턴이 수신되고, 상기 전자 신호는 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 향하게 된다.
역시 또 다른 경우에, 매 서브프레임마다 새로운 픽셀 단위 패턴이 수신되고, 상기 전자 신호는 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 향하게 되며, 각각의 프레임은 복수의 서브프레임들을 포함한다.
역시 또 다른 경우에, 현재 서브프레임에 대한 픽셀 단위 패턴을 저장하는 단계와 다가오는 서브프레임에 대한 새로운 픽셀 단위 패턴을 저장하는 단계를 별개로 더 포함한다.
역시 또 다른 경우에, 상기 다가오는 서브프레임에 대한 상기 새로운 픽셀 단위 패턴은 메모리에 순차적으로 로드되고, 상기 현재 서브프레임에 대한 상기 픽셀 단위 패턴은 메모리에 동시에 로드된다.
역시 또 다른 경우에, 각 컬렉션 노드에서의 상기 통합의 측정치를 디지털화하고 출력하는 단계를 더 포함한다.
역시 또 다른 경우에, 상기 장면으로부터 수신되는 상기 광은 일시적으로 변조되는 광을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 방법은 상기 광원에서 상기 변조되는 광과 상기 수신되는 광 사이의 위상 차이들을 측정함으로써 상기 변조되는 광의 비행 시간을 결정하는 단계를 더 포함하고, 각 픽셀에서 상기 전자 신호를 향하게 하는 단계는 상기 변조되는 광의 상기 변조의 제1 부분 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 단계와 상기 변조되는 광의 상기 변조의 제2 부분 동안에는 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 단계를 포함한다.
역시 또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 노드들을 포함하고, 상기 방법은 광 패턴을 상기 장면상으로 투영하는 단계를 더 포함하며, 만약 상기 각각의 픽셀에서 수신되는 상기 연관되는 광이 대략적으로 소정의 경로 유형을 포함하면 상기 전자 신호가 상기 컬렉션 노드들 중 하나에 향하게 되고, 그렇지 않으면 상기 전자 신호가 다른 컬렉션 노드에 향하게 되는 상보적 패턴을 상기 픽셀 단위 패턴이 포함한다.
역시 또 다른 경우에, 상기 소정의 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택된다.
역시 또 다른 경우에, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 1개의 컬렉션 노드를 포함하고, 상기 방법은 광 패턴을 상기 장면으로 투영하는 단계를 포함하며, 만약 상기 각각의 픽셀에서 수신되는 상기 연관되는 광이 대략적으로 소정의 경로 유형을 포함하면 상기 전자 신호가 상기 컬렉션 노드에 향하게 되고, 그렇지 않으면 상기 전자 신호가 차단 또는 무시되는 상보적 패턴을 상기 픽셀 단위 패턴이 포함하고, 상기 소정의 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택된다.
역시 또 다른 경우에, 상기 장면으로부터 수신되는 상기 광은 광도계 입체 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 전자 신호는 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 향하게 되고, 상기 전자 신호는 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드로 향하게 되며, 상기 방법은 각 픽셀에서 수신되는 광의 강도를 결정하는 것을 통해 상기 장면에서의 하나 이상의 객체들의 정상 상태들을 결정하는 단계를 더 포함한다.
역시 또 다른 경우에, 상기 정상 상태들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정된다.
역시 또 다른 경우에, 상기 정상 상태들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정된다.
역시 또 다른 경우에, 상기 장면으로부터의 수신되는 상기 광은 구축되는 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 되고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드에 상기 전자 신호가 향하게 되며, 상기 방법은 상기 광원에서의 픽셀들과 상기 이미지 센서에서의 픽셀들과의 삼각 측량법을 통해 각 픽셀에서 수신되는 광의 강도로부터 상기 장면에서의 하나 이상의 객체들에 대한 깊이를 결정하는 단계를 더 포함한다.
역시 또 다른 경우에, 상기 깊이들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정된다.
역시 또 다른 경우에, 상기 깊이들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정된다.
이들 및 다른 실시예들이 본 명세서에서 예측되고 설명된다. 전술한 개요는 당업자가 후속하는 상세한 설명을 이해하는데 도움을 주기 위해 시스템들 및 방법들의 대표적인 양태들을 제시한다는 것이 이해될 것이다.
본 발명의 특징들은 첨부된 도면들을 참조하는 후속하는 상세한 설명에서 더 분명해질 것이다.
도 1은 일 실시예에 따른, 장면의 픽셀 단위 이미징을 위한 시스템의 개략도.
도 2a는 다수의 서브프레임들에 대해 적용된 1-비트 코드된 노출 이미징 마스크들의 도 1의 시스템의 일 예를 도시하는 도면.
도 2b는 다수의 서브프레임들에 대한 마스킹 비트 값에 의존하는 신호 통합이 있는 도 1의 시스템에 대한 전형적인 픽셀 타이밍 그림.
도 3은 1개의 픽셀에 대한 도 1의 시스템에 대한 제어 로직 모듈의 전형적인 실시예를 도시하는 도면.
도 4는 1개의 픽셀에 대한 도 1의 시스템의 2개의 버킷(bucket) 구현예에 대한 전형적인 흐름도.
도 5는 픽셀 어레이에 대한 도 1의 시스템의 전형적인 회로 구현예를 도시하는 도면.
도 6은 도 5의 회로 구현예에 대한 파형도.
도 7은 1개의 픽셀에 대한 도 3의 판독 블록들과 2개의 버킷 광자 혼합 장치 및 판독 블록의 트랜지스터 레벨 구현의 예이다.
도 8a는 2개의 저장 노드들이 있는 도 1의 시스템에 대한 픽셀 레이아웃 내의 광 검출 및 혼합 구조의 일 예를 도시하는 도면.
도 8b는 'k'개의 저장 노드들이 있는 도 1의 시스템에 대한 픽셀 레이아웃 내의 광 검출 및 혼합 구조의 일 예를 도시하는 도면.
도 9는 2개의 저장 노드들이 있는 도 1의 시스템에 대한 픽셀 레이아웃의 전형적이고 개략적인 평면도.
도 10은 도 9의 픽셀의 구현예의 전형적인 단면도.
도 11은 도 9에서 픽셀을 사용하는, 도 1에서의 시스템의 구현예의 신호 파형도.
도 12는 비행의 시간 적용예들에 대한 도 1의 시스템의 1개의 픽셀의 또 다른 구현예의 개략적인 평면도.
도 13은 도 12의 구현예의 전형적인 타이밍도.
도 14는 도 1의 시스템의 다양한 구성성분들에 대한 아키텍처의 전형적인 실시예를 도시하는 도면.
도 15는 도 1의 시스템의 다양한 구성성분들에 대한 아키텍처의 또 다른 전형적인 실시예를 도시하는 도면.
도 16은 속력을 향상시키기 위해 픽셀 어레이의 양측에 로딩 회로가 있는 도 1의 시스템의 다양한 구성성분들에 대한 아키텍처의 또 다른 전형적인 실시예를 도시하는 도면.
도 17은 도 1의 시스템의 다양한 구성성분들에 대한 라인(1D) 이미지 센서 아키텍처의 전형적인 그림.
도 18은 도 1의 시스템의 전체적인 아키텍처의 전형적인 실시예를 도시하는 도면.
도 19는 도 1의 시스템에 대한 2개의 버킷 픽셀의 2가지 상태들을 나타내는 그림.
도 20은 도 1의 시스템의 또 다른 전형적인 타이밍도.
도 21은 일 예 코드 매트릭스의 개략적인 예시도.
도 22는 도 1의 시스템에 대한 2개의 버킷들로의 광 운반의 결과의 일 예를 나타내는 그림.
도 23은 도 1의 시스템에 따라 결정된 모자이크들과 캡처된 이미지들의 일 예시도.
도 24a는 도 1의 시스템에 따른 접근들의 여러 조합들을 비교하는 차트.
도 24b는 도 1의 시스템에 따른 공간적 알베도(albedo) 변화들의 영향을 고려한 베이스 라인 3-프레임 접근법 및 컬러 광도 입체(stereo) 접근법을 비교하는 차트.
도 25a는 구조화된 광에 사용되는 도 1의 시스템의 예시적인 결과를 시각화한 도면.
도 25b는 광도계 입체 광에 사용되는 도 1의 시스템의 예시적인 결과를 시각화한 도면.
도 26은 도 25a 및 도 25b의 결과들에 대해 사용된 장면의 사진.
도 27은 도 1의 시스템(100)을 사용하고 기존의 카메라를 사용하는 1600 루멘의 전구의 캡처된 3D 지도를 보여주는 도면.
도 28은 기존의 카메라로 그리고 도 1의 시스템을 사용하는 3D 이미징으로 밝은 태양광에서 캡처된 이미지를 보여주는 도면.
도 29a는 도 1의 시스템을 오직 한번만 사용하여 반사된 직접광만을 사용하여 캡처된 이미지를 보여주는 도면.
도 29b는 도 1의 시스템을 사용하여 캡처된 간접광만을 보여주는 것을 제외한 도 29a의 동일한 장면을 보여주는 도면.
도 30a는 간접광만을 캡처하는 도 1의 시스템에 의한 라텍스 장갑의 캡처된 이미지를 보여주는 도면.
도 30b는 간접광만을 캡처하는 도 1의 시스템에 의한 손의 캡처된 이미지를 보여주는 도면.
도 31a는 기존의 카메라에 의해 캡처된 아이스 블록(ice block)들의 장면을 보여주는 도면.
도 31b는 도 31a의 장면의 기존의 비행 시간(time-of-flight) 이미징을 사용하여 캡처된 3D 이미지를 보여주는 도면.
도 31c는 오직 직접적인 광 이동을 캡처하는 도 1의 시스템을 사용하는 도 31a의 장면의 3D 이미징을 보여주는 도면.
도 32는 제1 버킷과 결정된 정상 상태에서 수신된 이미지들을 보여주는 도 1의 시스템을 사용하여 캡처된 이미지들의 일 예를 예시하는 도면.
도 33은 제1 버킷에서 수신된 이미지들과 깊이 정보와 같은 2개의 버킷 사이의 추정된 불일치 모두를 보여주는 도 1의 시스템을 사용하여 캡처된 이미지들의 일 예를 예시하는 도면.
도 34는 일 실시예에 따른, 하나의 장면의 픽셀 단위 이미징을 위한 방법을 보여주는 흐름도.
도 35a는 하나의 장면에서의 직접적인 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 35b는 도 35a의 장면 상에서의 간접적인 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 35c는 도 35a의 장면 상의 경면 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 35d는 도 35a의 장면 상의 다수의 상이한 유형의 광 경로들을 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 36a는 도 1의 시스템을 사용하여 하나의 장면 상의 직접적인 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 36b는 도 1의 시스템을 사용하여 도 36a의 장면 상에서 간접적인 광 경로들을 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 37a는 광이 렌징 효과(lensing effect)를 가지는 장면 상에서 직접적인 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 37b는 도 1의 시스템을 사용하여 렌징 효과를 보상하는 도 37a의 장면 상에서 직접적인 광 경로를 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 38a는 도 1의 시스템으로 복합 투영 및 마스킹 패턴을 사용하는 장면 상에서의 다수의 광 경로들을 투영 및 수신하는 것을 보여주는 전형적인 예시도.
도 38b는 도 1의 시스템으로 복합 투영 및 마스킹 패턴을 사용하는 도 38a의 장면 상에서의 다수의 광 경로들을 투영 및 수신하는 것을 보여주는 또 다른 전형적인 예시도.
이제 도면들을 참조하여 실시예들이 설명된다. 간단하고 명확한 설명을 위해, 적절하다고 간주되는 경우, 대응하는 또는 유사한 요소를 나타내기 위해 도면들 사이에서 참조 번호가 반복될 수 있다. 게다가, 본 명세서에 기술된 실시예들의 철저한 이해를 제공하기 위해 다수의 특정 세부 사항들이 설명된다. 하지만, 본 기술 분야의 당업자라면 여기에 설명된 실시예들은 이러한 특정 세부 사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 경우들에서, 잘 알려진 방법들, 절차들 및 구성성분들은 여기에 설명된 실시예들을 모호하게 하지 않기 위해 상세히 설명되지 않았다. 또한, 이러한 설명은 여기서 설명된 실시예들의 범주를 제한하는 것으로 간주되어서는 안 된다.
문맥이 달리 지시하지 않는 한, 본 설명 전반에 걸쳐 사용된 다양한 용어는 다음과 같이 읽히고 이해될 수 있다: "및/또는"으로 쓰여진 것처럼 "또는(or)"는 명세서 전반에 걸쳐 사용된 바와 같이 포괄적인 것인데, 즉 명세서 전반에 걸쳐 사용되는 단수 관사들과 대명사들은 그것들의 복수 형태를 포함하고, 그 반대도 마찬가지이며; 유사하게, 성별 대명사(gendered pronoun)들은 그들의 상대 대명사(counterpart pronoun)들을 포함하므로 그러한 대명사들은 예컨대 단일 성별에 의해 사용, 구현, 수행하기 위해 본 명세서에 기술된 것을 제한하는 것으로 이해되어서는 안된고; "전형적인"은 "예시적인" 또는 "예증적인"것으로 이해되어야 하며 반드시 다른 실시예들보다 "바람직한"것으로 해석되지 않아야 한다. 용어들에 대한 추가 정의들이 본 명세서에서 제시될 수 있고, 이들은 본 명세서의 설명을 읽음으로써 더 잘 이해되는 바와 같이, 그러한 용어들의 이전의 사례 그리고 차후의 사례에 적용할 수 있다.
명령들을 실행하는 본 명세서에 예증된 임의의 모듈, 유닛, 구성 요소, 서버, 컴퓨터, 터미널, 엔진 또는 디바이스는 저장 매체, 컴퓨터 저장 매체 또는 예를 들면, 자기 디스크, 광 디스크 또는 테이프와 같은 데이터 저장 디바이스들(제거 가능하고/하거나 제거 가능하지 않을 수 있는)과 같은 컴퓨터 판독 가능 매체로의 액세스를 포함하거나 그러한 액세스를 가질 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능한 명령들, 데이터 구조물들, 프로그램 모돌들, 또는 다른 데이터와 같은 정보의 저장을 위한 기술 또는 임의의 방법으로 구현된 휘발성 및 비휘발성의 제거 가능하고 제거 가능하지 않은 매체를 포함할 수 있다. 컴퓨터 저장 매체의 예는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크 (DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치를 포함하거나 원하는 정보를 저장하는데 사용될 수 있고 애플리케이션, 모듈 또는 둘 다에 의해 액세스 될 수 있는 임의의 다른 매체를 포함할 수 있다. 그러한 컴퓨터 저장 매체는 장치의 일부이거나 이에 액세스 가능하거나 연결 가능할 수 있다. 또한, 문맥이 달리 명확하게 지시하지 않는 한, 본 명세서에 제시된 임의의 프로세서 또는 제어기는 단일 프로세서 또는 복수의 프로세서로서 구현될 수 있다. 복수의 프로세서는 배열 또는 분산될 수 있고, 단일 프로세서가 예증될 수 있지만, 본 명세서에서 언급된 임의의 처리 기능은 하나 또는 복수의 프로세서에 의해 수행될 수 있다. 본 명세서에 기술된 임의의 방법, 애플리케이션 또는 모듈은 이러한 컴퓨터 판독 가능 매체에 의해 저장되거나 달리 보유될 수 있고 하나 이상의 프로세서에 의해 실행될 수 있는 컴퓨터 판독 가능/실행 가능 명령어를 사용하여 구현될 수 있다.
다음은 일반적으로 이미징에 관한 것으로, 보다 구체적으로는 픽셀 단위 이미징을 위한 방법 및 시스템에 관한 것이다.
본 명세서에서 사용된 "픽셀 단위"는 일반적으로 픽셀 단위 또는 픽셀 단위로 동작 또는 기능을 지칭하고; 그러나, 일부 경우에, 픽셀 단위는 작은 그룹의 픽셀 기초에 의한 작은 그룹의 픽셀들에 대한 동작 또는 기능을 포함할 수 있는 것으로 이해된다.
본 개시물의 실시예들은, 적어도 강도 기반 이미징, 가시 광선 또는 적외선 이미징, 스펙트럼 이미징, 임펄스 기반 및 연속파 비행 시간 이미징, 편광 이미징, 구조화된 광 이미징, 깊이 감지 또는 기타 유형의 스캐닝, 액티브 일루미네이션이 있거나 없는 2차원 및 3차원 이미징 어플리케이션들에 적용된다.
제어된 일루미네이션 하에서 이미지가 캡처될 때, 광원의 파워는 중요한 요소이다: 모든 것이 동일하고, 더 밝은 소스는 일반적으로 노출 동안 더 많은 광자를 이미징 센서에 전송하여, 더 밝고 노이즈가 덜 한 이미지를 생성할 수 있다. 하지만 광원의 밝기는 이미징 센서에 도달하는 빛의 양을 제어하는 한 가지 방법일 뿐이다. 일부 접근법은 다양한 장치를 사용하여 광원에서 캡처된 장면으로 또는 장면에서 이미징 센서로 빛을 전송한다. 이들 장치는 예를 들어, 디지털 마이크로-미러 장치, 액정 패널, 위상 변조기 등을 프로그램 가능한 것일 수 있다. 이들 경우에, 주어진 이미징 작업, 전력 및/또는 노출 시간에 대한 에너지 효율을 최대화하기 위해 이들 장치의 시공간 행동을 프로그래밍하는 것이 종종 바람직하다. 이러한 문제는 특히 짧은 노출과 저전력 제한으로 인해 빛을 낭비할 여지가 없는 라이브 이미징과 관련이 있다. 신호 대 잡음비(SNR)가 범위 및 획득 속도에 미치는 영향은 전산 이미징 및 일루미네이션 방법의 실제 적용을 심각하게 제한할 수 있다. 부가적으로, 장면을 통한 광 전파는 일반적으로 복잡한 현상이며; 예를 들어, 광은 반사 및 굴절되고, 광은 확산 및 정 반사성 상호-반사를 겪고, 광은 체적으로 산란하며, 광은 화선을 생성한다. 이미징 센서에 도달하기 전에 빛이 위의 모든 작업을 수행할 수 있다. 일반적으로 전역 또는 간접 광 전송이라고 하는 이러한 전송 이벤트들은 일반적으로 우리 주변의 물체와 장면이 불투명하거나 굴절되거나 반투명한 모양을 갖기 때문에 우리 주변의 물체와 장면의 모양을 지배하거나 크게 기여한다. 상기 복잡한 광 현상을 고려할 때, 통상적으로, 글로벌 광 전송을 분석하는 것은 극히 어렵다. 유리하게는, 본 개시물의 실시예들은 이러한 현상을 처리하기 위해 픽셀 단위의 프로그램 가능한 노출 이미징을 제공한다.
전송 인식 카메라라 불리는 직접 대 간접 입사광을 검출할 수 있는 특정 유형의 카메라는 일반적으로 프로그램 가능 광원 및 프로그램 가능 센서 마스크를 사용한다. 이러한 카메라는 예를 들어, 3D 감지, 시각적 인식, 제스처 분석, 로봇 내비게이션, 산업 검사, 의료/과학 이미징 등과 같은 다양한 응용 분야에 사용될 수 있다. 일반적으로, 전송 인식 카메라에는 프로그래밍 가능한 센서 마스킹을 구현하기 위해 기계적으로 변형되는 대형 디지털 마이크로 미러 장치(DMD)가 필요하다. 이 방법에는 몇 가지 단점이 있다. 예를 들어, 과도한 폼 팩터, DMD 부과 대형 렌즈 곡률로 인한 금지 왜곡, 낮은 전자 기계 마스크 업데이트 속도로 적용 범위를 크게 제한하고 높은 전력 소비로 인해 모바일 구현이 방해받으며 높은 비용이 발생한다.
본 명세서에 설명된 실시예들은 유리하게는 한 프레임 시간 동안 픽셀 단위의 프로그램 가능 노출을 갖는 이미지 감지 방법의 클래스의 광학 이미지 센서(또는 이미저), 이미지 감지 시스템 및 이미지 감지 방법을 제공한다. 각 픽셀이 노출 시간 동안 거의 모든 입사광을 기록하는 다른 이미지 센서들과는 다르게, PPEI (Pixel-wise Programmable Exposure Imager)는 각 개별 픽셀의 입사광을 수집하여 한 프레임 시간 동안의 임의의 간격으로 하나, 둘 또는 여러 개의 출력으로 정렬하도록 프로그래밍할 수 있다.
일 예로서, 본 명세서에서 설명된 바와 같이, 본 실시예의 이미지 센서는 전송 인식 이미징 기술에서 직접 및 간접 광을 검출하는데 유리하게 사용될 수 있다. 본 실시예의 이미지 센서는 또한 예를 들어, 강도 기반 이미징, 가시 광선 또는 적외선 이미징, 스펙트럼 이미징, 임펄스 기반 및 연속파 비행 시간 이미징, 편광 이미징, 구조 광 이미징, 깊이 감지, 다른 유형의 2D 및 3D 이미징 액티브 일루미네이션이 있거나 없는 애플리케이션 등과 같은 다른 응용에 사용될 수 있다.
본 명세서에 설명된 특정 실시예에서, "불필요한" 광 경로를 무시함으로써 광 전송의 특정 구성 요소들, 예를 들어, 직접 전용 기여, 간접 전용 기여, 거울 간접 기여 등이 선택될 수 있어서, 이미징 센서 상에 형성된 이미지에 기여할 수 없다. 일 실시예에서, 이는 하나의 서브 프레임 또는 프레임 기간 내에서 광원(예: 프로젝터)과 그것의 대상(이미징 센서에서의) 모두에서 빛을 동기적으로 제어하여 이루어질 수 있다. 1개의 이미지를 획득하기 위해, 임의로 프로그램 가능한 패턴의 전체 'N'시퀀스가 하나 이상의 객체 장면상으로 투영된다. 예시적인 일 실시예에서, 30Hz 비디오 프레임 당 최대 1000 개의 마스크 패턴이 있다. 투영 동안, 이미징 센서는 'N'개의 "서브-프레임들"에 걸쳐 광을 통합한다. 동시에, 제1 패턴들로부터 유래되고 록스텝(lockstep)에서 적용된 'N'개의 패턴들의 제2 시퀀스가 일부 경우들에서는 마스크에 의해 영향을 받는 픽셀들에서 광이 등록하는 것을 방지하거나, 다른 경우들에서는 광이 또 다른 버킷으로 향하게 하는 임의의 프로그램 가능한 픽셀 마스크(본 명세서에서 설명된 바와 같은)를 제어한다. 그러므로 이 예에서, 직접적 및/또는 간접적 경로들의 세트인 전체적인 이미징 거동은 프로젝터(projector) 패턴들과 센서 마스크들의 정밀한 시퀀스에 의해 결정될 수 있다.
전송 인식 이미징의 실제적인 실현은 일반적으로 이미징 센서에서 어떤 광 경로가 수신되고 차단되는지를 정확하게 픽셀 단위로 제어할 것을 요구한다. 유리하게, 본 실시예들은 기계적 기반 장치를 필요로 하지 않고, 예를 들어 전송 인식 이미징에서 임의의 픽셀 단위 시간 프로그램 가능 노출을 수행하기 위한 시스템 및 방법을 제공한다.
이제, 도 1을 참조하면, 일 실시예에 따른 픽셀-단위 이미징을 위한 시스템(100)이 도시된다. 당업자에 의해 이해되는 바와 같이, 일부 경우들에서는, 시스템(100)의 일부 구성성분들이 별도의 하드웨어 구현예들에서 실행될 수 있다. 다른 경우들에서는, 시스템(100)의 일부 구성성분들이 국부적으로 또는 원격으로 분포될 수 있는 하나 이상의 범용 프로세서들에서 구현될 수 있다.
도 1은 시스템(100)의 일 실시예의 다양한 물리적 및 로직 구성성분들을 보여준다. 도시된 바와 같이, 시스템(100)은 하나 이상의 프로세서(102)들, 데이터 저장소(104), 출력 인터페이스(106), 이미지 센서(110), 제어 모듈(112), 신호 저장 모듈(114), 디지털화 모듈(116) 및 구성성분들이 서로 통신하는 것을 가능하게 하는 로컬 버스(118)를 포함하는 다수의 물리적 및 로직 구성성분들을 가진다. 일 실시예에서, 제어 모듈(112)은 하나 이상의 프로세서에서 실행될 수 있다. 다른 실시예들에서, 제어 모듈(112)은 하드웨어에서 또는 전용 프로세서를 통해 구현될 수 있다.
출력 인터페이스(106)는 본 명세서에 기술된 바와 같이 다른 전자 장치 또는 컴퓨팅 장치가 데이터(마스크 데이터와 같은)를 전송하거나 시스템(100)으로부터의 출력을 수신할 수 있게 한다. 일부 실시예들에서, 출력 인터페이스(106)는 사용자 인터페이스(106)가 예를 들어 디스플레이 또는 모니터를 통해 이러한 출력을 볼 수있게 한다. 일부 경우들에서, 시스템(100)으로부터의 출력들은 데이터 저장소(104)에 또한 저장될 수 있다. 일 예에서, 시스템(100)은 운송 인식 이미징을 위해 사용될 수 있고, 그러한 경우 이미지 센서(110)는 바람직한 광 경로들을 선택하기 위해 임의의 픽셀 마스킹을 사용할 수 있다. 일부 경우들에서, 이러한 마스킹은 상이한 모양들을 취할 수 있고 단일 이미지 프레임 노출 동안 여러번 변경될 수 있다.
도 2a는 단일 프레임에서 복수의 연속 서브 프레임에 대한 예시적인 목적을위한 픽셀 마스킹의 예들을 보여준다. 제1 예(302)에서, 연속 서브 프레임에서 오직 하나의 수평 라인의 픽셀만이 광을 등록하고 있는 롤링 마스킹; 전통적인 롤링 셔터 장치를 모방하는 롤링 마스킹이 예시된다. 제2 예(304)에서는 연속 서브 프레임들에서, 픽셀들의 그루핑만이 광을 등록하는 롤링 밴드 마스킹이 도시되고, 이러한 그루핑은 픽셀들의 전체 라인 미만이다. 제3 예(306)에서는, 임의의 마스킹이 적용된다. 이 경우 "임의(Arbitraty)"는 이미징 센서(110)에서 하나 이상의 픽셀의 임의의 배열 또는 조합으로 광을 등록하는 것을 의미하고; 그러한 픽셀들은 반드시 서로 이웃하는 것은 아니다. 이러한 배열은 하나의 서브프레임으로부터 그 다음 서브프레임으로 변경될 수 있다.
따라서, 시스템(100)은 어느 픽셀들이 마스크되어야 하는지를 개별적으로 선택할 수 있다. 일 실시예에서, 픽셀이 "마스킹"될 때, 본 명세서에서 제1 "버킷 (bucket)"으로 지칭되는, 그 픽셀과 연관된 신호 저장 모듈(114)의 제1 신호 컬렉션 노드는 그러한 각각의 픽셀로부터 신호를 통합(수집)하지 않는다. 일부 경우들에서는 대신에 그러한 픽셀과 연관된 신호 저장 모듈(114)에서의 제2 신호 컬렉션 노드(대안적인 버킷 또는 제2 버킷)이 그러한 신호로부터의 전하를 통합한다. 이는 시스템(100)이 수신된 광자들의 그 어느 것도 잃어버리지 않으면서 마스킹을 구현하는 것을 허용하고, 따라서 시스템(100)이 더 효율적이 되는 것을 허용한다. 일부 경우들에서, 제2 버킷에 의해 수집된 "상보적인" 신호는 다양한 컴퓨터 이미징 애적용예에서 사용될 수 있다. 반대로, 픽셀이 "노출"되고 마스킹이 적용되지 않은 경우, 제1 버킷은 각각의 픽셀로부터 신호를 수집하고 제2 버킷은 신호를 수신하지 않을 것이다. 도 2b는 이러한 접근법의 전형적인 예시를 보여준다. 특별한 픽셀과 연관된 마스킹 비트가 제어 로직 모듈에서 '0'일 때, 그러한 픽셀에서 수신된 광자들은 제2 버킷에서 통합된다. 반대로, 마스킹 비트가 1일 때에는, 그러한 픽셀에서 수신된 광자들이 제1 버킷에서 통합된다. 이 경우, 그러함 마스킹 비트는 모든 서브-프레임에 대해 변경될 수 있다.
도 3은 제어 로직 모듈(112)의 전형적인 실시예를 예시한다. 픽셀 단위의 마스크들을 로드, 저장 및 적용하기 위해서는 픽셀내(in-pixel) 메모리가 사용될 수 있다. 도 3은 픽셀 마스크들을 정렬하기 위해 필요한 메모리가 그러한 픽셀에 제공되거나 내장되는 픽셀의 일 실시예의 전형적인 그림을 도시한다. 일부 경우들에서는, 마스크 값에 기초하여 하나 이상의 버킷으로의 신호 "정렬"을 제어하기 위해 로직 회로가 포함될 수도 있다. 센서에서 픽셀에 의해 수신된 광에 대한 하나 이상의 버킷으로의 신호(전자들)의 정렬은 각각의 마스크 값에 기초한 적절한 버킷을 선택함으로써 다중 버킷 광자 혼합 장치(PMD)로서 작용하는 제어 로직 모듈(112)에 의해 수행될 수 있다. 시스템(100)은 하나 이상의 ("k") 버킷들을 가질 수 있고, 따라서 출력 인터페이스(106) 또는 데이터 저장소(104)에 대한 "k"개의 상이한 픽셀 출력(판독)을 가질 수 있다.
시스템(100)의 특정 실시예는 신호 저장 모듈(114)에서 픽셀 당 2개의 버킷이 있는 경우이다. 이 실시예에서, 각 픽셀에 의해 수신된 신호는 그 픽셀과 관련된 2개의 버킷(2개의 저장 노드) 사이에서 분리될 것이다. 이러한 배열은 도 4에서의 그림에 예시된다. 이 예에서, 일부 경우들에서는 순차적으로, 픽셀들 각각이 광에 노출되기 전에, 임의의 패턴 코드가 제어 로직 모듈(112)에 로드된다. 마스킹 비트들 각각에 대한 값을 디코드하기 위해 제어 로직 모듈(112)에서의 로직 게이트들이 사용될 수 있고 따라서 제어 로직 모듈(112)에서의 픽셀 판독 회로에 적절한 제어 신호들을 제공한다. 이들 제어 신호들은 이미징 센서(110)에서의 픽셀 포토다이오드로부터 신호 저장 모듈(114)에서의 2개의 저장 노드들(버킷들 또는 플로팅 확산 노드들) 중 하나로의 전하 전송을 제어하기 위해 사용될 수 있다. 도 4의 예에서, 만약 마스킹 비트가 픽셀이 마스킹되어야한다는 신호를 보내는 경우, 제어 로직은 그러한 제어 신호를 제공하여 포토 다이오드로부터 제1 저장 노드로의 전하 (신호) 전송을 차단하고, 포토다이오드로부터 제2 저장 노드로의 전하(신호) 전송을 허용하는 제어 신호들을 제공하게 된다. 일부 경우들에서, 디지털화 모듈(114)에서의 픽셀 출력 증폭기들은 대응하는 저장 노드로부터 신호(이 경우 전압)를 취하고 그것을 각각의 픽셀 판독 열 라인으로 전송(또는 다시 말해, 그것을 버퍼링함)할 수 있다. 도 4에 도시된 바와 같이, 제어 로직 모듈(112)에서 마스크 비트들을 저장하기 위한 메모리는 2개의 별개의 블록들로 쪼개지는데, 즉 마스킹 비트들의 그 다음 패턴을 미리 로드하기 위한 제1 메모리 블록과 마스킹 비트들의 현재 패턴을 적용하기 위한 제2 메모리 블록으로 쪼개진다. 마스크 로드, 저장 및 사용을 구현할 때, 그것은 신호 수집을 위해 이용 가능한 시간을 제한하지 않기 위해 픽셀 노출과는 독립적으로 마스크 취급을 유지하기 위해 유용할 수 있다. 그러므로 마스킹 비트의 사전 저장의 파이프 라인 동작은 2개의 메모리 블록을 통해 사용될 수 있다. 파이프 라인 작업은 마스크를 모든 픽셀에 동시에(전역적으로) 적용할 수 있다는 이점이 있다.
본 개시물이 이미지 센서(110)를 포토다이오드로서 참조하지만, 임의의 적합한 광 검출기가 사용될 수 있으며; 예를 들어, 핀드-포토다이오드, 포토 게이트, 전하 결합 장치, 전하 주입 장치, 단일 광자 애벌랜치 다이오드 등이 사용될 수 있다. 본 실시예는 가시 광선 스펙트럼을 참조하지만, 본 명세서에서 참조되는 광은 가시 광선 스펙트럼과 함께 또는 가시 광선 대신에 예를 들어, 자외선, 근적외선, 단파 적외선 및/또는 장파 적외선에서 전자기 스펙트럼의 임의의 부분을 포함하는 것으로 이해된다.
상기 예시적인 구조를 사용하는 픽셀의 회로 구조의 예가 도 5에 도시되어 있다. 제1 메모리 블록에서 제1 메모리 셀(래치)은 마스크 비트를 저장하는데 사용된다. 마스크 비트 신호는 수직으로 라우팅되며 단일 열에 대해 물리적으로 동일하다. 해당 LOAD ROW 트리거 신호가 도착하면 마스크들의 전체 행이 동시에 로드된다. 일부 경우들에서는, 마스크 비트는 별도의 채널을 통해 직렬로 로드될 수 있으며, 비트는 병렬 데이터, 즉 모든 개별 열당 1 비트로 직렬화 해제될 수 있다. 모든 마스크가 모든 행에 대해 개별적으로 로드되면 전체 프레임에 대한 전체 마스크가 두 번째 메모리 블록에서 두 번째 래치에 의해 래치된다. 단일 서브프레임에 대한 이러한 마스크 로딩 접근법의 일 예는 도 6의 예시에서 예증된다. 마스크 로딩 접근법은 단일 프레임 내의 모든 서브 프레임에 대해 반복될 수 있다. 2개의 메모리 블록은 현재 서브 프레임에 대한 노광의 마스킹을 허용하고, 다음 서브 프레임에 대한 마스킹 패턴은 행별로(row-by-row) 로드된다. 결과적으로 마스크 직렬화 해제 작업을 파이프라이닝하고 일반 픽셀 작업으로 로딩한다. 첫 번째 셀은 순차적인 "행별" 방식으로 마스크를 로드하는 데 사용된다. 모든 행이 대응하는 마스크를 수신하면, 마스크는 제2 메모리 셀을 로드함으로써 동시에 전체 픽셀 어레이에 적용된다. 래치된 마스크 비트의 상태에 따라, 제어 로직 모듈(112)에서 스위치(SW1 및 SW2)는 신호 저장 모듈(114)에서 적절한 버킷을 향해 수집된 전하를 조종하는데 사용될 수 있다. 이 경우 커패시터 CFD1로 표시되는 첫 번째 버킷 또는 커패시터 CFD2로 표시되는 두 번째 버킷이다. 또한, 판독 중 스위치들 중 하나가 유지되기 때문에, 스위치의 채널 커패시턴스는 전체 플로팅 확산 커패시턴스를 변조한다. 이는 픽셀이 본질적으로 2개의 버킷에서 다른 변환 이득을 갖도록 한다. 직접 및 간접 광 수집의 예시적인 적용을 위해, 이것은 일반적으로 직접 광이 간접 광보다 상당히 높은 전력을 갖기 때문에 유리한 특징이다. 도 5의 회로 구조의 전형적인 구현예가 도 7에서의 트랜지스터 배열을 사용하여 도시되어 있고, 이 경우 제2 래치의 출력 'Q'은 'C'에 연결되고, 제2 래치의 출력 'Q'-바(bar)는 'Cb'에 연결되며, 'CD'는 버킷들에서의 전하들을 분출시키기 위해 사용된다.
도 35a 내지 도 35d에 도시된 것처럼, 광은 경로에 관계없이 기존의 카메라 또는 다른 이미지 센서에 의해 캡처된다. 대조적으로, 시스템(100)의 적용은 광의 경로에 기초하여 광을 차별적으로 캡처하는 것이다. 시스템(100)을 사용하여 단일 픽셀에서 에피폴라(epipolar) 직접 및 간접 광의 캡처의 일 예가 각각 도 36a와 도 36b에 예시된다. 일부 경우들에서, 프로젝터(또는 광원)는 한 시트(sheet)의 광을 투영하거나 다른 경우 래스터 스캔 작업을 통해 투영할 수 있다. 도 36a 및 도 36b는 각각 n개의 서브프레임 중 예시적인 서브 프레임을 도시한다. 도 36a는 특정 핏셀의 직접 광 경로를 캡처하는 것을 예시한다. 도 36b는 간접(산란 및 반사) 광을 캡처하는 것을 예시한다. 프로젝터(이 경우 대응하는 픽셀들의 평면)에서 투영된 패턴에 대응하는 이미지 센서(110)에서 픽셀들의 세트(이 경우 픽셀들의 평면)를 규정함으로써, 이미지 센서는 직접 경로를 갖는 광으로부터 신호 저장 모듈(114)의 제1 버킷의 광을 수집하고 간접 경로를 갖는 광으로부터 신호 저장 모듈(114)의 제2 버킷의 광을 수집할 수 있다. 픽셀 세트는 제어 로직 모듈(112)을 사용하여 이미지 센서(110)에서 규정될 수 있으며, 예를 들어, 직접 광 경로에 대응하는 픽셀에 대해서는 1의 마스크 값을, 간접 광 경로들에 대응하는 픽셀들에 대해 0의 마스크 값을 적용한다.
직접 광 경로들만 또는 간접 광 경로들만 원해지는 추가 실시예들에서는, 대응하는 픽셀들로부터 수신된 광만이 신호 저장 모듈(114)에 저장되고 다른 수신된 광은 폐기된다. 이러한 방식으로, 일부 경우에, 기성품(off-the-shelf) 이미지 센서(110)는 특정 일루미네이션 및 타이밍 조건 하에서 사용될 수 있다.
일부 경우들에서는, 이미지 센서(110)에 연결된 렌즈로부터, 일부 경우들에는 프로젝터에 연결된 방사형 왜곡이 있을 수 있다. 렌즈는 도 37a에 도시된 바와 같이 프로젝터로부터 직선 경로가 이미지 센서(110) 상의 곡선 경로에 매핑되게 할 수있다. 롤링 셔터 이미지 센서(110)의 경우에는 타이밍 조건들이 주위 또는 간접 차단 성능에 있어서의 상당한 손실을 가져올 수 있다. 도 37b에 도시된 바와 같이 시스템(100)을 사용하게 되면 마스크 패턴은 렌즈로 인한 광의 곡선 경로를 수용하기 위해 이미지 센서(110)를 곡선 방식으로 마스킹하도록 프로그래밍될 수 있다.
도 38a 및 도 38b는 대응하는 픽셀의 다중 평면(및 다른 형상들)을 포함하는 보다 복잡한 마스킹 패턴 및 투영 패턴의 예를 도시한다. 이 경우, 프로젝터는 이미지 센서(110)에서의 픽셀 마스킹 패턴에 대응하는 임의의 투영 패턴을 투영할 수 있다. 예를 들어, 프로젝터 DLP-기반 프로젝터일 수 있다. 이러한 시스템(100)은 신호 저장 모듈(114)의 하나의 버킷에서 직접 +1/2 간접 광 및 신호 저장 모듈(114)의 다른 버킷에서 1/2 간접 광을 수집한다. 도 38a 및 도 38b는 2개의 상이한 서브프레임들에서 하나의 픽셀에 대한 일 예를 예시한다. 도 38a는 버킷 1에서의 직접 +1/2 간접의 수집을 보여주고, 도 38b는 버킷 2에서의 1/2 간접의 수집을 보여준다. 이 경우, 직접-경로만의 기여들을 갖는 이미지가 버킷 1의 픽셀 값들로부터 버킷 2의 픽셀 값들을 뺌으로써 얻어질 수 있다.
도 36a 내지 도 38b는 본 개시물의 표현의 용이함을 위해 단순화된 예시물들임을 알게 될 것이다. 실제 상황들에서는, 이미지 센서(110)와 프로젝터가 그러한 프로젝터의 픽셀들의 이미지 센서(110)의 픽셀들로의 맵핑이 픽셀 마스크들과 그에 따라 결정된 투영 패턴들을 가지고 결정될 수 있도록 조정될 수 있다. 실제로, 그것들이 사용되는 상황들에 따라, 픽셀 마스크들과 투영 패턴들은 반드시 상보적으로 보일 필요는 없다.
입체 쌍(stereo pair)(이 경우 이미지 센서와 프로젝터)이 존재하는 경우들에서는, 기초 행렬(fundamental matrix) F라고 부르는 행렬이 사용될 수 있는데, 이는 프로젝터에 의해 투영된 픽셀들의 라인들로의 이미지 센서(110) 상의 픽셀들의 라인들에 관계된다. 이 기초 행렬은 시스템(100)을 프로세서들(102)을 거쳐 광의 직접 경로들을 나타내는 이미지 센서(110) 상의 픽셀들의 라인들에 대응하는 프로젝터 상의 픽셀들의 라인들을 결정하는 것을 허용한다. 예를 들면, 이미지 센서(110) 및 프로젝터 상에 각각 포인트인 x1 및 x2가 있다면, x1 및 x2가 대응하는 에피폴라 라인 상에 있는 경우에만 x1'Fx2 = 0이다. x1 또는 x2가 고정된 경우 x1'F 및 Fx2는 해당 라인의 매개 변수들을 제공한다(ax + by + c = 0). 이 경우, x1 및 x2에 동종 좌표가 사용되는데, 이는 처음 두 좌표가 이미지 센서/프로젝터에서 각각 x 및 y 위치이고 마지막 좌표가 1인 3D 벡터들이라는 것을 의미한다. 따라서, 기초 행렬 F는 대응하는 에피폴라 라인들을 찾기 위해 사용될 수 있다.
일 예에서, 기초 행렬은 기본 매트릭스는 대응 관계를 사용하여 결정될 수 있다. x1'Fx2 = 0이므로, 이미지 센서(110)와 프로젝터 사이의 대응 관계가 결정될 수 있으며, 이는 대응 관계의 리스트(x1 및 x2)들을 제공한다. 선형 등식들의 시스템이 기초 행렬 F의 요소들을 결정하기 위해 풀어질 수 있다.
본 실시예들에서, 래치는 메모리로서 사용될 수 있지만, 추가 실시예들에서는 예를 들면, 플립-플롭, SRAM, DRAM, FLASH, 멤리스터(memristor), PCM, 자기 하드-드라이브, 전하 버킷 등과 같은 임의의 적합한 데이터 메모리 저장 디바이스가 사용될 수 있다.
일반적으로, 물리적 레벨에서, 신호 마스킹(또는 혼합 또는 정렬)은 다수의 전하 전송 게이트들의 구현예를 사용하고, 이 경우 신호(수신된 광 에너지의 결과로서의 전자들의 흐름)를 적절한 버킷 쪽으로 운반하기 위해 게이트들이 사용된다. 시스템(100)에 대한 통합된 회로 레이아웃의 부분들의 일 예가 도 8a에 평면도로 도시되어 있다. 이러한 전형적인 실시예는 2개의 버킷들(플로팅 확산들-FD1 및 FD2이라고 지칭됨)을 사용한다. 플로팅 확산은 P-도핑된 기판에서 위치하는 실리콘의 n-도핑된 영역으로서 구현된다. TX1과 TX2는 제어 로직을 구현하기 위한 트랜스퍼 게이트들이고, 그러한 게이트들은 다결정 실리콘을 사용하여 구현된다. 이미지 센서(110)는 약하게 도핑된 p-기판(포토다이오드) 상에 주입된 N-도핑된 영역의 상부에 위치하는 얇은 고농도 도핑된 p-층(피닝(pinning) 층)을 갖는 PNP형 구조의 핀드-포토다이오드이다. 또 다른 전형적인 실시예는 도 8b에 도시되어 있고, 이러한 도 8b는 복수의 (k)개의 버킷들을 예시한다. 그러므로 더 많은 수의 트렌스퍼 게이트(TX1, TX2, ... TXk)와 더 많은 수의 플로팅 확산 노드(FD1, FD2 ... FDk)가 필요하다.
임의의 픽셀 단위 프로그램 가능한 노출은 신호 저장 모듈(114)에서의 픽셀 내 신호 저장 노드들 및 제어 로직 모듈(112)에서의 트랜스퍼 게이트들의 조합을 사용하여 구현될 수 있다. 위의 것에 대한 집적 회로 레이아웃의 다른 예시적인 구현예의 단면도가 도 10에 도시되어 있다. 이 예에서, 핀드 다이오드 구조는 광검출기와 신호 저장 디바이스로\ 모두로서 사용된다. 위 것에 대한 집적 회로 레이아웃은 도 9에 도시되고, 그것의 동작에 대한 대응하는 신호 파형들은 도 11에 도시되어 있다. 이 예에서, 도 9에 도시된 것처럼, TXg는 각 서브프레임의 끝에서 신호 저장 모듈(114)에서 이미지 센서(110)에서의 핀드 포토다이오드(PPD)로부터 저장 노드로의 신호(전하)의 전송을 위해 사용된 신호 저장 모듈(114)에서의 글로벌 전송 게이트이다. 이러한 전송은 이미지 센서(110) 픽셀 어레이에서의 각 픽셀에 대한 동일한 시각에서 완료된다. 저장 노드의 구조는 핀드 포토다이오드(PPD) 디바이스와 유사하지만, 그것은 다가오는 광으로부터 차폐되고 전하를 저장하기 위해서만 사용되며, 따라서 광검출 핀드 포토다이오드와 같이 광 유도된 전자들을 수집하기 위해 사용되지 않는다. 제어 로직 모듈(112)에서의 전송 게이트들(TX1, TX2)은 버킷들로의 전하의 흐름을 제어하기 위해 사용되는데, 이 경우 플로팅 확산들이라고 지칭되는 2개의 버킷(FD1, FD2)가 사용된다. 이러한 전송 게이트는 전술한 바와 같이, 마스킹 비트의 값에 기초하여 제어된다. 그러므로 도 11의 파형에서 예시된 것처럼 모든 서브프레임 후 글로벌 전송 게이트(TXg)의 전압을 높아진다. 전송 게이트들(TX1 및 TX2)의 전압들은 순차적인 방식으로(예를 들면 행 단위로) 각 서브프레임의 시작으로부터 시작하여 높아진다. 픽셀들의 각 행들에서의 각 픽셀에 대한 저장 노드가 각 픽셀에 대한 마스킹 비트의 값에 따라 순차적으로 판독되기 때문에, 상이한 전송 게이트가 각 픽셀에 대해 하이(high)로 설정될 수 있다(TX1 또는 TX2). 그러므로 이 예에서는 이전 서브프레임과 연관된 저장 노드에서의 저장된 전하는 플로팅 확산으로 전송될 수 있는데 반해, 핀드 포토다이오드는 현재 서브프레임의 통합하는(수집하는) 전하이다.
추가 경우들에서는 시스템(100)의 임의의 픽셀 단위의 노출 제어가 사용될 수 있고, 다양한 이미징 양식들로 적용될 수 있다. 도 12는 연속파 비행 시간 이미저리(imagery)에서 사용하기 위한 시스템(100)의 부분들의 전형적인 레이아웃을 예시한다. 비행 시간 이미징 기술은 시스템(100)의 프로세서(102)가 장면에서의 객체들에 대한 거리를 측정할 수 있게 함으로써 그러한 장면의 3D 보기(view)를 재구성할 수 있게 하는 광 강도의 시간 변조(광원에서) 및 복조(센서 측에서의)를 수반한다. 이 거리들은 전송 및 수신된 광 신호 강도 간의 위상차를 추정하여 측정된다. 수신 된 광 신호는 광이 광원으로부터 물체로 이동하고 반사된 후 센서로 다시 이동하는데 필요한 시간으로 인해 투과된 광과 비교하여 위상 변이를 갖는다. 이것은 시스템(100)이 코드 노출 및 비행 시간 센서로서 동시에 작동하여 3D 이미징을 모든 유형의 다중 경로 및 배경 간섭에 둔감하게 한다. 이것은 시스템(100)이 성능을 향상시키고 예를 들어,“모퉁이를 보는 것”과 같은 비행 시간 이미징 또는 시간 인코딩을 통한 성긴 디콘볼루션(sparse deconvolution)과 같은 유리한 기능을 가질 수 있게 한다. 시각 장면의 3D 표현을 제공하는 능력으로 인해 비행 시간은 시스템(100)의 유리한 적용예를 나타낸다.
도 13은 비행 시간 픽셀 마스킹을 구현하기 위한 신호 파형들을 보여주는 하나의 픽셀에 대한 전형적인 타이밍도를 예시한다. 픽셀이 마스크될 때(2진 코드 1로 나타내어진), 제어 로직 모듈(112)에서의 비행 시간 변조 게이트들(TX1 및 TX2) 모두 닫히고, 따라서 어떠한 신호도 통합되지 않는다. 제어 로직 모듈(112)의 드레인 게이트(TXD)들은 그 시점에 개방되어 연속 신호 샘플들 사이의 간섭을 피하기 위해 광 검출기로부터 임의의 잔류 전하(신호)를 배출한다. 픽셀이 노출되어진다고도 알려지는 것과 같이 언마스크(unmask)될 때(2진 코드 0으로 나타내어진), 제어 로직 모듈(112)에서의 변조 게이트들(TX1 및 TX2)은 신호 저장 모듈(114)에서의 버킷들(FD1, FD2)이 복조 신호의 형상과 위상에 기초한 신호를 수집하도록 대안적으로 열린다. 도 13의 경우에, 제1 버킷(FD1)은 변조된 광원과 연관된 변조 신호가 온일 때 신호를 수신하고, 제2 버킷(FD2)은 변조 신호가 오프일 때 신호를 수신한다. 이러한 식으로, 변조된 광원과 이미지 센서에서의 수신된 신호 사이의 위상 차이가 결정될 수 있고, 따라서 비행 시간을 결정하기 위해 사용될 수 있다.
도 14는 멀티-픽셀 어레이에 대한 시스템(100)의 부분들의 전형적인 구조를 예시한다. 이러한 구현예는 도 7에 관해 설명된 것처럼 행단위로 비트 마스크들을 순차적으로 로드하고 그런 다음 픽셀 어레이를 대략적으로 동시에 마스크하기 위해 서브프레임에 대해 전역적으로 마스크들을 적용하기 위해 2개의 픽셀 내(in-pixel) 래치들의 조합을 사용한다.
시스템(100)의 부분들의 CMOS 이미지 센서 구현예의 또 다른 예가 도 15에 도시된다. 도시된 바와 같이, 이미징 센서에 대한 인터페이스들과 주변 회로들의 통상적인 배열이 존재한다. 이 예시적인 구현을 위한 마스킹 데이터의 신호 파형들을 보여주는 타이밍도의 일 예가 도 6에 도시된다.
시스템(100)의 부분들의 또 다른 전형적인 구조가 도 16에 도시된다. 이 경우 주변 회로들과 이미징 센서에 대한 인터페이스들은 픽셀 어레이의 상부측과 바닥측 사이에서 쪼개진다.
도 17은 이미징 센서(110)의 라인 센서 유형에 적용된 바와 같은 시스템(100)의 부품들의 임의의 픽셀 단위의 프로그램 가능한 노출의 또 다른 예를 예시한다. 라인 센서들은 하나의 단일 픽셀 행, 또는 상이한 픽셀들의 다수의 행들을 통해 광자들을 캡처할 수 있다. 일부 경우들에서, 제어 로직 모듈(112)의 마스크 로딩 회로들은 픽셀들의 각각에 인접하게 연결될 수 있다. 다른 경우들에서는 마스크 로딩 회로들이 픽셀 라인/어레이 영역에 대해 주변에 위치할 수 있다. 도 17에 도시된 개략적인 예에서, 마스크 로딩 및 신호 변조 회로들은 픽셀 어레이의 일 측 상에 위치하고 다른 측 상에는 판독 회로들이 위치한다. 온-칩(on-chip) 및 오프-침(off-chip) 모두를 포함하는 이들 회로들을 배열하는 다른 방식들이 또한 가능하다.
도 18은 카메라 환경에서의 시스템(100)의 전형적인 구현예이다. 이 경우, 픽셀 마다의 프로그램가능한 노출 이미지 센서(110)는 이미저 집적 회로(IC)로서 표시된다. 카메라 환경은 이 경우 DRAM에 마스킹 제어들이 저장되고 FPGA에 의해 이미지 IC에 보내진 오프-이미저-칩 DRAM 메모리(DDR)에 의해 도시된 데이터 저장소(104)를 포함한다. 코드-저장 메모리는 또한 이미저 IC 상에서 직접 구현될 수 있거나 또 다른 IC 와이어-결합된 플립-칩 결합되거나 그것과 칩-적층(chip-stack)될 수 있다. 디지털화 모듈(116)(여기서는 ADC(analog-to-digital converter)로서 표시된)은 아날로그 전하들로부터의 신호를 디지턱 값들로 전환하고, 일부 경우들에서는 칩으로부터 벗어나 위치할 수 있다. 다른 경우들에서는, ADC가 또한 온-이미저-칩(on-imager-chip)으로 구현될 수 있다.
본 명세서에서 설명된 실시예들은 공간 및 시간 노출 코딩을 결합하여 픽셀 당 프로그램 능력을 전달하고 따라서 이미징 애플리케이션들에 향상된 성능 능력을 전달하는 이미지 감지 시스템들을 제공할 수 있다. 출원인에 의해 행해진 시험에 의해 예증된 바와 같이, 시스템(100)에 의해 가능한 1개의 비디오 프레임 내의 임의의 패턴-마스크 노출들의 개수는 초당 30개의 프레임의 공칭 프레임 속도(rate)로 1000에 도달하고 1000을 초과할 수 있다. 이는 디지털 마이크로-미러 장치, 액정 패널, 위상 변조기 등을 사용하는 임의의 접근법과 비교하여 처리된 감각 정보의 양이 상당히 증가하는 것이다.
또한, 본 명세서에 설명된 실시예를 이용하는 카메라는 굴절 및 산란이 선택적으로 차단되거나 향상될 수 있는 적용예들에 유리하게 사용될 수 있다. 예를 들어, 육안으로 시각적 구조를 너무 미묘하게 알아 차리게 하는 것이 명백해질 수 있다. 다른 예에서, 물체 표면은 종래의 이미징 기술로 가능한 것 이상의 직사광선과 같은 까다로운 조건 하에서 비행 시간 접근법을 사용하여 3 차원으로 재구성될 수있다. 따라서, 본 실시예들을 사용하는 "깊이 카메라"는 컴퓨터 비전 및 로봇 기술들에 엄청난 영향을 미칠 수 있다.
본 명세서에 설명된 실시예를 사용하여, 전송 인식 이미저는 광선이 장면을 통과한 실제 3D 경로에 따라 그 빛의 일부만을 선택적으로 검출하도록 프로그래밍 될 수 있다. 이러한 이미저의 응용 영역은 예를 들어 3D 감지, 시각적 인식, 제스처 분석, 로봇 내비게이션, 산업 검사 및 의료/과학 이미징 등과 같이 다양하다. 기존의 전송 인식 카메라 프로토타입은 일반적으로 프로그래밍 가능한 센서 마스킹을 구현하기 위해 기계적으로 변형되는 대형 디지털 마이크로 미러 장치(DMD)를 필요로 하는데, 이는 다수의 상당한 단점들을 가져오는데, 예를 들면 그것들은 휴대용 가전 제품에 대한 장벽인 지나치게 큰 폼 팩터를 가지고 있으며, 그것들은 DMD 부과 큰 렌즈 곡률로 인해 엄청나게 높은 수준의 왜곡을 가지며, 그것들은 응용 범위를 크게 제한하는 낮은 전기 기계 마스크 업데이트 속도들을 가지고, 그것들은 모바일 구현을 방해하는 높은 전력 손실을 가지고 있으며 엄청나게 높은 비용을 가지고 있다. 대조적으로, 본 명세서에 기술된 실시예는 코드 노출 노광 이미징 (CEI)에서 이전에는 달성할 수 없는 다목적성을 제공한다.
실험들에서, 저전력 프로젝터를 사용하여, 시스템(100)은 몇 가지 일반적으로 독특한 능력을 보여주었다. 예를 들어, 까다로운 시각적 장면 조건에서 3D 객체를 재구성한다. 도 27은 종래의 카메라(위) 및 시스템(100)(아래)을 갖는 1600 루멘 전구의 캡처된 3D 맵을 보여준다. 도 28은 종래의 카메라(위)와 밝은 햇빛 아래 시스템(100)(아래)을 사용한 3D 이미징으로 밝은 햇빛에서 이미지를 보여준다. 도 29a는 시스템(100)을 사용하여 장면에서 한 번만 반사된 직접 광만을 캡처하는 것을 보여준다. 도 29b는 시스템(100)을 사용하여 장면에서 여러 번 반사된 광인 간접광만 캡처하는 것을 보여주는 이번 시간을 제외한 동일한 장면을 보여준다. 도 30a는 시스템(100)이 간접광만을 캡처하는데 사용되어 적어도 부분적으로 라텍스 장갑을 통해 볼 수 있음을 보여주거나, 또는 도 30b에 도시 된 바와 같이, 적어도 부분적으로, 인간 손의 피부를 통해 본다. 도 31a는 종래의 카레아에 의해 캡처된 아이스 블록들의 장면을 보여준다. 도 31c는 직접 광만이 이동하는 시간을 감지함으로써, 시스템(100)을 사용하는 아이스 블록들의 3D 이미징을 보여준다. 도 도 31b와는 대조적으로, 간접적인 광(카메라로 돌아 오기 전에 다수의 물체들에 되튀는)이 결과 이미지를 왜곡시키고 깊이 해상도를 감소시키는 종래의 비행 시간 이미징을 사용하여 캡처된 3D 이미지를 도시한다.
본 명세서에 기술된 바와 같은 비행 시간 카메라는 비전 및 계산 사진 작업, 고속 모션 분석을 위한 비동기 이미징을 지원하는 이벤트 카메라 및 3D 스캐닝을 위해 사용될 수 있다. 본 명세서에 설명된 시스템(100)을 사용하여, 적어도 비행 시간 이미징을 위해 코딩된 2-버킷(C2B) 카메라가 구현될 수 있다. C2B 카메라는 일반적으로 입사광을 차단하지 않는 코딩된 노출 카메라이다. 대신에, 그것은 픽셀과 관련된 신호 저장 모듈(114)에서 2개의 "버킷"중 어느 것이 그것을 통합해야 하는지를 제어함으로써 각 픽셀에 도달하는 입사광을 변조한다. 이러한 식으로, 시스템(100)은 비디오 프레임 당 2개의 이미지(버킷 당 1개)를 출력할 수 있고, 2진 2D 마스킹 패턴들을 통해 액티브 버킷의 픽셀 단위로 신속하고 완전 프로그래밍 가능한 제어를 허용한다.
C2B 카메라의 광 효율 및 전자 변조는 특히 코드-노출 이미징 및 광 전송 분석 작업에 적합하다. 후술되는 바와 같이, 시스템(100)의 예시적인 적용예는 치밀한 원샷 3 차원(3D) 재구성을 위한 것이다. 구체적으로, 액티브 일루미네이션 하에서 동적 장면의 하나의 C2B 비디오 프레임을 사용하여, 픽셀 당 시차 또는 법선을 통해 장면의 3D 스냅 샷을 이미징 센서의 픽셀 어레이에 가능한 한 가까운 해상도로 재구성한다. 본 출원인은 유리하게 본 명세서에 기술된 접근법을 사용하여 C2B 카메라가 이미지 디모자이크(image demosaicing)의 2 차원 문제를 이용함으로써 매우 기술적으로 어려운 3D 재구성 문제를 해결할 수 있다고 판단했다. 도 32는 시스템(100)을 사용하여 캡처된 이미지의 예를 도시하며, 이는 제1 버킷에서 수신되고 결정된 정상 이미지를 모두 나타낸다. 도 33은 제1 버킷에서 수신된 이미지들과, 버킷들 사이의 추정된 불일치(disparity) 모두를 깊이 정보로서 보여주는 시스템(100)을 사용하여 캡처된 이미지들 예를 도시한다.
도시된 바와 같이, C2B 카메라는 하나의 비디오 프레임에서 L-1 픽셀의 버킷에 걸쳐 다중화된 L 선형-독립 일루미네이션들 하에서 장면의 뷰들을 획득할 수 있다. 이러한 프레임을 2-버킷 일루미네이션 모자이크라고 한다. 이 모자이크의 경우, 각 픽셀에서의 버킷 측정 비율은 일루미네이션 비율이며, 이는 공간 알베도(albedo) 및/또는 반사율 변화에 덜 의존하고 잠재적으로 디모자이크하기가 더 쉽다. 또한, 일루미네이션 모자이크 또는 그것의 버킷 비율을 디모자이크함으로써, 조밀한 재구성을 위해 이미지화된 장면의 풀 해상도 이미지가 얻어질 수 있다.
일반적으로, 기존의 코드 노출 센서는 모든 픽셀의 활성 버킷을 설정하기 위해 글로벌 신호에 의존하기 때문에 픽셀 당 노출을 제어할 수 없다. 이와 관련하여, 시스템(100)을 사용하는 C2B 카메라는 픽셀 당 다수의 측정에 대한 요구, 즉 큰 픽셀, 복잡한 설계 및 작은 필 팩터(fill factor) 및 이미징 센서에서 픽셀 당 동시 측정 횟수에 대한 하드 코딩이 아닌 유연성을 유지하려는 요구 사이의 최적 트레이드 오프(tradeoff)를 허용한다.
일 실시예에서, 시스템(100)을 통합하는 C2B 카메라에서의 픽셀들은 종래의 카메라의 것들과는 상이하다. C2B 카메라에서는 각각의 픽셀이 신호 저장 모듈(114)에서의 2개의 버킷과 연관된다. 각각의 버킷은 픽셀의 광 검출기(110)에서 수신된 광을 통합하기 위한 별개의 회로, 일부 경우에는 아날로그 회로일 수 있다. 두 버킷 모두 픽셀의 감광 영역에 떨어지는 광을 통합할 수 있지만 대부분의 경우 주어진 시간에 하나만 적극적으로 통합됩니다. 전술한 바와 같이, 각각의 픽셀은 도 19에 개략적으로 도시된 바와 같이, 2개의 버킷 중 어느 것이 활성인지를 제어하는 제어 로직 모듈(112)에서 1-비트 디지털 메모리(마스크라고도 함)와 연관된다. 이 마스크는 프로그램 가능하고(도 20의 타이밍도에 도시된 바와 같이) 단일 프레임 내에서 여러 번 업데이트될 수 있으며, 각 픽셀의 관련 마스크는 픽셀마다 다를 수 있다. 각 프레임의 끝에서, 각 픽셀에 대한 디지털화 모듈(116)에 의해, 즉 픽셀의 2개의 버킷의 디지털화된 컨텐츠들에 의해 2개의 강도가 판독되고 디지털화될 수 있다. 그러므로 본 실시예에서, C2B 카메라는 비디오 프레임 당, 본 명세서에서 각각 버킷-1 이미지 및 버킷-0 이미지로 지칭되는, 2개의 이미지를 각 버킷마다 하나씩 출력할 수 있다.
C2B 카메라의 프로그래밍은 예를 들면, (1) 픽셀 내 메모리들의 업데이트들에 대응하는, 비디오 프레임 내의 서브프레임들의 스케일로, 또는 (2) 비디오 시퀀스 내의 프레임들의 스케일로 다양한 시간 스케일에서 각각의 픽셀 연관된 마스킹 값의 시변 컨텐츠를 명시하는 것을 포함할 수 있다. F 프레임을 갖는 비디오 시퀀스 및 P 픽셀들을 가지며 S 서브 프레임들을 지원하는 카메라의 경우, 버킷 활동들은 크기가 P × F × S 인 3차원 이진 행렬 C로 표현될 수 있다. C는 코드 행렬이라고 하고 도 21에 개략적으로 예시되어 있다.
도 21에 예시된 것처럼, 코드 행렬 C의 2개의 특정 2D "슬라이스들"이 사용될 수 있다. 특정 픽셀 p의 경우, 슬라이스 Cp는 모든 프레임과 서브-프레임들에서의 픽셀 p의 버킷들의 활동을 기술한다. 유사하게, 특정 프레임 f의 경우, 슬라이스 Cf는 f의 모든 서브-프레임들에서의 모든 픽셀들의 버킷 활동을 기술한다.
Figure 112019123217820-pct00001
여기서, Cp는 프레임 f의 서브-프레임들에서 픽셀 p의 활성 버킷을 특정하는 S-차원 행 벡터이며; cfs는 프레임 f의 서브-프레임 s에서 모든 픽셀들의 활성 버킷을 특정하는 열 벡터이다.
비록 C2B 카메라는 코딩된 노출 카메라 대신에 수동 이미징 애플리케이션들에 사용될 수 있지만, 본 실시예는 서브-프레임 타임스케일들에서 일루미네이션이 프로그램 가능한 보다 일반적인 경우를 고려한다. 특히, 장면의 시변 일루미네이션 조건은 모든 프레임들에 적용하는 S×L 일루미네이션 행렬(L)로서 나타내어진다.
Figure 112019123217820-pct00002
여기서, 행 벡터 ls는 모든 프레임의 서브-프레임 s에서 장면의 일루미네이션 조건을 나타낸다. 이 예에서는 두 가지 유형의 장면 일루미네이션이 고려되는데, 즉 벡터 ls에 의해 세기가 주어진 L 방향성 광원들의 세트; 주변 광이 있을 때 ls의 첫 번째 L-1 요소들로 특정된 패턴을 투영하는 프로젝터로, 이는 "항상 켜져있는(always on)" L 번째 소스로 취급된다(즉, 모든 s에 대해 요소ls [L] = 1).
픽셀 p에 대한 2-버킷 이미지 형성 모델에 대해, ip 및
Figure 112019123217820-pct00003
는 각각 픽셀 p와 연관된 버킷 1 및 버킷 0의 강도를 F 프레임들에서 유지하는 열 벡터들이라고 하자. 이 강도는 도 22에서 개략적으로 예시된 것처럼, L 광원으로부터 픽셀과 연관되는 2개의 버킷으로의 광 전달의 결과로서 모델링된다.
Figure 112019123217820-pct00004
여기서,
Figure 112019123217820-pct00005
는 행렬 또는 벡터 b의 2진 보수를 나타내고, Cp는 p에 해당하는 코드 행렬의 슬라이스이며, tp는 픽셀의 전송 벡터이다. 이 벡터의 요소 t p [l]는 모든 광 경로들과 양 버킷들에 걸친 1개의 서브-프레임의 기간에서 픽셀(p)로 운반되는 광원(l's) 강도의 프랙션(fraction)을 특정한다.
위 방정식에 대한 약간의 직관을 얻기 위해, 프레임 f에서 버킷의 강도를 고려한다:
Figure 112019123217820-pct00006
실제로, 픽셀 p와 연관된 2개의 버킷은 각각 벡터 cpL 및
Figure 112019123217820-pct00007
p L에 의해 주어진 2개의 잠재적으로 다른 일루미네이션 조건 하에서 장면을 "관찰"하는 것으로 생각 될 수 있다. 또한 cpf가 프레임마다 변하면 이러한 일루미네이션 조건도 변한다.
버킷-1 및 버킷-0 이미지 시퀀스에 대해, 모든 프레임 및 픽셀에 걸쳐 2개의 버킷 강도를 수집하는 경우, 이 데이터를 보유하는 2개의 F × P 행렬들이 정의된다:
Figure 112019123217820-pct00008
시퀀스 I 및
Figure 112019123217820-pct00009
는 각 픽셀에서 다수의 강도 측정으로부터 픽셀 당 기하학적 구조(깊이, 법선 또는 둘 다)를 복구하기 위한 입력으로서 사용될 수 있다.
본 명세서에서 설명된 실시예들을 사용하여, 광도 스테레오 및 구조적 광 스테레오를 이용한 정상 및 깊이 추정의 기술적 문제에 대한 솔루션들이 구현될 수 있다. 후술되는 바와 같이, 이들 작업들은 유리하게는 각 픽셀에서 독립적으로 수행되는 결정들을 사용하여 구현되며, 관찰과 미지의 관계는 일반적으로 선형 방정식 시스템으로 표현된다. 본 명세서에 기술된 결정들은 단지 2-버켓 이미징의 특수한 특징들을 나타내는 예일 뿐이며; 그러나 보다 일반적인 설정들을 다루기 위해 고급 접근 방식을 사용할 수도 있다.
단일 프레임으로부터의 2-버킷 제약에 대해, 형상 제약은 픽셀의 연관된 두 버킷에 의해 제공된다. 표기법의 단순화를 위해 픽셀 및 프레임 인덱스가 삭제되고, 대신 각 버킷의 강도는 각각 스칼라 i 및
Figure 112019123217820-pct00010
로 표시되고 각 버킷의 일루미네이션 조건은 각각 벡터들 l = cp fL 및
Figure 112019123217820-pct00011
=
Figure 112019123217820-pct00012
p f L로 표시된다.
강도와 픽셀의 미지수 사이의 관계는 다음 관계식을 통해 코사인 패턴을 갖는 광도 스테레오 및 구조화된 광 삼각 측량에서 모두에서 동일한 형태를 취할 수있다:
Figure 112019123217820-pct00013
여기서 l,
Figure 112020136094199-pct00014
, D 는 모드 알려져 있다. D는 일루미네이션 상태를 나타내며, x는 픽셀 별 미지수를 포함하는 3D 벡터이고. a는 알려지지 않은 스칼라이며, e,
Figure 112020136094199-pct00015
는 관측 소음이다. 각 문제와 관련된 가정을 요약하고 각 문제의 수량을 위의 관계 방정식의 요인들에 매핑하려면 아래 표 1을 참조하라.
Figure 112019123217820-pct00016
제로-평균 정규 분포 잡음의 가정하에, 상기 관계식을 법선 및 깊이에 대한 제약으로 전환하는 적어도 3가지 방법이 있다.
첫 번째 방법으로, 직접 접근법을 사용하여, 상기 관계식은 벡터 ax에 대한 2개의 독립적인 제약으로 취급되고, 일단 충분한 제약이 이용 가능하면 a 및 x 둘 다에 대한 해를 구한다. 이 방법의 장점은 오류가 일반적으로 구성에 의해 분산된다는 것이다. 상기 관계식이 알베도(또는 반사율)에 의존한다는 단점이 있을 수 있다. 상기 관계식은 또한 픽셀마다 변할 때 단일 프레임 형상 추정을 더 어렵게 할 수 있다.
두 번째 방식으로, 버킷-비율(BR) 구속 접근법을 사용하면, 두 버킷은 상이한 일루미네이션 조건을 나타내기 때문에, 이들의 비는 일루미네이션 비일 수 있다. 이는 x에 대한 제약 조건을 생성한다.
Figure 112019123217820-pct00017
버킷 비 r은 평균이 이상적인(노이즈리스) 버킷 비이고 그 표준 편차가 a에 약하게 의존하는 가우시안 랜덤 변수에 의해 근사화된다. 특히, 일반적인 신호 대 잡음비 조건에서 r의 표준 편차는 σ/in과 같고, 여기서 in은 무소음 버킷-1 강도이고 σ는 노이즈의 표준 편차이다. 실제로, 2-버킷 이미징은 프레임 당 하나의 "반사-불변" 이미지를 제공한다.
세 번째 방식으로, 상기 관계식으로부터 명시적 비율을 계산하는 대신, 버킷 교차 곱(BCP) 제약 접근법을 사용하여, a를 제거하여 다음을 얻을 수 있다.
Figure 112019123217820-pct00018
위의 방정식은 강도 i,
Figure 112019123217820-pct00019
를 인자로 갖기 때문에 암묵적으로 알베도에 의존한다.
첫 번째 방식에서, 3D 벡터 ax를 해결하기 위해 적어도 3개의 독립적인 DM 제약이 요구된다. 이 해결은 단일 값 분해로 수행할 수 있다. 두 번째 및 세 번째 방법으로, 적어도 2개의 독립적인 버킷 비율(BR) 또는 버킷 교차 곱(BCP) 제약 조건이 주어지면, x는 발생된 일반 고유 값 문제를 해결하여 결정할 수 있습니다.
상기 접근법은 픽셀 당 충분한 독립적 제약이 있을 때 3D 형상을 해결하는 방법을 제공한다. 다음에, 픽셀 p에 대한 제약을 제공하는 일련의 프레임을 캡처하는 문제에 대한 해결책이 제공된다. 특히, (1) 프레임 수 F, (2) 프레임 S 당 서브 프레임 수 및 (3) F × S 코드 행력의 픽셀 특정 슬라이스 Cp를 선택한다. 이러한 파라미터를 결정하는 것은 최적의 다중화 문제의 사례로 생각할 수 있다. 이 문제는 F 희망 측정으로부터 F 실제, 노이즈가 있는 관측으로의 일대일 매핑을 다룬다. 코딩된 2-버킷 이미징의 경우, 각 프레임이 하나가 아닌 두 개의 측정값을 생성하기 때문에 문제가 고유하다.
시작점으로서, 강도들만을 수반하는 관계를 얻기 위해
Figure 112019123217820-pct00020
를 확장한다.
Figure 112019123217820-pct00021
상기 식에서 각각의 스칼라 ips는 장면의 일루미네이션 조건이 ls 인 경우 종래의 카메라 픽셀이 가질 강도이다. 상기 식은 단일 픽셀 p에 관한 한, 코딩된 2- 버킷 이미징이 S개의 원하는 강도 측정을 F 프레임에 걸쳐 픽셀의 2 버킷으로 다중화한다는 것을 나타낸다.
이러한 접근법으로, 픽셀의 2개의 버킷이 총 2F 측정을 제공하더라도, 멀티플렉싱 매트릭스(W)가 순위가 부족하기 때문에 일반적으로 최대 F + 1은 독립적일 수 있다.
rank W = min (F + 1, S).
참고로, C2B 카메라는 일반적으로 서로 완전히 독립적으로 작동하는 2개의 코드 노출 카메라와 동일하지 않다. 이는 버킷 활동을 제어하는 마스킹은 상호 보완적이고 따라서 독립적이지 않기 때문이다. F 프레임에 걸쳐 픽셀의 버킷에 의해 캡처 된 2F 강도 중 F+1은 독립적인 제약을 제공하고 나머지는 일반적으로 중복(redundant) 측정을 제공한다. 따라서, 그것들은 노이즈의 존재시 성능을 향상시키기 위해 유용하다.
최적의 F×(F+1) 매트릭스 Cp를 구하기 위해. 아래 식은 버킷 다중화의 평균 제곱 오차(MSE)에서 하한을 구하는 데 사용된다.
Figure 112019123217820-pct00022
여기서, 모든 다중화 행렬 W에 대해, 최상의 편향되지 않은 선형 추정기의 MSE는 상기 식의 하한을 만족시킨다.
상기는 일반적으로 명백한 구성을 제공하지 않지만, MSE가 하한인 행렬 W의 최적성을 보장한다. 이 관찰은 매트릭스가 F의 "현실적인" 값에 최적인지 확인하는 데 사용할 수 있다. Cp = 1(H+1)이라고 하자. 여기서 H는 행을 제거하여 F×(F+1) 행렬을 만들어 (F+1)×(F+1) 하다마드(hadamard) 행렬에서 파생된다. Cp로 정의된 버킷 다중화 행렬 W는 (F+1), (F+1)/12 또는 (F+1)/20이 2의 거듭제곱일 때 F≤10000에 최적입니다. 상기에 적용되는 가장 짧은 시퀀스는 F=3 및 F=7이다. 주요 목표는 원샷 획득이므로, 다른 작은 값의 F에 대한 최적 행렬도 관심이 있다. 이를 찾기 위해 작은 F×(F+1) 이진 행렬들의 공간에 대한 무차별 검색을 사용하여 MSE가 가장 낮은 것을 찾을 수 있다. 이러한 행렬은 아래 표 2에 도시되어 있다.
Figure 112019123217820-pct00023
시스템(100)을 사용하는 C2B 카메라의 기술적 이점은 다중 프레임 획득에 대한 대안을 제공할 수 있다는 점이다: 많은 프레임을 순차적으로 캡처하는 대신, 단일 프레임에서 공간적으로 다중화된 버전을 캡처할 수 있다. 이러한 프레임을 2-버킷 일루미네이션 모자이크라고 하고, 기존 컬러 센서들의 RGB 필터 모자이크들과 유사하다.
RGB 모자이크와 유사하게, 전체 이미지 시퀀스 I 및
Figure 112020136094199-pct00024
는 이미지 센서의 110 해상도의 1/F에서 샘플링된다. 풀 해상도에서 3D 형상을 계산하기 위해, 일루미네이션 모자이크는 이미지 디모자이크 기술을 사용하여 업샘플링 될 수 있고, 여기에 기술된 기술들은 모든 픽셀에 독립적으로 적용될 수 있다. 컬러 센서에 부착되고 일반적으로 변경될 수 없는 컬러 필터 모자이크와는 달리, 본 실시예에서 일루미네이션 모자이크의 획득은 임의의 F에 대해 완전히 프로그램 가능하다. 특별한 경우에, 형상 해상도를 최대화하기 위해, F = 3 또는 F = 2 프레임을 한 번에 다중화하는 것과 같이 가능한 가장 밀도 높은 모자이크의 획득이 고려된다. 이는 도 23에 예시된다. 처음 3열의 프레임은 3 프레임 코드 행렬 C를 사용하여 캡처되었다. 이행렬은 프레임의 모든 픽셀에 대해 동일하지만 프레임마다 다른 일루미네이션 상태를 할당했다. 네 번째 열은 가장 오른쪽 이미지의 3 픽셀 타일을 사용하여 왼쪽의 프레임을 다중화하는 일루미네이션 모자이크를 한 번에 캡처한 것이다.
일루미네이션 모자이크를 획득하는 것은 대응하는 F 프레임 행렬 C를 공간적으로 다중화하는 1- 프레임 코드 행렬 C를 특정하는 것에 해당한다. 이것은 (1) 센서 평면의 규칙적인 F-픽셀 타일링을 규정하고 (2) 타일에서의 픽셀들과 프레임들 사이에 일대일 대응(pi, fi), 1≤i≤ F를 지정함으로써 이루어진다. 그럴 경우
Figure 112019123217820-pct00025
의 열들은
Figure 112019123217820-pct00026
인 것으로 규정된다.
특별한 경우에, 일루미네이션 모자이크의 2P 강도에 전술한 형상 추정 방법을 적용하는 3가지 다른 방법이 있다.
첫 번째 방식으로, 강도 디모자이크(ID)을 사용하여, 타일 내의 각 픽셀의 각 버킷의 강도는 디모자이크을 위해 별도의 "컬러 채널"로 취급된다. 이러한 강도는 RGB 디모사이싱 접근 방식을 한 번에 3개의 2F 채널 중 3개에 적용하여 업샘플링된다. 그런 다음 위에서 설명한 모양 추정 방법 중 하나를 결과에 적용한다.
두 번째 방식으로, 컬렉션 노드-비율 디모자이크이라고도 하는 버킷-비율 디 모자이싱(BRD)을 사용하여, 각 픽셀에서의 버킷 비가 결정되어 강도 측정이 알베도/반사율-불변 측정으로 바뀐다. 타일 내 각 픽셀의 비율은 디모자이크을 위해 별도의 "컬러 채널"로 취급된다. 모양은 다음과 같은 버킷 비율 제약 조건을 사용하여 결정된다:
Figure 112019123217820-pct00027
세번째 방식으로, 업샘플링 대신에 디모자이크(demonsaicing)을 사용하지 않고(ND), 각 타일은 형태 미지(정상, 알베도, 디스패리티 등)가 픽셀마다 변하지 않는 "슈퍼 픽셀"로 취급된다. 타일당 하나의 형상 추정치는 여기에 설명된 접근법 중 하나를 사용하여 결정된다. 픽셀 당 모양 추정값을 생성하는 다른 두 가지 방법과는 다르게 이 방법은 1/F 더 적은 추정값을 반환한다.
본 출원인은 합성 데이터에 대해 본 명세서에 기술된 C2B 카메라의 성능을 평가하였다. 광도 스테레오로부터 계산된 법선의 효과적인 해상도와 알베도 불변은 (1) 공간적으로 변하는 법선과 알베도, 노이즈 이미지가 있는 합성적으로 생성된 장면에 적용하고, (2) 공간 주파수 내용에 대한 재구성 성능을 평가함으로써 결정되었다. 디모자이크을 제외한 모든 결정은 픽셀마다 수행되므로 성능에 따른 주파수 의존적 변동은 이들 단계들로 인해 발생한다. 도 24a는 본 명세서에 설명된 접근법의 여러 조합을 비교하는 차트이다. 그것들은 또한 풀 해상도 이미지를 처리하는 기준선 3-프레임 방법과 컬러 광도 스테레오 방식과 비교된다. 결정된 대로 C2B 카메라의 데이터는 컬러 기반 광도 스테레오 접근 방식보다 성능이 뛰어나다. 도 24b는 공간 알베도 변동들의 효과를 고려하는 차트이다. 도 24a 및 도 24b에서의 비교들 모두 직관을 일치시킨다; 즉, 이웃하는 처리의 유형에 관계없이 매우 높은 알베도 주파수들에서 성능이 저하된다. 일반적으로, 최소 30의 피크 신호 대 잡음비(PSNR)의 경우, C2B 카메라는 나이퀴스트 한계의 1/3까지 공간 주파수를 가진 장면에 실질적인 성능 이점을 제공한다.
출원인의 예시적인 실험에서, 실험 설정은 C2B 카메라, 텍사스 인스트루먼트(Texas Instruments)사의 LightCrafter DMD 프로젝터 및 4개의 LED로 구성되었다. 카메라는 프레임 당 최대 4개의 서브프레임으로 16-20 FPS에서 작동할 수 있었다. 이를 통해 측광 스테레오를 실행하고 거의 비디오 속도로 데이터를 캡처할 수 있다.
지면-진리(ground-truth) 획득을 수행하기 위해, 도 26에 도시된 바와 같이, 컬러 밴드들 및 텍스쳐들을 갖는 모자와 모자의 일부를 막는 책으로 구성된 정적 장면이 생성되었다. 이 장면은 전통적으로 원샷 방법이 다른 일루미네이션 조건에서 장면의 모양을 유추하기 위해 색상 신호에 의존하기 때문에 선택되었다. 이를 통해 까다로운 조건에서 형상 추정이 얼마나 잘 수행되는지 평가할 수 있다. 물체들은 카메라에서 2m 떨어져 있었다. 카메라에 23mm 렌즈가 장착되어 약 30cm×30cm의 화각을 제공한다. 2가지 경우 모두, 노이즈를 줄이기 위해 각 일루미네이션 조건에 대해 1000개의 이미지가 캡처되었다. 지면-진리 데이터를 하나의 버킷으로 BRD-BR, ID-DM 및 ID-DM과 비교했다.
구조화된 광을 사용하는 실제 물체의 경우, 주파수 1의 4개의 위상 편이 정현파 패턴 및 주파수 16의 3개의 위상 편이 양자화 정현파 패턴으로 물체를 비춤으로써 지면-진실 디스패리티 추정이 캡처되었다. 프로젝터는 기준선이 1.5m인 물체에서 60cm 떨어진 곳에 배치되었다. 저주파 정보는 지면-진실로서 위상 언래핑 및 고주파수 양자화된 정현파를 수행하기 위해 사용되었다. 결과는 도 25a에 도시되어 있고, 이 경우 구조화된 광의 경우, BRD-BR은 특이치(outlier)들이 제거된 후 2.7의 RMSE로 최상의 반응을 나타냈다. 모든 특이치를 제거할 수 없으므로 특이치들을 유지한 경우 RMSE 4.7이 보고되었다. 프로젝터에는 608개의 열이 있고 주파수 16이 사용되었으므로 가능한 최대 오류는 608/16=38이다. 따라서 최대 오류의 약 5 내지 10%의 정확도가 있었다. 양자화된 정현파가 사용되었으므로 이 값은 C2B 카메라의 성능에 대한 하한을 제공한다.
측광 스테레오를 사용하는 실제 물체에 대해, 각각의 광원의 방향은 카메라로부터 2m 떨어진 곳에 위치한 크롬 구 및 장면으로부터 2m 내지 3m에 있는 광들을 사용하여 교정되었다. 시퀀스를 캡처하기 위해 각 광원마다 하나씩 4개의 서브프레임을 사용하여 이미지를 캡처했다. 그 결과들은 또한 도 25b에 도시되어 있고, ID-DM은 RMS 각도 오차가 10.695°이고 중앙 각도 오차가 5.63°인 측광 스테레오에 가장 적합한 것을 수행한 것으로 밝혀졌다. 하지만, ND-DM에 대한 RMSE는 여전히 10°보다 상당히 높다. 이것은 각 마스크에 적용되는 불균일한 이득에 의해 설명될 수 있다. 이는 최소 제곱 최적화 B = AX에서 A에 대한 비대칭(skew)이 적용되고 있음을 의미한다.
결과들은 센서 해상도에에 있는 또는 센서 해상도에 가까운 C2B 카메라를 사용하여 3D 측정들이 유리하게 획득될 수 있다는 사실을 지지한다.
도 34는 일실시 예에 따른 장면의 픽셀 단위 이미징을 위한 방법(300)을 예시한다. 블록(302)에서, 제어 로직 모듈 (112)은 픽셀 단위 패턴을 수신하고, 이 픽셀 단위 패턴은 이미지 센서(110)의 픽셀들의 어레이에서 각 픽셀에 대한 마스킹 값을 포함한다. 블록(304)에서, 그러한 픽셀이 장면으로부터 받은 광에 노출될 때 전자 신호를 이미지 센서(110)의 각 픽셀이 생성한다. 블록(306)에서는, 제어 로직 모듈(112)이 각각의 마스킹 값에 기초하여, 각 픽셀에서의 전자 신호를 그러한 픽셀과 연관된 신호 저장 모듈(114)에서의 하나 이상의 컬렉션 노드들에 향하게 한다. 하나 이상의 컬렉션 노드들 각각은 수신된 전자 신호를 통합할 수 있다. 일부 경우들에서, 본 명세서에서 설명된 바와 같이, 컬렉션 노드들 중 하나만 또는 일부가 그러한 신호를 수신한다.
일부 경우들에서는, 블록(308)에서 디지털화 모듈(116)이 각각의 컬렉션 노드에서 통합의 측정치를 디지털화하고 출력할 수 있다.
일부 경우들에서는, 블록(310)에서 프로세서(102)는 예를 들어, 비행 시간 결정, 광 경로 유형(직접, 간접 또는 거울)의 결정, 깊이, 법선 등과 같이, 컬렉션 노드들 각각에서의 통합된 값들에 기초한 추가 결정들을 내릴 수 있다.
비록 본 발명이 일정한 특정 실시예들을 참조하여 설명되었지만, 본 명세서에 첨부된 청구항들에서 개설된 바와 같이 본 발명의 취지 및 범주로부터 벗어나지 않으면서 그것들의 다양한 변형예들이 당업자에게 명백해질 것이다. 위에서 인용된 모든 참조 문헌들의 전체 개시물들은 본 명세서에 참조로서 통합된다.

Claims (42)

  1. 장면(scene)의 픽셀 단위 이미징(pixel-wise imaging)을 위한 시스템에 있어서:
    픽셀들의 어레이를 포함하는 이미지 센서 - 각 픽셀은 상기 장면으로부터 수신되는 광에 노출될 때 전자 신호를 생성하는 감광성 수용체를 포함함 -;
    각 픽셀에 대한 하나 이상의 컬렉션 노드(collection node)들을 포함하는 신호 저장 모듈 - 각 컬렉션 노드는 각각의 상기 감광성 수용체에 의해 수신되는 상기 전자 신호를 통합(integrating)할 수 있음 -; 및
    제어 메모리와 하나 이상의 로직 구성성분들을 포함하는 제어 로직 모듈(control logic module) - 상기 제어 로직 모듈은 상기 이미지 센서와 상기 신호 저장 모듈 사이에 직접 위치하고, 상기 제어 메모리는 픽셀 단위 패턴(pixel-wise pattern)을 수신하고, 상기 픽셀 단위 패턴은 상기 이미지 센서의 각 픽셀에 대한 마스킹 값(masking value)을 포함하며, 상기 픽셀들 각각에 대해, 상기 하나 이상의 로직 구성성분들은 각각의 마스킹 값에 기초하여 상기 각각의 컬렉션 노드들 중 하나 이상에 상기 전자 신호를 향하게 함 -을 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  2. 제1 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 픽셀 당 정확히 2개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 1-디지트 2진 값(1-digit binary value)이며, 하이 2진 값(high binary value)은 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 것을 나타내고, 로우 2진 값(low binary value)은 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 것을 나타내는, 장면의 픽셀 단위 이미징을 위한 시스템.
  3. 제1 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 픽셀 당 정확히 4개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 2-디지트 2진 값(2-digit binary value)이며, 상기 4개의 컬렉션 노드들 각각은 상기 2-디지트 2진 값들 중 하나와 연관되고, 상기 하나 이상의 로직 구성성분들은 상기 각각의 2-디지트 2진 값에 기초하여 상기 각각의 컬렉션 노드에 상기 전자 신호를 향하게 하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  4. 제1 항에 있어서,
    상기 제어 메모리는 매 프레임마다(for every frame) 새로운 픽셀 단위 패턴을 수신하고, 각각의 프레임은 상기 이미지 센서의 각각의 픽셀에서 수신되는 신호를 포함하고, 상기 하나 이상의 로직 구성성분들은 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 상기 전자 신호를 향하게 하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  5. 제1 항에 있어서,
    상기 제어 메모리는 매 서브프레임마다(every subframe) 새로운 픽셀 단위 패턴을 수신하고, 상기 하나 이상의 로직 구성성분들은 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 상기 전자 신호를 향하게 하고, 각각의 프레임은 복수의 서브프레임(subframe)들을 포함하며, 각각의 서브프레임은 프레임의 시간 프랙션(temporal fraction)을 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  6. 제5 항에 있어서,
    상기 제어 메모리는 제1 메모리 유닛과 제2 메모리 유닛을 포함하고, 상기 제2 메모리 유닛은 현재 서브프레임에 대한 상기 픽셀 단위 패턴을 저장하며, 상기 제1 메모리 유닛은 다가오는 서브프레임(upcoming subframe)에 대한 새로운 픽셀 단위 패턴을 저장하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  7. 제6 항에 있어서,
    상기 다가오는 서브프레임에 대한 상기 새로운 픽셀 단위 패턴은 상기 제1 메모리 유닛에 순차적으로 로드(load)되고, 상기 현재 서브프레임에 대한 상기 픽셀 단위 패턴은 상기 제2 메모리 유닛에 동시에 로드되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  8. 제1 항에 있어서,
    상기 이미지 센서는 핀드-포토다이오드(pinned-photodiode), 포토-게이트, 전하-결합 디바이스, 전하 주입 디바이스, 또는 단일 광자 애벌런치 다이오드(single photon avalanche diode) 중 하나를 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  9. 제1 항에 있어서,
    상기 로직 구성성분들은 전하 전송 게이트들을 포함하고 상기 컬렉션 노드들은 플로팅 확산 노드(floating diffusion node)들을 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  10. 제1 항에 있어서,
    각 컬렉션 노드에서 상기 통합(integrating)의 측정치(measure)를 디지털화하고 출력하기 위한 디지털화 모듈(digitization module)을 더 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  11. 제1 항에 있어서,
    상기 이미지 센서는 라인 센서(line sensor)인, 장면의 픽셀 단위 이미징을 위한 시스템.
  12. 제1 항에 있어서,
    상기 장면으로부터 수신되는 상기 광은 광원으로부터의 일시적으로 변조되는 광을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 시스템은 상기 광원에서 상기 변조되는 광과 상기 감광성 수용체에서 수신되는 상기 광 사이의 위상 차이들을 측정함으로써 상기 변조되는 광의 비행 시간(time-of-flight)을 결정하기 위한 프로세서를 더 포함하고, 상기 하나 이상의 로직 구성성분들은 상기 변조되는 광의 상기 변조의 제1 부분 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하고, 상기 변조되는 광의 상기 변조의 제2 부분 동안에는 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  13. 제1 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하고, 상기 시스템은 상기 장면상으로 광 패턴을 투영하기 위한 프로젝터(projector)를 더 포함하고, 만약 상기 각각의 픽셀에서 수신되는 상기 광이 소정의 광 경로 유형을 포함한다면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 상기 컬렉션 노드들 중 하나에 향하게 하고, 그렇지 않으면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 다른 컬렉션 노드에 향하게 하는 상보적 패턴(complementary pattern)을 상기 픽셀 단위 패턴이 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  14. 제13 항에 있어서,
    상기 소정의 광 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면(specular) 광 경로로 이루어지는 그룹으로부터 선택되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  15. 제1 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 1개의 컬렉션 노드를 포함하고, 상기 시스템은 상기 장면상으로 광 패턴을 투영하기 위한 프로젝터를 더 포함하고, 만약 상기 각각의 픽셀에서 수신된 광이 소정의 광 경로 유형을 포함한다면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호로 하여금 상기 컬렉션 노드를 향하게 하고, 그렇지 않으면 상기 하나 이상의 로직 구성성분들이 상기 전자 신호를 차단 또는 무시하게 하는 상보적 패턴을 상기 픽셀 단위 패턴이 포함하며, 상기 소정의 광 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  16. 제1 항에 있어서,
    상기 장면으로부터 수신되는 상기 광은 광원으로부터의 광도계 입체 광 일루미네이션 상태(photometric stereo light illumination condition)들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 하나 이상의 로직 구성성분들은 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 하고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드로 상기 전자 신호가 향하게 하며, 상기 시스템은 각 픽셀에서 수신되는 광의 강도를 결정하는 것을 통해 상기 장면에서의 하나 이상의 객체(object)들의 정상 상태(normal)들을 결정하기 위한 프로세서를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  17. 제16 항에 있어서,
    상기 정상 상태들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크(intensity demosaicing)를 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  18. 제16 항에 있어서,
    상기 정상 상태들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  19. 제1 항에 있어서,
    상기 장면으로부터 수신되는 상기 광은 광원으로부터의 구축되는(structured) 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 하나 이상의 로직 구성성분들은 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 하고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드에 상기 전자 신호가 향하게 하며, 상기 시스템은 상기 광원에서의 픽셀들과 상기 이미지 센서에서의 픽셀들과의 삼각 측량법(triangulation)을 통해 각 픽셀에서 수신되는 광의 강도로부터 상기 장면에서의 하나 이상의 객체들에 대한 깊이를 결정하기 위한 프로세서를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  20. 제19 항에 있어서,
    상기 깊이들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  21. 제19 항에 있어서,
    상기 깊이들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 시스템.
  22. 제1 항에 있어서,
    상기 신호 저장 모듈은 각 픽셀에 대한 마스킹 값에 기초하여 상기 전자 신호가 하나 이상의 상기 컬렉션 노드들에 향하기 전에 상기 전자 신호를 저장하는 저장 노드를 포함하는, 장면의 픽셀 단위 이미징을 위한 시스템.
  23. 제1 항에 있어서,
    상기 감광성 수용체는 단일 광자 애벌런치 다이오드(single photon avalanche diode)인, 장면의 픽셀 단위 이미징을 위한 시스템.
  24. 장면의 픽셀 단위 이미징을 위한 방법에 있어서:
    픽셀 단위 패턴을 수신하는 단계 - 상기 픽셀 단위 패턴은 이미지 센서의 픽셀들의 어레이에서 각 픽셀에 대한 마스킹 값을 포함함 -;
    그러한 픽셀이 상기 장면으로부터 수신되는 광에 노출될 때 각 픽셀에서 전자 신호를 생성하는 단계; 및
    상기 각각의 마스킹 값에 기초하여 그러한 픽셀과 연관되는 하나 이상의 컬렉션 노드들에 각 픽셀에서 수신된 상기 전자 신호를 직접 향하게 하는 단계 - 상기 하나 이상의 컬렉션 노드들은 각각 상기 수신되는 전자 신호를 통합할 수 있음 -를 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  25. 제24 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 1-디지트 2진 값이며, 하이 2진 값은 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 것을 나타내고, 로우 2진 값은 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 것을 나타내는, 장면의 픽셀 단위 이미징을 위한 방법.
  26. 제24 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 픽셀마다 정확히 4개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 2-디지트 2진 값이며, 상기 4개의 컬렉션 노드들 각각은 상기 2-디지트 2진 값들 중 하나와 연관되고, 상기 전자 신호는 상기 각각의 2-디지트 2진 값에 기초하여 상기 각각의 컬렉션 노드에 향하는, 장면의 픽셀 단위 이미징을 위한 방법.
  27. 제24 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 픽셀마다 정확히 4개의 컬렉션 노드들을 포함하고, 상기 마스킹 값은 2-디지트 2진 값이며, 상기 4개의 컬렉션 노드들 각각은 상기 2-디지트 2진 값들 중 하나와 연관되고, 상기 전자 신호는 상기 각각의 2-디지트 2진 값에 기초하여 상기 각각의 컬렉션 노드에 향하는, 장면의 픽셀 단위 이미징을 위한 방법.
  28. 제24 항에 있어서,
    매 서브프레임마다 새로운 픽셀 단위 패턴이 수신되고, 각각의 서브프레임은 프레임의 시간 프랙션(temporal fraction)을 포함하고, 상기 전자 신호는 상기 새로운 픽셀 단위 패턴의 상기 마스킹 값에 기초하여 향하게 되며, 각각의 프레임은 복수의 서브프레임들을 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  29. 제28 항에 있어서,
    현재 서브프레임에 대한 픽셀 단위 패턴을 저장하는 단계와 다가오는 서브프레임에 대한 새로운 픽셀 단위 패턴을 저장하는 단계를 별개로 더 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  30. 제29 항에 있어서,
    상기 다가오는 서브프레임에 대한 상기 새로운 픽셀 단위 패턴은 메모리에 순차적으로 로드되고, 상기 현재 서브프레임에 대한 상기 픽셀 단위 패턴은 메모리에 동시에 로드되는, 장면의 픽셀 단위 이미징을 위한 방법.
  31. 제24 항에 있어서,
    각 컬렉션 노드에서의 상기 통합의 측정치를 디지털화하고 출력하는 단계를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  32. 제24 항에 있어서,
    상기 장면으로부터 수신되는 상기 광은 일시적으로 변조되는 광을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 방법은 상기 광원에서 상기 변조되는 광과 상기 수신되는 광 사이의 위상 차이들을 측정함으로써 상기 변조되는 광의 비행 시간을 결정하는 단계를 더 포함하고, 각 픽셀에서 상기 전자 신호를 향하게 하는 단계는 상기 변조되는 광의 상기 변조의 제1 부분 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호를 향하게 하는 단계와 상기 변조되는 광의 상기 변조의 제2 부분 동안에는 다른 컬렉션 노드에 상기 전자 신호를 향하게 하는 단계를 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  33. 제24 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 노드들을 포함하고, 상기 방법은 광 패턴을 상기 장면상으로 투영하는 단계를 더 포함하며, 만약 상기 각각의 픽셀에서 수신되는 상기 광이 소정의 광 경로 유형을 포함하면 상기 전자 신호가 상기 컬렉션 노드들 중 하나에 향하게 되고, 그렇지 않으면 상기 전자 신호가 다른 컬렉션 노드에 향하게 되는 상보적 패턴을 상기 픽셀 단위 패턴이 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  34. 제33 항에 있어서,
    상기 소정의 광 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택되는, 장면의 픽셀 단위 이미징을 위한 방법.
  35. 제24 항에 있어서,
    상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 1개의 컬렉션 노드를 포함하고, 상기 방법은 광 패턴을 상기 장면으로 투영하는 단계를 더 포함하며, 만약 상기 각각의 픽셀에서 수신되는 상기 광이 소정의 광 경로 유형을 포함하면 상기 전자 신호가 상기 컬렉션 노드에 향하게 되고, 그렇지 않으면 상기 전자 신호가 차단 또는 무시되는 상보적 패턴을 상기 픽셀 단위 패턴이 포함하고, 상기 소정의 광 경로 유형은 직접적인 광 경로, 간접적인 광 경로, 또는 경면 광 경로로 이루어지는 그룹으로부터 선택되는, 장면의 픽셀 단위 이미징을 위한 방법.
  36. 제24 항에 있어서,
    상기 장면으로부터 수신되는 상기 광은 광도계 입체 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 상기 전자 신호는 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 향하게 되고, 상기 전자 신호는 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드로 향하게 되며, 상기 방법은 각 픽셀에서 수신되는 광의 강도를 결정하는 것을 통해 상기 장면에서의 하나 이상의 객체들의 정상 상태들을 결정하는 단계를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  37. 제36 항에 있어서,
    상기 정상 상태들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 방법.
  38. 제36 항에 있어서,
    상기 정상 상태들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 방법.
  39. 제24 항에 있어서,
    상기 장면으로부터의 수신되는 상기 광은 구축되는 광 일루미네이션 상태들을 포함하고, 상기 하나 이상의 컬렉션 노드들은 각 픽셀마다 정확히 2개의 컬렉션 노드들을 포함하며, 제1 일루미네이션 상태 동안에는 상기 컬렉션 노드들 중 하나에 상기 전자 신호가 향하게 되고, 제2 일루미네이션 상태 동안에는 다른 컬렉션 노드에 상기 전자 신호가 향하게 되며, 상기 방법은 상기 광원에서의 픽셀들과 상기 이미지 센서에서의 픽셀들과의 삼각 측량법을 통해 각 픽셀에서 수신되는 광의 강도로부터 상기 장면에서의 하나 이상의 객체들에 대한 깊이를 결정하는 단계를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
  40. 제39 항에 있어서,
    상기 깊이들은 2개 이상의 이웃하는 픽셀들의 강도 디모자이크를 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 방법.
  41. 제39 항에 있어서,
    상기 깊이들은 2개 이상의 이웃하는 픽셀들에 대한 각 픽셀의 컬렉션 노드들의 비율로 디모자이크하는 것을 사용하여 결정되는, 장면의 픽셀 단위 이미징을 위한 방법.
  42. 제24 항에 있어서,
    각 픽셀에 대한 마스킹 값에 기초하여 상기 신호를 하나 이상의 상기 컬렉션 노드들에 향하기 전에 저장하기 위한 저장 노드에 상기 신호를 전송하는 단계를 더 포함하는, 장면의 픽셀 단위 이미징을 위한 방법.
KR1020197035361A 2017-04-28 2018-04-27 픽셀 단위 이미징을 위한 방법 및 시스템 KR102479014B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762491620P 2017-04-28 2017-04-28
US62/491,620 2017-04-28
US201862649763P 2018-03-29 2018-03-29
US62/649,763 2018-03-29
PCT/CA2018/050496 WO2018195669A1 (en) 2017-04-28 2018-04-27 Method and system for pixel-wise imaging

Publications (2)

Publication Number Publication Date
KR20200003858A KR20200003858A (ko) 2020-01-10
KR102479014B1 true KR102479014B1 (ko) 2022-12-16

Family

ID=63920110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035361A KR102479014B1 (ko) 2017-04-28 2018-04-27 픽셀 단위 이미징을 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US10229943B2 (ko)
JP (2) JP7208156B2 (ko)
KR (1) KR102479014B1 (ko)
CA (1) CA3061622A1 (ko)
WO (1) WO2018195669A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US11184564B2 (en) * 2017-04-28 2021-11-23 The Governing Council Of The University Of Toronto Method and system for pixel-wise imaging
US11563911B2 (en) * 2018-10-10 2023-01-24 Northwestern University Method and system for time-of-flight imaging with high lateral resolution
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) * 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US11348954B2 (en) 2019-03-19 2022-05-31 Samsung Electronics Co., Ltd. Time-resolving sensor for range measurement and 2D greyscale imaging
US11856301B2 (en) 2019-06-21 2023-12-26 The Governing Council Of The University Of Toronto Method and system for extending image dynamic range using per-pixel coding of pixel parameters
DE102019124142A1 (de) * 2019-09-09 2021-03-11 pmdtechnologies ag Lichtlaufzeitkamerasystem
JP7371443B2 (ja) * 2019-10-28 2023-10-31 株式会社デンソーウェーブ 三次元計測装置
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
CN115993094B (zh) * 2023-03-01 2023-09-12 大连交通大学 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110266416A1 (en) * 2010-04-30 2011-11-03 Honda Motor Co., Ltd. Imaging apparatus, imaging method, and imaging program
US20140267855A1 (en) * 2013-03-12 2014-09-18 Apple Inc. Hybrid image sensor
JP2016092593A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2256989B (en) * 1991-06-21 1995-02-08 Sony Broadcast & Communication Video image capture apparatus
JP2003521836A (ja) * 1999-03-04 2003-07-15 ビジョン−サイエンシズ・インコーポレイテッド 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル
US7369167B2 (en) * 2003-06-02 2008-05-06 Micron Technology, Inc. Photo diode ID for CMOS imagers
US7973838B2 (en) * 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
WO2011053678A1 (en) * 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8773562B1 (en) * 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
US9741754B2 (en) * 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9453730B2 (en) * 2013-03-20 2016-09-27 Cognex Corporation Machine vision 3D line scan image acquisition and processing
US20150022869A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Demosaicing rgbz sensor
JP6231940B2 (ja) * 2014-05-08 2017-11-15 浜松ホトニクス株式会社 測距装置及び測距装置の駆動方法
CN107005662B (zh) * 2014-07-12 2020-04-28 雷神公司 具有集成压缩采样的读出集成电路和焦平面阵列成像系统
SE538072C2 (sv) * 2014-08-21 2016-02-23 Totalförsvarets Forskningsinstitut An imaging system parallelizing compressive sensing imaging
US9467628B2 (en) * 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US9942503B2 (en) * 2016-02-23 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high-efficiency charge storage capabilities
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110266416A1 (en) * 2010-04-30 2011-11-03 Honda Motor Co., Ltd. Imaging apparatus, imaging method, and imaging program
US20140267855A1 (en) * 2013-03-12 2014-09-18 Apple Inc. Hybrid image sensor
JP2016092593A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2020519102A (ja) 2020-06-25
JP7208156B2 (ja) 2023-01-18
US10229943B2 (en) 2019-03-12
CA3061622A1 (en) 2018-11-01
US20180331139A1 (en) 2018-11-15
KR20200003858A (ko) 2020-01-10
JP2023052222A (ja) 2023-04-11
WO2018195669A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
KR102479014B1 (ko) 픽셀 단위 이미징을 위한 방법 및 시스템
CN108291969B (zh) 具有共享像素读出电路系统的成像传感器
CN105308747B (zh) 分离栅极有条件重置的图像传感器
Heredia Conde Compressive sensing for the photonic mixer device
US9319611B2 (en) Image sensor with flexible pixel summing
US7767949B2 (en) Apparatus and method for capturing still images and video using coded aperture techniques
Nayar Computational cameras: Redefining the image
Wan et al. CMOS image sensors with multi-bucket pixels for computational photography
Cho et al. A 3-D camera with adaptable background light suppression using pixel-binning and super-resolution
CN104733480B (zh) 用于高动态范围图像传感器的图像传感器像素
CN107370913A (zh) 摄像装置、摄像系统以及光检测方法
CN111602070A (zh) 确定三维图像的图像传感器和确定三维图像的方法
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
WO2017003477A1 (en) Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
WO2017158483A1 (en) A vision sensor, a method of vision sensing, and a depth sensor assembly
KR20150054568A (ko) 깊이 센서, 및 이의 동작 방법
KR20160065464A (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
Vornicu et al. Compact real-time inter-frame histogram builder for 15-bits high-speed ToF-imagers based on single-photon detection
US11832008B2 (en) Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN109792495A (zh) 摄像系统及摄像方法
US20220116556A1 (en) Method and system for pixel-wise imaging
Zhang et al. First arrival differential lidar
KR102620348B1 (ko) 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템
US20220382056A1 (en) SYSTEMS AND METHODS FOR POWER EFFICIENT IMAGE ACQUISITION USING SINGLE PHOTON AVALANCHE DIODES (SPADs)
Gulve et al. 39 000-Subexposures/s Dual-ADC CMOS Image Sensor With Dual-Tap Coded-Exposure Pixels for Single-Shot HDR and 3-D Computational Imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant