KR20230025861A - 차분 비행 시간 센서 픽셀의 저전력 동작 - Google Patents

차분 비행 시간 센서 픽셀의 저전력 동작 Download PDF

Info

Publication number
KR20230025861A
KR20230025861A KR1020237001101A KR20237001101A KR20230025861A KR 20230025861 A KR20230025861 A KR 20230025861A KR 1020237001101 A KR1020237001101 A KR 1020237001101A KR 20237001101 A KR20237001101 A KR 20237001101A KR 20230025861 A KR20230025861 A KR 20230025861A
Authority
KR
South Korea
Prior art keywords
amount
pixels
charge
power mode
pixel
Prior art date
Application number
KR1020237001101A
Other languages
English (en)
Inventor
민석 오
사이러스 솔리 밤지
스와티 메타
배리 톰슨
앤드류 딘 페인
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20230025861A publication Critical patent/KR20230025861A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미징 시스템은 차분 픽셀의 센서 어레이를 포함한다. 제어기는 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시킨다. 제어기는 제1 기간 동안 제1 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위한 제1 클록 신호 및 제2 기간 동안 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위한 제2 클록 신호를 공급한다. 아날로그 도메인에서, 제1 기간 동안 제1 수집 단자에 축적된 제1 전하량이 판독되고 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량의 판독치와 비교된다. 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀은 제2의 더 높은 전력 모드에서 동작한다.

Description

차분 비행 시간 센서 픽셀의 저전력 동작
2차원(two-dimensional; 2D) 카메라는 2D 수동(passive) 광 이미지를 획득하기 위해 장면의 주변 조명에 의존할 수 있다. 2D 카메라로부터의 데이터를 처리하고 분석하기 위해 수행되는 디지털 계산은 상대적으로 최소일 수 있다. 이러한 요인은 2D 카메라를 상대적으로 전력 효율적으로 만들 수 있다. 대조적으로, 예를 들어, 비행 시간(time of flight; ToF) 카메라와 같은 3차원(three-dimensional; 3D) 카메라는 장면을 능동적으로 조명하고 능동 조명의 하나 이상의 파라미터를 측정하여 3D 카메라로 다시 능동 조명을 반사하는 장면에서 물체의 깊이를 결정함으로써 동작할 수 있다. 능동 조명의 생성 및 3D 카메라로부터의 데이터를 처리하고 분석하기 위한 계산은 상대적으로 리소스 집약적일 수 있다.
이 발명의 내용은 이하의 발명을 실시하기 위한 구체적인 내용에서 더 구체적으로 설명하는 개념들의 선택을 간단한 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구 대상의 주요 특징 또는 필수적 특징을 식별하기 위해 의도되지 않으며, 청구 대상의 범위를 제한하기 위해 사용되는 것으로 의도되지도 않는다. 또한, 청구 대상은 본 개시 내용의 임의 부분에서 설명되는 임의의 또는 모든 단점을 해결하는 구현예로 제한되지 않는다.
ToF 카메라를 작동하는 동안 사용되는 전력을 조정하는 것과 관련된 예가 개시된다. 한 예는 차분 픽셀의 센서 어레이를 포함하는 이미징 시스템을 제공한다. 제어기는 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시킨다. 제어기는 제1 기간(duration) 동안 제1 차분 픽셀의 제1 수집 단자(collection terminal)를 선택적으로 활성화하기 위한 제1 클록 신호 및 제2 기간 동안 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위한 제2 클록 신호를 공급한다. 아날로그 도메인에서, 제1 기간 동안 제1 수집 단자에 축적된 제1 전하량(amount of charge)이 판독되고 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량의 판독과 비교된다. 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀은 제2의 더 높은 전력 모드에서 동작된다.
도 1a 내지 1c는 예시적인 이미징 시스템을 개략적으로 도시한다.
도 2는 전송 게이트 비행 시간 픽셀에 대한 예시적인 회로를 개략적으로 도시한다.
도 3은 전송 게이트 비행 시간 픽셀의 전역 셔터 동작에 대한 예시적인 타이밍도를 도시한다.
도 4는 전역 셔터 동작 하에서 전송 게이트 비행 시간 픽셀의 단일 행에 대한 예시적인 타이밍도를 도시한다.
도 5는 차분 비행 시간 픽셀을 동작시키기 위한 예시적인 방법을 예시하는 흐름도를 도시한다.
도 6은 도 5의 방법을 사용하여 차분 비행 시간 픽셀을 동작시키기 위한 예시적인 타이밍도를 도시한다.
도 7은 환경에서 밝기 변화에 대한 예시적인 플롯(plots)을 도시한다.
도 8은 예시적인 비교기 회로를 개략적으로 도시한다.
도 9는 예시적인 차분 회로를 개략적으로 도시한다.
도 10a는 전체 해상도에서 동작하는 픽셀 어레이를 개략적으로 도시한다.
도 10b는 데시메이팅(decimate)된 픽셀 어레이를 개략적으로 도시한다.
도 11은 차분 비행 시간 픽셀의 영역을 포함하는 픽셀 어레이를 동작시키기 위한 예시적인 방법을 묘사하는 흐름도를 도시한다.
도 12는 차분 픽셀에서 밝기의 단계적 변화(step changes)를 검출하기 위한 예시적인 방법을 묘사하는 흐름도를 도시한다.
도 13은 도 12의 방법을 사용하여 픽셀 어레이를 동작시키기 위한 예시적인 타이밍도를 도시한다.
도 14는 예시적인 컴퓨팅 시스템을 개략적으로 도시한다.
비행 시간(ToF) 카메라의 동작은 경우에 따라 계산 비용이 많이 들고 전력 집약적일 수 있다. 특히 배터리로 구동되는 이미징 시스템의 경우, 정확한 깊이 이미징을 위한 프레임 속도 요건을 유지하면서 전력 소비를 줄일 수 있는 것이 바람직할 수 있다.
차분 픽셀을 사용해 동작하는 ToF 카메라는 A 차분과 B 차분 사이의 클록 토글링, 아날로그 대 디지털 변환기(analog-to-digital converter; ADC) 동작, 레이저를 포함할 수 있는 내부 조명원의 동작을 포함하여 다양한 전력 소비를 갖는다. 그러나 때때로 이미징되는 장면 또는 장면의 일부는 느리게 움직이거나 정지된 물체를 특징으로 할 수 있다. 따라서 전체 장면을 지속적으로 조명하고 상대적으로 더 높은 속도로 각 픽셀에서 깊이 데이터를 처리하는 것은 일부 상황에서는 전력을 낭비하는 것일 수도 있다.
전력을 절감하기 위해, 카메라는 당면한 장면에 반응하도록 구성되어 즉각적인 관심이 있는 장면 부분만 조명할 수 있다. 필요할 때만 컴퓨팅 리소스와 전력을 소비하는 "점진적 웨이크(progressive wake)" 및 주문형 깊이(depth-on-demand)와 같은 방식이 고려되었다. 그러나 대부분의 이러한 방식은 한 프레임을 판독하고 메모리에 저장한 다음, 또 다른 프레임을 판독하고 디지털 방식으로 비교하는 것을 포함한다. 이를 위해서는 ADC와 메모리를 모두 사용해야 한다.
따라서, 비교적 정적인 장면 또는 장면의 흥미롭지 않은 부분이 제시될 때 픽셀, 조명원 및 ADC에서 전력 절감을 제공할 수 있는 장면 기반 동작 모드를 제공하기 위한 시스템 및 방법이 개시된다.
예를 들어, 픽셀은 디폴트 조건으로서 제1의 더 낮은 전력 모드에서 동작된다. 픽셀에 대한 저주파수 이미지를 획득하고 아날로그 영역에서 비교하여 픽셀의 시야에 밝기 변화가 있는지 여부를 결정한다. 문턱값보다 큰 밝기 변화는 웨이크업 신호를 생성시켜 픽셀이 더 높은 전력 모드에서 동작하게 한다. 아날로그 전압들을 비교함으로써, ADC가 호출될 필요가 없으며 이전 이미지를 메모리에 저장하는 것이 생략될 수 있다.
더 높은 전력 모드에서 동작하는 동안, 밝기가 정적(static)이 되면, 픽셀은 더 낮은 전력 모드로 리턴(return)될 수 있다. 일부 예에서, 샘플링 픽셀의 서브세트는 더 낮은 전력 모드에서 동작될 수 있고 나머지 픽셀은 턴오프된다. 웨이크업 신호는 픽셀 영역에 인가되어 추가적인 전력 절감을 실현할 수 있다. 픽셀 행의 판독을 엇갈리게(stagger)함으로써 장면 밝기의 단계적 변화가 적분(integration) 또는 판독 중에 발생하는지 여부가 검출될 수 있다.
도 1a 내지 도 1c는 예시적인 이미징 시스템(100)의 양상을 도시한다. 이미징 시스템(100)은 또한 본 명세서에서 카메라로서 지칭될 수 있다. 여기서 '카메라'라는 용어는 장면 또는 대상(102)을 이미징하도록 구성된 적어도 하나의 광학 애퍼처 및 센서 어레이를 갖는 임의의 이미징 컴포넌트를 지칭한다. 이미징 시스템(100)은 개별적으로 어드레스 가능한 픽셀(106)의 센서 어레이(104)를 포함한다. 일부 구현에서, 픽셀은 상보성 금속 산화물 반도체(complementary metal-oxide semiconductor; CMOS) 요소일 수 있지만, 다른 적절한 아키텍처도 예상된다. 각 픽셀은 넓은 파장 대역의 광에 응답한다. 실리콘 기반(예컨대, CMOS) 픽셀의 경우, 파장 응답은 예를 들어, 300 nm 내지 1000 nm 범위일 수 있다. 센서 어레이(104)는 간단함을 위해 단지 25개의 픽셀(106)로 개략적으로 도시되어 있지만, 임의의 적절한 다른 수의 픽셀이 사용될 수 있다.
일부 구현에서, 센서 어레이(104)의 픽셀(106)은 차분 픽셀일 수 있다. 각각의 차분 픽셀은 두 개의 상이한 클록 신호에 따라 에너자이징(energize)되는 상이한 수집 단자를 포함할 수 있다. 일례에서, 변조된 능동 조명을 측정하기 위해, 2개의 클록 신호는 실질적으로 상보적일 수 있다(예컨대, 2개의 클록 신호는 180도 위상차가 있는 50% 듀티 사이클을 가짐). 다른 예에서, 2개의 상이한 클록 신호는 예를 들어, 주변 조명 또는 비변조 능동 조명을 측정하기 위한 것과 같이 상이한 관계를 가질 수 있다.
이러한 동작을 통해 동일한 센서 어레이를 사용하여 자외선, 가시광, NIR 광 및 IR 광을 포함한 광범위한 스펙트럼에 걸쳐 능동 광을 측정할 수 있다. 또한, 차분 픽셀은 능동 스펙트럼 광과 주변 광의 차분(즉, 능동광과 주변광의 측정값과 능동광이 없는 주변광의 측정값의 차이) 측정을 수행하는 데 하나의 판독 동작만 사용되기 때문에 시스템 노이즈를 감소시킬 수 있다. 특히, 각각의 픽셀 판독/리셋 동작은 발생마다 시스템 노이즈를 추가할 수 있다. 따라서 두 개의 판독이 필요한 두 개의 개별 측정(즉, 능동, 수동)을 수행한 다음 각 결과를 메모리에 추가하는(또는 메모리로부터 빼는) 대신, 단일 차분 측정이 픽셀 내에서 수행될 수 있고 단일 차분 측정이 메모리에 기록될 수 있다. 차분 픽셀 구조 및 동작의 추가적인 양상이 여기에서 그리고 도 3과 관련하여 설명된다.
차분 픽셀의 센서 어레이를 포함하지 않는 다른 카메라 구현에서는 차분 측정을 수행하기 위해 추가 클록 주기가 사용될 수 있다. 차분 픽셀이 본 명세서에 설명된 이점을 제공하지만, 비차분 센서 어레이를 포함하는 다른 유형의 센서 어레이가 사용될 수 있음이 이해될 것이다.
마이크로렌즈 어레이(108)는 선택적으로 센서 어레이(104) 바로 위에 배열될 수 있다. 마이크로렌즈 어레이(108)는 복수의 마이크로렌즈 요소(110)를 포함한다. 마이크로렌즈 어레이(108)의 각각의 마이크로렌즈 요소(110)는 센서 어레이(104)의 차분 픽셀(106)에 등록될 수 있다. 포함될 때, 마이크로렌즈 어레이(108)는 수집 효율의 증가 및 픽셀들 간의 누화 감소를 위해 각각의 픽셀에서 더 큰 유효 개구율(fill factor)을 제공할 수 있다.
광학 셔터(112)는 선택적으로 센서 어레이(104) 위에 배열되어 센서 어레이를 광학적으로 덮을 수 있다. 포함될 때, 광학 셔터(112)는 상이한 광 필터링 상태들 사이에서 전자적으로 스위칭 가능하다. 일례로, 광학 셔터(112)는 둘 이상의 광 필터링 상태를 포함할 수 있다. 하나의 필터링 상태에서, 광학 셔터(112)는 IR 광을 투과시키고 IR 대역 외부의 광(예컨대, 가시광)을 차단할 수 있다. 또 다른 필터링 상태에서, 광학 셔터(112)는 가시광을 투과시키고 가시광 부대역 외부의 광(예컨대, IR 광)을 차단할 수 있다. 광학 셔터(112)는 전자기 스펙트럼의 임의의 적합한 선택된 부대역의 광을 투과시키고 선택된 부대역 외부의 광을 차단하도록 구성될 수 있다. 광학 셔터(112)는 센서 어레이(104)에 의해 획득된 IR 이미지와 가시광 이미지의 신호 대 잡음비를 증가시킬 수 있다. 광학 셔터(112)는 센서 어레이에 의해 수신된 대역 내 신호의 강도를 크게 감소시키지 않으면서 협대역 광을 투과시키는 임의의 적합한 유형의 필터를 포함할 수 있다. 일례에서, 광학 셔터는 하나 이상의 액정층을 포함할 수 있다. 광학 셔터(112)는 전역 셔터로서 구성될 수 있으며, 축적된 전하는 픽셀 단위 또는 픽셀 그룹 단위로 차광 영역에 저장된다. 광학 셔터(112)는 추가적으로 또는 대안적으로 롤링 셔터로서 구성될 수 있으며, 여기서 이미지 프레임의 상이한 부분의 판독은 예를 들어, 순차적으로, 라인별로 상이한 시간에 수행된다.
일부 구현에서, 광학 셔터는 이미징 시스템(100)에서 생략될 수 있다. 예를 들어, 광학 셔터는 이미징 광학 스택의 비용 및/또는 복잡성을 줄이기 위해 생략될 수 있다. 일부 경우에, 광학 셔터를 생략하면 이미징 광학 스택이 유리하게 더 작은 총 광학 트랙 길이(total optical track length; TTL)를 갖도록 할 수 있는데, 이는 이미징 광학 스택에 튜닝 가능한 필터를 갖는 추가된 복잡성 없이 이미징 렌즈가 설계될 수 있기 때문이다.
조향 가능한 조명원(114)은 장면(102)을 조명하기 위해 능동 조명을 선택적으로 방출하도록 구성될 수 있다. 조향 가능한 조명원(114)은 임의의 적절한 능동 조명을 방출할 수 있다. 일부 구현에서, 조향 가능한 조명원(114)은 변조될 수 있다. 다른 구현에서, 조향 가능한 조명원(114)은 변조되지 않을 수 있다. 일부 예에서, 조향 가능한 조명원(114)은 능동 IR 광을 방출하기 위해 근적외선 또는 적외선(IR) 범위(~850nm)에서 동작하는 고체 레이저 또는 LED를 포함할 수 있다.
다른 구현에서, 조향 가능한 조명원(114)은 가시 스펙트럼 대역에서 능동 조명 광을 방출하도록 구성될 수 있다. 일부 예에서, 조향 가능한 조명원(114)은 예를 들어, 백색 광원과 같은 광대역 조명원을 포함할 수 있다. 일부 예에서, 조향 가능한 조명원(114)은 복수의 스펙트럼 조명기(예컨대, LED)를 포함할 수 있다. 이러한 일부 예에서, 복수의 스펙트럼 조명기는 동일한 스펙트럼 대역에서 능동 조명을 방출하도록 구성될 수 있지만, 이것이 요구되는 것은 아니다.
일부 예에서, 조향 가능한 조명원(114)은 장면(102)의 능동 조명 구역을 조명하도록 크기가 정해진 좁은 시야를 갖는 능동 조명 광을 선택적으로 방출하도록 구성될 수 있다. 또한, 조향 가능한 조명원(114)은 센서 어레이(104)에 의해 보이는 장면(102)에서 복수의 조명 구역(124)(도 1b 및 도 1c에 도시됨)의 상이한 조명 구역을 개별적으로 능동적으로 조명하기 위해 조향 가능한 조명원(114)으로부터 방출된 능동 조명 광을 조향하도록 구성된 조향 요소(116)를 포함한다. 그러한 구역화된 배열은 센서 어레이(104)의 시야보다 더 작은 각도 범위를 갖는 능동 조명 광을 생성하고, 이에 의해 전체 시야 이미징(full-field imaging)에 비해 능동 조명의 동일한 피크 전력에 대해 더 큰 전력 밀도를 제공할 수 있다. 조명 구역은 센서 어레이(104)가 보는 장면의 전체 시야보다 작은 임의의 적절한 크기로 구성될 수 있다. 일부 예에서, 각 조명 구역의 크기는 조향 가능한 조명원(114)의 특성에 기초할 수 있다. 이러한 특성의 비제한적 예는 조향 가능한 조명원(114)의 크기, 전력 소비, 주파수, 각도, 위치 반복성 및 구동 전압 요건을 포함한다.
일부 구현에서, 복수의 조명 구역을 결정하기 위해 이미징 시스템(100)에서 교정 절차가 수행될 수 있다. 교정 절차는 각각의 조명 구역에 공간적으로 매핑되는 센서 어레이(104)의 픽셀(106)을 결정하는 것을 더 포함할 수 있다. 일부 예에서, 결정된 조명 구역은 센서 어레이(104)에 의해 보이는 장면(102)의 전체 시야를 집합적으로 커버할 수 있다. 일부 예에서, 상이한 조명 구역이 서로 중첩될 수 있다. 센서 어레이(104)의 시야를 집합적으로 커버하도록 임의의 적절한 수의 조명 구역이 결정될 수 있다. 또한, 센서 어레이의 임의의 적절한 수의 픽셀이 각 조명 구역에 매핑될 수 있다.
조향 요소(116)는 지정된 조명 구역을 조명하기 위해 조향 가능한 조명원(116)으로부터 방출되는 능동 조명을 적절하게 조향하도록 구성된 임의의 적절한 기계적, 전기 광학적, 미세 전자 기계 시스템(micro-electro-mechanical-system; MEMS), 전기 습윤 프리즘 컴포넌트, 및/또는 기타 조향 컴포넌트를 포함할 수 있다. 일부 예에서, 조향 요소(116)는 장면(102)의 조명 구역을 조명하기 위해 능동 조명 광을 조향하기 위한 기계적 조향 컴포넌트를 제공하는 이동식 거울(movable mirror)을 포함할 수 있다. 일부 예에서, 조향 요소(116)는 하나 이상의 거울을 포함할 수 있다. 일례에서, 복수의 거울 중 적어도 하나는 이동식 거울(예컨대, 마이크로미러)을 포함한다. 일부 예에서, 조향 요소(116)는 입력 광의 측방향 위치에 기초하여 상이한 방향으로 광을 지향 또는 조향하는 불균일 표면을 갖는 굴절 렌즈(예컨대, 프레넬형, 프리즘형 등)를 포함할 수 있다. 일부 예에서, 조향 요소(116)는 전자 광학 조향 컴포넌트를 제공하는 스위칭 가능한 편광 격자를 포함할 수 있다. 일부 예에서, 조향 요소(116)는 전기 습윤 조향 용액(전기 습윤 컴포넌트)에 의한 조향을 제공하는 액정 렌즈 시스템(예컨대, 한 쌍의 액정 렌즈)을 포함할 수 있다. 일부 예에서, 액정 렌즈는 광을 조향하기 위해 전기적으로 조정될 수 있는 액정에 배치된(suspended) 마이크로렌즈의 어레이일 수 있다.
일부 구현에서, 조향 가능한 조명원(114)은 선택적으로 하나 이상의 광학 요소(118)를 포함할 수 있다. 예를 들어, 광학 요소(들)(118)는 시준 요소, 확산 요소 및 포커싱 요소 중 하나 이상을 포함할 수 있다. 시준 요소는 조향 가능한 조명원(114)으로부터 방출된 광을 시준된 광으로 시준하도록 동작할 수 있다. 확산 요소는 조향 가능한 조명원(114)으로부터 방출된 광을 확산시키도록 동작할 수 있고, 이에 의해 시준된 광을 원하는 프로파일(예컨대, 균일한 또는 가우시안 전력 프로파일)을 갖는 확산된 광으로 변환할 수 있다. 포커싱 요소는 지정된 초점 거리에서 확산된 광을 포커싱하도록 동작할 수 있다. 이러한 지정된 초점 거리는 애플리케이션 또는 임의의 다른 적절한 인자에 기초하여 선택될 수 있다. 일부 구현에서, 이러한 광학 요소 중 임의의 것 또는 전부는 조향 가능한 조명원(114)으로부터 생략될 수 있다.
제어기(120)는 논리 머신 및 관련 저장 머신을 포함할 수 있다. 저장 머신은 본 명세서에 개시된 임의의 동작, 알고리즘, 계산 또는 변환을 실행하기 위해 논리 머신에 의해 실행 가능한 명령어를 보유할 수 있다. 일부 구현에서, 논리 머신은 명령어의 일부 또는 전부가 하드웨어 인코딩되거나 펌웨어 인코딩되는 ASIC(application-specific integrated circuit) 또는 SoC(system-on-a-chip)의 형태를 취할 수 있다.
제어기(120)는 센서 어레이(104)에 의해 보여지는 장면(102)의 적어도 일부의 상이한 유형의 이미지(예컨대, 2D, 3D)를 선택적으로 획득하기 위해 센서 어레이(104) 및 조향 가능한 조명원(114)의 픽셀(106)을 개별적으로 제어하도록 구성될 수 있다. 제어기(120)는 센서 어레이(104)를 제어하여 전체 시야 2D 이미지를 획득하도록 구성될 수 있다. 도 1a에 도시된 예에서, 시간 T0에서, 제어기(120)는 센서 어레이(104)의 모든 픽셀(106)을 어드레싱하도록 구성될 수 있으며, 한편 조향 가능한 조명원(114)은 장면(102)의 2D 수동 광 이미지(예컨대, 단색 또는 컬러 이미지)를 획득하기 위해 비활성화된다. 본 명세서에서 사용되는 바와 같이, 시간 T0은 시간 T0의 시작부터 시간 T1까지의 전체 기간을 포함하는 것으로 간주되며, 따라서 T0 시간 프레임에서 개별 픽셀을 순차적으로 어드레싱할 수 있다. 동일한 관례가 여기에서 논의된 다른 시간에 사용된다. 본 명세서에서 사용되는 바와 같이, '비활성화'라는 용어는 조향 가능한 조명원(114)이 장면(102)을 조명하기 위해 능동 조명 광을 방출하지 않는다는 것을 의미한다. 조향 가능한 조명원(114)이 비활성화되면, 조향 가능한 조명원(114)은 최소한의 전력을 소비하거나 전혀 소비하지 않을 수 있다. 대신에, 이 경우에 센서 어레이(104)는 2D 수동 광 이미지(122)를 획득하기 위해 장면(102)의 주변 조명에 의존한다. 광학 셔터(112)가 포함된 구현에서, 제어기(120)는 가시 스펙트럼의 광이 센서 어레이(104)를 통과할 수 있도록 광학 셔터(112)를 스위칭하도록 구성될 수 있다.
제어기(120)는 장면(102)의 개별 조명 구역에 대한 능동 조명에 기초하여 이미지 데이터를 획득하도록 센서 어레이(104) 및 조향 가능한 조명원(114)을 제어하도록 구성될 수 있다. 제어기(120)는 아래에서 더 상세히 설명되는 바와 같이 조명 구역에 위치된 물체의 깊이 값을 결정하기 위해 능동 조명에 기초한 이러한 이미지 데이터를 사용할 수 있다. 도 1b에 도시된 예시된 예에서, 시간 T1에서, 조향 가능한 조명원(114)은 능동 IR 조명 광을 방출하도록 구성된다. 제어기(120)는 능동 IR 조명 광(128)으로 제1 조명 구역(124a)을 조명하도록 조향 가능한 조명원(114)을 제어(즉, 활성화 및 조향)하도록 구성될 수 있다. 제어기(120)는 제1 조명 구역에 대한 IR 이미지 데이터를 획득하기 위해 제1 조명 구역(124a)에 매핑되는 센서 어레이(104)의 픽셀(106)을 어드레싱하도록 구성될 수 있다. 특히, 제1 조명 영역(124a)에 매핑되는 각 센서에 입사하는 장면(102)의 물체 위치로부터 반사된 능동 IR 조명 광(128')이 IR 이미지 획득을 위해 측정된다. 제어기(120)는 이미징 시스템(100)의 전력 효율을 증가시키기 위해 시간 T1에서 제1 조명 구역(124a)에 매핑되지 않은 센서 어레이(104)의 픽셀(106)을 어드레싱 또는 "판독"하지 않을 수 있다는 점에 유의한다. 광학 셔터(112)가 포함될 때, 제어기(120)는 제1 조명 구역(124a)의 IR 이미지 획득을 위해 조향 가능한 조명원(114)의 활성화와 동기화하여 IR(또는 근 IR) 광 부대역 외부의 광을 차단하도록 광학 셔터(112)를 스위칭하도록 구성될 수 있다.
또한, 도 1c에 도시된 바와 같이, 시간 T2에서, 제어기(120)는 능동 IR 조명 광(130)으로 제2 조명 구역(124b)을 조명하도록 조향 가능한 조명원(114)을 제어(즉, 활성화 및 조향)하도록 구성될 수 있다. 제어기(120)는 제2 조명 구역에 대한 IR 이미지 데이터를 획득하기 위해 제2 조명 구역(124b)에 매핑되는 센서 어레이(104)의 픽셀(106)을 어드레싱하도록 구성될 수 있다. 특히, 제2 조명 구역(124b)에 매핑되는 각 픽셀에 입사하는 장면(102)의 물체 위치로부터 반사된 능동 IR 조명 광(130')이 IR 이미지 획득을 위해 측정된다. 제어기(120)는 이미징 시스템(100)의 전력 효율을 증가시키기 위해 시간 T2에서 제2 조명 구역(124b)에 매핑되지 않은 센서 어레이(104)의 픽셀(106)을 어드레싱 또는 "판독"하지 않을 수 있다는 점에 유의한다. 광학 셔터(112)가 포함될 때, 제어기(120)는 제2 조명 구역(124b)의 IR 이미지 획득을 위해 조향 가능한 조명원(114)의 활성화와 동기화하여 IR(또는 근적외선) 광 부대역 외부의 광을 차단하도록 광학 셔터(112)를 스위칭하도록 구성될 수 있다.
제어기(120)는 임의의 적절한 수의 상이한 조명 구역에 대한 능동 조명에 기초하여 이미지 데이터를 획득하기 위해 전술한 이미징 동작을 반복하도록 구성될 수 있다. 예를 들어, 이러한 이미지 데이터는 상이한 조명 구역의 3D 이미징을 위해 획득될 수 있다. 일부 예에서, 센서 어레이(104)에 의해 보여지는 장면의 전체 시야는 시야를 커버하는 복수의 조명 구역을 순차적으로 개별적으로 이미징함으로써 이미징될 수 있다. 일부 예에서, 하나 이상의 조명 구역에 의해 커버되는 식별된 관심 영역만이 식별된 관심 영역을 커버하는 조명 구역(들)을 개별적으로 이미징함으로써 이미징될 수 있다.
센서 어레이(104)의 픽셀(106)에 적용되는 용어 '어드레스'는 설명된 이미징 모드에 따라 다소 다른 의미를 가질 수 있다. 평면 이미징의 경우 - 가시광 및 IR 광을 모두 포함하는 스펙트럼 광의 경우, 픽셀(106)을 어드레싱하는 것은 각각의 픽셀(106)에서 수신된 주변 광의 강도를 적분하는 것과 부대역에서 주변 광의 적분된 강도를 해당 픽셀에 대응하는 2D 이미지의 부분과 연관시키는 것을 포함할 수 있다.
깊이 및/또는 3D 이미징의 경우, 픽셀(106)은 다르게 어드레싱될 수 있다. 여기서, 픽셀을 어드레싱하는 것은 IR 광의 변조된 강도에 대해 각각의 픽셀로부터의 위상 오프셋을 분해(resolve)하는 것을 포함할 수 있다. 선택적으로 깊이 도메인으로 변환되는 위상 오프셋은 어드레싱된 픽셀에 대응하는 이미지 부분과 연관될 수 있다. 다시 말해, 제어기(120)는 어드레싱되는 센서 어레이(104)의 각각의 픽셀(106)에 대한 깊이 값을 결정하도록 구성될 수 있다. 일부 구현에서, 일련의 IR 이미지 획득(예컨대, 6회 내지 9회)이 빠르게 연속하여 위상 오프셋을 획득하는 데 사용될 수 있다. 2D/3D 이미징 애플리케이션의 조합에서 위의 어드레싱 모드 모두는 시간 다중화 방식으로 사용될 수 있다.
전술한 위상 구별 비행 시간(ToF) 접근법은 본 개시 내용에 포함되는 여러 깊이 이미징 기술 중 하나이다. 일반적으로 깊이 이미징 카메라는 장면 또는 대상의 하나 이상의 깊이 맵을 획득하도록 구성될 수 있다. '깊이 맵'이라는 용어는 이미지 장면의 대응 영역(Xi, Yi)에 등록된 픽셀 어레이를 지칭하며, 각 픽셀에 대해 해당 영역의 깊이를 나타내는 깊이 값(Zi)이 있다. 일부 예에서, '깊이'는 카메라로부터 멀어질수록 증가하는 카메라의 광축에 평행한 좌표로서 정의될 수 있다. 다른 예에서, 깊이는 카메라로부터의 방사상 거리로서 정의될 수 있다. 여기서 '깊이 비디오'라는 용어는 깊이 맵의 시간 분해 시퀀스를 지칭한다. ToF 구현에서, IR 조명원(예컨대, 조향 가능한 조명원(114))은 장면을 향해 펄스형 또는 그렇지 않으면 변조된 IR 조명을 투사할 수 있다. 깊이 이미징 카메라의 센서 어레이는 장면으로부터 다시 반사된 조명과 변조된 방출 사이의 위상 오프셋을 검출하도록 구성될 수 있다. 일부 구현에서, 각각의 픽셀의 위상 오프셋은 조명원으로부터 장면으로 그리고 다시 어레이로, 펄스 조명의 픽셀 분해 비행 시간으로 변환될 수 있다. 그런 다음, ToF 데이터는 깊이 데이터로 변환될 수 있다.
제어기(120)는 2D 이미지 데이터 및 3D 이미지 데이터(또는 깊이 데이터)를 임의의 적절한 형태로 출력하도록 구성될 수 있다. 일례로서, 제어기(120)는 픽셀(126)의 행렬을 출력하도록 구성될 수 있다. 행렬의 각 픽셀은 깊이 값(Zi)과 하나 이상의 가시광 값(예컨대, 단색 또는 컬러 값)을 포함한다. 일부 예들에서, 제어기(120)는 픽셀의 행렬(126)을 데이터 구조로서 출력할 수 있고, 행렬의 각 요소는 상이한 픽셀에 대응하고, 행렬의 각 요소는 해당 픽셀에 대한 깊이 값 및 하나 이상의 가시광 값에 대응하는 값의 어레이를 포함한다. 제어기(120)는 이미징 시스템(100)의 내부 또는 외부에 있는 임의의 적절한 수신자에게 픽셀(126)의 행렬(및/또는 임의의 다른 적절한 파라미터 값)을 출력하도록 구성될 수 있다. 일례에서, 제어기(120)는 추가적인 이미지 처리(예컨대, 필터링, 컴퓨터 비전)를 위해 픽셀(126)의 행렬을 또 다른 처리 컴포넌트로 출력하도록 구성될 수 있다. 일부 예에서, 처리 컴포넌트는 이미징 시스템(100)에 통합될 수 있다. 다른 예에서, 처리 컴포넌트는 이미징 시스템(100)과 통신하는 원격 컴퓨팅 디바이스에 통합될 수 있다. 추가 예에서, 제어기(120)는 이미지로서 시각적 제시를 위해 외부 디스플레이 디바이스에 픽셀(126)의 행렬을 출력하도록 구성될 수 있다. 추가적으로, 일부 구현에서, 2D 및 3D 이미지 데이터는 상이한 데이터 구조(예컨대, 단색 또는 컬러 값에 대한 제1 행렬 및 깊이 값에 대한 제2 행렬)를 사용하여 표현될 수 있다.
일부 구현에서, 센서 어레이(104)의 픽셀(106)은 예를 들어, 전송 게이트 ToF 픽셀 및/또는 포토게이트 ToF 픽셀과 같은 차분 픽셀일 수 있다. 도 2는 전송 게이트 ToF 픽셀(200)의 예시적 개략도를 도시한다. 이 상세한 설명은 주로 전송 게이트 ToF 픽셀을 예로 들어 설명될 것이지만, 여기에 설명된 시스템 및 방법은 포토게이트 ToF 픽셀 및 다른 차분 ToF 픽셀 유형에도 적용 가능하다. ToF 픽셀(200)은 "A" 회로(201a) 및 "B" 회로(201b)를 포함하고, 둘 다 활성화될 때 픽셀 전압(205)(VPIX)에 노출될 수 있다. ToF 픽셀(200)은 공통 드레인 게이트(drain gate)(210)(DG) 및 공통 포토다이오드(212)(PD)를 포함한다.
각각의 회로(201a 및 201b)는 예를 들어, 소스 팔로워(215a 및 215b)(SFA, SFB), 부동 확산 커패시터(floating diffusion capacitors)(217a 및 217b)(FDA, FDB), 및 저장 다이오드(220a 및 220b)(SDA, SDB)와 같은 수동 요소를 포함한다. 각각의 회로(201a 및 201b)는 예를 들어, 행 선택 트랜지스터(225a 및 225b)(SELA, SELB), 리셋 게이트(227a 및 227b)(RGA, RGB), 전송 게이트(230a 및 230b)(TGA, TGB), 및 저장 게이트(232a 및 232b)(SGA, SGB)와 같은 작동 가능 요소를 포함한다. 클로킹 신호 하에서 각 게이트의 선택적 동작은 ToF 픽셀(200) 내 전하가 시간에 따라 적분되는 위치와 축적된 전하가 수집 노드(235a 및 235b)(VOUT_A, VOUT_B)에서 판독되는 시기를 결정한다.
ToF 모드에서 정상 동작 동안, A 회로(201a) 및 B 회로(201b)는 순차적으로 에너자이징되고, 일부 예에서 수백 MHz 정도의 주파수에서 교번할 수 있다. 회로(201a)가 에너자이징되는 기간 동안 수집된 모든 전자는 출력 노드(235a)에서 판독되고, 회로(201b)가 에너자이징될 때 픽셀에 충돌하는 모든 광자는 출력 노드(235b)에서 판독된다.
도 3은 전역 셔터 하에서 ToF 픽셀 어레이의 동작을 위한 예시적인 타이밍도(300)를 도시한다. 다이어그램(300)은 임의의 수의 N개의 행을 나타낸다. 이 예에서는 2개의 상이한 변조 주파수 및 위상 지연 캡처의 경우에 대한 기존 동작이 묘사된다. 이 상세한 설명은 예로서 전역 셔터 동작 하에서 ToF 픽셀을 사용하여 주로 설명될 것이지만, 여기서 설명된 시스템 및 방법은 롤링 셔터 동작 하에서 동작하는 ToF 픽셀에도 적용 가능하다.
이 예에서, 302에서, 행 1 내지 N 내의 픽셀에 대한 A 회로 및 B 회로는 제1 변조 주파수(FI) 및 제1 위상 지연(Φ1)을 사용하여 적분 시간 동안 교대로 에너자이징된다. 304에서, 행 1 내지 N이 순차적으로 판독된다. 306에서, 행 1 내지 N 내의 픽셀에 대한 A 회로 및 B 회로는 제1 변조 주파수(FI) 및 제2 위상 지연(Φ2)을 사용하여 적분 시간 동안 교대로 에너자이징된다. 308에서, 행 1 내지 N이 순차적으로 판독된다. 310에서, 행 1 내지 N 내의 픽셀에 대한 A 회로 및 B 회로는 제2 변조 주파수(F2) 및 제1 위상 지연(Φ1)을 사용하여 적분 시간 동안 교대로 에너자이징된다. 312에서, 행 1 내지 N이 순차적으로 판독된다. 314에서, 행 1 내지 N 내의 픽셀에 대한 A 회로 및 B 회로는 제2 변조 주파수(F2) 및 제2 위상 지연(Φ2)을 사용하여 적분 시간 동안 교대로 에너자이징된다. 316에서, 행 1 내지 N이 순차적으로 판독된다. 304, 308, 312 및 316으로부터 결합된 판독은 깊이 이미지(318)를 생성하는 데 사용된다. 그런 다음, 어레이는 320의 기간 동안 유휴 상태이다.
325에서, 하나의 행당 하나의 프레임이 강조된다(점선). 도 4는 전역 셔터 하에서 TOF 픽셀 동작의 그러한 단일 행의 예시적인 타이밍도(400)를 도시한다. 다이어그램(400)은 차분 픽셀(200) 및 그 컴포넌트와 관련하여 설명될 것이다. 다이어그램(400)은 시간에 따른 저장 게이트 A(SGA)의 작동을 나타내는 플롯(410) 및 시간에 따른 저장 게이트 B(SGB)의 작동을 나타내는 플롯(420)을 포함한다. 다이어그램(400)은 시간에 따른 공통 드레인 게이트(DG)의 작동을 나타내는 플롯(430)을 더 포함한다. 다이어그램(400)은 시간에 따른 전송 게이트 A 및 B(TGA, TGB)의 작동을 나타내는 플롯(440), 시간에 따른 리셋 게이트 A 및 B(RGA, RGB)의 작동을 나타내는 플롯(450), 및 시간에 따른 행 선택기 A & B(SELA, SELB)의 작동을 나타내는 플롯(460)을 더 포함한다. 일부 예에서, 판독은 상관된 이중 샘플링(correlated double sampling; CDS)을 사용하여 수행될 수 있다. 여기에는 각 수집 노드를 두 번 판독하는 것이 포함될 수 있으므로 각 수집 노드의 단일 판독에 비해 개선된 신호를 제공한다.
시간 t0에서 시간 t1까지 행은 430에 도시된 바와 같이 드레인 게이트(drainage gate)를 작동시킴으로써 각 픽셀의 포토다이오드(PD)의 전역 리셋을 겪는다. 시간 t1에서, 드레인 게이트가 닫히고 적분이 시작되어 시간 t2까지 연장된다. 시간 t1에서 시간 t2까지, 저장 게이트 A와 저장 게이트 B는 410과 420에 도시된 바와 같이 교대로 작동된다. 시간 t2에서, 드레인 게이트가 다시 열리는 한편, 행은 판독될 자신의 차례를 대기한다. 시간 t3에서, 리셋 게이트는 닫히고, 행 선택기는 각각 450 및 460에 도시된 바와 같이 판독을 개시하기 위해 작동된다. 저장 다이오드로부터 부동 확산으로의 전하 이동은 440에 도시된 바와 같이 한 기간 동안 전송 게이트를 작동시킴으로써 수행된다. 시간 t4에서 행 선택기가 비활성화되고 리셋 게이트가 작동되어 이 행에 대한 판독이 종료된다.
도 5는 차분 비행 시간 픽셀을 동작시키기 위한 예시적인 방법(500)에 대한 흐름도를 도시한다. 방법(500)은 예를 들어, 점진적 웨이크 동작 모드에서와 같이 전력 소비를 줄이기 위해 비행 시간 이미징 디바이스에 의해 사용될 수 있다.
단계(510)에서, 방법(500)은 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키는 단계를 포함한다. 제1의 더 낮은 전력 모드는 디폴트 모드로서 지정될 수 있다. 예를 들어, 제1의 더 낮은 전력 모드는 깊이 이미징과 관련된 더 높은 주파수 스위칭(예컨대, 200MHz)보다는 적분 기간 동안 차분 픽셀의 A 부분과 차분 픽셀의 B 부분 사이의 더 낮은 주파수 스위칭(예컨대, 200Hz)을 포함할 수 있다.
추가적으로 또는 대안적으로, 제1의 더 낮은 전력 모드는 ToF 데이터를 생성하는 데 통상적으로 사용되는 조명 디바이스가 비활성 상태인 수동 모드일 수 있다. 오히려, 차분 픽셀은 환경에 존재하는 주변광을 적분하도록 구성될 수 있다. 또한, ADC를 사용하지 않고 A 부분 및 B 부분으로부터의 전압 판독을 수행할 수 있어 추가적인 전력 절감을 실현할 수 있다.
단계(520)에서, 방법(500)은 제1 기간 동안 제1 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하는 단계를 포함한다. 예를 들어, A 부분 및 B 부분 각각은 MHz 주파수 정도(예컨대, 10ns)에서 앞뒤로 스위칭하기보다는 단일 기간(예컨대, 5ms) 동안 활성화되거나 에너자이징될 수 있다.
단계(530)에서, 방법(500)은 제2 기간 동안 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하는 단계를 포함한다. 일부 예에서, 제2 클록 신호는 제1 클록 신호에 대해 실질적으로 상보적일 수 있다. 제2 기간은 길이가 제1 기간과 동일할 수 있지만, 일부 예에서는 기간이 더 짧거나 더 길 수도 있다. 그러나, 일부 예에서, 제1 클록 신호 및 제2 클록 신호는 제1 수집 단자 및 제2 수집 단자가 중첩 활성화 기간 또는 갭 활성화 기간(gapped activation periods)을 갖도록 구성될 수 있다. 도 4와 관련하여 설명된 바와 같이, ToF 애플리케이션의 경우, 클록 신호는 MHz 주파수에서 A 부분과 B 부분 사이를 토글할 수 있다. 각 전환은 전력(CV^2F)을 소모한다. 예를 들어, 1000개의 사이클에서 1개 내지 2개의 사이클로 사이클 수를 감소시킴으로써 전력 절감이 실현된다. 추가적으로, 정확한 깊이 프레임을 도출하는 데 필요한 다수의 이미지(예컨대, 4개 내지 6개)가 아닌, 촬영되는 이미지 수가 1개로 감소될 수 있다.
이러한 방식으로 픽셀을 동작시키는 예가 도 6에 도시되어 있다. 도 6은 전역 셔터 하에서 TOF 픽셀 동작의 단일 행에 대한 예시적인 타이밍도(600)를 도시한다. 다이어그램(600)은 차분 픽셀(200) 및 그 컴포넌트와 관련하여 설명될 것이다. 다이어그램(600)은 시간에 따른 저장 게이트 A(SGA)의 작동을 나타내는 플롯(610) 및 시간에 따른 저장 게이트 B(SGB)의 작동을 나타내는 플롯(620)을 포함한다. 다이어그램(600)은 시간에 따른 공통 드레인 게이트(DG)의 작동을 나타내는 플롯(630)을 더 포함한다. 다이어그램(600)은 시간에 따른 전송 게이트 A 및 B(TGA, TGB)의 작동을 나타내는 플롯(640), 시간에 따른 리셋 게이트 A 및 B(RGA, RGB)의 작동을 나타내는 플롯(650), 및 시간에 따른 행 선택기 A & B(SELA, SELB)의 작동을 나타내는 플롯(660)을 더 포함한다.
시간 t0에서 시간 t1까지 행은 630에 도시된 바와 같이 드레인 게이트를 작동시킴으로써 각 픽셀의 포토다이오드(PD)의 전역 리셋을 겪는다. 시간 t1에서 드레인 게이트가 닫히고 적분이 시작된다. 시간 t1에서 시간 t2까지, 610에 도시된 바와 같이 저장 게이트 A가 작동된다. 시간 t2에서 시간 t3까지, 620에 도시된 바와 같이 저장 게이트 B가 작동된다. 도 4에 도시된 타이밍도와 대조적으로, 여기에서 각각의 저장 게이트는 단일 연장된 기간 동안 열린다.
도 5로 돌아가서, 단계(540)에서, 방법(500)은 제1 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하는 단계를 포함한다. 제1 전하량은 아날로그 도메인에서 판독될 수 있으며 ADC로 전달되지 않는다. 단계(550)에서 계속하여, 방법(500)은 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량을 판독하는 단계를 포함한다. 제1 전하량 및 제2 전하량은 아날로그 도메인에서 판독될 수 있으며 ADC로 전달되지 않는다. 대안적으로, 제1 전하량 및 제2 전하량은 비교를 위해 더 낮은 ADC 비트 깊이가 가능한 방식으로 판독될 수 있다.
제1 기간 동안 제1 수집 단자에 축적된 제1 전하량 및 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량의 판독은 픽셀 구성에 따라 동시에 또는 순차적으로 발생할 수 있다. 예를 들어, 도 6으로 돌아가서, 시간 t3에서, 드레인 게이트가 다시 열린다. 시간 t4에서, 리셋 게이트는 닫히고, 행 선택기는 각각 650 및 660에 도시된 바와 같이 판독을 개시하기 위해 작동된다. 저장 다이오드로부터 부동 확산으로의 전하 이동은 640에 도시된 바와 같이 한 기간 동안 전송 게이트 A 및 B를 작동시킴으로써 수행된다. 시간 t5에서 행 선택기가 비활성화되고 리셋 게이트가 작동되어 이 행에 대한 판독이 종료된다.
도 5로 돌아가서, 일단 두 수집 단자가 적분되면, 방법(500)은 단계(560)로 진행할 수 있다. 단계(560)에서, 방법(500)은 아날로그 도메인에서 제1 전하량과 제2 전하량을 비교하는 단계를 포함한다. 도 7에 도시된 바와 같이, 모션은 제1 전하량과 제2 전하량의 비교로부터 결정될 수 있는 시간에 따른 밝기 변화를 유도한다. 그런 다음, 이 비교를 사용하여 픽셀을 더 높은 전력 모드로 진행할지 여부를 결정할 수 있다.
도 7은 3개의 예시 플롯(700, 710 및 720)을 도시한다. 플롯(700)은 정적 밝기를 가진 장면을 묘사한다. 플롯(710)은 시간이 지남에 따라 밝기가 증가하는 장면을 묘사한다. 플롯(720)은 시간이 지남에 따라 밝기가 감소하는(예컨대, 더 어두워지는) 장면을 묘사한다. 예를 들어, 플롯(700)으로 표현된 장면과 같은 정적 장면의 경우, Sig_A-Sig_B = 0이고; 따라서 abs(Sig_A-Sig_B) = 0이다. 예를 들어, 플롯(710)에 의해 표현된 장면과 같이 밝기가 증가하는 장면의 경우, Sig_A-Sig_B < 0이고; 따라서 abs(Sig_A-Sig_B) > 0이다. 예를 들어, 플롯(720)에 의해 표현된 장면과 같이 밝기가 감소하는 장면의 경우, Sig_A-Sig_B > 0이고; 따라서 abs(Sig_A-Sig_B) > 0이다. abs(Sig_A-Sig_B)의 값은 ADC를 우회하여 아날로그 영역에서 결정될 수 있다. 픽셀의 시야에서 밝기의 임의의 변화는 abs(Sig_A-Sig_B)의 증가를 야기할 것이다.
도 5로 돌아가서, 단계(570)에서, 방법(500)은 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계를 포함한다.
일부 예에서 문턱값은 제1 전하량과 제2 전하량에 기초할 수 있다. 다시 말해, 문턱값은 신호 레벨에 기초할 수 있으므로, 노이즈로 인한 변동으로 인해 문턱값이 위반되지 않는다. 이와 같이, 문턱값은 항상 노이즈 레벨을 초과하도록 지속적으로 갱신될 수 있다.
픽셀의 신호(S)가 낮을 때 신호의 노이즈(N)도 작다(예컨대, 샷 노이즈(shot noise)). 이와 같이 상대적으로 작은 검출 문턱값(T)은 N보다 크게 설정될 수 있다. 그러나 픽셀의 신호(S)가 높을 때, 신호의 노이즈(N)도 높다(예컨대, 샷 노이즈 때문). 가짜의 허위 긍정 오류(spurious false positives)를 회피하기 위해 상대적으로 큰 검출 문턱값이 선택될 수 있다. 예를 들어, 일광에서 밝은 이미지는 본질적으로 노이즈가 많으며, 상대적으로 어두운 실내 환경에 대해 사용되는 문턱값은 비효과적일 수 있다.
도 8은 제1 신호와 제2 신호가 문턱값만큼 상이한지 여부를 결정하기 위한 비교기 회로(800)의 일례를 도시한다. 비교기 회로는 제1 수집 단자(VOUT_A(811))의 판독치에 기초하여 신호를 수신하도록 구성된 제1 입력(810) 및 제2 수집 단자(VOUT_A(821))의 판독치에 기초하여 신호를 수신하도록 구성된 제2 입력(820)을 포함한다. 제3 입력(830)은 예를 들어, 히스테리시스 신호와 같은 문턱화 신호(thresholding signal)(831)를 수신하도록 구성된다. 비교기 회로(800)는 문턱화 비교의 결과에 기초하여 비교 신호(841)를 출력하도록 구성된 출력(840)을 더 포함한다.
신호 레벨이 증가함에 따라, 노이즈는 신호의 제곱근에 비례하여 증가한다. 이와 같이, 문턱화 신호는 신호의 제곱근에 기초하여 설정될 수 있다. 예를 들어, 문턱화 신호는 Sqrt(VOUT_A + VOUT_B) + C에 기초하도록 설정될 수 있으며, 여기서 C는 상수이다. 이를 통해 아날로그 도메인을 벗어나지 않고 ADC에서 이러한 신호를 측정하지 않고 신호 값(811 및 821)에 기초해 히스테리시스에 의해 문턱값을 변조할 수 있다.
문턱값(T)이 노이즈 레벨(N)보다 충분히 높으면, 신호(S)의 노이즈(N)에 근사한 문턱값 회로를 사용하여 문턱값 T를 설정할 수 있다. 도 9는 문턱값이 신호 레벨에 기초하여 변하는 비교기 회로로서 사용될 수 있는 예시적인 차분 회로(900)를 개략적으로 도시한다. 차분 회로(900)는 신호의 변화를 동시에 검출하고 신호 차분을 자동으로 결정된 문턱값에 적용하도록 구성될 수 있다. 차분 회로(900)는 제1 수집 단자(VOUT_A)의 판독치에 기초하여 신호를 제1 저항기(911)(R1) 양단에 인가하도록 구성된 제1 입력(910) 및 제2 수집 단자(VOUT_A)의 판독치에 기초하여 제2 저항기(921)(R2) 양단에 신호를 인가하도록 구성된 제2 입력(920)을 포함한다.
적절하게 큰 변화(VOUT_A - VOUT_B)가 있는 경우, 상대적으로 더 큰 전압이 제3 저항기(930(R3)) 양단에 나타난다. 그렇지 않으면 R3 양단의 전압이 상대적으로 더 작다. 따라서 차분 회로(900)는 Sqrt(VOUT_A - VOUT_B의 변화) + C에 근사한 방식으로 공통 모드 값의 함수로서 문턱값 변화를 생성하는 데 사용될 수 있다. 트랜지스터 구동은 전압이 증가함에 따라 증가할 수 있고, 따라서 공통 모드가 하이일 때(예컨대, 로우 신호) 제3 저항기(930)를 더 빠르게 오버파워링(overpowering)할 수 있다. 제3 저항기(930) 양단의 출력은 충분한 신호 변화가 발생했는지 여부를 결정하기 위해 고정된 문턱값으로 구성된 또 다른 비교기로 전송될 수 있다.
차분 회로(900)가 큰 포지티브 이득을 갖지만, 일부 예에서, 신호 극성을 제거하기 위한 어느 정도의 신호 디지털화 및/또는 처리가 적용될 수 있다. 이러한 회로는 일부 예에서 조정 불가능한 버전의 비교기(800)와 캐스케이드(cascade)될 수 있다.
도 5로 돌아가서, 제1 전하량이 제2 전하량의 문턱값 내에 있으면, 제1 차분 픽셀은 제1의 더 낮은 전력 모드에서 유지될 수 있다. 판독 신호가 문턱값 미만의 신호 대 잡음비를 갖는 경우, 제1 차분 픽셀은 한 기간 동안 더 높은 전력 모드에서 동작될 수 있다. 예를 들어, 능동 조명은 더 높은 신호 데이터를 얻기 위해 제1 차분 픽셀을 포함하는 센서 어레이의 픽셀 영역에 대해 활성화될 수 있다.
제1 수집 단자와 제2 수집 단자 사이에 축적된 전하의 문턱값 변화가 있는 것으로 결정되면, 제1 차분 픽셀은 제2의 더 높은 전력 모드에서 동작된다. 일부 예에서, 제2의 더 높은 전력 모드는 수집 단자들 사이의 증가된 스위칭 주파수, 어느 정도의 디지털 처리 및/또는 ADC 활성화, 조향 가능한 조명원을 통한 능동 조명의 활성화, 및/또는 ToF 모드 진입을 포함할 수 있다.
일부 예에서, 제2의 더 높은 전력 모드는 ToF 모드가 아니다. 오히려, 제2의 더 높은 전력 모드는 제1의 더 낮은 전력 모드를 통해 이용 가능한 것보다 더 높은 정도의 정보를 수집하기 위해 사용될 수 있다. 예를 들어, 제2의 더 높은 전력 모드는 조명원이 활성화되지 않는, 사진 모드일 수 있고, 제1 수집 단자와 제2 수집 단자 사이의 토글링은 제1의 더 낮은 전력 모드를 초과해 증가하지만 ToF 이미징과 관련된 MHz 레벨까지는 아니다. 이미지 데이터는 평가를 위해 ADC로 션트(shunt)될 수 있다. 그런 다음, 차분 픽셀 및/또는 전체 픽셀 어레이가 예를 들어, ToF와 같은 추가의 더 높은 전력 모드로 진행해야 하는지 여부를 결정하기 위해 이 제2의 더 높은 전력 모드에서 수집된 사진 정보가 사용될 수 있다.
예를 들어, 픽셀 어레이의 영역 내의 둘 이상의 픽셀에서 전하의 변화가 검출될 수 있다. 픽셀 영역은 해당 영역의 화상(picture)이 촬영되고 일련의 기준에 대해 평가되는 제2의 더 높은 전력 모드로 전환될 수 있다. 기준 세트는 화상이 영역에서 상당한 밝기 변화를 나타내는지 여부 및/또는 화상이 영역에서 진행 중인 밝기 변화를 나타내는지 여부를 나타내는 파라미터를 포함할 수 있다. 화상이 기준 세트를 충족하지 못하면, 픽셀 영역이 제1의 더 낮은 모드로 리턴(return)될 것이다. 기준 세트가 충족되면, 픽셀 영역이 예를 들어, ToF 이미징과 같이 제2의 전력 모드보다 높은 제3의 전력 모드로 진행될 수 있다. 이러한 방식으로, 전력 모드는 신호 데이터에 기초하여 증분적으로, 그러나 신속하게 증가될 수 있다. 그런 다음, 카메라는 장면의 실제 변화에 응답할 수 있는 한편, 최대 전력 ToF 모드로 진입하지 않고 노이즈와 변동이 면밀히 조사(scrutinize)된다.
픽셀을 선택적으로 비활성화하거나 결합하여 더 낮은 전력 모드에서 추가 전력 절감이 실현될 수 있다. 도 10a는 전체 해상도에서 동작하는 픽셀 어레이(1000)를 개략적으로 도시한다. 픽셀 어레이(1000)는 ADC 블록(1012)에 결합된 54개의 픽셀의 9x6 블록으로서 묘사된 영역(1010)을 포함한다. 이 예에서, 영역(1010) 내의 54개의 픽셀 각각이 활성화된다. 도 10b는 데시메이팅된(예컨대, 서브샘플링된) 픽셀 어레이(1050)를 개략적으로 도시한다. 픽셀 어레이(1050)는 ADC 블록(1062)에 결합된 54개의 픽셀의 9x6 블록으로서 묘사된 영역(1060)을 포함한다. 이 예에서, 영역(1060)은 예를 들어, 클러스터(1065)와 같은 9-픽셀 클러스터로 분할된다. 이 예에서, 클러스터(1065) 내의 9개 픽셀 중 하나가 활성화되고, 따라서 영역(1060) 내의 54개 픽셀 중 6개가 활성화된다(예컨대, 1/9의 인자로 데시메이팅됨). 픽셀 어레이 내의 활성화된 픽셀에 의해 생성된 신호에 기초하여, 비활성화된 픽셀이 활성화되어 점진적 웨이크 프로세스의 첫 번째 단계로서 어레이의 해상도를 증가시킬 수 있다. 이러한 프로세스는 개별 픽셀 또는 전체 어레이로가 아닌, 픽셀 어레이의 영역 내에서 적용될 수 있다. 이는 잠재적으로 불필요한 픽셀 활성화 및 더 높은 전력 모드를 통한 진행을 감소시킬 수 있다. 특히, 이미징 디바이스는 센서 어레이가 보는 장면에서 복수의 조명 구역 중의 상이한 조명 구역들을 개별적으로 능동적으로 조명하도록 구성된 조향 가능한 조명원을 포함할 수 있다. 조향 가능한 조명원은 밝기의 변화를 나타내는 픽셀 어레이 영역에 대응하는 특정 조명 구역만 능동적으로 조명할 수 있다. 다른 픽셀 어레이 영역은 수동 검출 모드에서 유지될 수 있다.
도 11은 차분 비행 시간 픽셀의 복수의 영역을 포함하는 픽셀 어레이를 동작시키기 위한 예시적인 방법(1100)을 묘사한다. 하나의 비제한적인 예로서, 픽셀 어레이는 16개의 영역으로 분할될 수 있지만 더 많거나 더 적은 영역이 사용될 수 있다. 일부 예들에서, 복수의 영역들 각각은 그 안에 포함된 픽셀의 크기 및 수가 동일할 수 있는 반면, 다른 예들에서, 영역들은 불일치(incongruent)하거나, 중첩되거나, 다르게 구성될 수 있다.
단계(1110)에서, 방법(1100)은 픽셀 어레이의 제1 영역을 감소된 전력 모드에서 동작시키는 단계를 포함한다. 예를 들어, 제1 영역은 하나 이상의 능동 픽셀을 포함할 수 있고, 각각의 능동 픽셀은 예를 들어, 도 5 및 도 6과 관련하여 설명된 더 낮은 전력 모드와 같은 제1의 더 낮은 전력모드에서 동작하도록 구성되며, 여기서 픽셀은 수동 저주파수 모드에서 동작된다. 일부 예에서, 감소된 전력 모드에서 동작하는 것은 도 10b와 관련하여 설명된 바와 같이 영역을 서브샘플링하는 것을 포함한다. 따라서 제1 영역은 하나 이상의 비능동 픽셀로 데시메이팅되는 것으로 간주될 수 있다. 2개 이상의 픽셀이 클러스터로 그룹화될 수 있으며 하나 이상의 픽셀이 클러스터를 나타내기 위해 판독된다.
일부 예에서, 감소된 전력 모드에서 동작하는 것은 2개 이상의 픽셀의 출력을 함께 비닝(binning)하는 것을 포함한다. 각 픽셀은 설명된 저주파수, 더 낮은 전력 모드에서 동작될 수 있지만, 2개 이상의 픽셀에 대한 출력 신호는 분석을 위해 함께 결합될 수 있다. 예로서, 많은 픽셀 어레이는 다수(예컨대, 4개의) 픽셀로부터 전압을 받아들이고 저항성 비닝(resistive binning)을 수행하도록 구성되는 증폭기를 포함한다. 다수의 제1 수집 단자로부터의 전압은 제1 저항기를 통해 공통 노드에서 결합될 수 있고, 다수의 제2 수집 단자로부터의 전압은 제2 저항기를 통해 결합될 수 있다. 그런 다음, 결합된 전압은 예를 들어, 도 7 내지 9와 관련하여 설명된 바와 같이 비교될 수 있다. 동시에 다수의 픽셀을 판독함으로써, 단일 픽셀을 판독하는 전력 비용이 유지된다.
단계(1120)에서, 방법(1100)은, 픽셀 어레이의 제1 영역에 대한 전하 판독이 문턱값을 초과해 증가하는 것에 기초하여, 픽셀 어레이의 제1 영역을 더 높은 전력 모드에서 동작시키는 단계를 포함한다. 각각의 픽셀 또는 픽셀의 클러스터에 대한 문턱화는 도 8 및 9와 관련하여 설명된 바와 같이 수행될 수 있다. 일부 예에서, 영역 내의 2개 이상의 픽셀 또는 픽셀의 클러스터는 픽셀 어레이의 제1 영역이 더 높은 전력 모드에서 동작하기 전에 문턱값 변화를 표시할 수 있다. 도 5와 관련하여 설명된 바와 같이, 더 높은 전력 모드는 카메라 모드, ToF 모드, 또는 다른 더 높은 전력 모드일 수 있다.
일부 예에서, 더 높은 전력 모드는 영역 내의 모든 픽셀을 개별적으로 활성화하지만 픽셀을 제1의 더 낮은 전력 모드에서 동작시키는 것을 포함할 수 있다. 예를 들어, 도 10b에 도시된 영역(1060)과 같은 데시메이팅된 영역은 예를 들어, 도 10a에 도시된 영역(1010)과 같이 완전히 활성화된 영역으로 변환될 수 있다. 그러나 각 픽셀은 그러면 저주파수 수동 이미징 모드에서 동작될 수 있다. 일부 예에서, 전체 픽셀 어레이는, 픽셀 어레이의 제1 영역에 대한 전하 판독이 문턱값을 초과해 증가하는 것에 기초하여 더 높은 전력 모드에서 동작될 수 있다. 예를 들어, 제1 문턱값을 위반하는 것은 더 높은 전력 모드에서 영역을 동작시키는 것을 나타낼 수 있는 반면, 제2의 더 높은 문턱값을 위반하는 것은, 픽셀 어레이의 서로 다른 영역이 비교 가능한 레벨의 활동을 나타내지 않더라도, 전체 어레이를 더 높은 전력 모드에서 동작시키는 것을 나타낼 수 있다.
단계(1130)에서, 방법(1100)은 픽셀 어레이의 영역에 대한 환경의 이미지 데이터를 더 높은 전력 모드에서 수집하는 단계를 포함한다. 도 5와 관련하여 설명된 바와 같이, 이미지 데이터를 수집하는 것은 픽셀 어레이의 영역을 사용하여 환경의 수동 카메라 이미지를 획득하는 것을 포함할 수 있다. 일부 예에서 환경의 이미지 데이터를 수집하는 것은 어레이 영역의 관점에서 환경의 조명 구역을 선택적으로 조명하는 것을 포함할 수 있다. 이와 같이, 영역에 대한 수집된 이미지 데이터는 2D 또는 3D 이미지 데이터일 수 있다.
단계(1140)에서, 방법(1100)은 수집된 이미지 데이터에 기초하여 픽셀 어레이에 대한 전력 모드를 조정하는 단계를 포함한다. 예를 들어, 이미지 데이터가 검출된 밝기의 변화가 노이즈, 트랜션트(transient), 또는 그렇지 않으면 더 많은 전력 집약적 이미징을 나타내지 않는 것임을 나타내는 경우, 픽셀 어레이의 적어도 제1 영역은 감소된 전력 및/또는 저해상도 모드로 리턴될 수 있다. 이미지 데이터가 적어도 제1 영역에 대한 밝기의 검출된 변화를 나타내면, 조향 가능한 조명원은 적어도 제1 영역에 대해 활성화될 수 있다. 그런 다음, 능동 이미징 데이터는 제1 영역의 픽셀을 고려하여 능동적으로 조명되는 조명 구역에 대해 수집될 수 있다. 일부 예에서, 조향 가능한 조명원은, 픽셀 어레이의 다른 영역이 더 높은 전력 모드에서 동작됨에 따라 하나 이상의 조명 구역을 순차적으로 조명하도록 진행할 수 있다.
밝기의 검출 가능한 단계적 함수 변화는 프레임 내(인트라 프레임) 또는 프레임 간(인터 프레임)에서 발생할 수 있다. 효과적인 검출 방식을 제공하기 위해 본 명세서에 설명된 방법론을 위해 프레임 내 및 프레임 간 변경 모두가 시스템에 의해 검출되어야 한다. 그러나 적분 중에 비해 판독 중에 발생하는 밝기 변화를 검출하는 것이 더 어려울 수 있다.
도 12는 예를 들어, 본 명세서에 설명된 바와 같은 저주파수, 더 낮은 전력 모드 동안 밝기의 단계적 변화를 검출하기 위한 예시적인 방법(1200)을 도시한다. 단계(1210)에서, 방법(1200)은 센서 어레이의 각각의 능동 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키는 단계를 포함한다. 단계(1220)에서, 방법(1200)은 제1 적분 기간 동안 각각의 능동 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하는 단계를 포함한다. 이들 동작들은 일부 예에서 도 5와 관련하여 여기에서 설명된 바와 같이 수행될 수 있다. 예를 들어, 도 13은 픽셀 어레이가 더 많거나 더 적은 픽셀 행을 가질 수 있지만 차분 픽셀의 10개의 행에 대한 동작을 표시하는 예시적인 타이밍 플롯(1300)을 도시한다. 제1 클록 신호는 각각의 차분 픽셀에 대해 "A" 또는 제1 수집 단자를 활성화할 수 있다. 타이밍 플롯(1300)에서, 제1 클록 신호는 프레임 1 및 프레임 3의 적분 기간 동안 A 단자를 선택적으로 활성화한다.
도 12로 돌아가서, 단계(1230)에서, 방법(1200)은, 제1 적분 기간 이후의 제1 판독 기간 동안, 차분 픽셀의 행의 제1 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하는 단계, 및 차분 픽셀의 행의 제2 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 전하량을 유지하는 단계를 포함한다. 예를 들어, 타이밍 플롯(1300)은 프레임 1 및 프레임 3의 판독 기간 부분 동안 판독되는 홀수 행(예컨대, 1, 3, 5, 7 및 9)을 보여준다. 짝수 행(예컨대, 2, 4, 6, 8 및 10)은 이 판독 기간 동안 판독되지 않는다. 따라서 짝수 행은 어레이가 프레임 2로 진행함에 따라 자신의 전하를 유지한다.
도 12로 돌아가서, 단계(1240)에서, 방법(1200)은 제2 적분 기간 동안 각각의 능동 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하는 단계를 포함하고, 제2 클록 신호는 제1 클록 신호에 실질적으로 상보적이다. 예를 들어, 타이밍 플롯(1300)에 도시된 바와 같이, 제2 클록 신호는 프레임 2 및 프레임 4의 적분 기간 동안 "B" 또는 제2 수집 단자 또는 각각의 차분을 활성화할 수 있다.
도 12로 돌아가서, 단계(1250)에서, 방법(1200)은 제2 적분 기간 이후의 제2 판독 기간 동안, 차분 픽셀의 행의 제2 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하는 단계, 제2 적분 기간 동안 제2 수집 단자에 축적된 제2 전하량을 판독하는 단계, 및 차분 픽셀의 행의 제1 서브세트에 대해, 제2 적분 기간 동안 제2 수집 단자에 축적된 전하량을 유지하는 단계를 포함한다. 예를 들어, 타이밍 플롯(1300)은 프레임 2 및 프레임 4의 판독 기간 부분 동안 판독되는 짝수 행(예컨대, 2, 4, 6, 8 및 10)을 보여준다. 홀수 행(예컨대, 1, 3, 5, 7 및 9)은 이 판독 기간 동안 판독되지 않는다. 따라서 홀수 행은 어레이가 프레임 3으로 진행함에 따라 자신의 전하를 유지한다.
도 12로 돌아가서, 단계(1260)에서, 방법(1200)은 각각의 차분 픽셀에 대해, 예를 들어, 도 8 및 도 9와 관련하여 설명된 바와 같이 아날로그 도메인에서 제1 전하량과 제2 전하량을 비교하는 단계를 포함한다. 적분 기간 동안 단계적 변화가 발생하면(1310에 도시된 바와 같이), 이는 후속 판독 기간에서 짝수 행에 의해 검출될 것이다. 예를 들어, 행 2의 경우 프레임 1 동안 단자 A에서의 적분은 프레임 2 동안 판독될 때까지 유지된다. 프레임 2 동안 단자 B에 대한 적분 중에, 단계적 변화는, 프레임 2의 판독 중에 동시에 판독될 때 단자 B에서의 판독이 단자 A에 대한 판독보다 높아지게 할 것이다. 판독 기간 동안 단계적 변화가 발생하면(1320에 도시된 바와 같이), 홀수 행은 이들 행이 프레임 3 동안 판독될 때 단자 B에서보다 단자 A로부터 더 높은 판독치를 나타낼 것이다. 이 밝기 변화를 생성하는 장면 물체는 적어도 하나의 홀수 행과 하나의 짝수 행에 걸쳐 있을 만큼 충분히 크다고 가정된다.
도 12로 돌아가서, 방법(1200)은 1270에서, 제1 차분 픽셀에 대해, 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계를 포함한다.
일부 실시예에서, 본 명세서에 설명된 방법 및 프로세스는 하나 이상의 컴퓨팅 디바이스의 컴퓨팅 시스템과 관련될 수 있다. 구체적으로, 그러한 방법 및 프로세스는 컴퓨터 응용 프로그램 또는 서비스, 애플리케이션 프로그래밍 인터페이스(application-programming interface; API), 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 14는 앞서 설명된 방법 및 프로세스 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(1400)의 비제한적인 실시예를 개략적으로 도시한 것이다. 컴퓨팅 시스템(1400)이 단순화된 형태로 도시되어 있다. 컴퓨팅 시스템(1400)은 하나 이상의 개인용 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게임 디바이스, 모바일 컴퓨팅 디바이스, 이동 통신 디바이스(예컨대, 스마트폰), 및/또는 다른 컴퓨팅 디바이스의 형태를 취할 수 있다.
컴퓨팅 시스템(1400)은 논리 머신(1410) 및 저장 머신(1420)을 포함한다. 컴퓨팅 시스템(1400)은 디스플레이 서브시스템(1430), 입력 서브시스템(1440), 통신 서브시스템(1450), 및/또는 도 14에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다.
논리 머신(1410)은 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함한다. 예를 들어, 논리 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 논리적 구조(logical construct)의 일부인 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 컴포넌트의 상태를 변환시키거나, 기술적 효과를 달성하거나, 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
논리 머신은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 논리 머신은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 머신의 프로세서는 단일 코어(single-core) 또는 멀티 코어(multi-core)일 수 있고, 이들에서 실행되는 명령어는 순차, 병렬, 및/또는 분산 처리를 위해 구성될 수 있다. 논리 머신의 개개의 컴포넌트는, 선택적으로, 원격지에 위치될 수 있고 그리고/또는 협조 처리(coordinated processing)를 위해 구성될 수 있는, 2개 이상의 개별 디바이스 간에 분산되어 있을 수 있다. 논리 머신의 양상이 가상화되고 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스 가능한 네트워크로 연결된 컴퓨팅 디바이스에 의해 실행될 수 있다.
저장 머신(storage machine)(1420)은 본원에 설명되는 방법 및 프로세스를 구현하기 위해 논리 머신에 의해 실행 가능한 명령어를 보유하도록 구성된 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법 및 프로세스가 구현될 때, 저장 머신(1420)의 상태가 예를 들어, 상이한 데이터를 보유하도록 변환될 수 있다.
저장 머신(1420)은 탈착식 및/또는 내장형 디바이스를 포함할 수 있다. 저장 머신(1420)은 특히, 광 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 머신(1420)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 어드레싱 가능, 파일 어드레싱 가능, 및/또는 내용 어드레싱 가능 디바이스를 포함할 수 있다.
저장 머신(1420)이 하나 이상의 물리적 디바이스를 포함한다는 것을 잘 알 것이다. 그렇지만, 본원에 설명되는 명령어의 양상은, 대안적으로, 물리적 디바이스에 의해 유한한 기간 동안 보유되지 않는 통신 매체(예컨대, 전자기 신호, 광 신호 등)에 의해 전파될 수 있다.
논리 머신(1410) 및 저장 머신(1420)의 양상들이 하나 이상의 하드웨어 논리 컴포넌트에 함께 통합될 수 있다. 이러한 하드웨어 논리 컴포넌트는, 예를 들어, FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
포함될 때, 디스플레이 서브시스템(1430)은 저장 머신(1420)에 의해 보유된 데이터의 시각적 표현을 제시하기 위해 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 형태를 취할 수 있다. 본원에 설명되는 방법 및 프로세스가 저장 머신에 의해 보유되는 데이터를 변경하고 따라서 저장 머신의 상태를 변환시키기 때문에, 기본 데이터(underlying data)의 변경을 시각적으로 표현하기 위해 디스플레이 서브시스템(1430)의 상태도 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(1430)은 실질적으로 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 그러한 디스플레이 디바이스는 공유되는 인클로저(shared enclosure) 내의 논리 머신(1410) 및/또는 저장 머신(1420)과 결합될 수 있거나, 그러한 디스플레이 디바이스는 주변 디스플레이 디바이스일 수 있다.
포함될 때, 입력 서브시스템(1440)은 예를 들어, 키보드, 마우스, 터치 스크린, 또는 게임 제어기와 같은 하나 이상의 사용자 입력 디바이스를 포함하거나 그것과 인터페이싱할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 내추럴 사용자 입력(natural user input; NUI) 컴포넌트를 포함하거나 그것과 인터페이싱할 수 있다. 그러한 컴포넌트는 통합되거나 주변 장치일 수 있으며 입력 동작의 변환 및/또는 처리는 온보드 또는 오프 보드로 처리될 수 있다. 예시적인 NUI 컴포넌트는 음성 및/또는 음성 인식을 위한 마이크; 머신 비전 및/또는 제스처 인식을 위한 적외선, 컬러, 입체 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 추적기, 눈 추적기, 가속도계, 및/또는 자이로스코프; 뇌 활동을 평가하기 위한 전계 감지 컴포넌트를 포함할 수 있다.
포함될 때, 통신 서브시스템(1450)은 컴퓨팅 시스템(1400)을 하나 이상의 다른 컴퓨팅 디바이스와 통신적으로 결합시키도록 구성될 수 있다. 통신 서브 시스템(1450)은 하나 이상의 상이한 통신 프로토콜과 호환 가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 LAN(local-area network) 또는 WAN(wide-area network)을 통한 통신을 위해 구성될 수 있다. 일부 실시예에서, 통신 서브 시스템은 컴퓨팅 시스템(1400)이 예를 들어, 인터넷과 같은 네트워크를 통해 다른 디바이스로 그리고/또는 다른 디바이스로부터 메시지를 송신 및/또는 수신하게 할 수 있다.
일례에서, 이미징 시스템은 복수의 차분 픽셀을 포함하는 센서 어레이; 및 제어기를 포함하고, 제어기는, 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키고; 제1 기간 동안 제1 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하고; 제2 기간 동안 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하고; 제1 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하고; 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량을 판독하고; 아날로그 도메인에서 제1 전하량과 제2 전하량을 비교하며; 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키도록 구성된다. 이러한 예 또는 임의의 다른 예에서, 문턱값은 추가적으로 또는 대안적으로 제1 전하량과 제2 전하량에 기초한다. 임의의 이전 예 또는 임의의 다른 예에서, 제1의 더 낮은 전력 모드는 추가적으로 또는 대안적으로 제1 수집 단자와 제2 수집 단자의 활성화 사이의 저주파수 스위칭을 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 제2의 더 높은 전력 모드는 추가적으로 또는 대안적으로 비행 시간 이미징을 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 제2의 더 높은 전력 모드는 추가적으로 또는 대안적으로 픽셀에서 수집된 이미지 데이터의 아날로그 대 디지털 변환을 포함하는 수동 카메라 모드를 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 제어기는 추가적으로 또는 대안적으로 또한, 수동 카메라 모드 동안 수집된 디지털 이미지 데이터를 기준 세트에 대해 평가하고; 디지털 이미지 데이터가 기준 세트를 충족하는 것에 기초하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드보다 더 높은 제3 전력 모드에서 동작시키도록 구성된다. 임의의 이전 예 또는 임의의 다른 예에서, 제어기는 추가적으로 또는 대안적으로 또한, 디지털 이미지 데이터가 기준 세트를 충족하지 못하는 것에 기초하여 제1 차분 픽셀을 제1의 더 낮은 전력 모드로 리턴하도록 구성된다. 임의의 이전 예 또는 임의의 다른 예에서, 제어기는 추가적으로 또는 대안적으로 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 기초하여 2개 이상의 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키도록 구성된다. 임의의 이전 예 또는 임의의 다른 예에서, 센서 어레이는 추가적으로 또는 대안적으로 차분 픽셀의 복수의 영역으로 분할되고, 제1 차분 픽셀은 추가적으로 또는 대안적으로 차분 픽셀의 제1 영역에 위치하며, 제어기는 추가적으로 또는 대안적으로 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 기초하여 차분 픽셀의 제1 영역에 있는 각각의 픽셀을 제2의 더 높은 전력 모드에서 동작시키도록 구성된다.
또 다른 예에서, 복수의 차분 픽셀을 포함하는 센서 어레이를 동작시키기 위한 방법은, 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키는 단계; 제1 기간 동안 제1 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하는 단계; 제2 기간 동안 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하는 단계; 제1 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하는 단계; 제2 기간 동안 제2 수집 단자에 축적된 제2 전하량을 판독하는 단계; 아날로그 도메인에서 제1 전하량과 제2 전하량을 비교하는 단계; 및 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계를 포함한다. 이러한 예 또는 임의의 다른 예에서, 문턱값은 추가적으로 또는 대안적으로 제1 전하량과 제2 전하량에 기초한다. 임의의 이전 예 또는 임의의 다른 예에서, 제1의 더 낮은 전력 모드는 추가적으로 또는 대안적으로 제1 수집 단자와 제2 수집 단자의 활성화 사이의 저주파수 스위칭을 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 제2의 더 높은 전력 모드는 추가적으로 또는 대안적으로 비행 시간 이미징을 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 제2의 더 높은 전력 모드는 추가적으로 또는 대안적으로 픽셀에서 수집된 이미지 데이터의 아날로그 대 디지털 변환을 포함하는 수동 카메라 모드를 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 방법은 추가적으로 또는 대안적으로 수동 카메라 모드 동안 수집된 디지털 이미지 데이터를 기준 세트에 대해 평가하는 단계; 및 디지털 이미지 데이터가 기준 세트를 충족하는 것에 기초하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드보다 더 높은 제3 전력 모드에서 동작시키는 단계를 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 방법은 추가적으로 또는 대안적으로 디지털 이미지 데이터가 기준 세트를 충족하지 못하는 것에 기초하여 제1 차분 픽셀을 제1의 더 낮은 전력 모드로 리턴하는 단계를 포함한다. 임의의 이전 예 또는 임의의 다른 예에서, 방법은 추가적으로 또는 대안적으로 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 기초하여 2개 이상의 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계를 포함한다. 임의의 이전 예에서 또는 임의의 다른 예에서, 센서 어레이는 추가적으로 또는 대안적으로 차분 픽셀의 복수의 영역으로 분할되고, 제1 차분 픽셀은 추가적으로 또는 대안적으로 차분 픽셀의 제1 영역에 위치하며, 방법은 추가적으로 또는 대안적으로 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 기초하여 차분 픽셀의 제1 영역에 있는 각 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계를 포함한다.
또 다른 예에서, 이미징 시스템은 차분 픽셀의 복수의 행을 포함하는 센서 어레이; 및 제어기를 포함하고, 제어기는, 센서 어레이의 각각의 능동 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키고; 제1 적분 기간 동안 각각의 능동 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하고; 제1 적분 기간 이후의 제1 판독 기간 동안, 차분 픽셀의 행의 제1 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하고, 차분 픽셀의 행의 제2 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 전하량을 유지하고; 제2 적분 기간 동안 각각의 능동 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하고 - 제2 클록 신호는 제1 클록 신호에 실질적으로 상보적임 -; 제2 적분 기간 이후의 제2 판독 기간 동안, 차분 픽셀의 행의 제2 서브세트에 대해, 제1 적분 기간 동안 제1 수집 단자에 축적된 제1 전하량을 판독하고, 제2 적분 기간 동안 제2 수집 단자에 축적된 제2 전하량을 판독하고, 차분 픽셀의 행의 제1 서브세트에 대해, 제2 적분 기간 동안 제2 수집 단자에 축적된 전하량을 유지하고; 각각의 차분 픽셀에 대해, 아날로그 도메인에서 제1 전하량과 제2 전하량을 비교하며; 제1 차분 픽셀에 대해, 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여, 센서 어레이의 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키도록 구성된다. 이러한 예 또는 임의의 다른 예에서, 센서 어레이의 2개 이상의 차분 픽셀은 추가적으로 또는 대안적으로 제1 전하량이 문턱값을 초과하여 제2 전하량과 상이한 것에 응답하여 제2의 더 높은 전력 모드에서 동작된다.
본원에 설명되는 구성 및/또는 접근법이 사실상 예시적인 것이라는 것과, 다양한 변형이 가능하기 때문에, 이 구체적인 실시예 또는 예가 제한하는 의미로 간주되어서는 안된다는 것이 이해될 것이다. 본원에 설명되는 구체적인 루틴 또는 방법은 임의의 수의 처리 전략 중 하나 이상을 나타낼 수 있다. 그에 따라, 예시된 그리고/또는 설명된 다양한 동작이 예시된 그리고/또는 설명된 순서로, 다른 순서로, 병렬로 수행될 수 있거나, 생략될 수 있다. 마찬가지로, 앞서 설명된 프로세스의 순서가 변경될 수 있다.
본 개시 내용의 대상은 다양한 프로세스, 시스템 및 구성, 및 기타 특징, 기능, 동작 및/또는 특성의 모든 신규하고 비자명한 조합 및 부조합(sub-combinations)뿐만 아니라, 임의의 그리고 모든 등가물도 포함한다.

Claims (15)

  1. 복수의 차분 픽셀을 포함하는 센서 어레이를 동작시키기 위한 방법에 있어서,
    상기 센서 어레이의 제1 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키는 단계;
    제1 기간 동안 상기 제1 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하는 단계;
    제2 기간 동안 상기 제1 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하는 단계;
    상기 제1 기간 동안 상기 제1 수집 단자에 축적된 제1 전하량을 판독하는 단계;
    상기 제2 기간 동안 상기 제2 수집 단자에 축적된 제2 전하량을 판독하는 단계;
    아날로그 도메인에서 상기 제1 전하량과 상기 제2 전하량을 비교하는 단계; 및
    상기 제1 전하량이 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 응답하여, 상기 센서 어레이의 상기 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 문턱값은 상기 제1 전하량 및 상기 제2 전하량에 기초하는 것인, 방법.
  3. 제1항에 있어서,
    상기 제1의 더 낮은 전력 모드는 상기 제1 수집 단자 및 상기 제2 수집 단자의 활성화 사이의 저주파수 스위칭을 포함하는 것인, 방법.
  4. 제1항에 있어서,
    상기 제2의 더 높은 전력 모드는 비행 시간 이미징(time of flight imaging)을 포함하는 것인, 방법.
  5. 제1항에 있어서,
    상기 제2의 더 높은 전력 모드는 상기 픽셀에서 수집된 이미지 데이터의 아날로그 대 디지털 변환을 포함하는 수동 카메라 모드(passive camera mode)를 포함하는 것인, 방법.
  6. 제5항에 있어서,
    상기 수동 카메라 모드 동안 수집된 디지털 이미지 데이터를 기준 세트에 대해 평가하는 단계; 및
    상기 디지털 이미지 데이터가 상기 기준 세트를 충족하는 것에 기초하여, 상기 센서 어레이의 상기 제1 차분 픽셀을 상기 제2의 더 높은 전력 모드보다 높은 제3 전력 모드에서 동작시키는 단계
    를 더 포함하는, 방법.
  7. 제6항에 있어서,
    상기 디지털 이미지 데이터가 상기 기준 세트를 충족하지 못하는 것에 기초하여, 상기 제1 차분 픽셀을 상기 제1의 더 낮은 전력 모드로 리턴(return)하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제1 전하량이 상기 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 기초하여 2개 이상의 차분 픽셀을 상기 제2의 더 높은 전력 모드에서 동작시키는 단계를 더 포함하는, 방법.
  9. 제8항에 있어서,
    상기 센서 어레이는 차분 픽셀의 복수의 영역으로 분할되고, 상기 제1 차분 픽셀은 차분 픽셀의 제1 영역에 위치하며, 상기 방법은,
    상기 제1 전하량이 상기 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 기초하여 차분 픽셀의 상기 제1 영역에 있는 각 픽셀을 상기 제2의 더 높은 전력 모드에서 동작시키는 단계를 더 포함하는 것인, 방법.
  10. 이미징 시스템에 있어서,
    차분 픽셀의 복수의 행을 포함하는 센서 어레이; 및
    제어기
    를 포함하고, 상기 제어기는,
    상기 센서 어레이의 각각의 능동 차분 픽셀을 제1의 더 낮은 전력 모드에서 동작시키고;
    제1 적분 기간 동안 각각의 능동 차분 픽셀의 제1 수집 단자를 선택적으로 활성화하기 위해 제1 클록 신호를 공급하고;
    상기 제1 적분 기간 이후의 제1 판독 기간 동안, 차분 픽셀의 행의 제1 서브세트에 대해, 상기 제1 적분 기간 동안 상기 제1 수집 단자에 축적된 제1 전하량을 판독하고, 차분 픽셀의 행의 제2 서브세트에 대해, 상기 제1 적분 기간 동안 상기 제1 수집 단자에 축적된 전하량을 유지하고;
    제2 적분 기간 동안 각각의 능동 차분 픽셀의 제2 수집 단자를 선택적으로 활성화하기 위해 제2 클록 신호를 공급하고― 상기 제2 클록 신호는 상기 제1 클록 신호에 실질적으로 상보적임 ―;
    상기 제2 적분 기간 이후의 제2 판독 기간 동안, 차분 픽셀의 행의 상기 제2 서브세트에 대해, 상기 제1 적분 기간 동안 상기 제1 수집 단자에 축적된 제1 전하량을 판독하고, 상기 제2 적분 기간 동안 상기 제2 수집 단자에 축적된 제2 전하량을 판독하고, 차분 픽셀의 행의 상기 제1 서브세트에 대해, 상기 제2 적분 기간 동안 상기 제2 수집 단자에 축적된 전하량을 유지하고;
    각각의 차분 픽셀에 대해, 아날로그 도메인에서 상기 제1 전하량과 상기 제2 전하량을 비교하며;
    제1 차분 픽셀에 대해, 상기 제1 전하량이 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 응답하여, 상기 센서 어레이의 상기 제1 차분 픽셀을 제2의 더 높은 전력 모드에서 동작시키도록
    구성되는 것인, 이미징 시스템.
  11. 제10항에 있어서,
    상기 센서 어레이의 2개 이상의 차분 픽셀은, 상기 제1 전하량이 상기 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 응답하여 상기 제2의 더 높은 전력 모드에서 동작하는 것인, 이미징 시스템.
  12. 제11항에 있어서,
    상기 센서 어레이는 차분 픽셀의 복수의 영역으로 분할되고, 상기 제1 차분 픽셀은 차분 픽셀의 제1 영역에 위치하며, 상기 제어기는, 상기 제1 전하량이 상기 문턱값을 초과하여 상기 제2 전하량과 상이한 것에 기초하여 차분 픽셀의 상기 제1 영역에 있는 각각의 픽셀을 상기 제2의 더 높은 전력 모드에서 동작시키도록 구성되는 것인, 이미징 시스템.
  13. 제10항에 있어서,
    상기 제2의 더 높은 전력 모드는 상기 픽셀에서 수집된 이미지 데이터의 아날로그 대 디지털 변환을 포함하는 수동 카메라 모드를 포함하는 것인, 이미징 시스템.
  14. 제13항에 있어서, 상기 제어기는 또한,
    상기 수동 카메라 모드 동안 수집된 디지털 이미지 데이터를 기준 세트에 대해 평가하고;
    상기 디지털 이미지 데이터가 상기 기준 세트를 충족하는 것에 기초하여, 상기 센서 어레이의 상기 제1 차분 픽셀을 상기 제2의 더 높은 전력 모드보다 더 높은 제3 전력 모드에서 동작시키도록
    구성되는 것인, 이미징 시스템.
  15. 제14항에 있어서,
    상기 제어기는 또한, 상기 디지털 이미지 데이터가 상기 기준 세트를 충족하지 못하는 것에 기초하여 상기 제1 차분 픽셀을 상기 제1의 더 낮은 전력 모드로 리턴하도록 구성되는 것인, 이미징 시스템.
KR1020237001101A 2020-06-17 2021-04-24 차분 비행 시간 센서 픽셀의 저전력 동작 KR20230025861A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/903,939 US11108957B1 (en) 2020-06-17 2020-06-17 Low power operation of differential image sensor pixels
US16/903,939 2020-06-17
PCT/US2021/029014 WO2021257181A1 (en) 2020-06-17 2021-04-24 Low power operation of differential time-of-flight sensor pixels

Publications (1)

Publication Number Publication Date
KR20230025861A true KR20230025861A (ko) 2023-02-23

Family

ID=75919420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237001101A KR20230025861A (ko) 2020-06-17 2021-04-24 차분 비행 시간 센서 픽셀의 저전력 동작

Country Status (6)

Country Link
US (1) US11108957B1 (ko)
EP (1) EP4168825A1 (ko)
JP (1) JP2023530303A (ko)
KR (1) KR20230025861A (ko)
CN (1) CN115698755A (ko)
WO (1) WO2021257181A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248427A1 (zh) * 2020-06-12 2021-12-16 深圳市汇顶科技股份有限公司 深度传感装置以及相关电子装置及深度传感装置的操作方法
US11637977B2 (en) * 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11832003B2 (en) * 2022-04-03 2023-11-28 Shenzhen GOODIX Technology Co., Ltd. Binnable time-of-flight pixel
US20240107185A1 (en) * 2022-09-23 2024-03-28 Pixart Imaging Inc. Motion sensor and motion detection system using the same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI540312B (zh) 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
CN103534664B (zh) 2011-05-12 2016-08-31 苹果公司 存在感测
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
KR101896666B1 (ko) 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9936132B2 (en) * 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
WO2014095539A1 (de) 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9247109B2 (en) * 2013-03-15 2016-01-26 Samsung Electronics Co., Ltd. Performing spatial and temporal image contrast detection in pixel array
US20150268342A1 (en) 2014-03-19 2015-09-24 Masco Canada Limited Time of flight proximity sensor
US9437633B2 (en) * 2014-11-06 2016-09-06 Taiwan Semiconductor Manufacturing Company, Ltd. Depth sensing pixel, composite pixel image sensor and method of making the composite pixel image sensor
US20160178991A1 (en) * 2014-12-22 2016-06-23 Google Inc. Smart illumination time of flight system and method
US10373991B2 (en) * 2015-08-19 2019-08-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device, operating method thereof, and electronic device

Also Published As

Publication number Publication date
CN115698755A (zh) 2023-02-03
EP4168825A1 (en) 2023-04-26
WO2021257181A1 (en) 2021-12-23
JP2023530303A (ja) 2023-07-14
US11108957B1 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
KR20230025861A (ko) 차분 비행 시간 센서 픽셀의 저전력 동작
US10401498B2 (en) Sensor system with active illumination
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
JP6938472B2 (ja) 物体までの距離を測定するためのシステムおよび方法
TWI825092B (zh) 以多光二極體型像素單元量測入射光強度的設備和方法
US10924692B2 (en) Depth and multi-spectral camera
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
US20110063437A1 (en) Distance estimating device, distance estimating method, program, integrated circuit, and camera
US10958885B2 (en) Filtering imaging system including a light source to output an optical signal modulated with a code
US9392196B2 (en) Object detection and tracking with reduced error due to background illumination
Callenberg et al. Low-cost SPAD sensing for non-line-of-sight tracking, material classification and depth imaging
US11754718B2 (en) Time of flight imaging using long and short-exposure storage nodes
US20190297289A1 (en) Filtering pixels and uses thereof
CN113302624A (zh) 利用深度和多光谱相机监控活动
KR20220036968A (ko) Tof 픽셀을 사용한 hdr 가시광 이미징
US11742370B2 (en) Time-of-flight pixel with vertical photogates
US10592753B1 (en) Depth camera resource management
WO2024116745A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Veeraraghavan et al. Computational photography
KR20200017270A (ko) 디지털 필터를 이용한 검출 방법 및 장치