KR102541757B1 - 동적 비전 센서 아키텍쳐 - Google Patents

동적 비전 센서 아키텍쳐 Download PDF

Info

Publication number
KR102541757B1
KR102541757B1 KR1020197021627A KR20197021627A KR102541757B1 KR 102541757 B1 KR102541757 B1 KR 102541757B1 KR 1020197021627 A KR1020197021627 A KR 1020197021627A KR 20197021627 A KR20197021627 A KR 20197021627A KR 102541757 B1 KR102541757 B1 KR 102541757B1
Authority
KR
South Korea
Prior art keywords
photoreceptor
circuit
comparator
memory
signal
Prior art date
Application number
KR1020197021627A
Other languages
English (en)
Other versions
KR20190102021A (ko
Inventor
라파엘 베흐너
크리스티안 브랜드리
Original Assignee
소니 어드밴스드 비주얼 센싱 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 어드밴스드 비주얼 센싱 아게 filed Critical 소니 어드밴스드 비주얼 센싱 아게
Priority to KR1020237018912A priority Critical patent/KR20230087615A/ko
Publication of KR20190102021A publication Critical patent/KR20190102021A/ko
Application granted granted Critical
Publication of KR102541757B1 publication Critical patent/KR102541757B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J1/46—Electric circuits using a capacitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88—Monitoring involving counting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)

Abstract

동적 비전 센서(DVS) 또는 변화 검출 센서는 광 세기에 있어서 변화에 반응하고 이런 방법으로 장면이 어떻게 변하는지를 모니터링한다. 본 개시는 단일 픽셀 및 어레이 아키텍쳐들 모두를 커버한다. DVS는 하나의 픽셀 또는 픽셀들의 2차원 또는 1차원 어레이를 포함할 수 있다. 픽셀들에 의해 기록된 세기들에 있어서의 변화가 비교되고, 변화가 양 또는 음인 픽셀 어드레스들이 기록되고 처리된다.픽셀들에 대한 단지 3 개의 값들, 증가, 감소 또는 불변에 기초하여 프레임들을 분석하여, 제안된 DVS는, 연속 프레임들 사이에서 멀티비트 컬러 또는 그레이 레벨 픽셀 값들을 상관시키는 기존의 컴퓨터 비전 시스템보다 훨씬 더 빨리 시각 정보를 처리할 수 있다.

Description

동적 비전 센서 아키텍쳐
관련 출원들
본 출원은 2016년 12월 30일 출원된 스위스 임시 특허출원번호 CH20160001764, 및 2016년 12월 30일 출원된 스위스 임시 특허출원번호 CH20160001765에 우선권을 주장하고, 이 출원 모두 전체로서 참조에 의해 여기에 포함된다.
본 발명은 비전 센서들(vision sensors), 더 특별하게는 동적 또는 변화 검출 센서들(dynamic or change detection sensors)에 관한 것이다. 이 센서들은 광 세기에 있어서의 변화에 반응하고 이러한 방법으로 장면(a scene)이 어떻게 변화하는지를 모니터링한다.
오늘 날, 머신 비전(machine vision)은 대부분 기존의 카메라들과 그들의 연관된 프레임-기반 이미지 센서들(frame-based image sensors)에 기초한다. 물체 인식과 같은 어떤 머신 비전 작업들을 위해, 이들 기존의 프레임-기반 카메라들이 잘 맞는다. 그러나, 추적이나 위치 및 움직임 평가와 같은 다른 작업들을 위해서는, 기존의 이미지 센서들은 결점들을 가진다.
주요 결점들은, 기존의 카메라들이 상당한 양의 쓸모 없거나 불필요한 데이터를 생성하고, 이것이 캡쳐되고, 통신되고, 처리된다는 것이다. 이와 같은 높은 데이터 로드(data load)는 시간 해상도(temporal resolution)을 감소시킴으로써 반응 시간을 느리게 하고, 증가된 전력 소비를 가져오고, 및 머신 비전 시스템들의 크기와 비용을 증가시킨다. 게다가, 대부분의 이미지 센서들은 제한된 동적 범위(dynamic range), 빈약한 낮은 광 성능(low-light performance) 및 모션 블러(motion blur)를 겪는다.
이들 결점들은, 데이터가 스틸 이미지들(still images)의 시퀀스(sequence)(프레임들)로서 캡쳐된다는 사실로부터 기인한다. 어떤 경우들에서는, 스틸 이미지들로서 동적 장면들을 인코딩하는 것은 아름다운 이미지들과 영화들을 생성하는데는 유용하지만, 비신 비전 이용들을 위한 데이터 처리를 위해서는 최적이 아니다.
기존의 카메라들을 이용하는 기존 컴퓨터 비전 시스템들은 물체 인식을 위해 전형적으로 연속적인 이미지 프레임들 사이의 특징들을 비교한다. 움직이는 시스템의 위치와 방향을 평가하고 주변 세계의 3차원 맵(three dimensional map)을 추론하기 위해, 부분적으로 오버랩핑하지만 서로 다른 시간들에서 및 서로 다른 포즈(poses)들에서 취해진 두 개의 연속적인 이미지들이 비교된다. 두 프레임들 사이에서 일어난 움직임을 추론하기 위해, 특징적인 시각적 랜드마크들(visual landmarks)(핵심 지점들 또는 다른 시각적 특징들)이 두 이미지들을 가로질러 매칭되어야 한다. 두 이미지들에서 서로에게 대응하는 이들 지점들의 쌍들을 찾아내는 것은 "일치 문제(correspondence problem)"를 해결하는 것으로서 알려져 있다.
일치 문제를 해결하는 데는 상당한 양의 처리 능력을 필요로 한다. 랜드마크들을 검출하기 위해, 이미지 각각의 픽셀이 특성적 특징들(코너들, 블로브들(blobs), 에지들 등)을 찾기 위해 검색되어야 한다. 그 다음, 픽셀들 및 그 픽셀들의 주위 이웃이 소위 피쳐 스크립터들(feature scriptors)을 특징지우도록 그룹핑되고(grouped), 그 다음 이것은 프레임들 사이의 상기 특징들을 매칭하고 이에 의해 일치하는 점들의 쌍들을 확립하는데 이용된다. 이것은 컴퓨터 계산 집약적(computationally intensive)이다. 픽셀 세기들을 직접 비교하는 직접적인 접근법들은 훨씬 더 계산 복잡하다.
한편, 소위 동적 비전 센서(DVS; Dynamic Vision Sensor)는 프레임-기반 인코딩의 한계들을 극복하는 센서이다. "시간 종속 이미지 데이터를 검출하기 위한 포토어레이"라는 제목으로 출원된, Lichtsteiner 등의 미국 특허출원번호 US 2008/0135731을 보라. 이것은 참조에 의해 여기에 포함된다. 인-픽셀 데이터 압축(in-pixel data compression)을 이용함으로써, 데이터 리던던시(redundancy)가 제거되고, 높은 시간 해상도, 낮은 지연속도(latency), 저 전력 소비, 모션 블러가 거의 없는 높은 동적 범위(dynamic range)가 얻어진다. 이와 같이, DVS는, 시스템의 위치가 추정되어야 하고 및 제한된 배터리 용량 때문에 처리 능력이 제한되는, 솔라 또는 배터리에 의해 전력 공급되는 압축 센싱(compressive sensing)이나 모바일 머신 비전 애플리케이션들에 잘 맞는다.
이 DVS는 시각 정보를 국부적으로 전처리 한다(pre-process). 산뜻한 이미지들을 생성하는 대신에, DVS는 컴퓨터 애플리케이션들을 위해 스마트한 데이터를 생성한다. 기존의 이미지 센서들이 영화를 일련의 스틸 이미지들로서 캡쳐하는 반면, DVS는 어떤 장면에서 변화들의 위치를 검출하고 단지 전송한다. 그것은 인-픽셀 데이터 압축을 행하기 때문에, 기존 카메라들보다 훨씬 더 효율적으로 시각 정보를 인코딩한다. 이것은, 데이터의 처리가 더 적은 자원들, 더 낮은 순 전력을 이용하여 더 빠른 시스템 반응 시간으로 가능하다는 것을 의미한다. 높은 시간 해상도는 연속적으로 시각 특징들을 추적하고, 그에 의해 상기 일치 문제를 극복하는 것을 허용한다. 추가적으로, DVS의 아키텍쳐는 높은 동적 범위 및 홀륭한 낮은 광 성능을 허용한다.
전형적인 DVS는 몇몇 결점들을 겪을 수 있다.
1. 픽셀 회로들이, 어떤 경우들에서, 증폭기(amplifier) 및 두 개의 비교기들을 포함하기 때문에, 크게 될 수 있다.
2. 비동기 판독 회로들(asynchronous readout circuits)이 타이밍 지터(timing jitter)을 나타내기 쉽다. 짧은 시간에 장면의 넓은 영역들이 변화하면, 지터가 증가하고 센서의 부분으로부터 데이터 판독이 지연될 수 있어 모션 아티팩트들(motion artifacts)을 가져온다.
3. DVS 픽셀 회로들은 셀프 타이밍하는(self-timed) 경향이 있기 때문에, 센서 시간 해상도를 부과할 수 없고, 작은 영역에서 매우 빠른 변화들은 통신 대역폭을 포화시킬 수 있다.
4. DVS 센서들은 생성된 출력 데이터의 양이 주로 장면의 동적 관계에 의존한다는 특성을 가진다. 이와 같이 데이터 레이트(data rate)는 예측 가능하지 않아, 처리 단계에서 문제들, 즉 오버로딩(overloading) 문제를 가져온다(즉, 처리 단계가 데이터의 양에 대처할 수 없다).
5. 어떤 DVS 센서들에서, 어레이 내 픽셀들은, 어떤 행(row)이 판독된 후 각 행에서 리셋이 이루어진다. 프레임에서 프레임으로 조그만 변화들이 축적될 수 없기 때문에, 이것은 느린 움직임들은 검출되지 않는다는 것을 의미한다. 또한 현재의 픽셀 회로 설계들은 롤링 셔터(rolling shutter)에 의해 모션 아티팩트들을 나타내기 쉽다.
본 발명은 DVS 설계와 관련된다. 현재의 솔루션들과 연관된 불리한 점들 중 적어도 일부를 완화시키거나, 제거하거나 또는 더 이상 쓸모가 없게 하도록 하는 서로 다른 실시 예들이 채용될 수 있다. 예를 들면, 본 발명의 실시 예들은, 필셀 어레이들에서 이용된 픽셀의 크기에 있어서의 감소를 허용하고, 이와 같이 동일한 다이(die) 크기에 대해 동일한 해상도 또는 더 높은 해상도를 위한 더 작은 센서를 허용할 수 있다. 추가로, 어떤 실시 예들에서는, 픽셀 어레이의 픽셀들이 동기로 동작될 수 있다(그래서 동기로 작동하는 센서를 허용한다). 더욱이, 광 세기에 있어서 변화들이 평가되는 시간이 제어되고, 그래서 쓸 수 있는 애플리케이션 및 상황에 적응 가능한 시간 해상도 및 이벤트 레이트(event rate)를 허용한다.
상기 픽셀 회로는 동기적으로, 및/또는 외부 타이밍 기준(external timing reference)과 함께 작동할 수 있다. 이것은 아래에 열거된 몇몇 잇점들을 가진다:
1. 이벤트 레이트는 센서의 시간 해상도를 변화시킴으로써 제어된다.
2. 프레임-기반 판독은 시간 지터가 거의 없이 픽셀로부터 데이터를 판독하는 것을 허용한다.
3. 클럭화된(clocked) 픽셀 회로를 가지는 것은 픽셀 어레이에 인터페이스 하는 디지털 통신 회로들을 설계하는 것을 더 용이하게 하고, 표준 디지털 설계 툴들(standard digital design tools)의 이용을 허용한다. 전형적인 기존 DVS의 비동기 회로들의 설계는, 이용할 수 있는 적절한 상업적 툴들이 없기 때문에, 더욱 어려워지는 경향이 있다.
4. 제어기에 의해 타이밍(timimg)을 제어하는 것은 변화 검출 및 판독 국면들(phases)이 시간에 있어서 분리되는 것을 가능하게 한다. 이것은 한 픽셀에서 다른 픽셀로 기생 결합(parasitic coupling)에 의한 거짓 이벤트들을 생성할 위험을 감소시킨다.
하나의 양상에 따르면 일반적으로 본 발명은 센서를 특징으로 한다. 이 센서는 전형적으로 픽셀들의 어레이(an array of pixels)를 포함한다. 이 어레이는 일차원 또는 이차원 어레이일 수 있다. 그러나, 단일 픽셀 센서들이 가능할 수 있다.
상기 센서의 픽셀들의 각각은 몇몇 요소들(elements)을 포함한다. 포토센서(photosensor)는 들어오는 광을 검출한다. 포토리셉터 신호(photoreceptor signal)는 상기 포토센서에 의해 수신된 광의 양(amount of light)의 함수이다. 메모리 커패시터(memory capacitor)가 추가로 제공되고, 여기에서 상기 커패시터의 제1 플레이트(first plate)는 상기 포토리셉터 신호로부터의 전하(charge)를 가지고(carry), 상기 커패시터의 제2 플레이트는 비교기 노드(comparator node)에 접속되고, 비교기 노드의 전압(voltage)은 포토리셉터 신호에서의 변화들에 따라 변동한다. 그 다음, 하나 이상의 비교기들(comparators)이 하나 이상의 문턱치들(thresholds)에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해, 상기 비교기 노드의 전압들을 하나 이상의 기준 전압들에 비교한다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 센서를 특징으로 한다. 이 센서는 픽셀들의 어레이 또는 단일 픽셀을 포함한다. 이들 픽셀들 각각은 포토센서를 포함한다. 포토리셉터 신호는 상기 포토센서에 의해 수신된 광의 양의 함수이다. 추가로, 메모리 커패시터가 상기 포토리셉터 신호로부터의 전하를 가진다. 상기 픽셀에 단 하나의 비교기가 제공된다. 그것은 하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해, 상기 비교기 노드의 전압들을 하나 이상의 기준 전압들에 비교한다.
픽셀들에서 단지 단일의 비교기를 이용하는 것은, 그것이 그 픽셀의 크기를 감소시키는 이점을 가진다. 이 크기 감소는 반도체 칩의 동일 영역에 대해 상기 어레이의 크기를 증가시키는데 이용될 수 있다. 한편, 그것은 센서의 전체 크기를 감소시키는데 이용될 수 있고, 더 낮은 비용의 디바이스를 가능하게 한다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 센서를 특징으로 한다. 이 센서는 또한 픽셀들의 어레이 또는 단일 픽셀을 포함한다. 이들 픽셀들 각각은 포토센서와 메모리 커패시터를 포함한다. 이 픽셀들은 하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해, 상기 메모리 커패시터로부터의 전압들을 하나 이상의 기준 전압들에 비교하는 비교기를 포함한다. 본 발명에 따르면, 상기 비교기는 또한 상기 메모리 커패시터에 리셋 전압을 제공한다.
상기 메모리 커패시터에 리셋 전압을 제공하는 비교기의 이용은 유용하다. 왜냐하면 그것이 상기 비교기에서의 옵셋(offset)을 고려하는 방식으로 상기 메모리 커패시터를 리셋하기 때문이다. 이것은, 픽셀 어레이에서 상기 비교기들 각각이 제조 가변성(nanufacturing variability) 때문에 약간 서로 다른 옵셋을 가지기 때문에, 중요하다. 본 발명에 따르면, 임의의 결과로서 초래되는 옵셋이 상기 메모리 커패시터에 리셋 전압을 제공하는 비교기를 이용함으로써 제거된다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 센서를 특징으로 한다. 이 센서는 또한 픽셀들의 어레이 또는 단일 픽셀을 포함한다. 이들 픽셀들 각각은 포토센서와 메모리 커패시터를 포함한다. 비교기가 픽셀들에 추가로 제공된다. 그것은 온-문턱치(on-threshold) 및 오프-문턱치(off-threshold)에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 메모리 커패시터로부터의 전압들을 두 기준 전압들에 계속하여 비교한다.
본 발명은 상기 메모리 커패시터로부터의 전압들을 온-문턱치 및 오프-문턱치에 계속적으로 비교함으로써 온 이벤트들(on events) 및 오프 이벤트들(off events) 모두를 결정하기 위해 단일 비교기를 이용한다는 이점을 가진다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 센서를 특징으로 한다. 이 센서는 또한 픽셀들의 어레이 또는 단일 픽셀을 포함한다. 이들 픽셀들 각각은 포토센서와 메모리 커패시터를 포함한다. 추가로, 상기 픽셀들은 하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 메모리 커패시터로부터의 전압들을 비교하는 하나 이상의 비교기들을 가진다. 결국, 메모리 구조들(memory structures)이 상기 하나 이상의 비교기들의 출력을 저장하기 위해 상기 픽셀들에 제공된다.
상기 픽셀들에 메모리 구조들을 제공하는 것은 상기 픽셀들이 상기 문턱치 비교의 결과들을 저장하는 것을 허용한다. 예를 들면, 이것은 정보가 어레이에서의 다양한 픽셀들로부터 판독되는 때의 타이밍을 허용한다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 픽셀들의 어레이 또는 단일 픽셀을 특징으로 한다. 이들 픽셀들 각각은 포토센서와 메모리 커패시터를 포함한다. 본 발명에 따르면, 스위치(a switch)가 상기 픽셀들 각각에 또한 제공되고, 상기 포토센서를 상기 메모리 커패시터에 접속하는 셔터 회로 신호(shutter circuit signal)에 의해 제어된다. 이 방식으로, 글로벌 셔터 신호(global shutter signal)가 어레이에서 모든 픽셀들에 제공될 수 있다.
상기 글로벌 셔터의 이용은, 예를 들어, 롤링 셔터와 연관된 문제들을 피하기 위해 전체 어레이를 트리거(trigger)하도록 단일 신호가 이용될 수 있다는 이점들을 가진다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 센서를 특징으로 한다. 이 센서는 또한 픽셀들의 어레이 또는 단일 픽셀을 포함한다. 이들 픽셀들 각각은 포토센서를 포함한다. 포토리셉터 신호는, 포토리셉터 신호로부터 전하를 가지는 메모리 커패시터에서 상기 포토센서에 의해 수신된 광에 기초한다. 본 발명에 따르면, 하나 이상의 비교기들이 상기 어레이를 위한 판독회로에서 제공된다. 이들 비교기들은 하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 어레이의 메모리 커패시터들의 전압들을 기준 전압들에 비교한다.
본 발명에서, 비교기들은 상기 픽셀들의 어레이를 둘러싸는 주변 회로들로 내보내진다. 이것은 그들 대응하는 픽셀들의 크기가 추가로 감소되는 것을 허용한다. 다른 한편, 전체 어레이에 대해 상기 필요한 문턱치 비교 기능들을 제공하기 위해 적은 비교기들이 이용될 수 있다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 방법으로서 또한 특징지워질 수 있다. 특히, 센서의 동작 방법은, 어레이의 픽셀들의 포토센서들이 들어오는 광을 검출하는 단계, 상기 포토센서들에 의해 수신된 광의 양의 함수인 포토리셉터 신호들을 발생시키는 단계, 메모리 커패시터들을 이용하여 상기 포토센서들에 의해 이전에 검출된 광에 대응하는 전하들을 저장하는 단계로서, 상기 커패시터들의 제1 플레이트들은 상기 포토리셉터 신호들로부터 전하들을 가지고, 상기 커패시터들의 제2 플레이트들은 비교기 노드들에 접속되고, 비교기 노드들의 전압들은 상기 포토리셉터 신호들에서의 변화들에 따라 변동하는, 상기 전하들을 저장하는 단계, 및 하나 이상의 문턱치들에 대해 상기 포토리셉터 신호에서의 변화들을 평가하기 위해, 상기 비교기 노드들의 전압들을 하나 이상의 기준 전압들에 비교하는 단계를 포함한다.
이제, 구분들의 구성 및 조합들의 다양한 신규한 상세 사항들 및 다른 이점들을 포함하는 본 발명의 상기 및 다른 특징들이, 첨부된 도면들을 참조하여 더 특별히 기술되고, 청구범위들에 언급될 것이다. 본 발명을 구체화하는 특별한 방법 및 디바이스는 예시에 의해 보여지는 것이고, 본 발명의 제한으로서 보여지는 것이 아니라는 것이 이해될 것이다. 본 발명의 원리들과 특징들은 본 발명의 범위로부터 벗어남이 없이 다양하고 수많은 실시 예들에서 구체화될 수 있다.
수반하는 도면들에서, 참조 문자들은 서로 다른 도들을 통하여 동일한 부분들을 언급한다. 도면들은 반드시 스케일에 따른 것은 아니다; 대신에 본 발명의 원리들을 예시하는 부분이 강조되었다.
도1은, 본 발명의 원리들에 따른, DVS 또는 변화 검출 센서에 대한 픽셀 회로의 구성부들 및 접속들을 보여주는 회로도이다.
도2는 최적 샘플링 회로(optimal sampling circuit)를 가지는 픽셀 회로의 다른 실시 예를 보여주는 회로도이다.
도3은 행들과 열들의 2차원 픽셀 어레이로 배열된 픽셀들을 가진 센서의 레이아웃을 보여주는 도식도이다.
도4a는 프레임을 처리하는 각 국면(phase)이 고정된 양의 시간을 취하는 고정 프레임 레이트(fixed frame rate)를 가진 변화 검출 센서에 대한 국면 타이밍들을 묘사한다.
도4b는 가변성이 이벤트 판독 국면에 의해 취해진 시간에 기인하는, 가변 프레임 레이트(variable frame rate)를 가진 변화 검출 센서에 대한 국면 타이밍들을 묘사한다.
도5는 샘플링이 없는 픽셀 회로의 상기 바람직한 실시 예의 구성부들을 보여주는 회로도이다.
도6은 신호들의 타임 라인들(time lines)을 보여준다; 수평 시간 축은 상부에 라벨이 붙여진 국면 동작들(phase operations)의 발생의 지속 시간 및 시간에 대응한다.
도7은 샘플링을 가진 픽셀 회로의 상기 바람직한 실시 예의 구성부들을 보여주는 회로도이다.
도8은, 이전의 것들에 비하여, 더 작고 더 단순한 픽셀 회로 실시 예의 구성부들을 보여주는 회로도이다.
도9는 도8에 예시된 픽셀 회로 실시 예에 대응하는 신호들의 타임 라인들을 보여준다.
도10은 메모리 회로가 픽셀 회로로부터 판독 회로로 이동된 훨씬 더 작고 더 단순한 픽셀 실시 예의 구성부들을 보여주는 회로도이다.
도11은 도10에 예시된 픽셀 회로 실시 예에 대응하는 신호들의 타임 라인들을 보여준다.
도12는 이전의 실시 예들보다 더 빠를 수 있는 픽셀 당 두 개의 비교기들을 가진 또 다른 픽셀 실시 예를 보여주는 회로도이다.
도13은 상기 비교기 기능이 픽셀 회로로부터 판독 회로로 이동된, 아직 더 작은 픽셀 크기를 보여주는 회로도이다.
도14는 도13에서와 같은 유사한 장치에서 두 개의 픽셀들을 묘사한다. 그림에서 픽셀 회로는 픽셀 출력에서의 변화를 증폭하는 증폭 회로를 가진다.
도15는 샘플링 회로 SC의 실시 예를 보여주는 회로도이다.
도16은 2-단(stage) 비교기 A1의 실시 예를 보여주는 회로도이다.
도17은 오퍼레이셔널 트랜스컨덕턴스 증폭기에 기초한 대안적인 비교기 실시 예를 보여주는 회로도이다.
도18은 리셋 회로의 실시 예를 보여주는 회로도이다.
도19는 대안적인 리셋 회로를 보여주는 회로도이다.
도20은 리셋 회로의 제3 실시 예를 보여주는 회로도이다.
도21은 도8의 픽셀 실시 예의 리셋 회로의 제1 실시 예를 보여주는 회로도이다.
도22는 도8의 픽셀 실시 예의 대안적인 리셋 회로의 제1 실시 예를 보여주는 회로도이다.
도23은 도8의 픽셀 실시 예의 리셋 회로의 제3 실시 예를 보여주는 회로도이다.
도24는 도10에서 보여진 픽셀 실시 예에 대한 리셋 회로를 보여주는 회로도이다.
도25는 도10에서 보여진 픽셀 실시 예에 대한 리셋 회로 실시 예를 보여주는 회로도이다.
도26은 포토리셉터 회로의 도식도이다.
도27은 픽셀 포토리셉터 및 회로의 바람직한 실시 예를 보여주는 회로도이다.
도28은 두 개의 NMOS 피드백 트랜지스터들을 가진 포토리셉터의 실시 예를 보여주는 회로도이다.
도29는 PMOS 피드백 트랜지스터를 가진 포토리셉터의 실시 예를 보여주는 회로도이다.
도30은 픽셀 어레이에서 베이직 판독회로의 실시 예를 보여주는 회로도이다.
도31은 이벤트-기반(event-based) 판독 회로의 실시 예를 보여주는 회로도이다.
도32는 도5, 7 및 12에서의 픽셀 회로들에 대한 칼럼 로직 회로(column logic circuit)의 바람직한 실시 예를 보여주는 회로도이다.
도33은 도8의 픽셀 회로에 대해 칼럼 로직 회로의 실시 예를 보여주는 회로도이다.
도34는 도10의 픽셀 회로에 대해 칼럼 로직 회로의 실시 예를 보여주는 회로도이다.
도35는 도13의 픽셀 회로에 대해 칼럼 로직 회로의 실시 예를 보여주는 회로도이다.
도36은 도13에 보여진 픽셀 회로 및 도35의 칼럼 로직 회로 구현에 대한 신호 타임 라인들을 보여준다.
도37은 도14에서 보여진 픽셀 회로에 대해 칼럼 로직 회로 구현을 보여준다.
이제 본 발명이, 본 발명의 예시적인 실시 예들이 보여지는 수반되는 도면들을 참조하여 이하에서 더 상세히 기술될 것이다. 그러나 본 발명은 많은 다른 형태들로 구체화될 수 있고, 여기에서 제시된 실시 예들에 한정되어서는 안될 것이다; 오히려, 이들 실시 예들은, 본 개시가 철저하고 완전하게 되도록, 그리고 이 기술 분야에 통상의 기술을 가진 사람들에게 본 발명의 범위를 충분히 전하도록, 제공되는 것이다.
여기에서 사용되는, "및(그리고)/또는"이라는 용어는 하나 이상의 연관된 리스트된 항목들의 임의의 및 모든 조합을 포함한다. 또, "한", "어떤", "그", "이" 및 "상기"라는 단수형 및 관사들은 달리 명시적으로 언급되지 않으면, 또한 복수 형태들을 포함하도록 의도된다. 또, "포함한다", "구성된다", "가진다", "포함하는", "가지는" 및/또는 "구성하는"이라는 용어들이 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 작용들, 요소들, 엘리먼트들 및/또는 구성부들의 존재를 명시하는 것이고, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 작용들, 요소들, 구성부들 및/또는 이들에 관한 그룹들의 존재나 부가를 배제하는 것은 아니라는 것이 이해되어야 한다. 또, 구성부(분)(component)이나 서브시스템(subsystem)을 포함하여, 어떤 요소(element)가 다른 요소에 접속되거나 결합되는 것으로 언급되거나 및/또는 보여질 때, 그것은 그 다른 요소에 직접 접속되거나 결합될 수 있고, 또는 사이에 끼는 요소들이 존재할 수도 있다고 이해되어야 한다.
여기에서 "제1" 및 "제2"와 같은 용어들이 다양한 요소들을 기술하기 위해 사용되지만, 이들 요소들은 이들 용어에 제한되어서는 안 된다는 것을 이해하여야 한다. 이들 용어들은 단지 하나의 요소와 다른 요소를 구별하기 위해 사용되는 것일 뿐이다. 이와 같이, 아래에서 언급되는 어떤 요소는 제2 요소로 칭해질 수 있고, 및 유사하게, 제2 요소는 본 발명의 교시를 벗어남이 없이 제1 요소로 칭해질 수 있다.
달리 정의되지 않는다면, 여기에서 사용되는 모든 용어들(기술 및 과학 용어를 포함하여)은 본 발명이 속하는 기술분야에서 통상의 지식이 있는 자에 의해 보통 이해되는 바와 같은 의미를 가진다. 또한, 보통 이용되는 사전들에서 정의된 용어들과 같은, 용어들은 해당 기술의 맥락에서 그들의 의미와 일치하는 의미를 가지는 것으로 해석되어야 하고, 여기에서 특별히 명시적으로 정의되지 않는다면 이상화되거나 과도한 형식상의 의미로 해석되어서는 안 된다는 것을 이해하여야 한다.
수많은 기술 용어들이 출원서 전반에 걸쳐 사용된다. 그들은 편의를 위해 그리고 발명의 정확한 기술을 위해 이하에서 정의된다.
닫힌(클로즈드) 스위치(closed switch): 도전하고 있는 스위치. 즉 두 단말들이 전기적으로 접속된다.
전자 접속(electronic connection): 회로에서 두 노드들 사이의 접속으로서, 직접(두 노드들 사이에 전류가 흐를 수 있도록, 전기적인), 또는 버퍼(buffer)를 통한 접속.
이벤트(event): 어떤 주어진 픽셀에서의 광 세기의 증가 또는 감소
이벤트-프레임(event-frame): 문턱 전압들을 인가하고, 메모리를 작동시키고, 판독하고 메모리 컨텐트(content)를 리셋하는 하나의 반복.
이벤트 레이트(event rate): 픽셀 회로에 의해 발생되고 전송된 초당 이벤트들의 수. 이 이벤트 레이트는 픽셀 회로 구성, 문턱치 세팅(threshold setting) 및 시간 해상도에 의존하고, 또한 센서 모션(sensor motion) 및 관측된 장면에 의존한다.
프레임 레이트(frame rate): 각 픽셀이 초당 판독되는 횟수. 완전한 이벤트 프레임이 스캐닝되는(scanned) 레이트(rate)와 등가. 프레임 레이트는 고정될 수 있고, 발생된 이벤트들의 수에 의존하게 할 수 있다.
모션 아티팩트(motion artifact): 카메라나 피사체(subject)가 프레임을 가로질러 빠르게 움직이면, 롤링 셔터는 이미지에서 원하는 수직 라인들의 인지할 수 있는 스큐(skew)를 나타내 보일 수 있다. 프레임에서 빠른 모션이 있으면, 전체 이미지는 틀어질 수 있다.
OFF-이벤트(OFF-event): 주어진 픽셀에 대해 광 세기에 있어서 별개의(discrete) 감소.
ON-이벤트(ON-event): 주어진 픽셀에 대해 광 세기에 있어서 별개의(discrete) 증가.
열린(오픈) 스위치(open switch): 도전하고 있지 않은 스위치. 즉 두 단말 사이에 열린 회로가 제공된다.
픽셀 어드레스(pixel address): 어레이에서 픽셀의 위치를 기술하는 수 또는 수들의 쌍. 보통 행(row) 수와 열(column) 수이다.
파워 레일(power rail): 접지(ground)(Vss) 또는 파워 써플라이(power supply)(Vdd).
일반적으로, 도1은 본 발명의 원리들에 따라 모아서 접속된 픽셀 회로의 구성부들을 보여준다. 본 명세서에서 나중에 행들과 열의 픽셀들을 가지는 2차원 픽셀 어레이들에 참조될 것이다. 이들 각각은 본 실시 예 또는 다른 실시 예들에서 묘사되는 바와 같은 전자 장치를 가진다.
본 발명에서 "픽셀(pixel)"은 그 위에 충돌하는 광의 세기를 기록하는 감지 요소를 언급한다; "픽셀 회로" 또는 "픽셀 전자 장치"는 그 픽셀의 전자 구성부들 및 회로를 언급한다. 본 명세서에서 "픽셀 회로"라는 용어는 그 픽셀의 전자 장치에 논의를 집중하기 위해 사용되고, "픽셀"이라는 용어는 전체로서 감지 요소를 언급하기 위해 사용될 것이다. 전형적으로, 센서(도3 참조)는 픽셀들의 2차원 어레이(100) 및 부가적인 주변 회로로 이루어질 것이다. 그럼에도 불구하고, 2차원 어레이가 모든 애플리케이션들에 대해 요구되는 것은 아니다. 센서는 또한 단일 픽셀(하나의 픽셀 어레이)이나 픽셀들의 1차원 어레이(라인 센서)를 포함할 수 있다.
픽셀 회로(100)의 주요 구성부들은 이하에서 열거된다.
1. 포토리셉터 모듈(photoreceptor module): 도면에서 보여진 바와 같이, 픽셀 회로는 충돌하는 광을 측정하고 그 광의 세기를 전류 Iphoto로 변환하는 포토다이오드(photodiode) PD, 또는 다른 포토센서(photosensor); 광 세기에 따라 포토리셉터 신호 Vpr를 생성하는 포토리셉터 회로 PRC; 지난 포토리셉터 신호 기억하는 메모리 커패시터 C1을 포함한다. 포토센서 PD 및 포토리셉터 회로 PRC는 포토리셉터 모듈 PR을 구성한다.
2. 메모리 커패시터 C1: 메모리 커패시터 C1은 포토리셉터 신호 Vpr를 수신하고, 이 커패시터의 제1 플레이트는 포토리셉터 신호 포토리셉터 신호 Vpr에 반응하는, 그래서 포토센서 PD에 의해 수신된 광에 반응하는 전하를 가진다(carry). 메모리 커패시터 C1의 제2 플레이트는 A1의 비교기 노드(반전 입력(inverting input))에 접속된다. 이와 같이 비교기 노드의 전압, Vdiff는 포토리셉터 신호 Vpr에서의 변화들과 함께 변동한다.
3. 비교기 A1: 이것은 포토리셉터 신호 Vpr와 지난 포토리셉터 신호 사이의 차를 문턱치에 비교하는 수단이다. 이 비교기 A1는 각 픽셀에 있을 수 있고, 또는 픽샐들의 서브셋트(subset)(예를 들어, 열(column)) 사이에서 공유될 수 있다. 바람직한 실시 예에서 비교기는 픽셀에 포함되고, 각 픽셀은 전용 비교기 A1을 가진다.
4. 메모리: 메모리(50)는 제어기(60)로부터의 샘플 신호(sample signal)에 기초하여 비교기 출력을 저장한다. 메모리는 샘플링 회로(예를 들면 스위치 및 기생 또는 명시적 커패시터)이거나 또는 디지털 메모리 회로(래치(latch) 또는 플립-플롭(flip-flop))일 수 있다. 하나의 실시 예에서, 메모리는 샘플링 회로이고 각 픽셀은 두 개의 메모리들을 가질 것이다.
5. 조건부 리셋 회로(conditional reset circuit) R1: 리셋을 위한 조건은 기억된 비교기 출력의 상태와 제어기에 의해 인가된 리셋 신호의 조합이다.
6. 주변회로 구성부들(peripheral circuit components): 비교기 A1과 메모리(50)은 픽셀 내에 위치할 수 있거나 또는 주변 회로들(픽셀 회로 외부)에 위치할 수 있다.
주변 회로들은, 비교기 A1에 문턱치 신호들을 인가하고, 저에 신호들을 메모리(50)에 보내고, 조건부 리셋 회로 R1이 활성으로 되는 시간들을 선택하는 제어기(60)를 포함한다.
주변 회로들은 또한, 메모리의 컨텐트를 판독하고, 주어진 픽셀의 광 세기가 증가했는지, 감소했는지, 또는 불변인지를 결정하고, 그 출력(현재 메모리 값으로부터 계산된)을 프로세스에 보내는 판독 회로 RO를 포함할 수 있다.
더 자세히 말하면, 비교기는 광이 증가/감소했는지를 식별한다. 오프 이벤트(Off event)에 대해: Vdiff가 문턱치 Voff(Vb 상의)보다 로우(low)이면, 비교기 출력은 하이(high)이고, 이 레벨이 메모리에 저장된다. 이것은 감소가 검출되었다는 것을 의미한다. Vdiff가 문턱치보다 로우가 아니면, 비교기 출력은 로우이다: 감소가 검출되지 않았다.
유일한 어려움은, 온 이벤트(On event)에 대해, 로우 비교기 출력은 증가를 의미하는 반면, 하이는 변화 없음을 의미한다는 것이다; 그러나 오프 이벤트에 대해, 하이 비교기 출력은 감소를 의미하는 반면, 로우는 변화 없음을 의미한다.
그래서 상기 판독(readout)은 메모릴 콘텐트와 어느 문턱치가 인가되었는지를 알아야 한다. 또는, 후술되는 바람직한 실시 예에서처럼, 메모리 극성(polarity)이 온과 오프 모두에 대해 동일하도록 온에 대해 인버터(inverter)가 있다.
본 발명의 픽셀 회로(100)의 하나의 바람직한 실시 예에서, 각 픽셀 회로(100)는 하나의 비교기만을 포함하고, 이것은 순차적으로 우선 ON-이벤트들에 대해 비교기로서 작용하고, 그 다음 OFF-이벤트들에 대해 비교기로서 작용한다(또는 그 반대로).
픽셀 회로(100) 및 제어기(60)는 다음과 같이 작동한다.
포토센서 PD에 의해 수신된 광 세기에 있어서 변화는 포토리셉터 신호 Vpr에 있어서의 변화로 변환될 것이다. 리셋 회로 R1이 도전하고 있지 않을 때, Vpr에 있어서의 변화들은 또한, 비교기 노드에서 비교기 A1에 반전 입력(-)에서 전압 Vdiff에서 반영될 것이다. 이것은 메모리 커패시터 C1을 가로지르는 전압이 일정하게 유지하기 때문에 일어난다.
제어기(60)에 의해 선택된 시간들에서, 비교기 A1는 메모리 커패시터 C1의 제2 단제에서 비교기 노드에서의 전압(Vdiff)을 비교기 A1의 비-반전 입력(+)에 인가된 문턱 전압 Vb(제어기로부터의)에 비교한다.
제어기(60)는 비교기 출력 Vcomp를 저장하도록 메모리(50)을 동작시킨다. 메모리(50)는 전형적으로 보여진 바와 같이 픽셀 회로(100)의 일부로서 구현된다. 그러나, 다른 실시 예들에서, 메모리(50)는 칼럼 로직 회로(column logic circuit)(주변회로, 픽셀 어레이의 각 열(column) 당 하나)의 일부로서 구현된다.
메모리(50)에 유지된 상기 저장된 비교기 출력의 상태가 광 세기에 있어서의 변화를 나타내고 AND 제어기(60)로부터의 글로벌 리셋 신호 GlobalReset 신호가 활성이면(active), 조건부 리셋 회로 R1이 도전한다. 여기에서 “AND”는 로직 AND 연산자를 나타낸다. 조건부 리셋 회로 R1가 도전 상태로 되면, 비교기 A1의 반전 입력에서 비교기 노드에서의 전압(Vdiff)가 어떤 알려진 레벨로 리셋된다. 그래서, 현재의 포토리셉터 신호 Vpr을 메모리 커패시터 C1 상에 저장한다.
도2는 포토리셉터 회로 PRC와 메모리 커패시터 C1 사이에 선택적 샘플링 회로 SC를 포함하는 또 다른 실시 예에 따른 픽셀 회로(100)를 보여준다. 샘플링 회로 SC는 포토리셉터 회로 PRC와 메모리 커패시터 C1의 선택적인 전자적 접속 또는 비접속을 허용한다.
샘플링 회로 SC는 모션 아티펙트를 피하기 위해 동시에 모든 픽셀들의 포토리셉터 출력을 전체적으로 샘플링하기 위해 제어기(60)으로부터의 샘플 신호(25)에 의해 작동된다. 전형적으로, 샘플링 회로 SC는 샘플링 스위치(150)기생 또는 명시적 샘플링 커패시터 C2, 및 버퍼 증폭기(buffer amplifier) A2를 포함할 수 있다. (버퍼 증폭기 A2는 모든 구현들에서 사용되는 것은 아니라는 것을 유의하라).
픽셀 회로(100)와 제어기(60)는 다음과 같이 작용한다.
광 세기에 있어서 변화는 도1의 이전의 실시 예에서와 같이 포토리셉터 신호 Vpr에서의 변화로 변환될 것이다.
동시에, 제어기(60)는 포토리셉터 회로 PRC로부터의 포토리셉터 신호 Vpr를 샘플링 커패시터 C2에 전기적으로 접속함으로써 샘플링 회로 SC를 동작시킨다. 제어기(60)는 그 다음 제어 신호(25)를 통하여 스위치(150)를 오픈함으로써 포토리셉터 신호 Vpr를 커패시터 C2로부터 접속을 끊음으로써 샘플링 회로 SC를 추가로 동작시킨다.
제어기(60)에 의해 지정된 시간들에서, 비교기 A1은 비교기 노드에서의 Vdiff를 그의 비-반전 입력에 인가된 문턱치 Vb에 비교한다. 동시에 제어기(60)는 비교기 출력 Vcomp을 저장하도록 메모리(50)를 동작시킨다. 전과 같이, 메모리(50)는 픽셀 회로(100)에 또는 후에 기술되는 바와 같은 주변 RO 회로(42)의 칼럼 로직 회로(44)에 위치될 수 있다.
상기 저장된 비교기 출력의 상태가 광 세기에 있어서의 변화를 나타내고 AND (제어기에 의해 제어된) 글로벌 리셋 신호 GlobalReset 신호가 활성이면, 조건부 리셋 회로 R1이 도전상태로 되고, Vdiff가 어떤 알려진 레벨로 리셋된 다음, 샘플링 C2 상의 전압이 메모 C1 상에 기억된다.
언급된 바와 같이, 픽셀 또는 픽셀 어레이가 머긴 비전 애플리케이션들에 대한 센서로서 사용될 수 있다. 상기 머신 비전 애플리케이션들에서, 센서의 출력은 (직접 또는 간접으로) 데이터 프로세서로 가고, 여기에서 어떤 알고리즘이 센서 또는 센서에 의해 분석되는 물체의 위치와 움직임을 계산할 수 있다.
기존의 센서는 픽셀들에 충돌하는 광 세기를 나타내는 픽셀 값들을 포함하는 이미지들을 출력한다. 대조적으로, 여기에서 센서는 광 세기 변화가 검출된 그들 픽셀들의 어드레스들을 출력한다(여기에서 픽셀의 어드레스는 행과 열 수에 대응한다). 주어진 픽셀에서 이 같은 광 세기 변화를 이벤트(an event)라고 부른다. 더 상세하게는, '이벤트'라는 용어는 픽셀의 광 세기를 나타내고 광 세기의 함수인 포토리셉터 신호가 제어기에 의해 인가된 문턱치보다 크거나 같은 양 만큼 변화했음을 의미한다. 어떤 이벤트를 전송하기 위해, 대응하는 픽셀의 어드레스가 전송된다; 광 세기 변화가 양인지 음인지를 나타내는 비트(bit)와 함께.
시간에 있어서 현재 및 이전의 경우들(instances) 사이의 광 세기 변화들을 검출하기 위해, 각 픽셀은 시간에 있어서 상기 이전의 경우에서의 광 세기의 표현을 저장할 필요가 있다.
더 구체적으로, 이 픽셀에서 방출된 마지막 이벤트의 시간에서의 프토리셉터 신호와 이 픽셀에서 현재의 포토리셉터 신호 사이의 차를 나타내는 전압 Vdiff를 저장한다.
바람직한 실시 예들에서 이벤트들을 검출하기 위해, 비교기 노드에서의 Vdiff가 우선 광 세기에 있어서의 증가(ON-이벤트)를 검출하기 위해 하나의 문턱치에 비교되고, 그 비교기 출력은 명시적 또는 기생 커패시터 상에 샘플링되거나 또는 어떤 플립-플롭에 저장된다. 그 다음 비교기 노드에서의 Vdiff는 광 세기에 있어서의 감소(OFF-이벤트)를 검출하기 위해 제2 문턱치에 비교되고, 그 비교기 출력이 명시적 또는 기생 커패시터 상에 샘플링되거나 또는 어떤 플립-플롭에 저장된다. 글로벌 리셋 신호가 모든 픽셀들에 보내지고, 각 픽셀에서 이 글로벌 리셋 신호는 상기 샘플링된 비교기 출력들과 논리 AVD되어, 이벤트가 검출된 픽셀들만을 리셋한다. 그 다음 상기 샘플링된 비교기 출력 전압들이 판독되고, 대응하는 픽셀 어드레스들이 수신기에 전송된다.
도3은 픽셀들(100-1 내지 100-6)의 2차원 어레이를 포함하는 센서(8)를 보여준다. 이 예시된 센서는 도면을 어수선하게 채우는 것을 피하기 위해 단지 2행과 3열만을 보여준다. 실제로 이 센서(8)는 m행(전형적으로 2보다 훨씬 크다)과 n열(전형적으로 3보다 훨씬 크다)의 픽셀들을 포함한다. 2차원 어레이에서 한 픽셀은 픽셀의 행 수와 열 수인 어드레스에 의해 식별될 수 있다. 예를 들어, 픽셀 103-6은 그 어드레스로서 행 2(위로부터 카운팅하여)와 열 3(왼쪽으로부터 카운팅하여)을 가진다.
제어기(60)는 픽셀들(100)와, 행 선택 회로(40), 및 판독 회로(42)와 같은 다른 구성부들, 그리고 어레이로부터 프로세스(46)까지 데이터의 전송을 제어한다.
상기 예시된 예에서, 행 선택 회로(40)는 제어기(60)의 일부로서 보여진다. 이 행 선택 회로(40)는 행들 중 하나 또는 복수의 서브세트(subsets)을 선택한다. 픽셀들(100) 중 어떤 행이 선택되면, 그 선택된 행에 있는 픽셀들의 비교기 출력들이 판독 회로(42)에 전달된다.
판독 회로(42)는 픽셀 어레이로부터 데이터(기억된 비교기 출력들)를 판독한다. 종종 판독 회로(42)는 이 데이터를 프로세서(46)와 같은, 센서 칩 외부에 있을 수 있는 어떤 종류의 수신기(보통 프로세서의 형태)로 전송하기 전에 더 효율적인 표현으로 추가로 인코딩할 것이다.
몇몇의 칼럼 로직 회로들(44-1 내지 44-n)(여기에서는 n 칼럼(열)들이 있다)으로 나누어진 판독 회로(42)는 비교기 출력들을 판독함으로써 대응하는 픽셀의 광 세기가 증가 했는지, 감소했는지 또는 변하지 않았는지를 결정한다.
제어기(60)는 바람직하게 다음에 열거된 바와 같은, 복수의 국면들(phases)에서 센서(8)를 동작시킨다(도4a 및 4b):
1. 조명 변화들의 집적(Integration of illumination changes): 이 실시 예에서, 변화들의 집적은 추가적인 전용 시간 요건(dedicated time requirement) 없이 다른 국면들 동안 계속된다.
2. ON-이벤트들의 비교 국면(도4A 및 4B에서 218): 각 픽셀에서, 비교기 A1은 온-문턱치에 대해 상기 집적된 조명 변화를 비교하기 위해 사용된다; 그 결과는 메모리(50)에 저장된다.
3. OFF-이벤트들의 비교 국면(도4A 및 4B에서 220): 각 픽셀에서, 비교기 A1은 오프-문턱치에 대해 상기 집적된 조명 변화를 비교하기 위해 사용된다; 그 결과는 메모리(50)에 저장된다.
4. 리셋 국면(도4A 및 4B에서 222): 저장된 비교기들 출력의 상태가 광 세기에 있어서 변화를 나타내는, 각 픽셀 회로(100)는 각각의 리셋 회로들 R1을 도전하게 함으로써 리셋된다.
5. 판독 국면(도4A 및 4B에서 224): 행 선택 회로(40)의 제어 하에서, 상기 메모리(50) 내의 상기 저장된 비교 결과들이 픽셀 어레이로부터 판독된다.
일반적으로, 첫 번째 국면(조명 변화들의 집적)은 명시적 시간 지속 시간(time duration)을 가지지 않는다. 왜냐하면 변화들의 연속적-시간 집적이 다른 국면들 동안 정지하지 않기 때문이다. 그래서 이 국면에 대해 명시적 시간 할당을 생략하는 것이 가능하다.
물론, 온- 및 OFF-이벤트들의 순서는 역전될 수 있다. 더욱이, 픽셀 실시 예에 따라, 판독 국면이 리셋 국면 전에 일어날 수 있다.
제어기(60)는 바람직하게 상기 국면들의 상대적 타이밍을 제어하고, 상기 픽셀들을 제어하기 위해 필요한 신호들을 생성한다. 몇몇 픽셀 동작 모드들이 도4A 및 4B에 보여진 바와 같이 가능하다.
고정된 판독 시간: 도4a는 고정된 시간 모드를 보여주는 시간 다이어그램이다. 여기에서 동작 국면들의 각각은 고정된 시간 지속 시간을 가진다. 그래서 프레임 레이트는 고정된다. 이 예시된 예에서, 각 Evt 프레임은 100 마이크로초 길이이다.
이와 같이 판독 국면은 고정된 지속 시간을 가지지만, 판독할 이벤트들의 수는 아마도 이벤트-프레임에서 이벤트-프레임으로 변할 것이다. 판독 국면의 지속 시간의 합리적인 제한을 유지하기 위해, 어떤 단일 이벤트-프레임에서 판독될 수 있는 이벤트들의 수(214)는 제한되어야 한다. 판독할 이벤트들의 수가 가능한 최대보다 적으면, 아이들(idle) 국면이 있을 것이다.
이벤트들의 수가 판독 국면 동안 판독될 수 있는 것 보다 더 크면, 3개의 옵션들이 있다: 1) 프로세서(46)에 통지하고 추가적인 이벤트들을 버린다; 2) 프로세서(46)에 통지하고 그냥 현재의 프레임에 대해 판독 국면을 확장한다(상기 늘어난 프레임 후, 센서, 즉 픽셀 어레이는 즉시 다음 이벤트 프레임을 사작한다); 또는 3) 프로세서(46)에 통지하고 현재의 프레임에 대해 판독 국면을 확장한다. 상기 늘어난 프레임 후, 이전의 이벤트-프레임 시작 시간과 동기화된 상태로 하기 위해 "공식적인(official)" 프레임 시작 시간을 기다린다.
도4a는 초당 10k 이벤트-프레임들 또는 프레임당 100 마이크로 초의 프레임 레이트 예에 대해 동작 타임 라인의 예시적인 예를 보여준다.
더 상세하게, 각 이벤트 프레임(212)에서, ON-이벤트들의 비교(218)는 10㎲를 소비하고 OFF-이벤트들의 비교(220)는 10㎲를 소비한다. 그 다음 픽셀들은 20㎲ 국면(222) 동안 리셋된다. 결국 이벤트들이 판독 국면(224)에서 픽셀 어레이(210)로부터 판독되고 판독 회로(42)에 축적된다. 이 판독 국면은 60㎲ 지속한다. 이와 같이 국면들의 지속 시간의 합은, 이 특정의 예에서, 10+10+20+60=100 마이크로초이다.
연속적인 이벤트 프레임들(212-1, 212-2, 212-3) 중에 예시된 바와 같이, 국면(224)에 60㎲가 할당되었지만, 이 국면(224)에서 실제적인 판독(214)은 변동하는 시간 양을 소비한다. 예를 들어, 제1 이벤트 프레임(212-1) 동안 국면(224-1)에서 이벤트 판독 국면(214-1)에 대해, 214-1에 대해 할당된 60㎲의 절반보다 더 적은 시간이 소비되었다. 대조적으로, 제2 이벤트 프레임(224-3)에 대해, 이벤트의 판독(214-3)은 224-3에 할당된 60㎲의 3분의 2를 소비한다.
가변 판독 시간: 도4b에 보여진, 가변 판독 시간 모드에서, 판독 국면(224)의 지속 시간은 전송될 이벤트들의 수에 좌우된다. 결과로서, 하나의 프레임의 전체 길이 및 이와 같이 프레임 레이트는 가변하고 프레임 당 이벤트들의 에 좌우된다.
더 상세히, 이전의 예에서처럼, 이벤트 프레임들(212)들의 각각은 10㎲를 소비하는 ON-이벤트들의 비교(218)와 10㎲를 또한 소비하는 OFF-이벤트들의 비교(220)로 나누어진다. 이벤트 리셋 국면(222)은 각각의 이벤트 프레임(212)에서 20㎲를 소비한다. 한편, 이벤트 프레임들(212)의 각각에 대해 이벤트 판독 국면(224)은 길이에 있어서 가변 한다. 결과로서, 이 국면은 픽셀 어레이(210)로부터 판독될 필요가 있는 이벤트들(214)의 수에 의해 좌우되는 시간 길이를 가진다.
도5는 본 발명의 원리들에 따라 구성된, 샘플링 없는 바람직한 실시 예, 픽셀 회로(100)를 보여준다.
포토다이오드 또는 포토트랜지스터 또는 포토 활성 영역과 같은 포토센서 PD가 충돌하는 광(9)을 전기 신호(즉, Iphoto로서 지정된 전류, 또는 전하)로 변환하기 위해 사용되었다. 그 다음 Iphoto는 포토리셉터 회로 PRC에 의해 전압 Vpr로 변환된다. 광의 세기에 대한 Vpr의 관계는 전형적으로 로그 관계(logarithmic)이지만, 본 실시 예에서나 다른 모든 픽셀 실시 예들에서 또한 선형일 수도 있다.
바람직하게, 임의의 센서 실시 예들의 상기 하나 이상의 픽셀들의 각각에서 포토리셉터 모듈 PR은, 로그 포토리셉터 모듈(logarithmic photoprecepter module)이다. 로그 포토리셉터 모듈은, 포토센서 PD의 감지 표면에 충돌하는 광의 세기에 비례하는 Iphoto 전류를 검출된 광의 로그 함수(logarithmic function)인 신호로 변환하는 포토리셉터이다. Vpr이 Iphoto에 대해 로그 관계로 선택되지만, Iphoto에 비례하거나 다른 함수 관계로 선택될 수도 있음을 유의하여야 한다.
포토다이오드에 의해 발생된 전류(Iphoto)로부터 출력 전압으로의 로그 변환은, 그것이 넓은 범위의 입력 전류들을 제한된 전압 범위로 맴핑하는 것을 허용하기 때문에, 매우 효과적이다. 로그 관계 세기 영역에서 차이들을 비교하는 것은 또한 정규화된 차이들(normalized differences)을 비교하는 것과 수학적으로 유사하다는 이점을 가진다; 콘트라스트(contrast)의 대부분의 정의들은 정규화된 차이들에 기초한다(예를 들면, 휘도 비(luminance ratio), 웨버(Weber) 콘트라스트 또는 마이켈슨(Michelson) 콘트라스트). 로그 관계 세기 영역에서 차이들을 비교하는 것은 또한 배경 조명에 독립적인 물체들의 반사율에서의 차이들을 관측하는 것을 허용한다.
메모리 커패시터 C1는, 그 커패시터의 제1 플레이트가 포토리셉터 신호 Vpr에 응답하는 전하를 가지도록(carry) 포토리셉터 신호 Vpr를 수신한다. 메모리 커패시터 C1의 제2 플레이트는 비교기 노드 A1에 접속된다. 예시된 실시 예에서, 제2 플레이트는 이벤트 비교기 A1의 반전 입력에 접속된다. 이와 같이, 비교기 노드의 전압, Vdiff은 포토리셉터 신호 Vpr에 있어서의 변화들과 함께, 그래서 포토센서 PD에 의해 수신된 광의 변화들과 함께 변동한다.
비교 국면(예를 들어, 도4a 및 4b를 참조) 동안, 리셋 회로 R1의 리셋 스위치 RS는 도전하지 않고, 그래서 비교기 노드의 전압 Vdiff는 플로우팅(floating)한다. 이와 같이 포토리셉터 신호 Vpr에 있어서의 변화들은 플로우팅하는 비교기 노드의 전압 Vdiff를 변화시킨다. 메모리 커패시터 C1을 가로지르는 전압이 픽셀이 리셋된 시간부터 일정하게 유지되기 때문이다.
ON-이벤트들의 비교를 위해, 문턱 전압 Vb는 값 Von으로 제어기(60)에 의해 세팅된다(도6 참조). 이와 같이 이벤트 비교기 A1은 문턱 전압 Vb를 Vdiff에 비교한다. 제어기(60)는 또한 ON-이벤트 샘플링 스위치 S2를 닫는 (On select에 대해) OnSel을 펄싱한다(pulse). 결과로서, 비교기 출력은 인버터 I1에 의해 반전되고(inverted) 어떤 커패시턴스 상에 샘플링된다. 예시된 실시 예에서, 이 커패시턴스는 출력 회로 OUT의 ON-이벤트 출력 트랜지스터 NM2의 기생 게이트 커패시턴스(parasitic gate capacitance)이다.
OFF-이벤트들의 비교를 위해, 바이어스(bias) 전압 Vb는 값 Voff로 세팅된다(도6 참조). 이와 같이 이벤트 비교기 A1은 새로운 문턱 전압 Vb를 Vdiff에 비교한다. 제어기(60)는 또한 OFF-이벤트 샘플링 스위치 S1를 닫는 OffSel을 펄싱한다. 결과로서, 비교기 출력은 어떤 커패시턴스 상에 샘플링된다. 예시된 실시 예에서, 이 커패시턴스는 출력 회로 OUT의 OFF-이벤트 출력 트랜지스터 NM1의 기생 게이트 커패시턴스이다.
리셋 국면 동안 문턱 전압 Vb는 전압 레벨 Vreset(Von과 Voff의 사이에 있는 어떤 값으로, 바람직하게 Von과 Voff의 중간에 있는 값)으로 세팅되고, GlobalReset 신호가 제어기(60)에 의해 활성화된다. 결과로서, 리셋 회로 R1은, 온- 이벤트 또는 OFF-이벤트의 어느 것이든 검출되고(OR 게이트를 이용하여) AND GlobalReset이 활성이, 리셋 스위치 RS를 닫을 것이다.
이와 같이 이벤트가 검출된 그들 픽셀들만이 리셋된다. 유리하게도 이 리셋 기능은 느린 움직임들이 검출되는 것을 허용한다. 왜냐하면 프레임으로부터 프레임으로 작은 변화들이 축적될 수 있기 때문이다.
이 예시된 예의 회로는 또한 이벤트 비교기 A1에서의 임의의 옵셋(offset)를 보상하고(compensate for any offset), 그래서 픽셀 어레이(8)에 있는 픽셀들(100)(도3 참조)의 응답(response)이 그 어레이에 걸쳐 일관되게 하는데 도움을 준다. 일반적으로, 높은 전압 레벨이 OFF-이벤트 출력 트랜지스터 NM1 또는 ON-이벤트 출력 트랜지스터(NM2)의 어느 것 상에 저장되어 있는, 픽셀 어레이(8) 내의 픽셀들(100)에서, 상기 리셋 스위치 RS는 닫힌다. 전압-팔로워(voltage-follower) 구성이 생긴 결과로서, 메모리 커패시터 C1의 제2 단자에서 Vdiff는 Vreset 플러스(plus) 비교기의 임의의 옵셋으로 자리를 잡을 것이다(settle). 결과로서, 문턱치에 인가된 보정(correction)이 이제는 이벤트 비교기 A1에 있어서의 상기 옵셋을 보상한다.
판독 국면 동안, 상기 픽셀 어레이는 행 단위로(by row) 판독된다. 이와 같이, 픽셀 회로(100)는 제어기(60)가 한번에 한 행 RowSelect(행 선택) 신호를 활성화하는 것을 기다린다.
픽셀 제어 신호들과 시간에 따른 그들의 변화(타임 라인 플롯)가 다음에 논의된다.
도6은 글로벌 픽셀 제어 신호들과 로컬 픽셀 신호들의 타임 라인을 보여준다. Vb, OnSel, OffSel 및 GlobalReset은 픽셀 어레이에서 모든 픽셀들에 대한 글로벌 신호들이고, 반면 RowSelect는 행 방향(로컬) 신호이다.
더 상세히, ON- 및 OFF 비교 국면과 함께 두 이벤트 프레임들이 보여진다. 구체적으로, 비교 국면(218-1)과 OFF 비교 국면(220-1) 동안, 문턱 전압 Vb는 Von과 Voff 레벨들 사이에서 변화된다. 포토리셉터 신호 Vpr이 일정하므로, 이벤트는 검출되지 않는다.
ON 비교 국면(218-2) 동안, 문턱 전압 Vb는 Von으로 변화된다. 이제 포토리셉터 신호 Vpr가 포토센서 PD에 의해 수신된 광의 양이 증가한 것을 나타내는 하이 레벨에 있으므로, 메모리 커패시터 C1의 제2 단자에서의 전압(Vdiff) 또한 증가한다(그 변화가 충분히 크면 Von의 레벨 이상). 결과로서, 제어기(60)가 또한 OnSel을 펄싱하면, 상기 ON-이벤트 샘플링 스위치 S2가 닫히고, ON 신호가 상기 ON-이벤트 출력 트랜지스터 NM2(도5)의 커패시턴스 상에 저장된다. RowSelect 신호가 활성화될 때, nRxOn 라인은 로우(low)로 된다.
이벤트가 검출되기 때문에, 리셋 국면이 또한 메모리 커패시터 C1를 가로지르는 전압을 리셋한다. 구체적으로, 리셋 국면(222-2)에서, 문턱 전압 Vb는 중간 레벨 Vreset으로 세팅된다. 리셋 회로 R1에서의 로직 때문에 PixReset이 하이(high)이므로, Vdiff가 Vreset으로 리셋되고, 새로운 전압이 메모리 커패시터 C1를 가로질러 저장된다.
도7은 포토리셉터 PR과 메모리 커패시터 C1 사이에 샘플링 회로 SC를 가지는 또 다른 픽셀 회로(100)(도5)를 보여준다.
이것은 포토리셉터 신호 Vpr가 비교 전에 샘플링되는 것을 가능하게 한다. 이 구성은 동일한 값의 포토리셉터 전압이 ON 및 OFF-이벤트 비교를 위해 사용되고, ON-이벤트와 OFF-이벤트에 대한 비교 사이에서 Vpr의 변화에 의한 가능한 모션 아티팩트들을 피하는 것을 보장한다.
더 상세히, 각각의 ON 비교 국면(218) 전에, 제어기(60)로부터의 샘플 라인이 샘플링 스위치(150)를 닫도록 짧은 기간 동안 활성화한다. 이것은 포토리셉터 신호 전압 Vpr을 메모리 커패시터 C1의 플레이트로 전달한다. 그 다음 상기 샘플링 스위치(150)가 다시 열리도록 제어기(60)로부터의 샘플 라인이 비활성화한다. 이와 같이, 메모리 커패시터 C1의 왼쪽 플레이트 상의 전하가 정지되고(static), 포토리셉터 신호 Vpr에서의 그 후의 변화들에 따라 변화하지 않을 것이다. 그러한 변화들은 전형적으로 장면 내에서의 변화들이나 또는 센서와 장면 사이의 움직임에 기인할 것이다.
그 다음, ON 비교 국면(218)과 OFF 비교 국면(220)이 수행된다. 그 다음 서로 다른 문턱 전압들에 대한 각각의 비교들이 포토리셉터 신호 Vpr로부터 샘플링된 동일한 전압에 대해 일어날 것이다.
도8은 또 다른 픽셀 회로(100)를 보여준다. 이 설계는 더 작은 픽셀을 결과로서 가져온다.
더 구체적으로, 그것은, 이전의 실시 예들(도5 및 도7)에서 채용된 두 개의 출력 라인들 nRXon과 nRXoff를 대체하는 그냥 하나의 출력 라인 nRX를 가진다. 이 변화는 추가로 리셋 회로 R1에서의 OR-게이트(도5 및 도7 참조)의 제거 및 출력 회로 OUT의 출력 트랜지스터들(도5 및 도7 참조) 중 하나인 NM2의 제거를 허용한다. 두 이벤트 극성들(polarities)에 대해, 출력 신호 nRX는 로우로 활성화한다. 리셋 회로 R1은 그것이 도전하는지 어떤지를 결정하기 위해 GlobalReset 신호와 상기 샘플링된 비교기 출력들을 이용한다.
이 실시 예에서, 각 이벤트 극성에 대해 리셋 국면을 별개로 가지는 것이 바람직하다(즉, OFF-이벤트에 대해 하나의 리셋 국면 및 ON-이벤트에 대해 또 다른 리셋 국면).
더 상세히, 이전의 실시 예들과 유사하게, 포토리셉터 출력 전압 Vpr에서의 변화들은 플로우팅 노드의 전압 Vdiff을 변화시킨다.
ON-이벤트들의 비교를 위해, 바이어스 전압 Vb가 전압 레벨 Von으로 세팅된다. 비교기는 Vb를 Vdiff에 비교한다. OnSel을 펄싱함으로써, 비교기 출력이 트랜지스터 NM1의 기생 커패시턴스에 상에 샘플링된다.
ON-이벤트들에 의한 리셋을 위해, Vb는 (Von과 Voff 사이의 중간에 있는) 전압 레벨 Vreset으로 세팅되고 GlobalReset 신호는 활성화된다. 하이 전압 레벨이 출력 트랜지스터 NM1에 저장된 픽셀들에서, 상기 리셋 스위치 RS는 닫히고, 이와 같이 Vdiff는 Vreset 플러스(plus) 비교기의 옵셋으로 자리잡을 것이다.
한 행씩, ON-이벤트들의 판독을 위해, RowSelect 신호가 한 번에 하나의 행에 대해 활성화된다. 출력 트랜지스터 NM1의 게이트 커패시턴스가 하이 전압 레벨을 저장하고 있으면, 출력 트랜지스터 NM1은 도전하고, 대응하는 요청 라인(request line) nRX는 다운(down)으로 된다. 이 활성-로우 요청(active-low request)은 주변 판독 회로(42)에서 래치(latch)된다.
OFF-이벤트들의 비교를 위해, 바이어스 전압 Vb가 제어기(60)에 의해 전압 레벨 Voff으로 세팅된다. OffSel을 펄싱함으로써, 이 새로운 비교기 출력이 출력 트랜지스터 NM1의 기생 커패시턴스에 상에 샘플링된다.
OFF-이벤트들 리셋을 위해, Vb는 (Von과 Voff 사이의 중간에 있는) 전압 레벨 Vreset으로 세팅되고 GlobalReset 신호는 활성화된다. 하이 전압 레벨이 출력 트랜지스터 NM1의 게이트에 저장된 픽셀들에서, 상기 리셋 스위치 RS는 닫히고, 이와 같이 Vdiff는 Vreset 플러스(plus) 비교기의 옵셋으로 자리잡을 것이다.
한 행씩 수행되는, OFF-이벤트들의 판독을 위해, RowSelect 신호가 한 번에 하나의 행에 대해 활성화된다. 출력 트랜지스터 NM1의 게이트 커패시턴스가 하이 전압 레벨을 유지하면, 그것은 도전하고, 출력 라인 nRX는 다운(down)으로 된다. 이 활성-로우 요청은 주변 판독 회로(42)에서 래치(latch)된다.
도9는 글로벌 픽셀 제어 신호들과 로컬 픽셀 신호들의 타임 라인을 보여준다. Vb, OnSel, OffSel 및 GlobalReset은 글로벌 신호들이다; RowSelect는 행 방향 (로컬) 신호이다.
이 예에서, ON 비교 국면은 판독 국면(218)과 조합된다. 이 기간 동안, 문턱 전압 Vb는 Von으로 증가하고 RowSelect는 활성화한다. 그러나 예시된 예 국면(218-1)에서 ON-이벤트는 검출되지 않는다. 유사하게, OFF 비교 국면이 판독 국면(220)과 조합된다. 온 리셋 국면(219) 및 오프 리셋 국면(221) 동안, GlobalReset가 활성화한다.
ON 비교 및 판독 국면(218-2) 전에, Vpr은 포토센서 PD상의 증가된 광에 의해 증가하고, 결과로서. Vdiff는 Von보다 더 큰 값으로 증가한다. 이와 같이, 이벤트 비교기 A1은 ON-이벤트를 기록하고(register), 이것은, OnSel이 하이가 되고 다시 로우가 되고, 그래서 PixEvt가 하이가 될 때, 메모리에 저장된다. 행 선택 신호 RowSelect가 활성화할 때, ON-이벤트는 출력 라인 nRX 상의 주변 회로로 통신된다. 온 리셋 국면(219-2) 동안, PixEvt 및 GlobalReset이 동시 하이인 동안, 픽셀이 리셋 국면(219-2) 동안 리셋되도록 PixReset이 하이가 된다.
도10은 또 다른 픽셀 회로(100)를 보여준다. 이 설계는 훨씬 더 작은 픽셀을 결과로서 가져오고, 여기에서 메모리 기능은 픽셀 회로(100)에 위치하지 않고, 그러나 대신 판독 회로(42)의 일부이다.
더 상세히, 리셋 회로 R1은 리셋 스위치 RS를 닫고 메모리 커패시터 C1을 리셋할 것인지를 결정하기 위해 RowSelect 신호와 판독 회로(42)로부터의 출력 애크 신호(output acknowledge signal) ColAck를 이용한다. ColAck와 RowSelect의 로직 AND는 PixReset 신호를 기억하기 위해 래치를 세팅하는데 이용되고, 제어기로부터의 글로벌 신호(ResetPixReset)는 리셋 국면 동안 상기 래치를 리셋하기 위해 이용된다. ColAck와 RowSelect의 AND를 저장하고, 스위치 RS를 제어하기 위해 그것을 직접 이용하지 않는 이유는, 어레이에 있는 모든 픽셀들이 동시에 리셋될 수 있도록 하기 위한 것이다. 래치가 없으면, 판독 국면 동안 한 행씩을 기초로(on a row-by-row basis)이 리셋이 일어날 필요가 있을 것이다.
판독 회로(42)로부터의 ColAck 신호는 어떤 열(column)에 있는 모든 모든 픽셀들 사이에 공유된다. 이와 같이, 픽셀 리셋은 한 행씩을 기초로 활성화되어야 한다. 동작에 있어서, 행 선택 회로는 대응하는 RowSelect가 활성으로 됨으로써 픽셀들의 하나의 행을 선택하고, 대응하는 비교기 출력들이 출력 트랜지스터 NM1을 통하여 판독회로에 전송된다. 그 다음 제어기(60)는 판독 회로(42)에 있는 메모리들을 동작시켜 전송된 비교기 출력들을 저장한다; 판독 회로(42)의 칼럼 로직 회로들은 광 세기에 있어서 증가 또는 감소가 있었는지를 결정한다. 칼럼 로직 회로가 광 세기 변화를 검출한, 이들 칼럼들(열들)에서 상기 ColAck 신호가 활성화된다. 그 다음 제어기는 리셋 전압 Vreset을 상기 어레이(210)의 이벤트 비교기들 A1의 양(positive) 입력들에 인가한다. 아직 활성인 RowSelect 신호와 함께, 활성인 ColAck 신호가 대응하는 픽셀을 리셋한다.
추가로, 이 픽셀 회로에서, 비교기 출력의 극성은 ON-이벤트(증가하는 광레벨)와 OFF-이벤트(감소하는 광 레벨) 사이에서 다르다. 결과로서, ON-이벤트들과 OFF-이벤트들에 대한 비교기 출력의 극성의 차이는 판독 회로(42)에서 설명된다. 이것은 출력 신호 nRX가 ON-이벤트들에 대해 활성 하이이고, OFF-이벤트들에 대해 활성 로우라는 것을 의미한다.
도11은 글로벌 픽셀 제어 신호들과 로컬 픽셀 신호들의 타임 라인을 보여준다. Vb, OnSel, OffSel 및 ResetPixReset은 글로벌 신호들이고, RowSelect는 행 방향 로컬 신호이고 ColAck는 열 방향 로컬 신호이다.
이 예에서, ON 비교 국면은 판독 국면(218)과 조합된다. 이 기간 동안, 문턱 전압 Vb는 Von으로 증가하고 RowSelect는 활성이다. 그러나 예시된 예 국면(218-1)에서, ON-이벤트는 검출되지 않는다. 유사하게, OFF 비교 국면은 판독 국면(220)과 조합된다. 두 개의 비교 및 판독 국면들 후, 리셋 국면(224)이 있다.
ON 비교 및 판독 국면(218-2) 전에, Vpr은 포토센서 PD상에 증가된 광에 의해 증가하고, 결과로서, Vdiff는 Von보다 더 큰 값으로 증가한다. 이와 같이, 이벤트 비교기 A1은 ON-이벤트를 기록하고, 이것은 행 선택 신호 RowSelect가 활성일 때 출력 라인 nRx 상의 주변 회로에 통신된다. 대응하는 칼럼 로직 회로가 이벤트를 기록하기 때문에, 그것은 ColAck 신호를 활성화할 것이다. ColAck와 RowSelect가 동시에 활성인 모든 픽셀들에서, PixReset 신호는 하이가 되고, 비교기의 입력 및 출력을 쇼트한다(short). 리셋 국면(224-2) 동안, 제어기는 Vreset을 Vb에 인가하고, PixReset이 아직 하이이기 때문에 그 픽셀이 리셋된다. 그 다음 제어기는 어떤 시간 동안 ResetPixReset을 하이로 세팅하여 모든 PixReset 신호들을 다시 로우 값으로 세팅할 것이다.
도12는 또 다른 픽셀 회로(100)를 보여준다. 이 설계는 더 빠른 동작을 허용한다. 그것은 픽셀 당 두 개의 이벤트 비교기들을 포함하고, 이것은 ON-이벤트 비교 및 OFF-이벤트 비교가 동시에 일어나는 것을 가능하게 한다. 추가로, 메모리는 픽셀 회로에 위치되고, 대응하는 비교기 출력에서 두 개의 샘플링 회로들에 의해 구현된다. 도5에서처럼, 메모리는 스위치와 기생 커패시턴스의 조합이고, 여기에서는, S4와 NM2의 기생 게이트 커패시턴스, 또한 S5와 NM1의 기생 게이트 커패시턴스의 조합이다. 비교기 출력들은 샘플링되고 두 개의 출력 트랜지스터들 NM1과 NM2의 기생 게이트 커패시턴스 상에 저장된다.
더 상세히, OFF-이벤트 비교기 A1은 전체 픽셀 어레이(210)에 제공되는 Voff 문턱 전압을 수신한다. 유사하게, ON-이벤트 비교기 A2은 전체 픽셀 어레이(210)에 제공되는 Von 문턱 전압을 수신한다.
제어기(60)로부터 샘플 비교 신호 SampleComp가 활성화할 때, 비교기 A1, A2의 출력은, 각각 OFF-이벤트 출력 트랜지스터 NM1 및 ON-이벤트 출력 트랜지스터 NM2의 게이트 커패시턴스들에 전송된다. 그 다음 그들의 상태가, RowSelect가 활성화할 때(즉, NM3가 도전한다), 출력 라인들 nRXon 및 nRXoff를 통하여 판독된다.
ON-이벤트 또는 OFF-이벤트에 응답하여, 리셋 회로는, OFF-이벤트 비교기 A1의 반전 입력 및 ON-이벤트 비교기 A2의 비-반전 입력에 공급된, 메모리 커패시터 C1의 제2 단자에서의 전압(Vdiff)을 리셋한다. 이 경우, Vdiff는 어레이(210)를 걸쳐 공통 전압으로 리셋된다.
도13은 어레이(210)로부터 어떤 열(column)을 따라 두 개의 대표적인 픽셀들(100)을 보여준다. ResetLevel, ColAck 및 Vsf 라인들을 따라 점들은 열을 따라 다른 픽셀들이 존재함을 나타낸다. 그들은 어수선함을 피하기 위해 도면으로부터 생략되었다. 이 도면의 픽셀 회로 실시 예는 훨씬 더 작은 픽셀을 결과로서 가져온다. 그 이유는 비교기 기능이 픽셀 회로(100)에 위치되지 않고, 그러나 대신 판독 회로(42)(도면의 아래 부분에 보여진다)의 일부로 만들어지기 때문이다.
픽셀 회로(100)는, 다른 실시 예들에서 논의된 바와 같이 그 출력이 Vpr인 포토리셉터 회로 PRC와 메모리 커패시터 C1 사이에 샘플링 스위치(150)을 포함한다. 이것은 포토리셉터 회로 PRC의 출력과 메모리 커패시터 C1의 선택적인 전자적 접속을 허용한다. 샘플링 스위치(150)는 제어기(60)로부터의 라인(25) 상의 샘플 신호 Sample에 의해 동작된다. 이 샘플 신호는, 어레이(210)에 있는 모든 픽셀들(100)의 포토리셉터 출력을 같은 순간에 글로벌 샘플링하기 위해 제어기(60)에 의해 활성으로 된다. 이것은 모션 아티팩트들을 피한다.
구체적으로, 포토리셉터 신호 Vpr은 Vprs로서 메모리 커패시터 C1에 전달된다. 그 다음 버퍼(27)가 메모리 커패시터 C1의 제2 단자에서 전압(Vdiff)을 유지한다. 일반적으로, 버퍼(27)는 메모리 커패시터 C1의 제2 단자의 전압(Vdiff)를 주변 회로들에 운반한다. 버퍼는 행 선택 회로(60)으로부터 오는 RowSelect 신호에 의해 인에이블(enable)된다.
픽셀 회로(100)는 버퍼(27)로서 소스 팔로워(source follower)를 사용한다. 이것은 메모리 커패시터 C1의 제2 단자 상의 전압을 어레이(210)에 있는 픽셀의 열에 대해 판독 회로(42)에 운반한다. 전압 Vdiff는 라인 Vout 상에 제공되고 판독 회로(42)의 단자 Vsf까지 판독회로에 제공된다. 거기에서 이벤트 비교기 회로 A1이 Vdiff를 Von 레벨 및 Voff 레벨 모두에 비교한다. 이 칼럼 비교기 A1은 판독 회로(42)에 위치된다.
버퍼(27)에서, 트랜지스터 M1은 유니티 게인(unity gain) 소스 팔로워 입력 트랜지스터이고(소스 팔로워의 전류 소스가 판독 회로(42)의 일부이다), 반면 M2는 상기 소스 팔로워를 인에이블 하는 스위치이다. 판독 회로(42)는 픽셀들의 각 열(column)에 대해 별개의 ColAck 신호가 있도록 구현된다. 상기 ColAck 신호는 이벤트가 검출된 열들에서만 활성이다(도37은 그러한 판독 회로(42)를 보여준다).
리셋 트랜지스터 N1은 RowSelect 신호에 의해 제어된다. 리셋 트랜지스터 N2는 출력 애크 신호 ColAck에 의해 제어된다. 이와 같이 이들 신호 들 다 활성일 때, 리셋 트랜지스터 N1 및 N2가 도전하고, 메모리 커패시터 C1의제2 단자에서의 전압(Vdiff)이, 판독 회로(42)로부터 리셋 라인들 ResetLevel 상의 픽셀들의 열(210)에 공급된 리셋 전압으로 리셋된다. 이와 같이 트랜지스터 N1 및 N2의 직렬 접속이 신호들 RowSelect와 ColAck에 대해 논리 AND 기능을 형성한다.
이 실시 예는 또한 포토리셉터 회로 PRC와 메모리 커패시터 C1 사이에 샘플 스위치(150) 없이 구현될 수 있음을 이해하여야 한다.
도14는 어레이(210)로부터 어떤 열(column)을 따라 두 개의 대표적인 픽셀들(100)을 보여준다. 도13에서처럼, ResetLevel, ColAck 및 Vsf 라인들을 따라 점들은, 도면을 어수선하게 하는 것을 피하기 위해 생략된, 다른 픽셀들의 존재를 나타낸다. 이 설계는 작은 픽셀 영역에 또한 집중된다. 이전의 실시 예에서처럼, 비교기 기능은 픽셀 회로(100)에 위치되지 않고, 그러나 대신 판독 회로(42)의 일부로 만들어진다. 그러나, 도13의 실시 예와는 달리, 이 실시 예는 버퍼(27)에서 용커패시티브 증폭기(capacitive amplifier)를 사용하여 메모리 커패시터 C1의제2 단자에서의 전압 Vdiff 및 구체적으로는 픽셀이 마지막으로 리셋된 후 전압에 있어서의 변화를 증폭시킨다.
증폭 전에, Vdiff는 전과 같이(도13) Vprs로부터 얻어진다. Vdiff의 변화들을 증폭하는 것은 포토리셉터 신호 Vpr에서의 작은 변화들을 검출하는 것을 용이하게 한다. 버포(27)의 게인(gain)은 C1의 커패시턴스를 C2로 나눈 비(ratio)에 의해 주어진다. 커패시터 C2는 명시적일 수 있고 또는 기생적일 수 있음을 유의하여야 한다. 이 커패시턴스들의 비에 의한 곱(multiplication)을 제외하고, 도14에 묘사된 픽셀의 실시 예 및 기능은 도13의 것과 같다.
버퍼(27)에서, 트랜지스터 M1은, PFET 입력 트랜지스터이고, 이와 같이 이 버퍼는 증폭기이고, 반면 M2는 이 증폭기를 인에이블하는 스위치이다. 판독 회로(42)는, 픽셀들의 각 열에 대해 별개의 ColAck 신호가 있도록 구현된다. 이 ColAck 신호는 이벤트가 검출된 열들에서만 활성이다. 도37은 그러한 판독 회로(42)를 보여준다.
노드 Vdiff의 리셋은, RowSelect 신호에 의해 제어되는 행 선택 스위치 RS 및 출력 애크 신호 ColAck에 의해 제어되는 열 리셋 스위치 CS에 의해 제어된다.
도13에서(도35와 함께), 상기 리셋 레벨은 소스 팔로워 및 판독 회로에 있는 A1에 의해 결정된다. 실제 리셋 레벨은 소스 팔로워의 옵셋 및 A1의 옵셋을 포함할 것이고, 이와 같이 이들 옵셋들 둘 다 보상될 것이다.
도14에서(도37와 함께), A1은 두 개의 비교기(온에 대해 하나, 오프에 대해 하나)로서 구현되고, 그래서 리셋 레벨에서 그들 둘 다 포함하는 것은 가능하지 않다. 그러나 도14에서 버퍼는 1(unity)보다 훨씬 더 큰 게인(gain)을 가지기 때문에, 비교기들의 옵셋은 실제로 매우 중요하지는 않고, 그래서 보상되지 않은 채로 둘 수 있다.
다시 도13과 같이, 도14는 포토리셉터 회로 PRC와 메모리 커패시터 C1 사이에 샘플 스위치(150) 없이 구현될 수도 있다.
이제 논의를 위에서 기술된 픽셀 회로 실시 예들의 양상들/부분들의 가능한 예 구현들을 커버하도록 바꿀 것이다. 대부분의 부분에 대해, 임의의 위에서 기술된 회로들이 다음에 기술된 특징들의 임의의 하나 또는 그 이상을 가질 수 있다는 것을 이해하여야 한다.
도15는 상기 픽셀 실시 예들에서(도2, 7, 13 및 14) 이용될 수 있었던 것과 같은 샘플링 스위치 SC의 곰팩트한 실시 예를 보여준다. 이 샘플링 스위치 SC는 스위치로서 nFET 트랜지스터(T10)과 두 개의 pFET 트랜지스터 T11 및 T12에 의해 구현된 소스 팔로워를 이용한다. 여기에서 T11은 소스 팔로워의 전류 소스이고, T12는 소스 팔로워 입력 트랜지스터이다. pFET 트랜지스터 T12의 게이트 커패시턴스는 샘플링 커패시터를 형성한다.
도16 및 도17은 조명에서 작은 변화들을 검출하기 위해 이요되는 비교기들 A1의 다양한 실시 예들을 예시한다. 수 밀리볼트의 등급에서 전압에 있어서의 조그만 변화들을 검출하는 것이 필요하다. 이것은, 도 1-3, 5, 7, 8, 10, 12-14의 회로들에서 비교기가 상당한 게인(바람직하게는 10dB 또는 20dB 이상, 그리고 이상적으로는 약 40dB, 또는 그 이상)을 필요로 한다는 것을 의미한다.
도16은 필요한 게인을 제공할 2-단 비교기를 보여준다. 또한 리셋 스위치 RS가 보여지는데, 이것은 이 실시 예에서 비교기의 입력과 출력을 접속하지 않는다; 대신 입력을 1-단 비교기의 출력에 접속한다.
도17은 연산 트랜스컨덕턴스 증폭기(operational transconductance amplifier)에 기초한 비교기 A1의 또 다른 구현을 보여준다. 이것은 비교기로서 2-트랜지스터 출력 단(2-transitor output stage)를 가지고 5개의 트랜지스터들을 사용한다. 이것은 비교기의 속도가 참조 전압에 의존하지 않고, 그래서 문턱치들의 범위에서 더 많은 자유가 있다는 이점을 가진다. 또한, 옵셋 보상은 2 트랜지스터-2-단 비교기를 이용하는 이전의 예들 중 하나를 이용하는 것보다 더 좋을 것이다.
리셋 스위치들과 리셋 회로들은 모든 실시 예들에서 픽셀 회로의 부분이다. 그들의 실시 예들이 뒤따른다.
리셋 스위치는 NMOS 트랜지스터, PMOS 트랜지스터 또는 NMOS와 PMOS 트랜지스터를 포함하는 완전한 전송 게이트(complete transmission gate)로서 구현될 수 있다. 사용된 스위치의 타입에 따라, 리셋 신호의 극성은 NMOS 트랜지스터에 대해 활성 하이(active high)이고, PMOS 트랜지스터에 대해 활성 로우(active low)이고, 전송 게이트에 대해 하이와 로우 극성들 모두이다. 리셋 신호가 PixReset으로 불리면, 그것은 활성 하이로 고려되고, 그것이 nPixReset로 불리면, 그것은 활성 로우로 고려된다.
도18은 도5, 7 및 12에서 픽셀 회로들을 위한 리셋 회로의 구현을 보여준다. 리셋 신호 발생을 위한 AND-OR 조합이 도5, 7 및 12에서 보여진 회로들에서 사용된다. 도18에서 보여진 AND-OR 조합 회로는 리셋 스위치로서 작용하는 NMOS 트랜지스터에 대해 구현될 수 있다. ON과 OFF는 샘플링된 비교기 출력들이다. 예를 들어 ON이 하이 전압 레벨이면, 스위치 S1은 도전하고, 반면 S3는 도전하지 않는다. 이와 같이 PixReset 상의 전압은 이 경우에 GlobalReset의 전압을 따를 것이다. 제어기가 GlobalReset을 하이 전압 레벨로 세팅하면, 리셋 NMOS 트랜지스터는 도전하고, 비교기는 리셋된다.
ON과 OFF 둘 다 로우이면, S1 또는 S2 어느 것도 도전하지 않지만, S3과 S4 둘 다 도전한다. 이와 같이 PixReset은 접지되고, 이와 같이 리셋 트랜지스터는 도전하지 않는다.
도19는 PMOS 리셋 트랜지스터를 가진 리셋의 대안적 구현을 보여준다. 예를 들어, 전압 레벨 ON이 하이이면, NM1은 도전한다. 제어기(60)가 GlobalReset을 하이 전압 레벨로 세팅하면, NM3는 또한 도전하고, nPixReset 상의 전압은 접지될 것이고, 이와 같이 PMOS 리셋 트랜지스터는 도전한다. 제어기(60)가 GlobalReset을 로우 전압 레벨로 세팅하면, nPixReset과 접지(ground) 사이에 더 이상 전류 경로가 없다. 그 다음 PM1에서 바이어스 전류(PM1의 게이트 상의 바이어스 전압에 의해 제어된)는 천천히 nPixReset을 파워 써플라이(power supply)까지 당긴다. ON과 OFF 어느것도 하이 전압 레벨이 아니면, PM1에서 바이어스 전류는 nPixReset를 상기 파워 써플라이에 유지할 것이고, 이와 같이 리셋 트랜지스터는 도전하지 않는다.
도20은 리셋 회로의 또 다른 구현을 보여준다. 이 버전은 로직 기능을 실제 리셋 스위치에 통합한다. 이것은 더 콤팩트한 구현을 허용한다. ON 또는 OFF 어느 것이든 하이 전압 레벨이고 GlobalReset(제어기(60)에 의해 제어된)이 하이이면, 비교기 입력 사이의 경로는 도전한다.
도21은 도8의 픽셀 실시 예의 리셋 회로 구현을 보여준다. 여기에서 NMOS 트랜지스터는 리셋 스위치로서 작용한다. PixEvt는 샘플링된 비교기 출력이다. PixEvt가 하이 전압 레벨이면, 스위치 S1은 도전하고, 반면 S2는 도전하지 않는다. 이와 같이 PixReset 상의 전압은 이 경우에 GlobalReset의 전압을 따를 것이다. 제어기가 GlobalReset을 하이 전압 레벨로 세팅하면, 리셋 NMOS 트랜지스터는 도전하고 비교기는 리셋된다.
PixEvt가 로우이면, S1은 도전하지 않고, S2는 도전한다. 이와 같이 PixReset이 접지되고, 리셋 트랜지스터는 도전하지 않는다.
도22는 리셋 회로 구현을 보여준다. 이 회로는 PMOS 리셋 트랜지스터를 이용한다. 전압 레벨 PixEvt가 하이이면, NM1은 도전한다. 제어기가 GlobalReset을 하이 전압 레벨로 세팅하면, NM2는 또한 도전하고, nPixReset 상의 전압이 접지까지 당겨질 것이고, 이와 같이 PMOS 리셋 트랜지스터는 도전한다. 제어기가 GlobalReset을 로우 전압 레벨로 세팅하면 nPixReset과 접지 사이에 더 이상 전류 경로는 없다. 그 다음 PM1에서 바이어스 전류(PM1의 게이트 상의 바이어스 전압에 의해 제어된)는 천천히 nPixReset을 파워 써플라이(power supply)까지 당긴다. PixEvt가 로우 전압 레벨이면, PM1에서 바이어스 전류는 nPixReset를 상기 파워 써플라이에 유지할 것이고, 이와 같이 리셋 트랜지스터는 도전하지 않는다.
도23은 로직 기능을 실제 리셋 스위치에 통합한 리셋 회로를 보여준다. 이것은 더 콤팩트한 구현을 허용한다. PixEvt가 하이 전압 레벨이고, GlobalReset(제어기에 의해 제어된)가 하이이면, 비교기 입력과 출력 사이의 경로는 도전한다.
도24는 도10에 보여진 픽셀 회로와 양립 가능한 리셋 회로 구현의 또 다른 구현을 보여준다.
여기에서, RowSelect와 ColAck(ColAck는 도10에서 칼럼 로직 회로로부터 픽셀까지 신호이다) 둘 다 하이일 때, 노드 nPixReset이 접지로 당겨지고, 이 로우 전압 레벨이 (명시적 또는 기생) 커패시터 CR 상에 세이브(save)되고, 이와 같이 비교기의 입력과 출력을 접속하는 스위치가 도전한다. 전체 어레이에서 판독이 완료된 후, 이벤트를 발생한 모든 픽셀들은 접지에서 nPixReset을 가지고, 이와 같이 리셋된다. 그 다음 제어기는 신호 ResetPixReset을 로우 전압 레벨로 세팅하고 MP1은 도전하여, nPixReset를 파워 써플라이까지 당긴다. 리셋 국면 동안 ResetPixReset의 레벨을 제어함으로써, PixReset의 오름 경사(rising slope)가 제어될 수 있다.
도24에 보여진 실시 예에서, 상기 PixReset 신호에 대한 래치는 커패시터를 이용하여 구현된다(노드는 내내 구동되는 것은 아니다). 대안적으로, 두 개의 크로스-결합된 인버터들이, 도25에 보여진 바와 같이, 래치로서 사용될 수 있다.
바람직한 실시 예에서, 픽셀은, 높은 동적 범위(dynamic range) 및 감도(sensitivity)를 시간 차이(temporal difference) 대신 시간 콘트라스트(temporal contrast)까지 허용하기 위하여 로그 프런트-엔드(logarithmic front-end)를 사용한다. 네거티브 피드백 회로(negative feedback circuit)가 채용되면, 조명 변화들에 대한 빠른 응답이 얻어질 수 있다.
도26은 피드백을 가진 베이직 로그 포토리셉터(basic logarithmic photoreceptor) PR를 보여준다. 이것은 포토센서로서 포토다이오드 PD를 이용한다. 포토리셉터 회로 PRC는 반전 증폭기와, 반전 증폭기의 입력과 출력 사이에 접속된 로그 전류-전압 관계를 가진 회로 요소 M1을 가진다. 반전 증폭기는 포토다이오드에 걸친 전압이 거의 일정하게 유지되는 것을 보장한다.
도27은 포토리셉터 PR의 바람직한 실시 예를 보여준다. NMOS 트랜지스터가 피드백 요소로서 이용되고, 공통 소스 증폭기(common source amplifier)가 반전 증폭기로서 이용된다. 로그 포토리셉터와 커페시터 사이에, 소스-팔로워가 픽셀 리셋 동안 전압 과도들(voltage transients)로부터 상기 프런트-엔드를 분리하기 위하여 사용될 수 있다. 소스-팔로워는 또한 입력 신호의 로우-패스 필터링(low-pass filtering)을 부가하는 것을 허용하고, 이와 같이 통합된 잡음(integrated noise)을 감소시킨다.
도28 및 도29는 두 개의 NMOS 피드백 트랜지스터(도28) 또는 PMOS 피드백 트랜지스터(도29)를 이용하는 두 개의 더 많은 옵션들을 보여준다.
도5 또는 12에서 보여진 픽셀 판독 회로 RO에서, 열(column) 요청 라인들 nRxOn 및 nRxOff가 동일 열에 있는 모든 픽셀들 사이에서 공유된다. RowSelect가 활성이고, NM2의 기생 커패시터 상에 하이 전압이 저장되면, 데이터 판독 회로에 ON-이벤트 신호를 보내도록 nRxOn이 로우로 당겨진다. 로우 전압이 NM2에 저장되면, NM2는 도전하지 않고, 이와 같이 nRxOn이 하이로 유지된다.
도8 및 10에 보여진 픽셀 회로들에 대해, 판독 회로 RO의 열 요청 라인 nRx는 동일 열에 있는 모든 픽셀들 사이에서 공유된다. RowSelect가 활성이고, NM1의 기생 커패시터 상에 하이 전압이 저장되면, 데이터 판독 회로에 이벤트 신호를 보내도록 nRx이 로우로 당겨진다. 로우 전압이 NM1에 저장되면, NM1는 도전하지 않고, 이와 같이 nRx가 하이로 유지된다.
제어기(60)는 픽셀들에 대한 제어 신호들의 필요한 파형들(waveforms)을 발생시키고, 비교기들의 입력에서 전압 Vb를 제어하고, 칼럼 로직 회로들를 제어하기 위해 필요한 파형들을 발생시킨다. 제어기(60)는 또한 많은 경우들에서, 외부 타이밍 기준에 이들 파형들을 동기화한다.
제어기(60)는 픽셀 회로로서 동일한 센서 집적 회로(IC) 상에, 또는 예를 들어 마이크로컨트롤러나 필드 프로그래머블 게이트 어레이(FPGA)를 이용하는 별개의 IC에 통합된다. 제어기는 유한 상태 머신(finite state machine)에 의하여 또는 마이크로컨트롤러 코어(microcontroller core)를 이용하여 구현될 수 있다.
제어기(60)의 일부는 행 선택 회로이다. 행 선택 회로는 RowSelect 신호들의 세트에 의해 하나의 행에 있는 각 픽셀에서 OUT을 선택하고 인에이블 한다. 행 선택 회로는 클럭 입력을 가지고, 이것은 하나의 행으로부터 그 다음 행으로 움직이는 것을 허용한다. 행 선택 회로의 출력은 RowSelect 신호들의 세트이고, 픽셀들의 각 행에 대해 하나이다. 행을 선택하는 것은 그 행에 대한 RowSelect 신호가 활성이고(하이 전압 레벨), 반면 모든 다른 행들에 대해 RowSelect 신호들이 비활성(로우 전압 레벨)이라는 것을 의미한다. 활성 RowSelect 신호는 이들 픽셀들을 인에이블 하고, 여기에서 열에 있는 모든 픽셀들 중에 공유된 신호 라인의 상태를 변경함으로써 열 요청을 발생시키기 위해, '하이' 비교기 출력이 샘플링 된다.
행 선택 회로는 현재 선택된 행의 어드레스를 인코딩하고 데이터 판독 회로에 이 어드레스를 출력하는 회로를 포함한다.
행 선택 회로는 스캐닝 중 행들을 스킵(skip)하는 방식으로 구성될 가능성을 포함할 수 있다. 이 특징은 소위 관심 영역(region-of-interest)(ROI) 판독을 구현하기 위해 사용될 수 있다.
제어기(60)는 유한 상태 머신과 같은 소프트웨어나 하드웨어를 이용하여 구현되고, 이것은 우선 Vb(제1 비교기 입력)을 제1 문턱 전압(Von)으로 세팅하고, 그 다음 짧은 지연(delay) 후 신호 OnSel을 로직 하이(logic high)로 세팅하여 반전된 비교기 입력을 ON 노드에 전기적으로 접속한다. 그 다음 또 다른 지연 후, 제어기(하드웨어 또는 소프트웨어)는 OnSel을 로직 로우(logic low)로 세팅하여 반전된 비교기 출력을 ON 노드로부터 접속을 끊는다. 그 다음 이것은 Vb를 제2 문턱 전압(Voff)로 세팅한다. 작은 일시 정지 후 상기 소프트웨어는 신호 OffSel을 로직 하이로 세팅하여 비교기 출력을 OFF 노드에 전기적으로 접속한다. 다시 짧은 지연 후 이것은 OffSel을 로직 로우로 세팅하여 비교기 출력을 OFF 노드로부터 접속을 끊는다. 그 다음 이것은 Vb를 리셋 전압 Vreset으로 세팅한다. 어떤 지연 후, 이것은 신호 GlobalReset을 로직 하이로 세팅하여 커패시터의 제2 단자를 상기 리셋 레벨에 전기적으로 접속한다. 또 다른 지연 후 상기 소프트웨어는 GlobalReset을 로직 로우로 세팅하여 커패시터의 제2 단자를 상기 리셋 레벨로부터 접속을 끊는다.
그 다음 제어기는 제1 RowSelect 라인을 로직 하이로 세팅하여 제1 행에 있는 픽셀들의 기억된 비교기 출력들을 판독 회로에 접속하고, 판독 회로에 신호를 보내어 이 제1 행으로부터 이벤트들의 전송을 시작한다. 판독 회로가 완료될 때, 제어기는 제1 RowSelect 라인을 로직 로우로 세팅하고, 제2 RowSelect 라인을 로직 하이로 세팅한다.
모든 행들은 소진될 때까지 처리된다. 즉, 제어기는 모든 행들에 대해 기억된 비교기 출력들을 판독한다.
제어기가 모든 기억된 비교기 출력들의 판독을 완료할 때, 이것은, 짧은 지연 후, 다시 Vb를 제1 문턱 전압으로 세팅함으로써 상기 시퀀스를 재개한다. 이 프로세스는 DVS에 의한 데이터 취득의 지속 기간 동안 반복된다.
대안적으로, 이 시퀀스를 직접 재개하는 대신, 제어기는 외부 타이밍 기준 신호를 기다릴 수 있다. 이 외부 타이밍 기준 신호는 상기 프로세서로부터 올 수 있다.
판독 회로들이 이하에서 기술된다.
가장 기본적인 형태에서, 판독 회로는 어레이(210)에 있는 모든 픽셀들(100)에 대해 비교기 출력들을 판독하고, 터너리(ternary)(증가, 감소, 또는 불변) 이미지를 각 프레임에 한번 수신기에 보낸다.
도30은 릭셀 어레이(210)에 대한 판독 회로를 보여준다.
전체 픽셀 어레이(210)에 대해 비교기 출력들을 판독하기 위해, 어레이(210)는 한 행씩 스캐닝된다. 이것은 행 선택 회로(40)(제어기(60)의 부분)가 픽셀들 중 하나의 선택하는 것을 의미하고, 이 픽셀들의 비교기 출력들(또는 픽셀 실시 예에 따라, 비교기들의 기억된 출력들)이 판독 회로(42)의 대응하는 칼럼 로직 회로(44)로 가는 열 라인들(column lines)에 접속되는 것을 의미한다. 칼럼 로직 회로(44)는 대응하는 픽셀들에서 변화가 있었는지를 결정하고, 그 다음 각각의 칼럼 로직 회로(44) 출력들이 칼럼 스캐너 회로(48)로 스캐닝된다. 이 칼럼 스캐너 회로(48)는 연속하여 칼럼 로직 회로 출력들을 프로세서(46)로 가는 출력 데이터 라인들에 접속한다.
이벤트 기반(event-based) 판독이 다음에 기술된다.
프로세서(46)에서 더 효율적인 판독과 처리를 허용하기 위하여, 데이터 판독 회로는 데이터를 더 효율적인 방법으로 인코딩할 수 있다. 이와 같은 종류의 픽셀 회로에서, 데이터는 희박할(sparse) 것으로 기대되는데, 이것은 이벤트-프레임 당 픽셀들의 작은 비율 만이 변화를 기록한다는 것을 의미한다.
희박한 디지털 신호들은 쉽게 더 압축될 수 있다. 다차원 디지털 데이터를 압축하는 일반적인 방법은 이 데이터에 있는 디지털 신호들의 좌표들/어드레스들을 인코딩하는 것이다. 디지털 이벤트들의 이와 같은 인코딩은 또한 이벤트-기반 판독으로 알려져 있다. 이벤트-기반 비전 센서들에서 일반적인 인코딩 방식은 디지털 신호들을, 어레이에 있는 픽셀의 행과 열 좌표들과 타임 스탬프(time stamp)의 튜플들(tuples)로서 인코딩하는 것으로, 디지털 이벤트의 발생 장소와 시간을 인코딩하는 것으로 이어진다. 이것은, 하나의 실시 예에서, 광 세기 변화가 검출된(이벤트가 발생한) 픽셀들의 어드레스들만이 전송된다는 것을 의미한다.
도31은 이벤트가 발생한 픽셀들의 어드레스들로부터 상기 판독을 허용하는 판독 회로를 보여준다. 이를 위해, 행 순서로 연달아, 대응하는 행의 주소가 출력되고, 또한 칼럼 로직 회로에 의해 이벤트가 검출된 모든 열들의 주소들도 출력된다.
이 구현은 시프트 레지스터(shift register)(70)를 채용한다. 픽셀들의 각 열은 하나의 대응하는 시프트 레지스터 단(stage)(72-1, 72-2, 72-3)을 가진다.
각 시프트 레지스터 단(72-1, 72-2, 72-3)은 바이패스(bypass)될 수 있다. 이 바이패스는 각각의 칼럼 로직 회로(44-1, 44-2, 44-3)의 EventDetect 출력에 의해 제어된다. EventDetect 출력이 로우이면, 대응하는 시프트 레지스터 단(72-1, 72-2, 72-3)이 바이패스된다. EventDetect 출력이 하이이면, 시프트 레지스터 단(72-1, 72-2, 72-3)은 바이패스되지 않는다.
제어기(60)는 startPulse를 하이로 세팅하고 클럭(clock)을 펄싱함으로써 판독을 시작한다. 이것은 제1 단(72-1)의 입력 멀티플렉서(74-1)에서 수신된다. 이 입력 멀티플렉서는 d 입력에서 D-래치(78-1)에 제공한다. D-래치(78-1) 출력 Q는 출력 멀티플렉서(76-1)에 제공된다. 클럭 입력은 D-래치(78-1)의 클럭 입력에서 수신된다.
그 다음 제어기는 startPulse를 다시 로우로 세팅한다. 바이패스 되지 않은(NOT)(즉, 대응하는 EventDetect가 하이인) 제1 시프트 레지스터 단은 그의 출력에 하이 전압 레벨을 저장할 것이다. 이것은 대응하는 칼럼 로직 회로의 Adress + EventPolarity를 통신 버스(communication bus)에 접속한다. 이제 수신기는 이 어드레스를 판독한다. 클럭의 다음 펄스에서, 하이 레벨이 다음 시프트 레지스터 단(72)으로 이동하고, 이것은 바이패스 되지 않고, 대응하는 Adress + EventPolarity가 통신 버스에 접속된다. 이것은 하이 레벨이 바이패스 되지 않는 마지막 시프트 레지스터 단(72)까지 이동할 때까지 계속된다. 이 단의 출력은 라인(80)을 이용하여 판독이 이 열에 대해 완료되었다는 것을 제어기(60)에 알린다. 그 다음 제어기(60)는 다음 열에 대해 RowSelect 신호를 활성화하고, 열 어드레스 인코더(40)를 통신 버스에 접속하고 시프트 레지스터를 다시 시작한다.
칼럼 로직 회로들이 다음에 기술된다.
도32를 참조하여, 픽셀 회로 실시 예에 좌우되는, 픽셀 출력들 nRxOn 및 nRxOff(도5 또는7 또는 12 참조) 또는 그냥 nRx(도10 참조)에 대해, 칼럼 로직 회로(44)는, 픽셀 출력의 상태(논리 로우 또는 논리 하이)가 증가 또는 감소를 나타내는 값에 대응하는지를 체크함으로써, 대응하는 픽셀에서 광 세기가 불변인지, 증가했는지 또는 감소했는지를 결정한다. 칼럼 로직 회로(44)가 증가 또는 감소를 검출하면 데이터 판독 회로에 통지한다.
칼럼 로직 회로의 출력들은 이벤트가 검출되었을 때 활성인 신호(EventDetect), 이벤트의 극성에 대응하는 신호 및 대응하는 열의 열 어드레스를 인코딩하는 수이다. (하이 EventPolarity는 광 세기의 증가를 의미한다). 열 어드레스는 각 열에 대해 그냥 고정된 수이기 때문에, 이 구현은 도면들에서 도시되지 않는다.
칼럼 로직 회로 구현들의 부분은 각 요청 라인에 대해 바이어스 트랜지스터들(도32에서 92, 94)이다. 이들 바이어스 트랜지스터들은, 어떤 픽셀도 그들에 당겨지지 않는 한, 요청 라인들(nRxOn 및 nRxOff)을 로직 하이 레벨에 유지한다.
이벤트 발생은, 두 요청 라인들(nRxOn 또는 nRxOff) 중 하나가 로우 전압에 있을 때 시그널링된다. 칼럼 로직 회로는, 제어기(60)로부터의 래치 클럭 신호에 의해 주어진 시간에, 플립-플롭(96)에 두 요청 라인들의 NAND, 및 플립-플롭(98)에 nRxOff의 상태를 저장한다.
도8의 픽셀 회로에 대해 칼럼 로직 회로 구현이 도33에 보여진다.
여기에서, 요청 라인 nRx가 로우이고 Von이 픽셀 비교기에 인가되었을 때, 또는 이 요청 라인이 로우이고 Voff가 픽셀 비교기에 인가되었을 때, 이벤트가 검출된다. 이 요청 라인의 반전된 상태가 제어기의 명령에서 플립-플롭에 저장된다. EventDetect는 플립-플롭 출력들의 로직 OR이다.
도10의 픽셀 회로에 대해 칼럼 로직 회로 구현이 도34에 보여진다.
출력 신호 EventDetect 및 EventPolarity에 더하여, 도10의 픽셀 실시 예에 대한 칼럼 로직 회로는 픽셀로 가고, RowSelect 신호와 함께 이벤트의 검출 후 픽셀을 리셋하는 신호를 발생시켜야 한다. 이 제안된 구현에서 ColAck 신호가 상기 EventDetect에 등가이다.
요청 라인 nRx가 하이이고 Von이 픽셀 비교기에 인가되었을 때, 또는 이 요청 라인이 로우이고 Voff가 픽셀 비교기에 인가되었을 때, 이벤트가 검출된다.
도10의 픽셀 회로 실시 예는 픽셀에 메모리 유닛을 포함하지 않으므로, 칼럼 로직 회로가 메모리 유닛을 포함한다.
도13에서 보여진 회로의 픽셀에 대한 칼럼 로직 회로 구현이 도35에 보여진다.
여기에서 칼럼 로직 회로는 비교기 A1을 포함한다. 픽셀은 Vdiff를 나타내는 신호를 출력하고, 이벤트들을 검출하기 위한 비교는 칼럼 로직 회로(44)에서 이루어진다.
픽셀 리셋이 비교기/증폭기 Comp1을 이용하여 행해진다. 픽셀이 리셋되어야 할 때, 대응하는 열에서 EventDetect 신호는 하이이다. 제어기(60)는 Vb를 Vreset으로 세팅하고, DoReset을 하이로 세팅하여, ColAck를 하이로 되게 한다. 그 다음, RowSelect_m이 하이인 행에서, 전압 Vdiff는 Vcomp에 소트되는데, 이는 대응하는 R1에 있는 두 트랜지스터들이 도전하기 때문이다. 그 다음, 증폭기 Comp1(A1) 및 소스-팔로워에 의해 형성된 피드백 회로가, Vdiff가 Vsf를 Vreset과 같게 하는 전압에 자리 잡는 것을 보장할 것이다.
도36은 도13에 보여진 픽셀 회로와 도35의 칼럼 로직 회로 구현에 대한 신호 타임 라인들을 보여준다.
도14의 픽셀 회로에 대한 칼럼 로직 회로 구현이 도37에 보여진다.
상기 칼럼 로직 회로는 두 개의 비교기들 A1-1 및 A1-2를 포함한다. 이 두 개의 비교기들은 한번에 Vout을 두 문턱치들에 비교하는 것을 허용한다. 제어기(60)에 의해 제어된 신호 Latch들에서, 비교기 출력들이 플립-플롭들(112, 114)에 저장된다. 제어기(60)로부터의 신호 DoReset과 함께 비교기 출력들의 로직 OR가, 픽셀이 신호 ColAck에 의해 리셋될지 여부를 결정한다.

Claims (20)

  1. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 픽셀들의 어레이를 포함하고, 상기 픽셀들의 각각은:
    들어오는 광을 검출하는 포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로;
    메모리 커패시터로서, 상기 커패시터의 제1 플레이트는 상기 포토리셉터 신호로부터의 전하를 가지고, 상기 커패시터의 제2 플레이트는 비교기 노드에 접속되고, 비교기 노드의 전압은 포토리셉터 신호에서의 변화들에 따라 변동하는, 상기 메모리 커패시터; 및
    하나 이상의 문턱치들에 대해 상기 포토리셉터 신호에서의 변화들을 평가하기 위해 상기 비교기 노드의 전압들을 하나 이상의 기준 전압들에 비교하는 하나 이상의 비교기들을 포함하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  2. 제1항에 있어서, 상기 포토리셉터 회로는 상기 포토센서와 상기 메모리 커패시터 사이에 있는, 상기 센서.
  3. 제2항에 있어서, 상기 포토리셉터 회로는 상기 포토센서로부터 전류에 로그 응답을 제공하는, 상기 센서.
  4. 제1항에 있어서, 상기 커패시터의 제2 플레이트는 상기 비교기에 직접 접속되는, 상기 센서.
  5. 제1항에 있어서, 상기 리셋 회로는 상기 비교기 노드의 전압을 리셋하는, 상기 센서.
  6. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 픽셀들의 어레이를 포함하고, 상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양을 나타내는 포토리셉터 신호를 발생시키는 포토리셉터 회로;
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터;
    하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 비교기 노드의 전압들을 하나 이상의 기준 전압들에 비교하는 단 하나의 비교기를 포함하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  7. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 픽셀들의 어레이를 포함하고, 상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로;
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터;
    하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 메모리 커패시터로부터의 전압들을 하나 이상의 기준 전압들에 비교하는 비교기를 포함하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  8. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 픽셀들의 어레이를 포함하고, 상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로;
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터; 및
    각각의 온-문턱치 및 오프-문턱치에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 메모리 커패시터의 전압들을 두 기준 전압들에 계속하여 비교하는 하나 이상의 비교기를 포함하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  9. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 픽셀들의 어레이를 포함하고, 상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로;
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터;
    하나 이상의 문턱치들에 대해 상기 포토리셉터 신호들에서의 변화들을 평가하기 위해 상기 메모리 커패시터로부터의 전압들을 비교하는 하나 이상의 비교기들; 및
    상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  10. 제9항에 있어서, 상기 메모리 구조는 스위치 및 기생 커패시턴스인, 상기 센서.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 포토센서를 상기 메모리 커패시터에 접속하기 위한 스위치를 더 포함하는, 상기 센서.
  12. 삭제
  13. 삭제
  14. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 포토센서는 포토 다이오드, 포토 트랜지스터, 또는 포토액티브 영역을 포함하는, 상기 센서.
  15. 센서에 있어서, 상기 센서는 제어기, 상기 제어기에 의해 제어되는 픽셀들의 어레이 및 하나 이상의 비교기들을 포함하고,
    상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로,
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터, 및
    상기 포토센서를 상기 메모리 커패시터에 접속하는 셔터 신호에 의해 제어되는 스위치를 포함하고,
    상기 하나 이상의 비교기들은, 상기 포토리셉터 신호들에서의 변화들이 하나 이상의 문턱치들을 통과하는지를 결정하기 위해 상기 메모리 커패시터의 전압들을 하나 이상의 기준 전압들에 비교하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  16. 제15항에 있어서, 상기 하나 이상의 비교기들은 상기 픽셀들의 어레이의 주변에 있는 회로들에 위치되는, 상기 센서.
  17. 제15항에 있어서, 상기 하나 이상의 비교기들은 상기 픽셀들의 열들에 할당되는, 상기 센서.
  18. 센서에 있어서, 상기 센서는 제어기, 상기 제어기에 의해 제어되는 픽셀들의 어레이 및 하나 이상의 비교기들을 포함하고,
    상기 픽셀들의 각각은:
    포토센서, 상기 포토센서에 의해 수신된 광의 양의 함수인 포토리셉터 신호를 발생시키는 포토리셉터 회로, 및
    상기 포토리셉터 신호로부터의 전하를 가지는 메모리 커패시터를 포함하고, 및
    상기 하나 이상의 비교기들은 판독회로에서, 상기 포토리셉터 신호들에서의 변화들이 하나 이상의 문턱치들을 통과하는지를 결정하기 위해 상기 픽셀들의 메모리 커패시터들의 전압들을 기준 전압들에 비교하고, 및
    상기 센서는 상기 하나 이상의 비교기들의 출력을 저장하는 하나 이상의 메모리 구조들을 포함하고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  19. 센서에 있어서, 상기 센서는 제어기 및 상기 제어기에 의해 제어되는 하나 이상의 픽셀들을 포함하고,
    상기 하나 이상의 픽셀들의 각각은:
    포토다이오드에 입사하는 광을 전류로 변환할 수 있는 포토다이오드로서, 상기 전류의 진폭은 상기 광의 세기에 비례하는, 상기 포토다이오드;
    포토리셉터 회로가 상기 포토다이오드로부터의 상기 전류를 수신할 수 있도록 상기 포토다이오드에 접속된 포토리셉터 회로로서, 상기 포토리셉터 회로는 상기 포토다이오드로부터 수신하는 상기 전류를 전압으로 변환하도록 및 그 전압을 상기 포토리셉터 회로의 출력으로서 출력하도록 구성되는, 상기 포토리셉터 회로; 및
    메모리 커패시터;
    제1 및 제2 입력을 가지는 적어도 하나의 비교기로서, 상기 제1 입력은 문턱 전압으로 세팅될 수 있고, 상기 커패시터는, 상기 커패시터가 상기 포토리셉터 회로의 출력 및 상기 비교기의 제2 입력 사이에 있도록 상기 제2 입력에 전기적으로 접속되는, 상기 적어도 하나의 비교기;
    상기 비교기에 의해 출력된 값이 메모리에 할당되고 저장될 수 있도록 비교기의 출력에 전기적으로 접속된 적어도 하나의 메모리 구조들; 및
    상기 비교기의 제2 입력에서의 상기 전압을 미리 규정된 기준 전압으로 세팅하도록 선택적으로 동작할 수 있도록 구성된 리셋 회로 어셈블리를 포함하고, 및
    상기 제어기는, 적어도 하나의 문턱 전압들을 상기 비교기의 제1 입력에 인가하고, 및 상기 적어도 하나의 문턱 전압들이 상기 비교기의 제1 입력에 인가된 후 상기 메모리가 상기 비교기에 의해 출력된 하나 이상의 값들을 저장하도록 개시하고, 및 상기 메모리가 상기 비교기에 의해 출력된 상기 값들을 저장한 후 상기 리셋 회로가 상기 비교기의 제2 입력에서 상기 전압을 미리 규정된 기준 전압으로 세팅하도록 개시하도록 구성되고, 및
    상기 센서는 상기 제어기로부터의 글로벌 리셋 신호에 응답하고 및 상기 메모리 구조들의 컨텐트에 의존하여 상기 메모리 커패시터를 리셋하기 위한 리셋 회로를 더 포함하고,
    상기 메모리 구조들이 광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서.
  20. 센서의 동작 방법에 있어서, 상기 방법은:
    어레이의 픽셀들의 포토센서들이 들어오는 광을 검출하는 단계;
    상기 포토센서들에 의해 수신된 광의 양의 함수인 포토리셉터 신호들을 발생시키는 단계;
    메모리 커패시터들을 이용하여 상기 포토센서들에 의해 이전에 검출된 광에 대응하는 전하들을 저장하는 단계로서, 상기 커패시터들의 제1 플레이트들은 상기 포토리셉터 신호들로부터 전하들을 가지고, 상기 커패시터들의 제2 플레이트들은 비교기 노드들에 접속되고, 비교기 노드들의 전압들은 상기 포토리셉터 신호들에서의 변화들에 따라 변동하는, 상기 전하들을 저장하는 단계;
    하나 이상의 문턱치들에 대해 상기 포토리셉터 신호에서의 변화들을 평가하기 위해, 상기 비교기 노드들의 전압들을 하나 이상의 기준 전압들에 비교하는 단계를 포함하고, 및
    상기 방법은 글로벌 리셋 신호에 응답하고 및 상기 하나 이상의 비교기들의 출력에 의존하여 상기 메모리 커패시터를 리셋하는 단계를 더 포함하고,
    광 세기에 있어서 변화를 나타내고 및 상기 글로벌 리셋 신호가 활성일 때 상기 비교기 노드의 전압이 어떤 알려진 레벨로 리셋되는, 상기 센서의 동작 방법.
KR1020197021627A 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐 KR102541757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237018912A KR20230087615A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CHCH20160001764 2016-12-30
CH17642016 2016-12-30
CHCH20160001765 2016-12-30
CH17652016 2016-12-30
PCT/IB2017/058526 WO2018122798A1 (en) 2016-12-30 2017-12-29 Dynamic vision sensor architecture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018912A Division KR20230087615A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Publications (2)

Publication Number Publication Date
KR20190102021A KR20190102021A (ko) 2019-09-02
KR102541757B1 true KR102541757B1 (ko) 2023-06-13

Family

ID=61094545

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237018912A KR20230087615A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐
KR1020197021627A KR102541757B1 (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐
KR1020227039580A KR20220157514A (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020197021626A KR102467771B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237018912A KR20230087615A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020227039580A KR20220157514A (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020197021626A KR102467771B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어

Country Status (7)

Country Link
US (9) US10715750B2 (ko)
EP (3) EP3869791A1 (ko)
JP (6) JP7074954B2 (ko)
KR (4) KR20230087615A (ko)
CN (3) CN110192387B (ko)
DE (1) DE202017007535U1 (ko)
WO (2) WO2018122800A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
JP2018125599A (ja) * 2017-01-30 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器、及び駆動方法
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
CN112262568B (zh) 2018-03-14 2024-03-29 索尼高级视觉传感股份公司 具有直接存储器控制的基于事件的视觉传感器
US10923520B2 (en) 2018-03-14 2021-02-16 Sony Advanced Visual Sensing Ag Event-based vision sensor manufactured with 3D-IC technology
TWI815841B (zh) * 2018-03-15 2023-09-21 日商尼康股份有限公司 控制裝置、控制方法以及程式
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
US11368645B2 (en) * 2018-06-27 2022-06-21 Prophesee Sa Image sensor with a plurality of super-pixels
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
CN109842767B (zh) * 2019-01-09 2020-07-14 上海芯仑光电科技有限公司 一种防闪光电路组件及图像传感器
US11526209B2 (en) 2019-01-21 2022-12-13 Sony Advanced Visual Sensing Ag Transparent smartphone
CN109842768B (zh) * 2019-01-29 2020-05-15 上海芯仑光电科技有限公司 一种像素采集电路及图像传感器
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP2020136811A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR20200115881A (ko) 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
TWI831962B (zh) * 2019-04-26 2024-02-11 日商索尼半導體解決方案公司 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
US20220224853A1 (en) 2019-05-10 2022-07-14 Sony Advanced Visual Sensing Ag NMOS Comparator for Image Sensor Pixel
EP3967028B1 (en) 2019-05-10 2023-11-01 Sony Advanced Visual Sensing AG Event-based vision sensor using on/off event and grayscale detection ramps
WO2020229981A1 (en) 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN114026844A (zh) 2019-07-01 2022-02-08 索尼高级视觉传感股份公司 基于事件的视觉传感器的动态感兴趣区域（roi）
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
JP7101721B2 (ja) * 2019-08-01 2022-07-15 シャープ株式会社 固体撮像素子
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
WO2021044299A1 (en) 2019-09-04 2021-03-11 Sony Advanced Visual Sensing Ag Delay equalization in event-based vision sensors
JP2021048554A (ja) 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
CN112738432B (zh) * 2019-10-28 2022-06-21 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
KR20210077840A (ko) * 2019-12-17 2021-06-28 삼성전자주식회사 다이나믹 비전 센서 시스템
WO2021127809A1 (en) * 2019-12-23 2021-07-01 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20210102511A (ko) * 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
WO2021242941A1 (en) 2020-05-28 2021-12-02 Apple Inc. Sensor-based user detection for electronic devices
WO2022009720A1 (ja) * 2020-07-09 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、撮像方法および電子機器
ES2947688T3 (es) 2020-08-14 2023-08-16 Alpsentek Gmbh Sensor de imágenes con circuito de píxeles configurable y método
WO2022047651A1 (zh) * 2020-09-02 2022-03-10 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
WO2022093123A1 (en) * 2020-10-29 2022-05-05 Nanyang Technological University A computer vision sensor for efficient real time object detection under varying lighting conditions
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076943A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
WO2022143462A1 (zh) * 2020-12-30 2022-07-07 上海集成电路研发中心有限公司 图像信号检测电路、控制方法以及运动检测方法
KR102445008B1 (ko) 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社ＳｅｎｓＡＩ 固体撮像装置、及び固体撮像装置の駆動方法
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113365004B (zh) * 2021-06-07 2022-03-29 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
FR3125666A1 (fr) * 2021-07-26 2023-01-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Architecture de lecture à base de drapeau pour un réseau matriciel de pixels événementiels
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels
KR20230018044A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN117223293A (zh) * 2022-02-10 2023-12-12 华为技术有限公司 一种高速、低功耗像素偏置电路
CN114422725B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像输出方法、图像传感器及其应用
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line
CN114581490B (zh) * 2022-04-29 2022-09-20 北京大学 一种场景设置方法、装置、控制设备及可读存储介质
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
US11848173B1 (en) * 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH176516A (de) 1933-10-01 1935-04-15 Enderlin Charles Vorrichtung an Fahrrädern zur Ermöglichung der Unterstützung des Fussantriebes durch Handantrieb.
CH176416A (de) 1933-10-23 1935-04-15 Fa Fr Speidel Karabinerhaken, insbesondere für Uhrarmbänder.
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
DE69218755T2 (de) 1992-01-24 1997-07-10 Rockwell International Corp Ausleseverstärker für starrende Infrarotbildebenenanlage
US5488415A (en) 1993-07-09 1996-01-30 Olympus Optical Co., Ltd. Solid-state image pickup device having a photoelectric conversion detection cell with high sensitivity
CA2242622A1 (en) 1997-07-10 1999-01-10 Universite Laval Integrated motion vision sensor
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
DE10125307A1 (de) 2000-10-07 2002-08-01 Silicon Vision Ag Optischer Sensor
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
DE10301598A1 (de) 2002-09-13 2004-03-25 Conti Temic Microelectronic Gmbh Photodetektor-Anordnung und Verfahren zur Störlichtkompensation
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
EP1657910A1 (en) 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US7821558B2 (en) * 2005-11-15 2010-10-26 Stmicroelectronics S.A. Image sensor with circuitry for detecting each pixel receiving a given light intensity and providing addresses thereof
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
WO2007085942A2 (en) 2006-01-25 2007-08-02 Melexis Nv Image sensor with a photodiode readout circuit
US20070222879A1 (en) * 2006-03-24 2007-09-27 Intel Corporation Sub-ranging pixel sample and hold
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8026960B2 (en) * 2008-04-29 2011-09-27 Xerox Corporation Image sensor and associated readout system
WO2010032842A1 (ja) * 2008-09-19 2010-03-25 国立大学法人静岡大学 情報取得装置及び光通信システム
US8436288B2 (en) * 2009-04-24 2013-05-07 Quantum Semiconductor Llc Image sensors with photo-current mode and solar cell operation
WO2012093387A2 (en) * 2011-01-09 2012-07-12 Emza Visual Sense Ltd. Pixel design with temporal analysis capabilities for scene interpretation
US8890052B2 (en) * 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
US9521338B2 (en) * 2011-11-08 2016-12-13 Rambus Inc. Image sensor sampled at non-uniform intervals
WO2013092666A1 (en) 2011-12-19 2013-06-27 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP5973758B2 (ja) * 2012-03-22 2016-08-23 オリンパス株式会社 固体撮像装置
WO2013158965A1 (en) * 2012-04-19 2013-10-24 Raytheon Company Repartitioned digital pixel
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
JP6145655B2 (ja) * 2012-12-18 2017-06-14 パナソニックＩｐマネジメント株式会社 半導体光検出器
FR3000347B1 (fr) * 2012-12-21 2016-03-04 Trixell Procede de lecture d'un dispositif d'imagerie
KR102009165B1 (ko) 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
JP5925713B2 (ja) * 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置
CN103259985B (zh) 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
KR102136055B1 (ko) 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102357680B1 (ko) 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US10498977B2 (en) 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
US10652489B2 (en) 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
WO2017174579A1 (en) 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐

Also Published As

Publication number Publication date
EP3869791A1 (en) 2021-08-25
DE202017007535U1 (de) 2022-11-03
KR20230087615A (ko) 2023-06-16
EP3563564B1 (en) 2021-12-15
WO2018122800A1 (en) 2018-07-05
JP2022076485A (ja) 2022-05-19
US11711631B2 (en) 2023-07-25
JP7074955B2 (ja) 2022-05-25
EP3563563B1 (en) 2020-12-16
US10715750B2 (en) 2020-07-14
CN110192387A (zh) 2019-08-30
US11431937B2 (en) 2022-08-30
JP2020505801A (ja) 2020-02-20
US20200221040A1 (en) 2020-07-09
JP2020503752A (ja) 2020-01-30
JP7074954B2 (ja) 2022-05-25
KR20190102021A (ko) 2019-09-02
US20230328406A1 (en) 2023-10-12
CN110192387B (zh) 2022-06-17
US11076114B2 (en) 2021-07-27
JP2022075789A (ja) 2022-05-18
JP2023182811A (ja) 2023-12-26
US20180191972A1 (en) 2018-07-05
JP7442560B2 (ja) 2024-03-04
US20180189959A1 (en) 2018-07-05
US10567679B2 (en) 2020-02-18
US11991466B2 (en) 2024-05-21
US20180191982A1 (en) 2018-07-05
CN110169050A (zh) 2019-08-23
WO2018122798A1 (en) 2018-07-05
US11336859B2 (en) 2022-05-17
EP3563563A1 (en) 2019-11-06
US20200288073A1 (en) 2020-09-10
US20210337151A1 (en) 2021-10-28
JP7374242B2 (ja) 2023-11-06
EP3563564A1 (en) 2019-11-06
CN115037896A (zh) 2022-09-09
JP2024056930A (ja) 2024-04-23
KR20220157514A (ko) 2022-11-29
KR102467771B1 (ko) 2022-11-16
US20200154064A1 (en) 2020-05-14
US10602083B2 (en) 2020-03-24
CN110169050B (zh) 2022-07-26
US20220394205A1 (en) 2022-12-08
KR20190102223A (ko) 2019-09-03

Similar Documents

Publication Publication Date Title
KR102541757B1 (ko) 동적 비전 센서 아키텍쳐
EP3424211A1 (en) An event-based vision sensor
EP3967027B1 (en) Dynamic vision sensor with in-pixel digital change detection
US20220224856A1 (en) Event-Based Vision Sensor Using On/Off Event and Grayscale Detection Ramps
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
US20220224853A1 (en) NMOS Comparator for Image Sensor Pixel
CN217522898U (zh) 一种图像传感器
US20230412936A1 (en) Solid-state imaging element, electronic device, and imaging method
CN114938435A (zh) 一种图像传感器及其使用方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
GRNT Written decision to grant