KR102467771B1 - 이벤트-기반 비전 센서를 위한 데이터 레이트 제어 - Google Patents

이벤트-기반 비전 센서를 위한 데이터 레이트 제어 Download PDF

Info

Publication number
KR102467771B1
KR102467771B1 KR1020197021626A KR20197021626A KR102467771B1 KR 102467771 B1 KR102467771 B1 KR 102467771B1 KR 1020197021626 A KR1020197021626 A KR 1020197021626A KR 20197021626 A KR20197021626 A KR 20197021626A KR 102467771 B1 KR102467771 B1 KR 102467771B1
Authority
KR
South Korea
Prior art keywords
events
event
pixels
detection sensor
change detection
Prior art date
Application number
KR1020197021626A
Other languages
English (en)
Other versions
KR20190102223A (ko
Inventor
라파엘 베흐너
크리스티안 브랜드리
마씨모 잔노니
Original Assignee
소니 어드밴스드 비주얼 센싱 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 어드밴스드 비주얼 센싱 아게 filed Critical 소니 어드밴스드 비주얼 센싱 아게
Priority to KR1020227039580A priority Critical patent/KR102712372B1/ko
Publication of KR20190102223A publication Critical patent/KR20190102223A/ko
Application granted granted Critical
Publication of KR102467771B1 publication Critical patent/KR102467771B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/3741—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J1/46—Electric circuits using a capacitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/341—
    • H04N5/35518—
    • H04N5/37457—
    • H04N5/378—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88—Monitoring involving counting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nonlinear Science (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)
  • Measuring Fluid Pressure (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

동적 비전 센서(DVS) 또는 변화 검출 센서들에서, 칩 또는 센서는 이벤트 레이트를 제어 또는 변경하도록 구성된다. 예를 들어, 이 제어는 원하는 레이트 또는 원하는 한계들 내에 가깝게 이벤트 레이트를 유지하기 위해 이용될 수 있다. ON-이벤트 및/또는 OFF 이벤트 문턱치들을 변경함으로써 센서의 구성을 장면에 적응시키는 것은, 필요한 양의 데이터를 가지지만 필요 이상으로 너무 많은 데이터를 가지지 않는 것을 가능하게 한다. 그래서 전체 시스템이 가능한 한 그 상태에 대하여 많은 정보를 얻도록 한다.

Description

이벤트-기반 비전 센서를 위한 데이터 레이트 제어
본 출원은 2016년 12월 30일 출원된 스위스 임시 특허출원번호 CH20160001764, 및 2016년 12월 30일 출원된 스위스 임시 특허출원번호 CH20160001765에 우선권을 주장하고, 이 출원 모두 전체로서 참조에 의해 여기에 포함된다.
오늘날, 머신 비전(machine vision)은 대부분 기존의 카메라들과 그들의 연관된 프레임-기반이미지 센서들(frame-based image sensors)에 기초한다. 예를 들어 물체 인식과 같은 어떤 머신 비전 작업들은 이들 기존의 프레임 기반 카메라들이 잘 맞는다. 그러나, 다른 작업들, 예를 들면, 추적(tracking)이나 위치 및 움직임 추정과 같은 작업들에는, 기존의 이미지 센서들은 결점들을 가진다.
주요 결점은, 기존의 카메라들이 캡쳐, 통신 및 처리되어야 하는 상당한 양의 중복되거나 불필요한 데이터를 생성한다는 것이다. 이와 같은 높은 데이터 부하(data load)는 시간 해상도(temporal resolution)를 감소시킴으로써 반응 시간을 느리게 하고, 증가된 전력 소비를 초래하고, 및 머신 비전 시스템의 사이즈와 비용을 증가시킨다. 더욱이, 대부분의 이미지 센서들은 제한된 동적 범위(dynamic range), 저조도(low-light) 성능, 모션 블러(motiom blur) 등의 문제를 겪고 있다.
이들 결점들은 데이터가 스틸 이미지들(still images)(프레임들)의 시퀀스로서 캡쳐된다는 사실에 기인한다. 동적 장면들(dynamic scenes)을 스틸 이미지들로서 인코딩하는 것은 아름다은 이미지들과 영화들을 생성하는데는 유용하고, 데이터 처리를 위해서는 최적은 아니나, 이것은 많은 머신 비전 이용들에 대해서는 그다지 중요하지 않다.
기존의 카메라들을 이용하는 기존 컴퓨터 비전 시스템들은 물체 인식을 위해 전형적으로 순차적인 이미지 프레임들 사이의 특징들을 비교한다. 움직이는 시스템의 위치와 방향을 평가하고 주변 세계의 3차원 맵(three dimensional map)을 추론하기 위해, 부분적으로 오버랩핑하지만 서로 다른 시간들에서 및 서로 다른 포즈(poses)들에서 취해진 두 개의 순차적인 이미지들이 비교된다. 두 프레임들 사이에서 일어난 움직임을 추론하기 위해, 특징적인 시각적 랜드마크들(visual landmarks)(핵심 지점들 또는 다른 시각적 특징들)이 두 이미지들을 가로질러 매칭되어야 한다. 두 이미지들에서 서로에게 대응하는 이들 지점들의 쌍들을 찾아내는 것은 "일치 문제(correspondence problem)"를 해결하는 것으로서 알려져 있다.
일치 문제를 해결하는 데는 상당한 양의 처리 능력을 필요로 한다. 랜드마크들을 검출하기 위해, 이미지 각각의 픽셀이 특성적 특징들(코너들, 블로브들(blobs), 에지들 등)을 찾기 위해 검색되어야 한다. 그 다음, 픽셀들 및 그 픽셀들의 주위 이웃이 소위 피쳐 스크립터들(feature scriptors)을 특징지우도록 그룹핑되고(grouped), 그 다음 이것은 프레임들 사이의 상기 특징들을 매칭하고 이에 의해 일치하는 점들의 쌍들을 확립하는데 이용된다. 이것은 컴퓨터 계산 집약적(computationally intensive)이다. 픽셀 세기들을 직접 비교하는 직접적인 접근법들은 훨씬 더 계산 복잡하다.
한편, 소위 동적 비전 센서(DVS; Dynamic Vision Sensor)는 프레임-기반 인코딩의 한계들을 극복하는 센서이다. 인-픽셀 데이터 압축(in-pixel data compression)을 이용함으로써, 데이터 리던던시(redundancy)가 제거되고, 높은 시간 해상도, 낮은 지연속도(latency), 저 전력 소비, 모션 블러가 거의 없는 높은 동적 범위(dynamic range)가 얻어진다. 이와 같이, DVS는, 시스템의 위치가 추정되어야 하고 및 제한된 배터리 용량 때문에 처리 능력이 제한되는, 솔라 또는 배터리에 의해 전력 공급되는 압축 센싱(compressive sensing)이나 모바일 머신 비전 애플리케이션들에 잘 맞는다.
이 DVS는 시각 정보를 국부적으로 전처리 한다(pre-process). 산뜻한 이미지들을 생성하는 대신에, DVS는 컴퓨터 애플리케이션들을 위해 스마트한 데이터를 생성한다. 기존의 이미지 센서들이 영화를 일련의 스틸 이미지들로서 캡쳐하는 반면, DVS는 어떤 장면에서 변화들의 위치를 검출하고 단지 전송한다. 그것은 인-픽셀 데이터 압축을 행하기 때문에, 기존 카메라들보다 훨씬 더 효율적으로 시각 정보를 인코딩한다. 특히, 프레임들을 이미지 데이터로서 인코딩하기 보다는, DVS는 변화를 검출하고 이들 변화들을 변화 이벤트들(change events)로서 인코딩한다. 이것은, 데이터의 처리가 더 적은 자원들, 더 낮은 순 전력을 이용하여 더 빠른 시스템 반응 시간으로 가능하다는 것을 의미한다. 높은 시간 해상도는 연속적으로 시각 특징들을 추적하고, 그에 의해 상기 일치 문제를 극복하는 것을 허용한다. 추가적으로, DVS의 아키텍쳐는 높은 동적 범위 및 홀륭한 저조도 광 성능을 허용한다.
DVS 또는 변화 검출 센서들(change detection sensors)의 일반적인 특성은, 이벤트 레이트(event rate)가 센서 구성뿐만 아니라, 센서가 관측하는 장면에 의존하기 때문에, 출력 데이터 레이트(output data rate)가 가변적이라는 것이다.
센서로부터 판독되는 변화 이벤트들의 가변 양(variable amount)은 센서 및 시스템 레벨에 문지들을 일으킬 수 있다. 특히 프로세서가 실시 간으로 처리할 수 있는 것보다 판독되어야할 이벤트들이 더 많은 경우에 그러하다.
이벤트들이 처리될 수 없다면 이벤트들을 버리리게 되고 이는 데이터 손실을 가져온다. 그래서 시스템은 그의 상태(예를 들어 움직임 및 위치에 관한)에 관한 정보를 잃게 된다. 변화 검출 센서에서 이러한 경우에, 그 결과는, 센서가 예들 들어 픽셀 필드(pixel field)의 일부에서 일어나는 이벤트들을 놓치게 되는 수가 있다.
센서의 구성을 장면에 적응시키는 것은, 전체 시스템이 그 상태에 관한 가능한 많은 정보를 얻도록, 필요한 만큼 많은 그러나 휠씬 더 많지는 않은, 많은 데이터를 가지는 것을 허용한다. 한편, 이벤트들의 수는 센서의 상태에 기초하여 제어될 수 있다. 예를 들면, 전력을 감소시키기 위해, 수면 사이클 동안에는 이벤트들의 수를 감소시키는 것이 바람직할 수 있고, 그 다음 정상 동작 모드 동안에는 이벤트들의 수를 증가시킬 수 있다.
여기에서 제안된 시스템은 이벤트 레이트를 제어 또는 조절하기 위해 칩 또는 센서 구성을 변화시킨다. 예를 들어, 이 제어는 이벤트 레이트를 원하는 레이트에 가깝게 또는 원하는 한계(desired bounds)들 내로 유지하는데 이용될 수 있다.
그럼에도 불구하고, 주어진 타임 슬라이스(time slice) 동안 발생된 이벤트들의 양은 그들을 출력하고 카운팅한 후 명확히 결정될 수 있다. 여기에서, 어떤 실시 예들은 그들을 판독하기 전 계류 중인 이벤트들의 수의 개략적 추정(rough estimate)을 허용하는 이벤트 카운트 추정기(event count estimator)를 이용할 수 있다.
계류중인 이벤트들의 수의 개략적인 추정으로라도, 시스템은 그 데이터에 대처하고 그들을 판독할 수 있는지를 결정할 수 있다. 또는 너무 많은(또는 너무 적은) 이벤트들이 있으면, 시스템은 더 높은 문턱치(thresholds)로 변화 검출을 다시 하고 더 적은 이벤트들을 얻는다(또는 더 낮은 문턱치로 비교를 다시 하고 더 많은 이벤트들을 얻는다).
일반적으로, 하나의 양상에 따르면, 본 발명은 변화 검출 센서를 특징으로 한다. 이 센서는 광을 검출하는 픽셀들을 포함하는 픽셀 어레이(pixel array) 및 이 픽셀들에 의해 수신된 광과 연관된 이벤트들을 검출하는 이벤트 검출기들(event detectors)을 포함한다. 본 발명에 따르면, 이벤트들을 평가하기(assessing the events) 위한 이벤트 레이트 검출기(event rate detector)가 제공된다. 그 다음 제어기가 이 이벤트 레이트 검출기에 기초하여 픽셀들이 이벤트들을 검출하는 방법을 변화시킨다.
하나의 실시 예에서, 상기 이벤트 레이트 검출기는 상기 이벤트 검출기들로부터 이벤트들을 카운팅함으로써 상기 이벤트들을 평가하는 카운터(counter)를 포함한다.
또 다른 실시 예에서, 상기 이벤트 레이트 검출기는 이벤트들을 추정함으로써 상기 이벤트들을 평가하는 이벤트 추정기(event estimator)를 포함한다. 이것은 이벤트들을 기록하는(registering events) 이벤트 검출기들의 수에 기초한 아날로그 신호를 분석함으로써 구현된다.
바람직하게, 상기 센서는 상기 이벤트 검출기들에 의해 인가된 문턱치들을 세팅(setting)하는 문턱치 발생 회로(threshold generation circuit)를 포함한다. 그 다음 상기 제어기는 상기 이벤트 레이트 검출기에 의해 제공된 평가에 응답하여 제공된 문턱치들을 변화시킨다.
바람직하게, 상기 제어기는 상기 픽셀 어레이에서 ON 이벤트들(ON events) 및 OFF 이벤트들(OFF events)에 기초하여 별개로 ON 이벤트들 및 OFF 이벤트들에 대한 문턱치들을 세팅한다.
현 실시 예에서, 상기 픽셀들의 각각은 상기 픽셀이 리셋(reset)되었을 때 수신된 광에 대응하는 전하를 저장하는, 상기 이벤트 검출기들 중 하나의 메모리 커패시터(memory capacitor)를 포함한다. 상기 픽셀들의 각각은 상기 수신된 광에 있어서의 변화들을 상기 이벤트들을 검출하기 위한 하나 이상의 문턱치들에 비교하는, 상기 이벤트 검출기들의 하나 이상의 비교기들(comparators)을 더 포함할 수 있다.
다른 실시 실시 예들에서, 비교기들은 판독 회로(readout circuit)에 위치된다.
일반적으로, 또 다른 양상에 따르면, 본 발명은 변화 검출 센서의 동작 방법을 특징으로 한다. 이 방법은 픽셀 어레이에서 픽셀들에 의해 수신된 광과 연관된 이벤트들을 검출하는 단계, 상기 픽셀 어레이로부터 이벤트들을 평가하는 단계, 및 상기 픽셀 어레이로부터 이벤트들의 평가에 기초하여 픽셀들이 상기 이벤트들을 검출하는 방법을 변화시키는 단계를 포함한다.
부분들의 구성 및 조합들의 다양한 신규한 상세 사항들, 및 다른 이점들의 포함하는 본 발명의 상기 특징들 및 다른 특징들이 이제, 수반되는 도면들을 참조하여 특별히 기술되고 청구항들에서 지적될 것이다. 본 발명을 구체화하는 특별한 방법 및 디바이스는 예시에 의해 보여지는 것이고 본 발명을 제한으로서 보여지는 것이 아니라는 것이 이해될 것이다. 본 발명의 원리들 및 특징들은 본 발명의 범위를 벗어나지 않고 다양한 수많은 실시 예들에 의해 구체화될 수 있다.
수반하는 도면들에서, 참조 문자들은 서로 다른 도들을 통하여 동일한 부분들을 언급한다. 도면들은 반드시 스케일에 따른 것은 아니다; 대신에 본 발명의 원리들을 예시하는 부분이 강조되었다.
도1a는 이벤트 레이트 제어를 포함하는 이벤트 기반 변화 검출 센서의 블록 도식도이다.
도1b는 픽셀 어레이(110)에서 이용될 수 있는 변화 검출 픽셀의 하나의 예를 보여주는 회로 도식도이다.
도2는 주기적으로 리셋되는 이벤트 카운터로서 구현된 에벤트 레이트 검출기(200)의 하나의 실시 예를 보여주는 블록 도식도이다.
도3a 및 3b는 상기 이벤트 레이트 검출기에 기초하여 문턱치 발생 회로를 제어하기 위한 제어기(120)의 동작을 예시하는 플로우 도식도들이다.
도4는 또 다른 실시 예에 따라 이벤트 레이트 추정을 발생하는 이벤트 기반 변화 검출 센서를 보여주는 도식도이다.
도5는 아직 또 다른 실시 예에 따라 이벤트 레이트 추정을 발생하는 이벤트 기반 변화 검출 센서를 보여주는 도식도이다.
도6은 이전의 실시 예들의 전류 ADC(212)의 가능한 구현을 보여주는 회로 도식도이다.
도7은 제어기(120)의 가능한 구현을 보여주는 상태 도식도이다.
도8은 기본 문턱치 발생 회로를 보여주는 블록 도식도이다.
도1은 이벤트 레이트 제어를 가지는이벤트 기반 변화 검출 센서(100)의 블록 도식도이다.
일반적으로, 변화 검출 센서(100)는 본 시스템에 특별히 관련된 5개의 요소들(elements)을 포함한다:
변화 검출 픽셀들의 어레이(110);
이벤트 레이트 검출기(200);
제어기(120);
문턱치 발생 회로(130); 및
판독회로(140).
픽셀 어레이(110)는 기변적인 양의 데이터를 발생시킨다: 변화 이벤트들(change events). 이벤트 레이트 검출기(200)는, 상기 변화 이벤트들을 예를 들어 카운팅 또는 추정함으로써 상기 이벤트들을 주기적으로 평가한다. 그 다음 제어기(12)는 그 다음 단계에서 픽셀 어레이(110)가 원하는 레이트에 더 가까운 변화 이벤트들의 양을 발생시키도록 센서 구성을 적응시킨다.
픽셀 어레이는, "시간 종속 이미지 데이터를 검출하기 위한 포토어레이(Photoarray for Detecting Time-Dependent Image Data"라는 제목으로 Lichtsteiner 등에 의한 미국 특허 출원 번호 US2008/00135731에 개시된 바와 같은 변화 검출 픽셀들의 임의의 어레이일 수 있다. 이것은 참조에 의해 여기에 포함된다; 또는 동적 비전 센서 아키텍쳐(Dynamic Vision Sensor Architecture)라는 제목으로 2017.12.29.자 출원된 미국 특허 출원 번호 15/858,427(이하에서 베르너(Berner) 특허 문헌이라 하고, 이 문헌은 그 전체가 참조에 의해 여기에 포함된다)에 기술된 바와 같은 변화 검출 픽셀들의 임의의 어레이일 수 있다; 또는 회로들 및 시스템들에 관한 2002년 IEEE 국제 심포지움 발표 자료 vol. 2, pp165-168에 실린 J. Kramer의 "이벤트-구동, 비동기 판독을 가진 온/오프 트랜션트 이미저(An on/off transient imager with event-driven, asynchronous read-out)"에 기술된 바와 같은 변화 검출 픽셀들의 임의의 어레이일 수 있고, 또는 대안적으로, 솔리드 스테이트 회로들(Solid State Circuits)의 IEEE Journal 2003년 12월호, vol. 38., no 12., pp2325-2333에 실린 Ruedit 등의 "이미지 콘트라스트 및 방향 추출을 위한 128x128 픽셀 120-dB 동적-범위 비전 센서 칩(A 128x128 pixel 120-dB dynamic-range vision sensor chip for image contrast and orientation extraction"에 기술된 바와 같은 공간 콘트라스트 검출 픽셀들(spatial contrast detection pixels)일 수 있다.
도1b는 하나의 가능한 변화 검출 픽셀(112)의 회로 도식도이다.
2차원 어레이(110)의 이 예시적인 픽셀(112)은 충돌하는 광을 검출 또는 측정하고 광의 세기를 신호로 변환하는 포토다이오드(photodiode(PD))와 같은 포토센서(photosensor)를 포함한다. 여기에서 상기 신호는 전류, Iphoto이다. 픽셀(112)는 또한 이벤트 검출기(114)를 가지는데, 이것은 이벤트가 발생한 포토센서에 의해 검출된 광에 있어서의 충분한 변화가 있었는지를 결정한다. 거기에서 이것은 전류 Iphoto를 모니터링함으로써 수행된다.
더 상세히, 예시적인 이벤트 검출기(114)는 광 세기에 의존하여 포토리셉터신호 Vpr을 생성하는 포토리셉터 회로(photoreceptor circuit) PRC를 포함한다. 그 다음 메모리 커패시터 C1이 지나간 포토리셉터 신호들을 기억한다.
비교기 A1은 현재의 포토리셉터 신호 Vpr과 지나간 포토리셉터 신호와의 차를 문턱치 Vb에 비교한다. 이 문턱치 Vb는 문턱치 발생 회로(130)에 의해 공급된다.
바람직하게, 비교기 A1 또는 비교기들의 쌍은, ON 이벤트 문턱치에 기초하여 ON 이벤트들, 및 OFF 이벤트 문턱치에 기초하여 OFF 이벤트들을 검출한다. ON 이벤트들은 포토센서에 의해 수신된 광에 있어서의 증가를 특징으로 하고, OFF 이벤트들은 포토센서에 의해 수신된 광에 있어서의 감소를 특징으로 한다. 단일 비교기가 이용되면, ON 이벤트 문턱치 및 OFF 이벤트 문턱치가 문턱치 Vb로서 시간에 있어서 순차로 제공된다.
이 비교기 A1는 각 픽셀에 있을 수 있고, 또는 픽셀들의 서브세트(subset)(예를 들면, 열(column)) 사이에서 공유될 수 있다. 하나의 경우에서, 비교기들은 공유되고 판독 회로(140)에 위치된다. 그러한 구성의 서로 다른 예들이 베르너 특허 문헌에 개시되어 있다.
그러나, 바람직한 실시 예에서, 비교기 A1은 상기 픽셀(112)에 통합될 것이고, 각 픽셀은 하나 이상의 전용 비교기들 A1을 가진다.
메모리(50)는 이벤트 또는 이벤트들을 저장한다. 이벤트들은, 제어기(120)로부터의 샘플 신호(sample signal)에 기초하여, 상기 비교기 출력 Vcomp으로부터 취해진다. 메모리는 샘플링 회로(예를 들면, 스위치(switch) 및 기생또는 명시적(parasitic or explicit) 커패시터) 또는 디지털 메모리 회로(래치(latch) 또는 플립-플롭(flip-flop))일 수 있다. 하나의 실시 예에서 메모리는 샘플링 회로이고 각 픽셀은 두 개의 메모리들, 즉 ON 이벤트를 저장하기 위한 것 하나, 그리고 OFF 이벤트를 저장하기 위한 것 하나를 가질 것이다. 메모리는 하나 이상의 라인들 상에 출력 Evt를 공급한다.
조건부 리셋 회로(conditional reset circuit) R1은 기억된 비교기 출력의 상태와 제어기(120)에 의해 인가된 리셋 신호 GlobalReset의 조합에 기초하여 조건부 리섹을 제공한다.
픽셀 회로(112) 및 제어기(120)는 다음과 같이 동작한다.
포토센서 PD에 의해 수신된 광 세기에 있어서의 변화는 포토리셉터 신호 Vpr에 있어서의 변화로 변환될 것이다. 리셋 회로 R1이 도전하지 않을 때, Vpr에서의 변화들은 또한 비교기 A1에 반전 단자 입력(-)에서 전압 Vdiff에서 반영될 것이다. 이것은 메모리 커패시터 C1를 가로지르는 전압이 일정하게 유지되기 때문에 일어난다.
제어기(120)에 의해 선택된 시간들에서, 이벤트 검출기(114)의 비교기 A1은 메모리 커패시터 C1의 제2 단자에서의 전압(Vdiff)을 비교기 A1의 비-반전 단자(+)에 인가된 문턱 전압 Vb(문턱치 발생 회로(130)로부터의)에 비교한다.
제어기(120)는 메모리(50)를 동작시켜 비교기 출력 Vcomp를 저장한다. 메모리(50)는 전형적으로 보여진 바와 같이 픽셀 회로(112)의 부분으로서 구현된다.
그러나, 다른 실시 예들에서, 메모리(50)는 판독 회로(140)(주변 회로, 픽셀 어레이(110)의 각 열 당 하나)의 부분으로서 구현된다.
이 예시된 실시 예에서, 센서의 판독 회로(140)는 상기 어레이(110)에 있는 픽셀들(112)의 각각에 대하여 메모리들(50)을 판독한다. 하나의 예에서, 판독 회로(140)는 변화 이벤트들을 검출한 어레이에서의 픽셀들의 좌표들(coordinates)을 저장한다.
메모리(50)에 유지된 상기 저장된 비교기 출력의 상태가 광 세기에 있어서의 충분한 변화(즉, 이벤트)를 나타내고 AND 제어기(120)로부터의 글로벌 리셋 신호 GlobalReset 신호가 활성이면(active), 조건부 리셋 회로 R1이 도전한다. 여기에서 "AND"는 로직 AND 연산자를 나타낸다. 조건부 리셋 회로 R1가 도전 상태로 되면, 비교기 A1의 반전 입력에서의 전압(Vdiff)가 어떤 알려진 레벨로 리셋된다. 그래서, 현재의 포토리셉터 신호 Vpr을 메모리 커패시터 C1 상에 저장한다.
이벤트 카운팅(event counting)
도2는 이벤트 레이트 검출기(200)의 하나의 실시 예를 보여준다.
여기에서, 이벤트 레이트 검출기(200)는 제어기(120)에 의해 주기적으로 리셋되는 카운터(210)로서 구현된다. 이 카운터는 판독 회로(140)에 의해 판독된 이벤트들에 기초하여 증분된다(incremented). 이벤트 카운트는 제어기(120)에 제공된다. 카운터(210)는 새로운 카운트가 요구될 때 제어기(120)에 의해 차례로 리셋된다.
하나의 예에서, 이벤트 레이트 검출기(200)는 주어진 시간 윈도우(time window) 동안 센서 어레이(110)에 의해 출력된 이벤트들의 수를 카운트한다. 여기에서, 이것은 판독회로가 픽셀 어레이(110)로부터 이벤트를 판독할 때마다 카운터(210)에 Increment 신호를 보내도록 실행된다.
하나의 특별한 예에서, 이벤트 레이트 검출기(200)는 주어진 시간 윈도우 동안 센서 어레이(110)에 의해 출력된 ON 이벤트들과 센서 어레이(110)에 의해 출력된 OFF 이벤트들 모두의 수를 카운트한다. 이것은 바람직하게 카운터(210) 내에 별개의 ON 이벤트 카운터와 OFF 이벤트 카운터를 이용하여 실행된다.
도3a는 하나의 실시 예에 따른 이벤트 레이트 검출기(200)에 기초하여 문턱치 발생 회로(130)를 제어하기 위한 제어기(120)의 동작을 예시하는 플로우 도식도이다.
특별히, 단계 310에서, 이벤트 레이트 검출기(200)의 카운터(210)는, 새로운 카운트가 요구될 때 제어기(120)에 의해 리셋된다.
단계 312에서 제어기(120)는 어떤 규정된 시간 후 이벤트들의 카운트를 판독한다.
그 다음, 단계 314에서, 제어기는 픽셀 어레이(110)에 인가될 이벤트 문턱치에 있어서의 변화를 계산한다. 이 새로운 문턱치는 단계 316에서 문턱치 발생 회로(130)에 보내진다. 그 다음 이 문턱치가, 이벤트들의 다음 세트를 결정하는데 있어서 문턱치 Vb로서 센서 어레이(110)의 이벤트 검출기들(114)에 인가된다.
도3b는 또 다른 실시 예에 따라 이벤트 레이트 검출기(200)를 제어하기 위한 제어기(120)의 동작을 예시하는 플로우 도식도이다.
이 실시 예에서, 제어기(120)는 단계 310에서 카운터를 리셋하기 전 단계 318에서 외부 트리거(external trigger)를 기다린다. 이 실시 예는, 센서가 외부 타이밍 소스(external timing source)에 동기화되어야 하는 상황에서 가장 유용할 것이다.
이벤트 카운트 추정기(event count estimator)
제2 접근법은 이벤트 레이트 추정을 발생시키는 것을 필요로 한다. 이 접근법은 이벤트 레이트 검출기(200) 내에 이벤트 카운트 추정기를 채용한다. 이것은 이벤트들의 수를 결정하기 위하여 어레이로부터 모든 이벤트들을 판독해야 하는 것을 피한다. 대신, 이 접근법은, 이벤트들이 판독되기 전 또는 판독 프로세스의 일부로서, 이벤트들의 수를 개략적으로 추정하는 것을 허용한다.
도4는 또 다른 실시 예에 따라 이벤트 레이트 추정을 발생시키는 이벤트 기반 변화 검출 센서(100)를 보여주는 도식도이다.
더 상세히, 이벤트 검출기(114)는, 입사 광을 검출하기 위한 포토리셉터(116)와 함께, 어레이(110)의 각 픽셀(112)에 위치하고 각 픽셀 회로의 부분이다. 각 픽셀 회로(112)의 전류 소스(current source)(118)는, 이벤트가 이 픽셀에 존재할 때만 인에이블된다(enabled).
특별히, 이벤트 검출기(114)가, ON 이벤트 및/또는 OFF 이벤트와 같은, 포토센서(116)에 의해 수신된 광에서의 변화를 기록하면, 그 다음 이벤트 신호 Evt가 활성화되고, 이것이 픽셀(112)와 연관된 스위치(17)를 닫는다.
어레이(110)의 모든 픽셀들(112) 또는 센서(100)의 어레이의 크기에 걸쳐 분포된 픽셀들의 샘플링의 전류는 더해져서 이벤트 레이트 검출기(200)의 전류 아날로그 대 디지털 변환기(ADC)(212)에 피드된다. 이 ADC(212)는 전류를 취하고 그 전류의 크기를 디지털 표현으로 변환한다. 그 다음 전류들의 합의 이와 같은 디지털 표현은 검출된 이벤트들의 수의 추정으로서 제어기(120)에 제공되고, 알려진 시간 주기에 걸쳐 수행되면, 그것은 이벤트 레이트를 나타낸다.
일반적으로, 전류 소스들(118)은 픽셀들(112) 사이에서 매우 잘 매칭되지는 않을 것이다. 이것은 전류 소스들의 합이 얼마나 많은 픽셀들이 계류 중인 이벤트를 가지고 있는지에 관한 정확한 추정을 허용하지 않을 것이지만, 그것은 대략적 추정을 허용할 것이라는 것을 의미한다.
도5는 또 다른 실시 예에 따라 이벤트 레이트 추정을 발생시키는 변화 검출 센서를 보여주는 도식도이다.
더 상세히, 각 픽셀(112)의 포토센서(116)는 포토리셉터(116)에 의해 검출된 순시적인 광의 양에 반응하고 이를 나타내는 신호를 발생시킨다. 이 정보는 이벤트 검출기(114)에 보내진다.
이와 같이, 이벤트 검출기(114)에서 비교기의 출력은, 포토리셉터(116)에 의해 수신된 광이 그것이 리셋된 마지막 시간에 대하여 상기 문턱치보다 더 큰 양만큼 변화했을 때, 변화한다. 종종, ON 이벤트 문턱치는 ON 이벤트들을 구별하기 위한 픽셀 문턱치(Pixel Threshold)로서 상기 픽셀에 제공되고, 이것은 포토리셉터(116)에 의해 검출된 광의 양에 있어서의 증가와 연관된다. 그 다음 OFF 이벤트 문턱치는 OFF 이벤트들을 구별하기 위한 픽셀 문턱치(Pixel Threshold)로서 상기 픽셀에 제공되고, 이것은 포토리셉터에 의해 검출된 광의 양에 있어서의 감소와 연관된다.
다른 경우들에서, 이벤트 검출기는 두 개의 비교기들, 즉 ON 이벤트들을 구별하기 위한 ON 이벤트 문턱치를 수신하는 제1 비교기, 및 OFF 이벤트들을 구별하기 위한 OFF 이벤트 문턱치를 수신하는 제2 비교기를 포함한다.
신호 Enable evt counter가 활성(및 그래서 Disable evt counter 비활성)이면, 모든 판독 라인들이 스위치들(188)의 닫힘에 의해 함께 쇼트되고(shorted), 판독 라인들은 스위치들(190)의 열림에 의해 열(column) 판독 회로들(180)로부터 분리된다. 모든 판독 라인들이 전류 ADC(212)에 접속되면, 전류는 전류 ADC(212)로부터, 비교기 출력이 하이(high)이고 Evt가 활성이고 그래서 각 픽셀들(112)에 있는 스위치들(178)을 닫는 모든 픽셀들로 흐를 것이다. 더욱이, 각 행에 대한 OR 게이트들(186)은, Eable evt counter가 활성이므로, 각 픽셀(112)에 있는 스위치들(178)을 닫을 것이다. 그래서 총 전류는, 비교기(174)의 출력이 하이이고 또는 신호 라인(들) Evt가 활성인 픽셀들의 수에 의존할 것이다.
신호 Enable evt counter가 비활성(및 그래서 Disable evt counter 활성)이면, 상기 픽셀 판독 라인들은, 대응하는 Readout row select X가 활성이면, 그들의 대응하는 열 판독 회로들(180)에 접속된다.
도6은 이전의 실시 예들의 전류 ADC(212)의 가능한 구현을 보여준다.
더해진 전류는 네거티브 피드백(negative feedback) 구성에서 저항 R(216)을 가진 연산 증폭기 A(214)에 피드된다(fed). 기준 전압과 연산 증폭기의 출력에서의 전압과의 사이의 전압 차는 입력 전류의 크기에 비례하고, 이와 같이 계류중인 이벤트들의 수를 나타낸다.
그 다음, 연산 증폭기의 출력에서의 전압은 기존의 전압 ADC(218)에 피드되고, 이것은 플래시(flash) ADC, SAR ADC, 시그마-델타 ADC 등으로서 구현될 수 있다.
전류 대 전압 변환(current to voltage conversion) 후, 오래 걸릴 수 있는 상기 ADC 변환이 픽셀들이 판독되는 동안 행해질 수 있도록, 전압 샘플링 단계(voltage sampling step)(OpAmp(214)의 출력과 전압 ADC(218) 사이)가 추가될 수 있다. 일단, 상기 ADC 변환이 끝나면, 상기 픽셀들의 판독은 필요하다면 중지될 수 있다.
제어기(120)
제어기(120)는 아마도, 입력으로서 이벤트 레이트 검출기(200)과 센서(100) 외부로부터의 원하는 이벤트 레이트(또는 상기 원하는 이벤트 레이트에 대한 한계들), 및 선택적으로 트리거 입력을 가지는 디지털 블록일 수 있을 것이다. 제어기(120)는 칩 구성들에 대한 제어 신호들을 출력한다(즉, 문턱치 발생 회로(130)에 시간 해상도 및 문턱치).
제어기(120)는 전통적인 P, PI 또는 PID 제어기로서 또는 더 단순하게 상태 머신(state machine)으로서 구현될 수 있다.
그러나, 이벤트 레이트 추정기를 이용할 때, 제어기(120)는 또한 아날로그 회로로서 구현될 수 있다. 그러면 아날로그 제어기에 대한 입력은 디지털 표현이 아닐 것이다; 대신 도6에서 연산 증폭기(214)의 출력 전압은 전형적으로 제어기(120)에 직접 피드될 것이다.
도7은 제어기(120)의 상태 도식도이다.
상기 이벤트 문턱치는 이벤트 레이트 추정기로부터의 신호에 기초하여 원하는 한계들 내에서 상기 이벤트 레이트를 유지하도록 변경된다(modified).
ㆍ Event rate: 이벤트 레이트 검출기(200)으로부터 입력.
ㆍ MinEventRate: 일정한 최소의 원하는 이벤트 레이트.
ㆍ MaxEventRate: 일정한 최대의 원하는 이벤트 레이트.
ㆍ MinEventThreshold: 파라미터, 최소의 문턱치 세팅.
ㆍ MaxEventThreshold: 파라미터, 최대의 문턱치 세팅,
ㆍ Step: 파라미터, 이 step에 의해 이벤트 문턱치가 상기 루프(loop)의 각 통과(pass) 동안 변경된다.
ㆍ EventThreshold: 문턱치 발생 회로에 피드된 출력.
ㆍTrigger: 상기 루프를 시작하는 주기적인 입력 신호.
더 상세히, 제어기(120)는 상태 710에서 트리거 신호를 기다린다. 그것이 수신되었을 때, 제어기(120)는 상태 712에서 이벤트 레이트 검출기(200)에 의해 제공된 이벤트 레이트를 최소 이벤트 레이트에 비교한다. 이벤트 레이트가 최소 이벤트 레이트보다 더 작으면, 제어기는 상태 716로 진행한다. 상태 716에서, 제어기(120)는 이벤트 문턱치를 최소 이벤트 문턱치에 비교한다; 그것이 더 작으면, 상태 710으로 돌아간다. 한편, 이벤트 문턱치가 최소 이벤트 문턱치보다 더 크면, 이벤트 문턱치는 상태 718에서 감소되고 대기 상태 710으로 돌아간다.
한편, 상태 712에서, 이벤트 레이트가 최소 이벤트 레이트보다 더 크면, 이벤트 레이트는 상태 714에서 최대 이벤트 레이트에 비교되고, 그것이 더 작으면, 제어기(120)는 대기상태 710으로 돌아간다. 한편, 이벤트 레이트가 최대 이벤트 레이트보다 더 크면, 상태 720에서, 이벤트 문턱치가 최대 이벤트 문턱치에 비교된다. 상태 720에서, 이벤트 문턱치가 최대 이벤트 문턱치보다 더 크면, 제어기(120)는 대기 상태 710으로 돌아간다. 한편, 이벤트 문턱치가 최대 이벤트 문턱치보다 더 작으면, 상태 722에서, 이벤트 문턱치가 step에 의해 증가되고, 상태 710으로 돌아간다.
문턱치 발생 회로
여기에 참조에 의해 포함된, "시간 종속 이미지 데이터를 검출하기 위한 포토어레이(Photoarray for Detecting Time-Dependent Image Data"라는 제목으로 Lichtsteiner 등에 의한 미국 특허 출원 번호 US2008/00135731에 개시된 바와 같은 변화 검출 픽셀들에 대해서, 상기 이벤트 문턱치들은 문턱 전압과 증폭기 바이어스 전압 사이의 차(difference)이다. ON Threshold 전압은 보통 바이어스 전압보다 더 높고, 반면 OFF Threshold 전압은 더 낮다.
기본 문턱치 발생
도8은, 2008년 2월 IEEE J. Solid-State Circuits, vol. 43, no. 2, pp.566-576에 실린, P. Lichtsteiner, C. Posch, 및 T.Delbruck의 "A 128x128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor"; 그리고 Circuits and Systems에 관한 2010 IEEE 국제 심포지움 회보, pp1647-1650에 실린, T. Debruck, R. Berner, P. Lichtsteiner, 및 C. Dualibe의 "32-bit Configurable bias current generator with sub-off-current capability"에 개시된 바와 같은, 디지털 대 아날로그 변환기들(DAC들) 또는 전류 DAC들의 세트(810, 812)인 기본 문턱치 발생 회로를 보여준다. 특별히, DAC들의 세트(810, 812, 814)에 대해서, 비교기 바이어스 전압을 발생시키기 원한 것 하나(814), OnThres 전압을 위한 것 하나(810) 및 OffThres 전압을 위한 것 하나(812)가 있다.
이벤트 레이트 및 밸런스(balance) 제어
또 다른 실시 예에서, 센서(100)는 ON(증가하는 광 세기) 및 OFF(감소하는 광 세기)이벤트들을 별개로 카운트한다. 그 다음 ON 및 OFF 이벤트들 사이의 비가 ON 및 OFF 문턱치들을 별개로 제어하기 위해 이용된다. 일반적으로, 큰(초들(seconds)보다 더 큰) 시간 윈도우에 걸쳐 유사한 양의 ON 이벤트들과 OFF 이벤트들이 요구된다.
비-움직임(no-motion) 문턱치
이벤트-기반 변화 검출 센서들의 특성은 장면에서 움직임이 없으면 그들이 데이터를 생성하지 않는다(또는 거의 생성하지 않는다)는 것이다. 그러한 비-움직임의 경우에, 문턱치를 변화시키는 것이 바람직하지 않을 수 있고, 그래서 제어기는 최소의 이벤트 레이트 문턱치를 포함하도록 확장될 수 있다. 그 아래에서는 EventThreshold 출력을 변화시키는 제어 루프가 활성화되지 않는다.
시간 해상도 제어
어떤 픽셀 설계들에서, 타임 빈 레이트(time bin rate)(비교의 레이트)가 변화될 수 있다. 미국 특허 출원 번호 US 2008/00135731에 기술되어 제안된 바와 같은 픽셀에서, 다루기 힘든 바이어스(refractory bias)가 제어될 수 있다. 이것은 픽셀이 이벤트들을 생성할 수 있는 레이트를 제한하는 것을 허용한다.
본 발명이 그에 관한 바람직한 실시 예들을 참조하여 특별히 보여지고 기술되었지만, 형태와 상세 시항들에 있어서 다양한 변화들이, 첨부된 청구항들에 의해 포함되는 본 발명의 범위로부터 벗어나지 않고 그 안에서 이루어질 수 있다는 것을 이 분야에 통상의 지식이 있는 자가 이해할 것이다.

Claims (15)

  1. 변화 검출 센서에 있어서, 상기 변화 검출 센서는:
    광을 검출하는 픽셀들을 포함하는 픽셀 어레이;
    픽셀들에 의해 수신된 광과 연관된 이벤트들을 검출하는 이벤트 검출기들;
    상기 이벤트들을 평가하는 이벤트 레이트 검출기;
    상기 이벤트 레이트 검출기로부터 ON 이벤트들 및 OFF 이벤트들을 카운팅함으로써 상기 ON 이벤트들 및 OFF 이벤트들을 평가하는 카운터;
    상기 이벤트 레이트 검출기에 기초하여 상기 픽셀들이 상기 이벤트들을 검출하는 방법을 변화시키는 제어기를 포함하고,
    상기 제어기는 상기 픽셀 어레이에서 ON 이벤트들 및 OFF 이벤트들에 기초하여 별개로 ON 이벤트들 및 OFF 이벤트들에 대한 문턱치들을 세팅하는, 상기 변화 검출 센서.
  2. 삭제
  3. 제1항에 있어서, 상기 이벤트 레이트 검출기는 이벤트들을 추정함으로써 상기 이벤트들을 평가하는 이벤트 추정기를 포함하는, 상기 변화 검출 센서.
  4. 제1항에 있어서, 상기 이벤트 레이트 검출기는 이벤트들을 기록하는 이벤트 검출기들의 수에 기초한 아날로그 신호를 분석함으로써 상기 이벤트들을 평가하는, 상기 변화 검출 센서.
  5. 제1항에 있어서, 상기 이벤트 검출기들에 의해 인가된 문턱치들을 세팅하는 문턱치 발생 회로를 더 포함하는, 상기 변화 검출 센서.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 픽셀들의 각각은 상기 픽셀이 리셋되었을 때 수신된 광에 대응하는 전하를 저장하는, 상기 이벤트 검출기들 중 하나의 메모리 커패시터를 포함하는, 상기 변화 검출 센서.
  9. 제1항에 있어서, 상기 픽셀들의 각각은 상기 수신된 광에 있어서의 변화들을 상기 이벤트들을 검출하기 위한 하나 이상의 문턱치들에 비교하는, 상기 이벤트 검출기들 중 하나의 하나 이상의 비교기들을 포함하는, 상기 변화 검출 센서.
  10. 제1항에 있어서, 상기 수신된 광에 있어서의 변화들을 상기 이벤트들을 검출하기 위한 하나 이상의 문턱치들에 비교하는, 상기 이벤트 검출기들의 비교기들을 더 포함하고, 상기 비교기들은 판독회로에 위치되는, 상기 변화 검출 센서.
  11. 변화 검출 센서의 동작 방법에 있어서, 상기 방법은:
    픽셀 어레이에서 픽셀들에 의해 수신된 광과 연관된 이벤트들을 검출하는 단계;
    상기 픽셀 어레이로부터 ON 이벤트들 및 OFF 이벤트들을 카운팅함으로써 상기 ON 이벤트들 및 OFF 이벤트들을 평가하는 단계;
    상기 픽셀 어레이로부터 이벤트들의 평가에 기초하여 픽셀들이 상기 이벤트들을 검출하는 방법을 변화시키는 단계; 및
    상기 픽셀 어레이로부터 ON 이벤트들 및 OFF 이벤트들에 기초하여 별개로 상기 ON 이벤트들 및 상기 OFF 이벤트들에 대한 문턱치들을 세팅하는 단계를 포함하는, 상기 변화 검출 센서의 동작 방법.
  12. 삭제
  13. 제11항에 있어서, 상기 이벤트들을 평가하는 단계는 상기 이벤트들을 추정하는 단계를 포함하는, 상기 변화 검출 센서의 동작 방법.
  14. 제11항에 있어서, 상기 이벤트들의 평가에 응답하여 상기 픽셀들에 대해 이벤트 검출기들에 의해 인가된 문턱치들을 세팅하는 단계를 더 포함하는, 상기 변화 검출 센서의 동작 방법.
  15. 삭제
KR1020197021626A 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어 KR102467771B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227039580A KR102712372B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CHCH20160001765 2016-12-30
CHCH20160001764 2016-12-30
CH17652016 2016-12-30
CH17642016 2016-12-30
PCT/IB2017/058528 WO2018122800A1 (en) 2016-12-30 2017-12-29 Data rate control for event-based vision sensor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227039580A Division KR102712372B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어

Publications (2)

Publication Number Publication Date
KR20190102223A KR20190102223A (ko) 2019-09-03
KR102467771B1 true KR102467771B1 (ko) 2022-11-16

Family

ID=61094545

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020227039580A KR102712372B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020237018912A KR102704878B1 (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐
KR1020247032187A KR20240148934A (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020247029648A KR20240135074A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐
KR1020197021626A KR102467771B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020197021627A KR102541757B1 (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020227039580A KR102712372B1 (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020237018912A KR102704878B1 (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐
KR1020247032187A KR20240148934A (ko) 2016-12-30 2017-12-29 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR1020247029648A KR20240135074A (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197021627A KR102541757B1 (ko) 2016-12-30 2017-12-29 동적 비전 센서 아키텍쳐

Country Status (7)

Country Link
US (11) US10567679B2 (ko)
EP (3) EP3563564B1 (ko)
JP (6) JP7074954B2 (ko)
KR (6) KR102712372B1 (ko)
CN (3) CN110169050B (ko)
DE (1) DE202017007535U1 (ko)
WO (2) WO2018122800A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018122800A1 (en) 2016-12-30 2018-07-05 Insightness Ag Data rate control for event-based vision sensor
JP2018125599A (ja) * 2017-01-30 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器、及び駆動方法
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
US11212468B2 (en) 2018-03-14 2021-12-28 Sony Advanced Visual Sensing Ag Event-based vision sensor with direct memory control
WO2019175733A1 (en) 2018-03-14 2019-09-19 Insightness Ag Event-based vision sensor manufactured with 3d-ic technology
TW202406328A (zh) * 2018-03-15 2024-02-01 日商尼康股份有限公司 感測器以及具備其之攝像裝置
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
JP7248710B2 (ja) * 2018-06-27 2023-03-29 プロフェセ 複数のスーパーピクセルを有するイメージセンサ
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
CN109842767B (zh) * 2019-01-09 2020-07-14 上海芯仑光电科技有限公司 一种防闪光电路组件及图像传感器
KR102649988B1 (ko) 2019-01-21 2024-03-22 소니 어드밴스드 비주얼 센싱 아게 투명한 스마트폰
CN109842768B (zh) * 2019-01-29 2020-05-15 上海芯仑光电科技有限公司 一种像素采集电路及图像传感器
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
JP7538806B2 (ja) 2019-02-07 2024-08-22 マジック リープ， インコーポレイテッド 高一時的分解能を伴う軽量かつ低電力のクロスリアリティデバイス
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP2020136811A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR102707749B1 (ko) 2019-03-28 2024-09-23 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
EP3731516B1 (en) 2019-04-25 2024-05-29 Beijing RuisiZhixin Technology Co., Ltd. Delta vision sensor
TWI831962B (zh) * 2019-04-26 2024-02-11 日商索尼半導體解決方案公司 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
WO2020229980A1 (en) 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Event-based vision sensor using on/off event and grayscale detection ramps
WO2020229981A1 (en) 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
KR20210150594A (ko) 2019-05-10 2021-12-10 소니 어드밴스드 비주얼 센싱 아게 이미지 센서 픽셀에 대한 nmos 비교기
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
EP3994876A1 (en) 2019-07-01 2022-05-11 Sony Advanced Visual Sensing AG Dynamic region of interest (roi) for event-based vision sensors
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
JP7101721B2 (ja) * 2019-08-01 2022-07-15 シャープ株式会社 固体撮像素子
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
WO2021044299A1 (en) 2019-09-04 2021-03-11 Sony Advanced Visual Sensing Ag Delay equalization in event-based vision sensors
JP2021048554A (ja) 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
CN112738432B (zh) * 2019-10-28 2022-06-21 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
KR102702094B1 (ko) * 2019-12-17 2024-09-04 삼성전자주식회사 다이나믹 비전 센서 시스템
WO2021127809A1 (en) * 2019-12-23 2021-07-01 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20210102511A (ko) * 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
US11853142B2 (en) 2020-05-28 2023-12-26 Apple Inc. Sensor-based user detection for electronic devices
EP3930312B8 (en) 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
US12088936B2 (en) 2020-07-09 2024-09-10 Sony Semiconductor Solutions Corporation Solid-state imaging device, imaging method, and electronic apparatus
EP3955566B1 (en) 2020-08-14 2023-06-07 Alpsentek GmbH Image sensor with configurable pixel circuit and method
CN115004677B (zh) * 2020-09-02 2024-03-29 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
WO2022093123A1 (en) * 2020-10-29 2022-05-05 Nanyang Technological University A computer vision sensor for efficient real time object detection under varying lighting conditions
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076943A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220076944A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
CN112788262B (zh) * 2020-12-30 2024-05-31 上海集成电路研发中心有限公司 图像信号检测电路、控制方法以及运动检测方法
KR102445008B1 (ko) 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社ＳｅｎｓＡＩ 固体撮像装置、及び固体撮像装置の駆動方法
EP4315833A1 (en) * 2021-03-26 2024-02-07 Sony Semiconductor Solutions Corporation Pixel circuit and solid-state imaging device
KR20240055696A (ko) 2021-04-16 2024-04-29 인터그레이티드 다이나믹 일렉트론 솔루션즈, 인크. 전자 현미경 기술을 위한 임의의 전자 선량 파형
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220156327A (ko) 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113365004B (zh) * 2021-06-07 2022-03-29 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
FR3125666B1 (fr) * 2021-07-26 2024-07-12 Commissariat Energie Atomique Architecture de lecture à base de drapeau pour un réseau matriciel de pixels événementiels
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels
KR20230018044A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
WO2023150949A1 (en) * 2022-02-10 2023-08-17 Huawei Technologies Co., Ltd. High speed, low power pixel bias circuit
US20230260282A1 (en) * 2022-02-15 2023-08-17 Sony Group Corporation Information processing devices, information processing methods and video streaming system
CN114422725B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像输出方法、图像传感器及其应用
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line
CN114581490B (zh) * 2022-04-29 2022-09-20 北京大学 一种场景设置方法、装置、控制设备及可读存储介质
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
US12088925B1 (en) 2022-09-13 2024-09-10 Apple Inc. Flicker detection using event-based readout circuits
US11848173B1 (en) * 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH176516A (de) 1933-10-01 1935-04-15 Enderlin Charles Vorrichtung an Fahrrädern zur Ermöglichung der Unterstützung des Fussantriebes durch Handantrieb.
CH176416A (de) 1933-10-23 1935-04-15 Fa Fr Speidel Karabinerhaken, insbesondere für Uhrarmbänder.
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
DE69218755T2 (de) 1992-01-24 1997-07-10 Rockwell International Corp Ausleseverstärker für starrende Infrarotbildebenenanlage
US5488415A (en) 1993-07-09 1996-01-30 Olympus Optical Co., Ltd. Solid-state image pickup device having a photoelectric conversion detection cell with high sensitivity
US6253161B1 (en) 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
DE10125307A1 (de) 2000-10-07 2002-08-01 Silicon Vision Ag Optischer Sensor
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
DE10301598A1 (de) 2002-09-13 2004-03-25 Conti Temic Microelectronic Gmbh Photodetektor-Anordnung und Verfahren zur Störlichtkompensation
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
EP1652307A4 (en) 2003-07-14 2006-11-22 Univ Rochester SIGMA-DELTA ANALOGUE / DIGITAL CONVERTER CONCEPT WITH MULTIPLEXED INPUT SEPARATION FOR ANALOGUE / DIGITAL PIXEL LEVEL CONVERSION
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
EP1657910A1 (en) 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
JP5244587B2 (ja) 2005-06-03 2013-07-24 ウニヴェルズィテート チューリッヒ 時間依存性の画像データを検出するフォトアレイ
US7821558B2 (en) * 2005-11-15 2010-10-26 Stmicroelectronics S.A. Image sensor with circuitry for detecting each pixel receiving a given light intensity and providing addresses thereof
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
EP1982513A2 (en) 2006-01-25 2008-10-22 Melexis NV Image sensor with a photodiode readout circuit
US20070222879A1 (en) 2006-03-24 2007-09-27 Intel Corporation Sub-ranging pixel sample and hold
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8026960B2 (en) * 2008-04-29 2011-09-27 Xerox Corporation Image sensor and associated readout system
US8891978B2 (en) 2008-09-19 2014-11-18 National University Corporation Shizuoka University Information-acquisition device and optical communication system
US8436288B2 (en) * 2009-04-24 2013-05-07 Quantum Semiconductor Llc Image sensors with photo-current mode and solar cell operation
WO2012093387A2 (en) * 2011-01-09 2012-07-12 Emza Visual Sense Ltd. Pixel design with temporal analysis capabilities for scene interpretation
US8890052B2 (en) * 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
WO2013070942A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
KR101724513B1 (ko) 2011-12-19 2017-04-07 유니베르시태트 취리히 포토어레이, 특히 시간 의존성 이미지 데이터의 비동기성 검출과 샘플링된 밝기의 감지를 동시 실시하기 위한 포토어레이
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP5973758B2 (ja) * 2012-03-22 2016-08-23 オリンパス株式会社 固体撮像装置
US9154713B2 (en) * 2012-04-19 2015-10-06 Raytheon Company Repartitioned digital pixel
KR102070562B1 (ko) 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
JP6145655B2 (ja) * 2012-12-18 2017-06-14 パナソニックＩｐマネジメント株式会社 半導体光検出器
FR3000347B1 (fr) * 2012-12-21 2016-03-04 Trixell Procede de lecture d'un dispositif d'imagerie
KR102009165B1 (ko) 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
JP5925713B2 (ja) 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置
CN103259985B (zh) * 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
KR102136055B1 (ko) 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102357680B1 (ko) 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
EP3424211B1 (en) 2016-03-03 2020-07-08 Insightness AG An event-based vision sensor
WO2017158483A1 (en) 2016-03-14 2017-09-21 Insightness Ag A vision sensor, a method of vision sensing, and a depth sensor assembly
EP3440833B8 (en) 2016-04-04 2019-09-25 Prophesee Sample and hold based temporal contrast vision sensor
WO2018122800A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Data rate control for event-based vision sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. Aizawa et al, On Sensor Image Compression, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 7, NO. 3, p. 543~548, JUNE 1997*

Also Published As

Publication number Publication date
US20220394205A1 (en) 2022-12-08
KR20240148934A (ko) 2024-10-11
US20180191982A1 (en) 2018-07-05
US20180191972A1 (en) 2018-07-05
JP2020505801A (ja) 2020-02-20
US20240276117A1 (en) 2024-08-15
US20180189959A1 (en) 2018-07-05
US12010447B2 (en) 2024-06-11
US20210337151A1 (en) 2021-10-28
JP2022076485A (ja) 2022-05-19
US20230328406A1 (en) 2023-10-12
WO2018122798A1 (en) 2018-07-05
EP3563564A1 (en) 2019-11-06
KR20190102021A (ko) 2019-09-02
CN110169050B (zh) 2022-07-26
CN115037896A (zh) 2022-09-09
US11991466B2 (en) 2024-05-21
KR102704878B1 (ko) 2024-09-11
US10567679B2 (en) 2020-02-18
JP7074954B2 (ja) 2022-05-25
EP3563563A1 (en) 2019-11-06
CN110192387B (zh) 2022-06-17
JP7074955B2 (ja) 2022-05-25
JP2022075789A (ja) 2022-05-18
CN110192387A (zh) 2019-08-30
US20200221040A1 (en) 2020-07-09
US11336859B2 (en) 2022-05-17
US20240292127A1 (en) 2024-08-29
JP2023182811A (ja) 2023-12-26
US20200154064A1 (en) 2020-05-14
US10715750B2 (en) 2020-07-14
KR20240135074A (ko) 2024-09-10
KR20190102223A (ko) 2019-09-03
US11711631B2 (en) 2023-07-25
DE202017007535U1 (de) 2022-11-03
KR20230087615A (ko) 2023-06-16
KR102541757B1 (ko) 2023-06-13
EP3563564B1 (en) 2021-12-15
US10602083B2 (en) 2020-03-24
JP7442560B2 (ja) 2024-03-04
EP3563563B1 (en) 2020-12-16
WO2018122800A1 (en) 2018-07-05
US11431937B2 (en) 2022-08-30
JP2024056930A (ja) 2024-04-23
CN110169050A (zh) 2019-08-23
JP7374242B2 (ja) 2023-11-06
US20200288073A1 (en) 2020-09-10
EP3869791A1 (en) 2021-08-25
US11076114B2 (en) 2021-07-27
JP2020503752A (ja) 2020-01-30
KR20220157514A (ko) 2022-11-29
KR102712372B1 (ko) 2024-09-30

Similar Documents

Publication Publication Date Title
KR102467771B1 (ko) 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
KR102373088B1 (ko) 이벤트 기반의 비전 센서
US11317045B2 (en) Event-based image sensor and operating method thereof
US11825218B2 (en) Dynamic region of interest (ROI) for event-based vision sensors
KR20220054592A (ko) 이벤트 기반 비전 센서들에서의 지연 균등화
WO2023093986A1 (en) A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)