KR20230034313A - 외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서 - Google Patents

외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서 Download PDF

Info

Publication number
KR20230034313A
KR20230034313A KR1020237002560A KR20237002560A KR20230034313A KR 20230034313 A KR20230034313 A KR 20230034313A KR 1020237002560 A KR1020237002560 A KR 1020237002560A KR 20237002560 A KR20237002560 A KR 20237002560A KR 20230034313 A KR20230034313 A KR 20230034313A
Authority
KR
South Korea
Prior art keywords
digital
circuit
pixel
output
image sensor
Prior art date
Application number
KR1020237002560A
Other languages
English (en)
Inventor
잉윈 쟈
로저 마크 보스톡
지엔 덩
위 쩌우
Original Assignee
알프센텍 게엠베하
베이징 루이스즈신 테크놀러지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알프센텍 게엠베하, 베이징 루이스즈신 테크놀러지 코., 엘티디. filed Critical 알프센텍 게엠베하
Publication of KR20230034313A publication Critical patent/KR20230034313A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/02Comparing digital values
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은, 픽셀 배열 및 적어도 하나의 픽셀에 대응하고 집적 회로의 일부로서 형성된 복수의 수집 회로를 포함하는 델타 이미지 센서에 관한 것이다. 상기 수집 회로 각각은, 상기 적어도 하나의 픽셀의 광센서(photosensor)에 인가되는 광 신호(light signal)에 따라 센서 신호인 VSIG를 생성하도록 구성된 상기 광센서를 포함하는, 적어도 하나의 센서 회로; 현재의 VSIG를 디지털 신호로 변환하도록 구성된 적어도 하나의 아날로그-디지털 변환기(A/D) 회로; 이전의 VSIG에 대응하는 적어도 하나의 디지털 신호의 표현을 저장하도록 구성된, 적어도 하나의 디지털 저장 회로; 변경된 레벨의 존재 여부를 검출하기 위해, 상기 저장된 표현의 레벨을 상기 현재의 VSIG와 비교하도록 구성된, 적어도 하나의 디지털 비교기 회로; 및 상기 변경된 레벨이 존재하는 조건 하에 이벤트 출력을 생성하도록 구성된, 적어도 하나의 디지털 출력 회로;를 포함한다. 상기 디지털 표현은, 상기 적어도 하나의 픽셀의 상기 디지털 저장 회로에 외부적으로 기록될 수 있다.

Description

외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서
본 발명은 복수의 픽셀 회로를 포함하는 이미지 센서에 관한 것이다.
픽셀 당 또는 픽셀의 작은 서브셋 당 하나의 ADC를 갖는 이미지 센서는 잘 알려져 있다. 이들은 일반적으로 중요한 프로세싱이 픽셀에서 수행되는 어플리케이션(예: X선 입자 추적 또는 위성 이미징)에 사용된다.
픽셀 각각이 비교기를 포함하는, 단일 슬로프를 갖는 ADC가 있는 이미지 센서는 알려져 있으며, 예를 들면 2015년 Reckleben 외, 2010년 Suarez 외, 2010년 Chi 외가 있다. 특히, Suarez 외는 픽셀 배열에 대해 전체적으로, 아날로그 슬로프와 디지털 코드를 생성하고 픽셀에 디지털 코드를 제공한다.
디지털 값이 픽셀 내부에 저장되고 샘플 간에 비교되어 이벤트 변경 데이터를 생성하는 이미지 센서는 알려져 있지 않다. 본 발명은 고해상도 및 비용 최적화된 센서를 생성하는, 영역 최적화된 작은 픽셀 구조를 가능하게 한다.
이전의 광 인가 레벨의 표현이 픽셀에 디지털 방식으로 저장되고 이벤트 변경 데이터를 생성하기 위해 샘플 간에 비교되는 이미지 센서는 WO 2014/174498 A1에서 알려져 있으며, Microelectronic engineering, vol 15, no. 1-4, 1991, 페이지 187-190에 “4-Layer 3-D IC with a function of parallel signal processing”를 게재한 Itoh 외는 이전에 고정 레벨에 대한 간단한 단일 비트 픽셀 비교와 함께 개념적으로 관련된 구조를 제안했다.
아날로그 도메인에서 이미지 픽셀 레벨의 변경 검출, 저장, 및 비교를 사용하여 이벤트를 생성하는 이미지 센서가 알려져 있는데, 예를 들어 Chi 외는 IEEE Journal of Solid-State Circuits, vol. 42, no. 10, 2007, 페이지 2187-2196에 "CMOS Camera With In-Pixel Temporal Change Detection and ADC"를 게재했다. 아날로그 도메인에서의 비교 및 저장은 디지털 접근 방식에 비해 장점(예: 콤팩트 구현(compact realization)) 및 단점(예: "핫 픽셀(hot-pixels)"을 포함한 점진적인 저장 저하, 불일치에 대한 민감도, 광-전기 변환 함수의 유연성 감소)을 제공한다.
픽셀 간에 회로를 공유하는 이미지 센서는 잘 알려져 있고, 예를 들면 KR 2020-0029328 A가 있다.
스트로보 효과(stroboscopic effects)의 사용은 일반적으로 알려져 있으며 교란(원하지 않는 신호) 기간 동안 평균화 또는 동기화하여 고조파(harmonics)를 억제하는데, 예를 들면 US 2015/358570 A1에서는 카메라에 적용되어 가변적인 광원을 검출하고 동기화한 다음, 광원에 대한 반응을 억제하도록 한다.
WO 2020/080383 A1은, 인접한 픽셀의 이벤트 상태(단일 비트)를 기반으로, 하나의 픽셀로부터의 이벤트를 무시하는 필터를 가진 이벤트 기반 다이내믹 비전 센서를 개시한다.
Proceedings of the International Conference on Secure Life Electronics, Advanced Electronics for Quality Life and Society, 2008, 21-26페이지에 게재된 T. Delbruck의 "Frame-free dynamic digital vision"은, 픽셀의 마지막 이벤트의 타임스탬프 또는 인접 픽셀의 타임스탬프를 기반으로 다이내믹 비전 센서로부터의 이벤트를 필터링 하도록 개시한다. 이 프로세싱은, 계산 비용이 많이 드는 방식(32비트 타임스탬프)으로, 순차 필터링을 위해 배열 밖으로 이벤트를 전송해야 하는 픽셀 배열의 외부에서 수행된다.
EP 3 313 064 A1은 아날로그 저장 다이내믹 비전 센서를 개시하고 있으며, 여기서 하나의 비교기 입력은 픽셀 광 인가의 이전의 값의 표현이며, 이후 비교를 위해 사용된다. 이는, 디지털 이벤트 출력이 생성될 때, 활성화(샘플링)되는 아날로그 비교기의 순차 함수를 제어하기 위한 이전의 레벨로부터의 아날로그 피드백으로 간주할 수 있다.
EP 2 933 995 A1은, 임계값 이하 작동에서 트랜지스터를 사용하는 다이내믹 비전 센서의 표준 아날로그 저장 구현에서 불량한 불일치 문제를 다룬다. 이 트랜지스터 모드의 작동은 제한된 범위에서만 올바르게 작동하므로, 만족스러운 작동을 얻기 위해 전체 배열의 수집 회로의 아날로그 부분에 대한 전체 아날로그 피드백을 사용한다.
배경 제거는 비디오 이미지 프로세싱에서 잘 알려져 있고 널리 사용되는 기술이며, 예를 들어 Ahmed Elgammal가 저술한 “Background Subtraction: Theory and Practice”(ISBN 1627054405)를 참조할 수 있다. 이것은 일반적으로, 계산된 이미지 차를 기반으로 하는 표준(이벤트 기반이 아닌) 이미지 센서가 있는 이미지 센서 외부에서 수행된다.
WO 2020/229981 A1은 스태틱이지만 관용적인 배경 제거를 픽셀 배열 외부에서 수행하지만, 이미지 센서 칩에서 이벤트와 같은 출력(정상 범위 밖의 픽셀을 나타내는 프레임)을 수행하는 접근 방식을 개시한다.
픽셀에서 이전 광 인가 강도의 표현을 디지털로 저장하는 개선된 픽셀 회로를 포함하는 델타 이미지 센서가 필요할 수 있다.
그러한 요구는 독립항의 주제로 충족될 수 있다. 유리한 실시예는 종속항에 정의되어 있다.
본 발명의 기본 실시예의 아이디어는 특히 다음의 관찰 및 인식에 기초하는 것으로 해석될 수 있다.
CMOS(Complementary Metal Oxide Silicon) 이미지 센서는 최적화된 파운드리 공정에서 특수 공정으로 대량 생산된다. CMOS 디지털 로직 장치는 최적화된 파운드리 공정에서 대량으로 생산된다. 두 공정의 비중이 증가하고 있으며, 특히 로직 공정의 비중이 증가하고 있다. 증가된 비중은 이미지 센서의 픽셀 회로와 관련된 디지털 복잡성의 증가를 허용한다.
픽셀 회로 내의 이전의 레벨의 디지털 저장은 저장의 정확도와 저장된 레벨의 순차 프로세싱에서 이점이 있다.
레벨의 로컬 프로세싱은, 중복 데이터의 전파 및 프로세싱이 제한되므로 전력 및 면적에서 효율성 이점이 있다.
본 발명은 시간 및 위치에 따른 차(differences)의 로컬 평가와 이벤트 정보의 준비 및 전파와 함께, 디지털 변환 및 저장이 픽셀 회로에서 결합되는 구조 및 방법을 개시한다.
본 발명은 독립항에 정의되어 있다. 종속항은 그의 바람직한 실시예를 기술한다.
본 발명은 픽셀 배열 및 적어도 하나의 픽셀에 대응하고 집적 회로의 일부로서 형성된 복수의 수집 회로를 포함하는 델타 이미지 센서에 관한 것이다. 수집 회로 각각은, 적어도 하나의 픽셀의 광센서(photosensor)에 인가되는 광 신호(light signal)에 따라 센서 신호인 VSIG를 생성하도록 구성된 광센서를 포함하는, 적어도 하나의 센서 회로; 및 현재의 VSIG에 대응하는 디지털 표현(digital representation)을 생성하도록 구성된 적어도 하나의 아날로그-디지털 변환기 회로;를 포함한다. 적어도 하나의 디지털 저장 회로는 적어도 하나의 이전의 VSIG의 표현을 저장하도록 구성된다. 적어도 하나의 디지털 비교기 회로는 저장된 표현의 레벨을 현재의 VSIG와 비교하여 변경된 레벨이 존재하는지 여부를 검출하도록 구성된다. 적어도 하나의 디지털 출력 회로는 변경된 레벨이 존재하는 조건 하에 이벤트 출력을 생성하도록 구성된다. 디지털 표현은 추가로 적어도 하나의 픽셀의 디지털 저장 회로에 외부적으로 기록될 수 있다.
다양한 실시예는 바람직하게는 다음 특징을 구현할 수 있다.
상기 디지털 저장 회로는, 데이터 스트림으로부터 상기 디지털 표현을 기록하도록, 바람직하게는, 레퍼런스 이미지 또는 시가변적(time-varying) 레퍼런스 이미지로서 상기 이미지 센서에 입력되도록 구성될 수 있다.
상기 디지털 저장 회로는, 이벤트 스트림인 데이터 스트림으로부터 상기 상기 디지털 표현을 기록하도록, 바람직하게는, 레퍼런스 이미지 또는 시가변적 레퍼런스 이미지로서 상기 이미지 센서에 입력되도록 구성될 수 있다.
상기 레퍼런스 이미지는, 적어도 하나의 픽셀, 바람직하게는 적어도 하나의 픽셀 그룹, 보다 바람직하게는 모든 픽셀에 대한, 레퍼런스 이미지 데이터를 포함할 수 있다.
상기 레퍼런스 이미지는, 바람직하게는 정기적으로 프레임 데이터로 업데이트되고, 바람직하게는 상기 레퍼런스 이미지 데이터는 특정 순서로 공급될 수 있다.
상기 적어도 하나의 픽셀 또는 상기 적어도 하나의 픽셀 그룹은 개별적으로 자체 주소를 가지고, 상기 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀 그룹 각각에, 바람직하게는 무작위로 주소가 지정된 시퀀스에 있는 상기 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀 그룹 각각에, 상기 레퍼런스 이미지 데이터를 순차적으로 기록하도록 구성된다.
각 수집 회로는 집적 회로로서 또는 집적 회로의 일부로서 형성될 수 있다. 수집 회로는 또한 명세서 전반에 걸쳐 픽셀 회로로 지칭될 수 있다. 적어도 하나의 센서 회로는 지속적으로 또는 주기적으로 센서 신호를 생성할 수 있다. 아날로그-디지털 변환기 회로는 현재의 VSIG를 디지털 신호로 변환할 수 있다. 따라서 디지털 저장 회로는 이전의 VSIG에 대응하는 적어도 하나의 디지털 신호의 표현을 저장하도록 구성될 수 있다. 현재의 VSIG 및 이전의 VSIG의 디지털 표현은 적어도 하나의 디지털 비교기 회로에 의해 비교될 수 있다. 이전의 VSIG 또는 VSIG의 디지털 표현 각각은, 임의의 이전의 샘플 주기에서 생성되고 디지털 저장 회로에 저장된 신호에 대응할 수 있다. 또한 외부에서 제공되어 레퍼런스 신호로서 저장될 수 있다. 또한, 델타 이미지 센서로부터 출력되는 이벤트를 출력하기 위한 회로에는 적어도 하나의 이벤트 출력 라인이 포함될 수 있다. 적어도 하나의 이벤트 출력 라인은 또한 다수의 디지털 출력 회로에 의해 공유될 수 있다.
바람직하게는, 각각의 수집 회로는 적어도 2개의 픽셀 사이에서 공유되며, 바람직하게는 픽셀은 서로 인접한다.
바람직하게는, 센서 회로는,
a) 광도(light intensity)에 대한 선형 종속성
b) 광도에 대한 비선형 종속성, 바람직하게는 로그(logarithmic) 종속성, 및
c) 광도에 대한 비선형 종속성 및 선형 종속성의 결합
을 포함하는 관계성 중 하나에 근거하여 VSIG를 생성하도록 구성되고,
바람직하게는, 상기 관계성은 제어 신호에 반응하여 변경 가능하다.
제어 신호는 픽셀 배열 및 수집 회로의 외부로부터 제공될 수 있다. 전체 배열에 대해 하나의 제어 신호가 있거나 더 많은 대상이 있을 수 있다.
센서 회로는, 작동 중에, 바람직하게는 이따금 제어 신호에 반응하여 광도에 대한 VSIG의 종속성을 변화시키도록 구성되고/되거나, 센서 회로는, 개별적으로 적어도 하나의 픽셀 또는 픽셀의 서브셋에 대하여, 작동 중에 제어 신호에 반응하여 광도에 대한 VSIG의 종속성을 변화시키도록 구성된다.
제어 신호 변경은 전체 광 강도 또는 작동 모드의 변경으로 인해 이따금 변경될 수 있다. 이따금 제어 신호 변경을 발생시키는 별도의 회로가 제공될 수 있다.
이미지 센서는 바람직하게는 다음과 같은 특징을 더 구현할 수 있다.
a) 아날로그-디지털 변환기 회로는 비교기를 포함하고, 비교기는,
aa) 스윕된(swept) 아날로그 입력 신호, 및
ab) 스윕된 아날로그 입력 신호 각각이 서로 다른 차함수(difference function)를 제공하는, 순차적인 스윕된 아날로그 입력 신호
를 포함하는 스윕된 신호 중 하나와 VSIG를 비교하도록 구성되고,
바람직하게는, 입력 신호는 복수의 변환기 회로를 위해 제공되고/되거나,
b) 아날로그-디지털 변환기 회로는, 스윕된 아날로그 신호에 대응되는 적어도 하나의 디지털 코드를 적어도 하나의 픽셀에 제공하도록 더 구성되되,
ba) 바람직하게는, 디지털 코드는 그레이 코드(gray code)인 디지털 신호이고,
bb) 바람직하게는, 스윕된 아날로그 신호 및 디지털 코드 사이의 관계성은, 저장 램프(ramp) 및 비교 램프 사이에서 변경된다.
또한,
a) 스윕된 신호는 선형 램프이거나,
b) 스윕된 신호는 비선형 램프일 수 있고,
또는,
c) 스윕된 신호는 작동 중에 변경되고/되거나,
d) 상기 스윕된 신호의 주기는 작동 중에 변경될 수 있고,
그리고/또는,
e) 상기 스윕된 신호의 반복은 작동 중에 단주기(short period) 또는 확장 주기(extended period) 동안 인터럽트될 수 있고/있거나,
f) 상기 스윕된 신호의 반복률은, 상기 광센서에 인가되는 상기 광 신호의 상기 광원 변조에 대응하는 하나 이상의 반복률로부터 선택되어, 바람직하게는 이벤트 출력을 증가 또는 억제하도록 할 수 있다.
특히, 상기 f) 항목에서, 스윕된 신호의 반복률은 바람직하게는 타겟(예를 들어 주어진 주파수의 광원)에 대한 응답을 증가 또는 억제하기 위해 또는 주어진 주파수의 교란에 대한 응답을 억제하기 위해, 광센서에 인가되는 광 신호의 광원 변조에 대응하여 하나 이상의 반복률로부터 선택될 수 있다.
바람직하게는, 이미지 센서는, 스윕된 램프 범위를 설정하도록 구성된 적어도 하나의 레퍼런스 픽셀을 더 포함하고, 바람직하게는, 적어도 하나의 레퍼런스 픽셀은 픽셀 배열 외부에 위치되고/되거나, 바람직하게는, 적어도 하나의 레퍼런스 픽셀은 레퍼런스 조건 하에 바이어싱 된다.
바람직하게는, 디지털 비교기 회로는 아날로그 신호의 스윕 동안 저장된 레벨과의 비교를 수행하도록 구성되거나, 디지털 비교기 회로는 아날로그 신호의 스윕 이후 저장된 레벨과의 비교를 수행하도록 구성된다.
"아날로그 신호의 스윕 동안"과 "아날로그 신호의 스윕 이후"는 동일한 과정을 의미할 수 있다.
특히, 아날로그 신호의 스윕 중에 비교가 수행되면, A/D 출력 값은 저장하지 않고 비교 결과만 저장할 수 있다. 이로 인해 메모리 요구는 줄어들지만 더 많은 비교가 가능하다. 아날로그 신호의 스윕 후 비교를 수행하면 A/D 출력 값을 저장할 필요가 없다. 이렇게 하면 메모리 요구는 증가하지만 필요한 비교 수는 줄어든다.
바람직하게는,
a) 디지털 비교기 회로는 픽셀 회로 내의 스태틱 로직(static logic)을 사용하는 비교를 수행하도록 구성되거나,
b) 디지털 비교기 회로는 상기 픽셀 회로 내의 다이내믹 로직(dynamic logic)을 사용하는 비교를 수행하도록 구성되고,
그리고/또는
c) 디지털 비교기 회로는 히스테리시스(hysteresis)와 비교를 수행하도록 구성되고/되거나,
d) 디지털 비교기 회로는 작동 중 이따금 변경되는 차(difference)를 요구하는 비교를 수행하도록 구성된다.
바람직하게는, 출력 회로는 인접한 픽셀 내의 비교기 회로의 비교 결과에 따른 출력을 생성하도록 구성되거나, 출력 회로는 고정된 구성 또는 작동 중에 변경되는 구성 내에서 인접한 픽셀의 함수 - 바람직하게는, 상기 함수는 평균 함수임 - 에 따른 출력을 생성하도록 구성되고/되거나, 출력 회로는 비교의 변화율이 특정 임계값을 초과하면 출력을 생성하도록 구성된다.
바람직하게는,
a) 출력 회로는 인접한 픽셀 내의 출력에 따라 출력을 생성하도록 구성되거나,
b) 출력 회로는 인접한 픽셀 내의 저장된 레벨에 따라 출력을 생성하도록 구성되거나,
c) 출력 회로는 복수의 저장된 값에 따라 출력을 생성하도록 구성된다.
바람직하게는,
a) 출력 회로는 변경된 레벨의 방향을 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
b) 출력 회로는 한 방향의 변경된 레벨만을 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
c) 출력 회로는 변경된 레벨의 크기(magnitude)를 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
d) 출력 회로는 변경된 레벨 전에 및/또는 후에 광의 인가의 강도를 나타내는 이벤트 출력을 생성하도록 구성된다.
바람직하게는,
a) 디지털 저장 회로는 픽셀 배열의 출력 라인에 저장된 디지털 표현을 제공하도록 구성되고/되거나,
b) 디지털 저장 회로는, 이벤트 출력을 갖는 픽셀에 대해 선택적으로, 픽셀 배열의 출력 라인에 저장된 디지털 표현을 제공하도록 구성되고/되거나,
c) 디지털 저장 회로는 이벤트 열 라인(event column line)을 사용하는 출력 라인에 저장된 디지털 표현을 제공하도록 구성된다.
이미지 센서는 일반적으로 이미지 데이터를 출력한다. 일 실시예에서, 이미지 센서에 입력되는 이미지 데이터를 받아들일 수 있다. 유사한 개념은 문헌에서 제안되지 않는다.
레퍼런스 이미지 데이터가 이미지 센서의 디지털 저장에 기록되는 경우 이미지 센서는, 현재의 이미지가 레퍼런스 이미지와는 다른, 이벤트를 생성할 수 있다. 이미지 센서 픽셀의 물리적 레이아웃으로 인해 계산이 효율적이며 기존 하드웨어를 재사용한다. 바람직하게는, 실시예는 다음 중 하나 또는 모두를 포함할 수 있다.
(a) 픽셀 내의 작은 차에 대한 디지털 허용오차;
(b) 이미지 변경 타이밍에 대한 디지털 허용 오차; 또는
(c) 레퍼런스 및 실제 이미지의 디지털 허용 오차 또는 지리적 정렬.
선호되는 관심 영역은 제조 공정의 육안 검사일 수 있다. 레퍼런스 이미지는 다음과 같다.
(a) 고정 이미지;
(b) 고정 이미지 시퀀스; 또는
(c) 비디오 시퀀스.
픽셀은 개별적으로 자체 주소를 가질 수 있고, 무작위로 주소가 지정된 시퀀스에 있는 특정 픽셀에 대한 이미지 정보를 순차적으로 기록하도록 한다.
이미지 데이터 스트림을 사용하여 모든 픽셀의 디지털 저장소에 데이터가 기록되는 전체 레퍼런스 이미지가 기록될 수 있다. 픽셀 정보는 특정 순서로 공급될 수 있다. 전체 레퍼런스 이미지는 프레임 데이터로 정기적으로 업데이트될 수 있다.
레퍼런스 이미지 데이터는 레퍼런스 이미지의 픽셀 레벨 변경만을 포함하는 데이터 스트림인 이벤트 스트림으로부터 기록될 수 있다. 이벤트 스트림은 레퍼런스 이미지 데이터 비디오 프레임의 압축된 버전을 제공할 수 있다. 이벤트 스트림은 이미지 센서에 의해 생성된 출력 데이터를 따를 수 있다. 이렇게 하면 레퍼런스 비디오 캡처로부터 생성된 동일한 이벤트 스트림을 후기록에 사용할 수 있다.
다이내믹 비전 센서는 특히 이미지의 부분의 고속 변경에 적합할 수 있다. 고속 이벤트의 후기록은, 표준 프레임 기반 카메라에 대해 처리하기 어렵거나 불가능한 비디오 시퀀스에 대한 비디오 차이를 용이하게 할 수 있다.
레퍼런스 이미지 데이터는 또한 이미지에 대한 광류(optical flow) 계산에 기반한 예측 데이터일 수 있다. 이미지의 섹션이 특정 속도(광류)로 픽셀 배열을 가로질러 이동하는 것으로 결정된 경우, 이미지 섹션의 예측된 움직임이 픽셀 배열에 기록될 수 있다. 그런 다음 픽셀 배열은 예측과 실제 이미지 움직임 사이의 오류를 이벤트로 보고한다. 이러한 오류는 예측을 구체화하는 데 사용될 수 있다.
출력 라인은 단일로 또는 다수로 제공될 수 있다. 출력 회로 간에 공유될 수도 있다. 출력 회로가 제공될 수도 있다.
또한 수집 회로에 저장된 디지털 표현은 배열 외부로부터 기록될 수도 있다. 이전의 출력은 회로에 대한 변경 레퍼런스를 제공하기 위해 저장된 픽셀 디지털 레벨에 다시 기록될 수 있다. 그러면 회로는 레퍼런스와 관련된 변경만 보고한다. 일반적으로 이미지 데이터는 모든 픽셀을 나타낸다. 그러나 이벤트 스트림에는 변경만 포함되므로 데이터가 적다. 따라서 이벤트 스트림을 다시 기록하면 데이터 비율을 낮출 수 있다.
바람직하게는, 센서 회로는, 저장된 디지털 레벨 또는 인접한 픽셀의 저장된 디지털 레벨에 대응하는 디지털 저장 회로로부터 피드백을 수신하고, 센서 회로는 상기 피드백에 따라 VSIG를 생성하도록 구성된다. A/D 회로는 저장된 디지털 레벨 또는 인접한 픽셀의 저장된 디지털 레벨로부터 피드백을 수신할 수 있고, 피드백에 따라 출력 신호를 조정하도록 구성될 수 있다.
바람직하게는, 센서 회로는 VSIG를 제공하도록 구성되고/되거나, 이미지 센서는 다수의 반도체 레이어로 구성되고, 각각의 레벨은 레이어의 함수에 최적화된다.
특히, VSIG의 아날로그 표현 또는 아날로그 레벨이 제공되어 회로 또는 배열로부터 직접 판독될 수 있다.
수집 회로 그룹은 하나의 또는 다수의 공통 이벤트 출력 라인에 연결될 수 있다.
수집 회로 그룹은 (a) 디지털 출력 회로, (b) 디지털 비교기 회로, (c) 추가 디지털 저장 회로, (d) 추가 아날로그-디지털 변환기 회로 중 적어도 하나의 회로 요소를 공유할 수 있다. 도면은 대표적인 것이며, 공유된 요소의 다른 조합이 배제되지는 않는다.
본 개시는 또한 스윕된 아날로그 신호 및 디지털 코드를 갖는 비교기를 사용하여 아날로그-디지털 변환의 구현을 포함할 수 있다.
본 발명은 다중 실리콘 레이어 장치에 대한 이벤트 생성을 제공하며, 이는 위에서 언급한 Itoh 외가 개시하지 않은 것이다.
실시예에서, 레퍼런스 이미지 데이터는 순차적인 이벤트 발생에 영향을 미치기 위해 디지털 저장 회로에 기록된다.
이미지 센서의 픽셀 간 공유 회로(예: KR 2020-0029328 A)는 조밀한 픽셀 배열과 높은 픽셀 해상도를 생성하는 이미지 센서 설계에서 매우 중요하다. 본 발명은 시간 순차 방식으로 디지털 저장 및 이벤트 계산을 사용하는데, 이는 특히 성능 저하 없이 픽셀 간에 리소스를 공유하는 데 적합하다.
또한, 본 발명은 US 2015/358570 A1에 개시된 기술의 사용을 다이내믹 비전 센서로 확장하며, 여기서 디지털 저장 및 전체 타이밍을 갖는 프로세싱의 사용이 효율적이고, 생성된 이벤트 수의 감소에 미치는 영향이 전력 소비 및 순차 프로세싱에 중요하다.
인-픽셀(in-pixel) 디지털 저장에 의해 가능해진 본 발명은, 인접 픽셀에 저장된 디지털 레벨(다수의 비트)에 기초하여 이벤트를 선택적으로 생성할 수 있다. 이러한 선택적 필터링의 특정 구성은 WO 2020/080383 A1에 개시된 단일 비트 필터링과 동일한 결과를 달성하기 위해 사용될 수 있다.
또한, 예를 들어 위에서 확인된 T. Delbruck과 비교하여, 본 발명은 타임스탬프 복잡도 감소를 위한 A/D 변환 기술로 인해 고유한 타임베이스를 가지며, 추가 전송 없이 이벤트의 로컬, 디지털, 시간 필터링을 가능하게 한다.
본 발명은 저장된 디지털 레벨 또는 이벤트 출력에 기초하여 아날로그 회로 파라미터를 변조하는데, 이는 이 피드백이 EP 3 313 064 A1의 전술한 개시와 다르게, 디지털 제어 하의 스위치로 효율적으로 구현(표면적)되기 때문이다.
전술한 EP 2 933 995 A1과 비교하여, 본 발명은 로컬 저장된 픽셀 디지털 레벨 또는 이벤트 출력에 기초한 아날로그 회로 파라미터의 변조를 제안하는데, 이는 이 피드백이 디지털 제어 하의 스위치로 효율적으로 구현(표면적)되기 때문이다. 이는 EP 2 933 995 A1과 관련하여 기능(픽셀 로컬), 구현(디지털 제어) 및 목적이 다르다.
본 발명은 디지털 인-픽셀 변환 및 저장의 이점을 이용하여 고해상도 및 비용 최적화된 센서를 생산하는 영역 최적화된(소형) 픽셀 구조를 가능하게 한다.
스태틱 배경 제거(예: WO 2020/229981 A1)는 이벤트 기반 다이내믹 비전 검출의 고유한 부분이며, 이미지 센서 내부에서 구현된다. 이미지 센서 픽셀 배열의 디지털 저장을 사용하고, 해당 저장에 기록 기능을 제공하여, 본 발명은 스태틱 또는 다이내믹 배경(또는 레퍼런스) 제거 및 실제 이벤트 출력을 제공하기 위해 다이내믹 비전 센서의 고유한 차 함수를 사용한다.
본 발명은 도면을 참조하여 추가로 설명된다. 도 1 내지 도 5는 본 발명의 예시적인 실시예를 도시한다.
도 1은 본 발명에 따른 델타 이미지 센서의 제1 예시적인 구성을 개략적으로 도시한다.
도 2는 본 발명에 따른 델타 이미지 센서의 또 다른 예시적인 구성들을 개략적으로 도시하며, 도 2의 (a)는 이벤트 생성 회로의 공유를 도시하고, 도 2의 (b)는 이벤트 생성 회로 및 디지털 비교기 회로의 공유를 도시한다. 도 2의 (c)는 이벤트 생성 회로, 디지털 비교기 회로 및 디지털 저장 회로의 공유를 나타내고, 도 2의 (d)는 이벤트 생성 회로, 디지털 비교기 회로, 디지털 저장 회로 및 A/D 변환기 회로의 공유를 나타낸다.
도 3은 아날로그(VSIG)로부터 디지털 표현으로의 변환이 픽셀 회로 내의 비교기를 사용하여 수행되고 스윕된 아날로그 신호가 픽셀 회로에 적용되는 예시적인 실시예를 도시한다.
도 4a 및 도 4b는 본 발명에 따른 델타 이미지 센서의 또 다른 예시적인 구성을 개략적으로 도시한 것으로, 특정 픽셀에 대한 기록 이미지 정보가 도시되어 있다.
도 5는 본 발명에 따른 델타 이미지 센서의 또 다른 예시적인 구성을 개략적으로 도시하며, 이미지에 대한 광류 계산에 기초한 예측 데이터가 도시되어 있다.
동일한 참조 번호는 도면에서 동일하거나 유사한 구성 요소를 나타낸다. 따라서 중복 설명은 생략한다.
도 1은 본 발명에 따른 제1 예시적 구성을 개략적으로 도시한다. 이미지 센서라고도 하는 델타 이미지 센서는 픽셀 배열과 적어도 하나의 수집 회로(1)를 포함한다. 수집 회로(1)는 픽셀 회로라고도 불릴 수 있다. 회로는 집적 회로의 일부로서 형성된다. 각 픽셀의 수집 회로(1)는, 적어도 하나의 픽셀의 광센서에 인가되는 광 신호 또는 광 인가 강도에 따라 센서 신호(VSIG)를 생성하는 광센서를 포함하는 적어도 하나의 센서 회로(11), 및 적어도 하나의 아날로그-디지털 변환기 회로(12, A/D 변환기)를 포함한다. 디지털 변환기 회로(12)는 센서 회로(11)의 출력에 연결될 수 있다. 적어도 하나의 디지털 저장 회로(13)는 이전의 VSIG에 대응하는 적어도 하나의 디지털 신호의 표현을 저장하도록 구성된다. 디지털 저장 회로(13)는 A/D 변환기(12)의 출력에 연결될 수 있다. 적어도 하나의 디지털 비교기 회로(14)는 저장된 표현의 레벨을 현재의 VSIG와 비교하여, 변경된 레벨이 존재하는지 여부를 검출하도록 구성된다. 디지털 비교기 회로(14)는 디지털 저장 회로(13)의 출력과 A/D 변환기(12)의 출력에 연결될 수 있다. 적어도 하나의 디지털 출력 회로(15) 또는 디지털 이벤트 생성 회로는 변경된 레벨이 존재하는 조건 하에 이벤트 출력을 생성하도록 구성된다. 출력 회로(15)는 디지털 비교기 회로(14)의 출력에 연결될 수 있다.
적어도 하나의 이벤트 출력 라인(16)은 델타 이미지 센서로부터 출력된 이벤트를 출력하기 위해 픽셀 회로(1) 내부 또는 픽셀 회로(1) 외부에 포함될 수 있다. 적어도 하나의 이벤트 출력 라인(16)은 또한 다수의 디지털 출력 회로(15)에 의해 공유될 수 있다.
이 제1 예시적인 픽셀 구성은 인터벌(interval)에 걸쳐 변화된 광 인가 강도의 검출을 가능하게 한다. 디지털 비교기 회로(14)가 저장된 신호의 디지털 표현과 인터벌 후의 디지털 표현의 차를 검출하고, 이 차가 주어진 기준을 충족하면, 이벤트가 생성되고 변경 사실이 이미지 센서의 출력에 이벤트 정보로서 보고된다.
레벨의 디지털 저장은, (i) 저장된 레벨이 시간이 지남에 따라 저하되지 않고, (ii) 저장 회로(13)가 물리적으로 더 작을 수 있고, (iii) 인접한 셀에서 값을 쉽게 사용할 수 있고, (iv) 다른 픽셀이나 이전의 값과의 조합 함수 구현에 보다 유연하게 값을 사용할 수 있기 때문에, 다양한 어플리케이션에서 우선적일 수 있다.
추가적인 예시적인 구성에서, 도 2에 도시된 바와 같이, 픽셀 회로의 일부는 픽셀의 서브셋 간에 공유된다. 그런 다음 공유 요소의 사용은 시간 순차 방식으로 수행된다.
도 2의 (a)는 이벤트 생성 회로(15)의 공유를 도시하고, 도 2의 (b)는 이벤트 생성 회로(15)와 디지털 비교기 회로(14)의 공유를 도시하고, 도 2의 (c)는 이벤트 생성 회로(15), 디지털 비교기 회로(14) 및 디지털 저장 회로(13)의 공유를 도시하고, 도 2의 (d)는 이벤트 생성 회로(15), 디지털 비교기 회로(14), 디지털 저장 회로(13) 및 A/D 변환기 회로(13)의 공유를 도시한다.
다른 공유 구성이 가능하며 위 목록은 이러한 가능성을 배제하지 않는다. 다른 함수를 다른 범위로 공유하는 것 역시 가능한데, 예를 들어, 4 픽셀 이상의 A/D 변환기 회로(12) 및 16 픽셀 이상의 이벤트 생성 회로(15)도 가능하다. 다른 구성 역시 유리할 수 있다.
본 발명의 하나의 예시적인 실시예는, 광 인가 강도 신호를 선형 관계성을 갖는 아날로그 전기 신호로 변환한다. 이 실시예는, 포토다이오드 모드에서 전하를 통합하고 이미지 캡처 어플리케이션에 최적화된 상용 표준 셀을 사용하는, 낮은 광 인가 레벨에서 유리하다.
본 발명의 추가적인 예시적인 실시예는, 광 인가 강도 신호를 로그(logarithmic) 관계성을 갖는 아날로그 전기 신호로 변환한다. 이 실시예는 출력 아날로그 신호가 넓은 범위의 광 인가 강도에 걸쳐 포화되지 않기 때문에 광학적 광 인가 신호의 높은 다이내믹 범위에 유리하다.
본 발명의 추가적인 예시적인 실시예는, 응답 곡선으로서 선형 및 로그 함수 또는 유사한 비선형 함수 조합을 사용하는 변환의 조합을 사용한다. 이 실시예는 매우 낮은 광 인가 성능과 높은 다이내믹 범위를 모두 가능하게 하는 데 유리하다. 제1 실시예는 결합된 함수를 갖는 고정된 구성을 사용한다.
추가 예시적인 실시예는 픽셀 배열 전체를 위해 작동 중에 응답 곡선이 변경되도록 하는 구성을 허용한다. 이는 이미지 센서 어플리케이션의 전체 광 인가 조건 또는 작동 모드에 따라 바람직하게 수행된다.
추가 실시예는 응답 곡선이 픽셀의 서브셋에 대해 독립적으로 작동하는 동안 변경되도록 구성을 허용한다. 이것은 바람직하게는 이미지 센서 애플리케이션의 관심 초점 또는 로컬 광 인가 조건에 따라 수행된다.
하나의 예시적인 실시예에서, 도 3에 따르면, 아날로그(VSIG)로부터 디지털 표현으로의 변환은 픽셀 회로(1)의 비교기와 픽셀 회로에 적용된 스윕된 아날로그 신호를 사용하여 수행된다. 디지털 표현은 비교기 출력이 토글되는 포인트에 따라 디지털 저장 회로(13)에 복사된다.
도출된 실시예에서, 스윕된 아날로그 신호는 선형 램프이다; 추가 실시예에서, 스윕된 아날로그 신호는 비선형 램프, 예를 들어 지수 램프(exponential ramp)이다.
스윕된 신호가 중앙에서 생성될 수 있으므로, 비선형 램프의 구현은, 이 회로에 대한 추가 복잡성이 장치에서 단 한 번만 필요하고, (i) 영역 절약 및 (ii) 모든 픽셀에 대해 일치하는 함수를 제공하므로 유리하다.
특히 램프의 변경은 센서 회로(11)의 비이상성을 보상하거나 온도 또는 기타 환경 조건에 따른 변동을 보상하는 데 사용될 수 있다.
특히, 변경은 아날로그 또는 디지털 방식으로 수행될 수 있다.
특히, 장치 상의 테스트 셀을 참조하여 변경이 수행될 수 있다. 이 구현은 테스트 셀에 반영된 비이상성(non-idealities)의 보상이 자동이기 때문에 유리하다.
하나의 예시적인 실시예에서, 동일한 스윕된 아날로그 램프가 전체 픽셀 배열에 동시에 제공된다. 도출된 실시예에서, 상이한 스윕된 아날로그 램프가 배열의 서브셋에 적용된다.
상이한 램프의 사용은 센서 회로(11)의 특성이 픽셀 배열에 걸쳐 변하고(의도적인 셀 변동 또는 프로세스 또는 광학 구성으로 인해) 이 변동이 상이한 램프의 제공으로 보상되는 경우에 유리하다.
추가 실시예에서, 스윕된 아날로그 램프는 작동하는 동안 이미지 센서의 작동 모드에 따라 이따금 변경된다.
하나의 예시적인 실시예에서, 변경되는 디지털 코드는 아날로그 램프와 동시에 제공된다. 디지털 저장 회로(13)에 저장된 디지털 코드는 비교기 출력이 토글될 때 디지털 코드의 값이다. 제1 실시예에서, 코드는 이진 코드이다.
도출된 실시예에서 디지털 코드는 그레이 코드이다. 그레이 코드는 (i) 한 번에 하나의 에지만 변경되고 에지의 양쪽 코드가 유효하기 때문에 디지털 저장과의 동기화가 필요하지 않고 (ii) 그레이 코드가 주기(cycle) 동안 더 적은 에지를 가지며 전력 소비가 감소하기에 유리하다.
도출된 실시예에서 아날로그 및 디지털 코드 스윕은 저장 및 비교 스윕 또는 다중 비교 스윕으로 순차적으로 분리된다. 아날로그 신호 레벨과 디지털 코드 사이의 관계성은 레퍼런스 스윕과 비교 스윕 사이에서 가변적이다. 이 접근 방식은 픽셀에 더 간단한 디지털 비교 로직이 필요하기 때문에 유리하다. 이는 필요한 영역을 감소시킨다.
도출된 실시예에서, 스윕된 아날로그 레벨과 디지털 코드 사이의 상이한 관계성은 픽셀의 상이한 서브셋에 대해 생성된다.
이 접근 방식은 디지털 코드가 (i) 계산에서 또는 (ii) 디지털 회로의 타이밍에서 변경될 수 있기 때문에 유리하다. 이를 통해 다수의 아날로그 램프를 생성하는 동안 영역 절약과 향상된 유연성을 제공하고, 픽셀 배열의 서브셋의 함수를 보상하거나 변경할 수 있다.
하나의 예시적인 실시예에서, 저장된 레벨과 현재의 레벨 사이의 디지털 비교는 아날로그 스윕 동안 연속적으로 수행된다. 비교 결과는 아날로그 비교기 출력과 디지털 비교의 토글링 타이밍과 관련이 있다. 이 실시예에서 히스테리시스 또는 상이한 이벤트 생성 임계값의 구현은 상대적인 타이밍에 기초하여 수행된다.
하나의 예시적인 실시예에서, 타이밍의 변동은 클록(clock)에 기초하여 생성된다. 추가 예시적인 실시예에서, 변동은 픽셀 회로 내의 타이머 회로와 함께 생성된다.
추가 예시적인 실시예에서, 저장된 레벨과 현재의 사이의 디지털 비교는 아날로그 전압 스윕 다음에 수행된다. 이 실시예는 로직이 실리콘 영역의 절약을 제공하는 순차적 요소(예: 비트 단위)를 반복적으로 사용할 수 있는 경우 유리하다.
하나의 예시적인 실시예에서 순차적 로직은 스태틱 로직으로 수행된다.
추가 예시적인 실시예에서, 순차적 로직은 다이내믹 로직으로 수행된다.
도출된 실시예에서, 디지털 비교는 이전의 결과로부터의 피드백으로 수행된다. 이는 일반적으로 비교에서 히스테리시스를 구현하는 데 사용되며 노이즈 억제 및 스퓨리어스(spurious) 이벤트 감소에 유리하다.
도출된 실시예에서 디지털 비교 및 이벤트 생성은 이벤트를 생성하기 위해 서로 다른 차(>1)를 요구하여 수행된다. 이는 (i) 이벤트 수를 줄이거나 (ii) 이벤트 생성 해상도를 개선하는 데 유리할 수 있다.
필요한 차는 (i) 신호 레벨, (ii) 작동 모드 (예: 관심 영역), (iii) 인접 픽셀 레벨, (iv) 픽셀의 이전 레벨, (v) 픽셀 이전의 이벤트, 및 (vi) 인접 픽셀의 이벤트에 따라 달라질 수 있다.
도출된 실시예에서, 특정 비율 이하의 이벤트 생성 비율은 픽셀 회로 내에서 억제된다. 이것은 이 정보가 순차적 이미지 프로세싱에 덜 유용하고 이벤트 억제가 전력 및 프로세싱 요구를 줄이기 때문에 유리하다.
하나의 예시적인 실시예에서, 이벤트 생성을 위한 디지털 조건은 인접한 픽셀 회로의 이벤트 생성에 의존한다. 예를 들어 이러한 작동은 이벤트 필터링을 통해 스퓨리어스 이벤트의 수를 줄일 수 있다.
하나의 예시적인 실시예에서, 이벤트 생성을 위한 디지털 조건은 인접한 픽셀 회로의 저장된 레벨에 의존한다. 예를 들어 이러한 작동은 이벤트 필터링을 통해 에지 근처에서 향상된 감도를 제공할 수 있다.
하나의 예시적인 실시예에서, 이벤트 생성을 위한 디지털 조건은 픽셀 회로의 다수의 저장된 레벨에 의존한다. 예를 들어 이러한 작동은 아날로그 노이즈의 필터링을 통해 스퓨리어스 이벤트의 수를 줄일 수 있다.
하나의 예시적인 실시예에서, 교란 광원의 플리커 주파수와 동기화되도록 샘플링 비율이 선택된다. 이는 이 광원으로 인한 이벤트를 억제할 수 있으므로 유리하다.
하나의 예시적인 실시예에서, 이벤트 출력은 단일 이벤트 비트, 예를 들어 업 이벤트이거나, 이벤트가 없다. 즉, 업 이벤트는 증가된 광도(light intensity)에 해당한다.
추가 실시예에서, 이벤트 출력은 2비트, 예를 들어 업 및 다운이다. 즉, 이벤트 출력은, 광도 또는 센서 신호(VSIG)가 저장된 광도 레벨 또는 저장된 VSIG보다 큰지 또는 작은지를 나타낼 수 있다.
추가 예시적인 실시예에서, 이벤트 출력은 변경의 크기의 디지털 표현을 포함한다. 이 실시예는 이벤트 정보로부터 이미지를 완벽하게 재구성할 수 있다는 장점이 있다.
도 4a는 특정 시퀀스로 완전한 이미지에 대한 정보를 기록하고, 기록된 첫 번째 픽셀로서 상부 좌측 픽셀에서 시작하여 첫 번째 상부 행 및 순차적인 행을 우측 하부 픽셀까지 스캐닝하는 것을 도시하고, 도 4b는 임의의 시퀀스에 있는 임의의 픽셀에 대한 무작위 액세스를 도시한다.
도 4a를 참조하면, 이미지 데이터 스트림을 사용하여 모든 픽셀의 디지털 저장에 데이터가 기록되는 전체 레퍼런스 이미지가 기록될 수 있다. 픽셀 정보는 특정 순서로 제공될 수 있다. 전체 레퍼런스 이미지는 프레임 데이터로 정기적으로 업데이트될 수 있다.
다음으로, 도 4b를 참조하면, 픽셀은 개별적으로 자체 주소를 가질 수 있고, 무작위로 주소가 지정된 시퀀스에 있는 특정 픽셀에 대한 이미지 정보가 순차적으로 기록될 수 있다.
레퍼런스 이미지 데이터는 레퍼런스 이미지의 픽셀 레벨 변경만을 포함하는 데이터 스트림인 이벤트 스트림으로부터 기록될 수 있다. 이벤트 스트림은 레퍼런스 이미지 데이터 비디오 프레임의 압축된 버전을 제공할 수 있다. 이벤트 스트림은 이미지 센서에 의해 생성된 출력 데이터를 따를 수 있다. 이렇게 하면 레퍼런스 비디오 캡처로부터 생성된 동일한 이벤트 스트림을 후기록에 사용할 수 있다.
다이내믹 비전 센서는 특히 이미지의 부분의 고속 변경에 적합할 수 있다. 고속 이벤트의 후기록은, 표준 프레임 기반 카메라에 대해 처리하기 어렵거나 불가능한 비디오 시퀀스에 대한 비디오 차이를 용이하게 할 수 있다.
도 5를 참조하면, 레퍼런스 이미지 데이터는 또한 이미지에 대한 광류(optical flow) 계산에 기반한 예측 데이터일 수 있다. 이미지의 섹션이 특정 속도(광류)로 픽셀 배열을 가로질러 이동하는 것으로 결정된 경우, 이미지 섹션의 예측된 움직임이 픽셀 배열에 기록될 수 있다. 그런 다음 픽셀 배열은 예측과 실제 이미지 움직임 사이의 오류를 이벤트로 보고한다. 이러한 오류는 예측을 구체화하는 데 사용될 수 있다.
도 5에서, 직사각형은 화살표 방향으로 이미지를 가로질러 이동할 것으로 예측되고 직사각형 앞과 뒤의 픽셀에 대한 픽셀 정보가 새로운 예측 값으로 기록된다.
추가 예시적인 실시예에서, 이벤트 출력은 변경 전 및/또는 변경 후의 광 강도 표현을 포함한다. 일 실시예에서, 픽셀 배열에 저장된 값의 레벨을 판독하는 것이 추가로 가능하다.
도출된 실시예에서, 타겟 영역으로부터의 디지털 저장 값은 선택적으로 판독되고, 즉, 랜덤 액세스를 통해 이루어진다.
추가 예시적인 실시예에서, 디지털 레벨은 기존 공통 이벤트 출력 라인을 통해 판독된다. 일 실시예에서, 저장된 디지털 레벨은 비교를 위해 새롭거나 의도적으로 변경된 레퍼런스를 제공하기 위해 픽셀 배열에 기록될 수 있다. 도출된 실시예에서, 이벤트 생성을 위해 시간 종속 레퍼런스를 의도적으로 제공하도록, 데이터 스트림이 저장된 디지털 레벨에 기록된다.
도출된 관련 실시예에서, 데이터 스트림은 센서에 의해 정상적으로 생성된 것과 유사한 이벤트 스트림이다.
일 실시예에서 센서 회로(11)는 저장된 디지털 레벨 또는 인접 픽셀의 저장된 디지털 레벨로부터의 피드백을 갖고, 해당 픽셀의 VSIG 레벨을 조정하도록 한다. 이 실시예는, 예를 들면 최소 표면적에서 히스테리시스 함수를 구현하기에 유리할 수 있다.
하나의 예시적인 실시예에서, 비교기 회로는 비교기의 함수를 조정하기 위해, 일반적으로 오프셋을 추가하기 위해, 저장된 디지털 레벨 또는 인접 픽셀의 저장된 디지털 레벨로부터의 피드백을 갖는다. 이 실시예는, 예를 들면 최소 표면적에서 히스테리시스 함수를 구현하기에 유리할 수 있다.
하나의 예시적인 실시예에서, 샘플링 비율은 전기적으로 구성 가능하거나 이따금 작동 중에 전기적으로 변경된다.
전력 소비 및 이벤트 생성 비율은 샘플링 비율에 따라 달라질 수 있다. 샘플링 비율을 줄이면 변화가 없는 상태에서 매우 낮은 전력 모드를 사용할 수 있다. 또한 통합 센서 회로(11)의 동작과 결합된 낮은 샘플링 비율은 낮은 광 상태에서 작동할 수 있다.
하나의 예시적인 실시예에서, 샘플링은 연장된 주기 동안 완전히 인터럽트 된다.
전력 소비 및 이벤트 생성 비율은 샘플링 비율에 따라 달라질 수 있다. 일정 주기(예: 1초) 동안 샘플링을 인터럽트 하는 것은, 매우 낮은 전력 작동을 가능하게 하지만, 디지털 저장으로 인해 기록된 이미지의 정확도를 유지한다.
하나의 예시적인 실시예에서, 아날로그 신호 레벨(VSIG)은 픽셀 배열로부터 판독될 수 있다. 이 실시예는 공통 이벤트 열 라인(column lines)을 사용하여 구현될 수 있다.
하나의 예시적인 실시예에서, 이미지 센서는 다수의 반도체 레이어로 구성되며, 여기서 각 레벨의 반도체 프로세스 유형은 해당 레이어의 함수에 대해 최적화된다. 이러한 구현은 반도체 프로세스의 함수에 대한 최적화가 (i) 성능 향상, (ii) 실리콘 영역 감소 및 이에 따른 (ii) a) 장치 크기 감소 및 (ii) b) 장치 비용 감소를 허용하므로 유리다. 변경된 물리적 구조는 (i) 필 팩터(fill factor) (ii) 양자 효율에 대한 광학 성능을 향상시키고, 제어 신호 라인과 광센서 회로 사이의 전기적 교란을 감소시킨다.
복수의 픽셀은 일반적으로 "행" 및 "열"을 갖는 2차원 그리드로 구성된다. "행" 및 "열"의 정의는 본 발명에 영향을 주지 않고 교환될 수 있음에 유의해야 한다. 또한, 본 발명의 응용 가능성에 영향을 미치지 않으면서 2차원 그리드에 맵핑되는 다른 기하학적 구성이 가능하다는 점에 유의해야 한다.
마지막으로, "포함하는"이라는 용어는 다른 요소나 단계를 배제하지 않으며, 단수 표현은 복수 표현을 배제하지 않는다는 점에 유의해야 한다. 또한, 다른 실시예와 관련하여 설명된 구성 요소들이 결합될 수 있다. 또한, 청구범위의 참조 기호는 청구범위를 제한하는 것으로 해석되어서는 안 된다는 점에 유의해야 한다.

Claims (19)

  1. 픽셀 배열 및 적어도 하나의 픽셀에 대응하고 집적 회로의 일부로서 형성된 복수의 수집 회로(1)를 포함하는 델타 이미지 센서에 있어서, 상기 수집 회로(1) 각각은,
    상기 적어도 하나의 픽셀의 광센서(photosensor)에 인가되는 광 신호(light signal)에 따라 센서 신호인 VSIG를 생성하도록 구성된 상기 광센서를 포함하는, 적어도 하나의 센서 회로(11);
    현재의 VSIG에 대응하는 디지털 표현(digital representation)을 생성하도록 구성된 적어도 하나의 아날로그-디지털 변환기(A/D) 회로(12);
    이전의 VSIG에 대응하는 적어도 하나의 디지털 신호의 표현을 저장하도록 구성된, 적어도 하나의 디지털 저장 회로(13);
    변경된 레벨의 존재 여부를 검출하기 위해, 상기 저장된 표현의 레벨을 상기 현재의 VSIG와 비교하도록 구성된, 적어도 하나의 디지털 비교기 회로(14); 및
    상기 변경된 레벨이 존재하는 조건 하에 이벤트 출력을 생성하도록 구성된, 적어도 하나의 디지털 출력 회로(15);를 포함하고,
    상기 디지털 표현은, 상기 적어도 하나의 픽셀의 상기 디지털 저장 회로(13)에 외부적으로 기록되는,
    이미지 센서.
  2. 제1항에 있어서,
    상기 디지털 표현은 데이터 스트림으로부터 상기 디지털 저장 회로(13)에 외부적으로 기록될 수 있고, 바람직하게는, 레퍼런스 이미지 또는 시가변적(time-varying) 레퍼런스 이미지로서 상기 이미지 센서에 입력될 수 있는,
    이미지 센서.
  3. 제1항 또는 제2항에 있어서,
    상기 디지털 표현은, 이벤트 스트림인 데이터 스트림으로부터 상기 디지털 저장 회로(13)에 외부적으로 기록될 수 있고, 바람직하게는, 레퍼런스 이미지 또는 시가변적 레퍼런스 이미지로서 상기 이미지 센서에 입력될 수 있는,
    이미지 센서.
  4. 제2항 또는 제3항에 있어서,
    상기 레퍼런스 이미지는, 상기 적어도 하나의 픽셀, 바람직하게는 적어도 하나의 픽셀 그룹, 보다 바람직하게는 모든 픽셀에 대한, 레퍼런스 이미지 데이터를 포함하고/하거나,
    상기 레퍼런스 이미지는, 바람직하게는 정기적으로 프레임 데이터로 업데이트되고, 바람직하게는 상기 레퍼런스 이미지 데이터는 특정 순서로 공급되는,
    이미지 센서.
  5. 제4항에 있어서,
    상기 적어도 하나의 픽셀 또는 상기 적어도 하나의 픽셀 그룹은 개별적으로 자체 주소를 가지고, 상기 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀 그룹 각각에, 바람직하게는 무작위로 주소가 지정된 시퀀스에 있는 상기 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀 그룹 각각에, 상기 레퍼런스 이미지 데이터를 순차적으로 기록하도록 하는,
    이미지 센서.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 수집 회로(1) 각각은 적어도 두 개의 픽셀 사이에 공유되고, 바람직하게는, 상기 픽셀들은 서로 인접한,
    이미지 센서.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 센서 회로(11)는,
    a) 광도(light intensity)에 대한 선형 종속성
    b) 상기 광도에 대한 비선형 종속성, 바람직하게는 로그(logarithmic) 종속성, 및
    c) 상기 광도에 대한 비선형 종속성 및 선형 종속성의 결합
    을 포함하는 관계성 중 하나에 근거하여 VSIG를 생성하도록 구성되고,
    바람직하게는, 상기 관계성은 제어 신호에 반응하여 변경 가능한,
    이미지 센서.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 센서 회로(11)는, 작동 중에, 바람직하게는 이따금 제어 신호에 반응하여 상기 광도에 대한 VSIG의 종속성을 변화시키도록 구성되고/되거나,
    상기 센서 회로(11)는, 개별적으로 적어도 하나의 픽셀 또는 픽셀의 서브셋에 대하여, 작동 중에 제어 신호에 반응하여 상기 광도에 대한 VSIG의 종속성을 변화시키도록 구성된,
    이미지 센서.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    a) 상기 아날로그-디지털 변환기 회로(12)는 비교기를 포함하고, 상기 비교기는,
    aa) 스윕된(swept) 아날로그 입력 신호, 및
    ab) 상기 스윕된 아날로그 입력 신호 각각이 서로 다른 차함수(difference function)를 제공하는, 순차적인 스윕된 아날로그 입력 신호
    를 포함하는 스윕된 신호 중 하나와 상기 VSIG를 비교하도록 구성되고,
    바람직하게는, 상기 입력 신호는 복수의 변환기 회로(12)를 위해 제공되고/되거나,
    b) 상기 아날로그-디지털 변환기 회로(12)는, 상기 스윕된 아날로그 신호에 대응되는 적어도 하나의 디지털 코드를 적어도 하나의 픽셀에 제공하도록 더 구성되되,
    ba) 바람직하게는, 상기 디지털 코드는 그레이 코드(gray code)인 디지털 신호이고,
    bb) 바람직하게는, 상기 스윕된 아날로그 신호 및 상기 디지털 코드 사이의 관계성은, 저장 램프(ramp) 및 비교 램프 사이에서 변경되는,
    이미지 센서.
  10. 제9항에 있어서,
    a) 상기 스윕된 신호는 선형 램프이거나,
    b) 상기 스윕된 신호는 비선형 램프,
    또는,
    c) 상기 스윕된 신호는 작동 중에 변경되고/되거나,
    d) 상기 스윕된 신호의 주기는 작동 중에 변경되고,
    그리고/또는,
    e) 상기 스윕된 신호의 반복은 작동 중에 단주기(short period) 또는 확장 주기(extended period) 동안 인터럽트될 수 있고/있거나,
    f) 상기 스윕된 신호의 반복률은, 상기 광센서에 인가되는 상기 광 신호의 상기 광원 변조에 대응하는 하나 이상의 반복률로부터 선택되어, 바람직하게는 이벤트 출력을 증가 또는 억제하도록 하는,
    이미지 센서.
  11. 제9항 또는 제10항에 있어서,
    상기 이미지 센서는, 스윕된 램프 범위를 설정하도록 구성된 적어도 하나의 레퍼런스 픽셀을 더 포함하고,
    바람직하게는, 상기 적어도 하나의 레퍼런스 픽셀은 상기 픽셀 배열 외부에 위치되고/되거나,
    바람직하게는, 상기 적어도 하나의 레퍼런스 픽셀은 레퍼런스 조건 하에 바이어싱된,
    이미지 센서.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 디지털 비교기 회로(14)는 상기 아날로그 신호의 스윕 동안 상기 저장된 레벨과의 비교를 수행하도록 구성되거나,
    상기 디지털 비교기 회로(14)는 상기 아날로그 입력 신호의 스윕 이후 상기 저장된 레벨과의 비교를 수행하도록 구성되는,
    이미지 센서.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    a) 상기 디지털 비교기 회로(14)는 픽셀 회로 내의 스태틱 로직(static logic)을 사용하는 비교를 수행하도록 구성되거나,
    b) 상기 디지털 비교기 회로(14)는 상기 픽셀 회로 내의 다이내믹 로직(dynamic logic)을 사용하는 비교를 수행하도록 구성되고,
    그리고/또는
    c) 상기 디지털 비교기 회로(14)는 히스테리시스(hysteresis)와 비교를 수행하도록 구성되고/되거나,
    d) 상기 디지털 비교기 회로(14)는 작동 중 이따금 변경되는 차(difference)를 요구하는 비교를 수행하도록 구성되는,
    이미지 센서.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 출력 회로(15)는 인접한 픽셀 내의 상기 비교기 회로(14)의 상기 비교 결과에 따른 출력을 생성하도록 구성되거나,
    상기 출력 회로(15)는 고정된 구성 또는 작동 중에 변경되는 구성 내에서 인접한 픽셀의 함수 - 바람직하게는, 상기 함수는 평균 함수임 - 에 따른 출력을 생성하도록 구성되고/되거나,
    상기 출력 회로(15)는 상기 비교의 변화율이 특정 임계값을 초과하면 출력을 생성하도록 구성되는,
    이미지 센서.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    a) 상기 출력 회로(15)는 인접한 픽셀 내의 상기 출력에 따라 출력을 생성하도록 구성되거나,
    b) 상기 출력 회로(15)는 인접한 픽셀 내의 상기 저장된 레벨에 따라 출력을 생성하도록 구성되거나,
    c) 상기 출력 회로(15)는 복수의 저장된 값에 따라 출력을 생성하도록 구성되는,
    이미지 센서.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    a) 상기 출력 회로(15)는 상기 변경된 레벨의 방향을 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
    b) 상기 출력 회로(15)는 한 방향의 변경된 레벨만을 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
    c) 상기 출력 회로(15)는 상기 변경된 레벨의 크기(magnitude)를 나타내는 이벤트 출력을 생성하도록 구성되고/되거나,
    d) 상기 출력 회로(15)는 상기 변경된 레벨 전에 및/또는 후에 광의 인가의 강도를 나타내는 이벤트 출력을 생성하도록 구성되는,
    이미지 센서.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    a) 상기 디지털 저장 회로(13)는 상기 픽셀 배열의 출력 라인에 상기 저장된 디지털 표현을 제공하도록 구성되고/되거나,
    b) 상기 디지털 저장 회로(13)는, 이벤트 출력을 갖는 픽셀에 대해 선택적으로, 상기 픽셀 배열의 상기 출력 라인에 상기 저장된 디지털 표현을 제공하도록 구성되고/되거나,
    c) 상기 디지털 저장 회로(13)는 이벤트 열 라인(event column line)을 사용하는 상기 출력 라인에 상기 저장된 디지털 표현을 제공하도록 구성되는,
    이미지 센서.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 센서 회로(11)는, 상기 저장된 디지털 레벨 또는 인접한 픽셀의 상기 저장된 디지털 레벨에 대응하는 상기 디지털 저장 회로(13)로부터 피드백을 수신하고, 상기 센서 회로(11)는 상기 피드백에 따라 VSIG를 생성하도록 구성되고/되거나,
    상기 A/D 회로(12)는 상기 저장된 디지털 레벨 또는 인접한 픽셀의 상기 저장된 디지털 레벨로부터 피드백을 수신하고, 상기 피드백에 따라 상기 출력 신호를 조정하도록 구성되는,
    이미지 센서.
  19. 제1항 내지 제18항에 있어서,
    상기 센서 회로(11)는 VSIG의 아날로그 표현을 제공하도록 구성되고/되거나,
    상기 이미지 센서는 다수의 반도체 레이어로 구성되고, 각각의 레벨은 상기 레이어의 함수에 최적화되는,
    이미지 센서.
KR1020237002560A 2020-06-26 2021-06-24 외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서 KR20230034313A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20182536.1 2020-06-26
EP20182536.1A EP3930312B8 (en) 2020-06-26 2020-06-26 Delta image sensor with digital pixel storage
PCT/EP2021/067359 WO2021260116A1 (en) 2020-06-26 2021-06-24 Delta image sensor with externally writeable digital pixel storage

Publications (1)

Publication Number Publication Date
KR20230034313A true KR20230034313A (ko) 2023-03-09

Family

ID=71266278

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020237002557A KR20230034312A (ko) 2020-06-26 2021-06-24 디지털 픽셀 저장 및 동기화된 샘플링을 갖는 델타 이미지 센서
KR1020237002560A KR20230034313A (ko) 2020-06-26 2021-06-24 외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서
KR1020237002563A KR20230031900A (ko) 2020-06-26 2021-06-24 디지털 픽셀 저장을 갖는 델타 이미지 센서
KR1020237002559A KR20230031899A (ko) 2020-06-26 2021-06-24 저장 및 비교를 위해 서로 다른 램프를 사용하는 디지털 픽셀 저장을 갖는 델타 이미지 센서
KR1020237002562A KR20230034314A (ko) 2020-06-26 2021-06-24 인터럽트될 수 있는 장기간 작동을 하는 디지털 픽셀 저장을 갖는 델타 이미지 센서

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237002557A KR20230034312A (ko) 2020-06-26 2021-06-24 디지털 픽셀 저장 및 동기화된 샘플링을 갖는 델타 이미지 센서

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020237002563A KR20230031900A (ko) 2020-06-26 2021-06-24 디지털 픽셀 저장을 갖는 델타 이미지 센서
KR1020237002559A KR20230031899A (ko) 2020-06-26 2021-06-24 저장 및 비교를 위해 서로 다른 램프를 사용하는 디지털 픽셀 저장을 갖는 델타 이미지 센서
KR1020237002562A KR20230034314A (ko) 2020-06-26 2021-06-24 인터럽트될 수 있는 장기간 작동을 하는 디지털 픽셀 저장을 갖는 델타 이미지 센서

Country Status (8)

Country Link
US (5) US12052524B2 (ko)
EP (6) EP3930312B8 (ko)
JP (5) JP7562087B2 (ko)
KR (5) KR20230034312A (ko)
CN (5) CN116057959A (ko)
ES (1) ES2962472T3 (ko)
TW (6) TWI810593B (ko)
WO (6) WO2021260116A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2962472T3 (es) * 2020-06-26 2024-03-19 Alpsentek Gmbh Sensor de imagen delta con almacenamiento de píxeles digital
RS64457B1 (sr) 2020-08-14 2023-09-29 Alpsentek Gmbh Senzor slike sa konfigurabilnim piksel kolom i postupak
EP4380180A1 (en) * 2022-11-29 2024-06-05 Kovilta Oy Sensor event generation circuit

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275579B2 (ja) 1994-10-24 2002-04-15 日産自動車株式会社 イメージセンサ
US6940589B1 (en) * 2000-09-25 2005-09-06 Hamamatsu Photonics K.K. Optical measurement apparatus and method for optical measurement
JP3803924B2 (ja) * 2002-09-09 2006-08-02 本田技研工業株式会社 イメージセンサ
JP5244587B2 (ja) 2005-06-03 2013-07-24 ウニヴェルズィテート チューリッヒ 時間依存性の画像データを検出するフォトアレイ
KR100790969B1 (ko) * 2005-08-23 2008-01-02 삼성전자주식회사 화질 개선을 위하여 자동 교정된 램프 신호를 이용한이미지 센서 및 방법
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
JP4420101B2 (ja) 2007-10-30 2010-02-24 ソニー株式会社 固体撮像装置およびその駆動方法、並びにカメラシステム
JPWO2010035402A1 (ja) 2008-09-29 2012-02-16 パナソニック株式会社 電流生成回路、並びにこれを用いたシングルスロープ型adコンバータ及びカメラ
JP5251778B2 (ja) * 2009-08-03 2013-07-31 ソニー株式会社 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および電子機器
JP5685898B2 (ja) * 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
US8847169B2 (en) 2010-05-25 2014-09-30 The Hong Kong University Of Science And Technology Quantum-limited highly linear CMOS detector for computer tomography
JP5126305B2 (ja) 2010-07-02 2013-01-23 株式会社ニコン 固体撮像素子
EP2622313A4 (en) * 2010-09-27 2015-09-09 Purdue Research Foundation SYSTEM AND METHOD FOR EXTENDING THE LINEAR DYNAMIC AREA OF AN EVENT COUNT
US8604774B2 (en) * 2010-12-07 2013-12-10 Himax Technologies Limited Current sensing circuit with feedback control and dual capacitor set range setting
FR2976918B1 (fr) 2011-06-21 2014-01-24 Astrium Sas Detection de debris spatiaux
CN104272723B (zh) 2011-12-19 2018-08-21 苏黎世大学 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
KR101896666B1 (ko) * 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) * 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
WO2014174498A1 (en) * 2013-04-26 2014-10-30 Ecole Polytechnique Federale De Lausanne (Epfl) A novel cmos image sensor with event/change detection and reduced data redundancy
FR3009469B1 (fr) 2013-07-31 2016-11-25 Morpho Procede de synchronisation de plusieurs cameras d'un systeme de prise de vues, notamment un systeme de prise de vues stereoscopique et systeme de prise de vues pour la mise en œuvre dudit procede.
KR102327749B1 (ko) 2013-09-16 2021-11-17 프로페시 동적 단일 광다이오드 픽셀 회로 및 그 동작 방법
KR102136055B1 (ko) * 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
JP6272085B2 (ja) 2014-03-04 2018-01-31 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US10728450B2 (en) 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
CN107209257B (zh) * 2014-12-17 2021-07-27 文卡塔·古鲁帕萨德 线性调频行波解及谱
US9647655B2 (en) * 2015-03-27 2017-05-09 Raytheon Company Current to frequency converter
WO2017009944A1 (ja) 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
JP2017046259A (ja) 2015-08-28 2017-03-02 ルネサスエレクトロニクス株式会社 半導体装置
CN108702469B (zh) 2016-03-04 2021-09-17 索尼公司 固体摄像器件、固体摄像器件驱动方法和电子设备
US10652489B2 (en) * 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
ES2755814T3 (es) 2016-04-04 2020-04-23 Prophesee Sensor de visión de contraste temporal basado en muestreos y retenciones
US9848141B2 (en) * 2016-05-10 2017-12-19 Semiconductor Components Industries, Llc Image pixels having processed signal storage capabilities
CN106162000B (zh) 2016-07-08 2019-03-15 上海芯仑光电科技有限公司 像素采集电路、图像传感器及图像采集系统
KR102538172B1 (ko) * 2016-08-30 2023-05-31 삼성전자주식회사 데이터 출력 장치
JP6530736B2 (ja) 2016-10-18 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法
EP3313064A1 (en) 2016-10-20 2018-04-25 Chronocam Pixel circuit for detecting time-dependent visual data
CN110192387B (zh) * 2016-12-30 2022-06-17 索尼先进视觉传感公司 用于基于事件的视觉传感器的数据速率控制
JP2018124786A (ja) 2017-01-31 2018-08-09 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10242268B2 (en) 2017-02-03 2019-03-26 Raytheon Company Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
EP3584969B1 (en) 2017-03-10 2023-10-04 Huawei Technologies Co., Ltd. Signal transmitting method, signal receiving method, related device, and system
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
US10419701B2 (en) * 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
WO2019087472A1 (ja) * 2017-10-30 2019-05-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
EP3813356A1 (en) * 2017-10-30 2021-04-28 Sony Semiconductor Solutions Corporation Solid-state imaging device
JP7227926B2 (ja) * 2018-01-05 2023-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置および固体撮像素子の制御方法
TW202408216A (zh) * 2018-01-23 2024-02-16 日商索尼半導體解決方案公司 光檢測裝置
US10491231B2 (en) 2018-02-16 2019-11-26 Sensors Unlimited, Inc. Reconfigurable ADC architecture for imaging-based applications
CN112262568B (zh) * 2018-03-14 2024-03-29 索尼高级视觉传感股份公司 具有直接存储器控制的基于事件的视觉传感器
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
EP3557767B1 (en) * 2018-04-19 2023-01-11 ams AG Light-to-digital converter arrangement and method for light-to-digital conversion
JP7307725B2 (ja) * 2018-06-12 2023-07-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
TWI801572B (zh) 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
KR20200029328A (ko) * 2018-09-07 2020-03-18 삼성전자주식회사 Cis 픽셀 및 dvs 픽셀을 포함하는 이미지 센서
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
WO2020080383A1 (ja) * 2018-10-19 2020-04-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP7449663B2 (ja) * 2018-10-30 2024-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088722A (ja) 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
JP7298277B2 (ja) 2019-04-25 2023-06-27 トヨタ自動車株式会社 イベントカメラ
ES2981443T3 (es) 2019-04-25 2024-10-08 Beijing Ruisizhixin Tech Co Ltd Sensor de visión delta
WO2020229980A1 (en) * 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Event-based vision sensor using on/off event and grayscale detection ramps
KR20220006083A (ko) * 2019-05-10 2022-01-14 소니 어드밴스드 비주얼 센싱 아게 픽셀 내 디지털 변화 검출을 이용하는 다이내믹 비전 센서
EP3994876A1 (en) * 2019-07-01 2022-05-11 Sony Advanced Visual Sensing AG Dynamic region of interest (roi) for event-based vision sensors
CN112311964B (zh) 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
US11570392B2 (en) * 2019-07-30 2023-01-31 Senseics Corporation Scalable readout integrated circuit architecture with per-pixel automatic programmable gain for high dynamic range imaging
US20210067679A1 (en) * 2019-08-28 2021-03-04 Semiconductor Components Industries, Llc Event sensors with flicker analysis circuitry
KR20210028308A (ko) * 2019-09-03 2021-03-12 삼성전자주식회사 증폭기 및 그것을 포함하는 이미지 센서 장치
US11195869B2 (en) * 2019-09-05 2021-12-07 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements
US11756968B2 (en) * 2019-09-24 2023-09-12 Samsung Electronics Co., Ltd. Image sensor device
US11240454B2 (en) * 2020-04-29 2022-02-01 Omnivision Technologies, Inc. Hybrid CMOS image sensor with event driven sensing
ES2962472T3 (es) * 2020-06-26 2024-03-19 Alpsentek Gmbh Sensor de imagen delta con almacenamiento de píxeles digital
RS64457B1 (sr) 2020-08-14 2023-09-29 Alpsentek Gmbh Senzor slike sa konfigurabilnim piksel kolom i postupak
US20240060423A1 (en) * 2020-12-31 2024-02-22 Lord Corporation Sensing system for detecting rubs events or wear of an abradable coating in turbo machinery
JP7559730B2 (ja) * 2021-10-06 2024-10-02 株式会社デンソー 固体撮像素子

Also Published As

Publication number Publication date
KR20230031900A (ko) 2023-03-07
EP3930312A1 (en) 2021-12-29
WO2021260122A1 (en) 2021-12-30
TW202218409A (zh) 2022-05-01
CN116057943A (zh) 2023-05-02
CN115956369A (zh) 2023-04-11
US20230247326A1 (en) 2023-08-03
US12047702B2 (en) 2024-07-23
JP7520300B2 (ja) 2024-07-23
WO2021260116A1 (en) 2021-12-30
EP4122191A1 (en) 2023-01-25
WO2021260106A1 (en) 2021-12-30
EP4118812A1 (en) 2023-01-18
US20230217134A1 (en) 2023-07-06
US20230308784A1 (en) 2023-09-28
JP2023532258A (ja) 2023-07-27
EP3930312C0 (en) 2023-09-20
US12114091B2 (en) 2024-10-08
US12052524B2 (en) 2024-07-30
WO2021260105A1 (en) 2021-12-30
JP2023532255A (ja) 2023-07-27
TW202207696A (zh) 2022-02-16
TWI830030B (zh) 2024-01-21
TWI810593B (zh) 2023-08-01
EP3930312B8 (en) 2023-10-25
TW202207695A (zh) 2022-02-16
TW202220432A (zh) 2022-05-16
KR20230034312A (ko) 2023-03-09
JP7537687B2 (ja) 2024-08-21
US20230247327A1 (en) 2023-08-03
TW202207699A (zh) 2022-02-16
JP2023531234A (ja) 2023-07-21
TWI821697B (zh) 2023-11-11
US20230345150A1 (en) 2023-10-26
EP4118813A1 (en) 2023-01-18
WO2021260102A1 (en) 2021-12-30
JP2023530405A (ja) 2023-07-18
CN116057959A (zh) 2023-05-02
JP7562087B2 (ja) 2024-10-07
TW202207697A (zh) 2022-02-16
CN116057958A (zh) 2023-05-02
CN116057944A (zh) 2023-05-02
KR20230031899A (ko) 2023-03-07
ES2962472T3 (es) 2024-03-19
KR20230034314A (ko) 2023-03-09
EP3930312B1 (en) 2023-09-20
EP4118814A1 (en) 2023-01-18
WO2021260121A1 (en) 2021-12-30
JP2023530404A (ja) 2023-07-18
EP4115601A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
KR20230034313A (ko) 외부적으로 기록 가능한 디지털 픽셀 저장을 갖는 델타 이미지 센서
CN114095678A (zh) 一种具有外部可写数字像素存储的差量图像传感器
CN114173069A (zh) 一种带数字像素存储的差量图像传感器
CN114173070A (zh) 一种带数字像素存储的差量图像传感器