KR20170027107A - 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 - Google Patents

이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 Download PDF

Info

Publication number
KR20170027107A
KR20170027107A KR1020150123603A KR20150123603A KR20170027107A KR 20170027107 A KR20170027107 A KR 20170027107A KR 1020150123603 A KR1020150123603 A KR 1020150123603A KR 20150123603 A KR20150123603 A KR 20150123603A KR 20170027107 A KR20170027107 A KR 20170027107A
Authority
KR
South Korea
Prior art keywords
event
signal
module
pixel
output
Prior art date
Application number
KR1020150123603A
Other languages
English (en)
Other versions
KR102523136B1 (ko
Inventor
서윤재
김준석
김성호
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150123603A priority Critical patent/KR102523136B1/ko
Priority to US15/049,326 priority patent/US10161789B2/en
Priority to EP16173666.5A priority patent/EP3139595B1/en
Priority to CN201610497455.8A priority patent/CN106488151B/zh
Priority to JP2016133947A priority patent/JP6962670B2/ja
Publication of KR20170027107A publication Critical patent/KR20170027107A/ko
Application granted granted Critical
Publication of KR102523136B1 publication Critical patent/KR102523136B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

복수의 픽셀들을 포함하는 픽셀 어레이, 복수의 픽셀들 중 일부를 선택하는 선택 모듈, 선택된 픽셀들의 출력 신호들에 기초하여, 선택된 픽셀들 중 이벤트를 감지한 활성 픽셀에 대응하는 이벤트 신호를 생성하는 이벤트 모듈, 이벤트 신호에 기초하여, 활성 픽셀을 지시하는 정보를 출력하는 출력 모듈, 및 이벤트 신호에 기초하여, 활성 픽셀을 리셋하는 리셋 모듈을 포함하는 이벤트 기반 센서를 제공할 수 있다.

Description

이벤트 기반 센서 및 이벤트 기반 센서의 픽셀{EVENT-BASED SENSOR AND PIXEL OF THE EVENT-BASED SENSOR}
아래의 실시예들은 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀에 관한 것이다.
인간과 컴퓨터 사이의 상호 작용(Human-computer interaction, HCI)은 유저 인터페이스에서 발현되어 작동한다. 사용자 입력을 인식하는 다양한 유저 인터페이스는 인간과 컴퓨터 사이의 자연스러운 상호 작용을 제공할 수 있다.
사용자 입력을 인식하기 위하여 다양한 센서들이 이용될 수 있다. 자연스러운 상호 작용을 제공하기 위해서, 사용자 입력에 대한 응답 속도가 빠른 센서가 선호된다. 또한, 다양한 모바일 기기의 경우, 유저 인터페이스를 통한 여러 가지 스마트 기능을 수행하면서 전력을 적게 소모하는 기기가 선호된다.
일 측에 따른 이벤트 기반 센서는 복수의 픽셀들을 포함하는 픽셀 어레이; 상기 복수의 픽셀들 중 일부를 선택하는 선택 모듈; 상기 선택된 픽셀들의 출력 신호들에 기초하여, 상기 선택된 픽셀들 중 이벤트를 감지한 활성 픽셀에 대응하는 이벤트 신호를 생성하는 이벤트 모듈; 및 상기 이벤트 신호에 기초하여, 상기 활성 픽셀을 지시하는 정보를 출력하는 출력 모듈을 포함한다.
상기 이벤트는 빛의 세기(intensity)가 변하는 이벤트를 포함할 수 있다.
상기 이벤트 신호는 상기 활성 픽셀의 주소(address)를 포함할 수 있다.
상기 복수의 픽셀들 각각은 상기 선택 모듈의 선택에 반응하여, 빛의 세기의 변화량에 대응하는 출력 신호를 출력할 수 있다.
상기 이벤트 기반 센서는 상기 이벤트 신호에 기초하여, 상기 활성 픽셀을 리셋하는 리셋 모듈을 더 포함할 수 있다.
상기 리셋 모듈은 상기 이벤트 신호에 반응하여 상기 활성 픽셀에 리셋 신호를 인가할 수 있다.
상기 픽셀 어레이는 2차원 행렬 구조에 대응하고, 상기 선택 모듈은 미리 정해진 주기에 따라 상기 2차원 행렬 구조에 포함된 복수의 행들을 순차적으로 선택할 수 있다.
상기 이벤트 모듈은 기준 신호와 상기 이벤트 신호를 비교하는 비교기; 및 상기 이벤트 신호의 세기를 측정하는 아날로그-디지털 변환기를 포함할 수 있다.
상기 이벤트 모듈은 복수의 기준 신호들과 상기 이벤트 신호를 비교하는 저해상도 아날로그-디지털 변환기; 및 상기 이벤트 신호의 세기를 측정하는 고해상도 아날로그-디지털 변환기를 포함할 수 있다.
상기 픽셀 어레이는 2차원 행렬 구조에 대응하고, 상기 이벤트 모듈은 상기 2차원 행렬 구조에 포함된 복수의 열들에 대응하는 복수의 서브 이벤트 모듈들을 포함할 수 있다.
상기 출력 모듈은 복수의 서브 출력 모듈들을 포함하고, 상기 복수의 서브 출력 모듈들 각각은 상기 복수의 서브 이벤트 모듈들 중 일부와 연결될 수 있다.
상기 이벤트 모듈은 상기 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 증가하는 제1 유형의 이벤트인 경우 제1 이벤트 신호를 생성하고, 상기 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 감소하는 제2 유형의 이벤트인 경우 제2 이벤트 신호를 생성할 수 있다.
상기 복수의 픽셀들 각각은 감지된 빛의 세기를 지시하는 제1 전압을 생성하는 감지 회로; 상기 제1 전압에 기초하여, 상기 빛의 세기의 변화량을 지시하는 제2 전압을 생성하는 시변(time-varying) 회로; 및 상기 선택 모듈의 선택에 반응하여, 상기 제2 전압의 크기와 동일한 크기의 제3 전압을 출력하는 버퍼 회로를 포함할 수 있다.
상기 감지 회로는 픽셀에 입사되는 빛의 세기를 감지하는 포토 다이오드; 및 상기 제1 전압의 크기가 상기 감지된 빛의 세기에 선형으로 비례하도록, 상기 포토 다이오드의 출력을 증폭하는 증폭기를 포함할 수 있다.
상기 시변 회로는 상기 감지 회로와 직렬로 연결된 커패시터를 포함할 수 있다.
상기 시변 회로는 상기 제1 전압의 변화로 인하여 상기 커패시터에 충전된 전하량을 미리 정해진 비율로 증폭하는 제2 증폭기를 더 포함할 수 있다.
상기 시변 회로는 상기 선택 모듈의 선택 및 리셋 신호에 기초하여, 상기 커패시터에 충전된 전하량을 리셋하는 스위치를 더 포함할 수 있다.
상기 버퍼 회로는 상기 제2 전압에 기초하여 상기 제3 전압을 생성하는 소스 팔로워; 및 상기 선택 모듈의 선택에 반응하여 상기 제3 전압을 출력하는 트랜지스터를 포함할 수 있다.
상기 이벤트 기반 센서는 전압 강하를 고려한 기준 신호를 상기 이벤트 모듈에 제공하는 기준 신호 제공 모듈을 더 포함할 수 있다.
상기 픽셀 어레이는 2차원 행렬 구조에 대응하고, 상기 기준 신호 제공 모듈은 상기 2차원 행렬 구조에 포함된 복수의 행들에 대응하는 복수의 복제(replica) 픽셀들을 포함하며, 상기 복수의 복제 픽셀들 각각은 상기 선택 모듈의 선택에 반응하여 기준 신호를 출력할 수 있다.
상기 기준 신호 제공 모듈은 빛의 세기가 증가하는 제1 유형의 이벤트를 위한 제1 기준 신호를 출력하는 제1 복제 픽셀들; 및 빛의 세기가 감소하는 제2 유형의 이벤트를 위한 제2 기준 신호를 출력하는 제2 복제 픽셀들을 포함할 수 있다.
일 측에 따르면, 이벤트 기반 센서의 픽셀은 빛의 세기를 감지하여, 상기 빛의 세기를 지시하는 제1 신호를 생성하는 감지 회로; 상기 제1 신호에 기초하여, 상기 빛의 세기의 변화량을 지시하는 제2 신호를 생성하는 시변 회로; 선택 신호에 반응하여, 상기 제2 신호의 세기와 동일한 세기의 제3 신호를 출력하는 버퍼 회로; 및 상기 선택 신호 및 리셋 신호의 조합에 반응하여, 상기 시변 회로를 리셋하는 리셋 회로를 포함한다.
상기 감지 회로는 상기 픽셀에 입사되는 빛의 세기를 감지하는 포토 다이오드; 및 상기 제1 신호의 세기가 상기 감지된 빛의 세기에 선형으로 비례하도록, 상기 포토 다이오드의 출력을 증폭하는 제1 증폭기를 포함할 수 있다.
상기 시변 회로는 상기 감지 회로와 직렬로 연결된 커패시터를 포함할 수 있다.
상기 시변 회로는 상기 제1 신호의 변화로 인하여 상기 커패시터에 충전된 전하량을 미리 정해진 비율로 증폭하는 제2 증폭기를 더 포함할 수 있다.
상기 리셋 회로는 상기 선택 신호 및 상기 리셋 신호의 논리곱(AND)을 연산하는 논리곱 소자를 포함하고, 상기 시변 회로는 상기 논리곱 소자의 출력에 따라, 상기 커패시터에 충전된 전하량을 리셋하는 스위치를 포함할 수 있다.
상기 버퍼 회로는 상기 제2 신호에 기초하여 상기 제3 신호를 생성하는 소스 팔로워; 및 상기 선택 신호에 반응하여 상기 제3 전압을 출력하는 트랜지스터를 포함할 수 있다.
도 1은 일 실시예에 따른 이벤트 기반 센서의 블록도.
도 2는 일 실시예에 따른 이벤트 기반 센서의 구조를 나타낸 블록도.
도 3은 일 실시예에 따른 이벤트 기반 센서의 픽셀의 구조를 나타낸 블록도.
도 4는 일 실시예에 따른 이벤트 기반 센서의 픽셀의 회로도.
도 5는 다른 실시예에 따른 시변 회로를 포함하는 픽셀의 회로도.
도 6은 일 실시예에 따른 이벤트 모듈의 블록도.
도 7은 다른 실시예에 따른 이벤트 모듈의 블록도.
도 8은 다른 실시예에 따른 이벤트 기반 센서의 구조를 나타낸 블록도.
도 9는 일 실시예에 따른 기준 신호 제공 모듈을 포함하는 이벤트 기반 센서의 구조를 나타낸 블록도.
도 10은 일 실시예에 따른 복제 픽셀들과 기준 신호 제공 모듈에 포함된 복제(replica) 픽셀들 간의 동작을 설명하기 위한 도면.
도 11은 일 실시예에 따른 복제 픽셀의 구조를 나타낸 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 이벤트 기반 센서의 블록도이다. 도 1을 참조하면, 일 실시예에 따른 이벤트 기반 센서(100)는 픽셀 어레이(pixel array)(110), 선택 모듈(120), 이벤트 모듈(130), 및 출력 모듈(140)을 포함한다.
픽셀 어레이(110)는 복수의 픽셀들을 포함한다. 복수의 픽셀들은 선택 모듈(120)의 선택에 반응하여, 출력 신호를 출력할 수 있다. 일반적인 센서의 픽셀들은 빛의 세기에 대응하는 출력 신호를 출력하는 반면, 픽셀 어레이(110)에 포함된 픽셀들은 빛의 세기의 변화량에 대응하는 출력 신호를 출력할 수 있다. 픽셀 어레이(110)는 예를 들어, 도 2에 도시된 픽셀 어레이(210)와 같이 2차원 행렬 구조에 대응될 수 있다. 픽셀 어레이(110)에 포함된 각 픽셀의 구조는 도 3 내지 도 5를 참조하여 설명한다.
선택 모듈(120)은 픽셀 어레이(110)에 포함된 복수의 픽셀들 중 일부를 선택한다. 예를 들어, 선택 모듈(120)은 픽셀 어레이(210)에 대응하는 2차원 행렬 구조에 포함된 복수의 행들 중 어느 하나의 행(row)을 선택할 수 있다. 선택 모듈(120)은 미리 정해진 주기에 따라 복수의 행들을 순차적으로 선택할 수 있다. 일 예로, 선택 모듈(120)은 도 2에 도시된 로우 드라이버(row driver)(220)일 수 있다. 로우 드라이버는 복수의 행들 중 어느 하나의 행을 선택하는 선택 신호를 생성할 수 있다.
선택 모듈(120)은 특정 행을 선택하고, 선택된 행의 모든 픽셀의 신호는 이벤트 모듈(130)로 출력될 수 있다. 이벤트 모듈(130)은 열(column)에 대해 이벤트가 발생했는지를 판단할 수 있다.
이벤트 모듈(130)은 선택 모듈(120)에 의해 선택된 픽셀들의 출력 신호들에 기초하여, 선택된 픽셀들 중 이벤트를 감지한 활성 픽셀에 대응하는 이벤트 신호를 생성한다. 이벤트는 빛의 세기(intensity)가 변하는 이벤트일 수 있다. 활성 픽셀은 출력 신호에 대응하는 빛의 세기의 변화량이 미리 정해진 임계값 이상인 픽셀일 수 있다. 예를 들어, 이벤트 모듈(130)은 출력 신호들을 기준 신호와 비교할 수 있다. 기준 신호는 빛의 세기의 변화량이 미리 정해진 임계값 이상인지 여부를 판단하는 기준이 되는 신호일 수 있다. 이벤트 모듈(130)은 기준 신호보다 큰 출력 신호를 출력하는 활성 픽셀을 검출하고, 검출된 활성 픽셀에 대응하는 이벤트 신호를 생성할 수 있다.
이벤트 모듈(130)은 픽셀 어레이(110)에 대응하는 2차원 행렬 구조에 포함된 복수의 열들에 대응하는 복수의 서브 이벤트 모듈들을 포함할 수 있다. 서브 이벤트 모듈들 각각은 해당하는 열에 속한 픽셀의 출력 신호를 기준 신호와 비교함으로써, 해당하는 열에 속한 픽셀이 활성 픽셀인지 여부를 판단할 수 있다. 서브 이벤트 모듈들 각각은 해당하는 열에 속한 픽셀이 활성 픽셀이라는 판단에 따라, 이벤트 신호를 출력할 수 있다. 이벤트 모듈(130)의 구조에 대하여는 도 6 내지 도 7을 참조하여 설명한다.
이벤트 모듈(130)은 활성 픽셀에 의하여 감지된 이벤트의 유형에 따라 상이한 이벤트 신호를 생성할 수 있다. 예를 들어, 이벤트 모듈(130)은 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 증가하는 제1 유형의 이벤트인 경우, 제1 이벤트 신호를 생성할 수 있다. 이벤트 모듈(130)은 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 감소하는 제2 유형의 이벤트인 경우, 제2 이벤트 신호를 생성할 수 있다.
출력 모듈(140)은 이벤트 모듈(130)에서 생성된 이벤트 신호에 기초하여, 활성 픽셀을 지시하는 정보를 출력한다. 예를 들어, 활성 픽셀을 지시하는 정보는 픽셀 어레이(210)에 대응하는 2차원 행렬 구조 내 활성 픽셀의 주소(address)를 포함할 수 있다. 활성 픽셀의 주소는 예를 들어, (열(column), 행(row)) 좌표의 형태일 수 있다. 일 예로, 출력 모듈(140)은 선택 모듈(120)에 의하여 선택된 행으로부터 행 좌표를 획득하고, 이벤트 모듈(130)에 의하여 검출된 활성 픽셀의 열로부터 열 좌표를 획득할 수 있다. 출력 모듈(140)은 예를 들어, 도 2에 도시된 데이터 출력 로직(240)일 수 있다.
이하, 설명의 편의를 위하여 선택 모듈(120)은 픽셀 어레이(110)에 대응하는 2차원 행렬 구조에 포함된 어느 하나의 행을 선택하고 이벤트 모듈(130)은 선택된 행에 포함된 복수의 열들을 처리하는 실시예를 설명하나, 실시예들은 다양하게 변형될 수 있다. 예를 들어, 선택 모듈(120)은 픽셀 어레이(110)에 대응하는 2차원 행렬 구조에 포함된 어느 하나의 열을 선택하고 이벤트 모듈(130)은 선택된 열에 포함된 복수의 행들을 처리할 수 있다. 또한, 픽셀 어레이(110)가 2차원 행렬 구조에 대응하지 않는 경우에도, 선택 모듈(120)은 픽셀 어레이(110)에 포함된 복수의 픽셀들 중 일부의 픽셀들을 선택하고, 이벤트 모듈(130)은 선택된 픽셀들의 출력 신호들을 처리할 수 있다.
실시예에 따라서, 출력 모듈(140)은 복수의 서브 출력 모듈들을 포함할 수 있다. 이때, 복수의 서브 출력 모듈들 각각은 복수의 서브 이벤트 모듈들 중 일부와 연결될 수 있다. 출력 모듈(140)이 복수의 서브 출력 모듈들을 포함하는 실시예에 대하여는 도 8을 참조하여 설명한다.
도면에 도시하지 않았으나, 이벤트 기반 센서(100)는 리셋 모듈을 더 포함할 수 있다. 리셋 모듈은 이벤트 모듈(130)에 의하여 생성되는 이벤트 신호에 기초하여, 활성 픽셀을 초기화할 수 있다. 리셋 모듈은 이벤트 신호에 반응하여 활성 픽셀에 리셋 신호를 인가할 수 있다. 리셋 모듈은 예를 들어, 도 2에 도시된 제1 이벤트 신호 및 제2 이벤트 신호의 논리합 소자(251)를 포함할 수 있다.
이벤트의 발생을 감지하여 이벤트 신호를 생성 및 출력하는 회로들을 각 픽셀마다 픽셀 내부에 포함하는 일반적인 이벤트 기반 센서와 달리, 이벤트 기반 센서(100)는 이벤트의 발생을 감지하여 이벤트 신호를 생성 및 출력하는 회로들을 픽셀 외부에 포함한다. 이로 인하여, 실시예들은 이벤트 기반 센서(100)에 포함된 개별 픽셀의 크기를 감소시키고, 이벤트 기반 센서의 생산 단가를 감소시키는 기술을 제공할 수 있다.
또한, 실시예들은 이벤트 발생 여부를 픽셀 외부에서 판단함으로써, PVT(process, voltage, temperature) 변화 등으로 인하여 발생하는 픽셀 간 편차(variation), 픽셀 내 아날로그 회로의 이득(gain) 오프셋 편차(offset variation) 등을 픽셀 단위로 파악 및 조정(calibration)할 수 있다. 이로 인하여, 실시예들은 칩의 수율을 향상시키고 생산 단가를 낮추는 데 기여할 수 있다.
도 2는 일 실시예에 따른 이벤트 기반 센서의 구조를 나타낸 블록도이다. 도 2를 참조하면, 일 실시예에 따른 이벤트 기반 센서(200)는 픽셀 어레이(210), 로우 드라이버(220), 제어 로직(control ;ogic)(225), 이벤트 모듈(230), 데이터 출력 로직(data output logic)(240), 및 리셋 모듈(250)을 포함할 수 있다.
픽셀 어레이(210)는 예를 들어, M(bit) x N(bit)(M, N은 자연수)의 크기를 가질 수 있다. M은 픽셀 어레이(210)의 가로 길이에 대응하고, N은 픽셀 어레이(210)의 세로 길이에 대응할 수 있다. 예를 들어, M은 픽셀 어레이(210)에 포함된 열들의 개수이고, N은 픽셀 어레이(210)에 포함된 행들의 개수일 수 있다. 픽셀 어레이(210)는 예를 들어, 이벤트 기반 센서(200)의 해상도가 VGA 급인 경우, 640 X 480의 크기를 가지고, 해상도가 HD 급인 경우, 1280 X 720의 크기를 가지며, 해상도가 풀 HD(full HD) 급인 경우, 1920 X 1080의 크기를 가질 수 있다. 픽셀 어레이(210)에 포함된 픽셀(213)의 구조는 도 3을 참조하여 설명한다.
로우 드라이버(220)는 픽셀 어레이(210)의 각 행에 포함된 픽셀들을 선택할 수 있다. 로우 드라이버(220)에 의해 선택된 픽셀의 출력 신호(VOUT)는 픽셀 어레이(210)의 외부로 출력될 수 있다. 로우 드라이버(220)는 미리 정해진 주기에 따라 픽셀 어레이(210)의 2차원 행렬 구조에 포함된 복수의 행들을 순차적으로 선택할 수 있다.
제어 로직(225)은 데이터 출력 로직(240)을 제어한다. 예를 들어, 제어 로직(225)은 로우 드라이버(220) 및 데이터 출력 로직(240)이 동기를 맞춰 동작하도록 하는 클럭(clock)을 공급할 수 있다. 제어 로직(225)으로부터 클럭이 공급되면, 로우 드라이버(220)는 선택 신호(SEL)를 이용하여 픽셀 어레이(210)의 각 행에 포함된 픽셀들을 선택할 수 있다. 이때, 픽셀 어레이(210)에서 선택된 행에 포함된 픽셀들은 로우 드라이버(220)의 선택 신호(SEL)에 반응하여, 픽셀에 입사되는 빛의 세기의 변화량에 대응하는 출력 신호(VOUT)를 출력할 수 있다.
이벤트 모듈(230)은 선택된 픽셀들의 출력 신호(VOUT)들에 기초하여, 선택된 픽셀들 중 이벤트를 감지한 활성 픽셀에 대응하는 이벤트 신호를 생성한다. 이벤트 모듈(230)은 예를 들어, 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 증가하는 이벤트인 경우 온(ON) 이벤트 신호를 생성하고, 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 감소하는 이벤트인 경우 오프(OFF) 이벤트 신호를 생성할 수 있다.
또한, 이벤트 모듈(230)은 2차원 행렬 구조에 포함된 복수의 열들에 대응하는 복수의 서브 이벤트 모듈들을 포함할 수 있다. 서브 이벤트 모듈은 예를 들어, 이벤트 결정 회로(Event Decision Circuit)(231)일 수 있다.
이벤트 결정 회로(231)는 해당하는 열에 속한 픽셀에 의하여 출력된 출력 신호(VOUT)와 기준 신호들(VREF_ON 및 VREF_OFF)을 비교하여 온(ON) 이벤트 신호 또는 오프(OFF) 이벤트 신호를 출력할 수 있다. 이때, 기준 신호들(VREF_ON 및 VREF_OFF)은 외부로부터 인가될 수 있다. 이벤트 모듈(230)의 구조 및 동작에 대하여는 도 6 내지 도 7을 참조하여 설명한다.
데이터 출력 로직(240)은 이벤트 결정 회로들에 의하여 생성된 이벤트 신호들에 기초하여, 이벤트를 감지한 활성 픽셀의 주소(예를 들어, 활성 픽셀의 좌표)를 이벤트 기반 센서(200)의 외부로 출력한다. 데이터 출력 로직(240)은. 클럭 신호(clock signal)에 의해 데이터를 단방향으로 출력할 수 있다. 일 예로, 데이터 출력 로직(240)은 AER(Address Event Representation) 신호를 출력할 수 있다. 데이터 출력 로직(240)은 로우 드라이버(220)에 의하여 선택된 행에 속한 픽셀들 중 이벤트(event)가 발생한 활성 픽셀의 주소에 해당하는 데이터만을 선택적으로 AER 신호로 출력할 수 있다. 데이터 출력 로직(240)은 활성 픽셀의 주소 이외에 감지된 이벤트의 유형, 이벤트가 감지된 시간 등의 데이터를 더 출력할 수 있다. 다른 예로, 데이터 출력 로직(240)은 로우 드라이버(220)에 의하여 선택된 행에 속한 픽셀들의 출력에 해당하는 데이터를 모두 직렬 데이터(serial data)로 출력할 수도 있다.
리셋 모듈(250)은 이벤트 모듈(230)에서 출력된 이벤트 신호에 반응하여 활성 픽셀에게 리셋 신호를 인가할 수 있다. 리셋 모듈(250)은 예를 들어, 픽셀 어레이(210)의 각 열에 대응되는 M 개의 논리합 소자(251)들을 포함할 수 있다. 논리합 소자(251)는 온 이벤트 신호 및 오프 이벤트 신호에 대한 논리합 연산을 수행하여 활성 픽셀에 리셋 신호를 인가할 수 있다.
일 실시예에 따른 이벤트 기반 센서(200)는 이벤트 결정 회로(231) 및 데이터 출력 로직(240)을 개별 픽셀로부터 분리하여 구성함으로써 개발 픽셀의 크기를 줄일 수 있다. 또한, 이벤트 기반 센서(200)는 개발 픽셀을 구성하는 아날로그 회로의 출력 신호(VOUT) 자체를 픽셀 어레이(210)의 외부로 출력함으로써 픽셀 어레이(210)에 포함된 픽셀 간 편차(variation)를 측정하고, 조정할 수 있다.
도 3은 일 실시예에 따른 이벤트 기반 센서의 픽셀의 구조를 나타낸 블록도이다. 도 3을 참조하면, 일 실시예에 따른 픽셀(300)은 감지 회로(310), 시변(time-varying) 회로(330), 버퍼 회로(350), 및 리셋 회로(370)를 포함한다.
감지 회로(310)는 픽셀(300)에서 감지된 빛의 세기를 지시하는 제1 전압을 생성한다. 예를 들어, 감지 회로(310)는 포토 다이오드(313), 및 증폭기(316)를 포함할 수 있다. 포토 다이오드(313)는 픽셀(300)에 입사되는 빛의 세기를 감지한다. 예를 들어, 포토 다이오드(313)는 픽셀(300)에 수신된 빛의 세기 변화에 대응하는 전류를 출력할 수 있다. 증폭기(316)는 포토 다이오드(313)에서 출력된 전류를 제1 전압으로 변환할 수 있다. 증폭기(316)는 제1 전압의 크기가 픽셀(300)에서 감지된 빛의 세기에 선형으로 비례 하도록, 포토 다이오드(313)의 출력을 증폭할 수 있다. 예를 들어, 포토 다이오드(313)에서 출력되는 전류의 양은 감지된 빛의 세기에 선형으로 비례하지 않을 수 있다. 이 경우, 증폭기(316)로 로그 증폭기(logarithmic amplifier) 또는 로그 트랜스임피던스 증폭기(logarithmic transimpedance amplifier)를 이용함으로써, 제1 전압의 크기가 감지된 빛의 세기에 선형으로 비례하도록 할 수 있다.
시변 회로(330)는 감지 회로(310)에서 생성된 제1 전압에 기초하여, 빛의 세기의 변화량을 지시하는 제2 전압을 생성한다. 예를 들어, 시변 회로(330)는 초기화 시에 제1 전압을 커패시터에 저장하고, 저장된 제1 전압을 기준으로 삼아 제1 전압의 변화량을 제2 전압으로 출력할 수 있다. 시변 회로(330)는 제1 전압의 시변 성분 또는 AC 성분을 이용하여 제2 전압을 생성할 수 있다. 시변 회로(330)는 제1 전압의 변화량을 지시하는 제2 전압을 생성하므로, 차동 회로 또는 미분 회로라고 지칭될 수 있다.
버퍼 회로(350)는 시변 회로(330)에서 생성된 제2 전압의 크기와 동일한 크기의 제3 전압을 생성한다. 예를 들어, 버퍼 회로(350)는 소스 팔로워(source follower)를 이용하여 제3 전압을 생성할 수 있다. 시변 회로(330)는 선택 모듈(도 1의 120 참조)로부터 전달된 선택 신호(SEL)에 반응하여, 제3 전압을 출력할 수 있다. 선택 신호(SEL)는 픽셀(300)의 아날로그 회로의 출력 전압(VOUT)을 읽어 오기 위한 신호이고, 제3 전압은 픽셀(300)의 출력 전압(VOUT)일 수 있다.
리셋 회로(370)는 선택 모듈(도 1의 120 참조)로부터 전달된 선택 신호(SEL) 및 리셋 모듈(도 1의 150 참조)로부터 전달된 리셋 신호(RESET)의 조합에 반응하여, 시변 회로(330)를 초기화할 수 있다. 예를 들어, 리셋 회로(370)는 픽셀(300) 외부에서 선택 신호(SEL) 및 리셋 신호(RESET)가 함께 수신되는 경우, 시변 회로(330)를 초기화할 수 있다.
도 4는 일 실시예에 따른 이벤트 기반 센서의 픽셀의 회로도이다. 도 4를 참조하면, 일 실시예에 따른 픽셀(400)은 감지 회로(410), 시변 회로(430), 버퍼 회로(450), 및 리셋 회로(470)를 포함한다.
감지 회로(410)는 포토 다이오드(411), 트랜지스터(MLOG)(413) 및 제1 증폭기(415)를 포함할 수 있다. 포토 다이오드(411)는 픽셀(400)에 입사되는 빛의 세기를 감지한다. 포토 다이오드(411)에 의하여 감지된 빛의 세기에 대응하여 트랜지스터(MLOG)(413)에 전류가 흐르고, 감지 회로(410)로부터 시변 회로(430)로 출력되는 제1 전압(VPR)이 생성될 수 있다.
이 때, 트랜지스터(MLOG)(413)에 흐르는 전류의 양은 감지된 빛의 세기에 선형으로 비례하지 않을 수 있다. 제1 증폭기(415)는 제1 전압(VPR)의 크기가 포토 다이오드(411)에 의하여 감지된 빛의 세기에 선형으로 비례하도록, 포토 다이오드(411)의 출력을 로그 스케일로 증폭할 수 있다. 예를 들어, 제1 증폭기(415)는 로그 트랜스임피던스 증폭기일 수 있다.
시변 회로(430)는 감지 회로(410)에서 생성된 제1 전압(VPR)에 기초하여, 빛의 세기의 변화량을 지시하는 제2 전압을 생성한다. 시변 회로(430)는 제1 커패시터(C1)(431), 제2 증폭기(433), 제2 커패시터(C2)(435), 및 스위치(437)를 포함할 수 있다.
제1 커패시터(431)는 제1 증폭기(415)와 직렬로 연결될 수 있다. 제1 커패시터(431)는 감지 회로(410)에 의하여 생성되는 제1 전압이 변화됨에 따라 전하를 충전할 수 있다. 제2 증폭기(433)는 제1 커패시터(431)에 충전된 전하로 인하여 발생되는 전압을 미리 정해진 비율로 증폭할 수 있다. 제2 증폭기(433)의 증폭율은 제1 커패시터(431)의 커패시턴스와 제2 커패시터(435)의 커패시턴스의 비율로 결정될 수 있다. 제2 커패시터(435)는 피드백(feedback) 커패시터일 수 있다. 제1 커패시터(431), 제2 커패시터(435), 및 제2 증폭기(433)는 제1 증폭기(415)의 트랜스임피던스 이득(transimpedance gain)에 추가적인 전압 이득(voltage gain)을 제공할 수 있다.
스위치(437)는 선택 모듈의 선택 및 리셋 모듈(도 1의 150 참조)로부터 리셋 회로(470)를 거쳐 전달된 리셋 신호에 응답하여 제1 커패시터(431)에 충전된 전하를 리셋할 수 있다. 스위치(437)는 예를 들어, 트랜지스터일 수 있다.
제1 커패시터(431)는 리셋 동작 시 제1 증폭기(415)의 출력 전압을 기준으로 리셋될 수 있다. 예를 들어, 리셋 동작 시 스위치(437)에 의하여 제2 증폭기(433)의 입력과 출력이 쇼트(short)된다. 이 경우, 제1 커패시터(431)의 일단에는 제1 증폭기(415)의 출력 전압이 인가되고, 제1 커패시터(431)의 타단에는 입력과 출력이 쇼트된 제2 증폭기(433)의 출력 전압이 인가된다. 제1 커패시터(431)는 양단의 전위차에 해당하는 전압을 저장할 수 있다. 이처럼, 리셋 동작 시 제1 커패시터(431)에 저장되는 전압은 제1 증폭기(415)의 출력 전압에 의존하며, 이하 리셋 시 제1 증폭기(415)의 출력 전압은 리셋 기준 전압이라고 지칭될 수 있다.
버퍼 회로(450)는 소스 팔로워(MOUT)(451) 및 트랜지스터(MSEL)(453)를 포함한다. 소스 팔로워(451)는 시변 회로(430)에서 생성된 제2 전압에 기초하여 제2 전압과 실질적으로 동일한 전압의 제3 전압을 생성할 수 있다. 예를 들어, 소스 팔로워의 게이트 단자에 제2 전압이 인가되면, 소스 팔로워의 소스 단자에서 제3 전압이 생성될 수 있다. 트랜지스터(453)는 선택 모듈의 선택 신호(SEL)에 반응하여 제3 전압을 출력할 수 있다. 일 예로, 제3 전압은 제2 전압에서 소스 팔로워의 게이트-소스 전압(VGS)을 차감한 전압일 수 있다.
리셋 회로(470)는 선택 신호(SEL) 및 리셋 신호(RESET)의 조합에 반응하여, 시변 회로(430)를 리셋할 수 있다. 리셋 회로(470)는 선택 신호 및 리셋 신호의 논리곱(AND)을 연산하는 논리곱 소자를 포함할 수 있다. 시변 회로(430)에 포함된 스위치(437)는 논리곱 소자의 출력에 따라, 제2 커패시터(435)에 충전된 전하량을 리셋할 수 있다.
도 5는 다른 실시예에 따른 시변 회로를 포함하는 픽셀의 회로도이다. 도 5를 참조하면, 다른 실시예에 따른 픽셀(500)은 감지 회로(510), 시변 회로(530), 버퍼 회로(550), 및 리셋 회로(570)를 포함할 수 있다. 여기서, 감지 회로(510), 버퍼 회로(550) 및 리셋 회로(570)의 동작은 도 4에 도시된 감지 회로(410), 버퍼 회로(450) 및 리셋 회로(470)와 동일하므로 보다 상세한 설명은 생략한다.
시변 회로(530)는 제1 커패시터(531) 및 스위치(533)를 포함할 수 있다. 제1 커패시터(531)는 제1 증폭기(515)와 직렬로 연결될 수 있다. 스위치(533)는 리셋 회로(570)의 제어를 받아 제1 커패시터(531)를 리셋할 수 있다. 리셋 시 제1 커패시터(531)는 리셋 기준 전압(예를 들어, 제1 증폭기(515)의 출력 전압)과 바이어스 전압(VBIAS) 사이의 전위차를 저장할 수 있다.
도 5의 실시예에 따르면, 도 4의 시변 회로(430)에 포함된 제2 증폭기(433) 및 제2 커패시터(435)를 제거함으로써 픽셀의 크기를 더 감소시킬 수 있다.
도 6은 일 실시예에 따른 이벤트 모듈의 블록도이다. 도 6을 참조하면, 일 실시예에 따른 이벤트 모듈(600)은 제1 비교기(610) 및 제2 비교기(650)를 포함한다.
제1 비교기(610)는 활성 픽셀에 의하여 감지된 이벤트가 온 이벤트인지 여부를 결정하기 위해, 제1 기준 신호(VREF_ON)와 픽셀의 출력 신호(VOUT)를 비교한다. 제1 비교기(610)는 출력 신호(VOUT)가 제1 기준 신호(VREF_ON)보다 큰 경우, 온 이벤트 신호를 생성할 수 있다.
제2 비교기(650)는 활성 픽셀에 의하여 감지된 이벤트가 오프 이벤트인지 여부를 결정하기 위해, 제2 기준 신호(VREF_OFF)와 출력 신호(VOUT)를 비교한다. 제2 비교기(650)는 출력 신호(VOUT)가 제2 기준 신호(VREF_OFF)보다 낮은 경우, 오프 이벤트 신호를 생성할 수 있다.
이벤트 모듈(600)은 아날로그-디지털 변환기(ADC)(630)를 더 포함할 수 있다. 아날로그-디지털 변환기(630)는 출력 신호(VOUT)의 세기를 측정한다. 아날로그-디지털 변환기(630)는 n-bit 아날로그-디지털 변환기일 수 있다. n-bit 아날로그-디지털 변환기는 출력 신호(VOUT)의 세기를 2n 단계들로 측정할 수 있다. 예를 들어, 아날로그-디지털 변환기(630)가 2-bit 아날로그-디지털 변환기라고 하면, 출력 신호(VOUT)의 세기는 VREFH와 VREFL 사이에서 00, 01, 10, 11의 4 단계들로 측정될 수 있다. 아날로그-디지털 변환기(630)는 출력 신호(VOUT)의 세기를 예를 들어, VREFL 미만, VREFL 에서 0까지, 0에서 VREFH까지 및 VREFH 초과의 4 단계들로 측정할 수 있다.
일 실시예에 따르면, 아날로그-디지털 변환기(630)에 의해 각 픽셀의 출력 값이 정확하게 파악할 수 있고, 이로 인하여 픽셀 별 조정이 가능해 진다. 예를 들어, 픽셀 간 편차로 인해 리셋 동작 시 각 픽셀의 리셋 기준 전압에 변화가 발생한 경우, 또는 각 픽셀의 광전류(photocurrent)와 출력 신호(VOUT)의 전압 사이의 트랜스임피던스의 이득에 편차가 발생한 경우, 동일한 조도 변화를 감지하더라도 픽셀 별로 출력 신호(VOUT)가 달라질 수 있다. 이와 같이 달라진 출력 신호(VOUT)는 이벤트 모듈 내 고정된 패턴의 노이즈(noise)를 발생시킬 수 있다.
도 7은 다른 실시예에 따른 이벤트 모듈의 블록도이다. 도 7을 참조하면, 일 실시예에 따른 이벤트 모듈(700)은 제1 저해상도 아날로그-디지털 변환기(710) 및 제2 저해상도 아날로그-디지털 변환기(750)를 포함할 수 있다.
이벤트 모듈(700)은 하나의 비교 전압 VREF_ON(또는 VREF_OFF)을 사용하는 비교기들(610,650)을 대신하여 두 개의 기준 전압을 사용하는 제1 저해상도 아날로그-디지털 변환기(710) 및 제2 저해상도 아날로그-디지털 변환기(750)를 사용할 수 있다.
제1 저해상도 아날로그-디지털 변환기(710) 및 제2 저해상도 아날로그-디지털 변환기(750)를 사용하는 경우, 하나의 비교 전압 VREF_ON(또는 VREF_OFF)을 사용하는 비교기들(610,650)에서 출력되는 1-비트의 온(ON)(또는 오프(OFF)) 이벤트 신호 대신에 멀티-비트의 온(ON)(또는 오프(OFF)) 이벤트 신호들이 출력될 수 있다.
제1 저해상도 아날로그-디지털 변환기(710)는 770에 도시된 것과 같이 VREF_ON의 전압 범위(733)에 해당하는 두 개의 기준 전압(VREFH_ON 및 VREFL_ON)을 사용할 수 있다. 또한, 제2 저해상도 아날로그-디지털 변환기(750)는 VREF_OFF의 전압 범위(776)에 해당하는 두 개의 기준 전압(VREFH_OFF 및 VREFL_OFF)를 사용할 수 있다.
이벤트 모듈(700)은 이렇게 출력된 멀티-비트의 온(또는 오프) 이벤트 신호들을 이용하여 백-엔드(back-end)에서 이미 알고 있는 픽셀들 간의 변화 정보를 바탕으로, 픽셀에서 발생한 이벤트가 온 이벤트인지, 또는 변화에 의한 오프 이벤트인지를 판별할 수 있다.
도 7과 같이 멀티-비트의 온(또는 오프) 이벤트 신호들이 생성되는 경우, 리셋 신호는 멀티-비트의 온(또는 오프) 이벤트 신호들에 기초하여 백-엔드에서 생성될 수 있다. 이 경우, 시스템 내부의 리셋 모듈은 리셋 신호를 직접 생성하는 대신, 백-엔드에서 생성된 리셋 신호를 해당 픽셀로 전달하는 역할을 할 수 있다.
이벤트 모듈(700)은 고해상도 아날로그-디지털 변환기(730)를 더 포함할 수 있다. 고해상도 아날로그-디지털 변환기(730)는 픽셀의 출력 신호(VOUT)의 세기를 측정할 수 있다. 예를 들어, 고해상도 아날로그-디지털 변환기(730)가 n-bit 아날로그-디지털 변환기인 경우, n-bit 아날로그-디지털 변환기는 출력 신호(VOUT)의 세기를 2n 단계들로 측정할 수 있다. 전술한 바와 같이, 고해상도 아날로그-디지털 변환기(730)는 픽셀 별 편차를 조정하는 동작에 사용될 수 있다.
도 8은 다른 실시예에 따른 이벤트 기반 센서의 구조를 나타낸 블록도이다. 도 8을 참조하면, 일 실시예에 따른 이벤트 기반 센서(800)는 픽셀 어레이(810), 로우 드라이버(820), 이벤트 모듈(830), 데이터 출력 로직(840), 리셋 모듈(850), 및 제어 로직 (825)을 포함할 수 있다.
도 2에 도시된 이벤트 기반 센서(200)의 데이터 출력 로직(240)와 달리, 도 8의 데이터 출력 로직(840)은 예를 들어, 픽셀 어레이(810)에 포함된 M개의 열들에 대응되는 M 개의 서브 출력 모듈들을 가질 수 있다. 복수의 서브 출력 모듈들 각각은 복수의 서브 이벤트 모듈들 및 논리합 소자 중 일부와 연결될 있다.
예를 들어, 서브 출력 모듈들이 병렬로 M 개가 있는 경우, M 개의 서브 출력 모듈들 중 제1 서브 출력 모듈(841)은 픽셀 어레이(810)의 첫 번째 열(811)에서 출력된 출력 신호(VOUT[0])를 처리하는 제1 이벤트 결정 회로(831) 및 첫 번째 열(811)에 포함된 활성 픽셀에게 리셋 신호(RESET[0])를 전달하는 논리합 소자(851)와 연결될 수 있다. 제1 서브 출력 모듈(841)은 첫 번째 열(811)을 제외한 나머지 M-1개의 열들의 동작은 고려하지 않는다.
서브 출력 모듈들은 도 2의 데이터 출력 로직(240)에 비하여 더 적은 비트의 AER 신호를 출력할 수 있다. 예를 들어, 서브 출력 모듈들이 4개인 경우, 각 서브 출력 모듈들은 AER 신호의 하위 2 비트를 제외하고 출력할 수 있다.
AER 신호를 수신하는 외부 장치는 어느 서브 출력 모듈로부터 AER 신호를 수신하였는지 여부에 기초하여 하위 2 비트를 복원할 수 있다. 예를 들어, 제1 서브 출력 모듈은 00에 해당하고, 제2 서브 출력 모듈은 01에 해당하며, 제3 서브 출력 모듈은 10에 해당하고, 제4 서브 출력 모듈은 11에 해당할 수 있다.
이 밖의 다른 구성 요소들에 대한 설명은 도 2에 개시된 구성 요소들의 동작과 동일하므로 보다 상세한 설명은 생략한다.
도 9는 일 실시예에 따른 기준 신호 제공 모듈을 포함하는 이벤트 기반 센서의 구조를 나타낸 블록도이다. 도 9를 참조하면, 일 실시예에 따른 이벤트 기반 센서(900)는 픽셀 어레이(910), 로우 드라이버(920), 제어 로직(925), 이벤트 모듈(930), 데이터 출력 로직(940), 리셋 모듈(950) 및 기준 신호 제공 모듈(960)을 포함할 수 있다.
여기서, 픽셀 어레이(910), 로우 드라이버(920), 제어 로직(925), 이벤트 모듈(930), 데이터 출력 로직(940), 및 리셋 모듈(950)의 동작은 도 2에 도시된 픽셀 어레이(210), 로우 드라이버(220), 제어 로직(225), 이벤트 모듈(230), 데이터 출력 로직(240), 및 리셋 모듈(250)의 동작과 동일하므로 보다 상세한 설명은 생략한다.
기준 신호 제공 모듈(960)은 전압 강하를 고려한 기준 신호를 이벤트 모듈(930)에 제공할 수 있다. 기준 신호 제공 모듈(960)은 픽셀 어레이(910)의 2차원 행렬 구조에 포함된 복수의 행들에 대응하는 복수의 복제(replica) 픽셀들을 포함할 수 있다. 예를 들어, 복제 픽셀들(963, 966)은 픽셀 어레이(910)의 제1 행에 대응할 수 있다. 복제 픽셀들(963,966)은 제1 행을 선택하는 SEL[0] 신호에 반응하여 기준 신호를 출력할 수 있다.
제어 로직(925)으로부터 클럭이 공급되면, 로우 드라이버(920)는 선택 신호(SEL)를 이용하여 픽셀 어레이(910)의 각 행에 포함된 픽셀들을 선택할 수 있다. 이때, 선택 신호(SEL)는 픽셀 어레이(910)의 각 행뿐만 아니라 기준 신호 제공 모듈(960)의 각 행에도 동일하게 제공되고, 기준 신호 제공 모듈(960)에 포함된 복제 픽셀들은 출력 신호(즉, 기준 신호)를 출력한다.
픽셀 어레이(910)에 포함된 픽셀들이 로우 드라이버(920)의 선택에 반응하여 빛의 세기의 변화량에 대응하는 출력 신호를 출력하는 것과는 달리, 복제 픽셀들은 미리 설정된 기준 신호(VREF_ON 또는 VREF_OFF)를 출력한다.
복제 픽셀들에 의해 출력된 기준 신호는 이벤트 모듈(930)로 공급되어 픽셀의 출력 신호(VOUT)와 비교하는 데에 이용될 수 있다. 픽셀 어레이(910)에 포함된 픽셀들과 기준 신호 제공 모듈(960)에 포함된 복제 픽셀들 간의 동작은 도 10을 참조하여 설명한다.
도 10을 참조하면, 픽셀 어레이에 포함된 픽셀들(1010) 및 기준 신호 제공 모듈에 포함된 복제(replica) 픽셀들(1030)이 도시된다. 전술한 바와 같이, 로우 드라이버에 의해 픽셀들(1010)에 선택 신호가 전달되면, 픽셀들(1010)은 로우 드라이버의 선택에 반응하여, 해당 픽셀에 입사되는 빛의 세기의 변화량에 대응하는 출력 신호를 출력한다.
출력 신호는 전기 도선을 따라 이벤트 모듈로 전달된다. 이 때, 전기 도선은 내부 저항을 가지는데, 픽셀이 속한 행의 위치에 따라 해당 픽셀로부터 출력되는 출력 신호가 겪는 전압 강하의 양이 상이할 수 있다.
예를 들어, 이벤트 모듈과 가장 가까운 행의 픽셀(1013)의 출력 신호는 하나의 저항 성분에 의한 전압 강하를 겪은 후 바로 이벤트 모듈에 전달될 수 있다. 이에 반하여, 이벤트 모듈과 가장 먼 행의 픽셀(1011)의 출력 신호는 다수의 저항 성분들에 의한 전압 강하를 겪은 후에 이벤트 모듈에 전달될 수 있다.
이처럼 이벤트 모듈에 전달되는 출력 신호는 전압 강하에 의해 원래 픽셀(1011)에서 출력된 것과는 다른 값을 가질 수 있다. 만약 이벤트 모듈이 모든 픽셀들의 출력 신호를 동일한 기준 신호와 비교하면, 픽셀의 위치에 따른 전압 강하로 인하여 오차가 발생할 수 있다.
일 실시예에 따른 기준 신호 제공 모듈은 이러한 전압 강하를 고려하여, 픽셀의 출력 신호가 전달 과정에서 겪는 것과 마찬가지로 기준 신호(VREF) 또한 동일한 저항 성분들에 의해 전압 강하를 겪도록 한 후, 전압 강하를 고려한 기준 신호(BUF_VREF)가 출력되도록 할 수 있다.
다시 도 9를 참조하면, 기준 신호 제공 모듈(960)은 빛의 세기가 증가하는 제1 유형의 이벤트를 위한 제1 기준 신호(BUF_VREF_ON)를 출력하는 제1 복제 픽셀들(963) 및 빛의 세기가 감소하는 제2 유형의 이벤트를 위한 제2 기준 신호(BUF_VREF_OFF)를 출력하는 제2 복제 픽셀들(966)을 포함할 수 있다.
기준 신호 제공 모듈에 입력되는 기준 신호(VREF_ON, VREF_OFF)는 이벤트 모듈에서 수신한 픽셀의 출력 신호가 빛의 세기가 증가하는 제1 유형의 이벤트인지, 또는 빛의 세기가 감소하는 제2 유형의 이벤트인지를 판단하는 기준에 해당한다. 일 실시예에서는 기준 신호(VREF_ON, VREF_OFF) 또한, 픽셀의 출력 신호와 마찬가지의 전압 강하를 겪도록 함으로써 전압 강하에 의한 오동작을 방지할 수 있다.
도 11은 일 실시예에 따른 복제 픽셀의 구조를 나타낸 블록도이다. 도 11을 참조하면, 일 실시예에 따른 복제 픽셀(1100)은 버퍼 회로(1150)를 포함한다.
버퍼 회로(1150)는 선택 모듈(도 1의 120 참조)로부터 전달된 선택 신호(SEL)에 반응하여, 버퍼 회로(350)에 입력된 기준 신호(VREF)과 동일한 크기의 전압을 가지는 출력 신호(VOUT)를 출력할 수 있다. 버퍼 회로(350)는 소스 팔로워를 포함할 수 있다.
복제 픽셀(1100)은 감지 회로(1110), 시변 회로(1130), 및 리셋 회로(1170)를 더 포함할 수 있다. 이때, 앞서 설명한 픽셀의 구조에서와는 달리, 복제 픽셀(1100)에 포함된 시변 회로(1130)의 출력은 버퍼 회로(1150)와 연결되지 않는다. 또한, 리셋 회로(1170)의 리셋 신호를 수신하는 입력단에는 그라운드(GND) 신호가 인가된다.
복제 픽셀에 포함된 감지 회로(1110), 시변 회로(1130), 및 리셋 회로(117)는 이벤트를 감지하기 위한 것이 아니고, 실제 칩 생산 시에 회로 설계의 복잡도를 낮추기 위해 일반적인 픽셀과 동일하게 구비될 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면을 이용해 실시예들을 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능함을 알 수 있을 것이다. 예를 들어, 설명된 기술들이 기재된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 기재된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 이벤트 기반 센서
110: 픽셀 어레이
120: 선택 모듈
130: 이벤트 모듈
140: 출력 모듈
150: 리셋 모듈

Claims (27)

  1. 복수의 픽셀들을 포함하는 픽셀 어레이;
    상기 복수의 픽셀들 중 일부를 선택하는 선택 모듈;
    상기 선택된 픽셀들의 출력 신호들에 기초하여, 상기 선택된 픽셀들 중 이벤트를 감지한 활성 픽셀에 대응하는 이벤트 신호를 생성하는 이벤트 모듈; 및
    상기 이벤트 신호에 기초하여, 상기 활성 픽셀을 지시하는 정보를 출력하는 출력 모듈
    을 포함하는, 이벤트 기반 센서.
  2. 제1항에 있어서,
    상기 이벤트는
    빛의 세기(intensity)가 변하는 이벤트를 포함하는, 이벤트 기반 센서.
  3. 제1항에 있어서,
    상기 이벤트 신호는
    상기 활성 픽셀의 주소(address)를 포함하는, 이벤트 기반 센서.
  4. 제1항에 있어서,
    상기 복수의 픽셀들 각각은
    상기 선택 모듈의 선택에 반응하여, 빛의 세기의 변화량에 대응하는 출력 신호를 출력하는, 이벤트 기반 센서.
  5. 제1항에 있어서,
    상기 이벤트 신호에 기초하여, 상기 활성 픽셀을 리셋하는 리셋 모듈
    을 더 포함하는, 이벤트 기반 센서.
  6. 제5항에 있어서,
    상기 리셋 모듈은
    상기 이벤트 신호에 반응하여 상기 활성 픽셀에 리셋 신호를 인가하는, 이벤트 기반 센서.
  7. 제1항에 있어서,
    상기 픽셀 어레이는 2차원 행렬 구조에 대응하고,
    상기 선택 모듈은
    미리 정해진 주기에 따라 상기 2차원 행렬 구조에 포함된 복수의 행들을 순차적으로 선택하는, 이벤트 기반 센서.
  8. 제1항에 있어서,
    상기 이벤트 모듈은
    기준 신호와 상기 이벤트 신호를 비교하는 비교기; 및
    상기 이벤트 신호의 세기를 측정하는 아날로그-디지털 변환기
    를 포함하는, 이벤트 기반 센서.
  9. 제1항에 있어서,
    상기 이벤트 모듈은
    복수의 기준 신호들과 상기 이벤트 신호를 비교하는 저해상도 아날로그-디지털 변환기; 및
    상기 이벤트 신호의 세기를 측정하는 고해상도 아날로그-디지털 변환기
    를 포함하는, 이벤트 기반 센서.
  10. 제1항에 있어서,
    상기 픽셀 어레이는 2차원 행렬 구조에 대응하고,
    상기 이벤트 모듈은
    상기 2차원 행렬 구조에 포함된 복수의 열들에 대응하는 복수의 서브 이벤트 모듈들을 포함하는, 이벤트 기반 센서.
  11. 제10항에 있어서,
    상기 출력 모듈은
    복수의 서브 출력 모듈들을 포함하고, 상기 복수의 서브 출력 모듈들 각각은 상기 복수의 서브 이벤트 모듈들 중 일부와 연결되는, 이벤트 기반 센서.
  12. 제1항에 있어서,
    상기 이벤트 모듈은
    상기 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 증가하는 제1 유형의 이벤트인 경우 제1 이벤트 신호를 생성하고, 상기 활성 픽셀에 의하여 감지된 이벤트가 빛의 세기가 감소하는 제2 유형의 이벤트인 경우 제2 이벤트 신호를 생성하는, 이벤트 기반 센서.
  13. 제1항에 있어서,
    상기 복수의 픽셀들 각각은
    감지된 빛의 세기를 지시하는 제1 전압을 생성하는 감지 회로;
    상기 제1 전압에 기초하여, 상기 빛의 세기의 변화량을 지시하는 제2 전압을 생성하는 시변(time-varying) 회로; 및
    상기 선택 모듈의 선택에 반응하여, 상기 제2 전압의 크기와 동일한 크기의 제3 전압을 출력하는 버퍼 회로
    를 포함하는, 이벤트 기반 센서.
  14. 제13항에 있어서,
    상기 감지 회로는
    픽셀에 입사되는 빛의 세기를 감지하는 포토 다이오드; 및
    상기 제1 전압의 크기가 상기 감지된 빛의 세기에 선형으로 비례하도록, 상기 포토 다이오드의 출력을 증폭하는 증폭기
    를 포함하는, 이벤트 기반 센서.
  15. 제13항에 있어서,
    상기 시변 회로는
    상기 감지 회로와 직렬로 연결된 커패시터
    를 포함하는, 이벤트 기반 센서.
  16. 제15항에 있어서,
    상기 시변 회로는
    상기 제1 전압의 변화로 인하여 상기 커패시터에 충전된 전하량을 미리 정해진 비율로 증폭하는 제2 증폭기
    를 더 포함하는, 이벤트 기반 센서.
  17. 제15항에 있어서,
    상기 시변 회로는
    상기 선택 모듈의 선택 및 리셋 신호에 기초하여, 상기 커패시터에 충전된 전하량을 리셋하는 스위치
    를 더 포함하는, 이벤트 기반 센서.
  18. 제13항에 있어서,
    상기 버퍼 회로는
    상기 제2 전압에 기초하여 상기 제3 전압을 생성하는 소스 팔로워; 및
    상기 선택 모듈의 선택에 반응하여 상기 제3 전압을 출력하는 트랜지스터
    를 포함하는, 이벤트 기반 센서.
  19. 제1항에 있어서,
    전압 강하를 고려한 기준 신호를 상기 이벤트 모듈에 제공하는 기준 신호 제공 모듈
    을 더 포함하는, 이벤트 기반 센서.
  20. 제19항에 있어서,
    상기 픽셀 어레이는 2차원 행렬 구조에 대응하고,
    상기 기준 신호 제공 모듈은
    상기 2차원 행렬 구조에 포함된 복수의 행들에 대응하는 복수의 복제(replica) 픽셀들을 포함하며,
    상기 복수의 복제 픽셀들 각각은
    상기 선택 모듈의 선택에 반응하여 기준 신호를 출력하는, 이벤트 기반 센서.
  21. 제19항에 있어서,
    상기 기준 신호 제공 모듈은
    빛의 세기가 증가하는 제1 유형의 이벤트를 위한 제1 기준 신호를 출력하는 제1 복제 픽셀들; 및
    빛의 세기가 감소하는 제2 유형의 이벤트를 위한 제2 기준 신호를 출력하는 제2 복제 픽셀들
    을 포함하는, 이벤트 기반 센서.
  22. 빛의 세기를 감지하여, 상기 빛의 세기를 지시하는 제1 신호를 생성하는 감지 회로;
    상기 제1 신호에 기초하여, 상기 빛의 세기의 변화량을 지시하는 제2 신호를 생성하는 시변 회로;
    선택 신호에 반응하여, 상기 제2 신호의 세기와 동일한 세기의 제3 신호를 출력하는 버퍼 회로; 및
    상기 선택 신호 및 리셋 신호의 조합에 반응하여, 상기 시변 회로를 리셋하는 리셋 회로
    를 포함하는, 이벤트 기반 센서의 픽셀.
  23. 제22항에 있어서,
    상기 감지 회로는
    상기 픽셀에 입사되는 빛의 세기를 감지하는 포토 다이오드; 및
    상기 제1 신호의 세기가 상기 감지된 빛의 세기에 선형으로 비례하도록, 상기 포토 다이오드의 출력을 증폭하는 제1 증폭기
    를 포함하는, 이벤트 기반 센서의 픽셀.
  24. 제22항에 있어서,
    상기 시변 회로는
    상기 감지 회로와 직렬로 연결된 커패시터
    를 포함하는, 이벤트 기반 센서의 픽셀.
  25. 제24항에 있어서,
    상기 시변 회로는
    상기 제1 신호의 변화로 인하여 상기 커패시터에 충전된 전하량을 미리 정해진 비율로 증폭하는 제2 증폭기
    를 더 포함하는, 이벤트 기반 센서의 픽셀.
  26. 제24항에 있어서,
    상기 리셋 회로는
    상기 선택 신호 및 상기 리셋 신호의 논리곱(AND)을 연산하는 논리곱 소자
    를 포함하고,
    상기 시변 회로는
    상기 논리곱 소자의 출력에 따라, 상기 커패시터에 충전된 전하량을 리셋하는 스위치
    를 포함하는, 이벤트 기반 센서의 픽셀.
  27. 제22항에 있어서,
    상기 버퍼 회로는
    상기 제2 신호에 기초하여 상기 제3 신호를 생성하는 소스 팔로워; 및
    상기 선택 신호에 반응하여 상기 제3 전압을 출력하는 트랜지스터
    를 포함하는, 이벤트 기반 센서의 픽셀.
KR1020150123603A 2015-09-01 2015-09-01 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 KR102523136B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150123603A KR102523136B1 (ko) 2015-09-01 2015-09-01 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US15/049,326 US10161789B2 (en) 2015-09-01 2016-02-22 Event-based sensor and pixel of event-based sensor
EP16173666.5A EP3139595B1 (en) 2015-09-01 2016-06-09 Event-based sensor and pixel of event-based sensor
CN201610497455.8A CN106488151B (zh) 2015-09-01 2016-06-29 基于事件的传感器
JP2016133947A JP6962670B2 (ja) 2015-09-01 2016-07-06 イベント基盤センサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150123603A KR102523136B1 (ko) 2015-09-01 2015-09-01 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀

Publications (2)

Publication Number Publication Date
KR20170027107A true KR20170027107A (ko) 2017-03-09
KR102523136B1 KR102523136B1 (ko) 2023-04-19

Family

ID=56134145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150123603A KR102523136B1 (ko) 2015-09-01 2015-09-01 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀

Country Status (5)

Country Link
US (1) US10161789B2 (ko)
EP (1) EP3139595B1 (ko)
JP (1) JP6962670B2 (ko)
KR (1) KR102523136B1 (ko)
CN (1) CN106488151B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018194737A1 (en) * 2017-04-18 2018-10-25 Facebook Technologies, Llc Event camera
US11076148B2 (en) 2018-06-01 2021-07-27 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging apparatus, and method for controlling solid-state image sensor
KR20210103560A (ko) * 2019-01-23 2021-08-23 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
KR20210130778A (ko) * 2019-03-27 2021-11-01 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
US20210377465A1 (en) * 2019-03-27 2021-12-02 Apple Inc. Hardware implementation of sensor architecture with multiple power states
US11582406B2 (en) 2018-11-29 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
US12111206B2 (en) 2021-05-18 2024-10-08 Samsung Electronics Co., Ltd. Vision sensor including a voltage generation circuit for outputting a test bias voltage to a transistor and operating method thereof

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9887218B2 (en) * 2015-07-16 2018-02-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device, operating method thereof, and electronic device
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11245861B2 (en) * 2017-10-30 2022-02-08 Sony Semiconductor Solutions Corporation Solid-state imaging element
FR3073979A1 (fr) 2017-11-21 2019-05-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Capteur d'images a grande gamme dynamique
TWI820078B (zh) * 2018-01-23 2023-11-01 日商索尼半導體解決方案公司 固體攝像元件
US10827142B2 (en) * 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US11212468B2 (en) * 2018-03-14 2021-12-28 Sony Advanced Visual Sensing Ag Event-based vision sensor with direct memory control
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) * 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
JP7176917B2 (ja) * 2018-10-02 2022-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP7329318B2 (ja) * 2018-10-25 2023-08-18 ソニーグループ株式会社 固体撮像装置及び撮像装置
JP2020072316A (ja) * 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 電子回路、固体撮像素子、および、電子回路の制御方法
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11089191B2 (en) * 2018-12-18 2021-08-10 Sony Semiconductor Solutions Corporation Image sensor, recording apparatus, and reset method
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20210006106A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
WO2021038749A1 (ja) 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11195869B2 (en) * 2019-09-05 2021-12-07 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
CN114731375A (zh) * 2019-11-12 2022-07-08 苹果公司 利用同步读出的传感器数据编码
WO2021096825A1 (en) * 2019-11-12 2021-05-20 Qsinx Management Llc Sensor with low power synchronous readout
JP2021082883A (ja) * 2019-11-15 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 イベント検出装置
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021129265A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 センサ装置、読み出し方法
JP2023037041A (ja) 2020-02-18 2023-03-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
JP2023040318A (ja) * 2020-02-26 2023-03-23 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
KR20210133341A (ko) 2020-04-28 2021-11-08 삼성전자주식회사 이미지 센서
WO2022009807A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN111770245B (zh) * 2020-07-29 2021-05-25 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
EP3962069B1 (en) * 2020-08-31 2024-10-16 IniVation AG Event sensor and method for generating a signal stream comprising event data
JP2023162462A (ja) * 2020-09-28 2023-11-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
WO2022199972A1 (en) * 2021-03-26 2022-09-29 Sony Semiconductor Solutions Corporation Pixel circuit and solid-state imaging device
JP2023003308A (ja) * 2021-06-23 2023-01-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法
JP2023032216A (ja) * 2021-08-26 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 光検出デバイスおよび光検出装置
US11979675B2 (en) * 2022-04-25 2024-05-07 Sony Semiconductor Solutions Corporation Image sensing device with event based vision sensor pixels and imaging pixels
CN115396612B (zh) * 2022-10-27 2023-03-24 深圳时识科技有限公司 抑制噪声事件的像素电路及传感器
KR20240111221A (ko) * 2023-01-09 2024-07-16 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520709A (ja) * 2007-03-07 2010-06-10 アルタセンズ インコーポレイテッド 信号処理装置及び信号処理方法
JP2013211833A (ja) * 2012-03-01 2013-10-10 Canon Inc 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
KR20150029285A (ko) * 2013-09-10 2015-03-18 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
KR20150068429A (ko) 2012-10-05 2015-06-19 램버스 인코포레이티드 조건부-리셋, 멀티-비트 판독 이미지 센서

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173741B1 (en) * 2000-12-13 2007-02-06 National Semiconductor Corporation System and method for handling bad pixels in image sensors
JP4727947B2 (ja) 2004-05-21 2011-07-20 株式会社島津製作所 光検出回路
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
JP4311482B2 (ja) 2007-05-17 2009-08-12 ソニー株式会社 撮像回路、ｃｍｏｓセンサ、および撮像装置
JP5098831B2 (ja) * 2008-06-06 2012-12-12 ソニー株式会社 固体撮像素子およびカメラシステム
WO2010084493A1 (en) 2009-01-26 2010-07-29 Elbit Systems Ltd. Optical pixel and image sensor
JP5127862B2 (ja) * 2010-03-24 2013-01-23 株式会社東芝 固体撮像装置
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
JP2015035637A (ja) 2011-11-30 2015-02-19 パナソニック株式会社 固体撮像装置およびカメラ
KR101887988B1 (ko) 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101896666B1 (ko) 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
EP3047647B1 (en) 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520709A (ja) * 2007-03-07 2010-06-10 アルタセンズ インコーポレイテッド 信号処理装置及び信号処理方法
JP2013211833A (ja) * 2012-03-01 2013-10-10 Canon Inc 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法
KR20150068429A (ko) 2012-10-05 2015-06-19 램버스 인코포레이티드 조건부-리셋, 멀티-비트 판독 이미지 센서
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
KR20150029285A (ko) * 2013-09-10 2015-03-18 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018194737A1 (en) * 2017-04-18 2018-10-25 Facebook Technologies, Llc Event camera
US10237481B2 (en) 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US11076148B2 (en) 2018-06-01 2021-07-27 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging apparatus, and method for controlling solid-state image sensor
US11582406B2 (en) 2018-11-29 2023-02-14 Sony Semiconductor Solutions Corporation Solid-state image sensor and imaging device
KR20210103560A (ko) * 2019-01-23 2021-08-23 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
US11910109B2 (en) 2019-01-23 2024-02-20 Apple Inc. Pixel size reduction method for event driven sensors
KR20210130778A (ko) * 2019-03-27 2021-11-01 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
US20210377465A1 (en) * 2019-03-27 2021-12-02 Apple Inc. Hardware implementation of sensor architecture with multiple power states
US11831981B2 (en) 2019-03-27 2023-11-28 Apple Inc. Sensor system architecture with feedback loop and multiple power states
US11856305B2 (en) 2019-03-27 2023-12-26 Apple Inc. Hardware implementation of sensor architecture with multiple power states
US12111206B2 (en) 2021-05-18 2024-10-08 Samsung Electronics Co., Ltd. Vision sensor including a voltage generation circuit for outputting a test bias voltage to a transistor and operating method thereof

Also Published As

Publication number Publication date
JP6962670B2 (ja) 2021-11-05
US10161789B2 (en) 2018-12-25
EP3139595B1 (en) 2019-02-13
CN106488151B (zh) 2020-10-23
EP3139595A1 (en) 2017-03-08
CN106488151A (zh) 2017-03-08
JP2017050853A (ja) 2017-03-09
US20170059399A1 (en) 2017-03-02
KR102523136B1 (ko) 2023-04-19

Similar Documents

Publication Publication Date Title
KR102523136B1 (ko) 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US10917594B2 (en) Event-based sensor and event-based sensing method
EP3324611B1 (en) Event-based sensor, user device including the same, and operation method of the same
JP4527100B2 (ja) 光ダイオードベースのｃｍｏｓ画像形成部を使用する高速オンチップウィンドウ化セントロイディング
US20220210349A1 (en) Dynamic vision sensor and image processing device including the same
US20180211080A1 (en) Fingerprint Identification Circuit, Touch Apparatus and Fingerprint Identification Method
CN108664162A (zh) 触控装置及其信号处理电路和运作方法
US9635302B2 (en) Active pixel sensor device and operating method of the same
US20140333368A1 (en) Charge distribution
KR102378086B1 (ko) 이벤트 감지 장치
US11700438B2 (en) Vision sensor and operating method thereof
US8779342B2 (en) Compact digital pixel for a focal plane array
US9565374B2 (en) Sampling period control circuit capable of controlling sampling period
KR20170053047A (ko) 배터리 전류량을 측정하는 퓨얼 게이지 시스템 및 이를 포함하는 휴대용 전자장치
EP4093021A1 (en) Vision sensor and operating method thereof
KR102246873B1 (ko) 이미지 센서가 생성한 픽셀 이미지의 불량 화소 제거 방법, 상기 방법을 이용한 이미지 센서, 및 상기 방법을 이용한 애플리케이션 프로세서
JP6705052B2 (ja) 入力装置とその制御方法及びプログラム
KR20220164354A (ko) 비전 센서 및 비전 센서의 동작 방법
US8907827B2 (en) A/D converter reference calibration
US20200042814A1 (en) Detection method and fingerprint sensing device
US20240312026A1 (en) Vision sensor, operating method of vision sensor, and image processing device including the vision sensor
KR101366227B1 (ko) 스타일러스 펜, 이의 동작 방법 및 이를 포함하는 시스템
KR101545092B1 (ko) 저항형 센싱 장치 및 방법
KR20240139495A (ko) 비전 센서, 상기 비전 센서의 동작 방법 및 상기 비전 센서를 포함하는 이미지 처리 장치
CN118660237A (zh) 视觉传感器、视觉传感器的操作方法以及图像处理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right