KR20220164354A - 비전 센서 및 비전 센서의 동작 방법 - Google Patents

비전 센서 및 비전 센서의 동작 방법 Download PDF

Info

Publication number
KR20220164354A
KR20220164354A KR1020210073025A KR20210073025A KR20220164354A KR 20220164354 A KR20220164354 A KR 20220164354A KR 1020210073025 A KR1020210073025 A KR 1020210073025A KR 20210073025 A KR20210073025 A KR 20210073025A KR 20220164354 A KR20220164354 A KR 20220164354A
Authority
KR
South Korea
Prior art keywords
event
signal
sampling
valid
pixel
Prior art date
Application number
KR1020210073025A
Other languages
English (en)
Inventor
서윤재
봉종우
최승남
김준석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210073025A priority Critical patent/KR20220164354A/ko
Priority to US17/828,331 priority patent/US11950003B2/en
Publication of KR20220164354A publication Critical patent/KR20220164354A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N5/341—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/351—
    • H04N5/3741—
    • H04N5/379—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법이 개시된다. 본 개시의 예시적 실시예에 따른 비전 센서는 매트릭스 형태로 배치되는 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은, 빛의 변화를 감지하여 출력 전압을 출력하는 감지 회로, 출력 전압과 이벤트 임계값을 비교하여 이벤트 발생 여부를 나타내는 비교 신호를 출력하는 비교 회로, 및 복수의 샘플링 시점 각각에서 상기 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 상기 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 이벤트 검출 회로를 포함할 수 있다.

Description

비전 센서 및 비전 센서의 동작 방법 {Vision sensor and operating method of vision sensor}
본 개시의 기술적 사상은 비전 센서 및 비전 센서의 동작 방법에 관한 것으로서, 구체적으로 픽셀의 복수의 샘플링 시점 각각에서 비교 신호를 샘플링 한 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법에 관한 것이다.
비전 센서, 예컨대 동적 비전 센서는 이벤트(예컨대, 빛의 세기 변화)가 발생하면, 이벤트에 관한 정보, 즉 이벤트 신호를 생성하고, 이벤트 신호를 프로세서에 전달한다.
한편, 이벤트 발생은 빛의 세기 변화를 나타내는 유효한 신호에 의해 이벤트가 발생할 수도 있으나, 노이즈에 의해 이벤트가 발생할 수도 있다. 노이즈에 의해 이벤트가 발생하였는지 및 유효한 신호에 의해 이벤트가 발생하였는지를 판단하여, 유효한 신호에 의해 발생한 이벤트를 정확하게 센싱하기 위한 비전 센서에 대한 연구가 필요하다.
본 개시의 기술적 사상이 해결하려는 과제는, 복수의 샘플링 시점 각각에서 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 비전 센서 및 비전 센서의 동작 방법을 제공하는 데 있다.
본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 매트릭스 형태로 배치되는 복수의 픽셀들을 포함하는 비전 센서에 있어서, 상기 복수의 픽셀들 각각은, 빛의 변화를 감지하여 출력 전압을 출력하는 감지 회로, 상기 출력 전압과 이벤트 임계값을 비교하여 이벤트 발생 여부를 나타내는 비교 신호를 출력하는 비교 회로, 및 복수의 샘플링 시점 각각에서 상기 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 상기 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 이벤트 검출 회로를 포함하는 비전 센서를 제공할 수 있다.
또한, 본 개시의 제2 측면은, 빛의 변화를 감지하는 픽셀, 매트릭스 형태로 배치되는 복수의 픽셀들을 포함하는 픽셀 어레이(pixel array), 및 상기 복수의 픽셀들 각각으로부터 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 상기 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 이벤트 검출 회로를 포함하고, 상기 이벤트 검출 회로는, 상기 출력된 유효 이벤트 신호에 대응하는 픽셀을 리셋(reset)시키는 비전 센서를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 복수의 픽셀들 각각으로부터 이벤트 발생 여부를 나타내는 비교 신호를 생성하는 단계, 복수의 샘플링 시점 각각에서 상기 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하는 단계, 상기 내부 이벤트 신호들에 기초하여 상기 복수의 픽셀들 각각에 유효한 이벤트가 발생하였는지 여부를 판단하는 단계, 상기 유효한 이벤트가 발생한 것으로 판단되는 경우, 상기 유효한 이벤트가 발생한 픽셀에 대응하는 유효 이벤트 신호를 생성하는 단계, 및 상기 유효 이벤트 신호를 생성하는 경우, 상기 유효한 이벤트가 발생한 픽셀을 리셋(reset)시키는 단계를 포함하는 비전 센서의 동작 방법을 제공할 수 있다.
본 개시의 실시예들에 따른 비전 센서 및 비전 센서의 동작 방법에 따르면, 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 신호를 샘플링하여, 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우 유효한 이벤트 발생으로 판단하고, 유효 이벤트 신호를 출력함으로써, 노이즈에 의한 이벤트 발생과 유효한 신호에 의한 이벤트 발생을 명확하게 구별할 수 있다.
또한, 유효 이벤트 신호가 출력되는 경우, 픽셀을 리셋시킴으로써, 픽셀의밝기 변화의 판단 기준점이 유효한 신호를 기준으로 설정될 수 있다. 이에 따라. 노이즈에 의한 이벤트 발생이 감소될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2는 일 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다.
도 3은 일 실시예에 따른 픽셀을 설명하기 위한 도면이다.
도 4는 다른 실시예에 따른 픽셀을 설명하기 위한 도면이다.
도 5는 픽셀의 구성 요소들을 도시하기 위한 도면이다.
도 6은 일 실시예에 따른 유효 이벤트 신호가 검출되는 것을 나타내는 그래프이다.
도 7은 이벤트 임계값이 제어되는 것을 나타내기 위한 도면이다.
도 8은 다른 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다.
도 9는 또 다른 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다.
도 10은 일 실시예에 따른 비전 센서의 동작 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 비전 센서를 사용한 실험 결과를 나타낸다.
도 12는 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
본 개시의 예시적 실시예에 따른 이미지 처리 장치(100)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 처리 장치(100)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 처리 장치(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비될 수 있다.
도 1을 참조하면 이미지 처리 장치(100)는 비전 센서(110) 및 프로세서(120)를 포함할 수 있다. 비전 센서(110)는 입사되는 빛의 세기의 변화를 감지하여, 유효 이벤트 신호(VES)를 프로세서(120)로 전송할 수 있다. 유효 이벤트 신호(VES)는 유효한 신호에 기초하여 유효한 이벤트가 발생한 픽셀에 대응하여 생성되는 이벤트 신호를 의미할 수 있다.
비전 센서(110)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 비전 센서(110)는 빛의 변화가 감지되는 픽셀들, 다시 말해서 이벤트가 발생한 픽셀들에 대해서 유효 이벤트 신호(VES)들을 출력하는 동적 비전 센서일 수 있다. 빛의 세기 변화는 비전 센서(110)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(110) 또는 이미지 처리 장치(100) 자체의 움직임에 기인할 수 있다. 비전 센서(110)는 유효 이벤트 신호(VES)들을 주기적 또는 비주기적으로 프로세서(120)로 전송할 수 있다. 비전 센서(110)는 유효 이벤트 신호(VES)들을 패킷 또는 프레임 단위로 프로세서(120)로 전송할 수 있다.
비전 센서(110)는 유효 이벤트 신호(VES)들을 선별적으로 프로세서(120)로 전송할 수 있다. 비전 센서(110)는 픽셀 어레이에 대응하여 생성되는 이벤트 신호들 중 픽셀 어레이 상에 설정된 관심 영역에 해당하는 픽셀(PX)들로부터 생성된 유효 이벤트 신호(VES)들을 프로세서(120)로 전송할 수 있다.
실시예에 있어서, 비전 센서(110)는 복수의 샘플링 시점 각각에서 복수의 픽셀들 각각의 이벤트 발생 여부를 나타내는 비교 신호를 수신하고, 서로 다른 복수의 샘플링 시점들 각각에서 샘플링한 비교 신호들에 기초하여 복수의 픽셀들 각각의 유효 이벤트 신호(VES)를 출력할 수 있다. 비전 센서(110)는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력하여 프로세서(120)로 전송할 수 있다. 또한, 비전 센서(110)는 유효 이벤트 신호(VES)를 출력하는 경우, 유효한 이벤트가 발생한 픽셀을 리셋(reset)시킬 수 있다.
프로세서(120)는 비전 센서(110)로부터 수신되는 유효 이벤트 신호(VES)들을 처리할 수 있으며, 오브젝트의 움직임(또는 이미지 처리 장치(100)가 인지하는 이미지 상에서의 오브젝트의 움직임)을 검출할 수 있다. 프로세서(120)는 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서, 범용 프로세서 (general purpose processor)등을 포함할 수 있다. 실시예에 있어서, 프로세서(120)는 어플리케이션 프로세서 또는 이미지 처리 프로세서일 수 있다.
한편, 비전 센서(110) 및 프로세서(120)는 각각 집적 회로(integrated circuit(IC)로 구현될 수 있다. 예컨대 비전 센서(110) 및 프로세서(120)는 별개의 반도체 칩으로 구현될 수 있다. 또는, 비전 센서(110) 및 프로세서(120)는 단일 칩으로 구현될 수 있다. 예컨대, 비전 센서(110) 및 프로세서(120)는 SoC(system on chip)로 구현될 수 있다.
도 2는 일 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다.
도 2를 참조하면, 비전 센서(200)는 전압 생성기(210), 컨트롤러(220), 픽셀 어레이(230), 컬럼 드라이버(240), AER 로직(250), 및 인터페이스 회로(260)를 포함할 수 있다. 도 2의 비전 센서(200)는 도 1의 비전 센서(110)와 대응되므로, 중복되는 내용은 생략한다.
전압 생성기(210)는 픽셀 어레이(230)에 제공되는 전압을 생성할 수 있다. 전압 생성기(210)는 픽셀(PX)에서 온-이벤트(on-event) 및 오프-이벤트(off-event)를 검출하기 위해 사용되고, 픽셀(PX)의 구성 요소들을 바이어스하는 바이어스 전압(bias voltage)들을 생성할 수 있다. 전압 생성기(210)는 픽셀 어레이(230)의 픽셀(PX)들에 제공되는 바이어스 전압들의 전압 레벨을 변경할 수 있다. 바이어스 전압의 전압 레벨이 변경되면 픽셀(PX)에서 온-이벤트 및 오프-이벤트를 검출하기 위한 이벤트 임계값이 변경될 수 있다.
컨트롤러(220)는 전압 생성기(210)로부터 출력된 바이어스 전압들을 제어할 수 있다. 컨트롤러(220)는 출력된 바이어스 전압들 중 적어도 하나를 선택하여 특정 픽셀로 제공할 수 있고, 특정 픽셀의 특정 구성요소로 제공할 수 있다. 예를 들어, 컨트롤러(220)는 제1 픽셀의 증폭기로 제1 바이어스 전압을 제공하고, 제2 픽셀의 증폭기로 제2 바이어스 전압을 제공할 수 있다. 다른 예로, 컨트롤러(220)는 제1 픽셀의 증폭기로 제1 바이어스 전압을 제공하고, 제1 픽셀의 비교기로 제2 바이어스 전압을 제공할 수 있다.
컨트롤러(220)는 바이어스 전압들을 제어하여 픽셀(PX)마다 이벤트 임계값을 제공할 수 있다. 컨트롤러(220)는 복수의 샘플링 시점들에서 각각 샘플링된 비교 신호와 비교된 이벤트 임계값이 달라지도록 바이어스 전압을 제공할 수 있다. 예를 들어, 컨트롤러(220)는 제1 샘플링 시점에서 샘플링된 비교 신호와 비교된 이벤트 임계값이 제2 샘플링 시점에서 샘플링된 비교 신호와 비교된 이벤트 임계값보다 크도록 픽셀(PX)로 바이어스 전압을 제공할 수 있다.
컨트롤러(220)는 픽셀 어레이(230) 외부에 포함되는 것으로 도시되어 있으나, 이에 반드시 제한되지는 않고, 컨트롤러(220)는 픽셀 어레이(230) 내부에 포함될 수도 있고, 픽셀(PX) 내부에 포함될 수도 있다. 예를 들어, 컨트롤러(220)가 픽셀(PX) 내부에 포함되는 경우, 컨트롤러(220)는 전압 생성기(210)로부터 출력된 바이어스 전압들 중 적어도 하나를 선택하여 픽셀(PX)의 구성 요소들 중 적어도 하나로 제공할 수 있다. 컨트롤러(220)가 픽셀(PX) 내부에 포함되는 실시 예에 대해서는 도 4에서 후술하겠다.
픽셀 어레이(230)는 매트릭스 형태로 배열된 복수의 픽셀(PX)을 포함할 수 있다. 복수의 픽셀(PX) 각각은 수신되는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지할 수 있다.
일 실시예에서, 복수의 픽셀(PX) 각각은 유효 이벤트 신호(VES)를 출력하는 이벤트 검출 회로를 포함할 수 있다. 이벤트 발생 여부를 나타내는 비교 신호 및 이벤트의 극성 정보(즉, 빛의 세기가 증가하는 온-이벤트인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)가 하나의 픽셀(PX) 내에서 이벤트 검출 회로로 출력될 수 있다.
이벤트 검출 회로는 이벤트 검출 회로를 포함하는 픽셀(PX)에서 유효한 이벤트가 발생하였는지 여부를 판단할 수 있다. 이벤트 검출 회로는 픽셀(PX)로부터 이벤트들을 독출하고, 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로는 이벤트 검출 회로를 포함하는 픽셀(PX)의 이벤트 발생 여부를 나타내는 신호에 기초하여 유효한 이벤트가 발생하였는지 여부를 판단하고, 유효 이벤트 신호(VES)를 출력할 수 있다. 유효 이벤트 신호(VES)는 발생한 이벤트의 극성 정보, 유효한 이벤트가 발생한 시간의 정보 등을 포함할 수 있다. 유효한 이벤트는 노이즈에 의해 발생한 이벤트가 아닌 유효한 신호에 의해 빛의 세기 변화에 따른 이벤트 발생을 의미할 수 있다.
이벤트 검출 회로는 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 신호를 샘플링하고, 샘플링한 신호에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 예를 들어, 이벤트 검출 회로는 특정 두 샘플링 시점에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로는 복수의 샘플링 시점 각각에서 샘플링한 신호를 앤드(AND) 연산하여 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로는 유효 이벤트 신호(VES)를 출력하는 경우, 유효 이벤트 신호(VES)를 출력한 픽셀(PX)을 리셋시킬 수 있다. 예를 들어, 유효 이벤트 신호(VES)를 출력하는 제1 픽셀의 이벤트 검출 회로는 제1 픽셀을 리셋시키고, 유효 이벤트 신호(VES)를 출력하지 않은 제2 픽셀의 이벤트 검출 회로는 제2 픽셀을 리셋시키지 않을 수 있다. 이벤트 검출 회로는 픽셀(PX)이 리셋되는 주기를 제어할 수 있다.
노이즈에 의한 이벤트 발생 시에 픽셀(PX)이 리셋되면, 이후 동작에서 픽셀(PX)의 밝기 변화의 판단 기준점(이하, 밝기 기준점)이 유효한 신호 및 기발생된 노이즈에 기초하여 설정되므로 밝기 변화 검출 동작의 정확도가 감소될 수 있다. 그러나, 본 개시에 따른 비전 센서는 유효 이벤트 신호(VES)를 출력하는 경우에만 픽셀(PX)을 리셋할 수 있고, 픽셀(PX)의 밝기 기준점이 유효한 신호에 기초하여 설정되므로, 밝기 변화 검출 동작의 정확도가 증가될 수 있다.
컬럼 드라이버(240)는 픽셀 어레이(230)의 각 열에 포함된 픽셀들을 선택할 수 있다. 컬럼 드라이버(240)에 의해 선택된 픽셀의 유효 이벤트 신호(VES)가 픽셀 어레이(230)의 외부로 출력될 수 있다. 컬럼 드라이버(240)는 미리 정해진 주기에 따라 픽셀 어레이(230)의 행렬 구조에 포함된 복수의 열들을 순차적으로 선택할 수 있다. 도 2에는 컬럼 드라이버(240)만 도시되어 있으나, 비전 센서(200)는 픽셀 어레이(230)의 각 행에 포함된 픽셀들을 선택하는 로우 드라이버를 포함할 수도 있다.
비전 센서(200)는 AER(Address Event Representation) 로직(250)을 포함할 수 있다. AER 로직(250)은 이벤트 검출 회로로부터 출력된 유효 이벤트 신호(VES)에 기초하여 이벤트가 발생한 픽셀의 주소를 생성하고, 이벤트 신호(EVS)를 출력할 수 있다. AER 로직(250)은 이벤트가 발생한 픽셀(PX)의 유효 이벤트 발생 시간에 대한 정보, 컬럼 어드레스, 로우 어드레스 또는 그룹 어드레스를 포함하는 어드레스, 및 극성 정보를 포함하는 이벤트 신호(EVS)를 출력할 수 있다. AER 로직(250)은 이벤트 신호(EVS)를 인터페이스 회로(260)로 출력할 수 있다. 이벤트 신호(EVS)는 여러가지 형태의 포맷으로 생성 될 수 있으며, 예를 들어 유효한 이벤트가 발생한 픽셀의 주소 정보, 유효한 이벤트가 발생한 시간 정보 및 극성 정보를 포함하는 AER(Address-Event Representation) 포맷으로 생성되거나, 모든 픽셀에 대한 이벤트 발생 정보를 포함하는 원시(raw) 포맷으로 생성될 수 있다.
예를 들어, AER 로직(250)은 이벤트가 발생한 픽셀(PX)로부터 출력된 유효 이벤트 신호(VES)를 수신하고, 이벤트가 발생한 픽셀(PX)의 컬럼 어드레스를 생성할 수 있다. AER 로직(250)은 이벤트가 발생한 픽셀(PX)로부터 출력된 유효 이벤트 신호(VES)를 수신하고, 이벤트가 발생한 픽셀(PX)의 로우 어드레스를 생성할 수 있다. AER 로직(250)은 기 설정된 그룹 단위로 그룹 어드레스를 생성할 수도 있다.
실시예에 있어서, 픽셀 어레이(230)는 컬럼 단위로 스캔될 수 있고, AER 로직(250)은 특정 컬럼, 예를 들어, 제1 컬럼의 픽셀들로부터 유효 이벤트 신호가 수신되면, 응답 신호를 제1 컬럼으로 전송할 수 있다. 응답 신호를 수신한 이벤트가 발생한 픽셀(PX)은 극성 정보(예를 들어, 온-이벤트 또는 오프-이벤트 발생을 나타내는 신호)를 AER 로직(250)으로 전송할 수 있다. 다른 예로, 픽셀 어레이(230)는 로우 단위로 스캔될 수 있고, AER 로직(250)은 특정 로우의 픽셀들로부터 유효 이벤트 신호가 수신되면, 응답 신호를 특정 로우로 전송하고, 응답 신호를 수신한 이벤트가 발생한 픽셀(PX)은 극성 정보를 AER 로직(250)으로 전송할 수 있다. 또한, AER 로직(250)은 이벤트가 발생한 픽셀(PX)을 개별적으로 엑세스할 수도 있다.
인터페이스 회로(260)는 이벤트 신호(EVS)들을 수신하고, 설정된 프로토콜에 따라 프로세서(예를 들어, 도 1의 프로세서(120))에 이벤트 신호(EVS)들을 전송할 수 있다. 인터페이스 회로(260)는 설정된 프로토콜에 따라 이벤트 신호(EVS)들을 개별 신호 단위, 패킷 단위 또는 프레임 단위로 패킹하여 이벤트 데이터(EDT)를 생성하고, 이벤트 데이터(EDT)를 프로세서로 전송할 수 있다. 예를 들어, 인터페이스 회로(260)는 AER 인터페이스, MIPI (Mobile Industry Processor Interface) 인터페이스, 및 병렬 인터페이스들 중 하나를 포함할 수 있다.
이하, 본 개시에서, 유효 이벤트 신호(VES)가 출력된다는 표현은 유효 이벤트 신호(VES)가 AER 로직(250)을 통해 이벤트 신호(EVS)로 변환되고, 이벤트 신호(EVS)들이 인터페이스 회로(260)를 통해 이벤트 데이터(EDT)로 변환되고, 이벤트 데이터(EDT)가 프로세서로 전송되는 것을 의미할 수 있다.
도 3은 일 실시예에 따른 픽셀을 설명하기 위한 도면이다.
도 3을 참조하면, 픽셀(300)은 감지 회로(310), 비교 회로(320), 및 이벤트 검출 회로(330)를 포함할 수 있다. 도 3의 픽셀(300) 및 이벤트 검출 회로(330)는 도 2의 픽셀(PX) 및 이벤트 검출 회로에 각각 대응되므로, 중복되는 내용은 생략한다.
감지 회로(310)는 빛의 변화를 감지하여 출력 전압(Vo)을 출력할 수 있다. 감지 회로(310)는 빛의 세기 변화를 감지하여 전기적 신호인 출력 전압(Vo)을 생성할 수 있다. 출력 전압(Vo)은 빛의 변화의 정도에 따라 달라질 수 있다. 예를 들어, 빛의 세기의 변화 정도가 클수록 출력 전압(Vo)의 크기가 커질 수 있다. 다만, 이에 반드시 제한되는 것은 아니다. 감지 회로(310)는 출력 전압(Vo)을 비교 회로(320)로 출력할 수 있다.
비교 회로(320)는 출력 전압(Vo)과 이벤트 임계값을 비교하여 이벤트 발생 여부를 나타내는 비교 신호(Sc)를 출력할 수 있다. 비교 신호(Sc)는 온-신호(E_ON) 및 오프-신호(E_OFF) 중 적어도 하나를 포함할 수 있다. 예를 들어, 비교 회로(320)는 출력 전압(Vo)이 온 이벤트 임계값보다 큰 경우, 온-신호를 출력할 수 있고, 출력 전압(Vo)이 오프 이벤트 임계값보다 작은 경우, 오프-신호를 출력할 수 있다. 비교 회로(320)는 비교 신호(Sc)를 이벤트 검출 회로(330)로 제공할 수 있다.
이벤트 검출 회로(330)는 비교 신호(Sc)를 수신하고, 복수의 샘플링 시점 각각에서 비교 신호(Sc)를 샘플링 할 수 있다. 이벤트 검출 회로(330)는 복수의 샘플링 시점들 각각에서 비교 신호(Sc)를 샘플링하여, 내부 이벤트 신호들을 생성할 수 있다. 내부 이벤트 신호는 복수의 샘플링 시점들 각각에서 샘플링된 비교 신호(Sc)를 의미할 수 있다. 예를 들어, 제1 샘플링 시점에서 샘플링된 비교 신호(Sc)가 온-신호인 경우, 이벤트 검출 회로(330)는 내부 이벤트 신호를 생성할 수 있다.
이벤트 검출 회로(330)는 내부 이벤트 신호들에 기초하여 유효한 이벤트가 발생하였는지 여부를 판단할 수 있다. 이벤트 검출 회로(330)는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효한 이벤트가 발생한 것으로 판단하고 유효 이벤트 신호(VES)를 출력할 수 있다. 예를 들어, 이벤트 검출 회로(330)는 복수의 샘플링 시점 각각에서 모두 온-신호가 샘플링되어 복수의 샘플링 시점 각각에서 내부 이벤트 신호가 생성된 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 다른 예로, 이벤트 검출 회로(330)는 복수의 샘플링 시점 각각에서 모두 오프-신호가 샘플링되어 내부 이벤트 신호가 생성된 경우, 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로(330)는, 복수의 샘플링 신호들(Sample1 ~ SampleN) 각각에 응답하여 복수의 샘플링 신호들 각각에 대응하는 복수의 샘플링 시점 각각에서 비교 신호(Sc)를 샘플링할 수 있다. 복수의 샘플링 신호들(Sample1 ~ SampleN)은 픽셀(300) 외부로부터 픽셀(300)로 인가될 수 있다. 복수의 샘플링 신호들(Sample1 ~ SampleN)은 컨트롤러(예를 들어, 도 2의 컨트롤러(220))부터 출력될 수도 있고, 비전 센서에 포함되는 타이밍 로직으로부터 출력될 수도 있다. 복수의 샘플링 신호들(Sample1 ~ SampleN)은 시간 간격을 두고 수신될 수 있다. 예를 들어, 이벤트 검출 회로(330)는 제1 샘플링 신호(Sample1)에 대응하는 제1 샘플링 시점 및 제2 샘플링 신호(Sample2)에 대응하는 제2 샘플링 시점 각각에서 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호를 생성하고, 내부 이벤트 신호에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다.
일 실시예에서, 복수의 샘플링 신호들(Sample1 ~ SampleN)은 동일한 연결 라인을 통해 이벤트 검출 회로(330)로 제공될 수 있다. 예를 들어, 제1 샘플링 신호(Sample1) 및 제1 샘플링 신호(Sample1) 이후에 수신되는 제2 샘플링 신호(Sample2)는 동일한 연결 라인을 통해, 이벤트 검출 회로(330)로 제공될 수 있다. 복수의 샘플링 신호들(Sample1 ~ SampleN)이 동일한 연결 라인을 통해 순차적으로 제공됨으로써, 비전 센서의 픽셀(PX)과 픽셀(PX)의 외부 구성(도 2의 컨트롤러(220)또는 타이밍 로직) 사이의 배선 연결이 간단할 수 있다.
다른 실시예에서, 복수의 샘플링 신호들(Sample1 ~ SampleN) 각각은 서로 다른 연결 라인을 통해, 이벤트 검출 회로(330)로 제공될 수 있다. 예를 들어, 제1 샘플링 신호(Sample1)는 제1 라인으로 제공되고, 제1 샘플링 신호(Sample1) 이후에 수신되는 제2 샘플링 신호(Sample2)는 제2 라인을 통해 이벤트 검출 회로(330)로 제공될 수 있다. 복수의 샘플링 신호들(Sample1 ~ SampleN) 각각이 서로 다른 연결 라인을 통해 제공됨으로써, 이벤트 검출 회로(330)의 내부 구성이 간단해질 수 있다.
이벤트 검출 회로(330)는 유효 이벤트 신호(VES)를 출력하는 경우 픽셀(300)을 리셋시킬 수 있다. 예를 들어, 이벤트 검출 회로(330)는 유효 이벤트 신호(VES)를 출력하는 경우, 감지 회로(310)로 리셋 신호를 제공할 수 있다.
바이어스 전압들은 픽셀(300) 외부로부터 픽셀(300)로 인가될 수 있다. 바이어스 전압들은 컨트롤러(예를 들어, 도 2의 컨트롤러(220))로부터 인가될 수 있다. 컨트롤러는 전압 생성기(예를 들어, 도 2의 전압 생성기(210))로부터 출력된 바이어스 전압들 중 감지 회로(310) 및 비교 회로(320) 각각에 대응하는 바이어스 전압들을 감지 회로(310) 및 비교 회로(320) 각각으로 제공할 수 있다.
비교 회로(320)로 제공되는 바이어스 전압들에 기초하여 이벤트 임계값(TH1, TH2)이 변경될 수 있다. 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값(TH1, TH2)은 다를 수 있다. 예시적인 실시 예에서, 비교 회로(320)로 제공되는 이벤트 임계값(TH1, TH2)은, 복수의 샘플링 시점들에서 각각 달라질 수 있다. 예를 들어, 제1 샘플링 시점에서의 샘플링된 비교 신호(Sc)와 비교된 이벤트 임계값(TH1)보다, 제2 샘플링 시점에서의 샘플링된 비교 신호(Sc)와 비교된 이벤트 임계값(TH2)의 크기가 작을 수 있다. 또는, 예시적인 실시 예에서, 비교 회로(320)로 제공되는 이벤트 임계값(TH1, TH2)은, 복수의 샘플링 시점들에서 서로 동일할 수도 있다.
도 4는 다른 실시예에 따른 픽셀을 설명하기 위한 도면이다. 도 4는 도 3의 픽셀(300)에서 컨트롤러(340)를 더 포함할 수 있다.
도 4를 참조하면, 컨트롤러(340)는 픽셀(300) 내부에 포함될 수 있다. 컨트롤러(340)는 전압 생성기(예를 들어, 도 2의 전압 생성기(210))로부터 출력된 바이어스 전압들 중 적어도 하나를 선택하여 픽셀(PX)의 구성 요소들 중 적어도 하나로 제공할 수 있다.
컨트롤러(340)는 바이어스 전압들 중 감지 회로(310) 및 비교 회로(320) 각각에 대응하는 바이어스 전압들을 감지 회로(310) 및 비교 회로(320) 각각으로 제공할 수 있다. 예를 들어, 컨트롤러(340)는 바이어스 전압들을 수신하고, 바이어스 전압들 중 제1 바이어스 전압을 감지 회로(310)로 제공하고, 제2 바이어스 전압을 비교 회로(320)로 제공할 수 있다.
도 4를 참조하면, 이벤트 검출 회로(330)는 샘플링 신호가 인가되는 것 대신, 이벤트 검출 회로(330)는 픽셀(300) 내부에서 설정된 복수의 샘플링 시점 각각에서 비교 신호(Sc)를 샘플링하여 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로(330)는 컨트롤러(예를 들어, 도 2의 컨트롤러(220))와 핸드 쉐이킹(Hand Shaking) 방식으로 통신할 수도 있고, 비전 센서에 포함되는 타이밍 로직과 핸드 쉐이킹 방식으로 통신할 수도 있다. 예를 들어, 이벤트 검출 회로(330)는 유효 이벤트가 발생된 것으로 판단되면, 타이밍 로직으로 리퀘스트 신호(Req)를 출력할 수 있다. 타이밍 로직은 리퀘스트 신호(Req)에 응답하여 복수의 샘플링 시점 각각에 대응하는 응답 신호(Ack)를 출력할 수 있다. 이벤트 검출 회로(330)는 응답 신호(Ack)에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로(330)는 컨트롤러(340)와 연결될 수 있다. 이벤트 검출 회로(330)는 픽셀(300) 내부에서 설정된 복수의 샘플링 시점에 대한 정보를 컨트롤러(340)로 제공할 수 있다. 컨트롤러(340)는 복수의 샘플링 시점마다 다른 바이어스 전압을 제공할 수 있다. 컨트롤러(340)는 비교 회로(320)로 복수의 샘플링 시점마다 다른 바이어스 전압을 제공할 수 있고, 비교 회로(320)로 제공되는 이벤트 임계값(TH1, TH2)이 변경될 수 있다. 예를 들어, 픽셀(300) 내부에서 설정된 제1 샘플링 시점에서의 샘플링된 비교 신호(Sc)와 비교된 이벤트 임계값(TH1)보다, 픽셀(300) 내부에서 설정된 제2 샘플링 시점에서의 샘플링된 비교 신호(Sc)와 비교된 이벤트 임계값(TH2)의 크기가 작을 수 있다.
도 5는 픽셀의 구성 요소들을 도시하기 위한 도면이다.
도 5를 참조하면, 픽셀(500)은 감지 회로(510), 비교 회로(520), 및 이벤트 검출 회로(530)를 포함할 수 있다. 도 5의 픽셀(500), 감지 회로(510), 비교 회로(520), 및 이벤트 검출 회로(530)는 도 3 및 도 4의 픽셀(300), 감지 회로(310), 비교 회로(320), 및 이벤트 검출 회로(330)에 각각 대응되므로, 중복되는 내용은 생략한다.
감지 회로(510)는 광수용기(511) 및 증폭 회로(512)를 포함할 수 있다.
광수용기(511)는 광전 변환 소자(PD), 커패시터(Cm), 증폭기(A1), 증폭기(ASF), 트랜지스터(MFB)를 포함할 수 있다. 광전 변환 소자(PD)는 입사되는 빛, 즉 광신호를 감지하여 전기적 신호, 예컨대 전류(IPD)로 변환할 수 있다. 광전 변환 소자(PD)는 예컨대, 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 광전 변환 소자(PD)는 입사되는 빛의 세기가 증가할수록 높은 레벨을 갖는 전기적 신호를 생성할 수 있다. 광전 변환 소자(PD)에 의해 감지된 빛의 세기에 대응하여 트랜지스터(MFB)에 전류(IPD)가 흐르고, 증폭기(ASF)로 출력되는 전압(VLOG)이 생성될 수 있다.
증폭기(A1)는 전압(VLOG)의 크기가 광전 변환 소자(PD)에 의해 감지된 빛의 세기에 선형으로 비례하도록 광전 변환 소자(PD)의 출력(VPD)을 증폭할 수 있다. 증폭기(ASF)는 증폭기(A1)의 출력 및 전압(VLOG)을 증폭하여 전압(VSF)을 생성할 수 있다. 광수용기(511)는 픽셀(500) 내부에서 발생하거나 또는 외부로부터 유입되는 노이즈를 제거하기 위한 커패시터, 각종 스위치들을 더 포함할 수 있다. 예를 들어, 커패시터(Cm)는 픽셀(500) 외부로부터 유입되는 노이즈를 제거할 수 있다.
증폭 회로(512)는 광수용기(511)와 연결되고, 광수용기(511)로부터 출력된 전기적 신호(VSF)를 증폭하여 출력 전압(Vo)을 출력할 수 있다. 증폭 회로(512)는 커패시터(C1), 커패시터(C2). 증폭기(A2), 및 스위칭 소자(SW)를 포함할 수 있다. 커패시터(C1)는 증폭기(ASF)와 직렬로 연결될 수 있다. 커패시터(C1)는 광수용기(511)에 의하여 생성되는 전압(VSF)이 변화됨에 따라 전하를 충전할 수 있다. 증폭기(A2)는 커패시터(C1)에 충전된 전하로 인하여 발생되는 전압을 미리 정해진 비율로 증폭할 수 있다. 증폭기(A2)의 증폭율은 커패시터(C1)의 커패시턴스와 커패시터(C2)의 커패시턴스의 비율로 결정될 수 있다. 커패시터(C2)는 피드백(feedback) 커패시터일 수 있다. 스위칭 소자(SW)는 이벤트 검출 회로(530)의 리셋 신호에 응답하여 커패시터(C1)에 충전된 전하를 리셋할 수 있다. 스위칭 소자(SW)는 예를 들어, 트랜지스터일 수 있으나, 반드시 이에 제한되는 것은 아니다. 증폭 회로(512)는 광수용기(511)로부터 출력된 전압(VSF)을 수신하여 전압(VSF)의 전압 변화량을 증폭할 수 있다. 증폭 회로(512)의 출력 전압(Vo)은 제1 비교기(521) 및 제2 비교기(522)로 제공될 수 있다.
비교 회로(520)는 제1 비교기(521) 및 제2 비교기(522)를 포함할 수 있다. 제1 비교기(521) 및 제2 비교기(522) 각각은 출력 전압(Vo)과 이벤트 임계값(TH1, TH2)을 비교하여 비교 신호를 생성할 수 있다. 예를 들어, 제1 비교기(521)는 증폭 회로(512)의 출력 전압(Vo)을 온 이벤트 임계값(TH1)과 비교하고, 비교 결과에 따라 온-신호(E_ON)를 생성할 수 있다. 다른 예로, 제2 비교기(522)는 증폭 회로(512)의 출력 전압(Vo)을 오프 이벤트 임계값(TH2)과 비교하고, 비교 결과에 따라 오프-신호(E_OFF)를 생성할 수 있다.
제1 비교기(521) 및 제2 비교기(522)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 일정 변화 수준 이상일 경우 온-신호(E_ON) 또는 오프-신호(E_OFF)를 생성할 수 있다. 예를 들어, 온-신호(E_ON)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준이상 증가되는 경우에 하이 레벨이 되고, 오프-신호(E_OFF)는 광전 변환 소자(PD)에 수신되는 광량이 일정 수준 이상 감소되는 경우에 하이 레벨이 될 수 있다.
한편, 감광도가 조정될 경우, 온 이벤트 임계값(TH1) 및 오프 이벤트 임계값(TH2)의 레벨들이 변경될 수 있다. 예컨대, 감광도가 낮아질 수 있다. 이에 따라, 온 이벤트 임계값(TH1)의 레벨이 증가되고 오프 이벤트 임계값(TH2)의 레벨이 감소될 수 있다. 따라서, 제1 비교기(521) 및 제2 비교기(522)는 광전 변환 소자(PD)에 수신되는 빛의 변화량이 이전(즉, 온 이벤트 임계값(TH1) 및 오프 이벤트 임계값(TH2)의 레벨들이 변경되기 전)보다 더 클 경우에 온-신호(E_ON) 또는 오프-신호(E_OFF)를 생성할 수 있다.
이벤트 검출 회로(530)는 복수의 샘플링 시점 각각에서 온-신호(E_ON) 및 오프-신호(E_OFF) 중 적어도 하나를 샘플링하여 내부 이벤트 신호를 생성하고, 내부 이벤트 신호에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로(530)는 각각 온-신호(E_ON) 및 오프-신호(E_OFF)를 홀딩한 후, 출력할 수 있다. 예를 들어, 이벤트 검출 회로(530)는 홀딩한 후 복수의 샘플링 시점 각각에서 온-신호(E_ON) 및 오프-신호(E_OFF) 샘플링할 수 있다.
도 6은 일 실시예에 따른 유효 이벤트 신호가 검출되는 것을 나타내는 그래프이다.
도 6을 참조하면, 그래프의 가로축은 시간을 의미하고, 세로축은 각각 출력 전압(Vo), 샘플링 시점(sample), 내부 이벤트 신호(IES), 유효 이벤트 신호(VES), 및 픽셀을 리셋시키기 위한 리셋 신호(Reset)를 의미할 수 있다.
샘플링 시점(t1)과 샘플링 시점(t2) 사이는 시간 간격(
Figure pat00001
), 샘플링 시점(t3)과 샘플링 시점(t4) 사이는 시간 간격(
Figure pat00002
), 샘플링 시점(t5)과 샘플링 시점(t6) 사이는 시간 간격(
Figure pat00003
)만큼의 시간 차이가 있다. 복수의 샘플링 시점 각각의 시간 간격(
Figure pat00004
,
Figure pat00005
,
Figure pat00006
)은, 노이즈에 의한 이벤트가 발생한 후 노이즈가 다시 감소하여 통상의 수준으로 돌아오기까지 걸리는 시간을 의미할 수 있다.
복수의 샘플링 시점 각각의 시간 간격(
Figure pat00007
,
Figure pat00008
,
Figure pat00009
)은, 복수의 픽셀들 각각으로 입사되는 빛의 조도 및 이벤트 양 중 적어도 하나에 기초하여 설정될 수 있다. 복수의 샘플링 시점 각각의 시간 간격은 픽셀로 입사되는 빛의 조도에 반비례할 수 있다. 예를 들어, 픽셀로 입사되는 빛의 조도가 10 lx인 경우 복수의 샘플링 시점 각각의 시간 간격은 100
Figure pat00010
s이고, 픽셀로 입사되는 빛의 조도가 100 lx인 경우 복수의 샘플링 시점 각각의 시간 간격은 10
Figure pat00011
s이고, 픽셀로 입사되는 빛의 조도가 1000 lx인 경우 복수의 샘플링 시점 각각의 시간 간격은 1
Figure pat00012
s일 수 있으나, 나열한 수치에 제한되는 것은 아니다. 복수의 샘플링 시점 각각의 시간 간격(
Figure pat00013
,
Figure pat00014
,
Figure pat00015
) 각각은 동일할 수도 있고, 서로 다를 수도 있다.
복수의 샘플링 시점 각각의 시간 간격(
Figure pat00016
,
Figure pat00017
,
Figure pat00018
)은 픽셀 단위로 제어될 수 있다. 각각의 픽셀들의 복수의 샘플링 시점 각각의 시간 간격(
Figure pat00019
,
Figure pat00020
,
Figure pat00021
)은 서로 다를 수 있다. 예를 들어, 제1 픽셀의 시간 간격(
Figure pat00022
)은 1
Figure pat00023
s이고, 제2 픽셀의 시간 간격(
Figure pat00024
)은 10
Figure pat00025
s으로 상이할 수 있다. 또한, 복수의 샘플링 시점 각각의 시간 간격(
Figure pat00026
,
Figure pat00027
,
Figure pat00028
)은 패치(patch) 단위로 제어될 수 있다. 패치에 포함된 픽셀들의 복수의 샘플링 시점 각각의 시간 간격(
Figure pat00029
,
Figure pat00030
,
Figure pat00031
)은 같을 수 있다. 예를 들어, 동일한 패치에 포함된 제1 픽셀의 시간 간격(
Figure pat00032
)과 제2 픽셀의 시간 간격(
Figure pat00033
)은 1
Figure pat00034
s로 동일할 수 있다.
일 실시예에서, 이벤트 검출 회로는 두 개의 샘플링 시점에서 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호(IES)를 생성하고, 이에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로는 제1 샘플링 시점(t1)에서 비교 신호를 수신하여 내부 이벤트 신호(IES)를 생성하고, 제1 샘플링 시점(t1)으로부터 제1 시간 후인 제2 샘플링 시점(t2)에서 내부 이벤트 신호(IES)를 생성하고, 제1 샘플링 시점(t1) 및 제2 샘플링 시점(t2)에서 내부 이벤트 신호(IES)가 생성된 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 즉, 이벤트 검출 회로는 제1 샘플링 시점(t1) 및 제2 샘플링 시점(t2)에서 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 제1 샘플링 시점(t1)은 두 개의 샘플링 시점 중 빠른 샘플링 시점을 의미하고, 제2 샘플링 시점(t2)은 제1 샘플링 시점으로부터 제1 시간인 시간 간격(
Figure pat00035
) 뒤인 샘플링 시점을 의미할 수 있다.
도 6을 참조하면, 이벤트 검출 회로는 제1 샘플링 시점(t1)에서 출력 전압(Vo)이 온 이벤트 임계값(a)보다 크므로 온-신호를 샘플링하여 내부 이벤트 신호(IES)를 생성하고, 제2 샘플링 시점(t2)에서 출력 전압(Vo)이 온 이벤트 임계값(a)보다 크므로 온-신호를 샘플링하여 내부 이벤트 신호(IES)를 생성할 수 있다. 이벤트 검출 회로는 제1 샘플링 시점(t1) 및 제2 샘플링 시점(t2)에서 모두 내부 이벤트 신호(IES)를 생성하였으므로, 유효한 이벤트가 발생한 것으로 판단하고 유효 이벤트 신호(VES)를 출력할 수 있다.
유효한 이벤트가 발생한 샘플링 시점(t2)에서 픽셀이 리셋되므로, 픽셀의 밝기 기준점(b)이 샘플링 시점(t2)을 기준으로 달라질 수 있다. 이벤트 검출 회로는 유효 이벤트 신호(VES)를 출력하므로 픽셀을 리셋시킬 수 있다. 픽셀을 리셋 시키는 샘플링 시점은 유효 이벤트 신호(VES)를 출력하는 샘플링 시점과 동일할 수도 있고, 유효 이벤트 신호(VES)를 출력한 후일 수도 있다.
이벤트 검출 회로는 제1 샘플링 시점(t3)에서 출력 전압(Vo)이 온 이벤트 임계값(a)보다 크므로 온-신호를 수신하여 내부 이벤트 신호(IES)를 생성하고, 제2 샘플링 시점(t4)에서 출력 전압(Vo)이 온 이벤트 임계값(a)보다 작고 오프 이벤트 임계값(c)보다 크므로 내부 이벤트 신호(IES)를 생성하지 않을 수 있다. 이벤트 검출 회로는 제1 샘플링 시점(t3)에서 내부 이벤트 신호(IES)를 생성하였으나, 제2 샘플링 시점(t4)에서 내부 이벤트 신호(IES)를 생성하지 못하였으므로, 유효한 이벤트가 발생하지 않은 것으로 판단하고 유효 이벤트 신호(VES)를 출력하지 않을 수 있다. 이벤트 검출 회로는 유효 이벤트 신호(VES)를 출력하지 않았으므로 픽셀을 리셋시키지 않 수 있다.
이벤트 검출 회로는 세 개의 샘플링 시점에서 비교 신호를 샘플링하여 내부 이벤트 신호(IES)를 생성하고, 이에 기초하여 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로는 제1 샘플링 시점(t1)에서 비교 신호를 수신하여 내부 이벤트 신호(IES)를 생성하고, 제1 샘플링 시점(t1)으로부터 제1 시간 후인 제2 샘플링 시점(t2)에서 비교 신호를 수신하여 내부 이벤트 신호(IES)를 생성하고, 제2 샘플링 시점(t2)으로부터 제2 시간 후인 제3 샘플링 시점에서 비교 신호를 수신하여 내부 이벤트 신호(IES)를 생성하고, 제1 샘플링 시점(t1), 제2 샘플링 시점(t2), 및 제3 샘플링 시점에서 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 제1 샘플링 시점(t1)은 세 개의 샘플링 시점 중 가장 빠른 샘플링 시점을 의미하고, 제2 샘플링 시점(t2)은 제1 샘플링 시점(t1)으로부터 제1 시간인 시간 간격(
Figure pat00036
) 뒤인 샘플링 시점을 의미하고, 제3 샘플링 시점은 제2 샘플링 시점(t2)으로부터 특정 시간 간격 뒤인 샘플링 시점을 의미할 수 있다. 제1 샘플링 시점(t1)과 제2 샘플링 시점(t2) 사이의 시간 간격 및 제2 샘플링 시점(t2)과 제3 샘플링 시점 사이의 시간 간격은 동일할 수도 있고, 상이할 수도 있다.
도 7은 이벤트 임계값이 제어되는 것을 나타내기 위한 도면이다. 도 7은 도 6에 이어지는 내용으로 중복되는 내용은 생략한다.
도 7을 참조하면, 바이어스 전압은 복수의 샘플링 시점 각각에서 상이할 수 있다. 컨트롤러(예를 들어, 도 2의 컨트롤러(220))는 복수의 샘플링 시점 각각에서 샘플링된 비교 신호와 비교된 이벤트 임계값이 달라지도록 바이어스 전압을 제공할 수 있다. 픽셀로 제공되는 바이어스 전압들에 기초하여 이벤트 임계값이 변경될 수 있다. 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값은 상이할 수 있다. 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값은 복수의 샘플링 시점 각각에서 샘플링된 비교 신호와 비교된 이벤트 임계값을 의미할 수 있다.
이벤트 임계값은 온 이벤트 임계값(a) 및 오프 이벤트 임계값(c)을 포함할 수 있다. 예를 들어, 제1 샘플링 시점(t1)에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값(a)은 제2 샘플링 시점(t2)에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값(a) 보다 클 수 있다. 제1 샘플링 시점(t1)에서 픽셀의 밝기 기준점(b)과 제1 샘플링 시점(t1)에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값(a)의 차이는, 제2 샘플링 시점(t2)에서 픽셀의 밝기 기준점(b)과 제2 샘플링 시점(t2)에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값(a)의 차이보다 클 수 있다.
복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값을 상이하게 설정함으로써, 노이즈에 의한 이벤트 발생을 배제하고 유효한 신호에 의한 이벤트 발생을 효과적으로 필터링할 수 있다.
도 8은 다른 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다.
도 8을 참조하면, 비전 센서(800)는 전압 생성기(810), 컨트롤러(820), 픽셀 어레이 칩(830), 컬럼 드라이버(840), AER 로직(850), 및 인터페이스 회로(860)를 포함할 수 있고, 픽셀 어레이 칩(830)은 픽셀 어레이(831) 및 이벤트 검출 회로(832)를 포함할 수 있다. 도 8의 비전 센서(800), 전압 생성기(810), 컨트롤러(820), 컬럼 드라이버(840), AER 로직(850), 인터페이스 회로(860), 픽셀 어레이(831), 및 이벤트 검출 회로(832)는 도 2의 비전 센서(200), 전압 생성기(210), 컨트롤러(220), 컬럼 드라이버(240), AER 로직(250), 인터페이스 회로(260), 픽셀 어레이(230), 및 이벤트 검출 회로에 각각 대응되므로, 중복되는 내용은 생략한다.
일 실시예에서, 픽셀 어레이(831) 및 이벤트 검출 회로(832)는 동일한 칩(chip)에 포함될 수 있다. 픽셀 어레이(831) 및 이벤트 검출 회로(832)는 픽셀 어레이 칩(830)에 포함될 수 있다. 이벤트 검출 회로(832)는 픽셀 어레이(831) 외부에 있으나, 픽셀 어레이(831) 및 이벤트 검출 회로(832)는 하나의 칩으로 구현될 수 있다.
이벤트 검출 회로(832)는 픽셀 어레이(831)의 복수의 픽셀(PX)들 각각으로부터 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 비교 신호(Sc)를 샘플링하고, 샘플링한 비교 신호(Sc)에 기초하여 복수의 픽셀(PX)들 각각의 유효 이벤트 신호(VES)를 출력할 수 있다. 예를 들어, 복수의 픽셀(PX)들 각각은 열 방향으로 연장된 컬럼 라인과 행 방향으로 연장된 로우 라인을 통하여 이벤트 검출 회로(832)에 연결될 수 있다. 이벤트 검출 회로(832)는 복수의 픽셀(PX)들 각각의 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호를 생성할 수 있고, 내부 이벤트 신호에 기초하여 복수의 픽셀(PX)들 각각의 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로(832)는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 즉, 이벤트 검출 회로(832)는 복수의 샘플링 시점 각각에서 모두 내부 이벤트 신호들이 생성된 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 예를 들어, 이벤트 검출 회로(832)는 제1 샘플링 시점에서 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호를 생성하고, 제1 샘플링 시점으로부터 제1 시간 후인 제2 샘플링 시점에서 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호를 생성하고, 제1 샘플링 시점 및 제2 샘플링 시점에서 내부 이벤트 신호가 생성된 경우, 유효 이벤트 신호(VES)를 출력할 수 있다.
이벤트 검출 회로(832)는 유효 이벤트 신호(VES)를 출력하는 경우, 출력된 유효 이벤트 신호에 대응하는 픽셀을 리셋시킬 수 있다. 출력된 유효 이벤트 신호에 대응하는 픽셀은 유효한 이벤트가 발생한 픽셀을 의미할 수 있다. 이벤트 검출 회로(832)는 유효 이벤트 신호(VES)를 출력하는 경우, 픽셀 어레이(831)로 유효 이벤트 신호(VES)를 출력한 픽셀(PX)을 리셋시키기 위한 리셋 신호(Reset)를 제공할 수 있다.
이벤트 검출 회로(832)는 픽셀 어레이(831)에서 발생한 이벤트들을 픽셀 단위, 복수의 픽셀들을 포함하는 픽셀 그룹 단위, 컬럼 단위 또는 프레임 단위로 처리할 수 있다.
도 9는 또 다른 실시예에 따른 비전 센서의 구성을 나타내기 위한 도면이다. 도 9는 도 8의 픽셀 어레이(831)와 이벤트 검출 회로(832)가 서로 다른 칩으로 구현되는 것을 나타낸다.
도 9를 참조하면, 비전 센서(800)는 전압 생성기(810), 컨트롤러(820), 픽셀 어레이(831), 이벤트 검출 회로(832), 컬럼 드라이버(840), AER 로직(850), 및 인터페이스 회로(860)를 포함할 수 있다.
일 실시예에서, 픽셀 어레이(831) 및 이벤트 검출 회로(832)는, 서로 다른 칩에 포함될 수 있다. 이벤트 검출 회로(832)는 픽셀 어레이(831)와 별도로 구현될 수 있다.
이벤트 검출 회로(832)는 픽셀 어레이(831)의 복수의 픽셀(PX)들 각각으로부터 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 비교 신호(Sc)를 샘플링하여 내부 이벤트 신호를 생성하고, 내부 이벤트 신호에 기초하여 복수의 픽셀(PX)들 각각의 유효 이벤트 신호(VES)를 출력할 수 있다. 복수의 픽셀(PX)들 각각은 열 방향으로 연장된 컬럼 라인과 행 방향으로 연장된 로우 라인을 통하여 이벤트 검출 회로(832)에 연결될 수 있다.
이벤트 검출 회로(832)는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호(VES)를 출력할 수 있다. 이벤트 검출 회로(832)는 복수의 샘플링 시점 각각에서 모두 내부 이벤트 신호들이 생성되면, 유효한 이벤트가 발생한 것으로 판단할 수 있다. 이벤트 검출 회로(832)는 유효 이벤트 신호(VES)를 출력하는 경우, 유효 이벤트 신호(VES)를 출력한 픽셀(PX)을 리셋시킬 수 있다.
비전 센서(800)는 AER(Address Event Representation) 로직(850)을 포함할 수 있다. AER 로직(850)은 이벤트 검출 회로로부터 출력된 유효 이벤트 신호(VES)에 기초하여 이벤트가 발생한 픽셀의 주소를 생성하고, 이벤트 신호(EVS)를 출력할 수 있다. 도 9에는 이벤트 검출 회로(832)와 AER 로직(850)이 별도의 구성으로 구현되는 것을 도시하고 있으나, 반드시 이에 제한되지는 않고, AER 로직(850)은 이벤트 검출 회로(832)에 포함될 수도 있다. 예를 들어, 이벤트 검출 회로(832)는 복수의 픽셀(PX)들 각각으로부터 비교 신호(Sc)를 샘플링하여 유효한 이벤트가 발생한 픽셀(PX)을 판단하고, 유효 이벤트 신호(VES)에 기초하여 이벤트 신호(EVS)를 생성할 수 있다.
도 10은 일 실시예에 따른 비전 센서의 동작 방법을 설명하기 위한 흐름도이다.
도 10의 동작 방법은 도 1 내지 도 9를 참조하여 설명한 비전 센서에서 수행될 수 있다. 구체적으로, 도 10의 동작 방법은 이벤트 검출 회로에서 수행될 수 있다.
단계 S1010에서, 비전 센서는 복수의 픽셀들 각각으로부터 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 비교 신호를 생성하고, 단계 S1020에서, 복수의 샘플링 시점 각각에서 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성할 수 있다. 비전 센서는 두 샘플링 시점으로에서 비교 신호를 샘플링할 수 있다. 예를 들어, 비전 센서는 제1 샘플링 시점에서 비교 신호를 샘플링하여 내부 이벤트 신호를 생성하고, 제1 시간으로부터 제1 시간 후인 제2 샘플링 시점에서 비교 신호를 샘플링하여 내부 이벤트 신호를 생성할 수 있다. 비교 신호는 감지 회로에서 빛의 세기 변화를 감지하여 출력한 출력 전압과 이벤트 임계값을 비교하여 이벤트 발생 여부를 나타내는 신호를 의미할 수 있다. 비교 신호는 온-신호 및 오프-신호 중 적어도 하나를 포함할 수 있다.
비전 센서는 바이어스 전압들을 픽셀로 제공할 수 있다. 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값은 상이할 수 있다. 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 이벤트 임계값은 복수의 샘플링 시점 각각에서 샘플링된 비교 신호와 비교된 이벤트 임계값을 의미할 수 있다. 예를 들어, 제1 샘플링 시점에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값은 제2 샘플링 시점에서 샘플링된 비교 신호와 비교된 온 이벤트 임계값보다 클 수 있다.
단계 S1030에서, 비전 센서는 샘플링한 비교 신호인 내부 이벤트 신호들에 기초하여 복수의 픽셀들 각각에 유효한 이벤트가 발생하였는지 여부를 판단할 수 있다. 복수의 픽셀들 각각에 유효한 이벤트가 발생한 경우 단계 S1040이 수행되고, 복수의 픽셀들 각각에 유효한 이벤트가 발생하지 않은 경우 비전 센서의 동작 방법은 종료될 수 있다.
비전 센서는, 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효한 이벤트가 발생한 것으로 판단할 수 있다. 예를 들어, 비전 센서는 제1 샘플링 시점 및 제2 샘플링 시점에서 모두 내부 이벤트 신호를 생성하는 경우, 유효한 이벤트가 발생한 것으로 판단할 수 있다.
단계 S1040에서, 비전 센서는, 유효한 이벤트가 발생한 것으로 판단되는 경우, 유효한 이벤트가 발생한 픽셀에 대응하는 유효 이벤트 신호를 생성할 수 있다. 비전 센서는 복수의 샘플링 시점 각각에서 모두 이벤트가 발생한 경우, 유효 이벤트 신호를 생성할 수 있다. 예를 들어, 비전 센서는 제1 샘플링 시점 및 제2 샘플링 시점에서 모두 내부 이벤트 신호를 생성한 경우, 유효 이벤트 신호를 생성할 수 있다.
단계 S1050에서, 비전 센서는 유효 이벤트 신호를 생성하는 경우, 유효한 이벤트가 발생한 픽셀을 리셋시킬 수 있다. 비전 센서는 유효 이벤트 신호를 생성하는 경우, 유효한 이벤트가 발생한 픽셀을 리셋시키기 위한 리셋 신호를 해당 픽셀로 제공할 수 있다. 실시예에 있어서, 단계 S1050은, 단계 S1040과 동시에 수행될 수도 있고, 단계 S1040 이후에 수행될 수도 있다.
도 11은 일 실시예에 따른 비전 센서를 사용한 실험 결과를 나타낸다.
도 11을 참조하면, 도 11의 그래프의 가로축은 노이즈의 진폭을 의미할 수 있고, 세로축은 노이즈의 확률 분포를 의미할 수 있다. 그래프(A)는 기존의 비전 센서를 사용하였을 때 노이즈의 확률 분포를 나타낸다. 그래프(B)는 본 개시에 따른 비전 센서를 사용한 경우의 노이즈의 확률 분포를 나타낸다.
노이즈가 없는 유효한 신호의 경우, 노이즈의 확률 분포는 0이다. 노이즈에 의한 이벤트 발생을 정확하게 필터링할수록 노이즈 확률 분포가 0에 가까워질 수 있고 노이즈 확률 분포 그래프의 폭이 좁아질 수 있다. 그래프(B)는 그래프(A)보다 폭이 좁으므로, 본 개시에 따른 비전 센서를 사용한 경우 개선된 노이즈 확률 분포를 가지는 것을 확인할 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 비전 센서가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.
도 12를 참조하면, 전자 기기(1200)는 비전 센서(1210), 메인 프로세서(1230), 워킹 메모리(1240), 스토리지(1250), 디스플레이 장치(1260), 통신부(1280) 및 유저 인터페이스(1270)를 포함할 수 있다.
도 1 내지 도 11을 참조하여 설명한 비전 센서가 도 12의 비전 센서(1210)로서 적용될 수 있다. 비전 센서(1210)는 오브젝트를 센싱하여 유효 이벤트 신호들을 생성하고, 생성된 유효 이벤트 신호들을 메인 프로세서(1230)로 전송할 수 있다. 비전 센서(1210)는 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 신호를 수신하고, 수신한 신호에 기초하여 유효 이벤트 신호를 생성하여 메인 프로세서(1230)로 전송할 수 있다. 비전 센서(1210)는 복수의 샘플링 시점 각각에서 모두 이벤트 발생 여부를 나타내는 신호를 수신한 경우, 유효 이벤트 신호를 출력할 수 있다. 이에 따라, 노이즈에 의한 이벤트 발생과 유효한 신호에 의한 이벤트 발생이 명확하게 구별될 수 있고, 노이즈 수준이 감소될 수 있다.
또한, 비전 센서(1210)는 유효 이벤트 신호를 생성하는 경우, 유효 이벤트 신호를 출력한 픽셀을 리셋시킬 수 있다. 노이즈가 제거된 유효 이벤트 신호를 출력하고, 유효 이벤트 신호가 출력될 때 픽셀이 리셋되므로, 픽셀의 밝기 기준점이 유효한 신호에 기초하여 설정되어 노이즈에 의한 이벤트 발생이 감소될 수 있다.
메인 프로세서(1230)는 전자 기기(1200)의 전반적인 동작을 제어할 수 있으며, 비전 센서(1210)로부터 수신되는 이벤트 데이터, 즉 이벤트 신호들을 처리하여 오브젝트의 움직임을 검출할 수 있다.
워킹 메모리(1240)는 전자 기기(1200)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1240)는 프로세서에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1240)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지(1250)는 메인 프로세서(1230) 또는 다른 구성들로부터 저장이 요청된 데이터를 저장할 수 있다. 스토리지(1250)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
디스플레이 장치(1260)는 디스플레이 패널, 디스플레이 구동 회로, 및 DSI (display serial interface)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 디스플레이 구동 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다. 메인 프로세서(1230)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다.
통신부(1280)는 안테나(1283)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신부(1280)의 송수신기(1281) 및 MODEM(Modulator/Demodulator, 1282)은 LTE(Long Term Evolution), WIMAX(Worldwide Interoperability for Microwave Access), GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), Bluetooth, NFC(Near Field Communication), Wi-Fi(Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
유저 인터페이스(1270)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.
전자 기기(1200)의 구성 요소들, 예를 들어 비전 센서(1210), 메인 프로세서(1230), 워킹 메모리(1240), 스토리지(1250), 디스플레이 장치(1260), 통신부(1280) 및 유저 인터페이스(1270)는 USB (Universal Serial Bus), SCSI (Small Computer System Interface), MIPI, I2C, PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 매트릭스 형태로 배치되는 복수의 픽셀들을 포함하는 비전 센서에 있어서,
    상기 복수의 픽셀들 각각은,
    빛의 변화를 감지하여 출력 전압을 출력하는 감지 회로;
    상기 출력 전압과 이벤트 임계값을 비교하여 이벤트 발생 여부를 나타내는 비교 신호를 출력하는 비교 회로; 및
    복수의 샘플링 시점 각각에서 상기 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 상기 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 이벤트 검출 회로를 포함하는 것을 특징으로 하는, 비전 센서.
  2. 제1 항에 있어서,
    상기 이벤트 검출 회로는,
    상기 복수의 샘플링 시점 각각에서 모두 상기 내부 이벤트 신호들이 생성된 경우, 상기 유효 이벤트 신호를 출력하는 것을 특징으로 하는, 비전 센서.
  3. 제1 항에 있어서,
    상기 이벤트 검출 회로는,
    상기 유효 이벤트 신호를 출력하는 경우, 상기 픽셀을 리셋(reset)시키는 것을 특징으로 하는, 비전 센서.
  4. 제1 항에 있어서,
    상기 복수의 샘플링 시점 각각의 시간 간격은,
    상기 복수의 픽셀들 각각으로 입사되는 빛의 조도 및 이벤트 양 중 적어도 하나에 기초하여 설정되는 것을 특징으로 하는, 비전 센서.
  5. 제1 항에 있어서,
    상기 이벤트 검출 회로는,
    제1 샘플링 시점에서 상기 비교 신호를 샘플링하고, 상기 제1 샘플링 시점으로부터 제1 시간 후인 제2 샘플링 시점에서 상기 비교 신호를 샘플링하고,
    상기 제1 샘플링 시점 및 상기 제2 샘플링 시점에서 상기 내부 이벤트 신호들이 생성된 경우, 상기 유효 이벤트 신호를 출력하는 것을 특징으로 하는, 비전 센서.
  6. 제1 항에 있어서,
    상기 복수의 샘플링 시점 각각에서 샘플링된 비교 신호에 대응하는 상기 이벤트 임계값이 상이한 것을 특징으로 하는, 비전 센서.
  7. 빛의 변화를 감지하는 픽셀;
    매트릭스 형태로 배치되는 복수의 픽셀들을 포함하는 픽셀 어레이(pixel array); 및
    상기 복수의 픽셀들 각각으로부터 복수의 샘플링 시점 각각에서 이벤트 발생 여부를 나타내는 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하고, 상기 내부 이벤트 신호들에 기초하여 유효 이벤트 신호를 출력하는 이벤트 검출 회로를 포함하고,
    상기 이벤트 검출 회로는,
    상기 출력된 유효 이벤트 신호에 대응하는 픽셀을 리셋(reset)시키는 것을 특징으로 하는, 비전 센서.
  8. 제7 항에 있어서,
    상기 픽셀 어레이 및 상기 이벤트 검출 회로는, 동일한 칩(chip)에 포함되는 것을 특징으로 하는, 비전 센서.
  9. 제7 항에 있어서,
    상기 픽셀 어레이 및 상기 이벤트 검출 회로는, 서로 다른 칩에 포함되는 것을 특징으로 하는, 비전 센서.
  10. 복수의 픽셀들 각각으로부터 이벤트 발생 여부를 나타내는 비교 신호를 생성하는 단계;
    복수의 샘플링 시점 각각에서 상기 비교 신호를 샘플링하여 내부 이벤트 신호들을 생성하는 단계;
    상기 내부 이벤트 신호들에 기초하여 상기 복수의 픽셀들 각각에 유효한 이벤트가 발생하였는지 여부를 판단하는 단계;
    상기 유효한 이벤트가 발생한 것으로 판단되는 경우, 상기 유효한 이벤트가 발생한 픽셀에 대응하는 유효 이벤트 신호를 생성하는 단계; 및
    상기 유효 이벤트 신호를 생성하는 경우, 상기 유효한 이벤트가 발생한 픽셀을 리셋(reset)시키는 단계를 포함하는, 비전 센서의 동작 방법.
KR1020210073025A 2021-06-04 2021-06-04 비전 센서 및 비전 센서의 동작 방법 KR20220164354A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210073025A KR20220164354A (ko) 2021-06-04 2021-06-04 비전 센서 및 비전 센서의 동작 방법
US17/828,331 US11950003B2 (en) 2021-06-04 2022-05-31 Vision sensor and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210073025A KR20220164354A (ko) 2021-06-04 2021-06-04 비전 센서 및 비전 센서의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220164354A true KR20220164354A (ko) 2022-12-13

Family

ID=84284501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210073025A KR20220164354A (ko) 2021-06-04 2021-06-04 비전 센서 및 비전 센서의 동작 방법

Country Status (2)

Country Link
US (1) US11950003B2 (ko)
KR (1) KR20220164354A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757968B (zh) * 2023-08-18 2023-11-24 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US9883122B2 (en) 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
KR102402678B1 (ko) * 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
US20170094249A1 (en) 2015-09-24 2017-03-30 Qualcomm Incorporated Optics architecture for 3-d image reconstruction
WO2017149433A1 (en) 2016-03-03 2017-09-08 Insightness Ag An event-based vision sensor
CN108073857B (zh) 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
KR102467771B1 (ko) 2016-12-30 2022-11-16 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
EP3506622A1 (en) 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
JP2023099237A (ja) * 2020-05-27 2023-07-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法、並びに、形状測定装置

Also Published As

Publication number Publication date
US11950003B2 (en) 2024-04-02
US20220394195A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US20230156368A1 (en) Image processing device configured to regenerate timestamp and electronic device including the same
US11532143B2 (en) Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor
US11582410B2 (en) Dynamic vision sensor and image processing device including the same
US20230217123A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US20150253926A1 (en) Semiconductor device and electronic apparatus
US20220141403A1 (en) Intensity and contrast change detection capable pixels with shared photodetector
US20220264035A1 (en) Dynamic Region of Interest (ROI) for Event-Based Vision Sensors
US11950003B2 (en) Vision sensor and operating method of the same
US11700438B2 (en) Vision sensor and operating method thereof
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
US20220239859A1 (en) Vision sensor and image processing device including the same
EP4093021A1 (en) Vision sensor and operating method thereof
US11695895B2 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US20240107188A1 (en) Vision sensor and image processing device including the same
KR102422392B1 (ko) 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법
US12002247B2 (en) Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
KR20220145237A (ko) 비닝 모드를 변경하는 깊이 센서 및 이미지 신호 프로세서