KR20220096978A - 다이나믹 비전 센서 및 그 이미지 처리 장치 - Google Patents

다이나믹 비전 센서 및 그 이미지 처리 장치 Download PDF

Info

Publication number
KR20220096978A
KR20220096978A KR1020200189879A KR20200189879A KR20220096978A KR 20220096978 A KR20220096978 A KR 20220096978A KR 1020200189879 A KR1020200189879 A KR 1020200189879A KR 20200189879 A KR20200189879 A KR 20200189879A KR 20220096978 A KR20220096978 A KR 20220096978A
Authority
KR
South Korea
Prior art keywords
light receiving
pixel
photocurrent
node
switch
Prior art date
Application number
KR1020200189879A
Other languages
English (en)
Inventor
봉종우
서윤재
최승남
김준석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200189879A priority Critical patent/KR20220096978A/ko
Priority to US17/471,459 priority patent/US11582410B2/en
Priority to CN202111651031.XA priority patent/CN114697577A/zh
Publication of KR20220096978A publication Critical patent/KR20220096978A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N5/355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H04N5/3696—
    • H04N5/3698—
    • H04N5/3741—
    • H04N5/37455—

Abstract

다이나믹 비전 센서 및 그 이미지 처리 장치가 제공된다. 다이나믹 비전 센서는 각각이 적어도 하나의 픽셀을 포함하고, 입사된 빛에 대응하여 상기 각 픽셀에서 생성된 제1 및 제2 포토전류에 기반하여 각각 제1 및 제2 로그 전압을 출력하는 제1 및 제2 광 수신단, 상기 제1 및 제2 로그 전압을 증폭하고 상기 증폭된 제1 및 제2 로그 전압과 레퍼런스 전압을 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로를 포함하고, 상기 제1 광 수신단의 제1 출력노드와 상기 제2 광 수신단의 제2 출력노드는 서로 교번하여 전원공급전압 노드 또는 제1 노드와 연결될 수 있다.

Description

다이나믹 비전 센서 및 그 이미지 처리 장치{ DYNAMIC VISION SENSOR AND IMAGE PROCESSING DEVICE INCLUDING THE SAME }
본 발명은 비전 센서(Vision sensor)를 포함하는 이미지 처리 장치에 관한 것이다.
일반적으로 이미지 센서는 크게 동기식으로 동작하는 이미지 센서와 비동기식으로 동작하는 이미지 센서로 구분될 수 있다. 동기식으로 동작하는 이미지 센서의 대표적인 예로써 CMOS (complementary metal-oxide semiconductor) 이미지 센서가 있다. 비동기식으로 동작하는 이미지 센서의 대표적인 예로써 DVS (dynamic vision sensor)와 같은 비전 센서가 있으나 다이나믹 비전 센서는 비동기식 외에 프레임 기반의 동기식으로도 동작할 수 있다..
다이나믹 비전 센서(dynamic vision sensor; DVS)는 프레임들 안의 장면을 수집하지 않고, 인간의 망막과 유사하게 기능한다 즉, 다이나믹 비전 센서는 이벤트가 발생한 때의 장면 내의 특정 위치에서 화소의 휘도(예를 들어, 이벤트)의 변화만을 송신한다.
다이나믹 비전 센서의 출력은 각 이벤트가 특정 스테이트와 연관된 이벤트들의 스트림이다. 예를 들어, 특정 스테이트는 카메라 어레이 안의 이벤트의 위치 및 연관된 위치의 바로 이전의 스테이트에 비하여 연관된 이벤트의 휘도가 포지티브(positive) 또는 네거티브(negative)하게 변했는지 나타내는 이진 값이다.
본 발명이 해결하고자 하는 기술적 과제는, 저조도에서도 포토전류를 정확하게 측정할 수 있고 빛이 없는 암흑 상태에서 다크 전류를 측정할 수 있는 다이나믹 비전 센서를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 저조도에서도 포토전류를 정확하게 측정할 수 있고 빛이 없는 암흑 상태에서 다크 전류를 측정할 수 있는 이미지 처리 장치를 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 다이나믹 비전 센서는 각각이 적어도 하나의 픽셀을 포함하고, 입사된 빛에 대응하여 상기 각 픽셀에서 생성된 제1 및 제2 포토전류에 기반하여 각각 제1 및 제2 로그 전압을 출력하는 제1 및 제2 광 수신단, 상기 제1 및 제2 로그 전압을 증폭하고 상기 증폭된 제1 및 제2 로그 전압과 레퍼런스 전압을 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로를 포함하고, 상기 제1 광 수신단의 제1 출력노드와 상기 제2 광 수신단의 제2 출력노드는 서로 교번하여 전원공급전압 노드 또는 제1 노드와 연결된다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 다이나믹 비전 센서는 입사된 빛에 대응하여 생성된 제1 포토전류에 기반하여 제1 로그 전압을 출력하는 N개의 픽셀을 갖는 제1 광 수신단, 상기 입사된 빛에 대응하여 생성된 제2 포토전류에 기반하여 제2 로그 전압을 출력하는 M개의 픽셀을 갖는 제2 광 수신단, 상기 제1 및 제2 광 수신단에 속한 각 픽셀의 제1 로그 전압 및 제2 로그 전압을 증폭하고 상기 증폭된 제1 및 제2 로그 전압과 레퍼런스 전압을 각각 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로를 포함하고, 상기 제1 포토전류와 상기 제2 포토전류의 전류 차분값에 기초하여 픽셀 평균 포토전류를 검출하는 것이고, 상기 제1 포토전류 및 상기 제2 포토전류는 상기 제1 및 제2 광 수신단에 속한 상기 픽셀에서 생성된 포토전류들의 합이다.
상술한 기술적 과제를 해결하기 위하여, 몇몇 실시예에 따른 이미지 처리 장치는 각각이 제1 광 수신단 또는 제2 광 수신단 중 하나에 속하여, 입사된 빛에 대응하여 생성된 포토전류에 기반하여 로그 전압을 출력하는 DVS 픽셀 어레이, 상기 로그 전압을 증폭하고 상기 증폭된 로그 전압과 레퍼런스 전압을 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로, 상기 이벤트 신호가 변화하는 시간에 관한 타임 스탬프를 발행하는 타임 스탬퍼 및 상기 픽셀의 주소, 상기 이벤트 신호 및 상기 타임 스탬프에 기초한 이벤트 데이터 패킷을 생성하고 출력하는 프로세서를 포함하고, 상기 DVS 픽셀 백-엔드 회로는 상기 제1 광 수신단의 제1 포토전류와 상기 제2 광 수신단의 제2 포토전류의 전류 차분값에 기초하여 평균 포토전류를 검출하고, 상기 제1 포토전류 및 상기 제2 포토전류는 상기 제1 및 제2 광 수신단에 속한 상기 픽셀에서 생성된 포토전류들의 합일 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 보여주는 블록도이다.
도 2는 도 1에 도시된 이미지 처리 장치의 구성을 예시적으로 보여주는 블록도이다.
도 3은 도 1에 도시된 비전 센서의 구성을 예시적으로 보여주는 블록도이다.
도 4는 도 2에 도시된 픽셀 어레이의 예시적인 구성을 보여주는 블록도이다.
도 5 및 도 6은 도 4에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다.
도 7은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한 것이다.
도 8은 도 7의 인에이블 신호 및 포토전류를 나타낸 타이밍도를 도시한 것이다.
도 9는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
도 10은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
도 11은 DVS 픽셀 어레이의 구동을 설명하기 위한 도면이다.
도 12는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
도 13은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
도 14는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
도 15는 도 1의 이미지 처리 장치가 예시적으로 적용된 전자 장치를 보여주는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명하도록 한다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 보여주는 블록도이다.
도 1을 참고하면, 이미지 처리 장치(1)는 비동기식 이벤트뿐만 아니라, 동기식 이벤트를 처리하도록 구성될 수 있다. 예를 들어, 이미지 처리 장치(1)는 이벤트와 관련된 비동기식 패킷뿐만 아니라, 이벤트와 관련된 동기식 프레임들을 생성할 수 있다. 이미지 처리 장치(1)는 비전 센서(100) 및 프로세서(20)를 포함할 수 있다.
비전 센서(100)는 입사되는 빛의 세기의 변화를 감지하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기가 증가하는 이벤트가 발생하는 경우, 비전 센서(100)는 이에 대응하는 온(ON)-이벤트를 출력할 수 있다. 반대로, 빛의 세기가 감소하는 이벤트가 발생하는 경우, 비전 센서(100)는 오프(OFF)-이벤트를 출력할 수 있다.
비전 센서(100)는 이벤트 기반(event-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(100)는 빛의 세기 변화가 감지되는 픽셀을 액세스하여 이벤트 신호를 출력할 수 있다. 예를 들어, 빛의 세기 변화는 비전 센서(100)에 의해 촬영되는 오브젝트의 움직임에 기인하거나, 비전 센서(100) 자체의 움직임에 기인할 수 있다. 이 경우, 비전 센서(100)에 의해 감지되거나 비전 센서(100)로부터 출력되는 이벤트 신호는 비동기식 이벤트(asynchronous event) 신호일 것이다.
또는, 비전 센서(100)는 프레임 기반(frame-based)의 비전 센서일 수 있다. 예를 들어, 비전 센서(100)는 기준 주기마다 비전 센서(100)를 구성하는 모든 픽셀들을 스캔하여 이벤트 신호들을 출력할 수 있다. 그러나 일반적인 CMOS 이미지 센서와는 달리, 비전 센서(100)는 모든 픽셀들에 대해 이벤트 신호들을 출력하지 않을 수 있으며, 빛의 세기 변화가 감지되는 픽셀들에 대해서만 이벤트 신호들을 출력할 수 있다. 이 경우, 비전 센서(100)로부터 출력되는 이벤트 신호는 프로세서 등에 의해 동기식 이벤트(synchronous event) 신호로 변환될 수 있다.
프로세서(20)는 비전 센서(100)에 의해 감지된 신호들을 처리할 수 있다. 프로세서(20)는 ASIC (application specific integrated circuit), FPGA (field-programmable gate array), 전용 프로세서 (dedicated microprocessor), 마이크로프로세서 등을 포함할 수 있다. 또는, 프로세서(20)는 범용 프로세서 (general purpose processor)를 포함할 수 있다.
본 발명의 이미지 처리 장치(1)는 비전 센서(100)의 입출력 패드에서의 누설 전류(leakage current)가 제거된, 픽셀에서의 순수 포토전류(photo current)와 다크 전류(dark current)를 측정할 수 있다. 즉, 본 발명의 이미지 처리 장치(1)는 정확한 QE(Quantum Efficiency)를 측정할 수 있어 비전 센서(100)의 픽셀 회로 설계를 최적화할 수 있고, 또한 저조도 특성을 최적화할 수 있으며, 측정값의 신뢰도를 높일 수도 있다.
도 2는 도 1에 도시된 이미지 처리 장치의 구성을 예시적으로 보여주는 블록도이다.
도 2를 참조하면, 이미지 처리 장치(1)는 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임스탬퍼(140), 제어부(150), 이벤트 보상부(200), 메모리(170) 및 입출력인터페이스(180)를 포함할 수 있다.
로우 AER(121)은 제어부(150)의 제어에 따라 픽셀 어레이(110)에 포함된 픽셀 중 적어도 하나를 인에이블하고, 컬럼 AER(122)는 인에이블된 픽셀로부터 센싱 값을 출력한다. 컬럼 AER(122)는 피사체의 움직임에 따라 이벤트가 발생하면, 이벤트가 발생한 픽셀의 주소(AER)를 이벤트 보상부(200)로 출력할 수 있다. 몇몇 실시예에 따라 컬럼 AER(122)은 이벤트 발생에 따라 픽셀로부터 이벤트값을 수신할 수 있고, 이벤트값은 빛의 세기 변화에 따라 온-이벤트일 수도 있고 오프-이벤트일 수도 있다.
조도 검출부(130)는 픽셀로부터 출력된 센싱 값으로부터 빛의 세기 변화에 대한 값, 즉, 조도값(L)을 검출하여 출력한다. 조도값(L)은 몇몇 실시예에 따라 픽셀 단위로 검출할 수도 있고, 패치 단위로 검출할 수도 있다.
타임 스탬퍼(140)는 기설정된 주기로 타임 스탬프를 발행할 수 있다. 타임스탬퍼(140)는 이벤트가 발생하면, 각 픽셀에서 출력되는 이벤트값에 상기 이벤트값이 생성되는 시점의 타임 스탬프를 발행할 수 있다.
몇몇 실시예에 따라 이벤트 보상부(200)는 이벤트가 발생한 픽셀의 주소(AER) 및 조도값(L)에 따른 응답시간에 기초하여 이벤트 데이터 패킷을 보정할 수 있다.
또는 이미징 처리 장치는 이벤트 보상부(200)를 포함하지 않을 수도 있다. 이 경우 조도값(L), 타임 스탬프(TS) 및 픽셀의 주소(AER)는 입출력 인터페이스(180)로 전송되어 입출력 인터페이스(180)가 이벤트 데이터 패킷을 생성할 수도 있다.
제어부(150)는 각 구성요소(121, 122, 130, 140, 170, 180, 200)의 동작을 제어할 수 있다. 또는 메모리(170)로부터 데이터를 로딩하여 소정의 연산을 수행하여 출력할 수도 있다.
메모리(170)는 비전 센서(1)의 동작 메모리일 수 있다. 메모리(170)는 몇몇 실시예에 따라 복수의 비휘발성 메모리 장치를 포함할 수 있고, 예시적으로 비휘발성 메모리 장치는 플래시(Flash) 메모리, 또는 ReRAM(resistive RAM), PRAM(phase change RAM), MRAM(magnetic RAM)과 같은 저항형 메모리를 포함할 수 있다. 메모리(170)는 몇몇 실시예에 따라 버퍼 메모리일 수 있으며, 몇몇 실시예에 따라 캐시(Cache), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable PROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PRAM(Phase-change RAM), 플래시(Flash) 메모리, SRAM(Static RAM), 또는 DRAM(Dynamic RAM)을 포함할 수 있다.
입출력 인터페이스(180)는 일 실시예에 따라 제어부(150)와 연결되어 I2C방식으로 외부 장치와 연결되거나, 이벤트 보상부(200)와 연결되어 MIPI방식으로 외부 장치와 연결될 수 있다. 또는 다른 실시예에 따라 입출력 인터페이스(180)는 제어부(150), 컬럼 AER(122), 조도 검출부(150), 타임 스탬퍼(140) 및 메모리(170)와 연결될 수도 있다. 도시하지는 아니하였으나, 입출력 인터페이스(180)는 몇몇 실시예에 따라 조도값(L), 픽셀의 주소(AER), 및 타임스탬프(TS)를 포함하는 패킷으로 생성하여 출력할 수도 있다.
이미지 처리 장치(1)는 몇몇 실시예에 따라 비전 센서(100)가 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임 스탬퍼(140), 제어부(150)를 포함하고, 프로세서(20)는 이벤트 보상부(200) 및 메모리(170)를 포함할 수 있다. 또는 이미지 처리 장치(1)는 몇몇 실시예에 따라 비전 센서(100)가 픽셀 어레이(110), 로우 AER(121), 컬럼 AER(122), 조도 검출부(130), 타임 스탬퍼(140), 제어부(150), 메모리(170) 및 이벤트 보상부(200)를 모두 포함할 수도 있다.
도 3은 도 1에 도시된 비전 센서의 구성을 예시적으로 보여주는 블록도이다. 도 4는 도 2에 도시된 픽셀 어레이의 예시적인 구성을 보여주는 블록도이고, 도 5 및 도 6은 도 4에 도시된 픽셀의 구성을 예시적으로 보여주는 회로도이다.
도 3을 참조하면, 비전 센서(100)는 픽셀 어레이(111), 및 이벤트 감지 회로(120)를 포함할 수 있다. 이벤트 감지 회로(120)는 픽셀 어레이(111)에 의해 감지되는, 빛의 세기가 증가하거나 감소하는 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(120)는 AER (address event representation), 샘플러, 패킷타이저, 및 스캐너와 같은 다양한 구성 요소들 중 적어도 하나 이상을 포함할 수 있다.
픽셀 어레이(111)는 M개의 행들과 N개의 열들을 따라 매트릭스 형태로 배열된 복수의 DVS 픽셀(PD)들을 포함할 수 있다. 픽셀 어레이(111)는 빛의 세기가 증가하거나 감소하는 이벤트들을 감지하도록 구성된 복수의 픽셀들을 포함할 수 있다. 예를 들어, 각각의 픽셀은 열 방향으로 컬럼 라인과 그리고 행 방향으로 로우 라인을 통하여 이벤트 감지 회로(120)에 연결될 수 있다. 픽셀에서 이벤트가 발생하였음을 알리는 신호는, 예를 들어, 컬럼 라인을 통하여, 이벤트 감지 회로(120)에 전달될 수 있다. 각각의 픽셀에서 발생한 이벤트의 극성 정보(Pol, 즉, 빛의 세기가 증가하는 온-이벤트인지 또는 빛의 세기가 감소하는 오프-이벤트인지 여부)및 주소(ADDR)는, 예를 들어, 컬럼 라인을 통하여 이벤트 감지 회로(120)에 전달될 수 있다.
이벤트 감지 회로(120)는 발생한 이벤트들을 처리하도록 구성될 수 있다. 예를 들어, 이벤트 감지 회로(120)는 이벤트가 발생한 시간 정보를 포함하는 타임스탬프(timestamp)를 생성할 수 있다. 예를 들어, 이벤트 감지 회로(120)는 리셋 신호(RST)를 이벤트가 발생한 픽셀로 전달하여 픽셀을 리셋시킬 수 있다.
몇몇 실시예에 따라 픽셀 어레이(110)에 포함된 모든 픽셀들로부터 출력되는 복수의 이벤트값은 하나의 프레임을 구성할 수 있다. 즉, 프레임은 모든 픽셀들의 이벤트값을 포함할 수 있다. 또는 몇몇 실시예에 따라 프레임은 모든 픽셀이 아닌 일부 픽셀의 복수의 이벤트값을 포함할 수 있다.
이러한 예시적인 구성들에 의하면, 픽셀 어레이(111)에서 발생한 이벤트들이 픽셀 단위로 처리되거나, 복수의 픽셀들을 포함하는 픽셀 그룹 단위로 처리되거나, 컬럼 단위로 처리되거나, 또는 프레임 단위로 처리될 수 있다. 그러나, 이러한 실시 예들은 픽셀 어레이(111)를 통해 감지된 이벤트들이 다양한 방법으로 처리될 수 있다는 것을 의미할 뿐이며, 본 명세서를 통하여 설명되는 기술 사상이 이러한 구성들에 한정되지는 않는다.
도 4를 참고하면, 픽셀 어레이(110)는 M x N의 어레이(M,N은 1이상의 자연수) 형태로 배열된 복수의 DVS 픽셀들(PD)을 포함하고, 빛의 세기 변화를 감지하여 복수의 이벤트 프레임들을 출력한다.
픽셀 어레이(110)는 몇몇 실시예에 따라 복수의 패치를 포함할 수 있다. 패치(X)는 몇몇 실시예에 따라 클러스터, 윈도우, 그룹 등 다른 호칭으로도 명명될 수도 있다고 할 것이다.
패치(X)는 복수의 DVS 픽셀을 포함할 수 있다. 패치(X)는 몇몇 실시예에 따라 K x L의 픽셀 어레이일 수 있고, 상기 K, L은 M, N보다 각각 작은, 0이상의 정수일 수 있다.
즉, 픽셀 어레이(110)는 복수의 패치(X)로 구성되고, 각 패치는 복수의 픽셀을 포함할 수 있다. 이벤트 검출 회로(120)는 몇몇 실시예에 따라 픽셀 단위로 구동될 수도 있고, 몇몇 실시예에 따라 패치 단위로 구동될 수도 있다.
도 5를 참조하면, DVS 픽셀(300)은 광 수신단(photoreceptor)(310), 및 DVS 픽셀 백-엔드 회로(320)를 포함한다.
광 수신단(310)은 로그 증폭기(Logarithmic Amplifier; LA, 313) 및 피드백 트랜지스터(312)를 포함할 수 있다. 피드백 트랜지스터(312)는 전원공급단자(VDD)에 연결된 N3노드와 로그 증폭기(313)의 입력인 N1 노드 사이에 연결되고, 로그 증폭기(313)의 출력인 N2 노드에 게이트가 연결된다. 광 수신단(310)은 일 실시예로 광전 변환 소자(PD)를 포함할 수도 있고, 다른 실시예로 광전 변환 소자(PD)를 포함하지 않을 수도 있다. 로그 증폭기(313)는 픽셀의 적어도 하나의 광전 변환 소자(PD)에 의해 생성되는 포토전류에 대응하는 전압을 증폭하여 로그 스케일의 로그 전압(VLOG)을 출력할 수 있다. 피드백 트랜지스터(312)는 로그 전압에 기초하여 로그 전압을 DVS 픽셀 백 엔드 회로(320)로 전송할 수도 있고 전송하지 않을 수도 있다.
DVS 픽셀 백-엔드 회로(320)는 로그 전압(VLOG)에 대한 다양한 처리를 수행할 수 있다. 몇몇 실시 예에 있어서, DVS 픽셀 백-엔드 회로(320)는 로그 전압(VLOG)를 증폭하고, 증폭된 전압과 기준 전압을 비교하여 광전 변환 소자(PD)로 입사된 빛이 세기가 증가하거나 감소하는 빛인지 여부를 판별하고, 판별된 값에 대응하는 이벤트 신호(즉, 온-이벤트 또는 오프-이벤트)를 출력할 수 있다. DVS 픽셀 백-엔드 회로(320)는 온-이벤트 또는 오프-이벤트를 출력한 후, DVS 픽셀 백-엔드 회로(320) 는 리셋 신호(RST)에 의해 리셋될 수 있다.
도 6을 참조하면, DVS 픽셀 백-엔드 회로(320)는 미분기(differentiator) (321), 비교기(322), 및 읽기 회로(323)를 포함할 수 있다.
미분기(321)는 광 수신단(310)의 출력, 즉, N2노드에서 출력되는 전압(VLOG)를 증폭하여 전압(VDIFF)을 생성하도록 구성될 수 있다. 몇몇 실시예에 따라, 미분기(321)는 커패시터들(C1, C2), 차동 증폭기(DA), 및 리셋 신호(RST)에 의해 동작하는 스위치(SW)를 포함할 수 있다. 예를 들어, 커패시터들(C1, C2)은 적어도 하나의 광전 변환 소자(PD)에 의해 생성된 전기 에너지를 저장할 수 있다. 예를 들어, 커패시터들(C1, C2)의 정전 용량들은 하나의 픽셀에서 연속하여 발생할 수 있는 두 이벤트들 사이의 최단 시간(즉, 불응기(refractory period))를 고려하여 적절하게 선택될 수 있다. 스위치(SW)가 리셋 신호(RST)에 의해 스위칭-온 되면, 픽셀이 초기화될 수 있다. 리셋 신호(RST)는 로우 AER 회로(예컨대, 도 2, 121)로부터 수신될 수 있다.
비교기(322)는 차동 증폭기(DA)의 출력 전압(VDIFF)과 기준 전압(Vref)의 레벨을 비교하여, 픽셀에서 감지된 이벤트가 온-이벤트인지 또는 오프-이벤트인지 여부를 판별할 수 있다. 빛의 세기가 증가하는 이벤트가 감지되면, 비교기(322)는 온-이벤트임을 나타내는 신호(ON)를 출력할 수 있으며, 빛의 세기가 감소하는 이벤트가 감지되면, 비교기(322)는 오프-이벤트임을 나타내는 신호(OFF)를 출력할 수 있다.
읽기 회로(323)는 픽셀에서 발생한 이벤트에 관한 정보를 전송할 수 있다. 읽기 회로(323)로부터 출력되는 이벤트에 관한 정보는 발생한 이벤트가 온-이벤트 인지 또는 오프-이벤트인지 여부에 관한 정보(예컨대, 비트)를 포함할 수 있다. 읽기 회로(323)로부터 출력되는 이벤트에 관한 극성 정보(도 3, Pol)로 일컬어질 수 있다. 극성 정보(Pol)는 로우 AER 회로(도 2, 121)로 전송될 수 있다.
한편, 본 실시 예에서 도시된 픽셀의 구성은 예시적인 것이며, 변화하는 빛의 세기를 감지하여 이벤트의 유형을 판별하도록 구성되는 다양한 구성의 DVS 픽셀에도 본 발명이 적용될 것이다.
도 7은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시하고, 도 8은 도 7의 인에이블 신호 및 포토전류를 나타낸 타이밍도를 도시한 것이다.
도 7 및 도 8을 참조하면, 몇몇 실시예에 따라 픽셀 어레이는 복수의 패치(X)를 포함할 수 있다. 패치(X)는 복수의 DVS 픽셀을 포함한다. 하나의 패치(X) 내 복수의 DVS 픽셀들(예를 들어 도 4)은 제1 광 수신단(X1) 또는 제2 광 수신단(X2) 중 어느 하나에 속한다. 즉, 제1 광 수신단(X1)은 적어도 하나의 제1 픽셀을 포함하고, 제2 광 수신단(X2)은 적어도 제2 픽셀을 포함할 수 있다. 제1 픽셀과 제2 픽셀은 서로 다른 픽셀이다. 제1 또는 제2 광 수신단(X1, X2)의 구성은 예를 들어 도 5의 광 수신단(310)과 같으나 이에 한정되는 것은 아니다.
제1 광 수신단(X1)과 제2 광 수신단(X2)는 서로 교번하여 인에이블될 수 있다. 즉, 제1 광 수신단(X1)이 인에이블되면 제2 광 수신단(X2)은 디스에이블되고, 제1 광 수신단(X1)이 디스에이블되면 제2 광 수신단(X2)은 인에이블될 수 있다.
보다 구체적으로 설명하면, 제1 광 수신단(X1)과 제2 광 수신단(X2)은 N4 노드 및 전원공급전압 노드(이하 VDD 노드라 한다)에 교번하여 연결되어 인에이블 되거나 디스에이블될 수 있다. 도 7의 실시예에서는 N4 노드는 입출력 패드(I/O PAD)에 연결될 수 있다. 입출력 패드는 광 수신단의 QE(Quantum Efficency)를 측정하기 위해 다이나믹 비전 센서의 외부에서 연결하기 위한 패드일 수 있다.
VDD 노드 또는 입출력 패드는 광 수신단(310)의 출력노드(N4)에 연결될 수 있다. 예를 들어 피드백 트랜지스터(312)가 NMOS 트랜지스터인 경우, N4 노드는 피드백 트랜지스터의 드레인 단자에 연결될 수 있다. 또는 다른 예에서 피드백 트랜지스터(312)가 PMOS 트랜지스터인 경우, N4 노드는 피드백 트랜지스터의 소스 단자에 연결될 수 있다. 이하 설명의 편의를 위해 피드백 트랜지스터의 일단 또는 광 수신단의 출력노드(N2)로 설명한다.
몇몇 실시예에 따라, 제1 광 수신단(X1)의 피드백 트랜지스터(312)의 일단은 서로 반대되는 위상을 가지는 제1 인에이블 신호(EN1,
Figure pat00001
)에 따라 N4 노드에 연결되거나, VDD 노드에 연결될 수 있다. 제2 광 수신단(X2)의 피드백 트랜지스터(312)의 일단은 서로 반대되는 위상을 가지는 제2 인에이블 신호(EN2,
Figure pat00002
)에 따라 N4 노드에 연결되거나, VDD 노드에 연결될 수 있다. 제1 인에이블 신호(EN1)와 제1 반전 인에이블 신호(
Figure pat00003
)는 서로 반대되는 위상을 가진다. 제2 인에이블 신호(EN2)와 제2 반전 인에이블 신호(
Figure pat00004
)는 서로 반대되는 위상을 가진다. 제1 및 제2 인에이블 신호(EN1, EN2)에서 제1 및 제2 반전 인에이블 신호(
Figure pat00005
,
Figure pat00006
)를 생성하기 위해 다이나믹 비전 센서는 인버터(미도시)를 더 포함할 수 있다.
제1 인에이블 신호(EN1)와 제2 인에이블 신호(EN2)는 서로 반대되는 위상을 가질 수 있다. 즉, 제1 광 수신단(X1)이 제1 스위치에 의해 N4노드에 연결되고, 제1 반전 스위치에 의해 VDD 노드에 연결되지 않으면, 제2 광 수신단(X1)의 출력노드는 제2 스위치에 의해 VDD 노드에 연결되고, 제2 반전 스위치에 의해 N4노드에 연결되지 않을 수 있다. 또한 제1 광 수신단(X1)의 출력노드는 제1 스위치에 의해 VDD 노드에 연결되고 제1 반전 스위치에 의해 N4노드에 연결되지 않으면, 제2 광 수신단(X1)의 출력노드는 제2 스위치에 의해 N4노드에 연결되고, 제2 반전 스위치에 의해 VDD 노드에 연결되지 않을 수 있다.
도 8을 참고하면, 제1 인에이블 신호(EN1)가 로우이면(0~t1), 제1 광 수신단(X1)의 출력노드는 VDD 노드에 연결된다. 즉, 제1 광 수신단이 디스에이블된 상태인데, 이 경우 입출력 패드에 포토전류는 흐르지 않지만 광 수신단 자체의 원인(예를 들면 입출력 패드에 의한 기생 성분 등)에 의한 누설 전류(ILEAK)가 입출력 패드에 흐를 수 있다. 그러나 제1 인에이블 신호(EN1)가 하이로 인가되면(t1 내지 t2), 제1 광 수신단(X1)의 출력노드는 입출력 패드에 연결되어 인에이블된다. 이 경우 입출력 패드에는 누설 전류(ILEAK)에 제1 포토전류(IPH1)가 더해져서 흐를 수 있다(IPH1+ILEAK).
한편 제2 인에이블 신호(EN2)는 제1 인에이블 신호(EN1)와 반대 위상을 가질 수 있다. 즉, 제2 인에이블 신호(EN2)는 0 내지 t2 시간에는 로우로 유지되는 동안(0 내지 t2시간까지)는 제2 광 수신단(X2)의 출력노드는 VDD 노드에 연결되어 즉, 제2 광 수신단이 디스에이블된 상태인데, 이 경우 입출력 패드에 포토전류(IPH)는 흐르지 않지만 누설 전류(ILEAK)가 흐를 수 있다. t2시간에 제1 인에이블 신호(EN1)가 로우로 변경되면, 이어서 t3 시간에 제2 인에이블 신호(EN2)는 로우에서 하이로 변경된다. 이때 t2 내지 t3 시간은 제1 광 수신단(X1)과 제2 광 수신단(X2)이 동시에 인에이블되지 않기 위한 지연시간일 수 있다. 제2 광 수신단(X2)이 t3 시간에 디스에이블 상태에서 인에이블 상태로 변경되면, 제2 광 수신단(X2)의 출력노드는 입출력 패드에 연결되어, 입출력 패드에는 누설 전류(ILEAK)에 제2 포토전류(IPH2)가 더해져서 흐를 수 있다(IPH2+ILEAK).
제1 및 제2 광 수신단을 포함하는 다이나믹 비전센서는, 상술한 제1 인에이블 신호 및 제2 인에이블 신호에 따라 제1 및 제2 광 수신단이 교번하여 인에이블되도록 동작할 수 있다. 이에 따라 입출력 패드에서는 수학식 1과 같이 제1 및 제2 인에이블 신호에 기초하여 제1 및 제2 포토전류에 각각 누설 전류가 더해진 전류값(IPAD@EN1, IPAD@EN2)을 측정할 수 있다.
Figure pat00007
Figure pat00008
이때 광 수신단에 입사되는 광이 고조도일 때는 누설전류가 큰 영향을 미치지 않지만 저조도에서는 누설전류로 인하여 포토전류(IPH)의 정확한 측정이 어려울 수 있다. 몇몇 실시예에 따른 다이나믹 비전 센서는 수학식 2와 같이 제1 광 수신단의 제1 포토전류와 제2 광 수신단의 제2 포토전류의 차분값 IPH(N1-N2)을 이용하여, 정확한 포토전류값을 측정할 수 있다.
Figure pat00009
즉, 동일하게 조사되는 빛에 대해 제1 광 수신단, 제2 광 수신단의 포토전류를 각각 측정하고, 그 차분값 IPH(N1-N2)을 이용함으로써, 입출력 패드의 누설 전류가 제거된 순수한 포토전류를 측정할 수 있고, 외부에서 보다 정확하게 픽셀에서의 빛의 세기를 측정할 수 있다.
이에 따라 정확한 QE(Quantum Efficiency) 및 빛이 없는 상태에서의 다크 전류(dart current)를 측정할 수 있다. 또한 정확한 포토전류 측정으로 DVS 픽셀의 보다 최적화된 설계가 가능하며, 다이나믹 비전 센서의 저조도 특성을 최적화하는데 장점이 있으며, 포토전류 측정값의 신뢰도가 향상될 수 있다.
한편, 몇몇 실시예에 따라, 제1 광 수신단(X1)의 피드백 트랜지스터(312)의 일단은 인에이블 신호(EN)에 따라 N4 노드를 통해 입출력 패드(I/O pad)과 연결되거나, VDD 노드에 연결될 수 있다. 제2 광 수신단(X2)의 피드백 트랜지스터(312)의 일단 또한 인에이블 신호(EN)에 따라 N4 노드를 통해 입출력 패드(I/O pad)과 연결되거나, VDD 노드에 연결될 수 있다. 이 경우, 제1 광 수신단(X1)과 피드백 트랜지스터(312) 일단 사이에 연결되는 제1 스위치는 PMOS 트랜지스터일 수 있고, 제1 반전 스위치는 NMOS 트랜지스터일 수 있다. 제2 광 수신단(X2)과 피드백 트랜지스터(312) 일단 사이에 연결되는 제2 스위치는 NMOS 트랜지스터일 수 있고, 제2 반전 스위치는 PMOS 트랜지스터일 수 있다. 즉, 제1 스위치, 제1 반전 스위치, 제2 스위치, 제2 반전 스위치 모두 인에이블 신호(EN)에 따라 게이팅될 수 있다.
한편, 제1 및 제2 스위치들은 예시적인 것이다. 다양한 실시예에 따라 이하 설명될 실시예들에도 제1 및 제2 스위치들의 구성, 제1 반전 스위치 및 제2 반전 스위치들의 구성은 동일/유사하게 적용될 수 있다.
도 9는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다. 설명의 편의를 위해 도 7과 중복되는 설명은 생략한다.
도 9를 참조하면, 패치(X)는 제1 광 수신단(X1) 및 제2 광 수신단(X2)를 포함할 수 있다. 제1 광 수신단(X1)은 제1 인에이블 신호(EN1)에 따라 제1 입출력 패드(I/O PAD1)에 연결될 수 있고 제1 반전 인에이블 신호(
Figure pat00010
)에 따라 VDD 노드에 연결될 수도 있다. 제2 광 수신단(X2)은 제1 인에이블 신호(EN1)에 따라 제2 입출력 패드(I/O PAD2)에 연결될 수 있고 제1 반전 인에이블 신호(
Figure pat00011
)에 따라 VDD 노드에 연결될 수도 있다.
즉, 제1 광 수신단(X1)과 제2 광 수신단(X2)은 서로 다른 입출력 패드에 연결될 수 있어, 동일한 제1 인에이블 신호(EN1)에 기초하여 동시에 인에이블될 수 있다. 즉, 동일 시간에 동일하게 입사된 빛에 대해 서로 다른 입출력 패드에서 제1 포토전류(IPH1) 및 제2 포토전류(IPH1)를 각각 측정할 수 있다.
도 10은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다. 설명의 편의를 위해 도 7과 중복되는 설명은 생략한다.
도 10을 참조하면, 몇몇 실시예에 따른 다이나믹 비전 센서는 전류-전압 컨버터(I-V Conveter, 410) 및 아날로그 디지털 컨버터(Analog Digital Converter, ADC, 420)를 더 포함할 수 있다. 즉, 제1 광 수신단(X1) 및 제2 광 수신단(X2)의 포토전류가 흐르는 제1 노드에는 전류-전압 컨버터(410)의 입력단이 연결되고, 전류-전압 인버터의 출력단은 ADC(420)의 입력단에 연결될 수 있다.
전류-전압 컨버터는 제1 포토전류 또는 제2 포토전류를 제1 전압(VPH1) 또는 제2 전압(VPH2)으로 변환할 수 있다. ADC(420)는 제1 전압(VPH1) 및 제2 전압(VPH2)을 제1 디지털 코드 및 제2 디지털 코드로 변환할 수 있다.
다이나믹 비전 센서는 제1 디지털 코드와 제2 디지털 코드의 차분값에 기초하여 픽셀 평균 포토전류, 즉 빛의 세기를 측정할 수 있다. 이 실시예에서 전류-전압 컨버터 및 아날로그 디지털 컨버터 등 추가되는 회로에서 발생가능한 누설 전류 (leakage current) 및 DC 오프셋 (offset)을 효과적으로 제거할 수 있다.
도 11은 DVS 픽셀 어레이의 구동을 설명하기 위한 도면이다.
도 11을 참조하면, 몇몇 실시예에 따른 픽셀 어레이는 복수의 패치(U)를 포함할 수 있다. 하나의 단위 패치(U)는 다양한 실시예에 따라 N개의 제1 광 수신단과 M개의 제2 광 수신단을 포함할 수 있다. 이때 N과 M은 자연수로서 서로 다른 수이다. 즉, 패치는 N:M의 비율을 갖도록 구성될 수 있다.
복수의 제1 광 수신단과 복수의 제2 광 수신단을 포함하는 단위 패치에서의 픽셀 전체 포토전류는 수학식 3과 같이 측정될 수 있다.
Figure pat00012
즉, 제1 포토전류와 제2 포토전류의 차분값(IPH1 - IPH2)을 제1 광 수신단과 제2 광 수신단의 개수 차이(N-M)으로 나누어, 하나의 픽셀에서의 평균 포토전류로 산출하고, 이에 전체 광 수신단 개수(N+M)를 곱하여, 전체 포토전류를 측정할 수 있다. 일 예로 전체 포토전류는 입출력 패드에서 출력되는 각각의 포토전류를 수신하여 프로세서에서 계산되는 값일 수 있다.
도시된 예에서, n x m의 픽셀 어레이가 있다고 가정하자. 픽셀 어레이의 좌측 상단의 광 수신단의 좌표를 (0,0)이라고 가정하고 아래 및 우측으로 갈수록 좌표값이 1씩 증가하는 것으로 설명한다.
도시된 예의 단위 패치(U)는 (0,0)(0,1)(1,0)(1,1)의 4개의 광 수신단을 포함하고, 3:1의 비율을 갖도록 구성될 수 있다. 즉, (0,0)(0,1)(1,0)은 제1 광 수신단, (1,1)은 제2 광 수신단일 수 있다. 도 1 내지 도 10에서 설명한 바와 같이 몇몇 실시예에 따라 제1 광 수신단은 제2 광 수신단과 서로 교번하여 인에이블 되거나, 몇몇 실시예에 따라 제1 광 수신단과 제2 광 수신단은 서로 다른 입출력 패드와 각각 연결되어 동시에 인에이블될 수 있다.이 경우, 입출력 패드에서 측정되는 픽셀 전체 포토전류는 다음 수학식 4와 같이 구할 수 있다.
Figure pat00013
상술한 다이나믹 비전 센서는 2 개의 광 수신단에서 포토전류의 차분값에 기초하여 DVS 픽셀의 특성을 측정할 수 있으므로, 누설 전류 성분이 제거되어, 보다 신뢰성 있는 포토전류 측정값을 확보할 수 있다.
도 12는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다. 도 13은 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시하고, 도 14는 도 5의 광 수신단 구동 회로의 예시적인 구성을 도시한다.
설명의 편의를 위해 도 10과의 차이점을 위주로 설명하고, 중복되는 설명은 생략한다.
도 12를 참조하면, 몇몇 실시예에 따른 다이나믹 비전 센서는 전류-전압 컨버터(I-V Conveter, 410) 및 아날로그 디지털 컨버터(Analog Digital Converter, ADC, 420) 및 컨트롤 유닛(430)을 더 포함할 수 있다. 도시된 다이나믹 비전 센서는 다크 전류(dark current)를 측정할 수 있다.
ADC(420)는 전류-전압 컨버터(410)의 출력단과 컨트롤 유닛(430)의 입력단 사이에 연결되어, 제1 광 수신단(310-1)과 제2 광 수신단(310-2)에서 생성되어 전류-전압 컨버터(410)를 통해 출력되는 제1 전압(VPH1) 및 제2 전압(VPH2)을 제1 디지털 코드 및 제2 디지털 코드로 변환할 수 있다. ADC(420)는 제1 디지털 코드와 제2 디지털 코드의 차분값에 기초하여 다크 전류(Dout-Dark)를 측정할 수 있다. 이때 Dout-Dark는 다크 전류값의 디지털 코드를 의미한다.
컨트롤 유닛(430)은 Dout-Dark에 기초하여, 다크 컨트롤 신호를 생성하여 각각의 광 수신단(310)으로 제공한다.
도 13을 참조하면, 몇몇 실시예에 따라 각 픽셀(X1)의 광 수신단(310)은 다크 전류 보상 유닛 (Dark Current Compensation Unit, 350)을 더 포함할 수 있다. 다크 전류 보상 유닛은 다크 컨트롤 신호에 따라 다크 전류를 픽셀에 보상해준다. 도 14를 참조하면, 몇몇 실시예에 따라 다크 전류 보상 유닛은 전류 소스(Current Source)를 포함할 수 있다.
도 15는 도 1의 이미지 처리 장치가 예시적으로 적용된 전자 장치를 보여주는 블록도이다.
예를 들어, 전자 기기(1000)는 스마트폰, 태블릿 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 기기로 구현될 수 있다. 나아가, 전자 기기(1000)는 무인 경비 시스템, 사물 인터넷, 자율 주행 자동차를 운영하는데 필요한 다양한 유형의 전자 기기들 중 하나로 구현될 수 있다
전자 기기(1000)는 이미지 처리 장치(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이(1500), 통신 블록(1600), 및 유저 인터페이스(1700)를 포함할 수 있다.
이미지 처리 장치(1100)는 앞서 도 1 내지 도 11을 통하여 설명된 스킴을 실행하도록 구현된 이미지 처리 장치일 수 있다.
한편, 이벤트 보상 스킴은 프로세서(1120) 대신에, 메인 프로세서(1200)에 의해 소프트웨어 또는 펌웨어로서 수행될 수도 있다. 이 경우, 이벤트 발생 시간을 응답시간으로 보상하는 스킴을 실현하는 펌웨어 또는 소프트웨어인 이벤트 보상부(200)는 워킹 메모리(1300)에 로딩될 수 있으며, 메인 프로세서(1200)는 이를 구동할 수 있다. 이 경우, 이벤트 보상 스킴은 메인 프로세서(1200)에 의해 구동/처리되기 때문에, 이 경우 프로세서(1120)는 생략될 수 있다.
워킹 메모리(1300)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 프로세서(1120)에 의해 처리된 패킷들 또는 프레임들을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.
스토리지(1400)는 이벤트 보상 스킴을 수행하기 위한 펌웨어 또는 소프트웨어를 저장할 수 있다. 이벤트 보상 스킴을 수행하기 위한 펌웨어 또는 소프트웨어는 메인 프로세서(1200)의 요청 또는 명령에 따라 스토리지(1400)로부터 읽힐 수 있으며, 워킹 메모리(1300)에 로딩될 수 있다. 스토리지(1400)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.
디스플레이(1500)는 디스플레이 패널 및 DSI (display serial interface) 주변 회로를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED (Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 메인 프로세서(1200)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다. DSI 주변 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다.
통신 블록(1600)은 안테나를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(1600)의 송수신기(1610) 및 MODEM (Modulator/Demodulator, 1620)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID (Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.
유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.
전자 기기(1000)의 구성 요소들은 USB (Universal Serial Bus), SCSI (Small Computer System Interface), PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1 : 이미지 센싱 장치 100 : 비전 센서
20 : 프로세서 110 : DVS 픽셀 어레이
120 : 컬럼 AER 130 : 조도 검출부
140 : 타임스탬프부 150 : 컨트롤 유닛
121 : 로우 AER 170 : 메모리
PD : 포토 다이오드 X : 패치

Claims (10)

  1. 각각이 적어도 하나의 픽셀을 포함하고, 입사된 빛에 대응하여 상기 각 픽셀에서 생성된 제1 및 제2 포토전류에 기반하여 각각 제1 및 제2 로그 전압을 출력하는 제1 및 제2 광 수신단; 및
    상기 제1 및 제2 로그 전압을 증폭하고 상기 증폭된 제1 및 제2 로그 전압과 레퍼런스 전압을 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로를 포함하고,
    상기 제1 광 수신단의 제1 출력노드와 상기 제2 광 수신단의 제2 출력노드는 서로 교번하여 전원공급전압 노드 또는 제1 노드와 연결되는 것인, 다이나믹 비전 센서.
  2. 제1항에 있어서,
    상기 제1 포토전류와 상기 제2 포토전류 간의 차이에 기초하여 픽셀 포토전류를 측정하고,
    상기 제1 포토전류 및 상기 제2 포토전류는 상기 제1 및 제2 광 수신단에 속한 상기 픽셀에서 생성된 포토전류들의 합인, 다이나믹 비전 센서.
  3. 제1항에 있어서,
    상기 제1 출력노드와 상기 전원공급전압 노드 사이에 연결되는 제1 스위치;
    상기 제1 출력노드와 상기 제1 노드 사이에 연결되어, 상기 제1 스위치와 교번하여 턴온되는 제1 반전 스위치;
    상기 제2 출력노드와 상기 전원공급전압 노드 사이에 연결되는 제2 스위치; 및
    상기 제2 출력노드와 상기 제1 노드 사이에 연결되는 상기 제2 스위치와 교번하여 턴온되는 제2 반전 스위치를 더 포함하고,
    상기 제1 스위치 및 상기 제2 스위치는 서로 교번하여 턴온되는, 다이나믹 비전 센서.
  4. 제3항에 있어서,
    상기 제1 스위치 및 상기 제2 반전 스위치는 PMOS 트랜지스터이고 상기 제2 스위치 및 상기 제1 반전 스위치는 NMOS 트랜지스터이며,
    상기 제1 및 제2 스위치와 상기 제1 및 제2 반전 스위치는 동일한 인에이블 신호에 기초하여 게이팅되는, 다이나믹 비전 센서.
  5. 제3항에 있어서,
    인에이블 신호를 반전시켜 반전 인에이블 신호를 생성하는 인버터를 더 포함하고,
    상기 제1 스위치 및 상기 제2 반전 스위치는 상기 인에이블 신호에 의해 턴온되고, 상기 제2 스위치 및 상기 제1 반전 스위치는 상기 반전 인에이블 신호에 의해 턴온되는, 다이나믹 비전 센서.
  6. 제1항에 있어서,
    상기 제1 노드에 일단이 연결되는 전류-전압 컨버터; 및
    상기 전류-전압 컨버터의 타단에 연결되는 아날로그 디지털 컨버터를 더 포함하는, 다이나믹 비전 센서.
  7. 제6항에 있어서, 상기 DVS 픽셀 백-엔드 회로는
    상기 아날로그 디지털 컨버터에서 출력되는 상기 제1 광 수신단에서의 제1 디지털 코드와 상기 제2 광 수신단에서의 제2 디지털 코드를 차분하여, 픽셀 포토전류를 측정하는, 다이나믹 비전 센서.
  8. 입사된 빛에 대응하여 생성된 제1 포토전류에 기반하여 제1 로그 전압을 출력하는 N개의 픽셀을 갖는 제1 광 수신단;
    상기 입사된 빛에 대응하여 생성된 제2 포토전류에 기반하여 제2 로그 전압을 출력하는 M개의 픽셀을 갖는 제2 광 수신단; 및
    상기 제1 및 제2 광 수신단에 속한 각 픽셀의 제1 로그 전압 및 제2 로그 전압을 증폭하고 상기 증폭된 제1 및 제2 로그 전압과 레퍼런스 전압을 각각 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로를 포함하고,
    상기 제1 포토전류와 상기 제2 포토전류의 전류 차분값에 기초하여 픽셀 평균 포토전류를 검출하는 것이고,
    상기 제1 포토전류 및 상기 제2 포토전류는 상기 제1 및 제2 광 수신단에 속한 상기 픽셀에서 생성된 포토전류들의 합인, 다이나믹 비전 센서.
    (상기 N과 M은 서로 다른 값을 가지는 자연수)
  9. 제8항에 있어서,
    상기 전류 차분값을 상기 N과 상기 M 간의 차분값으로 나누어 상기 픽셀 평균 포토전류를 구하고, 상기 픽셀 평균 포토전류에 상기 제1 및 제2 광 수신단의 전체 개수를 곱한 전체 포토전류를 측정하는, 다이나믹 비전 센서.
  10. 각각이 제1 광 수신단 또는 제2 광 수신단 중 하나에 속하여, 입사된 빛에 대응하여 생성된 포토전류에 기반하여 로그 전압을 출력하는 DVS 픽셀 어레이;
    상기 로그 전압을 증폭하고 상기 증폭된 로그 전압과 레퍼런스 전압을 비교하여 상기 빛의 세기 변화를 검출하고, 상기 검출된 값에 대응하는 이벤트 신호를 출력하는 DVS 픽셀 백-엔드 회로;
    상기 이벤트 신호가 변화하는 시간에 관한 타임 스탬프를 발행하는 타임 스탬퍼; 및
    상기 픽셀의 주소, 상기 이벤트 신호 및 상기 타임 스탬프에 기초한 이벤트 데이터 패킷을 생성하고 출력하는 프로세서를 포함하고,
    상기 DVS 픽셀 백-엔드 회로는 상기 제1 광 수신단의 제1 포토전류와 상기 제2 광 수신단의 제2 포토전류의 전류 차분값에 기초하여 평균 포토전류를 검출하고,
    상기 제1 포토전류 및 상기 제2 포토전류는 상기 제1 및 제2 광 수신단에 속한 상기 픽셀에서 생성된 포토전류들의 합인, 이미지 처리 장치.
KR1020200189879A 2020-12-31 2020-12-31 다이나믹 비전 센서 및 그 이미지 처리 장치 KR20220096978A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200189879A KR20220096978A (ko) 2020-12-31 2020-12-31 다이나믹 비전 센서 및 그 이미지 처리 장치
US17/471,459 US11582410B2 (en) 2020-12-31 2021-09-10 Dynamic vision sensor and image processing device including the same
CN202111651031.XA CN114697577A (zh) 2020-12-31 2021-12-30 动态视觉传感器和包括动态视觉传感器的图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200189879A KR20220096978A (ko) 2020-12-31 2020-12-31 다이나믹 비전 센서 및 그 이미지 처리 장치

Publications (1)

Publication Number Publication Date
KR20220096978A true KR20220096978A (ko) 2022-07-07

Family

ID=82118204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200189879A KR20220096978A (ko) 2020-12-31 2020-12-31 다이나믹 비전 센서 및 그 이미지 처리 장치

Country Status (3)

Country Link
US (1) US11582410B2 (ko)
KR (1) KR20220096978A (ko)
CN (1) CN114697577A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021040294A (ja) * 2019-08-30 2021-03-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same
US20240073376A1 (en) * 2022-08-26 2024-02-29 Meta Platforms Technologies, Llc Authentic Eye Region Capture through Artificial Reality Headset

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331982B1 (ko) 2005-06-03 2013-11-25 우니페르지타에트 취리히 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이
US9600123B2 (en) 2012-10-18 2017-03-21 Sharp Kabushiki Kaisha Optical sensor and electronic apparatus
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
US10498977B2 (en) 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
KR102612194B1 (ko) 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법
CN111713101B (zh) * 2017-12-11 2022-05-13 普罗菲西公司 基于事件的图像传感器及其操作方法
US10516876B2 (en) 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
JP7449663B2 (ja) * 2018-10-30 2024-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US20220210349A1 (en) 2022-06-30
CN114697577A (zh) 2022-07-01
US11582410B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
US11532143B2 (en) Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor
KR20220096978A (ko) 다이나믹 비전 센서 및 그 이미지 처리 장치
US20230156368A1 (en) Image processing device configured to regenerate timestamp and electronic device including the same
EP3139595B1 (en) Event-based sensor and pixel of event-based sensor
CN110174974B (zh) 触控电路、触控装置和触控方法
EP3324611A1 (en) Event-based sensor, user device including the same, and operation method of the same
US20230217123A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US20230283870A1 (en) Vision sensor and operating method thereof
US11950003B2 (en) Vision sensor and operating method of the same
KR20180102988A (ko) 이벤트 감지 장치
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
US11765486B2 (en) Vision sensor and image processing device including the same
EP4093021A1 (en) Vision sensor and operating method thereof
US11695895B2 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US20240107188A1 (en) Vision sensor and image processing device including the same
KR102422392B1 (ko) 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법