KR102402678B1 - 이벤트 기반 센서 및 프로세서의 동작 방법 - Google Patents

이벤트 기반 센서 및 프로세서의 동작 방법 Download PDF

Info

Publication number
KR102402678B1
KR102402678B1 KR1020150037501A KR20150037501A KR102402678B1 KR 102402678 B1 KR102402678 B1 KR 102402678B1 KR 1020150037501 A KR1020150037501 A KR 1020150037501A KR 20150037501 A KR20150037501 A KR 20150037501A KR 102402678 B1 KR102402678 B1 KR 102402678B1
Authority
KR
South Korea
Prior art keywords
event
signal
detected
response
current
Prior art date
Application number
KR1020150037501A
Other languages
English (en)
Other versions
KR20160112219A (ko
Inventor
리우 홍지에
리 청한
브랜들리 크리스티안
리우 시-치
델브럭 토비
Original Assignee
삼성전자주식회사
우니페르지타에트 취리히
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 우니페르지타에트 취리히 filed Critical 삼성전자주식회사
Priority to KR1020150037501A priority Critical patent/KR102402678B1/ko
Priority to US14/862,274 priority patent/US10133334B2/en
Publication of KR20160112219A publication Critical patent/KR20160112219A/ko
Application granted granted Critical
Publication of KR102402678B1 publication Critical patent/KR102402678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

이벤트 기반 센서가 개시된다. 일 실시예에 따른 이벤트 기반 센서는 복수의 센싱 픽셀들 중 이벤트를 감지한 활성 픽셀의 식별 정보를 포함하는 이벤트 신호를 생성하는 센싱부, 미리 정해진 조건에 기초하여 이벤트 신호를 필터링 할지 여부를 판단하는 판단부, 및 판단 결과에 기초하여 이벤트 신호를 출력하는 출력부를 포함한다.

Description

이벤트 기반 센서 및 프로세서의 동작 방법{EVENT-BASED SENSOR AND OPERATING METHOD OF PROCESSOR}
아래 실시예들은 이벤트 기반 센서 및 프로세서의 동작 방법에 관한 것이다.
인간과 컴퓨터 사이의 상호 작용(Human-computer interaction, HCI)은 유저 인터페이스에서 발현되어 작동한다. 사용자 입력을 인식하는 다양한 유저 인터페이스는 인간과 컴퓨터 사이의 자연스러운 상호 작용을 제공할 수 있다.
사용자 입력을 인식하기 위하여 다양한 센서들이 이용될 수 있다. 자연스러운 상호 작용을 제공하기 위해서, 사용자 입력에 대한 응답 속도가 빠른 센서가 필요하다. 또한, 다양한 모바일 기기의 경우, 유저 인터페이스를 통한 여러 가지 스마트 기능을 수행하면서 전력을 적게 소모해야 하는 필요성이 존재한다. 이에 따라, 전력 소모는 낮고, 응답 속도는 빠르며, 센싱 목적에 맞는 신뢰도가 높은 센서가 요구된다.
일 측에 따른 이벤트 기반 센서는 복수의 센싱 픽셀들 중 이벤트를 감지한 활성 픽셀의 식별 정보를 포함하는 이벤트 신호를 생성하는 센싱부; 미리 정해진 조건에 기초하여 상기 이벤트 신호를 필터링 할지 여부를 판단하는 판단부; 및 상기 판단 결과에 기초하여 상기 이벤트 신호를 출력하는 출력부를 포함한다.
상기 미리 정해진 조건은 이벤트들이 감지된 시간과 관련된 제1 조건; 이벤트들이 감지된 공간과 관련된 제2 조건; 및 이벤트들 사이의 시공간적 연관성에 기반한 제3 조건 중 적어도 하나를 포함할 수 있다.
상기 제1 조건은 현재 이벤트가 미리 정해진 패턴의 시간 구간에 감지된 것인지 여부; 현재 이벤트가 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부; 및 현재 이벤트가 상기 이벤트들의 시간적 특징과 관련된 시간 구간에 감지된 것인지 여부 중 적어도 하나를 포함할 수 있다.
상기 제2 조건은 현재 이벤트가 미리 정해진 패턴의 영역에서 감지된 것인지 여부; 현재 이벤트가 이전 이벤트가 감지된 위치로부터 미리 정해진 범위의 영역에서 감지된 것인지 여부; 현재 이벤트가 객체의 외형 선에 대응하는 영역에서 감지된 것인지 여부; 및 현재 이벤트가 상기 이벤트들의 공간적 특징과 관련된 영역에서 감지된 것인지 여부 중 적어도 하나를 포함할 수 있다.
상기 제3 조건은 현재 이벤트가 미리 정해진 영역 내 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부를 포함할 수 있다. 상기 미리 정해진 영역은 상기 현재 이벤트가 감지된 위치를 포함하는 주변 영역; 및 상기 현재 이벤트가 감지된 위치를 포함하는 미리 정해진 패턴의 영역 중 적어도 하나를 포함할 수 있다.
상기 센싱부는 상기 이벤트에 반응하여 상기 이벤트 신호를 출력하고, 상기 판단부는 상기 이벤트 신호에 반응하여 상기 이벤트 신호의 필터링 여부를 판단하며, 상기 출력부에 의해 출력되는 패스 이네이블 신호에 반응하여 상기 판단 결과를 포함하는 패스 논리 신호를 출력하며, 상기 출력부는 상기 패스 논리 신호에 기초하여 상기 이벤트 신호를 출력할 수 있다.
상기 출력부는 상기 이벤트 신호를 출력한 후 응답 신호를 출력하고, 상기 판단부는 상기 응답 신호에 반응하여 상기 미리 정해진 조건을 판단하기 위한 파라미터를 리셋할 수 있다.
상기 판단부는 상기 복수의 센싱 픽셀들을 미리 정해진 패턴으로 분할하는 필터 셀들을 포함할 수 있다. 상기 필터 셀들 각각은 상기 이벤트 신호를 필터링 할지 여부를 판단할 수 있다.
예를 들어, 상기 필터 셀들 각각은 비교기; 상기 출력부의 지난 이벤트 신호와 관련된 응답 신호에 반응하여 상기 비교기의 출력과 상기 비교기의 제1 입력을 연결하고, 상기 센싱부의 지난 이벤트 신호와 관련된 요청 신호의 중단에 반응하여 상기 비교기의 출력과 상기 비교기의 제1 입력을 단절하는 제1 스위치; 상기 응답 신호에 반응하여 상기 비교기의 제2 입력을 리셋 전압과 연결하고, 현재 이벤트 신호에 반응하여 상기 비교기의 제2 입력을 임계 전압과 연결하는 제2 스위치; 상기 비교기의 제2 입력과 연결된 커패시터; 및 기 설정된 전류량에 기초하여 상기 커패시터에 충전된 전하를 방전하는 트랜지스터를 포함할 수 있다.
상기 전류량은 상기 트랜지스터의 게이트 전압, 및 상기 트랜지스터의 소스 전압 중 적어도 하나에 기초하여 설정될 수 있다.
일 측에 따른 프로세서의 동작 방법은 이벤트 기반 센서에 의하여 발생된 이벤트 신호를 수신하는 단계; 이벤트들이 감지된 시간과 관련된 제1 조건, 이벤트들이 감지된 공간과 관련된 제2 조건, 및 이벤트들 사이의 시공간적 연관성에 기반한 제3 조건 중 적어도 하나에 기초하여 상기 이벤트 신호를 필터링 할지 여부를 판단하는 단계; 및 상기 판단 결과를 출력하는 단계를 포함한다.
도 1은 일 실시예에 따른 이벤트 기반 센서를 나타낸 블록도.
도 2는 일 실시예에 따른 하드웨어 필터 솔루션을 포함하는 이벤트 기반 센서를 설명하는 도면.
도 3은 일 실시예에 따른 시공간적 연관 기법을 설명하는 도면.
도 4는 일 실시예에 따라 다양하게 변형되는 공간적 연관성을 설명하는 도면.
도 5는 일 실시예에 따른 필터 칩의 아키텍처(architecture)를 설명하는 도면.
도 6은 일 실시예에 따른 필터 셀 내에서 타이밍 연관성을 결정하는 방전-비교-리셋 회로(discharge-compare-reset circuitry)를 설명하는 도면.
도 7은 일 실시예에 따른 동일한 필터 셀에 세 번의 이벤트 신호들이 수신되는 경우의 타이밍 다이어그램을 설명하는 도면.
도 8은 일 실시예에 따른 논리 칩의 FSM(finite state machine)을 설명하는 도면.
도 9는 일 실시예에 따른 프로세서의 동작 방법을 나타낸 동작 흐름도.
본 명세서에서 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 이벤트 기반 센서를 나타낸 블록도이다. 도 1을 참조하면, 일 실시예에 따른 이벤트 기반 센서(100)는 센싱부(110), 판단부(120), 및 출력부(130)를 포함한다. 이하, 설명의 편의를 위하여 이벤트 기반 센서의 구조 및 동작을 설명하나, 실시예들은 센서가 아닌 다양한 장치들로 확장될 수 있다. 예를 들어, 실시예들은 이벤트 기반 센서를 포함하는 다양한 컴퓨팅 장치들, 스마트 폰, 웨어러블 디바이스 등 모바일 장치들, 및 각종 보안 장치들 등에 그대로 적용될 수 있다.
센싱부(110)는 복수의 센싱 픽셀들을 포함한다. 센싱부(110)는 복수의 센싱 픽셀들 중 이벤트를 감지한 활성 픽셀(active pixel)의 식별 정보를 포함하는 이벤트 신호를 생성한다. 센싱부(110)는 뉴로모픽(neuromorphic) 센싱 기법에 기반할 수 있다. 일 예로, 센싱부(110)는 20 x 20 um2 크기의 센싱 픽셀들을 포함하는 128 x 128 어레이로 구현될 수 있다.
이벤트는 입력의 변화와 관련된 이벤트를 포함한다. 예를 들어, 이벤트는 입사되는 빛의 세기(intensity)가 변하는 이벤트, 입사되는 빛의 색상이 변하는 이벤트, 입력되는 소리의 크기가 변하는 이벤트, 입력되는 소리의 주파수가 변하는 이벤트, 입력되는 자극의 세기가 변하는 이벤트 등을 포함할 수 있다. 이하, 설명의 편의를 위하여 센싱부(110)는 입사되는 빛의 세기가 변하는 이벤트를 감지하는 이벤트 기반 비전 센서인 경우를 가정하나, 실시예들은 다양한 이벤트 기반 센서에도 적용될 수 있다.
센싱부(110)에 포함된 복수의 센싱 픽셀들은 이벤트(예를 들어, 입사되는 빛의 세기가 변하는 이벤트)를 감지할 수 있다. 복수의 센싱 픽셀들 중 이벤트를 감지한 센싱 픽셀은 활성 픽셀이라고 지칭될 수 있다. 활성 픽셀은 이벤트를 감지함에 반응하여, 활성화 신호를 발생할 수 있다.
센싱부(110)는 활성 픽셀의 식별 정보를 포함하는 이벤트 신호를 생성할 수 있다. 예를 들어, 센싱부(110)는 활성 픽셀에 의하여 발생된 활성화 신호에 기초하여 해당 활성 픽셀을 식별하는 주소를 포함하는 이벤트 신호를 생성할 수 있다. 센싱부(110)는 시간 비동기적으로 이벤트 신호를 생성 및 출력하므로, 매 프레임마다 모든 픽셀들을 스캔하는 프레임 기반 비전 센서에 비하여 저전력, 고속으로 동작할 수 있다.
판단부(120)는 미리 정해진 조건에 기초하여 이벤트 신호를 필터링 할지 여부를 판단한다. 예를 들어, 판단부(120)는 미리 정해진 조건이 만족된다는 판단에 따라 이벤트 신호를 패스(pass)하는 판단을 하거나, 미리 정해진 조건이 만족되지 않는다는 판단에 따라 이벤트 신호를 필터링 하는 판단을 할 수 있다. 이하, 이벤트 신호를 패스한다는 것은 수신된 이벤트 신호를 출력하는 것을 의미하고, 이벤트 신호를 필터링 한다는 것은 수신된 이벤트 신호를 출력하지 않고 차단하는 것을 의미할 수 있다. 이 경우, 판단부(120)는 미리 정해진 조건에 기초하여 이벤트 신호를 출력할지 여부를 판단할 수 있다.
미리 정해진 조건은 이벤트들이 감지된 시간과 관련된 제1 조건을 포함할 수 있다. 일 측에 따르면, 판단부(120)는 현재 이벤트가 미리 정해진 패턴의 시간 구간에 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 미리 정해진 패턴의 시간 구간은 다양하게 설정될 수 있다. 예를 들어, 미리 정해진 패턴은 제1 구간 및 제2 구간을 포함할 수 있다. 미리 정해진 주기에 포함된 제1 구간 내 발생되는 이벤트 신호는 패스되고, 미리 정해진 주기에 포함된 제2 구간 내 발생되는 이벤트 신호는 필터링 될 수 있다. 제1 구간의 길이와 제2 구간의 길이는 다양하게 설정될 수 있다. 또한, 미리 정해진 패턴은 제1 구간 및 제2 구간 이외에 추가적인 구간들을 더 포함할 수도 있다.
또는, 판단부(120)는 현재 이벤트가 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 이 경우, 이전 이벤트와 현재 이벤트 사이의 시간적 연관성에 기초하여, 현재 이벤트 신호의 필터링 여부가 판단될 수 있다. 예를 들어, 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 내 현재 이벤트가 감지된 경우 현재 이벤트 신호는 패스되고, 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간을 벗어나 현재 이벤트가 감지된 경우 현재 이벤트 신호는 필터링 될 수 있다.
또는, 판단부(120)는 현재 이벤트가 이벤트들의 시간적 특징과 관련된 시간 구간에 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 예를 들어, 판단부(120)는 시간의 흐름에 따른 이벤트들의 특징 벡터를 추출할 수 있다. 현재 이벤트가 시간의 흐름에 따른 이벤트들의 특징 벡터에 부합되는 경우 현재 이벤트 신호는 패스되고, 현재 이벤트가 시간의 흐름에 따른 이벤트들의 특징 벡터에 부합되지 않는 경우 현재 이벤트 신호는 필터링 될 수 있다. 시간의 흐름에 따른 이벤트들의 특징 벡터는 광류(optical flow)와 같은 속도 성분을 포함할 수 있다. 광류는 시간의 흐름에 따라 각 픽셀에 입사되는 빛의 밝기가 변하는 정도를 표현하는 특징 벡터이다.
미리 정해진 조건은 이벤트들이 감지된 공간과 관련된 제2 조건을 포함할 수 있다. 일 측에 따르면, 판단부(120)는 현재 이벤트가 미리 정해진 패턴의 영역에서 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 미리 정해진 패턴의 영역은 다양한 모양으로 설정될 수 있다. 일 예로, 미리 정해진 패턴의 영역은 객체의 외형 선과 같은 특정 패턴에 대응하는 영역을 포함할 수 있다. 이 경우, 미리 정해진 패턴의 영역 내에서 발생된 이벤트 신호는 패스되고, 미리 정해진 패턴의 영역 외에서 발생된 이벤트 신호는 필터링 될 수 있다.
또는, 판단부(120)는 현재 이벤트가 이전 이벤트가 감지된 위치로부터 미리 정해진 범위의 영역에서 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 이 경우, 이전 이벤트와 현재 이벤트 사이의 공간적 연관성에 기초하여, 현재 이벤트 신호의 필터링 여부가 판단될 수 있다. 예를 들어, 이전 이벤트가 감지된 위치 주변으로 미리 설정된 영역 내에서 발생된 이벤트 신호는 패스되고, 이전 이벤트가 감지된 위치 주변으로 미리 설정된 영역 밖에서 발생된 이벤트 신호는 필터링 될 수 있다.
또는, 판단부(120)는 현재 이벤트가 객체의 외형 선에 대응하는 영역에서 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 예를 들어, 판단부(120)는 이벤트들에 기초하여 객체의 에지 또는 외형 선을 디텍션(edge detection)할 수 있다. 현재 이벤트가 객체의 에지 또는 외형 선에 대응되는 경우 현재 이벤트 신호는 패스되고, 현재 이벤트가 객체의 외형 선 또는 이벤트들의 에지에 대응되지 않는 경우 현재 이벤트 신호는 필터링 될 수 있다. 또는, 판단부(120)는 이벤트들에 기초하여 에지의 각도(orientation) 등 에지의 속성을 추출하고, 현재 이벤트가 추출된 에지의 속성에 부합하는지 여부에 따라 현재 이벤트를 필터링 할지 여부를 판단할 수 있다.
또는, 판단부(120)는 현재 이벤트가 이벤트들의 공간적 특징과 관련된 영역에서 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 예를 들어, 판단부(120)는 이벤트들의 공간적 분포에 따른 특징 벡터를 추출할 수 있다. 현재 이벤트가 이벤트들의 공간적 분포에 따른 특징 벡터에 부합되는 경우 현재 이벤트 신호는 패스되고, 현재 이벤트가 이벤트들의 공간적 분포에 따른 특징 벡터에 부합되지 않는 경우 현재 이벤트 신호는 필터링 될 수 있다.
미리 정해진 조건은 이벤트들 사이의 시공간적 연관성에 기반한 제3 조건을 포함할 수 있다. 일 측에 따르면, 판단부(120)는 현재 이벤트가 미리 정해진 영역 내 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부에 따라 이벤트 신호를 필터링 할지 여부를 판단할 수 있다. 미리 정해진 영역은 현재 이벤트가 감지된 위치를 포함하는 주변 영역, 또는 현재 이벤트가 감지된 위치를 포함하는 미리 정해진 패턴의 영역 등을 포함할 수 있다. 여기서, 미리 정해진 패턴은 다양하게 설정될 수 있다. 제3 조건과 관련된 보다 상세한 사항은 후술한다.
출력부(130)는 판단부(120)의 판단 결과에 기초하여, 이벤트 신호를 출력할 수 있다. 예를 들어, 이벤트 신호가 패스된다는 판단에 따라 출력부(130)는 이벤트 신호를 출력할 수 있다. 또는, 이벤트 신호가 필터링 된다는 판단에 따라 출력부(130)는 이벤트 신호를 출력하지 않을 수 있다.
전술한 바와 같이, 판단부(120)에서 이용되는 미리 정해진 조건은 이벤트 기반 센서(100)의 용도 또는 목적에 따라 다양하게 설정될 수 있다. 이벤트 기반 센서(100)는 센싱부(110)에 의하여 감지되는 이벤트들 중 이벤트 기반 센서(100)의 용도 또는 목적에 적합한 이벤트들을 선별적으로 출력할 수 있다.
이하, 이벤트 기반 센서(100)의 판단부(120)가 이벤트 기반 센서에 의하여 출력되는 이벤트 신호들 중 백그라운드 액티비티(background activity, BA)에 해당하는 이벤트 신호를 필터링하는 실시예를 상세하게 설명한다. 이벤트 기반 비전 센서의 출력은 실제 액티비티(real activity)에 해당하는 이벤트 신호뿐 아니라 백그라운드 액티비티에 해당하는 이벤트 신호를 포함할 수 있다. 예를 들어, 백그라운드 액티비티에 해당하는 이벤트 신호는 센싱부(110)의 센싱 픽셀들 내 플로팅 노드들과 연결된 스위치들에 작용하는 써멀 노이즈(thermal noise) 또는 정션 리키지 전류(junction leakage current) 등에 의하여 발생될 수 있다.
아래에서 상세하게 설명하겠으나, 이벤트 기반 센서(100)는 백그라운드 액티비티에 해당하는 이벤트 신호를 필터링하기 위하여, 시공간적으로 연관된 이벤트 신호들을 식별하는 패스 플래그(pass flag)를 생성할 수 있다. 이로 인하여, 이벤트 기반 센서(100)는 통신 및 연산 부하(communication and computation load)를 감소시키고 정보 레이트(information rate)을 향상시킬 수 있다.
또한, 이벤트 기반 센서(100)는 파워-게이팅(power-gating) 기법을 이용할 수 있다. 파워-게이팅 기법은 이벤트를 감지하는 센싱 픽셀에 대응하는 임계 감지 회로(threshold detection circuit) 및 통신 회로(communication circuit) 만을 활성화시킴으로써, 전력 소모를 최소화하는 기법이다. 또한, 이벤트 기반 센서(100)는 연관 필터 칩(correlation filter chip)을 이용할 수 있다. 연관 필터 칩을 이용함으로써, 이벤트 기반 센서(100)는 적은 전력 소모와 빠른 응답속도를 요구하는 임베디드 뉴로모픽 영상 및 음성 시스템(embedded neuromorphic visual and auditory system)에 적용될 수 있다.
도 2는 일 실시예에 따른 하드웨어 필터 솔루션을 포함하는 이벤트 기반 센서를 설명하는 도면이다. 도 2를 참조하면, 이벤트 기반 센서(100)는 센서 칩(210), 필터 칩(220), 및 논리 칩(230)을 포함한다. 설명의 편의를 위하여, 이벤트 기반 센서(100)가 복수의 칩들을 포함하는 실시예를 설명하나, 이벤트 기반 센서(100)는 단일 칩으로 구현될 수도 있다. 센서 칩(210)은 도 1의 센싱부(110)에 대응하고, 필터 칩(220)은 도 1의 판단부(120)에 대응하며, 논리 칩(230)은 도 1의 출력부(130)에 대응할 수 있다.
센서 칩(210)은 활성 픽셀들을 이용하여 비동기적 주소 이벤트(address events, AE) 신호를 생성할 수 있다. 예를 들어, 센서 칩(210)은 지난 이벤트 이후로 로그 인텐시티(log intensity)의 변화가 상위 임계(upper threshold) 또는 하위 임계(lower threshold)를 초과하는 경우, 온(ON) 이벤트 신호 또는 오프(OFF) 이벤트 신호를 생성할 수 있다. 만약 센서 칩(210)이 동기적 시스템(synchronous system)과 인터페이스 하는 경우, 논리 칩(230)에 의하여 이벤트 신호의 타이밍 정보가 추가적으로 생성될 수 있다. 센서 칩(210)은 밀도가 낮고(sparse) 빠른 응답(low-latency)의 출력 특성을 가지므로, 고속 로보틱스(high-speed robotics) 등 빠른 응답의 피드백을 요구하는 고속의 객체 트래킹 어플리케이션에 이용될 수 있다.
하지만, 센서 칩(210)의 출력은 실제 액티비티가 아닌 백그라운드 액티비티에 해당하는 이벤트 신호를 포함할 수 있다. 백그라운드 액티비티는 데이터의 품질에 영향을 미치고, 백그라운드 액티비티로 인하여 불필요한 통신 및 연산에 자원을 소모될 수 있다. 일 예로, 정션 리키지 전류는 6-8도마다 두 배로 증가할 수 있으므로, 온도에 따라 노이즈의 양이 심각하게 증가할 수도 있다. 또한, CMOS 기술의 스케일(scale)이 작아질수록 정션 리키지 전류 및 백그라운드 액티비티 레이트는 증가할 수 있다. 또한, 백그라운드 액티비티로 인하여 트래킹 결과가 부정확해질 수 있다.
실제 액티비티에 해당하는 이벤트는 객체의 움직임 또는 조명의 변화로 인하여 발생될 수 있다. 이 때, 특정 픽셀에서 감지되는 실제 액티비티에 해당하는 이벤트는 해당 픽셀의 공간적 이웃 픽셀들에서 감지되는 이벤트들과 시간적으로 연관성을 가진다. 반면, 특정 픽셀에서 감지되는 BA에 해당하는 이벤트는 해당 픽셀의 공간적 이웃 픽셀들에서 감지되는 이벤트들과 시간적으로 연관성이 없다. 이러한 차이에 기초하여, 이벤트 기반 센서(100)는 시공간적 연관성이 없는 이벤트들을 식별함으로써 백그라운드 액티비티에 해당하는 이벤트 신호를 필터링 할 수 있다.
이벤트 기반 센서는 핸드-쉐이킹 방식으로 동작할 수 있다. 예를 들어, 센서 칩(210)은 이벤트 요청 신호(Req)를 활성화 시키고 이벤트 주소 비트들(Addr<0:N>)을 제공함으로써, 논리 칩(230)과 필터 칩(220)에 이벤트 신호를 전송할 수 있다. 필터 칩(220)은 이벤트 신호를 처리한 이후 패스 논리 신호(Pass)를 생성하고, 패스 논리 신호(Pass)를 논리 칩(230)으로 전송할 수 있다. 논리 칩(230)은 응답 신호(Ack)를 센서 칩(210) 및 필터 칩(220)으로 전송할 수 있다. 논리 칩(230)은 연관된 이벤트 신호들(예를 들어, 패스 논리 신호가 논리적으로 '1'로 태그 된 이벤트 신호들)에 타임스탬프를 태그 할 수 있다. 실시예들은 시스템의 최대 처리량(maximum throughput)을 감소시키지 않으면서, 백그라운드 액티비티에 해당하는 이벤트 신호를 필터링하는 기술을 제공할 수 있다. 패스 논리 신호가 논리적으로 '1'로 태그 된 이벤트 신호들은 통신 인터페이스(240)를 통하여 외부 장치(250)로 전송될 수 있다.
필터 칩(220)은 복수의 필터 셀들을 포함할 수 있다. 필터 셀은 시공간적 연관 기법(spatiotemporal correlation principle)을 이용하기 위하여. 공간 서브-샘플링(programmable spatial sub-sampling)과 시간적 윈도우(temporal window)를 조합할 수 있다. 아래에서 상세하게 설명하겠으나, 필터 셀은 전류 적분(current integration)에 기초할 수 있으며, 공간 서브-샘플링 및 시간적 윈도우는 다양하게 프로그램 될 수 있다.
도 3은 일 실시예에 따른 시공간적 연관 기법을 설명하는 도면이다. 도 3을 참조하면, 센서 픽셀들의 블록(예를 들어, 2 x 2 블록) 내 이벤트 신호들은 동일한 필터 셀(310)로 투영(project)될 수 있다. 동일한 필터 셀(310)로 투영된 센서 픽셀들은 공간적 서브-샘플링을 위한 이웃 센싱 픽셀들로 정의될 수 있다.
이 때, 필터 셀(310)에 투영되는 각각의 이벤트 신호는 필터 셀(310)에 대응하는 타임 윈도우(time window)를 오픈(open)할 수 있다. 오픈 된 타임 윈도우 내에서 동일한 필터 셀(310)에 대응하는 센싱 픽셀들에서 뒤따라 발생되는 팔로윙 이벤트 신호들(following events)은 시공간적 연관성을 가지는 것으로 판단될 수 있다. 이 경우, 팔로윙 이벤트 신호들은 필터를 통과하도록 허용될 수 있다. 타임 윈도우는 시간적 연관성을 구현하며, 타임 윈도우의 사이즈 dT는 프로그램 될 수 있다.
예를 들어, 도 2의 센서 칩(210)의 2 x 2 센싱 픽셀들은 동일한 필터 셀(310)로 투영될 수 있다. 이 때, 서브-샘플링 레이트는 행과 열에서 1일 수 있다. t1에 특정 센싱 픽셀(311)에서 이벤트 신호가 발생하는 경우, 시간 윈도우 dT 동안 해당 센싱 픽셀(311)을 포함하는 4개의 센싱 픽셀들을 위한 시공간적 지원(spatiotemporal support)이 제공될 수 있다. 다시 말해, 시간 윈도우 dT 이내의 t2에서 동일한 필터 셀(320)에 해당하는 센싱 픽셀(321)에서 이벤트 신호가 발생하는 경우, 해당 이벤트 신호는 시공간적 연관성을 가진다고 판단될 수 있다.
도 3에서 공간적 연관성은 이전 이벤트 신호가 발생된 위치의 주변 영역으로 결정되나, 공간적 연관성은 다양한 형태로 변형될 수 있다. 예를 들어 도 4를 참조하면, 제1 패턴(410)의 경우 이격된 복수의 영역들이 공간적으로 연관된다고 설정될 수 있다. 또는, 제2 패턴(420)의 경우 미리 정해진 기호(예를 들어, 숫자 '2')에 대응하는 영역이 공간적으로 연관된다고 설정될 수 있다. 또는, 제3 패턴(430)의 경우 미리 정해진 모야(예를 들어, 얼굴 모양)에 대응하는 영역이 공간적으로 연관된다고 설정될 수 있다.
도 5는 일 실시예에 따른 필터 칩의 아키텍처(architecture)를 설명하는 도면이다. 도 5를 참조하면, 필터 칩(220)은 센서 칩(210)으로부터 AER 신호를 수신할 수 있다. AER 신호는 이벤트 주소 비트들(Addr<0:N>) 및 요청 신호(Req)를 포함할 수 있다. 이벤트 주소 비트들(Addr<0:N>)은 이벤트 신호에 해당할 수 있다.
필터 칩(220)은 논리 칩(230)으로부터 응답 신호(Ack) 및 패스 이네이블 신호(PassEn)를 수신할 수 있다. 패스 이네이블 신호(PassEn)는 패스 논리 신호(Pass)의 출력 상태를 기억하는 래치(latch)(227)에 입력될 수 있다. 필터 칩(220)은 논리 칩(230)으로 패스 논리 신호(Pass)를 출력할 수 있다. 설명의 편의를 위하여 도면에는 2개의 필터 셀들만 도시되었으나, 필터 칩(220)은 매트릭스 형태의 복수의 필터 셀들을 포함할 수 있다.
주소 선택기(address selector)(221)는 AER 신호에 포함된 이벤트 주소 비트들(Addr<0:N>)을 수신하고, 수신된 이벤트 주소 비트들(Addr<0:N>)을 X축 디코더(222)와 Y축 디코더(223)의 입력 주소들로 라우팅 할 수 있다. 예를 들어, 주소 선택기(221)는 X축(행) 주소 또는 Y축(열) 주소의 미리 정해진 수의 LSBs(least significant bits)를 무시함으로써, AER 신호에 포함된 이벤트 주소 비트들(Addr<0:N>)을 서브-샘플링 할 수 있다. 이 때, LSBs의 수는 프로그램 될 수 있다. 도 4를 참조하여 전술한 바와 같이 공간적 연관성이 변형되는 경우, X축 디코더(222)와 Y축 디코더(223)는 변형된 공간적 연관성에 맞게 이벤트 주소 비트들(Addr<0:N>)을 디코딩할 수 있다. 또한, 주소 선택기(221)는 공간적으로 이웃하는 센싱 픽셀들을 결정하는 주소 서브-샘플링 레이트를 결정할 수 있다.
X축 디코더(222)와 Y축 디코더(223)의 출력에 의하여 수용 필드(receptive field)(224 또는 225)가 선택될 수 있다. 이벤트 기반 센서(100)는 수용 필드에 대응하는 센싱 픽셀들의 이벤트 신호를 활성화시킬 수 있다. 예를 들어, 이벤트 기반 센서(100)는 수용 필드에 대응하는 센싱 픽셀들의 이벤트 신호를 필터링 하지 않고, 출력할 수 있다.
수용 필드(224 또는 225)는 필터 칩(220)의 단일 필터 셀에 대응하고, 필터 칩(220)의 단일 필터 셀로 투영되는 센서 칩(210)의 센싱 픽셀들에 대응할 수 있다. 이벤트 기반 센서(100)는 X축 디코더(222)와 Y축 디코더(223)의 출력에 의하여 선택되는 필터 셀만 파워 온 시킴으로써, 전력 소모를 획기적으로 감소시킬 수 있다. 또한, 실시예들은 전체 어레이 중 선택된 행의 출력만 허용하는 전송 게이트(예를 들어, 행 출력 선택 게이트)(226)를 추가적으로 이용함으로써, 응답 속도를 감소시킬 수 있다.
도 6은 일 실시예에 따른 필터 셀 내에서 타이밍 연관성을 결정하는 방전-비교-리셋 회로(discharge-compare-reset circuitry)를 설명하는 도면이다. 도 6을 참조하면, 일 실시예에 따른 필터 셀(600)은 비교기(Comp), 이벤트 타이밍 정보를 저장하는 커패시터(C1), 및 커패시터를 방전하는 트랜지스터(M1)를 포함한다. 설명의 편의를 위하여 스위치들을 제어하는 디지털 로직(digital logic)은 도 6에 도시하지 않았다. 수용 필드에 이벤트 신호가 입력되는 경우 (예를 들어, 필터 셀이 디코더들의 출력들의 논리적 AND 및 요청 신호(Req)에 의하여 선택되는 경우), 제2 스위치(S2)는 임계 전압(Vth)에 연결되고, 제1 스위치(S1)는 오프(OFF) 상태로 유지될 수 있다.
비교기는 커패시터의 전압(Vcap)과 임계 전압(Vth)을 비교할 수 있다. 커패시터의 전압(Vcap)이 임계 전압(Vth)보다 큰 경우, 현재 이벤트 신호가 이전 이벤트(preceding event) 신호에 대응하는 타임 윈도우 내에 발생된 것으로 판단될 수 있다. 이 경우, 출력 신호(Out1)가 출력됨으로써 패스 논리 신호(Pass)가 생성될 수 있다. 패스 논리 신호(Pass)의 글리치(glitch)를 방지하기 위하여, 도 3의 논리 칩(230)으로부터 수신되는 패스 이네이블 신호(PassEn)를 이용하여 패스 논리 신호(Pass)가 래치 될 수 있다.
논리 칩(230)이 이벤트 신호와 패스 논리 신호(Pass)에 대한 응답 신호(Ack)를 전송하면, 제1 스위치(S1)는 온(ON) 되고, 제2 스위치(S2)는 리셋 전압(Vrs)에 연결될 수 있다. 이로 인하여, 커패시터(C1)의 전압이 리셋 전압(Vrs)으로 리셋될 수 있다. 예를 들어, 비교기(Comp)는 연산 증폭기일 수 있다. 비교기(Comp)의 (+) 입력에 리셋 전압(Vrs)이 인가되면, 비교기(Comp)의 (-) 입력의 전압은 리셋 전압(Vrs)이 되기 위하여 제1 스위치(S1)를 통하여 전하를 공급받을 수 있다.
요청 신호(Req)를 전송하는 라인이 논리적으로 '0'이 되면, 제1 스위치(S1)은 다시 오프(OFF) 된다. 이 경우, 해당하는 셀이 다음 이벤트 신호를 수신할 때까지 트랜지스터(M1)를 통하여 커패시터(C1)에 충전된 전하가 방전될 수 있다.
커패시터의 전압(Vcap)이 임계 전압(Vth)보다 큰 시간 구간을 지시하는 타임 윈도우는 수학식 1과 같이 표현될 수 있다.
Figure 112015026501598-pat00001
여기서, I1은 트랜지스터(M1)을 통하여 흐르는 전류이고, C는 커패시터(C1)의 커패시턴스이다. I1은 설정 가능한 바이어스 생성기(configurable bias generator)에 의하여 제어될 수 있다. 예를 들어, I1은 100fA와 20uA 사이에서 제어될 수 있다. 트랜지스터(M1)의 소스를 접지 전압(GND) 대신 시프트 된 소스 전압(shifted source voltage, SSN)에 연결함으로써, I1이 작은 값으로 제어될 수 있다.
도 7은 일 실시예에 따른 동일한 필터 셀에 세 번의 이벤트 신호들이 수신되는 경우의 타이밍 다이어그램을 설명하는 도면이다. 설명의 편의를 위하여, 세 번의 이벤트 신호들(e1, e2, e3)이 센서 칩(210)의 동일한 행으로부터 발생되는 경우를 가정할 수 있다. 이 경우, 행 요청 신호(Row_req)와 행 응답 신호(Row_ack)가 공유될 수 있다. 도 7에서 Xsel은 X축 디코더(222)의 출력이고, Ysel은 Y축 디코더(223)의 출력이며, Psel은 Xsel 과 Ysel 의 논리적 AND이다. Psel에 의하여 필터 셀이 선택될 수 있다.
제1 이벤트 신호(e1)의 발생에 따라 AER 신호가 수신되면, 요청 신호(Req)가 논리적으로 '1'이 되고 이벤트 주소 비트들(Addr<0:N>)이 디코딩되어 Xsel과 Ysel이 발생된다. Xsel과 Ysel에 의하여 선택된 필터 셀에서 Vcap과 Vth가 비교되고, 비교 결과가 출력된다. 제1 이벤트 신호(e1)가 발생된 시점에서 Vcap은 Vth보다 작으므로 논리적으로 '0'인 출력 신호(Out)가 출력된다.
패스 이네이블 신호(PassEn)는 패스 논리 신호(Pass)가 준비된 이후 일정 딜레이 이후 논리적으로 '1'이 될 수 있다. 또는, 패스 이네이블 신호(PassEn)는 요청 신호(Req)가 논리적으로 '1'이 된 이후 일정 딜레이 이후 논리적으로 '1'이 될 수 있다. 패스 이네이블 신호(PassEn)는 도 2의 논리 칩(230)에 의하여 드라이브(drive) 될 수 있다. 패스 이네이블 신호(PassEn)가 논리적으로 '1'이 되는 시점의 출력 신호(Out)에 따라, 패스 논리 신호(Pass)의 출력 상태가 결정된다.
패스 논리 신호(Pass)를 수신한 논리 칩(230)은 논리적으로 '1'인 응답 신호(Ack)를 출력할 수 있다. 응답 신호(Ack)에 반응하여 Xsel과 Ysel에 의하여 선택된 필터 셀에서 Vcap이 리셋될 수 있다. 리셋 신호(Reset)는 응답 신호(Ack)와 Psel의 논리적 AND일 수 있다. 응답 신호(Ack)가 논리적으로 '1'이 된 이후 일정 딜레이 이후 요청 신호(Req)가 논리적으로 '0'이 된다. 요청 신호(Req)가 논리적으로 '0'이 되면, Xsel과 Ysel에 의하여 선택된 필터 셀의 커패시터(C1)에 충전된 전하가 방전되기 시작한다.
이후, 제2 이벤트 신호(e2)의 발생에 따라 AER 신호가 수신되면 전술한 동작들이 반복된다. 이 경우, Vcap이 Vth보다 크므로, 논리적으로 '1'인 출력 신호(Out) 및 패스 논리 신호(Pass)가 출력된다. 시간의 흐름에 따라 Vcap이 서서히 감소하므로, Vcap이 Vth보다 작아지기 전 새로운 이벤트 신호가 발생될 때 논리적으로 '1'인 출력 신호(Out) 및 패스 논리 신호(Pass)가 출력될 수 있다.
제3 이벤트 신호(e3)의 경우, Vcap과 Vth가 비교되는 시점에서 Vcap이 Vth보다 작으므로, 논리적으로 '0'인 출력 신호(Out) 및 패스 논리 신호(Pass)가 출력된다.
도 8은 일 실시예에 따른 논리 칩(230)의 FSM(finite state machine)을 설명하는 도면이다. 센서 칩(210)으로부터 활성화된 응답 신호(Req)를 수신하면, 논리 칩(230)은 유휴 상태(idle state)에 머무른 채로 우선 응답 신호(Req)가 행 또는 열 중 어느 것으로부터 수신된 것인지 여부를 판단할 수 있다.
응답 신호(Req)가 열로부터 수신된 경우, 논리 칩(230)은 패스 논리 신호(Pass)가 준비될 때까지 대기할 수 있다. 논리 칩(230)은 패스 논리 신호(Pass)가 준비되면 패스 이네이블 신호(PassEn)를 출력할 수 있다. 논리 칩(230)은 패스 논리 신호(Pass)가 논리적 '1'인지 혹은 논리적 '0'인지 여부에 기초하여 이벤트 신호를 필터링 할지 또는 저장할지 여부를 결정할 수 있다. 이후, 논리 칩(230)은 센서 칩(210) 및 필터 칩(220)에 응답 신호(Ack)를 출력할 수 있다.
도 9는 일 실시예에 따른 프로세서의 동작 방법을 나타낸 동작 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 프로세서의 동작 방법은 이벤트 기반 센서에 의하여 발생된 이벤트 신호를 수신하는 단계(910), 이벤트들이 감지된 시간과 관련된 제1 조건, 이벤트들이 감지된 공간과 관련된 제2 조건, 및 이벤트들 사이의 시공간적 연관성에 기반한 제3 조건 중 적어도 하나에 기초하여 이벤트 신호를 필터링 할지 여부를 판단하는 단계(920), 및 판단 결과를 출력하는 단계(930)를 포함한다.
단계(920)은 소프트웨어 모듈의 형태로 구현될 수 있다. 단계(920)에서 연관성 필터 기법이 구현될 수 있으며, 예를 들어, 연관성 필터 기법은 자바(Java)에 기반하여 구현될 수 있다. 소프트웨어 모듈은 적분 전류(I1), 커패시터 값(Cap), 임계 전압(Vth), 리셋 전압(Vrs), 및 공간적 지원을 결정하는 서브-샘플링 레이트 등의 파라미터들을 이용할 수 있다. 적분 전류(I1), 커패시터 값(Cap), 임계 전압(Vth), 및 리셋 전압(Vrs)은 각각 고유의 표준 편차를 가지는 가우스 분포 변수(Gaussian distributed variable)로 설정될 수 있다.
소프트웨어 모듈은 표 1의 알고리즘과 같이 수행될 수 있다.
Figure 112015026501598-pat00002
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 복수의 센싱 픽셀들 중 이벤트를 감지한 활성 픽셀의 식별 정보를 포함하는 이벤트 신호를 생성하는 센싱부;
    미리 정해진 조건에 기초하여 상기 이벤트 신호를 필터링 할지 여부를 판단하는 판단부; 및
    상기 판단 결과에 기초하여 상기 이벤트 신호를 출력하는 출력부
    를 포함하고,
    상기 센싱부는 상기 이벤트에 반응하여 상기 이벤트 신호를 출력하고,
    상기 판단부는 상기 이벤트 신호에 반응하여 상기 이벤트 신호의 필터링 여부를 판단하며, 상기 출력부에 의해 출력되는 패스 이네이블 신호에 반응하여 상기 판단 결과를 포함하는 패스 논리 신호를 출력하며,
    상기 출력부는 상기 패스 논리 신호에 기초하여 상기 이벤트 신호를 출력하는,
    이벤트 기반 센서.
  2. 제1항에 있어서,
    상기 미리 정해진 조건은
    이벤트들이 감지된 시간과 관련된 제1 조건;
    이벤트들이 감지된 공간과 관련된 제2 조건; 및
    이벤트들 사이의 시공간적 연관성에 기반한 제3 조건
    중 적어도 하나를 포함하는, 이벤트 기반 센서.
  3. 제2항에 있어서,
    상기 제1 조건은
    현재 이벤트가 미리 정해진 패턴의 시간 구간에 감지된 것인지 여부;
    현재 이벤트가 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부; 및
    현재 이벤트가 상기 이벤트들의 시간적 특징과 관련된 시간 구간에 감지된 것인지 여부
    중 적어도 하나를 포함하는, 이벤트 기반 센서.
  4. 제2항에 있어서,
    상기 제2 조건은
    현재 이벤트가 미리 정해진 패턴의 영역에서 감지된 것인지 여부;
    현재 이벤트가 이전 이벤트가 감지된 위치로부터 미리 정해진 범위의 영역에서 감지된 것인지 여부;
    현재 이벤트가 객체의 외형 선에 대응하는 영역에서 감지된 것인지 여부; 및
    현재 이벤트가 상기 이벤트들의 공간적 특징과 관련된 영역에서 감지된 것인지 여부
    중 적어도 하나를 포함하는, 이벤트 기반 센서.
  5. 제2항에 있어서,
    상기 제3 조건은
    현재 이벤트가 미리 정해진 영역 내 이전 이벤트가 감지된 시간으로부터 미리 정해진 시간 구간 이내에 감지된 것인지 여부
    를 포함하는, 이벤트 기반 센서.
  6. 제5항에 있어서,
    상기 미리 정해진 영역은
    상기 현재 이벤트가 감지된 위치를 포함하는 주변 영역; 및
    상기 현재 이벤트가 감지된 위치를 포함하는 미리 정해진 패턴의 영역
    중 적어도 하나를 포함하는, 이벤트 기반 센서.
  7. 삭제
  8. 제1항에 있어서,
    상기 출력부는 상기 이벤트 신호를 출력한 후 응답 신호를 출력하고,
    상기 판단부는 상기 응답 신호에 반응하여 상기 미리 정해진 조건을 판단하기 위한 파라미터를 리셋하는, 이벤트 기반 센서.
  9. 제1항에 있어서,
    상기 판단부는
    상기 복수의 센싱 픽셀들을 미리 정해진 패턴으로 분할하는 필터 셀들
    을 포함하고,
    상기 필터 셀들 각각은 상기 이벤트 신호를 필터링 할지 여부를 판단하는, 이벤트 기반 센서.
  10. 제9항에 있어서,
    상기 필터 셀들 각각은
    비교기;
    상기 출력부의 지난 이벤트 신호와 관련된 응답 신호에 반응하여 상기 비교기의 출력과 상기 비교기의 제1 입력을 연결하고, 상기 센싱부의 지난 이벤트 신호와 관련된 요청 신호의 중단에 반응하여 상기 비교기의 출력과 상기 비교기의 제1 입력을 단절하는 제1 스위치;
    상기 응답 신호에 반응하여 상기 비교기의 제2 입력을 리셋 전압과 연결하고, 현재 이벤트 신호에 반응하여 상기 비교기의 제2 입력을 임계 전압과 연결하는 제2 스위치;
    상기 비교기의 제2 입력과 연결된 커패시터; 및
    기 설정된 전류량에 기초하여 상기 커패시터에 충전된 전하를 방전하는 트랜지스터
    를 포함하는, 이벤트 기반 센서.
  11. 제10항에 있어서,
    상기 전류량은
    상기 트랜지스터의 게이트 전압, 및 상기 트랜지스터의 소스 전압 중 적어도 하나에 기초하여 설정되는, 이벤트 기반 센서.
  12. 제1항에 있어서,
    상기 출력부는
    상기 이벤트 신호 및 상기 이벤트 신호가 발생된 시간 정보를 출력하는, 이벤트 기반 센서.
  13. 제1항에 있어서,
    상기 활성 픽셀은
    입사되는 빛의 변화를 감지하는, 이벤트 기반 센서.
  14. 삭제
  15. 삭제
KR1020150037501A 2015-03-18 2015-03-18 이벤트 기반 센서 및 프로세서의 동작 방법 KR102402678B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150037501A KR102402678B1 (ko) 2015-03-18 2015-03-18 이벤트 기반 센서 및 프로세서의 동작 방법
US14/862,274 US10133334B2 (en) 2015-03-18 2015-09-23 Event-based sensor and operating method of processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150037501A KR102402678B1 (ko) 2015-03-18 2015-03-18 이벤트 기반 센서 및 프로세서의 동작 방법

Publications (2)

Publication Number Publication Date
KR20160112219A KR20160112219A (ko) 2016-09-28
KR102402678B1 true KR102402678B1 (ko) 2022-05-26

Family

ID=56924854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150037501A KR102402678B1 (ko) 2015-03-18 2015-03-18 이벤트 기반 센서 및 프로세서의 동작 방법

Country Status (2)

Country Link
US (1) US10133334B2 (ko)
KR (1) KR102402678B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
EP3595295B1 (en) 2018-07-11 2024-04-17 IniVation AG Array of cells for detecting time-dependent image data
JP7369517B2 (ja) * 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
EP3879816B1 (en) * 2020-03-11 2024-02-28 Prophesee Event filtering method for operating an event-based image sensor
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170246A (ja) * 2009-01-21 2010-08-05 Semiconductor Energy Lab Co Ltd タッチパネル、電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
KR100405150B1 (ko) 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
AU2003299703A1 (en) 2002-12-17 2004-07-14 Terastat, Inc. Method and system for dynamic visualization of multi-dimensional data
ITRM20050192A1 (it) 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
JP5433375B2 (ja) * 2009-10-23 2014-03-05 楽天株式会社 端末装置、機能実行方法、機能実行プログラム及び情報処理システム
FR2975251B1 (fr) 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US20130177237A1 (en) 2012-01-09 2013-07-11 Gregory Gerhard SCHAMP Stereo-vision object detection system and method
KR20140041106A (ko) 2012-09-27 2014-04-04 에스엔유 프리시젼 주식회사 시간 방향 저대역 통과 필터를 이용한 이미지 처리 방법 및 이미지 처리 장치
US9336357B2 (en) * 2012-09-28 2016-05-10 Intel Corporation Secure access management of devices
JP5983373B2 (ja) 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
US9696812B2 (en) 2013-05-29 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170246A (ja) * 2009-01-21 2010-08-05 Semiconductor Energy Lab Co Ltd タッチパネル、電子機器

Also Published As

Publication number Publication date
US10133334B2 (en) 2018-11-20
US20160274643A1 (en) 2016-09-22
KR20160112219A (ko) 2016-09-28

Similar Documents

Publication Publication Date Title
KR102402678B1 (ko) 이벤트 기반 센서 및 프로세서의 동작 방법
US10917594B2 (en) Event-based sensor and event-based sensing method
JP2018085099A (ja) 電源制御回路を含むイベントベースセンサー
US11928590B2 (en) Methods and systems for power management in a pattern recognition processing system
JP7046522B2 (ja) イベント信号処理方法及びその方法を遂行するイベント基盤センサー
KR102421141B1 (ko) 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
KR102407274B1 (ko) 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102307055B1 (ko) 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
TWI600295B (zh) 用於在狀態機中路由之方法及系統
KR20160038693A (ko) 픽셀 클러스터들을 포함하는 다이나믹 비전 센서, 그것의 동작 방법 및 그것을 포함하는 시스템
US7503501B2 (en) Abnormal condition detection circuit, integrated circuit card having the circuit, and method of operating CPU
JP6709025B2 (ja) インターフェイシング装置及びユーザ入力処理方法とそのコンピュータ読出可能記録媒体並びに処理装置
KR102357965B1 (ko) 객체 인식 방법 및 장치
US20150009140A1 (en) Navigation device including thermal sensor
US20170003717A1 (en) Memory card connector for electronic devices
KR102337789B1 (ko) 시퀀스 제어 장치
CN105808470A (zh) 电子装置及其操作方法
KR20160008439A (ko) 인터페이싱 장치 및 사용자 입력 처리 방법
EP3238215B1 (en) Write operations in spin transfer torque memory
US9690350B2 (en) Method and apparatus for power reduction during lane divergence
US11758266B2 (en) Image system on chip, image capturing system including the same, and image capturing method
US20140359172A1 (en) Electronic device with cec function and controlling method thereof
CN115311125A (zh) 图像处理方法、装置及芯片系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant