KR20200100667A - 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 - Google Patents

이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 Download PDF

Info

Publication number
KR20200100667A
KR20200100667A KR1020207018434A KR20207018434A KR20200100667A KR 20200100667 A KR20200100667 A KR 20200100667A KR 1020207018434 A KR1020207018434 A KR 1020207018434A KR 20207018434 A KR20207018434 A KR 20207018434A KR 20200100667 A KR20200100667 A KR 20200100667A
Authority
KR
South Korea
Prior art keywords
event
signal
rate
filter
based sensor
Prior art date
Application number
KR1020207018434A
Other languages
English (en)
Other versions
KR102627794B1 (ko
Inventor
스테판 라보
자비에 라고스
Original Assignee
프로페시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프로페시 filed Critical 프로페시
Publication of KR20200100667A publication Critical patent/KR20200100667A/ko
Application granted granted Critical
Publication of KR102627794B1 publication Critical patent/KR102627794B1/ko

Links

Images

Classifications

    • H04N5/3456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/369—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이벤트 기반 센서에는 이벤트를 비동기적으로 생성하는 감지부(12)가 있다. 출력 신호는 생성된 이벤트 중 적어도 일부와 관련된 정보를 포함한다. 방법은 감지부(12)에 의한 이벤트 발생 레이트를 추정하는 단계; 추정된 발생 레이트가 임계치 미만인 동안, 가변 레이트를 갖는 신호를 전송하는 단계; 및 추정된 발생 레이트가 임계치를 이상이면, 생성된 이벤트 중 일부에만 관련된 정보를 포함하는 신호를 전송하여, 정보가 신호에 포함되는 이벤트 레이트가 임계치 내에 유지되도록 하는 단계를 포함한다.

Description

이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서
본 발명은 비동기식 이벤트 기반 센서에 의해 생성된 신호의 처리에 관한 것이다.
규칙적인 샘플링 시점에서 연속적인 이미지를 기록하는 종래의 카메라와는 달리, 생물학적 망막은 시각화되는 장면에 대해 중복 정보를 비동기식으로 전송하지 않는다. 생물학적 망막에 대한 관찰로부터 비동기식 이벤트 기반 비전 센서가 개발되었다.
비동기식 이벤트 기반 비전 센서는 이벤트 형태로 압축된 디지털 데이터를 전달한다. 이러한 센서에 대한 설명은 "Activity-Driven, Event-Based Vision Sensors", T. Delbruk, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 2426-2429에서 찾을 수 있다. 이벤트 기반 비전 센서는 중복을 제거하고 대기 시간을 줄이며 기존 카메라와 관련하여 동적 범위를 증가시킬 수 있다는 이점이 있다.
이러한 비전 센서의 출력은, 각각의 픽셀 어드레스에 대해, 발생한 시간에서 장면의 휘도 변화를 나타내는 일련의 비동기 이벤트로 구성될 수 있다. 센서의 각 픽셀은 별개이며 마지막 이벤트가 방출된 이후 임계치(예를 들어, 휘도에 대한 로그에서 15%의 대비)보다 큰 강도 변화를 감지한다. 강도 변화가 임계치를 초과하면 픽셀에 의해 이벤트가 생성된다. 일부 센서에서, 이벤트는 강도가 증가 또는 감소하는지 여부0에 따라 극성(예를 들어, ON 또는 OFF)을 갖는다. 일부 비동기 센서는 감지된 이벤트를 광도 측정과 관련시킨다.
센서는 종래의 카메라와 같은 클록에서 샘플링되지 않기 때문에, 매우 큰 시간 정밀도(예를 들어 약 1μs)로 이벤트의 시퀀싱을 고려할 수 있다. 이러한 센서가 일련의 이미지를 재구성하는데 사용되는 경우, 종래 카메라의 수십 헤르츠에 비해 수 킬로 헤르츠의 이미지 프레임 레이트가 달성될 수 있다.
이벤트 기반 센서는 무엇보다도 머신 비전 분야 및 비전 복원 분야에서 유망한 관점을 갖는다.
이벤트 기반 센서의 출력에서의 데이터 레이트는 장면의 변화량에 의존한다. 이는 평균적으로 다운스트림으로 전송될 데이터의 양이 크게 줄어들기 때문에 바람직한 기능이다. 그러나, 평균 데이터 전송률이 낮은 것이 좋지만 항상 충분하지는 않다. 다운스트림 하드웨어(통신 채널, 처리 소자)는 일반적으로 최악의 시나리오와 관련하여 크기가 결정된다. 특징된 것이 없으면, 최악의 시나리오는 매우 높은 데이터 레이트에 해당할 수 있다.
이벤트 기반 센서는 일반적으로 센서의 인터페이스에 의해 센서의 처리량이 제한된다. 이는 이벤트가 출력되지 않는 한 픽셀에 남아 있음을 의미한다. 새로운 이벤트가 오면 무시된다. 이 동작은 데이터 레이트를 제한하지만, 출력의 타이밍 정확도 및 정확성을 희생시킨다. 센서에 닿는 새로운 광자가 무시되고 도중에 중요한 이벤트가 손실된다.
통신 인터페이스가 스루풋에 제한을 일으키지 않더라도, 문제가 여전히 다운 스트림에서 발생할 수 있다. 비동기적으로 생성된 이벤트를 수신하고 처리하는 프로세서의 입력에서 오버플로가 발생할 수 있다. 그런 다음, 이벤트 기반 센서와 인터페이스된 응용 프로그램을 설계하는 소프트웨어 개발자는 오버플로 상황을 처리하기 위해 일부 입력 처리를 제공해야 하며, 그렇지 않으면, 이벤트가 예기치 않은 방식으로 손실된다.
일부 이벤트 기반 센서는 이벤트를 이진 프레임으로 클러스터링함으로써 레이트를 제한한다. 이벤트를 이진 프레임으로 그룹화하면 데이터 속도가 고정된다. 이는 데이터 레이트를 제한하는 효과가 있지만, 평균 레이트가 낮다는 이점을 제거한다. 낮은 평균 레이트는 센서 및 출력 신호를 수신하는 처리 유닛의 전력 소비 측면에서 바람직한 특징이다.
이벤트 기반 센서의 출력을 처리하기 위한 효과적인 방법을 제안하는 것이 바람직하다.
상기 요구는 평균 레이트를 희생시키지 않으면서 주어진 레벨에서 데이터 레이트를 제한함으로써 해결된다. 최대 데이터 레이트는 사용 가능한 계산 자원의 기능으로 시스템을 구성하는 사람에 의해 결정된다.
따라서, 이벤트 기반 센서로부터 신호를 출력하는 방법이 개시된다. 이벤트 기반 센서는 이벤트를 비동기식으로 생성하는 감지부를 가지며 신호는 생성된 이벤트 중 적어도 일부와 관련된 정보를 포함한다. 상기 방법은:
-감지부에 의한 이벤트 발생 레이트를 추정하는 단계;
-추정된 발생 레이트가 임계치 미만인 동안, 가변 레이트를 갖는 신호를 전송하는 단계; 및
-추정된 발생 레이트가 임계치를 이상이면, 생성된 이벤트 중 일부에만 관련된 정보를 포함하는 신호를 전송하여, 정보가 신호에 포함되는 이벤트 레이트가 임계치 내에 유지되도록 하는 단계를 포함한다.
방법의 구현은 상당히 낮은 계산 복잡도를 가질 수 있어서, 이벤트 기반 센서의 감지부와 동일한 칩에서 수행될 수 있다. 온칩에 맞추기 위해, 상기 방법은 약 1ms 이상 동안 데이터를 버퍼링하지 않아야 한다. 또한 분할과 같은 모든 이벤트에 대해 복잡한 작업을 수행해서는 안된다. 제안된 방법은 프레임 버퍼의 사용을 필요로 하지 않으며, 이는 프레임 버퍼가 상당히 클 수 있고 센서 칩 상에 배치될 때 제조 수율에 부정적인 영향을 준다는 점에서 유리하다.
예로서, 칩이 내장 프로세서에 연결되면, 데이터 레이트는 일반적으로 서버 팜에 연결되는 경우보다 낮게 설정될 것이다.
상기 방법은 센서의 공간 서브 샘플링 또는 시간 해상도를 장면 조건에 적응시킬 필요가 없다.
대신에, 구성 파라미터는 애플리케이션 또는 신호를 수신하는 처리 유닛의 능력 또는 통신 채널의 능력에 따라 설정될 수 있다. 일 실시예에서, 상기 방법은 구성 파라미터로서 임계치 및/또는 이벤트 생성 레이트를 추정하기 위한 주기 값을 수신하는 단계를 더 포함 할 수 있다. 이러한 값은 신호를 수신하는 채널 또는 프로세서의 요구에 맞게 제공된다.
상기 방법을 구현하기 위해, 피출력 신호에서 선택된 이벤트를 폐기하기 위해, 임계치를 초과하는 추정된 레이트에 응답하여 이벤트 기반 센서에 의해 생성된 이벤트에 적어도 하나의 필터가 적용될 수 있다. 이러한 필터는 선택된 이벤트가 시간 패턴에 따라 발생하는 시간 필터 및/또는 이벤트 기반 센서가 각각의 어드레스를 가지며 각각의 이벤트 시퀀스를 생성하는 복수의 공간적으로 분포된 감지소자들을 갖는 경우에, 공간 패턴에 대응하는 어드레스에서 감지소자에 의해 선택된 이벤트가 생성되는 공간 필터를 포함할 수 있다. 특히, 감지부의 감지소자가 2차원 매트릭스로 배열되는 경우, 적어도 하나의 필터는 선택된 이벤트가 매트릭스의 행에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 1 공간 필터 및 선택된 이벤트가 매트릭스의 열에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 2 공간 필터를 포함할 수 있다.
본 발명의 다른 태양은 상술한 방법을 이용하는 이벤트 기반 센서에 관한 것이다. 이벤트 기반 센서는 이벤트를 비동기식으로 생성하는 감지부, 출력 포트, 및 감지부에 의해 생성된 이벤트 중 적어도 일부와 관련된 정보를 포함하는 신호를 출력 포트에 제공하는 컨트롤러를 포함한다. 컨트롤러는:
-감지부에 의한 이벤트 발생 레이트를 추정하고;
-추정된 레이트가 임계치 미만인 동안, 가변 레이트를 갖는 신호를 출력 포트에 제공하며;
-추정된 레이트가 임계치를 초과할 때, 생성된 이벤트 중 일부에만 관련된 정보를 포함하는 신호를 출력 포트에 제공하여, 신호에 정보가 포함되는 이벤트의 레이트가 임계값 내에 유지되도록 구성된다.
본 명세서에 개시된 방법 및 이벤트 기반 센서의 다른 특징 및 장점은 첨부 도면을 참조로 비제한적인 실시예에 대한 하기의 설명으로부터 명백해질 것이다.
본 발명의 내용에 포함됨.
도 1은 이벤트 기반 센서의 실시예를 사용하여 본 발명을 구현하는 시스템의 블록도이다.
도 2는 도 1에 도시된 바와 같이 시스템에서 사용 가능한 이벤트 레이트 컨트롤러의 예의 블록도이다.
도 1에 도시된 시스템은 장면 앞에 배치되고 하나 이상의 렌즈를 포함하는 획득 광학계(11)를 통해 상기 장면으로부터 광을 수신하는 이벤트 기반 비동기 비전 센서(10)를 포함한다. 센서(10)는 획득 광학계(11)의 이미지 면에 배치된 감지부(12)를 포함한다. 감지부(12)는 픽셀 매트릭스로서 구성된 감광소자 어레이를 포함할 수 있다. 감광소자(p)에 대응하는 각각의 픽셀은 장면에서의 광 변화의 함수로서 시간(t)에서 연속적인 이벤트 ev(p, t)를 생성한다.
프로세서(20)는 감지부(12)의 감광소자(p)로부터 비동기식으로 수신된 이벤트(ev(p, t))를 포함하여 센서(10)로부터 발생한 비동기 정보를 처리한다. 프로세서(20)는 임의의 적절한 프로그래밍 기술을 사용하여 디지털 신호에 또는 하드웨어 장치에서 동작한다. 프로세서(20)에 의해 실행되는 처리의 유형은 애플리케이션 의존적이며 본 발명의 특징이 아니다.
센서(10)의 감지부(12)는 센서의 시계에 나타나는 장면내 픽셀에 의해 감지된 광의 변화를 이용하여 매트릭스의 각 픽셀(p)에 대한 이벤트 시퀀스를 생성한다. 픽셀들로부터의 이러한 이벤트 시퀀스들은 센서(10)의 출력 인터페이스와 연관된 컨트롤러(15)에 의해 한 신호로 모아진다. 신호는 AER(Address-Event Representation)을 사용하고, 센서(10)의 출력 포트(16) 및 통신 링크(18)를 통해 프로세서(20)에 공급된다. 출력 신호에서 각각의 이벤트는 매트릭스에서 그 픽셀의 어드레스와 연관된, 픽셀에 의해 보여지는 휘도의 변화를 시간 위치가 나타내는 적어도 하나의 스파이크를 포함한다. 극성 정보 및/또는 휘도 값과 같은 하나 이상의 휘도 속성(들)도 이벤트와 연관될 수 있다. 통신 링크(18)는 임의의 적절한 통신 매체 및 임의의 적절한 통신 프로토콜을 사용할 수 있다. 예를 들어, USB(범용 직렬 버스) 포트(16)를 기반으로 할 수 있다.
예로서, 이벤트의 획득을 수행하는 감지부(12)는 "A 128×128 120　dB　15　㎲ Latency Asynchronous Temporal Contrast Vision Sensor" P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, February 2008, pp. 566-576 또는 특허출원 US　2008/0135731　A1에 기술된 유형의 DVS(Dynamic Vision Sensor)로서 구현될 수 있다.
본 발명을 이용할 수 있는 비동기 센서의 다른 예는 "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS" C.　Posch, et al., IEEE Journal of Solid-State Circuits, Vol. 46, No. 1, January 2011, pp. 259-275에 기술된 비동기 시간 기반 이미지 센서(ATIS)이다.
컨트롤러(15)는 이하에서 이벤트 레이트 컨트롤러(ERC)라 한다. ERC의 가능한 실시예가 도 2에 도시되어 있다.
이 실시예에서, ERC(15)는 감지부(12)의 판독 회로에 의해 제공되는 바와 같이 직렬로 데이터를 처리한다. ERC(15)는 감지소자 어레이(12)에 의해 생성된 이벤트를 수신하는 레이트 측정 컴포넌트(30)를 갖는다. 이벤트 레이트(RE)는 예를 들어 주어진 시간 주기(T)에서 어레이(12)에 의해 검출된 이벤트를 단순히 계수함으로써 컴포넌트(30)에 의해 추정된다. 이벤트 카운트(CE)(= RE×T)는 이를 임계치(S)와 비교하는 비교기(31)에 제공된다.
CE ≤ S인 동안, 즉, 이벤트 레이트(RE)가 임계치 S/T 내에 있는 동안, 감지소자 어레이(12)에 의해 생성된 이벤트는 프로세서(20)로의 전송을 위해 출력 포트(16)에 직접 공급된다. 이 경우에, 출력 포트(16)를 통해 전송된 신호는 어레이(12)에 의해 생성된 이벤트의 가변 레이트를 유지한다.
비교기(31)가 CE > S인 경우, 즉 이벤트 레이트(RE)가 임계치 S/T를 초과하는 것으로 밝혀지면, 어레이(12)로부터의 이벤트 스트림은 도시된 실시예에서 2개의 공간 필터(33, 34) 및 하나의 시간 필터(35)를 포함하는 ERC(15)의 필터 뱅크의 적용을 받는다(예시적인 스위치(32)가 도 2에 도시된 위치에 있다).
필터(33-35)는 출력 포트(16)를 통해 전송된 신호의 이벤트 레이트가 임계치 S/T 내에 유지되도록 어레이(12)로부터의 이벤트들에 서브-샘플링을 적용한다. 다시 말해서, 각각의 필터(33-35)는 신호에서 일부 이벤트를 폐기하며, 필터 중 하나에 의해 폐기된 이벤트는 ERC(15)의 구성 모듈(40)에 의해 표시된 각각의 패턴(H_P, V_P, T_P)에 따라 선택된다.
도 2에 도시된 실시예에서, 필터 뱅크는 2개의 공간 필터(33-34)에 이어 하나의 시간 필터(35)를 포함한다.
공간 필터(33-34)에서, 이벤트를 폐기하기 위한 패턴(H_P, V_P)은 감지소자 어레이의 영역, 즉 어레이(12)를 형성하는 매트릭스 내의 감지소자의 특정 어드레스에 해당한다. 폐기될 이벤트가 매트릭스의 행에 대응하는 어드레스에서 감지소자로부터 발생하는 수평 필터(33)에 이어, 선택된 이벤트가 매트릭스의 열에 대응하는 어드레스에서 감지소자로부터 발생하는 수직 필터(34)가 뒤따른다. 수평 필터(33)가 이벤트를 폐기하는 매트릭스의 행은 밀도(DH)로 규칙적으로 이격될 수 있다. 수직 필터(34)가 이벤트를 폐기하는 매트릭스의 열은 밀도(DV)로 규칙적으로 이격될 수 있다.
시간 필터(35)에서, 이벤트를 폐기하기 위한 패턴(T_P)은 드롭 듀티 레이트(DT)를 갖는 이벤트가 폐기되는 특정 시간 간격에 대응한다.
도 2에 도시된 바와 같이, 필터(33-35)가 캐스케이드될 때, 필터 뱅크에 의해 적용되는 전체 드롭 레이트(D')는 D'　=　[1　-　(1-DH)×(1-DV)×(1-DT)]로 계산될 수 있다. 필터(33, 34, 35)의 각각의 드롭 레이트(DH, DV, DT)는 비교 모듈(31)에 의해 주어진 타겟 드롭 레이트(D)의 함수로서 구성 모듈(40)에 의해 D '= D 또는 D'∼D가 되도록 설정된다.
3개의 필터가 이벤트 스트림을 처리하는 순서는 도 2에 도시된 순서와 다를 수 있다. 또한, 추정된 이벤트 레이트(RE)가 임계치(S/T)를 초과할 때 제어된 방식으로 이벤트를 드롭하기 위해 3개 미만의 필터 또는 3 개 이상의 필터가 있을 수 있다. 또한, 이벤트의 시공간 필터링은 상기 제시된 것과 다른 형태를 가질 수 있다. 예를 들어, 공간 필터는 선택된 이벤트가 지정된 열과 지정된 행 모두에 위치한 드롭 패턴을 적용할 수 있다.
ERC의 실시예에서, 비교기(31)는 각각의 주기(T)에서 추정된 이벤트 레이트(RE)가 임계치(S/T)과 어떻게 비교되는지에 따라 타겟 드롭 레이트(D)를 제공한다. 예로써, 타겟 드롭 레이트(D)는 정수 A = 0, 1, 2,…, 2N-1을 나타내는 N개 비트를 사용하여 양자화될 수 있으므로, D　=　A/2N이고, 여기서 A　=　
Figure pct00001
이다. CE ≤ S일 때, A는 0이며, 즉 이벤트는 필터(33-35)에 의해 폐기되지 않는다. 그렇지 않으면, 비교기(31)는 임계치(S)에 기초하여 결정된 2N-1 빈 중 하나에 이벤트 카운트(CE)의 값을 넣는다. 이벤트 카운트(CE)를 수신한 빈은 드롭 레이트(D)를 제공하는 정수(A)를 양자화하는 N 비트를 결정한다. 다시, 이러한 처리에는 복잡한 계산이 필요하지 않다.
구성 모듈(40)은 비교기(31)로부터 드롭 레이트(D)를 수신하고, RE > S/T 일 때 상술한 바와 같이 각각의 이벤트 드롭 레이트(DH, DV, DT)를 설정함으로써 필터(33-35)에 의해 사용될 패턴(H_P, V_P, T_P)을 결정한다. 패턴(H_P, V_P, T_P)은 타겟 드롭 레이트(D)를 나타내는 비트에 의해 형성된 어드레스를 사용하여 액세스된 미리 정해진 룩업 테이블을 사용하여 구성 모듈(40)에 의해 결정될 수 있다.
타겟 드롭 레이트(D)가 3개의 이벤트 드롭 레이트(DH, DV, DT)로 분할되는 방법은 구성 모듈의 설계자에 의해 제공되거나 통신 링크(18)를 통해 프로세서(20)로부터 수신되는 구성 파라미터에 의존할 수 있다. 프로세서(20)에 의해 실행되는 애플리케이션에 따라, 시간, 수직 또는 수평 드롭 패턴에 대해 다소 중요도를 갖는 필터링 전략이 더 적합할 수 있다. 이는 구성 파라미터를 설정하여 지정할 수 있다. 예를 들어, 구성 파라미터가 제공되지 않을 때, 타겟 드롭 레이트(D)를 3개의 레이트(DH, DV, DT) 간에 동일하게 분할하는 디폴트 전략이 있을 수 있다. 이벤트가 카운트되는 기준 주기(T)는 통신 링크(18) 상에 제공된 사용자 인터페이스에 의해 설정될 수 있는 다른 구성 파라미터이다.
프로세서(20)는, 더 긴 주기(T)가 선택 될 때, 이벤트의 버스트로 인해 센서(10)의 출력에서 또는 프로세서(20)의 입력에서 일시적인 오버 플로우가 야기될 위험이 있을 수 있다면 자신의 동적 거동에 따라 기준 주기(T)를 선택할 수 있다. 일반적으로, 상술한 이벤트 기반 센서(10)의 예가 사용될 때, 기준 주기(T)는 10 내지 500 마이크로 초의 범위일 수 있다.
주요 구성 파라미터는 이벤트 카운트(CE)가 비교되는 임계치(S)의 값이다. S/T 비는 센서(10)에 의해 프로세서(20)로 전송된 신호의 처리량에 직접 연결된다. S의 값은 또한 통신 링크(18)에 제공된 사용자 인터페이스에 의해 설정될 수 있다.
도 2에 개략적으로 도시된 ERC(15)는 필터링 이전에 이벤트를 일시적으로 저장하기 위한 버퍼를 포함하지 않는다. 실제로, 기준 주기(T)가 증가할 때, 차원이 더 큰 이벤트 버퍼가 있을 수 있어서, 주기(T)에 대해 결정된 타겟 드롭 레이트(D)가 동일한 주기(T) 동안 어레이(12)에 의해 생성된 이벤트 세트에 적용된다. 그러나, 이러한 버퍼의 존재가 모든 어플리케이션에서 요구되는 것은 아니다. 기준 주기(T)보다 짧은 시간 주기에 걸쳐 이벤트를 버퍼링하는 것도 가능하다.
ERC(15)에 의해 실행되는 프로세스는 제어된 방식으로 초과 이벤트를 제거하는 기능을 달성하기 위해 상당히 단순하다는 점이 주목된다. 따라서, 이벤트를 정렬하기 위해 CPU 용량을 사용하는 필터가 있을 필요가 없다.
상술한 실시예는 본 명세서에 개시된 본 발명의 예시이며 첨부된 청구범위에 정의된 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다.
예를 들어, 어레이(12)에 의해 생성된 이벤트 중 일부는 센서(10) 레벨에서 수행되는 다른 기능들, 예를 들어, 정보가 거의 없는 이벤트를 제거하는 기능(예를 들어, 노이즈, 명멸 효과, 트레일 필터 등)으로 인해 프로세서(20)로 전송하기 전에 폐기될 수 있다. 위에서 설명한 ERC 처리는 이벤트 기반 센서의 출력 신호가 원하는 데이터 레이트를 충족하도록 출력 인터페이스에서 사용될 수 있다.
본 발명의 다른 실시예에서, 이벤트 드롭 레이트는 감지부(12)의 시계에 걸쳐 변하도록 설정될 수 있다. 예를 들어, 공간 필터는 우선적으로 이벤트를 드롭핑하하기 위한 영역의 그리드를 제공하는데 사용될 수 있다. 어떤 필터는 ERC(15)에 의해 적용되고, 어떤 파라미터와 함께, 프로세서(20)에 의해 실행되는 애플리케이션의 기능으로서 구성될 수 있다.
본 발명은 자율 주행 차량, 보철 장치, 제조 로봇, 군사 또는 의료 로봇 장치와 같은 자율 및 로봇 장치를 포함하나 이에 제한되지 않는 다양한 장치에 유용 할 수 있다.
예를 들어, 스마트 폰, 휴대용 통신 장치, 노트북, 넷북 및 태블릿 컴퓨터, 감시 시스템, 및 비전 데이터를 처리하도록 구성된 실질적으로 임의의 다른 컴퓨터 장치와 같은 광범위한 고정 및 휴대용 장치에 적용될 수 있다.
본 발명의 구현은 컴퓨터 인간 상호 작용(예를 들어, 제스처, 음성, 자세, 얼굴 및/또는 다른 애플리케이션의 인식), 프로세스 제어(예를 들어, 산업용 로봇, 자율 및 기타 차량), 이미지 시퀀스에서 그리고 이미지 평면에 대해 일련의 관심 지점 또는 객체(예를 들어, 차량 또는 인간)의 잇따른 움직임, 증강 현실 애플리케이션, 가상 현실 애플리케이션, 액세스 컨트롤(예를 들어, 제스처에 기초한 도어의 개방, 인가된 사람의 탐지에 기초한 액세스 통로 개방), (예를 들어, 시각적 감시 또는 사람 또는 동물에 대한) 이벤트 탐지, 카운팅, 트래킹 등을 포함하는 많은 애플리케이션에서 사용될 수 있다. 본 개시가 주어진다면, 당업자에 의해 인식될 수있는 수많은 다른 응용이 존재한다.

Claims (14)

  1. 이벤트를 비동기식으로 생성하는 감지부(12)를 갖는 이벤트 기반 센서(10)로부터 생성된 이벤트 중 적어도 일부에 관한 정보를 포함하는 신호를 출력하는 방법으로서,
    상기 방법은:
    감지부(12)에 의한 이벤트 발생 레이트를 추정하는 단계;
    추정된 발생 레이트가 임계치 미만인 동안, 가변 레이트를 갖는 신호를 전송하는 단계; 및
    추정된 발생 레이트가 임계치를 이상이면, 생성된 이벤트 중 일부에만 관련된 정보를 포함하는 신호를 전송하여, 정보가 신호에 포함되는 이벤트 레이트가 임계치 내에 유지되도록 하는 단계를 포함하는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  2. 제 1 항에 있어서,
    구성 파라미터로서 임계치를 수신하는 단계를 더 포함하는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    구성 파라미터로서 이벤트 발생 레이트를 추정하기 위한 주기(T) 값을 수신하는 단계를 더 포함하는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    선택된 이벤트를 피출력 신호에서 폐기하기 위해, 임계치를 초과하는 추정된 레이트에 응답하여 생성된 이벤트에 적어도 하나의 필터(33-35)가 적용되는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  5. 제 4 항에 있어서,
    적어도 하나의 필터는 선택된 이벤트들이 시간 패턴(T_P)에 따라 발생하는 시간 필터(35)를 포함하는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    감지부(12)는 각각의 어드레스를 가지며 각각의 이벤트 시퀀스를 생성하는 복수의 공간적으로 분포된 감지소자를 포함하고, 상기 적어도 하나의 필터는 공간 필터(33, 34)를 포함하며, 상기 공간필터에서 선택된 이벤트는 공간 패턴에 대응하는 어드레스에서 감지소자들에 의해 생성된 이벤트인 이벤트 기반 센서로부터 신호를 출력하는 방법.
  7. 제 6 항에 있어서,
    상기 감지부(12)의 감지소자들이 2차원 매트릭스로 배열되고, 상기 적어도 하나의 필터는 선택된 이벤트가 매트릭스의 행에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 1 공간 필터(33) 및 선택된 이벤트가 매트릭스의 열에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 2 공간 필터(34)를 포함하는 이벤트 기반 센서로부터 신호를 출력하는 방법.
  8. 이벤트를 비동기식으로 생성하기 위한 감지부(12);
    출력 포트(16); 및
    상기 감지부(12)에 의해 생성된 이벤트들 중 적어도 일부에 관한 정보를 포함하는 신호를 출력 포트(16)에 제공하기 위한 컨트롤러(15)를 포함하고,
    상기 컨트롤러(15)는:
    감지부(12)에 의한 이벤트 발생 레이트를 추정하고,
    추정된 레이트가 임계치 미만인 동안, 가변 레이트를 갖는 신호를 출력 포트(16)에 제공하며,
    추정된 레이트가 임계치를 초과할 때, 생성된 이벤트 중 일부에만 관련된 정보를 포함하는 신호를 출력 포트(16)에 제공하여, 신호에 정보가 포함되는 이벤트의 레이트가 임계값 내에 유지되도록 구성되는 이벤트 기반 센서(10).
  9. 제 8 항에 있어서,
    컨트롤러(15)는 구성 파라미터로서 임계치를 수신하도록 구성되는 이벤트 기반 센서.
  10. 제 8 항 또는 제 9 항에 있어서,
    컨트롤러(15)는 구성 파라미터로서 이벤트 생성 레이트를 추정하기 위한 주기(T) 값을 수신하도록 구성되는 이벤트 기반 센서.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    컨트롤러(15)는 추정된 레이트가 임계치를 초과한 것에 응답하여 생성된 이벤트에 적용되어 출력 포트(16)에 제공된 신호에서 선택된 이벤트를 폐기하게 하는 적어도 하나의 필터(33-35)를 포함하는 이벤트 기반 센서.
  12. 제 11 항에 있어서,
    적어도 하나의 필터는 선택된 이벤트가 시간 패턴에 따라 발생하는 시간 필터(35)를 포함하는 이벤트 기반 센서.
  13. 제 11 항 또는 제 12 항에 있어서,
    감지부(12)는 각각의 어드레스를 가지며 각각의 이벤트 시퀀스를 생성하는 복수의 공간적으로 분포된 감지소자를 포함하고, 상기 적어도 하나의 필터는 선택된 이벤트가 공간 패턴에 대응하는 어드레스에서 감시소자에 의해 생성된 이벤트인 공간 필터(34, 35)를 포함하는 이벤트 기반 센서.
  14. 제 13 항에 있어서,
    감지부(12)의 감지소자는 2차원 매트릭스로 배열되고, 상기 적어도 하나의 필터는 선택된 이벤트가 매트릭스의 행에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 1 공간 필터(33) 및 선택된 이벤트가 매트릭스의 열에 대응하는 어드레스에서 감지소자에 의해 생성된 이벤트인 제 2 공간 필터(34)를 포함하는 이벤트 기반 센서.
KR1020207018434A 2017-12-26 2018-12-26 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 KR102627794B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17210575.1 2017-12-26
EP17210575.1A EP3506622A1 (en) 2017-12-26 2017-12-26 Method for outputting a signal from an event based sensor, and event-based sensor using such method
PCT/EP2018/086885 WO2019129790A1 (en) 2017-12-26 2018-12-26 Method for outputting a signal from an event-based sensor, and event-based sensor using such method

Publications (2)

Publication Number Publication Date
KR20200100667A true KR20200100667A (ko) 2020-08-26
KR102627794B1 KR102627794B1 (ko) 2024-01-23

Family

ID=60915351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018434A KR102627794B1 (ko) 2017-12-26 2018-12-26 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서

Country Status (6)

Country Link
US (1) US11631246B2 (ko)
EP (2) EP3506622A1 (ko)
JP (1) JP7383616B2 (ko)
KR (1) KR102627794B1 (ko)
CN (1) CN111630841A (ko)
WO (1) WO2019129790A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065076A1 (ja) * 2020-09-25 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP2023080101A (ja) * 2020-09-25 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
KR20220079972A (ko) * 2019-11-12 2022-06-14 애플 인크. 저전력 동기식 판독을 이용하는 센서
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
TW202236843A (zh) * 2020-10-30 2022-09-16 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
US11651579B2 (en) * 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system
WO2023046392A1 (en) 2021-09-24 2023-03-30 Terranet Tech Ab Filtering a stream of events from an event-based sensor
WO2023117315A1 (en) * 2021-12-20 2023-06-29 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112219A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
KR20170090347A (ko) * 2016-01-27 2017-08-07 삼성전자주식회사 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법
JP2017533497A (ja) * 2014-09-16 2017-11-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イベントベースダウンサンプリング

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US20160011654A1 (en) * 2014-07-14 2016-01-14 Samsung Electronics Co., Ltd. Interfacing apparatus and user input processing method
US10147024B2 (en) 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
FR3042292B1 (fr) * 2015-10-09 2022-12-23 Centre Nat Rech Scient Procede d'optimisation de decomposition d'un signal asynchrone
US11228758B2 (en) * 2016-01-22 2022-01-18 Peking University Imaging method and device
US20170244894A1 (en) * 2016-02-22 2017-08-24 Seastar Labs, Inc. Method and Apparatus for Managing Latency of Remote Video Production
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
KR20190104929A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스
US11057641B1 (en) * 2020-04-29 2021-07-06 Samsung Electronics Co., Ltd. Systems and methods of motion estimation using monocular event-based sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533497A (ja) * 2014-09-16 2017-11-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イベントベースダウンサンプリング
KR20160112219A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
KR20170090347A (ko) * 2016-01-27 2017-08-07 삼성전자주식회사 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065076A1 (ja) * 2020-09-25 2022-03-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP2022054057A (ja) * 2020-09-25 2022-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP2023080101A (ja) * 2020-09-25 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム

Also Published As

Publication number Publication date
EP3506622A1 (en) 2019-07-03
JP2021508975A (ja) 2021-03-11
JP7383616B2 (ja) 2023-11-20
WO2019129790A1 (en) 2019-07-04
US20200372254A1 (en) 2020-11-26
KR102627794B1 (ko) 2024-01-23
CN111630841A (zh) 2020-09-04
US11631246B2 (en) 2023-04-18
EP3732875A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
KR102627794B1 (ko) 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서
Linares-Barranco et al. A USB3. 0 FPGA event-based filtering and tracking framework for dynamic vision sensors
KR101991343B1 (ko) 비동기식 광센서의 베이스에 대한 광흐름 평가 방법
Zhu et al. A retina-inspired sampling method for visual texture reconstruction
Dong et al. Spike camera and its coding methods
KR102423565B1 (ko) 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
US11558549B2 (en) Methods and devices for capturing high-speed and high-definition videos
US9344736B2 (en) Systems and methods for compressive sense imaging
US11871125B2 (en) Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
EP3758365A1 (en) Pixel acquisition circuit, optical flow sensor, and optical flow and image information acquisition system
Aung et al. Event-based plane-fitting optical flow for dynamic vision sensors in FPGA
CN113647095A (zh) 具有反馈回路和多个功率状态的传感器系统架构
CN114169362A (zh) 一种基于时空相关滤波的事件流数据去噪方法
Kogler et al. Address-event based stereo vision with bio-inspired silicon retina imagers
EP3879816A1 (en) Event filtering method for operating an event-based image sensor
CN117425064A (zh) 帧率调节方法、装置、设备及系统
Eibensteiner et al. Stereo-vision algorithm based on bio-inspired silicon retinas for implementation in hardware
Posch et al. Biomimetic frame-free HDR camera with event-driven PWM image/video sensor and full-custom address-event processor
CN115278059A (zh) 一种参数配置方法及相关装置
JP2023531293A (ja) 視線追跡デバイス、視線追跡方法、およびコンピュータ可読媒体
Guo et al. Seqxfilter: A memory-efficient denoising filter for dynamic vision sensors
Camunas-Mesa et al. Fully digital AER convolution chip for vision processing
Ghosh et al. Event-based spatio-temporal down-sampling
EP4240005A1 (en) Solid-state imaging device and electronic instrument
WO2020197961A1 (en) Processing of signals using a recurrent state estimator

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant