KR20210129043A - 이벤트 기반 센서로부터의 정보를 처리하는 방법 - Google Patents

이벤트 기반 센서로부터의 정보를 처리하는 방법 Download PDF

Info

Publication number
KR20210129043A
KR20210129043A KR1020217024282A KR20217024282A KR20210129043A KR 20210129043 A KR20210129043 A KR 20210129043A KR 1020217024282 A KR1020217024282 A KR 1020217024282A KR 20217024282 A KR20217024282 A KR 20217024282A KR 20210129043 A KR20210129043 A KR 20210129043A
Authority
KR
South Korea
Prior art keywords
event
pixel
recent
group
current
Prior art date
Application number
KR1020217024282A
Other languages
English (en)
Inventor
자비에 라고스
Original Assignee
프로페시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프로페시 filed Critical 프로페시
Publication of KR20210129043A publication Critical patent/KR20210129043A/ko

Links

Images

Classifications

    • G06K9/342—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06K9/605—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G06K2009/00738—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

이벤트 기반 센서는 장면을 마주하는 픽셀의 어레이를 가진다. 처리되는 정보는 장면으로부터의 입사광의 변화에 따라 픽셀로부터 기인하는 이벤트를 포함하고, 방법은: 어레이의 픽셀의 세트에 대한 데이터 구조를 저장하는 단계(S1)로서, 데이터 구조는 세트의 각 픽셀에 대하여, 상기 픽셀로부터 기인하는 최근 이벤트와 연관되는 이벤트 데이터를 포함하는 단계, 어레이의 제1 픽셀로부터 현재 이벤트(E)를 수신했을 때, 제1 픽셀 및 어레이에서 제1 픽셀에 인접한 복수의 제2 픽셀을 포함하는 픽셀의 그룹에 대한 데이터 구조에 포함되는 임의의 이벤트 데이터를 수신하는 단계(S2); 및 현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준에 기반하여 현재 이벤트를 라벨링하는 단계(S3)를 포함한다.

Description

이벤트 기반 센서로부터의 정보를 처리하는 방법
본 발명은 기계 시각, 특히 이벤트 기반 센서로부터의 정보를 처리하는 방법에 관련된다.
기계 시각은 보안 애플리케이션(예컨대, 감시, 침입 감지, 객체 감지, 얼굴 인식 등), 환경적 사용 애플리케이션(예컨대, 조명 제어), 객체 감지 및 추적 애플리케이션, 자동 검사, 공정 제어, 및 로봇 안내 등과 같은 넓은 타입의 애플리케이션에서 사용하기 위해 획득, 처리, 분석 및 이해하는 방법을 포함하는 분야이다. 따라서, 기계 시야는 많은 다른 시스템과 통합될 수 있다.
이들 애플리케이션, 특히 객체 감지 및 추적을 달성하기 위하여, 기계 시야에서 이미지나 장면의 관련 객체를 추출 및 분할하는 것이 필요하다.
본 분야에서, 많은 표준 컴퓨터 시각 알고리즘이 객체 추적, SLAM(simultaneous localization and mapping) 및 시각 흐름과 같은 상술한 감지 및 추적을 위해 개발되었다. 하지만, 이들 알고리즘은 에지, 관심점, 블랍 및 리지와 같은 이미지나 장면의 관심 부분인 특징에 기반한다. 이들 특징은 컴퓨터 시각 알고리즘에 의해 더 처리되기 전 검출 및 추출되어야 한다.
많은 특징 추출기가 개발되었는데, 검출되는 특징의 종류, 계산 복잡도와 반복성이 달라진다. 이들 중, 그래프 이론의 알고리즘 응용인 CCL(connected component labeling)이 그 연결성에 기반하여 관련 점을 라벨링 및 클러스터링하는데 널리 사용된다.
CCL 알고리즘이 시드-필링 또는 투 패스 알고리즘과 같이 적어도 한번 또는 여러 번 전체 이미지를 횡단하므로, 각 센서 요소(픽셀)나 각 픽셀 행/열에서 순차적으로 또는, 다양한 패턴에서 픽셀 병렬이지만 언제나 어떤 제한적이고 대부분의 시간 고정 프레임 속도로 시간 샘플링되어 장면으로부터의 시각 정보를 획득하는 프레임 기반 이미지 센서에서 주로 사용된다.
하지만, 프레임 기반 이미지 센서는 많은 애플리케이션에 제한을 가진다. 이들은 고정된 수의 프레임을 캡처 및 전송하고, 따라서 프레임 기반 이미지 센서에서 출력되는 데이터는 연이은 프레임 사이의 객체의 폐색/이개를 포함하여 빠른 움직임을 렌더링하는 문제를 가진다. 이것은 특징 추출 및 추적에 어려움을 야기한다. 나아가, 프레임 기반 이미지 센서의 특성 때문에, 제한된 동적 해상도도 가지는데, 복잡하고 및/또는 빠른 이동하는 객체의 추적을 복잡하게 한다. 이러한 객체를 프레임 기반 이미지 센서로 추적하는 것은 처리되는 많은 프레임 때문에 아주 계산 집중적인 구현을 낳는 아주 높은 프레임 속도, 또는 특성에 의해 또한 아주 계산 집중적인 아주 복잡한 추적 알고리즘을 필요로 한다. 게다가, 프레임 기반 이미지 센서는 장면의 변화가 없는 중복 프레임과 같은 많은 불필요한 오버헤드도 생성하여, 불필요한 계산 능력 사용으로 이어진다.
프레임 기반 이미지 센서의 제약을 극복하기 위하여 이벤트 기반 센서가 개발되었다. 동시에 모든 픽셀로 이미지를 캡처하고 가공물을 보상하고 정보를 억제하려 시도하는 대신, 이벤트 기반 이미지 센서는 센서가 보는 장면으로부터 각 픽셀에 의해 감지된 시간적 휘도 프로필을 획득한다. 이벤트 기반 센서는 픽셀에 의해 개별적으로 획득한 정보의 높은 시간 해상도 때문에 시각적 장면의 빠르게 변화하는 정보를 캡처할 수 있다. 이러한 이벤트 기반 기계 시각 기술의 세부 사항은 Posch, C., Serrano-Gotarredona, T., Linares-Barranco, B., & Delbruck, T. (2014), “Retinomorphic event-based vision sensors: bioinspired cameras with spiking output”, Proceedings of the IEEE, 102(10), 1470-1484에 논의된다.
사실, 이벤트 기반 센서가 출력하는 데이터는 컴퓨터 시각 알고리즘이 HDR(high dynamic range) 조건에서 동작하고 조명 조건에서 더 탄탄해질 수 있게 한다.
하지만, 기존의 CCL 알고리즘은 이벤트 기반 센서의 출력 데이터에 적용되기에 적절하지 않다.
컴퓨터 시각 알고리즘에 사용될 특징을 추출하기 위하여, 이벤트 기반 데이터의 경우, 지금까지 해결책이 거의 개발되지 않았다.
컴퓨터 시각 알고리즘에서 사용하기 위해 다른 이벤트를 클러스터링하고 분류를 수행하기 위해 이벤트 기반 데이터를 처리하기 위해 새 접근법이 필요하다.
이벤트 기반 센서로부터의 이벤트 기반 정보를 처리하는 방법이 제안된다. 이벤트 기반은 장면을 마주하는 픽셀의 어레이를 가지고, 처리되는 정보는 장면으로부터의 입사광의 변화에 따라 픽셀로부터 기인하는 이벤트를 포함한다. 방법은:
어레이의 픽셀의 세트에 대한 데이터 구조를 저장하는 단계로서, 데이터 구조는 세트의 각 픽셀에 대하여, 상기 픽셀로부터 기인하는 적어도 하나의 최근 이벤트와 연관되는 이벤트 데이터를 포함하는 단계; 및
어레이의 제1 픽셀로부터 현재 이벤트를 수신했을 때:
제1 픽셀 및 어레이에서 제1 픽셀에 인접한 복수의 제2 픽셀을 포함하는 픽셀의 그룹에 대한 데이터 구조에 포함되는 임의의 이벤트 데이터를 수신하는 단계; 및
현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준에 기반하여 현재 이벤트를 라벨링하는 단계를 포함한다.
현재 이벤트가 그룹의 픽셀로부터 기인하는 최근 이벤트인 이벤트와 적어도 하나의 연결성 기준을 충족하지 않는다면, 현재 이벤트를 라벨링하는 단계는:
현재 이벤트에 새 클러스터 ID를 할당하는 단계; 및
제1 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터에 할당된 새 클러스터 ID를 포함시키는 단계를 포함한다.
현재 이벤트가 그룹의 픽셀로부터 기인하는 최근 이벤트인 단 하나의 이벤트와 적어도 하나의 연결성 기준을 충족한다면, 현재 이벤트를 라벨링하는 단계는:
현재 이벤트에 상기 하나의 이벤트에 이전에 할당된 클러스터 ID를 할당하는 단계; 및 제1 픽셀(A)에 대한 데이터 구조에 포함되는 이벤트 데이터에 할당된 클러스터 ID를 포함시키는 단계를 포함한다.
현재 이벤트가 그룹의 각 픽셀로부터 기인하는 최근 이벤트인 복수의 이벤트와 적어도 하나의 연결성 기준을 충족하며 동일한 클러스터 ID가 상기 복수의 이벤트에 할당된다면, 현재 이벤트를 라벨링하는 단계는:
현재 이벤트에 동일한 클러스터 ID를 할당하는 단계; 및
제1 픽셀에 대한 데이터 구조에 포함되는데 이벤트에 동일한 할당된 클러스터 ID를 포함시키는 단계를 포함한다.
현재 이벤트가 그룹의 각 픽셀로부터 기인하는 최근 이벤트인 복수의 이벤트와 적어도 하나의 연결성 기준을 충족하며 다른 클러스터 ID들이 상기 복수의 이벤트에 할당된다면, 현재 이벤트를 라벨링하는 단계는:
다른 클러스터 ID들을 병합된 클러스터 ID로 병합하는 단계;
현재 이벤트에 병합된 클러스터 ID를 할당하는 단계; 및
제1 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터에 할당된 병합된 클러스터 ID를 포함시키는 단계를 포함한다.
일실시예에서, 복수의 제2 픽셀은 픽셀의 어레이에서 제1 픽셀을 직접 둘러싸는 4 또는 8개의 픽셀을 포함한다. 예를 들어, 4개의 픽셀의 경우, 이들 4개의 픽셀은 제1 픽셀의 바로 왼쪽, 오른쪽, 위, 아래에 위치한 제2 픽셀일 수 있다. 나아가, 복수의 제2 픽셀은 더 큰 반경의 이웃의 픽셀, 예컨대 직접 이웃한 8개의 픽셀 및 8개의 직접 이웃 픽셀 옆의 다른 16개의 픽셀도 포함할 수 있다.
아래 나열되는 것과 같은 픽셀의 세트로부터 최근에 기인하는 이벤트와 연관되는 이벤트 데이터의 내용에 관한 다른 가능성이 있는데, 전부 또는 일부가 함께 조합될 수 있다.
한 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 타임스탬프를 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트 간의 타임스탬프의 차이에 적용되는 기준을 포함할 수 있다.
다른 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 극성을 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트의 각 극성에 적용되는 기준을 포함할 수 있다.
다른 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 플리커링 주파수를 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 플리커링 주파수에 적용되는 기준을 포함할 수 있다.
다른 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 시각 흐름 데이터를 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 시각 흐름 데이터에 적용되는 기준을 포함할 수 있다.
또 다른 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 깊이 또는 스테레오 격차값을 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 깊이 또는 스테레오 격차값에 적용되는 기준을 포함할 수 있다.
또 다른 실시예는 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 휘도값을 포함하는 것이다. 이러한 실시예에서, 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트 간의 휘도의 차이에 적용되는 기준을 포함할 수 있다.
또 다른 가능성은 픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 장면의 객체의 타입을 나타내는 시맨틱 ID를 포함하는 것이다. 시맨틱 ID는 차, 보행자, 도로, 나무, 건물, 도로 표시, 신호 등과 같은 이벤트가 속하는 객체의 타입에 기반하여 다른 알고리즘에 의해 생성된다. 현재 이벤트 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트의 각 시맨틱 ID에 적용되는 기준을 포함한다.
일실시예에서, 방법은 클러스터를 형성하기 위하여 동일한 클러스터 ID로 라벨링된 이벤트를 그룹화하는 단계 및 클러스터로부터 특징을 추출하는 단계를 더 포함한다. 추출된 특징은 예컨대, 에지, 관심점, 관심점의 영역 또는 리지를 포함할 수 있다. 클러스터는 클러스터의 중심의 위치와 클러스터의 속도를 추정하는 추정기에 의하여 추출된 특징에 기반하여 추적될 수 있다.
본 발명의 다른 양태는 이벤트 기반 센서와 연결된 프로세서에 의해 실행되는 프로그램 코드를 포함하는 컴퓨터 프로그램에 관련된다. 프로그램 코드는 프로세서에 의해 실행될 때 위에 정의된 방법의 실행에 맞춰진다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 다른 특징 및 이점은 첨부되는 도면을 참조하여 이하의 설명으로부터 분명해질 것이다.
도 1은 본 발명의 구현에 맞춰진 장치의 블록도이다.
도 2는 본 발명에 따른 예시적 방법의 흐름도이다.
도 3a 및 3b는 제1 픽셀 및 제1 픽셀을 둘러싸는 4개나 8개의 제2 픽셀을 포함하는 픽셀 그룹의 패턴을 도시한다.
도 4는 현재 이벤트를 라벨링하는 단계의 예시적 실시예의 흐름도이다.
도 1에 도시된 장치는 장면을 향해 배치되고 하나 또는 여러 렌즈를 포함하는 획득용 광학계(15)를 통해 장면의 광 흐름을 수신하는 이벤트 기반 비동기식 시각 센서(10)를 포함한다. 센서(10)는 획득용 광학계(15)의 이미지면에 배치된다. 픽셀의 행렬로 조직화된 감광성 요소와 같은 감지 요소의 어레이를 포함한다. 픽셀에 대응하는 각 감지 요소는 장면의 빛의 변화에 따라 연속적인 이벤트를 생성한다.
프로세서(12)는 센서(10)로부터 기인한 정보, 즉 다양한 픽셀로부터 예컨대 비동기적으로 수신한 이벤트의 시퀀스를 처리한다. 적절한 프로그래밍 언어를 사용하여 프로그래밍에 의해 구현될 수 있다. 특수 논리 회로(ASIC, FPGA, ...)나 센서(10)와 연결된 칩을 사용한 프로세서(12)의 하드웨어 구현도 가능하다.
나아가, 도 1에 도시된 프로세서(12)는 이벤트 기반 센서(10)와 분리되어 내장된다. 대안적인 구조가 가능하다. 특히, 도 2에 도시된 처리의 일부 또는 전부가 온 칩 구조에서 이벤트 기반 센서(10)와 동일한 컴포넌트에서 수행될 수 있다. 직렬로 또는 병렬로 동작하는 하나 이상의 프로세서 간에 작업을 분할하는 것도 가능하다.
각 감지 요소, 즉 픽셀에 대해, 센서(10)는 센서의 시야에 나타나는 장면으로부터의 픽셀에 의해 수신되는 광의 변화에 따라 이벤트 기반 신호 시퀀스를 생성한다.
비동기식 센서(10)는 각 픽셀에 대해 활성화 임계치 Q가 도달하는 일련의 순간 tk(k=0, 1, 2, ...)의 형태일 수 있는 신호를 출력하기 위해 획득을 수행한다. 이 휘도가 시간 tk에서 시작하여 활성화 임계치 Q와 동일한 양만큼 증가할 때마다 새로운 순간 tk+1이 식별되고 이 순간 tk+1에 스파이크가 방출된다. 대칭적으로, 픽셀에 의해 관찰되는 휘도가 시간 tk에서 시작하여 양 Q만큼 감소할 때마다 새 순간 tk+1이 식별되고 이 순간 tk+1에 스파이크가 방출된다. 픽셀에 대한 신호 시퀀스는 픽셀에 대한 광 프로필에 따라 순간 tk에 시간에 걸쳐 위치한 스파이크의 연속을 포함한다. 제한 없이, 센서(10)의 출력은 AER(address-event representation)의 형태이다. 나아가, 신호 시퀀스는 일반적으로 입사광의 변화에 대응하는 휘도 속성을 포함한다.
활성화 임계치 Q는 고정될 수 있거나, 휘도의 함수로 조정될 수 있다. 예를 들어, 임계치는 초과할 때 이벤트를 생성하기 위하여 휘도의 로그의 변화와 비교될 수 있다.
예를 들어, 센서(10)는 “A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor”, P. Lichtsteiner 등, IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, 2008년 2월, pp. 566-576, 또는 미국 특허 출원 US 2008/0135731 A1에 서술된 DVS(dynamic vision sensor) 타입일 수 있다. 망막의 다이나믹(활동 전위 사이의 최소 지속 시간)은 이 타입의 DVS로 접근할 수 있다. 동적 행동은 현실적인 샘플링 주파수를 가지는 종래의 비디오 카메라의 것을 뛰어넘는다. DVS가 이벤트 기반 센서(10)로 사용될 때, 픽셀로부터 기인한 이벤트에 관한 데이터는 픽셀의 어드레스를, 이벤트의 발생 시간 및 이벤트의 극성, 예컨대 휘도 증가라면 +1, 휘도 감소라면 -1에 대응하는 휘도 속성을 포함한다.
본 발명의 관점에서 유리하게 사용될 수 있는 비동기식 센서(10)의 다른 예시는 “A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS”, C. Posch 등, IEEE Journal of Solid-State Circuits, Vol. 46, No. 1, 2011년 1월, pp. 259-275에 설명이 주어지는 ATIS(asynchronous time-based image sensor)이다. ATIS가 이벤트 기반 센서(10)로 사용될 때, 픽셀로부터 기인한 이벤트에 관한 데이터는 픽셀의 어드레스를, 이벤트의 발생 시간 및 절대 휘도의 추정값에 대응하는 휘도 속성을 포함한다.
이벤트 기반 비동기식 시각 센서(10)에 의해 생성된 이벤트 기반 데이터는 많은 애플리케이션, 그 중 장면의 객체에서 특징 추출 및 이들 추출된 특징을 객체 추적, SLAM 및 시각 흐름과 같은 많은 표준 컴퓨터 시각 알고리즘에 사용하는데 사용될 수 있다.
보통, 이들 표준 컴퓨터 시각 알고리즘은 특징점/관심점, 에지, 관심점의 영역 및 리지와 같은 특징에 기반하는데, 프레임 기반 센서로부터 직접 획득하거나 이벤트 기반 데이터로부터 합성된 장면의 객체의 이미지의 객의 관심 부분이다. 따라서, 특징 추출은 시작점이고 후속 컴퓨터 시각 알고리즘을 위한 주요 원형이다.
상술한 바와 같이, 특징은 카메라와 같은 프레임 기반 센서에서 검출 및 추출되는데, 프레임 기반 센서의 모든 픽셀은 특징이 존재하는지 보기 위해 스캔 및 검사될 것이다. 프레임 기반 센서가 고해상도 이미지와 같이 너무 많은 픽셀을 포함하거나, 이미지가 HDR 조건일 때, 프레임 기반 센서에 의해 생성된 데이터 스트림은 고해상도 및 동적 이미지에 특히 문제인 오버플로우 상황을 다루기 위해 메모리와 프로세서를 포함하여 고성능 다운스트림 컴포넌트를 필요로 한다.
반면, 이벤트 기반 센서에 의해 생성된 이벤트로부터 오는 특징을 추출하는 것은 훨씬 더 높은 시간 해상도로 이 문제를 피할 수 있어, 더 높은 레벨의 최적화 과정이 더 빠른 최적화 과정의 수렴과 더 높은 처리량을 가능하게 하는 더 가까운 이전 최적의 해결책에서 시작할 수 있게 한다.
하지만, 특히 CCL에 의한 특징 추출이 프레임 기반 센서와 함께 널리 사용되지만, 이벤트 기반 데이터로부터의 특징 추출이 여전히 이 분야의 문제이다.
이벤트 기반 데이터에 사용되는 방법이 거의 제안되지 않았고, CCL과 같은 보통의 방법을 이벤트 기반 데이터에 사용하는 것은 더 어렵다. 이들 방법은 프레임 기반 센서에 의해 획득된 프레임이나 이미지에 직접 기반하는데, 연결성을 찾기 위해 적어도 한번 이미지의 모든 픽셀을 스캔한다. 하지만, 이벤트 기반 센서가 전체 이미지를 로우 출력 데이터, 즉 이벤트 기반 데이터로 생성하지 않기 때문에, 이미지가 이벤트로부터 생성되지 않는 한 이벤트 기반 센서를 사용하는 이점을 줄이는 이들 방법이 더 이상 적용될 수 없다.
연결된 컴포넌트를 라벨링하고 클러스터를 병합하고 특징을 추출하기 위해 적어도 한번 이미지를 스캔할 필요가 있는 프레임 기반 CCL과 달리, 본 명세서에 제안되는 방법은 CCL에 사용되는 것과 같이 클러스터 간의 연결을 찾은 후 클러스터를 병합하기 위해 데이터를 제외하지 않고 온라인 방식으로 연결성 기준을 따르는 이벤트를 그룹화하도록 의도된다.
예시로, 도 2는 상술한 바와 같이 이벤트 기반 센서(10)로부터 생성된 이벤트 기반 데이터를 처리하는 방법의 흐름도를 도시한다.
도 2에 도시된 바와 같이, 단계 S1에서, 이벤트가 이벤트 기반 센서(10)의 어레이의 픽셀의 의해 생성된 후, 센서를 향하는 장면으로부터의 입사광의 변화에 응답하여, 어레이의 픽셀의 세트에 대한 데이터 구조가 구축 및 저장된다. 데이터 구조는 세트의 각 픽셀에 대해, 픽셀로부터 기인한 적어도 하나의 최근 이벤트와 연관된 이벤트 데이터를 포함한다.
예를 들어, 상술한 픽셀의 세트는 기간 T를 가지고 현재 순간에 종료되는 슬라이딩 윈도우의 하나 이상의 이벤트를 생성한 어레이의 픽셀로 이루어질 수 있다. 따라서 세트는 현재 비활성인 어레이의 영역의 픽셀을 포함하지 않는다. 파라미터 T는 고정(예컨대, 도면에서 T=10밀리초)되거나 어레이에 의해 생성된 이벤트의 함수로 국소적 또는 전역적으로 적응형일 수 있다. 파라미터 T는 픽셀 어레이의 다른 영역에 대해 다를 수 있어, 어레이에 걸쳐 픽셀에 의해 감지되는 들어오는 광의 함수로 가변적이다. 대안적으로, '픽셀의 세트'는 센서 어레이의 모든 픽셀을 포함, 즉 T=∞일 수 있다.
데이터 구조는 동적이다. 프로세스 시작을 위해 단계 S1에서 처음 저장되고, 이어서 이벤트가 이벤트 기반 센서로부터 수신됨에 따라 수행되는 다음 단계에서 업데이트된다.
데이터 구조는 어레이의 인덱스 i와 좌표 (xi, yi)로 표현되는 어드레스를 가지는 픽셀에 대한 이벤트 데이터를 형성하는 다음 항목 중 하나 이상을 포함할 수 있다.
- 어레이의 어드레스 i로부터 수신한 최근 이벤트 ev(i, ti)의 타임스탬프 ti. 새 이벤트가 시간 ti에 픽셀 i로부터 수신될 때마다, 새 타임스탬프 ti가 데이터 구조에 픽셀 i에 대해 이전에 저장된 것을 대체한다.
- 어드레스 i에서 픽셀과 연관되는 휘도값 Li. ATIS 타입의 센서나 유사한 것의 경우, 휘도값 Li는 센서로부터 들어오는 신호 흐름의 이벤트 ev(i, ti)와 사용 가능하다.
- 어드레스 i에서 픽셀로부터 기인하는 최근 이벤트 ev(i, ti)의 극성 pi. 극성 pi는 일반적으로 센서로부터 들어오는 신호 흐름에서 이벤트 ev(i, ti)와 사용 가능하다.
- 어드레스 i의 픽셀로부터 기인하는 최근 이벤트 ev(i, ti)에 대해 추정되는 플리커링 주파수. 이러한 주파수 정보는 예컨대 유럽 특허 출원 제18305063.2호에 개시되는 방법을 사용하여 추정될 수 있다.
- 어드레스 i의 픽셀로부터 기인하는 최근 이벤트 ev(i, ti)에 대해 위치 (xi, yi)에서 추정되는 시각 흐름 데이터. 이러한 시각 흐름 데이터는 예컨대 WO 2013/093378 A1에 개시되는 방법을 사용하여 추정될 수 있다.
- 어드레스 i의 픽셀로부터 기인하는 최근 이벤트 ev(i, ti)에 대해 추정되는 깊이값. 깊이값은 스테레오 격차값으로도 표현될 수 있다. 다른 각도로부터 장면을 보는 둘 이상의 이벤트 기반 센서로부터의 신호 흐름으로부터 획득될 수 있다. 이러한 깊이 또는 스테레오 격차값은 예컨대 WO 2016/146938 A1에 개시되는 방법을 사용하여 추정될 수 있다.
- 더 후술되는 단계 S4-S5에 따라 어드레스 i의 픽셀로부터 기인하는 최근 이벤트 ev(i, ti)가 속하는 것으로 간주되는 이벤트 클러스터와 연관되는 클러스터 ID.
- 파라미터 T가 어레이의 픽셀마다 달라질 수 있는 경우 이벤트 ev(i, ti)가 어드레스 i의 픽셀로부터 수신될 때 비교가 수행되는 시간 윈도우의 길이를 나타내는 상술한 파라미터 T.
이벤트 기반 센서 자체 및/또는 이벤트 기반 신호 흐름에 수행되는 처리에 의해 제공되는 기능에 따라 다른 종류의 정보가 데이터 구조에 포함될 수 있음을 이해할 것이다. 데이터 구조의 내용은 본 방법이 분류 데이터를 제공하는 애플리케이션에 따라 조정될 수도 있다.
실제 구현에서, 이벤트가 수신됨에 따라 저장 및 유지되는 데이터 구조는 상술한 픽셀 세트뿐만 아니라 어레이의 모든 픽셀에 대한 정보(즉, 상술한 항목의 일부 또는 전부)를 가질 수 있음도 이해할 것이다. 이러한 구현에서, 어레이에서 최근 이벤트가 ti-T보다 빠른 타임스탬프 tj를 가지는 어드레스 j의 픽셀(즉, 픽셀은 시간 t에 "세트"에 속하지 않는다)은 시간 ti에 이벤트의 수신시 수행되는 처리에서 무시될 것이다.
주어진 픽셀 i에 대한 동적 데이터 구조에 포함되는 이벤트 데이터의 일부일 수 있는 상기 가능한 항목 목록이 그 픽셀 i로부터 수신한 최근 이벤트만 참조하지만, 그 픽셀 i로부터 최근 수신한 하나 이상의 이벤트와 연관된 이벤트 데이터를 포함하는 것도 가능하다. 예를 들어, 타임스탬프와 이벤트 극성은 픽셀 i로부터 수신한 N개의 최근 이벤트에 대한 이벤트 데이터의 일부로 저장될 수 있는데, N은 기정의된 정수 또는 타임 윈도우 T(또는 일부 더 짧은 윈도우) 동안 수신한 임의의 이벤트에 대한 것이다. 휘도, 플리커링 주파수, 깊이나 스테레오 격차값, 클러스터 ID 등과 같은 다른 이벤트 데이터는 가장 최근 이벤트 또는 데이터 구조에서 고려되는 이벤트들에 대해 조합되는 방식으로 결정될 수 있다.
데이터 구조에 저장되는 정보는 들어오는 현재 이벤트의 수신에 포함되거나 도출되는 이벤트 속성과 함께 현재 이벤트가 현재 이벤트의 공간적 이웃에 최근에 생성된 하나 이상의 다른 이전 이벤트에 연결되도록 고려되어야 하는지 여부를 동적으로 결정하기 위한 연결성 기준을 평가하는데 사용된다.
본 명세서에서 제안되는 방법은 희망한다면 이벤트가 수신되면 즉시 연결성에 대한 이러한 결정을 내릴 수 있게 한다.
단계 S2에서, 어레이의 제1 픽셀 A로부터 다른 이벤트와의 연결성이 단계 3 및 4에서 체크되는 현재 이벤트 E가 수신된다.
다음 단계 S3에서, 픽셀의 그룹으로부터 데이터 구조에 포함되는 이벤트 데이터가 검색되고, 단계 S4에서, 현재 이벤트 E가 연결성 기준 또는 더 많은 연결성 기준의 조합에 기반하여 클러스터 ID로 라벨링된다.
여기서, "픽셀의 그룹"은 현재 이벤트의 공간적 이웃을 지칭한다. 다시 말해, 제1 픽셀 A 및 어레이에서 제1 픽셀의 이웃의 복수의 제2 픽셀로 이루어진다. 도 3a에 도시된 예시에서, 위치 (xi, yi)의 픽셀 A 주위의 픽셀의 그룹은 위치 (xi+1, yi), (xi-1, yi), (xi, yi+1), (xi, yi-1)의 4개의 제2 픽셀로 이루어진다. 대안적으로, 도 3b에 도시된 바와 같이 그룹에 위치 (xi+1, yi), (xi-1, yi), (xi, yi+1), (xi, yi-1), (xi+1, yi+1), (xi-1, yi+1), (xi+1, yi-1), (xi-1, yi-1)의 8개의 제2 픽셀이 있을 수 있다. 또 다른 가능성은 전술한 것보다 더 큰 반경 또는 다른 층의 픽셀의 그룹의 제2 이웃 또는 더 많은 층의 이웃을 포함하는 것이다.
위치 (xi, yi)의 제1 픽셀 A에서 기인한 현재 이벤트 E가 시간 t에 수신될 때, 데이터 구조의 이웃 픽셀의 관련 그룹에 관한 이벤트 데이터가 없는 것(또는 그룹의 모든 이웃 픽셀이 t-T보다 빠른 타임스탬프를 가지는 것)이 가능하다. 만약 그렇다면, 단계 S4에서, 현재 이벤트 E가 새 클러스터 ID로 라벨링되는데, 도 4에 더 자세히 나온다. 단계 S41에서, 현재 이벤트 E가 그룹의 픽셀로부터 기인한 최근 이벤트인 임의의 이벤트와 적어도 하나의 연결성 기준을 충족하는지 여부를 보기 위해 체크된다. 연결성 기준이 충족되지 않을 때, 즉 현재 이벤트 E가 데이터 구조의 임의의 이벤트와 연결되지 않을 때, 새 클러스터 ID가 현재 이벤트 E에 할당되고 할당된 새 클러스터 ID가 픽셀 A에 관한 이벤트 데이터에 포함되고 단계 S42에서 현재 이벤트와 연관된다.
그렇지 않으면, 현재 이벤트는 그룹의 픽셀로부터 기인한 최근 이벤트인 임의의 이벤트와 하나 이상의 연결성 기준을 충족하는지 여부를 보기 위해 체크된다. 예를 들어, 현재 이벤트가 그룹의 픽셀로부터의 하나의 현재 이벤트와만 연결성 기준을 총족하는지 여부를 보는 추가 단계 S43가 수행된다. 현재 이벤트 E가 한 이벤트, 예를 들어 도 3a 또는 3b의 위치 (xi+1, yi)의 이웃 픽셀로부터 기인한 최근 이벤트 ev(i+1, ti)와만 연결성 기준을 충족하면, 현재 이벤트 E가 단계 S44에서 이벤트 ev(i+1, ti)에 이전에 할당된 클러스터 ID로 라벨링된다.
만약 단계 S43에서, 현재 이벤트 E가 데이터 구조의 각 픽셀로부터 각각 기인한 복수의 최근 이벤트와 하나 이상의 연결성 기준을 충족하는 것으로 밝혀지면, 복수의 이벤트의 클러스터 ID가 단계 S45에서 동일한 클러스터 ID를 공유하는지 여부가 체크된다. 이것은 예컨대 이벤트 ev(i+1, ti)에 연결되는데 추가로 현재 이벤트 E가 위치 (xi, yi+1)의 추가 이웃 픽셀로부터 기인한 다른 이벤트 ev(i+2, ti)에 연결된다면 발생한다.
단계 S45에서, 만약 복수의 이벤트에 이전에 할당된 클러스터 ID가 동일하다면, 예컨대 이벤트 ev(i+1, ti)와 ev(i+2, ti)가 동일한 클러스터 ID를 공유한다면, 현재 이벤트 E가 단계 S46에서 픽셀 A에 관한 이벤트 데이터에 포함되는 이 동일한 클러스터 ID로 할당된다.
단계 S45에서, 만약 복수의 이벤트에 이전에 할당된 클러스터 ID가 다르다면, 예컨대 이벤트 ev(i+1, ti)와 ev(i+2, ti)가 다른 ID를 가진다면, 다른 ID는 단계 S47에서 새 클러스터 ID로 병합되는데, 예컨대 ev(i+1, ti)와 ev(i+2, ti)의 ID 중 하나 또는 가장 작거나 가장 큰 것이나 과거에 가장 많은 이벤트를 가지는 것과 같은 프리셋 규칙에 따른 다른 ID일 수 있다. 이전에 수신한 동일 클러스터에 대응하는 ID가 이제 병합된 클러스터 ID로 표현됨을 알도록 이러한 ID 병합이 예컨대 다른 애플리케이션에 통지된다.
이 경우, 현재 이벤트 E가 단계 S48에서 현재 이벤트와 연관되는 이벤트 데이터에 포함되는 병합된 클러스터 ID로 할당됨으로써 라벨링된다. 나아가, 이벤트를 병합된 클러스터 ID와 연관시킬 때 데이터 구조의 병합된 ID를 대체하기 위해 전체 데이터 구조를 다시 쓰지 않기 위해 동등성 테이블도 사용될 수 있다.
게다가, 예를 들어 단계 S4에서, 다음 기준 중 적어도 하나에 의해 연결성이 결정될 수 있는데, 유사하게 도 3a 및 3b에서 현재 이벤트 E는 위치 (xi, yi)의 픽셀 A로부터 기인하고 최근 이벤트 ev(i+1, ti)가 (xi+1, yi)에 위치한 픽셀로부터 기인한다.
타임스탬프 t1의 현재 이벤트 E와 타임스탬프 t2의 데이터 구조에 저장된 최근 이벤트 ev(i+1, t2) 사이의 연결성 기준이 현재 이벤트 E와 최근 이벤트 ev(i+1, t2) 사이의 타임스탬프의 차이 t1-t2에 적용될 수 있다. 예를 들어, 타임스탬프의 차이 t1-t2가 주어진 임계치보다 작을 때 이벤트 E와 ev(i+1, ti) 사이의 연결성이 결정된다. 그 값은 연결된 컴포넌트 분석의 이점을 취하는 애플리케이션에 기반하여 설정될 수 있다. 제한없이, 임계치의 예시적인 값은 0.1ms 내지 20ms의 범위일 수 있다. 임계치는 국소적 이벤트 다이나믹에 기반하여 조정될 수 있다. 대안적으로, 타임스탬프의 차이 t1-t2가 범위에 속하면, 연결성이 결정될 수도 있다.
픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터가 그 픽셀로부터 기인한 최근 이벤트의 극성 p를 포함할 때, 데이터 구조의 현재 이벤트 E와 최근 이벤트 ev(i+1, ti) 간의 연결성 기준은 현재 이벤트의 극성과 최근 이벤트 ev(i+1, ti)의 극성을 수반한다. 예를 들어, 극성이 같으면, 이벤트 E 및 ev(i+1, ti) 간의 연결성이 결정된다.
픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터가 그 픽셀로부터의 최근 이벤트에 대해 추정된 플리커링 주파수를 포함할 때, 데이터 구조의 현재 이벤트 E와 최근 이벤트 ev(i+1, ti) 간의 연결성 기준은 현재 이벤트 E에 대해 및 최근 이벤트 ev(i+1, ti)에 대해 추정된 플리커링 주파수를 수반한다. 예를 들어, 플리커링 주파수가 같거나 기결정된 범위 내이면 이벤트 E 및 ev(i+1, ti) 간의 연결성이 결정된다.
픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터가 그 픽셀로부터 기인한 최근 이벤트에 대해 추정된 시각 흐름 데이터를 포함할 때, 현재 이벤트 E와 최근 이벤트 ev(i+1, ti) 간의 연결성 기준은 현재 이벤트 E에 대해 및 최근 ev(i+1, ti)에 대해 추정된 시각 흐름 데이터를 수반한다. 예를 들어, 흐름의 방향 및/또는 규모가 같거나 기결정된 범위 내이면 이벤트 E 및 ev(i+1, ti) 간의 연결성이 결정된다.
픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터가 그 픽셀로부터 기인한 최근 이벤트에 대해 추정된 깊이 또는 스테레오 격차값을 포함할 때, 현재 이벤트 E와 최근 이벤트 ev(i+1, ti) 간의 연결성 기준은 현재 이벤트 E에 대해 및 최근 이벤트 ev(i+1, ti)에 대해 추정된 깊이 또는 스테레오 격차값을 수반한다. 예를 들어, 깊이 또는 격차가 같거나 기결정된 범위 내이면 이벤트 E 및 ev(i+1, ti) 간의 연결성이 결정된다.
단계 S4에서 라벨링된 후, 같은 ID를 가지는 이벤트를 포함하는 클러스터를 형성하기 위하여 현재 이벤트 E는 예컨대 같은 ID를 가지는 다른 이벤트와 예컨대 단계 S5에 도시된 바와 같이 그룹화될 수 있다. 대안적으로, 그룹화는 번호순으로 순위화된 다른 ID와 같이 특정 기준에 따르는 다른 ID에도 기반할 수 있다. 그 후, 클러스터의 상태는 해시 테이블이나 인디렉션 테이블의 벡터와 같은 더 또는 덜 효율적인 다른 구현을 가질 수 있는 클러스터의 목록에 저장될 수 있다.
그 후, 단계 S6에서 예컨대 시간적-공간적 일관성을 가지는 클러스터는 추출되어 장면의 객체, 예컨대 도로의 차량이나 장면의 훨씬 작은 컨투어렛에 대응하는 특징을 획득할 수 있다. 이들 특징은 에지, 관심점, 관심점의 영역 또는 객체의 리지를 포함하나 이에 제한되지 않는다. 이들 특징으로, 예컨대 이들 컨투어렛에 대응하는 클러스터는 안정적이고 정확한 관찰 및 추적을 가능하게 하는 안정적인 기하학적 제약에 의해 정의될 수 있다. 클러스터 형성 후 시각적 객체를 검출 및 추적하는 예시적인 실시예는 US 2016/0086334 A1에, 예컨대 클러스터와 연관된 정보를 업데이트하고 객체의 크기와 방향을 업데이트된 정보의 함수로 계산하는 단계에 서술된다.
나아가, 클러스터를 그룹화하고 클러스터에서 특징을 추출한 후, 이벤트 기반 블럽 추적기나 루엔버거 또는 칼만 추정기 같은 더 표준적인 것과 같은 추정기로 클러스터의 위치와 속도를 추적 또는 예측하는 것이 가능하다. 예를 들어, 이벤트 기반 센서가 나무와 같은 장애물을 통과하여 이동하는 차량을 관찰하는 장면에서, 차량의 적어도 일부가 장애물 때문에 센서에 의해 관측되지 않는 동안이다. 추정기에 의하여, 차량은 더 효율적인 방식으로 계속 추적될 수 있다.
스테레오로부터의 깊이와 같은 다른 소스로부터의 정보도 이전에 수신한 이벤트로부터의 클러스터에서 사용될 수 있어 클러스터 상태를 이벤트의 깊이로 증강하여, 예컨대 클러스터의 중심의 3D 위치와 같이 더 많은 상태가 획득 및 추적될 수 있게 한다. 3D 재구축의 예시적인 실시예는 WO2016/146938에 논의된다.
일부 다른 구현이 예컨대 신호등을 추출 및 추적하기 위하여, 본 발명에 따른 방법에 의해 추출된 연결된 컴포넌트 특징의 정확한 사용에 따라 도출될 수 있다.
유리하게는, 본 발명에 따른 방법은 아주 국소적인 데이터만 사용하는데, 센서에 의해 샘플링되는 동안 윤곽선이 모든 픽셀을 통해 이동할 것으로 가정하고 따라서 상대적으로 낮은 메모리 밴드폭 요구 조건을 가지기 때문이다. 같은 특성이 일부 특정 구조에서 높은 병렬화도 가능하게 할 수 있다. 따라서, 구현이 상대적으로 간단하다. 픽셀 어레이의 크기의 제한된 메모리만 데이터 구조를 저장하는데 사용될 필요가 있는데, 상술한 바와 같은 특정 기준 하에서 연결성 결정을 위해 필요한 정보를 포함한다. 이에 관하여, 본 발명에 따른 방법은 랩탑, 모바일 장치 또는 상대적으로 낮은 처리 능력을 가지는 다른 장치, 또는 공통 장치의 이벤트 기반 센서와 연관된 프로세서에서 구현될 수 있다.
상술한 방법은 컴퓨터에 의해 수행될 수 있는 다양한 동작을 구현하기 위해 비일시적 컴퓨터 판독 가능한 매체에 기록된 프로그램 명령어를 사용하여 구현될 수 있다. 매체는 단독으로 또는 프로그램 명령어와 조합하여, 데이터 파일, 데이터 구조 등도 포함할 수 있다. 매체에 저장된 프로그램 명령어는 예시적인 실시예의 목적으로 특별히 설계 및 구축된 것일 수 있거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 이용 가능한 잘 알려진 종류일 수 있다. 비일시적 컴퓨터 판독 가능한 매체의 예시는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체; CD ROM 디스크와 DVD와 같은 광학 매체; 광학 디스크와 같은 자기-광 매체; 및 ROM(read-only memory), RAM(random access memory), 플래시 메모리와 같은 프로그램 명령어를 저장 및 수행하도록 특별히 구성된 하드웨어 장치 등을 포함한다. 프로그램 명령어의 예시는 컴파일러에 의해 생성된 코드와 같은 기계 코드 및 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 더 상위 레벨의 코드를 포함하는 파일 모두를 포함한다. 서술되는 하드웨어 장치는 하나로 동작하도록 구성될 수 있다.
애플리케이션의 예시에서, 자율 주행 시스템에 동적인 정보를 제공하기 위하여 이벤트 기반 센서(10) 및 프로세서(들)(12)를 포함하는 장치가 차량에서 사용되어 신호등, 이동하는 객체 등과 같은 도로의 객체를 검출 및 추적한다.
더 일반적으로, 본 발명은 자율 주행 차량, 인공 기관 장치, 제조 로봇, 군사 및 의학 로봇 장치와 같은 자율 및 로봇 장치를 제한 없이 포함하여 다양한 장치에서 유용할 수 있다.
본 발명의 구현은 컴퓨터 인간 상호작용(예컨대, 제스처, 음성, 자세, 얼굴 및/또는 다른 애플리케이션의 인식), 제어 프로세스(예컨대, 산업 로봇, 자율 주행 및 기타 차량), 시각 장면에서 및 이미지면에 대한 관심점이나 객체(예컨대, 차량이나 사람)의 세트의 다음 동작, 증강 현실 애플리케이션, 가상 현실 애플리케이션, 접근 제어(예컨대, 제스처에 기반하여 문 개방, 인가된 사람의 감지에 기반하여 통로 개방), 검출 이벤트(예컨대, 시각적 감시 또는 사람 또는 동물), 카운트, 추적 등을 포함하여 많은 애플리케이션에서 사용될 수 있다. 무수한 다른 애플리케이션이 본 명세서가 주어진 통상의 기술자에게 인식될 것이다.
본 명세서에 서술된 실시예는 본 발명의 예시이다. 첨부되는 청구항에서 유래하는 본 발명의 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있다.

Claims (17)

  1. 이벤트 기반 센서로부터의 정보를 처리하는 방법으로서, 이벤트 기반 센서(10)는 장면을 마주하는 픽셀의 어레이를 가지고 정보는 장면으로부터의 입사광의 변화에 따라 픽셀로부터 기인하는 이벤트를 포함하고, 방법은:
    어레이의 픽셀의 세트에 대한 데이터 구조를 저장하는 단계(S1); 및
    어레이의 제1 픽셀(A)로부터 현재 이벤트(E)를 수신했을(S2) 때;
    제1 픽셀 및 어레이에서 제1 픽셀에 인접한 복수의 제2 픽셀을 포함하는 픽셀의 그룹에 대한 데이터 구조에 포함되는 임의의 이벤트 데이터를 수신하는 단계(S3); 및
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 적어도 하나의 최근 이벤트 간의 적어도 하나의 연결성 기준에 기반하여 현재 이벤트를 라벨링하는 단계(S4)를 포함하고,
    데이터 구조는 세트의 각 픽셀에 대하여, 상기 픽셀로부터 기인하는 적어도 하나의 최근 이벤트와 연관되는 이벤트 데이터를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  2. 청구항 1에 있어서,
    현재 이벤트를 라벨링하는 단계는, 현재 이벤트가 그룹의 픽셀로부터 기인하는 최근 이벤트인 이벤트와 적어도 하나의 연결성 기준을 충족하지 않는다면:
    현재 이벤트에 새 클러스터 ID를 할당하는 단계; 및
    제1 픽셀(A)에 대한 데이터 구조에 포함되는 이벤트 데이터에 할당된 새 클러스터 ID를 포함시키는 단계를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    현재 이벤트를 라벨링하는 단계는, 현재 이벤트가 그룹의 픽셀로부터 기인하는 최근 이벤트인 단 하나의 이벤트와 적어도 하나의 연결성 기준을 충족한다면:
    현재 이벤트에 상기 하나의 이벤트에 이전에 할당된 클러스터 ID를 할당하는 단계; 및
    제1 픽셀(A)에 대한 데이터 구조에 포함되는 이벤트 데이터에 할당된 클러스터 ID를 포함시키는 단계를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  4. 청구항 1 내지 청구항 3 중 어느 하나의 항에 있어서,
    현재 이벤트를 라벨링하는 단계는, 현재 이벤트가 그룹의 각 픽셀로부터 기인하는 최근 이벤트인 복수의 이벤트와 적어도 하나의 연결성 기준을 충족하며 동일한 클러스터 ID가 상기 복수의 이벤트에 할당된다면:
    현재 이벤트에 동일한 클러스터 ID를 할당하는 단계; 및
    제1 픽셀(A)에 대한 데이터 구조에 포함되는데에 동일한 할당된 클러스터 ID를 포함시키는 단계를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  5. 청구항 1 내지 청구항 4 중 어느 하나의 항에 있어서,
    현재 이벤트를 라벨링하는 단계는, 현재 이벤트가 그룹의 각 픽셀로부터 기인하는 최근 이벤트인 복수의 이벤트와 적어도 하나의 연결성 기준을 충족하며 다른 클러스터 ID들이 상기 복수의 이벤트에 할당된다면:
    다른 클러스터 ID들을 병합된 클러스터 ID로 병합하는 단계;
    현재 이벤트에 병합된 클러스터 ID를 할당하는 단계; 및
    제1 픽셀(A)에 대한 데이터 구조에 포함되는 이벤트에 할당된 병합된 클러스터 ID를 포함시키는 단계를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  6. 청구항 1 내지 청구항 5 중 어느 하나의 항에 있어서,
    복수의 제2 픽셀은 픽셀의 어레이에서 제1 픽셀(A)를 직접 둘러싸는 4 또는 8개의 픽셀을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  7. 청구항 1 내지 청구항 6 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 타임스탬프를 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트 간의 타임스탬프의 차이에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  8. 청구항 1 내지 청구항 7 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 극성을 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트의 각 극성에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  9. 청구항 1 내지 청구항 8 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 플리커링 주파수를 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 플리커링 주파수에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  10. 청구항 1 내지 청구항 9 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 시각 흐름 데이터를 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 시각 흐름 데이터에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  11. 청구항 1 내지 청구항 10 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 깊이 또는 스테레오 격차값을 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트에 대해 추정된 각 깊이 또는 스테레오 격차값에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  12. 청구항 1 내지 청구항 11 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 휘도값을 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트 간의 휘도의 차이에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  13. 청구항 1 내지 청구항 12 중 어느 하나의 항에 있어서,
    픽셀에 대한 데이터 구조에 포함되는 이벤트 데이터는 상기 픽셀로부터 기인하는 최근 이벤트의 장면의 객체의 타입을 나타내는 시맨틱 ID를 포함하고,
    현재 이벤트(E) 및 상기 그룹의 픽셀로부터 기인하는 최근 이벤트 간의 적어도 하나의 연결성 기준은 현재 이벤트(E) 및 그룹의 상기 픽셀로부터 기인하는 최근 이벤트의 각 시맨틱 ID에 적용되는 기준을 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  14. 청구항 1 내지 청구항 13 중 어느 하나의 항에 있어서,
    클러스터를 형성하기 위하여 동일한 클러스터 ID로 라벨링된 이벤트를 그룹화하는 단계 및 클러스터로부터 특징을 추출하는 단계를 더 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  15. 청구항 14에 있어서,
    클러스터의 중심의 위치와 클러스터의 속도를 추정하는 추정기에 의하여 추출된 특징에 기반하여 클러스터를 추적하는 단계를 더 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  16. 청구항 14 또는 청구항 15에 있어서,
    추출된 특징은 에지, 관심점, 관심점의 영역 또는 리지를 포함하는 이벤트 기반 센서로부터의 정보를 처리하는 방법.
  17. 이벤트 기반 센서와 연결된 프로세서에 의해 실행되는 프로그램 코드를 포함하는 컴퓨터 프로그램으로서, 프로그램 코드는 프로세서에 의해 실행될 때 청구항 1 내지 청구항 16 중 어느 하나의 항의 방법의 실행에 맞추어진 컴퓨터 프로그램.
KR1020217024282A 2019-01-30 2020-01-29 이벤트 기반 센서로부터의 정보를 처리하는 방법 KR20210129043A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19154401.4 2019-01-30
EP19154401.4A EP3690736A1 (en) 2019-01-30 2019-01-30 Method of processing information from an event-based sensor
PCT/EP2020/052200 WO2020157157A1 (en) 2019-01-30 2020-01-29 Method of processing information from an event-based sensor

Publications (1)

Publication Number Publication Date
KR20210129043A true KR20210129043A (ko) 2021-10-27

Family

ID=65243493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024282A KR20210129043A (ko) 2019-01-30 2020-01-29 이벤트 기반 센서로부터의 정보를 처리하는 방법

Country Status (6)

Country Link
US (1) US11995878B2 (ko)
EP (2) EP3690736A1 (ko)
JP (1) JP2022523505A (ko)
KR (1) KR20210129043A (ko)
CN (1) CN113396423A (ko)
WO (1) WO2020157157A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3694202A1 (en) 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
EP4033398A1 (en) * 2021-01-25 2022-07-27 Toyota Jidosha Kabushiki Kaisha A clustering method applied to a change event stream produced by an event-based vision sensor
EP4306918A1 (en) * 2021-03-08 2024-01-17 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and program
AT524572B1 (de) * 2021-05-26 2022-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands
JP2023135357A (ja) * 2022-03-15 2023-09-28 株式会社リコー 変位量測定装置、変位量測定システム、非接触入力装置、および生体微動測定装置
WO2023210330A1 (ja) * 2022-04-26 2023-11-02 ソニーグループ株式会社 データ生成装置、データ生成方法、プログラム、解析装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1958433B1 (en) 2005-06-03 2018-06-27 Universität Zürich Photoarray for detecting time-dependent image data
FR2985065B1 (fr) 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
WO2014153724A1 (en) 2013-03-26 2014-10-02 Nokia Corporation A method and apparatus for estimating a pose of an imaging device
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
KR102347249B1 (ko) * 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
US10043064B2 (en) * 2015-01-14 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object using event-based sensor
FR3033973A1 (fr) 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene
FR3033914A1 (fr) * 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie (Paris 6) Procede de traitement d'un signal asynchrone
EP3869791A1 (en) * 2016-12-30 2021-08-25 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
CN108734739A (zh) * 2017-04-25 2018-11-02 北京三星通信技术研究有限公司 用于时间对齐标定、事件标注、数据库生成的方法及装置
CN110692083B (zh) * 2017-05-29 2024-01-05 苏黎世大学 用于动态视觉传感器的块匹配光流和立体视觉
US10529074B2 (en) * 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
CN115052141B (zh) * 2017-09-28 2023-10-03 苹果公司 用于事件相机数据处理的系统和方法
US11379996B2 (en) * 2017-11-14 2022-07-05 Apple Inc. Deformable object tracking
CN111919434B (zh) * 2018-01-26 2023-08-01 普罗费塞公司 处理来自基于事件的传感器的信号的方法和设备
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备

Also Published As

Publication number Publication date
JP2022523505A (ja) 2022-04-25
EP3918519A1 (en) 2021-12-08
US11995878B2 (en) 2024-05-28
WO2020157157A1 (en) 2020-08-06
EP3690736A1 (en) 2020-08-05
US20220101640A1 (en) 2022-03-31
CN113396423A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
KR20210129043A (ko) 이벤트 기반 센서로부터의 정보를 처리하는 방법
US10769480B2 (en) Object detection method and system
US11856290B2 (en) Method and apparatus of processing a signal from an event-based sensor
CA2692424C (en) System and process for detecting, tracking and counting human objects of interest
JP6030617B2 (ja) 画像処理装置および画像処理方法
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN101344965A (zh) 基于双目摄像的跟踪系统
EP3925204B1 (en) Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
Chen et al. Asynchronous tracking-by-detection on adaptive time surfaces for event-based object tracking
JP7455841B2 (ja) シーン内の物体を追跡する方法
Denman et al. Multi-spectral fusion for surveillance systems
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
Chebli et al. Pedestrian detection based on background compensation with block-matching algorithm
Singh et al. A new algorithm designing for detection of moving objects in video
Gallego et al. Region based foreground segmentation combining color and depth sensors via logarithmic opinion pool decision
CN111191524A (zh) 运动人群计数方法
JP2016081252A (ja) 画像処理装置および画像処理方法
Puhan et al. Slow and fast moving object detection under illumination variation condition
Chu et al. An improved ViBe background subtraction method based on region motion classification
Jain et al. A highly adaptive method for moving target detection in dynamic background with a simplified manner
Moulay et al. A Novel Background Subtraction Algorithm for Person Tracking Based on K-NN
Silambarasan et al. Detecting and Localizing the Anomalous Events in Crowded Environments using Swarm Intelligence

Legal Events

Date Code Title Description
A201 Request for examination