KR20210101286A - 장면 내 물체를 추적하는 방법 - Google Patents

Abstract

본 발명은 매트릭스 감지소자로부터 이벤트를 비동기적으로 생성하는 이벤트 기반 센서가 관찰한 장면 내 물체를 추적하는 방법으로서, 상기 매트릭스의 각각의 감지소자로부터, 상기 감지소자에 입사하는 광의 변화의 함수로서 각각의 이벤트가 생성되며, 상기 방법은:
제 1 프로세스에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면의 물체를 감지하는 단계; 및
제 2 프로세스에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 연관된 트랙을 결정하는 단계를 포함하고,
상기 제 1 프로세스는 상기 제 2 프로세스보다 시간 해상도가 낮은 장면 내 물체를 추적하는 방법에 관한 것이다.

Description

장면 내 물체를 추적하는 방법

본 발명은 물체 추적 분야에 관한 것으로, 물체는 로컬화되고 물체의 궤적은 시간에 따라 결정된다. 보다 상세하게, 본 발명은 이벤트 기반 센서를 사용하여 물체를 추적하는 방법에 관한 것이다.

물체가 장면으로 이동함에 따라 상기 물체의 궤도를 추정한다는 의미에서 장면 내 물체 추적이 컴퓨터 비전에서 중요한 주제이다. 물체 추적은 시각적 감시, 비디오 압축, 운전 보조, 오도메트리(odometry), SLAM(동시 위치 측정 및 맵핑), 교통 모니터링, 자동 발레 파킹 시스템 등과 같은 광범위한 애플리케이션에서 기본적인 역할을 한다.

이러한 애플리케이션의 경우, 물체의 방향 변경, 장면에 나타나는 새 물체, 가림 및 나타남과 같은 갑작스런 변화를 다룰 수 있는 것이 중요하다. 예를 들어, 운전 보조에서, 시스템은 차량의 갑작스러운 방향 변경이나 시야에 들어오는 보행자에 매우 빠르게 반응해야 한다.

이러한 애플리케이션에서, 추적할 물체의 방향이 갑자기 변경될 수 있고, 새로운 물체가 나타날 수 있으며, 가림/나타남이 발생할 수 있으며, 추적 시스템은 이러한 상황에 매우 빠르게 반응해야 한다.

종래 알고리즘에서, 고정된 프레임 주파수로 획득한 이미지 시퀀스를 기반으로 추적을 수행한다. 따라서, 갑작스러운 변화의 경우, 추적 정확도가 프레임 간 주기(inter-frame)에 의해 제한되며, 이는 변화의 동역학보다 훨씬 더 클 수 있다. 더욱이, 이러한 감지/추적 시스템을 고프레임률(high frame rate)로 실행하는 것은 계산 비용이 매우 많이 들며 때로는 시스템의 지연으로 인해 불가능하기도 하다. 예를 들어, 감지기가 사진에서 자동차를 감지하는 데 100 밀리 초가 필요하다면, 초당 10 프레임 이상으로 실행할 수 없는 반면, 전체 시스템에는 훨씬 더 빠른 반응 시간이 요구된다. 또한, 내장형 플랫폼 상의 감지기를 실행하면 감지 속도를 초당 약 1.5 프레임으로 낮출 수 있으나, 이는 위에서 언급한 애플리케이션에 비해 너무 느릴 수 있다.

대안으로, 기존 프레임 기반 센서 대신 비동기 신호를 생성하는 이벤트 기반 광 센서를 사용할 수 있다. 이벤트 기반 광 센서는 압축된 디지털 데이터를 이벤트 형태로 전한다. 이러한 센서에 대한 소개를 "Activity-Driven, Event-Based Vision Sensors", T. Delbr

ck, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 2426-2429에서 찾을 수 있다. 이벤트 기반 비전 센서는 기존 카메라에 비해 중복을 제거하고, 지연 시간을 줄이며 동적 범위를 늘리는 이점이 있다.

이러한 이벤트 기반 광 센서의 출력은 각 픽셀 어드레스에 대해 이벤트가 발생할 때 장면의 광 파라미터(예를 들어, 휘도, 광강도, 반사율)의 변화를 나타내는 일련의 비동기 이벤트로 구성될 수 있다. 센서의 각 픽셀은 별개이며 마지막 이벤트 방출 이후 임계값보다 큰 강도의 변화(예를 들어, 강도에 대한 로그로 15 %의 대비)를 감지한다. 강도의 변화가 설정된 임계값을 초과하면, 강도의 증가 또는 감소에 따라 픽셀에 의해 ON 또는 OFF 이벤트가 발생할 수 있다. 이러한 이벤트를 이하 "변경 감지 이벤트" 또는 CD 이벤트라 한다.

일반적으로, 비동기식 센서는 획득을 위해 광학 장치의 이미지 평면에 배치된다. 이는 픽셀 매트릭스로 구성된 감광소자와 같은 감지소자의 어레이로 구성된다. 픽셀(p)에 해당하는 각 감지소자는 시간(t)에서 장면의 광의 변화에 따라 연속적인 이벤트 e(p, t)를 생성한다.

각 감지소자에 대해, 비동기식 센서는 센서의 시야에 나타나는 장면에서 감지소자가 수신한 광의 변화에 따라 이벤트 기반 신호 시퀀스를 생성한다.

비동기식 센서는, 각 픽셀에 대해, 활성화 임계값(Q)에 도달하는 연속적인 인스턴스(t_k)(k = 0, 1, 2,…)의 형태일 수 있는 신호를 출력하기 위해 획득을 수행한다. 이 휘도가 시간(t_k)에서 시작하여 활성화 임계값(Q)과 동일한 양만큼 증가할 때마다, 새로운 인스턴스(t_k+1)가 식별되고 이 인스턴스(t_k+1)에서 스파이크가 방출된다. 대칭적으로, 감지소자가 관찰한 휘도가 시간(t_k)에서 시작하는 양(Q)만큼 감소할 때마다, 새로운 인스턴스(t_k+1)가 식별되고 이 인스턴스(t_k+1)에서 스파이크가 방출된다. 감지소자에 대한 신호 시퀀스는 감지소자에 대한 광 프로파일에 따라 인스턴스(t_k)에서 시간에 따라 위치하는 일련의 스파이크를 포함한다. 센서(10)의 출력은 AER(address-event representation)의 형태이다. 또한, 신호 시퀀스는 입사광의 변화에 대응하는 휘도 속성을 포함할 수 있다.

활성화 임계값(Q)은 고정되거나 휘도의 함수로 조정될 수 있다. 예를 들어 임계값은 초과시 이벤트를 생성하기 위해 휘도 로그의 변화와 비교될 수 있다.

예를 들어, 센서는"A 128×128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, 2008년 2월, pp. 566-576, 또는 미국 특허출원 제2008/0135731 A1호에 기술된 타입의 동적 비전 센서(dynamic vision sensor, DVS)일 수 있다. 이러한 유형의 DVS를 사용하여 망막의 다이나믹스(활동 전위 사이의 최소 지속 시간)에 접근할 수 있다. 다이나믹 거동은 실제 샘플링 주파수를 가진 기존 비디오 카메라의 거동을 능가한다. 이벤트 기반 센서(10)로 DVS를 사용하는 경우, 감지소자에서 발생하는 이벤트와 관련된 데이터는 상기 감지소자의 어드레스, 이벤트 발생 시간 및 이벤트의 극성, 예를 들어, 휘도가 증가하면 +1, 휘도가 감소하면 -1에 해당하는 휘도 속성을 포함한다.

이러한 비동기식 센서가 수신한 광 프로파일과 상기 광 프로파일에 대한 응답으로 이 센서가 생성한 신호의 예가 도 1에 임의의 스케일로 표시된다.

감지소자가 보는 광 프로파일(P)은 설명을 위해 도시된 간략한 예에서 상승 에지와 하강 에지가 번갈아 나타나는 강도 패턴을 포함한다. t₀에서, 휘도가 활성화 임계값(Q)과 동일한 양만큼 증가하면, 감지소자에 의해 이벤트가 발생한다. 이벤트는 발생 시간(t₀) 및 휘도 속성, 즉 DVS의 경우 극성(도 1의 t₀에서 레벨 +1)을 갖습니다. 상승 에지에서 휘도가 증가하면, 활성화 임계값만큼 휘도가 더 증가할 때마다 동일한 양의 극성을 가진 후속 이벤트가 생성된다. 이러한 이벤트는 도 1에서 B0으로 표시된 펄스열을 형성한다. 하강 에지가 시작되면, 휘도가 감소하고 시간 t₁부터 반대 극성, 즉 음의 극성(레벨 -1)의 이벤트의 또 다른 펄스열(B1)이 발생한다.

일부 이벤트 기반 광 센서는 "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS", C. Posch, et al., IEEE Journal of Solid-State Circuits, Vol. 46, No. 1, January 2011, pp. 259-275의 논문에 기술된 비동기식 시간기반 이미지 센서(ATIS)와 같은 광 강도의 측정(예를 들어, 그레이 스케일)과 감지된 이벤트를 연관시킬 수 있다. 이러한 이벤트를 이하 "노출 측정 이벤트(Exposure Measurement events)" 또는 EM 이벤트라 한다.

비동기식 센서는 기존 카메라와 같이 시계에서 샘플링되지 않기 때문에, 매우 큰 시간 정밀도(예를 들어, 약 1㎲)로 이벤트 순서를 고려할 수 있다. 이러한 센서를 사용하여 이미지 시퀀스를 재구성하면, 기존 카메라의 경우 수십 헤르츠인데 비해 수 킬로 헤르츠의 이미지 프레임 레이트를 얻을 수 있다.

장면 내 물체를 추적하기 위해 일부 이벤트 기반 알고리즘이 개발되었다. 그러나, 이러한 알고리즘의 견고성과 안정성은 프레임 기반 알고리즘보다 훨씬 약하다. 특히, 이상치(outliers)에 매우 민감하고 드리프트가 발생한다. 또한, 이러한 알고리즘(예를 들어, "Feature detection and tracking with the dynamic and active-pixel vision sensor (DAVIS)", D. Tedaldi et al., 2016 Second International Conference on Event-based Control, Communication, and Signal Processing (EBCCSP)에 기술된 알고리즘)의 대부분은 물체 모양에 대한 가정에 의존하므로, 이는 물체 감지 및 추적의 정확도를 크게 떨어 뜨릴 수 있다. 또한, 이러한 알고리즘은 가림의 경우 좋지 않은 결과를 나타낸다.

따라서, 상술한 견고성 및 안정성 문제를 겪지 않고 높은 시간 해상도로 수행될 수 있는 물체 추적 방법이 필요하다.

본 발명은 이벤트를 비동기적으로 생성하는 이벤트 기반 센서가 관찰한 장면내 물체를 추적하는 방법에 관한 것이다. 이벤트 기반 센서는 감지소자 매트릭스를 갖는다. 매트릭스의 각 감지소자로부터, 상기 감지소자에 입사하는 광의 변화의 함수로서 각 이벤트가 생성된다. 이 방법은:

제 1 프로세스에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면 내 물체를 감지하는 단계; 및

제 2 프로세스에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 연관된 트랙을 결정하는 단계를 포함하고,

상기 제 1 프로세스는 상기 제 2 프로세스보다 시간 해상도가 낮다.

"추적"은 시간에 따른 장면 내 물체의 위치에 상대적인 시간 순서, 즉 시간에 따른 물체의 궤적에 해당하는 시간 순서를 의미한다. 예를 들어, 트랙은 날짜가 표시된 시계열 좌표(x_i,y_i,t_i) : {(x₁,y₁,t₁), …, (x_k,y_k,t_k)}를 포함할 수 있으며, 여기서, 각 (x_i,y_i)는 시간(t_i)에서 물체를 나타내는 점의 위치에 해당한다. 이 점은 물체가 그 모양으로 표현될 때(예를 들어, 아래에 설명된 바와 같이 분할 마스크를 사용하는 경우) 무게 중심, 물체를 구성하는 도형의 무게 중심, 이 도형의 모서리, 등일 수 있다. 아래에서, "물체 추적"은 장면 내 물체의 궤적 결정에 해당한다.

"물체"는 특징점 또는 모서리나 선과 같은 단순한 로컬 패턴에 국한되지 않는다. 예를 들어, 자동차, 인체 또는 신체 부위, 동물, 도로 표지판, 자전거, 빨간 불, 공 등과 같이 부분적으로 또는 전체적으로 인식되는 더 복잡한 패턴 또는 물질적인 것일 수 있다. "시간 분해능"은 고정 또는 가변적일 수 있는 프로세스의 두 반복 사이에 경과된 시간을 나타낸다.

예를 들어, 이벤트 기반 센서는 EM 이벤트, CD 이벤트 또는 EM 이벤트와 CD 이벤트를 모두 생성할 수 있다. 다시 말해서, 감지 및/또는 추적은 EM 이벤트 및/또는 CD 이벤트에 기초하여 수행될 수 있다.

제 1 프로세스는 예를 들어 이벤트 기반 센서에 의해 수신된 이벤트를 기반으로 결정된 프레임에 적용된 감지 알고리즘을 통해 장면에 존재하는 물체를 정확하게 결정할 수 있도록 한다. 그러나, 이러한 알고리즘은 계산 비용이 많이 들고 매우 높은 시간 해상도에서는 적용되지 않을 수 있다. 제 2 프로세스는 더 높은 시간 해상도에서 제 1 프로세스 중에 감지된 물체를 추적하고 센서에서 새 이벤트가 수신되면 물체의 위치를 업데이트하여 이러한 약점을 보완한다.

이 두 가지 프로세스 방법은 한편으로는 이벤트 기반 카메라의 높은 시간 해상도와 스파스 샘플링(sparse sampling)을, 다른 한편으로는 더 긴 시간 기간 동안 축적된 글로벌 정보와 넓은 시야를 이용할 수 있다. 이벤트 기반 알고리즘(예를 들어, "An asynchronous neuromorphic event-driven visual part-based shape tracking", D.R. Valeiras et al., IEEE transactions on neural networks and learning systems, vol. 26, issue 12 December 2015, pp. 3045-3059에 제공된 알고리즘)과 비교하여, 이 방안은 특히 제 1 프로세스가 제 2 프로세스에 의해 누적된 작은 오차를 정정하는 데 사용될 수 있기 때문에 드리프트 및 가림/나타남에 대한 견고성을 제공한다. 더욱이, 추적할 물체의 모양에 대한 가정을 할 필요가 없다.

프레임 기반 알고리즘과 비해, 이 방안은 높은 시간 해상도를 가능하게 하므로, 전체적인 계산 복잡성을 낮게 유지하면서 완만하고 정확한 궤적 추정을 제공한다.

두 프로세스는 상호 보완적인 특성을 가지고 있으며 두 프로세스 사이에 엄격한 계층 구조가 없다는 점에 유의해야 한다.

일 실시예에서, 제 1 프로세스는 감지된 물체의 카테고리를 결정하는 것을 포함할 수 있다. 예를 들어, 카테고리는 카테고리 세트 중에서 결정될 수 있으며, 상기 카테고리 세트는 애플리케이션에 따라 정의된다. 예를 들어, 운전 보조의 상황에서, 상기 카테고리 세트는 {자동차, 보행자, 도로 표지판, 자전거, 빨간 불} 일 수 있다. 카테고리의 결정은 기계 학습(예를 들어, 지도 학습 알고리즘)에 의해 수행될 수 있다.

일 실시예에서, 제 1 프로세스의 새로운 반복은 미리 정의된 시간 순서에 따라 실행된다.

이를 통해 드리프트가 발생할 수 있는 제 2 프로세스에서 얻은 결과를 정기적으로 조정할 수 있다. 미리 정의된 시간 순서의 두 인스턴스 사이 간격은 고정되거나 가변적일 수 있다. 시간 간격의 크기 순서는 애플리케이션에 따라 달라질 수 있다. 예를 들어, 움직이지 않는 지지대에 설치된 감시/모니터링 시스템의 경우, 제 1 프로세스는 매우 낮은 시간 해상도로 실행될 수 있다. 두 반복 사이의 시간은 약 1 초 또는 2 초가 될 수 있다. 차량의 조종석에 장착된 운전 보조 시스템의 경우, 제 1 프로세스의 두 반복 사이의 시간은 가령, 0.1 초에서 0.5 초 사이로 더 짧을 수 있다.

제 1 프로세스의 새로운 반복은 미리 정의된 시간 순서에 따른 반복 실행 이외에 특정 조건(예를 들어, 아래에 설명된 바와 같이 임계값 아래의 장면 영역에서 수신된 이벤트 개수) 하에서 실행될 수 있다.

일 실시예에서, 제 1 프로세스는 감지소자 매트릭스에서 관심 영역을 결정하는 단계를 포함할 수 있고, 상기 관심 영역은 감지된 물체를 포함하며; 제 2 프로세스는 상기 관심 영역을 포함하는 영역에 있는 감지소자들에 의해 생성된 비동기 이벤트에 기초하여 트랙을 결정하는 단계를 포함할 수 있다.

관심 영역은 그 모양이 물체의 모양에 해당하는 영역(예를 들어, 아래에 설명된 분할 마스크)이거나, 물체보다 크고 물체를 포함하는 영역(예를 들어, 직사각형 또는 다른 정의된 도형일 수 있는 바운딩 박스)일 수 있다. 바운딩 박스는 더 쉽고 계산이 덜 드는 데이터 처리를 허용하지만, 물체의 정확한 위치와 모양에 대한 매우 정확한 정보를 제공하지 않는다. 정확한 정보가 필요한 경우, 분할 마스크를 사용할 수 있다.

물체가 움직이면, 물체 내부, 가장자리 및 가장자리 주변에서 이벤트가 생성된다. 관심 영역 내부와 주변에서 생성된 이벤트를 사용하면 움직이는 물체를 더 잘 추적할 수 있다. 예를 들어, 이 영역은 관심 영역의 미리 정의된 이웃(즉, 관심 영역의 모든 픽셀의 모든 이웃 픽셀을 포함하는 영역)에 해당할 수 있다. 예를 들어, 이웃은 주어진 픽셀 연결성(예를 들어, 8-픽셀 연결성)에 기초하여 결정될 수 있다.

이러한 실시예에서, 제 2 프로세스는 관심 영역을 포함하는 영역에서 생성된 비동기 이벤트에 기초하여 관심 영역을 업데이트하는 단계를 더 포함할 수 있다.

또한, 제 2 프로세스는 관심 영역의 파라미터에 기초하여 제 1 프로세스의 새로운 반복을 실행하는 단계를 더 포함할 수 있고, 상기 파라미터는 관심 영역의 크기 및 관심 영역의 모양 중 하나이다.

일부 파라미터는 실제로 장면에서 잠재적으로 강력한 변화를 나타낼 수 있으며, 이 경우 제 2 프로세스에서 오차가 누적될 수 있다. 제 1 프로세스의 새로운 반복을 실행하면 이러한 오차를 정정하고 장면 내 변경 사항을 정확하게 결정할 수 있다.

대안으로 또는 추가로, 제 2 프로세스는 시간 간격 동안 관심 영역에 생성된 이벤트의 개수가 임계치를 초과하는 경우 제 1 프로세스의 새로운 반복을 실행하는 단계를 더 포함할 수 있다.

마찬가지로, 많은 이벤트가 장면 내 현저한 변화를 나타낼 수 있다.

더욱이, 본 발명의 방법은:

감지된 물체와 결정된 트랙 사이의 연관성을 결정하는 단계; 및

상기 연관성에 기초하여 감지된 물체 세트 및/또는 결정된 트랙 세트를 업데이트하는 단계를 더 포함할 수 있다.

따라서, 제 1 프로세스의 결과와 제 2 프로세스의 결과가 상관될 수 있고, 물체 위치가 보다 정확하게 결정될 수 있다. 실제로, 물체의 궤적은 결정된 연관성을 기반으로 검증되거나 정정될 수 있다. 이는 추적의 견고성과 안정성을 향상시키고 드리프트를 방지한다.

상기 방법은:

감지된 물체 중 소정의 물체가 결정된 트랙 중 소정의 트랙과 연관되면, 상기 소정의 물체의 위치에 기초하여 상기 소정의 트랙을 업데이트하는 단계를 더 포함할 수 있다.

추가로 또는 대안으로, 상기 방법은:

감지된 물체 중 소정의 물체가 결정된 트랙 중 어떤 트랙과도 연관되지 않은 경우, 상기 소정의 물체에 대응하는 새로운 트랙을 초기화하는 단계;

결정된 트랙 중 소정의 트랙이 감지된 물체 중 어떤 물체와도 연관되지 않으면, 상기 소정의 트랙을 삭제하는 단계; 및

감지된 물체 중 제 1 물체와 제 2 물체가 모두 결정된 트랙 중 제 1 트랙과 연관되어 있으면, 제 1 트랙에서 제 2 트랙을 초기화하는 단계; 및

감지된 물체들 중 소정의 물체가 결정된 트랙들 중 제 1 트랙 및 제 2 트랙에 연관되면, 상기 제 1 트랙 및 제 2 트랙을 병합하는 단계를 더 포함할 수 있고,

상기 제 1 및 제 2 트랙 각각은 상기 제 1 및 제 2 물체 중 각각의 물체에 대응한다.

일 실시예에서, 제 2 프로세스는:

각각의 감지된 물체에 대해, 감지소자 매트릭스 내 영역들의 각각의 세트를 결정하는 단계;

미리 정의된 시간 간격 동안 이벤트 기반 센서가 생성한 이벤트를 수신하는 단계;

각 그룹이 상기 수신된 이벤트 중 적어도 하나의 이벤트를 포함하는 이벤트 그룹을 결정하는 단계;

각각의 이벤트 그룹에 대해, 감지소자 매트릭스 내 각각의 존(zone)을 결정하는 단계;

상기 결정된 존과 결정된 영역 간의 연관성을 결정하는 단계; 및

상기 연관성에 기초하여 감지된 물체 세트 및/또는 결정된 트랙 세트를 업데이트하는 단계를 더 포함할 수 있고,

상기 영역들의 세트의 각각의 영역은 각각의 시간과 연관되며;

상기 존은 이벤트 그룹의 모든 이벤트를 포함한다.

이러한 절차는 오차를 정정하고 제 2 프로세스 동안 추적 정확도를 향상시킨다. 감지소자 매트릭스에서 존의 결정은, 예를 들어, 클러스터링 알고리즘에 기초하여 수행될 수 있다.

일 실시예에서, 제 1 프로세스는 감지된 물체에 대한 분할 마스크를 결정하는 단계를 더 포함할 수 있다. 제 2 프로세스는 또한 분할 마스크의 이웃에서 생성된 비동기 이벤트에 기초하여 분할 마스크를 업데이트하는 단계를 포함할 수 있다.

"분할"은 한 이미지를 여러 픽셀 세트로 분할하는 모든 프로세스를 의미하며, 세트의 각 픽셀이 레이블에 할당되어 동일한 라벨을 가진 픽셀은 소정의 특성을 공유하게 된다. 예를 들어, 자동차, 자전거, 보행자 등에 해당하는 모든 픽셀에 동일한 라벨이 할당될 수 있다.

"분할 마스크"는 동일한 라벨을 갖고 동일한 물체에 해당하는 픽셀 세트를 의미한다. 따라서, 분할 마스크의 가장자리는 물체의 가장자리에 해당할 수 있고, 마스크의 내부는 물체에 속하는 픽셀들이다.

분할 마스크를 사용하면 장면 내 물체의 위치를보다 정확하게 결정할 수 있다. 이는 제 1 및 제 2 프로세스를 실행하는 데 물체 모양에 대해 미리 정의된 모델이 필요하지 않기 때문에 가능하다.

또한, 상기 방법은:

이벤트 기반 센서로부터 수신된 이벤트와 관련된 제 1 설명 파라미터를 추출하는 단계;

분할 마스크에 대응하는 이벤트에 연관된 제 2 설명 파라미터를 추출하는 단계; 및

상기 제 1 설명 파라미터 중 하나와 상기 제 2 설명 파라미터 중 하나 사이의 거리를 미리 정의된 값과 비교함으로써 상기 분할 마스크를 업데이트하는 단계를 더 포함할 수 있고,

이벤트와 관련된 상기 제 1 및 제 2 설명 파라미터는 이벤트의 극성 및 이벤트의 속도 중 적어도 하나를 포함한다.

따라서, 분할 마스크는 제 1 및/또는 제 2 프로세스의 각 반복시 정확하게 업데이트될 수 있다.

본 발명의 또 다른 태양은:

장면으로부터 수신된 광에 비동기식으로 이벤트를 생성하는 감지소자 매트릭스를 갖는 이벤트 기반 센서에 연결하기 위한 인터페이스; 및

제 1 프로세스에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면의 물체를 감지하고; 제 2 프로세스에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 관련된 트랙을 결정하도록 구성된 프로세서를 포함하고,

상기 매트릭스의 각각의 감지소자로부터, 감지소자에 입사하는 광의 변화의 함수로 각 이벤트가 생성되며,

상기 제 1 프로세스는 제 2 프로세스보다 시간 해상도가 낮은 신호 처리 유닛에 관한 것이다.

본 발명의 또 다른 목적은 장면으로부터 수신된 광에 비동기식으로 이벤트를 생성하는 감지소자 매트릭스를 갖는 이벤트 기반 센서와 관련된 프로세서에서 실행될 저장된 명령어를 포함하는 컴퓨터 프로그램 제품으로서,

상기 매트릭스의 각 감지소자로부터, 상기 감지소자에 입사되는 광의 변화의 함수로 각각 이벤트가 생성되고, 상기 명령어의 실행을 통해 프로세서가:

제 1 프로세스에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면의 물체를 감지하고;

제 2 프로세스에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 관련된 트랙을 결정하며,

상기 제 1 프로세스는 제 2 프로세스보다 시간 해상도가 낮은 컴퓨터 프로그램 제품에 관한 것이다.

본 명세서에 개시된 방법 및 장치의 다른 특징 및 장점은 첨부 도면을 참조하여 비제한적인 실시예의 하기 설명으로부터 명백해질 것이다.

본 발명의 내용에 포함됨.

본 발명은 첨부 도면의 도면에서 제한이 아닌 예로서 예시되며, 동일한 참조 번호는 동일한 요소를 나타낸다.
-도 1은 비동기식 센서가 수신한 광 프로파일 및 상기 광 프로파일에 응답하여 비동기식 센서가 생성한 신호의 예를 나타낸다.
-도 2는 본 발명의 가능한 실시예를 설명하는 흐름도이다.
-도 3a 및 3b는 본 발명의 가능한 실시예에서 물체의 감지 및 추적의 예를 나타낸다.
-도 4는 본 발명의 가능한 실시예에서 트랙 세트 및 물체 세트의 업데이트를 설명하는 흐름도이다.
-도 5는 본 발명의 가능한 실시예에서 트랙 세트 및 물체 세트의 업데이트를 나타낸다.
-도 6은 본 발명의 가능한 실시예에서 장면의 물체와 관련된 분할 마스크를 나타낸다.
-도 7은 본 발명을 가능하게 하는 장치에 대한 가능한 실시예이다.

본 발명과 관련하여, 이벤트 기반 비동기식 비전 센서가 장면을 향하고 하나 이상의 렌즈를 포함하는 획득 광학 장치를 통해 상기 장면의 광 흐름을 수신하며 배치되어 있다고 가정한다. 예를 들어, 센서는 획득 광학 장치의 이미지 면에 배치될 수 있다. 센서는 픽셀 매트릭스로 구성된 감지소자 그룹으로 구성된다. 감지소자에 해당하는 각 픽셀은 장면 내 광의 변화에 따라 연속적인 이벤트를 생성한다. 감광소자(p)로부터 비동기적으로 수신된 이벤트 e(p, t)의 시퀀스가 장면 내 물체를 감지하고 추적하기 위해 처리된다.

도 2는 본 발명의 가능한 실시예를 설명하는 흐름도이다.

본 발명에 따르면, 물체 추적 방법은 제 1 반복 프로세스(201) 및 제 2 반복 프로세스(202)를 포함할 수 있다. 제 1 프로세스(201)는 제 2 프로세스(202)보다 시간 해상도가 낮다. 따라서, 제 1 프로세스(201)를 "느린 프로세스"라 하고, 제 2 프로세스(202)를 "빠른 프로세스"라 한다.

일 실시예에서, 시간(t_n)에서 제 1 프로세스(201)의 반복 동안, 전체 시야 또는 시야의 대부분(예를 들어, 시야의 70 % 이상의 퍼센트를 나타내는 부분)에 대해 수신된 정보에 기초하여 장면 내 물체 세트를 검출한다. 상기 정보는 시간 간격 동안 이벤트 기반 센서가 생성한 비동기 이벤트일 수 있다. 예를 들어, 정보는 느린 프로세스(201)의 (시간(t_n-1)에서) 이전 반복과 느린 프로세스(201)의 (시간(t_n)에서) 현재 반복 사이에, 또는 t_n - Δt 사이에 이벤트 기반 센서가 생성한 비동기 이벤트에 해당할 수 있고, Δt는 미리 결정된 시간 간격이다.

느린 프로세스(201)의 반복 동안, 장면의 일부 물체가 감지된다. 예를 들어, 수신된 정보(즉, 수신된 비동기 이벤트)로부터 프레임을 생성하고 이 프레임에서 종래 기술의 물체 감지 알고리즘을 실행할 수 있다. 예를 들어, ATIS 타입의 센서를 사용하여 비동기 이벤트와 관련된 그레이 스케일 정보를 제공하도록 센서를 구성한 경우, 이미지의 각 픽셀에 이벤트가 수신된 마지막(예를 들어, 가장 최근) 이벤트의 그레이 스케일을 기여함으로써 그레이스케일 측정으로부터 프레임이 구성될 수 있다.

예를 들어 DVS 유형의 센서를 사용하여 그레이 스케일 측정을 사용할 수 없는 경우, 시간 간격 동안 수신된 이벤트를 합산하여 프레임을 얻을 수 있다. 대안으로, 이미지의 각 픽셀에 대해, 이 픽셀에서 수신된 마지막 이벤트(즉, 가장 최근 이벤트)의 시간이 저장될 수 있고 이러한 저장된 시간을 사용하여 프레임을 생성할 수 있다. 또 다른 대안은 가령 "Real-time intensity-image reconstruction for event cameras using manifold regularization", Reinbacher et al., 2016.에서 제안된 것처럼 이벤트로부터 그레이 스케일을 재구성하는 것이다.

반드시 프레임을 생성할 필요 없이, 다른 감지 알고리즘을 사용할 수 있다. 예를 들어, 감지소자 매트릭스의 주어진 영역에서 수신된 이벤트를 카운트하고 이벤트의 개수가 미리 정의된 임계값보다 큰 경우 이벤트 기반(또는 "이벤트 드리븐(event-driven)") 분류기를 적용할 수 있다. 대안은 시야의 가능한 모든 위치와 스케일로 이러한 분류기를 실행하는 것이다.

느린 프로세스(201)의 2 개의 연속적인 반복 사이의 시간이 반드시 고정된 것은 아니라는 점에 유의해야 한다. 예를 들어, 전체 시야에서 또는 시야의 하나 이상의 존에서 시간 간격 동안 생성된 이벤트의 개수가 미리 정의된 임계값을 초과 하면, 느린 프로세스(201)의 새로운 반복이 실행될 수 있다. 추가로 또는 대안으로, 느린 프로세스(201)의 반복은 (일정하거나 가변적인 시간 단계와 함께) 미리 정의된 시간 시퀀스에 따라 수행될 수 있다.

느린 프로세스(201)는 감지된 물체 세트(203)를 출력한다. 이 물체 세트(203)는 아래에 설명된 바와 같이 트랙을 업데이트하거나 새로운 트랙을 초기화하는데 사용될 수 있다. 유리하게는, 느린 프로세스는 각각의 감지된 물체에 대해 물체의 상대적 카테고리(예를 들어, "자동차", "보행자", "도로 표지판" 등)를 결정하도록 구성된다. 예를 들어, 이는 기계 학습에 기반한 알고리즘을 사용하여 수행될 수 있다.

빠른 프로세스(202) 동안, 각각의 물체와 연관된 트랙은 이벤트 기반 센서가 생성한 비동기 이벤트에 기초하여 업데이트된다. 일 실시예에서, 이 업데이트는 예를 들어 감지소자 매트릭스의 작은 존에서, 예를 들어, 물체 주변에 위치하며 물체를 구성하는 영역에서, 생성된 비동기 이벤트에 기초하여 수행된다. 물론, 이는 (예를 들어, 추적할 물체에 각각 연결된) 여러 관심 영역이 될 수 있다. 예를 들어, 이 영역은 물체의 가장자리 이웃(예를 들어, 4, 8 또는 16 픽셀 연결 이웃)을 고려하여 정의할 수 있다. 따라서, 빠른 프로세스(202)는 느린 프로세스(201) 동안 감지된 물체 주변의 로컬 정보 또는 (전체 시야 또는 시야의 대부분에 대한 글로벌 정보를 기반으로 수행되는 느린 프로세스(201)와 대조적으로) 빠른 프로세스(202)의 이전 반복에서 트랙에 의해 주어진 물체의 위치 주변에 기초하여 수행된다.

새로운 트랙은 또한 빠른 프로세스(202) 동안 초기화될 수 있다. 예를 들어, 추적된 물체가 2 이상의 물체로 분할될 경우, 각각의 분할에 대해 새로운 트랙이 각각 생성될 수 있다. 빠른 프로세스(202) 중에 고속 검출기가 실행되면 새로운 트랙이 초기화될 수도 있다.

빠른 프로세스의 새로운 반복은 감지소자 매트릭스의 영역에서 생성된 각각의 새로운 이벤트에서 또는 감지소자 매트릭스의 영역에서 생성된 이벤트의 개수가 미리 정의된 임계값을 초과할 때 실행될 수 있다. 따라서, 빠른 프로세스(202)의 2 개의 연속적인 반복 사이의 시간은 일반적으로 가변적이다. 처리될 정보가 로컬이고 "관련된" 데이터만(중복성이 없고 장면의 변화와 관련한 데이터)을 포함하기 때문에, 빠른 프로세스(202)는 매우 높은 시간 해상도로 실행될 수 있다.

더욱이, 하나 또는 여러 관심 영역(들)에서 생성된 이벤트의 개수가 다른 미리 정의된 임계값을 초과하면 느린 프로세스(201)의 새로운 반복이 실행될 수 있다. 실제로, 매우 많은 이벤트가 장면의 현저한 변화를 나타낼 수 있으며, 느린 프로세스의 새로운 반복을 실행하면 이러한 변화에 대해 더 신뢰할 수 있는 정보가 제공될 수 있다.

감지소자 매트릭스의 영역은 빠른 프로세스의 반복 동안 업데이트될 수 있다. 실제로 추적할 물체가 장면 내에서 움직일 때, 그 모양은 시간에 따라 변경될 수 있다(예를 들어, 턴하는 자동차를 한 번에 뒤에서 볼 수 있고 나중에 측면에서 볼 수 있다). 물체의 가장자리에서 이벤트가 수신되기 때문에, 감지소자 매트릭스의 영역은 (가장자리에 해당하는 픽셀을 억제/추가함으로써) 수신된 이벤트를 기반으로 업데이트될 수 있다. 느린 프로세스(201)의 새로운 반복은 감지소자 매트릭스 영역의 파라미터(예를 들어, 형상 또는 크기)에 기초하여 실행될 수 있다. 예를 들어, 감지소자 매트릭스 영역의 크기가 빠른 프로세스(202)의 두 반복 사이에서 상당히 증가/감소하는 경우(예를 들어, 두 개의 서로 다른 시간에서 크기의 차이가 고정된 퍼센트를 초과하는 경우) 또는 감지소자 매트릭스 영역의 모양이 빠른 프로세스(202)의 두 반복 사이에서 상당히 변하는 경우, 이는 감지소자 매트릭스 영역이 이제 두 개의 다른 물체 또는 트랙이 연관되었던 물체와는 다른 물체를 포함하는 것을 나타낼 수 있다. 제 1 프로세스의 새로운 반복을 실행하면 올바른 시나리오가 정확하게 결정될 수 있다.

빠른 프로세스(202)는 트랙 세트(204)를 출력한다. 이러한 트랙 세트(204)는 종래 기술의 임의의 이벤트 기반 추적 알고리즘에 의해 획득될 수 있다. 위에서 언급한 바와 같이, 순전히 이벤트 기반 추적 알고리즘은 이상치에 매우 민감할 수 있으며 드리프트가 발생할 수 있다. 일 실시예에서, 이러한 단점을 피하고 추적의 견고성 및 안정성을 개선하기 위해, 빠른 프로세스(202)에 의해 결정된 트랙과 느린 프로세스(201)에 의해 감지된 물체 사이에 연관(205)이 결정될 수 있다. 이들 연관에 기초하여, 트랙 세트(204) 및/또는 감지된 물체 세트(203)가 업데이트될 수 있다(206).

도 3a 및 3b는 본 발명의 가능한 실시예에서 물체의 감지 및 추적의 예를 나타낸다.

도 3a는 느린 프로세스(201)의 반복 동안 감지된 물체(예를 들어, 자동차)를 나타낸다. 도 3a의 실시예에서, 물체는 상기 물체를 포함하는 직사각형 바운딩 박스(301)로 표현된다. 이 경우, 바운딩 박스는 튜플(x, y, w, h)로 표시될 수 있고, 여기서 (x, y)는 직사각형의 좌상단 모서리의 좌표이고, w는 폭이며, h는 직사각형의 높이다. 바운딩 박스의 "위치"는 좌상단 모서리(또는 박스의 임의의 다른 지점, 예를 들어 다른 모서리, 무게 중심 등)의 위치(x, y)에 해당할 수 있다. 물론, 다른 표현(예를 들어, 물체의 모양 또는 직사각형이 아닌 다른 미리 정의된 기하학적 물체)도 가능하다. 보다 일반적으로, 이러한 표현을 "관심 영역"이라 한다. 관심 영역을 포함하는 영역(302)은 빠른 프로세스(202)를 실행하기 위해 결정될 수 있다: 추적은 이 영역(302)에서 발생한 이벤트에 기초하여 수행될 수 있다.

도 3b는 가능한 실시예에서 t1 < t2 < t3 < t4로 시간(t1, t2, t3, t4)에서 획득된 물체의 감지 및 추적 시퀀스를 나타낸다. 실선 박스(303a, 303b)는 각각의 시간(t1 및 t4)에서 느린 프로세스에 의해 출력되는 관심 영역에 해당하고, 점선 박스(304a, 304b)는 각 시간(t2 및 t3)에서 빠른 프로세스에 의해 출력된 관심 영역에 해당한다. 이 도면에 나타낸 바와 같이, 관심 영역은 빠른 프로세스 중에 업데이트될 수 있다.

도 4는 본 발명의 가능한 실시예에서 트랙 세트 및 물체 세트의 업데이트를 설명하는 흐름도이다.

도 4에 나타낸 바와 같이, 연관의 결정(205)은 물체(o) 및 트랙(t)의 미리 정의된 연관 함수(401) f(t, o)에 기초할 수 있다. 각 트랙(t)에 대해, 이 연관 함수(401)를 최적화함으로써 대응하는 물체(o)를 결정할 수 있다(402).

물체가 각각의 관심 영역으로 표현되는 경우, 연관 함수(401)는 관심 영역의 지역을 기반으로 정의될 수 있다. 예를 들어, 이러한 함수(401)는 다음과 같이 정의될 수 있다:

여기서 area(r)는 도면의 면적(r)(직사각형의 경우 area(r) = 폭 × 길이)이고 t∩o는 도 5의 좌측 부분에 표시된 것처럼 t와 o의 교차점이다(여기서 실선 박스는 느린 프로세스에 의해 감지된 물체에 해당하고 점선 박스는 빠른 프로세스에 의해 출력된 트랙의 가장 최근 위치에 해당하며, 모든 박스가 동일한 프레임에 표시된다). 이 경우, 함수(401) f(t, o)를 최대화하여 트랙(t)와 물체(o) 사이에 연관이 수행될 수 있다.

다시 도 4를 참조하면, 트랙 세트 및/또는 감지된 물체 세트는 다음과 같이 업데이트될 수 있다. 감지된 물체 세트 중 각 물체(o)에 대해, f(t, o)의 가장 높은 값을 이용해 결정된 트랙 세트에서 트랙(들)을 결정한다:

-이러한 값이 0이 아니면, 물체(o)를 결정된 트랙(t)에 연관시키고, o 및/또는 t의 크기 및/또는 위치에 기초하여 t의 크기 및/또는 위치를 업데이트(407)한다(예를 들어, t의 위치가 o의 위치와 같거나, t와 o의 위치의 조합, 예를 들어, 센터 또는 중심일 수 있다);

-두 개의 트랙(t1 및 t2)이 있는 경우, 주어진 물체(o)에 대해,

및 f(o, t₁) - f(o, t₂) <ε가 되며, 여기서 ε은 미리 정의된 파라미터이고(바람직하게는 충분히 작게 선택되고), 그 후 t₁과 t₂를 병합한다(405). 병합된 트랙의 크기 및/또는 위치는 o의 크기 및/또는 위치에 기초하여 결정될 수 있다;

-감지된 물체 중 o₁과 o₂가 두 개 있는 경우,

이고, 그런 후, t_m을 o₁ 및 o₂ 중 하나에 각각 설정된 위치 및/또는 크기를 갖는 2 개의 트랙(t₁ 및 t₂)으로 분할한다(406);

-트랙(t)이 어떤 물체(o)와 연관되어 있지 않다면, 상기 트랙(t)를 삭제한다(404);

-물체(o)가 어떤 트랙(t)과도 연관되지 않은 경우, 물체(o)의 크기 및/또는 위치와 동일한 새 크기 및/또는 위치를 갖는 새 트랙을 생성한다(403).

트랙 세트의 이러한 업데이트의 예가 도 5의 우측 부분에 도시되어 있다. 박스(501)는 물체가 단일 트랙에 연관되어 있는 경우에 해당한다(박스의 크기/위치는 o 및 t의 크기/위치의 조합이다). 박스(502, 503)는 트랙이 하나의 물체에 연관되어 있기 때문에 두 개의 트랙으로 분할된 경우에 해당한다. 박스(504)는 새로운 물체가 감지되었기 때문에 새로운 트랙이 생성된 경우에 해당한다. 트랙(505)은 어떤 물체와도 연관되지 않기 때문에 삭제된다.

물론, 다른 연관 함수가 사용될 수 있다. 예를 들어, f(t, o)는 t와 o의 미리 정의된 두 모서리 사이(예를 들어, t의 좌상단 모서리와 o의 좌상단 모서리 사이) 사이의 수학적 거리(예를 들어, 유클리드 거리, 맨해튼 거리 등)에 해당할 수 있다. 이 경우, 함수 f(t, o)를 최소화하여 트랙(t)과 물체(o)간에 연관을 수행할 수 있다.

물체와 트랙 간의 연관을 수행하기 위해 ,주어진 시간 기간 동안 바운딩 박스에 속하는 이벤트로부터 (예를 들어, "HATS: Histograms of Averaged Time Surfaces for Robust Event-based Object Classication", Sironi et al., CVPR 2018에 정의된 바와 같은) 디스크립터들을 계산하고 상기 디스크립터들의 차의 놈(norm)을 비교함으로써, 더 복잡한 거리 메트릭스를 사용할 수 있다.

일 실시예에서, 빠른 프로세스는 (느린 프로세스의 감지 결과와 별개로) 트랙의 업데이트를 포함할 수 있다. 예를 들어, 빠른 프로세스 동안, 미리 정의된 시간 기간(T)(예를 들어, 5 ~ 10ms) 동안 이벤트를 누적할 수 있다. 이벤트 기반 추적 프로세스의 여러 반복이 T 동안 수행될 수 있다. AE가 T 동안 누적된 이벤트의 세트를 나타내도록 한다. 유리하게는, AE는 전체 시야 또는 시야의 대부분에서 T 동안 수신된 모든 이벤트를 포함한다. 대안으로, AE는 시야의 하나 이상의 작은 부분(들)에서 T 동안 수신된 모든 이벤트를 포함할 수 있다.

AE의 이벤트는 클러스터링 알고리즘(예를 들어, 중간점 이동 클러스터링 알고리즘(Medoid shifts clustering algorithm), 그러나 다른 알고리즘도 사용될 수 있음)을 사용하여 적어도 하나의 그룹으로 클러스터링될 수 있다. 이 클러스터링은 일반적으로 이벤트가 시간 및 공간에서 서로 (수학적 거리에 따라) "가까우면서" 다른 그룹의 이벤트와 먼 경우 함께 그룹화하여 수행된다. 클러스터는 상기 클러스터의 모든 이벤트를 포함하는 가장 작은 직사각형으로 표현될 수 있다(다른 표현도 가능하다). 단순히 하기 위해, 다음에서, "클러스터"는 이벤트 그룹과 이벤트 그룹의 표현(예를 들어, 직사각형) 모두를 의미한다.

트랙 세트 중 각 트랙(t) 및 클러스터 세트 중 각 클러스터(c)에 대해, f(t, c)가 계산될 수 있으며, f는 위에서 정의된 바와 같은 연관 함수이다. 소정의 트랙(t)에 대해, 가장 높은(또는 선택한 연관 함수에 따라 가장 작은) f(t, c)에 해당하는 클러스터(c)가 t에 연관될 수 있으며, t의 위치와 크기는 c의 위치와 크기에 따라 업데이트될 수 있다. 일 실시예에서, 어떤 트랙(t)과도 연관되지 않은 클러스터(c)는 삭제될 수 있다(이는 이상치를 억제할 수 있게 한다). 일 실시예에서, c의 이벤트 개수가 미리 결정된 임계값 미만인 경우에만 클러스터(c)를 억제하도록 결정될 수 있다.

실시예에서, 관심 영역의 모든 픽셀을 라벨링하고 추적된 물체에 속하는 픽셀을 다른 픽셀과 구별하기 위해 분할을 수행할 수 있다. 예를 들어, 물체의 모든 픽셀은 라벨 1에 연관될 수 있고, 다른 모든 픽셀은 라벨 0에 연관될 수 있다. 이러한 분할은 관심 영역 내에서 물체의 위치에 대한 정밀도를 제공한다. 물체에 해당하는 라벨이 지정된 픽셀 세트(예를 들어, 라벨 1에 연결된 모든 픽셀)를 "분할 마스크"라 한다. 분할은 느린 단계에서 물체를 감지한 후 추가 분할 알고리즘을 사용하여 수행될 수 있거나, 이벤트 기반 센서에서 생성된 프레임에 대해 감지 및 분할 알고리즘을 사용하여 동시에 수행될 수 있다. 물체와 연관된 트랙은 분할 마스크의 시간 시퀀스를 포함할 수 있으며, 각 마스크는 위치(예를 들어, 마스크의 무게 중심)에 해당할 수 있다.

분할 마스크는 감지된 관심 영역(예를 들어, 감지된 바운딩 박스)에서 생성될 수 있다. 예를 들어, 분할 마스크는 센서가 생성한 프레임에서 컨볼루션 신경망(CNN) 알고리즘을 실행하여 결정될 수 있다. 대안으로, 마지막 시간 간격에서 수신된 이벤트 세트를 사용하여 마스크 경계를 결정할 수 있다. 예를 들어, 이는 마지막 시간 간격에서 이벤트를 수신한 픽셀 세트의 컨벡스 헐(convex hull)을 계산하여 행해질 수 있다. 도 6은 본 발명의 가능한 실시예에서 획득된 관심 영역(601) 및 분할 마스크(602)의 예를 나타낸다.

분할 마스크는 빠른 루프 동안 업데이트될 수 있다. 일 실시예에서, 이 업데이트는 이벤트 별로 수행된다. 예를 들어, 이벤트가 가까운 경우(예를 들어, 마스크의 픽셀의 미리 정의된 이웃에 있는 경우), 이 이벤트는 움직이는 물체에 의해 생성된 것으로 가정할 수 있다. 따라서, 이 이벤트가 마스크 외부에 있으면, 해당 픽셀이 마스크에 추가되고, 상기 이벤트가 마스크 내부에 있으면, 해당 픽셀이 마스크에서 제거될 수 있다.

추가로 또는 대안으로, 분할 마스크는 이벤트에 연관된 하나 이상의 디스크립터(들)와 마스크에 연관된 하나 이상의 디스크립터(들) 사이의 수학적 거리에 기초하여 업데이트될 수 있다. 보다 구체적으로, 이벤트는 극성 및/또는 속도에 대한 정보를 포함하는 벡터인 디스크립터에 의해 설명될 수 있다(속도는 예를 들어 이벤트 기반 옵티칼 플로우 알고리즘을 사용하여 계산될 수 있다). 마스크에 할당된 모든 이벤트의 디스크립터를 평균하여 유사한 디스크립터를 마스크에 연관시킬 수 있다. 그 후, 상기 디스크립터와 마스크 디스크립터 사이의 수학적 거리가 미리 정의된 임계값 미만이면 이벤트가 마스크에 추가될 수 있고, 이 거리가 이 임계값보다 높으면 이벤트가 마스크에서 제거될 수 있다.

다른 실시예에서, (빠른 프로세스 동안) 마스크 업데이트는 이벤트 그룹 및 확률적 추론을 사용하여 수행된다. 이 아이디어는 장면 내 변경 우도를 계산하기 위해 상기 장면에 대한 사전 지식(느린 프로세스의 감지/분할 알고리즘의 결과)을 새로운 정보(유입 이벤트 그룹)와 함께 사용하는 것이다. 분할 마스크는 최대 우도(들)와 관련된 시나리오(들)에 기초하여 업데이트될 수 있다.

예를 들어, 장면의 사전 지식은 확률 매트릭스(지식 매트릭스)로 표현될 수 있으며, 이는 물체, 가령, 자동차(예를 들어, 마스크에 자동차가 있고(자동차 확률 100 %) 외부에는 아무것도 없는(자동차 확률 0 %) 것을 알고 있음)에 속하는 픽셀의 확률을 나타내는 값들의 격자이다. 이 매트릭스는 종래 기술분야의 기술, 예를 들어 CRF(Conditional Random Fields) 또는 옵티컬 플로우를 사용하여 활성 트랙의 마스크로부터 얻을 수 있다.

수신된 이벤트는 예를 들어 (ATIS 타입 센서의 경우) 그레이 스케일 값에 기초하여 이미지를 업데이트하는 데 사용될 수 있다. 수신된 이벤트는 장면에 대한 지식을 업데이트하는데도 사용된다. 예를 들어, 배경의 이벤트는 자동차가 있을 확률을 높이고(이벤트는 자동차가 해당 픽셀로 방금 이동했음을 의미할 수 있음) 자동차 마스크 상의 이벤트는 자동차가 아직 거기에 있을 확률을 낮출 수 있다(이벤트는 자동차가 픽셀에서 나갔음을 의미한다.)

이러한 업데이트 후에, 예를 들어 확률이 매우 낮은 영역, 가령, 5 % 미만의 영역(이벤트가 수신되지 않은 마스크 외부 영역), 확률이 중간인 영역, 가령, 5 % 내지 95 %의 영역(이벤트가 수신되는 영역), 및 확률이 매우 높은 영역, 가령, 95 % 이상의 영역(이벤트가 수신되지 않는 마스크 내부 영역)이 있을 수 있다.

모든 업데이트가 수행되면, 지식 매트릭스와 그레이 이미지를 사용하여 통계적 추론을 통해 확률 모델(숫자로 가장 가능성이 높은 구성을 찾기)을 구성할 수 있다. 마스크는 이 확률 모델을 기반으로 업데이트될 수 있다.

선택적으로, (예를 들어, 분할에 홀(holes)을 방지하기 위해), 정규화 작업이 업데이트된 마스크에 적용될 수 있다.

마스크가 두 개로 분할되면, 새 트랙이 생성될 수 있다; 마스크가 축소되거나 확률 면에서 너무 낮으면, 새로운 감지 반복이 수행될 수 있다(물체가 감지되지 않으면 트랙이 삭제될 수 있다). 그렇지 않으면, 마스크가 단순히 트랙에 추가될 수 있다.

도 7은 본 발명을 가능하게 하는 장치에 대한 가능한 실시예이다.

이 실시예에서, 장치(700)는 컴퓨터를 포함하고, 이 컴퓨터는 회로에 로딩 가능하고 프로그램 명령어가 회로(704)에 의해 실행될 때 회로(704)가 본 발명의 단계를 수행하게 하도록 적응된 프로그램 명령어를 저장하는 메모리(705)를 포함한다.

메모리(705)는 또한 전술한 바와 같이 본 발명의 단계를 수행하기 위한 데이터 및 유용한 정보를 저장할 수 있다.

회로(704)는 예를 들어:

-컴퓨터 언어로 명령어를 해석하도록 적용되고, 상기 명령어를 포함하는 메모리를 포함할 수 있으며, 명령어를 포함하는 메모리에 연결 또는 부착될 수 있는 프로세서 또는 처리 유닛;

-컴퓨터 언어로 명령을 해석하도록 적용된 프로세서/처리 유닛 및 명령어를 포함하는 메모리의 연결 장치;

-본 발명의 단계가 실리콘 내에 기술된 전자 카드; 또는

-FPGA(≪필드 프로그래밍 가능 게이트 어레이≫) 칩과 같은 프로그래밍 가능한 전자칩일 수 있다.

이 컴퓨터는 본 발명에 따른 비동기 이벤트의 수신을 위한 입력 인터페이스(703) 및 추적 방법의 결과(예를 들어, 시간상 물체의 일련의 위치 및 물체의 클래스)를 제공하기 위한 출력 인터페이스(706)를 포함한다.

컴퓨터와의 상호 작용을 용이하게 하기 위해, 스크린(701) 및 키보드(702)가 제공되고 컴퓨터 회로(704)에 연결될 수 있다.

도 2는 본 발명의 가능한 실시예를 설명하는 흐름도이다. 이 흐름도의 일부는 장치(700)에 의해 실행될 수 있는 컴퓨터 프로그램의 예의 단계들을 나타낼 수 있다.

"구비하다", "포함하다", "통합하다", "수용하다", "이다" 및 "갖다"와 같은 표현은 명세서 및 관련된 청구항의 해석시 비배타적인 방식으로 해석되어야 한다. 즉, 명시적으로 정의되지 않은 기타 항목 또는 구성 요소들도 허용하도록 해석된다.

당업자는 명세서에 개시된 다양한 파라미터가 변경될 수 있고 개시된 다양한 실시예가 본 발명의 범위를 벗어나지 않고 조합될 수 있다는 것을 쉽게 이해할 것이다.

Claims (15)

1. 이벤트를 비동기적으로 생성하는 감지소자 매트릭스를 가진 이벤트 기반 센서가 관찰한 장면 내 물체를 추적하는 방법으로서,
   상기 매트릭스의 각각의 감지소자로부터, 상기 감지소자에 입사하는 광의 변화의 함수로서 각각의 이벤트가 생성되고,
   상기 방법은:
   제 1 프로세스(201)에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면 내 물체를 감지하는 단계; 및
   제 2 프로세스(202)에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 연관된 트랙을 결정하는 단계를 포함하고,
   상기 제 1 프로세스(201)는 상기 제 2 프로세스(202)보다 시간 해상도가 낮은 장면 내 물체를 추적하는 방법.
2. 제 1 항에 있어서,
   제 1 프로세스(201)는 감지된 물체의 카테고리를 결정하는 단계를 포함하는 장면 내 물체를 추적하는 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   미리 정의된 시간 시퀀스에 따라 제 1 프로세스(201)의 새로운 반복이 실행되는 장면 내 물체를 추적하는 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   제 1 프로세스(201)는 감지소자 매트릭스 내 관심 영역(301)을 결정하는 단계를 포함하고, 상기 관심 영역(301)은 감지된 물체를 포함하며;
   제 2 프로세스(202)는 상기 관심 영역(301)을 포함하는 영역(302)에 있는 감지소자들에 의해 생성된 비동기 이벤트에 기초하여 트랙을 결정하는 단계를 포함하는 장면 내 물체를 추적하는 방법.
5. 제 4 항에 있어서,
   제 2 프로세스(202)는 관심 영역(301)을 포함하는 영역(302)에서 생성된 비동기 이벤트에 기초하여 관심 영역(301)을 업데이트하는 단계를 포함하는 장면 내 물체를 추적하는 방법.
6. 제 4 항 또는 제 5 항에 있어서,
   제 2 프로세스(202)는 관심 영역(301)의 파라미터에 기초하여 제 1 프로세스(201)의 새로운 반복을 실행하는 단계를 더 포함하고, 상기 파라미터는 관심 영역(301)의 크기 및 관심 영역(301)의 모양 중 하나인 장면 내 물체를 추적하는 방법.
7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
   제 2 프로세스(202)는 시간 간격 동안 관심 영역(301)에 생성된 이벤트의 수가 임계치를 초과하는 경우 제 1 프로세스(201)의 새로운 반복을 실행하는 단계를 더 포함하는 장면 내 물체를 추적하는 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   감지된 물체와 결정된 트랙 사이의 연관성을 결정하는 단계(205); 및
   상기 연관성에 기초하여 감지된 물체 세트(203) 및/또는 결정된 트랙 세트(204)를 업데이트(206)하는 단계를 더 포함하는 장면 내 물체를 추적하는 방법.
9. 제 8 항에 있어서,
   감지된 물체 중 소정의 물체가 결정된 트랙(204) 중 소정의 트랙과 연관되면, 상기 소정의 물체의 위치에 기초하여 상기 소정의 트랙을 업데이트(407)하는 단계를 더 포함하는 장면 내 물체를 추적하는 방법.
10. 제 8 항 또는 제 9 항에 있어서,
    감지된 물체(203) 중 소정의 물체가 결정된 트랙(204) 중 어떤 트랙과도 연관되지 않은 경우, 상기 소정의 물체에 대응하는 새로운 트랙을 초기화(403)하는 단계;
    결정된 트랙(204) 중 소정의 트랙이 감지된 물체(203) 중 어떤 물체와도 연관되지 않으면, 상기 소정의 트랙을 삭제(404)하는 단계; 및
    감지된 물체(203) 중 제 1 물체와 제 2 물체가 모두 결정된 트랙(204) 중 제 1 트랙과 연관되어 있으면, 제 1 트랙에서 제 2 트랙을 초기화(406)하는 단계; 및
    감지된 물체들(203) 중 소정의 물체가 결정된 트랙들(204) 중 제 1 트랙 및 제 2 트랙에 연관되면, 상기 제 1 트랙 및 제 2 트랙을 병합(405)하는 단계를 더 포함하고,
    상기 제 1 및 제 2 트랙 각각이 상기 제 1 및 제 2 물체 중 각각의 물체에 대응하는, 장면 내 물체를 추적하는 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    제 2 프로세스(202)는:
    각각의 감지된 물체에 대해, 감지소자 매트릭스 내 영역들의 각각의 세트를 결정하는 단계;
    미리 정의된 시간 간격 동안 이벤트 기반 센서가 생성한 이벤트를 수신하는 단계;
    각 그룹이 상기 수신된 이벤트 중 적어도 하나의 이벤트를 포함하는 이벤트 그룹을 결정하는 단계;
    각각의 이벤트 그룹에 대해, 감지소자 매트릭스 내 각각의 존(zone)을 결정하는 단계;
    상기 결정된 존과 결정된 영역 간의 연관성을 결정하는 단계; 및
    상기 연관성에 기초하여 감지된 물체 세트 및/또는 결정된 트랙 세트를 업데이트하는 단계를 더 포함하고,
    상기 영역들의 세트의 각각의 영역은 각각의 시간과 연관되며;
    상기 존은 이벤트 그룹의 모든 이벤트를 포함하는, 장면 내 물체를 추적하는 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    제 1 프로세스(201)는 감지된 물체에 대한 분할 마스크(602)를 결정하는 단계를 더 포함하고, 제 2 프로세스(202)는 상기 분할 마스크(602)의 이웃에서 생성된 비동기 이벤트에 기초하여 상기 분할 마스크(602)를 업데이트하는 단계를 포함하는 장면 내 물체를 추적하는 방법.
13. 제 11 항 또는 제 12 항에 있어서,
    이벤트 기반 센서로부터 수신된 이벤트와 관련된 제 1 설명 파라미터를 추출하는 단계;
    분할 마스크에 대응하는 이벤트에 연관된 제 2 설명 파라미터를 추출하는 단계(602); 및
    상기 제 1 설명 파라미터 중 하나와 상기 제 2 설명 파라미터 중 하나 사이의 거리를 미리 정의된 값과 비교함으로써 상기 분할 마스크(602)를 업데이트하는 단계를 더 포함하고,
    이벤트와 관련된 상기 제 1 및 제 2 설명 파라미터는 이벤트의 극성 및 이벤트의 속도 중 적어도 하나를 포함하는 장면 내 물체를 추적하는 방법.
14. 장면으로부터 수신된 광에 비동기식으로 이벤트를 생성하는 감지소자 매트릭스를 갖는 이벤트 기반 센서에 연결하기 위한 인터페이스; 및
    제 1 프로세스(201)에 의해, 상기 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면의 물체를 감지하고; 제 2 프로세스(202)에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 관련된 트랙을 결정하도록 구성된 프로세서를 포함하고,
    상기 매트릭스의 각각의 감지소자로부터, 감지소자에 입사하는 광의 변화의 함수로 각 이벤트가 생성되며,
    상기 제 1 프로세스(201)는 제 2 프로세스(202)보다 시간 해상도가 낮은 신호 처리 유닛.
15. 장면으로부터 수신된 광에 비동기식으로 이벤트를 생성하는 감지소자 매트릭스를 갖는 이벤트 기반 센서와 관련된 프로세서에서 실행될 저장된 명령어를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 매트릭스의 각 감지소자로부터, 상기 감지소자에 입사되는 광의 변화의 함수로 각각 이벤트가 생성되고, 상기 명령어의 실행을 통해 프로세서가:
    제 1 프로세스(201)에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 장면의 물체를 감지하고;
    제 2 프로세스(202)에 의해, 이벤트 기반 센서가 생성한 비동기 이벤트로부터 감지된 물체와 관련된 트랙을 결정하며,
    상기 제 1 프로세스(201)는 제 2 프로세스(202)보다 시간 해상도가 낮은 컴퓨터 프로그램 제품.

Images