KR20170015306A - 비동기식 광센서로 관찰한 장면에서 모양을 추적하는 방법 - Google Patents

Abstract

장면 맞은편에 배치된 픽셀 매트릭스를 갖는 센서(10)에 의해 비동기 정보가 제공된다. 비동기 정보는, 각 픽셀 매트릭스에 대해, 장면 내 광의 변화에 따를 수 있는 이 픽셀로부터 발생한 연이은 이벤트들(ev(p,t))을 포함한다. 비동기 정보에서 이 물체로 인해 발생한 이벤트들을 감지한 후 물체의 추적된 모양을 나타내는 모델이 업데이트된다. 이벤트의 감지에 이어, 모델을 업데이트하는 단계는 감지된 이벤트가 발생한 픽셀 매트릭스에 대해 거리 기준을 최소화함으로써 모델의 포인트를 감지된 이벤트와 연관시키는 것을 포함한다. 업데이트된 모델은 그런 후 감지된 이벤트가 발생하고 물체로 인해 발생한 픽셀 매트릭스 및 이 이벤트의 감지 전에 수행된 연관성에 무관하게 모델 내 관련된 포인트의 함수로서 결정된다.

Description

비동기식 광센서로 관찰한 장면에서 모양을 추적하는 방법{METHOD OF TRACKING SHAPE IN A SCENE OBSERVED BY AN ASYNCHRONOUS LIGHT SENSOR}

본 발명은 광센서로 관찰한 장면에서 움직이는 물체를 감지 및 추적하는 방법에 관한 것이다.

이미지내 물체를 감지하기 위한 공지의 기술들 중에, 최근사 지점들을 찾기 위한, 즉, ICP(Iterative Closest Point) 타입의 반복 알고리즘들이 있다. 이들 ICP 알고리즘들은 영역정보등록, 3D 인식, 물체추적 및 운동분석과 같은 애플리케이션들에서 유효한 것으로 알려져 있다. 가령, S. Rusinkiewicz 및 M. Levoy의 논문 "Efficient Variants of the ICP Algorithm", 3rd International Conference on 3D Digital Imaging and Modeling, June 2001, pp. 145-152를 참조하라.

ICP 알고리즘의 원리는 물체의 윤곽 경계를 묘사하는 모델로서 사용되는 포인트 세트를 획득된 데이터의 일부인 포인트 세트와 일치시키게 사용하는 것이다. 공지의 모델 세트와 데이터의 포인트 세트 간에 변환은 에러함수를 최소화함으로써 기하학적 관계를 표현하도록 추산된다. 이 모양의 모델이 제공된다면 ICP 기술에 의해 임의의 형태에 대한 추적이 분석될 수 있다.

M. Hersch, 등의 논문 "Iterative Estimation of Rigid Body Transformations - Application to robust object tracking and Iterative Closest Point", Journal of Mathematical Imaging and Vision, 2012, Vol. 43, No. 1, pp 1-9은 ICP 알고리즘을 실행하기 위한 반복방법을 제시한다. 이미지의 포인트{y_i}는 각각 일치하는 포인트{x_i}에 의해 정의된 패턴을 이미지에서 검색할 수 있게 하는 강체공간변환(T)을 결정하기 위해, 합이 패턴의 포인트(x_i) 세트에 관한 모양의 에러기준을 최소화

함으로써 변환(T)을 추구하는데 있어 고전적 해석의 폐쇄형 해(closed form solution)는 변환(T)의 초기 추정이 취해지는 반복 해(解)로 대체되고, 각 반복은 패턴으로부터 포인트(x_i)를 랜덤하게 취하고, 이미지내 해당 포인트(y_i)를 찾으며, 변환(T)의 평행이동 및 회전 파라미터들에 관련한 그래디언트 ∇∥y_i - T_xi∥²에 비례하는 항을 뺌으로써 변환(T)을 업데이트한다. 변환(T)이 한 반복에서 다른 반복으로 고정될 경우, 반복은 중단되고 T는 이미지내 패턴을 감지할 수 있는 변환의 최정 추정으로서 유지된다.

연속으로 획득된 이미지를 기반으로 하는 종래의 보기에서, 카메라의 이미지레이트(가령, 초당 약 60개 이미지들)은 ICP 기술에 종종 충분치 못하다. 연속 이미지들에서 동일한 정보의 반복 계산은 또한 ICP 알고리즘의 실시간 수행을 제한한다. 실제로, 이들은 너무 빨리 움직이지 않는 간단한 모양들을 감지하는 경우들로 국한된다.

규칙적인 샘플링 순간들에서 연속 이미지들을 기록하는 종래 카메라들과 대조적으로, 생물학적 망막은 장면 상에 단지 아주 적은 중복 정보만을 시각화되게 전달하며, 이는 비동기적이다. 비동기적 이벤트기반의 시각센서들은 압축된 디지털 데이터를 이벤트 형태로 전달한다. 이런 센서들의 제시는 T. Delbruck 등의 논문 "Activity-Driven, Event-Based Vision Sensors", Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), pp. 2426-2429에서 찾을 수 있다. 이벤트 기반의 시각센서는 종래 카메라에 대해 중복을 제거하고, 지연시간을 줄이고, 동적범위를 늘리는 이점이 있다.

이런 시각센서의 출력은, 각 픽셀 어드레스에 대해, 발생한 시간에 장면의 반사율에 있어 변화를 나타내는 일련의 비동기식 이벤트로 존재한다. 센서의 각 픽셀은 독립적이고 마지막 이벤트의 방출(가령, 강도의 로그에 대해 15%의 콘트라스트) 이후 임계치보다 큰 강도의 변화를 감지한다. 강도의 변화가 임계치 세트를 초과하면, 강도가 증가 또는 감소하는지 여부에 따라 ON 또는 OFF 이벤트가 픽셀에 의해 발생된다. 소정의 비동기식 센서들은 감지된 이벤트들을 광강도의 측정과 연관시킨다. 센서는 종래 카메라로서 클록으로 샘플화되지 않기 때문에, 매우 큰(가령 약 1㎲의) 시간 정확도로 이벤트 시퀀싱을 고려할 수 있다. 이런 센서가 일련의 이미지들을 재구성하는데 사용되면, 종래 카메라들에 대해서 수 십 Hz에 비해, 수 kHz의 이미지 프레임 레이트가 달성될 수 있다.

이벤트 기반의 시각센서는 전망이 밝으며 이런 센서들에 의해 전달된 신호를 이용해 움직이는 물체를 추적하는 유효한 방법을 제안하는 것이 바람직하다.

"Fast sensory motor control based on event-based hybrid neuromorphic-procedural system", ISCAS 2007, New Orleans, 27-30 May 2007 pp. 845-848에서 T. Delbruck 및 P. Lichtsteiner는 가령 이벤트 기반의 시각센서를 이용해 축구 골키퍼 로봇을 제어하는데 사용될 수 있는 클러스터 추적용 알고리즘(클러스터 트래커)을 기술하고 있다. 각 클러스터는 이벤트 소스로서 이동식 물체를 모델로 한다. 클러스터에 있는 이벤트들은 이동식 물체의 위치를 바꾼다. 임계치보다 큰 많은 이벤트들을 수신한 경우에만 클러스터는 보이는 것으로 간주된다.

Z. Ni 등의 "Asynchronous event-based visual shape tracking for stable haptic feedback in microrobotics", IEEE Transactions on Robotics, 2012, Vol. 28, No. 5, pp. 1081-1089에서, 해석적 형태로 비용함수를 최소하는데 기초로 하는ICP 알고리즘의 이벤트 기반의 버전이 소개되어 있다.

빠르고 양호한 시간 정확도를 갖는 모양을 추적하는 방법이 필요하다.

장면에서 모양을 추적하는 방법은:

- 장면의 맞은편에 배열된 픽셀 매트릭스를 갖는 광센서로부터 비동기 정보를 수신하는 단계; 및

- 비동기 정보에서 상기 물체에 기인된 이벤트들을 감지한 후, 포인트 세트를 포함하고 물체의 추적된 모양을 나타내는 모델을 업데이트하는 단계를 포함하고,

비동기 정보는 각 매트릭스의 픽셀에 대해 상기 픽셀로부터 비동기식으로 발생한 연속 이벤트들을 포함한다.

상기 업데이트하는 단계는 이벤트의 감지에 이어:

- 감지된 이벤트가 발생한 매트릭스의 픽셀에 대해 최소 거리를 갖는 모델의 포인트를 감지된 이벤트와 연관시키는 단계; 및

- 감지된 이벤트가 발생한 매트릭스의 픽셀과 관련된 포인트에 따라 그리고 상기 이벤트의 감지 전에 수행된 연관성에 무관하게 업데이트된 모델을 결정하는 단계를 포함한다.

모델로 관찰된 포인트들의 매칭은 장면 내 추적된 모양에 대해 완전한 이미지 또는 심지어 충분한 이벤트들의 개수의 획득 후에 그룹으로 수행되지 않는다. 비동기 이벤트들이 도달하기 때문에 반복 알고리즘을 통해 모양의 추적이 훨썬 더 빨리 수행된다.

모델이 업데이트되게 하는 공간변환을 결정하는 단계는 통상 폼(form)의 비용함수를 최소화하는 것을 기반으로 하며:

(1)

p[ev]는 이벤트(ev)가 발생한 픽셀 매트릭스에서의 위치를 나타내고,

A[ev] 이벤트(ev)와 관련된 모델의 포인트를 나타내며,

Ft(.)는 공간변환을 나타내고,

D(.,.)는 매트릭스 면에서 거리의 측정이며,

합은 수행된 연관성(p[ev]↔A[ev])의 소정 개수에 대해 행해진다.

제안된 방법에서는, 이전 연관성이 아니라, 현재 이벤트 및 이와 관련되었던 모델 포인트 간의 관계가 고려되기 때문에 접근이 다르다. 비용함수는 이것만을 기초로 최소화될 수 없기 때문에, 각 반복으로, 그래디언트 하강에서와 다르지 않게, 장면에서 모양을 정확히 추적하는 방안으로 수렴하도록 모델에 적용된 정확한 항이 계산될 수 있다. 다이나믹스 및 운동이 야기된 많은 이벤트들의 개수로 인해 이런 수렴은 물체가 움직일 때조차 보장된다.

획득 노이즈를 필터하기 위해, 모델의 포인트 중 어느 것도, 이 경우 물체에 기인되지 않은, 감지된 이벤트를 발생한 픽셀에 대해 임계치 미만의 거리에 위치해 있지 않은 경우 모델을 업데이트하는 것을 억제할 수 있다.

상기 방법의 관심있는 실시예는:

- 물체의 변위 면을 추정하는 단계; 및

- 상기 이벤트가 물체에 기인된 것인지 여부를 판단하기 위해 물체의 변위의 추정면을 고려하는 이벤트의 감지를 쫓는 단계를 더 포함하고,

현재 순간에서 종료한 타임윈도우 동안 물체에 기인되었던 감지된 이벤트들을 표시하는 포인트 세트와 관련해 거리 기준을 최소화함으로써 3차원, 즉, 픽셀 매트릭스의 2개 방향에 해당하는 2개의 공간차원들과 하나의 시간차원을 가진 공간에서 변위 면이 추정된다.

상술한 "변위 면"의 특성은 특히 복수의 물체들이 장면 내 추적된 각각의 모양들을 갖는 경우에 기인된 이벤트들의 감지 후에 업데이트된 각각의 모델과 추정된 변위 면을 갖는 물체들 중 각 하나를 처리하는 다수의 유용한 피스들을 감안한다.

예컨대, 적어도 2개의 물체들에 기인될 수 있는 이벤트의 감지에 이어, 상기 감지된 이벤트를 표시한 포인트와 상기 물체들에 대해 각각 추정된 변위 면들 간에, 3차원 공간에서, 각각의 거리들을 계산하고, 계산된 거리가 최소인 물체로 인해 상기 감지된 이벤트를 발생할 수 있다. 이는 감지된 이벤트가 기인될 수 있는 여러 물체들 간에 모호성을 제거하기 위해 공간 및 시간 구속조건들을 결부할 수 있게 한다.

또 다른 가능성은 물체의 변위 면과 물체에 기인되었던 감지된 이벤트들을 표시하는 포인트들 간에 거리의 통계적 분포를 추정하고; 이벤트의 감지 후에, 물체로 인해 상기 이벤트를 발생했는지 여부를 판단하기 위해 추정된 통계 분포와 물체의 추정된 변위 면을 고려하는 것이다. 이는 비동기식 센서가 자체적으로 움직일 때 장면의 배경의 가능한 움직임을 고려할 수 있게 한다. 특히, 추정된 통계 분포를 기반으로 한 허용가능한 거리 값들의 간격을 결정할 수 있고 3차원 공간에서 이 감지된 이벤트를 표시한 포인트가 추정된 변위 면에 대해 허용가능한 거리 값들의 간격 밖에 있는 거리를 갖는다면 감지된 이벤트는 물체에 기인되지 않은 것일 수 있다.

복수의 물체들이 장면 내 추적된 각각의 모양들을 가질 때 다른 특징이 제공될 수 있고, 물체들 중 각 하나는 기인한 이벤트의 감지 후에 업데이트된 각각의 모델을 갖는다.

예컨대, 이벤트의 감지에 이어, 물체들 중 단 하나만 감지된 이벤트가 발생한 매트릭스의 픽셀에 대해 임계치 미만의 거리를 갖는 포인트를 모델에서 갖는 조건을 만족하면, 물체들 중 상기 하나의 물체로 인해 감지된 이벤트가 발생한다.

물체들 중 적어도 2개로 인해 발생할 수 있는 이벤트의 감지에 이어, 모호성을 제거하기 위해 공간 구속조건들을 고려할 수 있다. 한가지 가능성은 감지된 이벤트가 발생할 수 있는 각 물체에 대해, 감지된 이벤트가 발생한 매트릭스의 픽셀에 대해 각각의 거리 기준을 최소화함으로써 이 물체의 모델의 포인트를 감지된 이벤트와 연관시키고, 최소화된 거리 기준이 가장 작은 물체로 인해 감지된 이벤트를 발생하는 것이다. 대안은 감지된 이벤트를 물체들 중 어느 것에도 할당하지 않는 것이다.

또 다른 대안은 감지된 이벤트가 발생할 수 있는 각각의 물체들에 감지된 이벤트를 할당하는 것이다. 감지된 이벤트가 기인된 물체들의 모델을 업데이트하는 단계는 상기 물체들에 대해 각각 최소화된 거리 기준에 따른 가중화로 수행될 수 있다.

적어도 2개의 물체들에 기인될 수 있는 이벤트의 감지에 이어, 모호성을 제거하기 위해 시간 구속조건들을 고려할 수 있다. 한가지 가능성은 각 물체에 기인된 이벤트 레이트를 추정하고 물체에 기인되었던 마지막 이벤트가 감지된 순간을 기억하는 것이다. 그런 후 적어도 2개의 물체들로 인해 발생할 수 있는 이벤트는 기억된 순간 및 상기 이벤트의 감지 순간 간의 시간간격에 의한 추정된 이벤트 레이트의 곱이 1에 가장 가까운 물체들 중 하나로 인해 발생된다.

상기 방법의 실시예에서, 업데이트 모델을 결정하는 단계는 파라미터 세트에 의해 정의된 공간변환을 추정하는 단계 및 추정된 공간변환을 모델에 적용하는 단계를 포함한다. 공간변환을 추정하는 단계는 픽셀 매트릭스의 면에서 감지된 이벤트가 발생한 매트릭스의 픽셀과 감지된 이벤트와 관련된 모델의 포인트에 상기 공간변환을 적용함으로써 얻은 포인트 간에 거리의 그래디언트의 함수로서 상기 파라미터들을 계산하는 단계를 포함한다.

특별한 경우는 공간변환이 픽셀 매트릭스 면에서 평행이동 및 회전을 포함한 강체 변환인 경우이다. 한가지 가능성은 평행이동에 대해 -η₁·∇_Tf(Δθ₀,　ΔT₀)와 같은 벡터 ΔT를 취하고 회전에 대해 -η₂·∇_θf(Δθ₀,　ΔT₀) 같은 각도 Δθ를 취하는 것이며, η₁ 및 η₂는 기정의된 양의 수렴단계들이며 Δθ₀,및 ΔT₀는 회전각도 및 평행이동 벡터의 특정 값이다. 예컨대, Δθ₀=

및 ΔT₀= cp-R_Δθ0[cm]이 취해질 수 있고, p는 감지된 이벤트가 발생한 픽셀 매트릭스를 나타내며, m은 감지된 이벤트와 관련된 모델의 포인트를 나타내고, c는 회전중심을 나타내며, cp는 c에서 p을 가리키는 벡터를 나타내고, cm은 c에서 m을 가리키는 벡터를 나타내며, R_Δθ0는 중심(c) 및 각도(Δθ₀)의 회전이다.

관심의 또 다른 경우는 공간변환이 픽셀 매트릭스에 포함된 2개 축을 따라 각각의 스케일링 팩터들의 적용을 더 포함한 아핀변환인 경우이다. 이들 2개의 축(x,y)에 따른 스케일링 팩터(s_x,s_y)는 각각 s_x = 1 + η₃·(｜p_x｜-｜m_x｜) 및 s_y = 1 + η₃·(｜p_y｜-｜m_y｜)에 따라 계산되고, η₃는 기정의된 양의 수렴단계이며, p_x 및 p_y는 감지된 이벤트가 발생한 매트릭스의 픽셀의 축(x,y)에 따른 각각의 좌표이고, m_x 및 m_y는 감지된 이벤트와 관련된 모델의 포인트의 축(x,y)에 따른 각각의 좌표이다.

본 발명의 또 다른 태양은 광센서로부터 수신된 비동기 정보를 이용해 상술한 바와 같은 방법을 실행하도록 구성된 컴퓨터를 포함한 장면 내 모양을 추적하는 장치에 관한 것이다.

본 발명의 내용에 포함됨.

본 발명의 다른 특징 및 이점은 첨부도면을 참조로 하기의 설명에 나타난다:
도 1은 본 발명의 실행에 적용된 디바이스의 블록도이다.
도 2a는 비동기식 센서의 픽셀 상에 광강도의 프로파일의 일예를 도시한 블록도이다.
도 2b는 도 2a의 강도 프로파일에 응답해 비동기식 센서에 의해 전달된 신호의 일예를 도시한 것이다.
도 2c는 도 2b의 신호를 이용한 강도 프로파일의 재구성을 도시한 것이다.
도 3a-b는 본 방법의 또 다른 실시예에 사용될 수 있는 광획득 방법을 도시한 도 2a-b의 도면과 유사한 도면이다.
도 4는 ATIS 타입의 비동기식 광센서의 블록도이다.
도 5는 회전하는 별을 포함한 장면 맞은편에 놓인 비동기식 센서에 의해 생성된 이벤트들을 도시한 도면이다.
도 6a는 본 발명에 따른 모양을 추적하는 방법의 동작을 테스트하는데 사용된 장비의 일부의 도면이다.
도 6b는 도 5a의 구성으로 얻은 이벤트 누적 카드의 일예를 도시한 것이다.
도 7은 회전하는 별의 일예에서 ICP 알고리즘의 동작을 도시하기 위한 다양한 이미지들을 도시한 것이다.
도 8은 본 발며으이 소정 실시예에 사용될 수 있는 알고리즘의 일예의 흐름도이다.
도 9 및 도 10은 본 발명의 소정 실시예를 기술하는데 사용된 기하학적 요소들을 도시한 도면이다.
도 11은 본 발명의 다른 구현에 사용될 수 있는 알고리즘의 일예의 흐름도이다.
도 12는 도 11에 따른 방법의 실시예의 반복 동안 공간변환을 계산하기 위한 방법을 도시한 도면이다.
도 13은 2개의 공간 차원들과 하나의 시간 차원을 포함한 3차원으로 공간의 포인트들을 도시한 그래프로서, 비동기식 센서의 시계(視界)에서 움직이는 가장자리에 기인한 이벤트들과 변위 면에 의한 이벤트들의 보간이 기록된다.
도 14는 도 11의 단계 44에 사용될 수 있는 절차의 일예의 흐름도이다.
도 15 및 도 16은 도 14의 단계 56에 사용될 수 있는 절차의 예들의 논리 다이어그램이다.
도 17은 도 13에 도시된 한 타입의 변위의 한 면과 이벤트들 간의 거리의 분포를 도시한 그래프이다.
도 18은 도 17에 도시된 바와 같이 거리에 대한 허용가능한 값들의 간격을 추정하는데 사용될 수 있는 절차의 흐름도이다.
도 19는 도 6 및 도 7의 조건에서 실행된 실험에서 3개의 다른 추적 방법들을 적용함으로써 관찰된 추적 에러를 나타낸 그래프이다.
도 20은 본 발명의 일실시예에서 물체들의 3가지 모양의 추적을 도시한 도면이다.
도 21은 본 발명의 일실시예에서 물체의 모델에 적용된 공간변환에 있어 스케일링 팩터(s_x,s_y)를 고려함으로써 실행된 실험의 결과를 도시한 그래프이다.
도 22는 본 발명의 또 다른 실험으로 얻은 이미지들을 도시한 것이다.
도 23 및 도 24는 도 22의 실험에서 2개의 다른 추적방법들에 의해 관찰된 추적에러를 나타내는 그래프이다.
도 25 및 도 26은 본 발명의 또 다른 실험으로 다수의 물체들 간에 모호함을 제거하기 위한 2가지 가능한 방법들을 도시한 그래프이다.
도 27-32는 도 25-26과 동일한 실험으로 6가지 다른 방법들에 따라 움직이는 물체의 모양의 추적 동안 관찰된 모델의 속도를 나타내는 그래프이다.
도 33은 도 32에 도시된 결과들로 추적의 프레임워크에서 물체들에 대한 이벤트들의 기인을 결정하는데 사용된 도 13에 따른 변위의 2개 면들을 도시한 그래프이다.
도 34 및 도 35는 비동기식 센서 그자체가 움직였던 본 발명의 2가지 실험들에서 얻은 모델속도를 나타낸 그래프이다.

도 1에 도시된 디바이스는 장면에 마주보고 놓이며 하나 또는 다수의 렌즈들을 포함한 획득용 광학기(15)를 통해 장면의 광흐름을 수용하는 이벤트 기반의 비동기식 시각센서(10)를 포함한다. 센서(10)는 획득용 광학기(15)의 이미지면에 놓인다. 픽셀 매트릭스로 편성된 광감지 소자그룹을 포함한다. 각 픽셀은 장면에서 광의 변화에 따른 연속 이벤트들로부터 보여지는 광감지소자에 해당한다.

컴퓨터(20)는 장면에서 바뀌는 소정 모양들에 대한 정보(F_t)를 픽셀들로부터 추출하기 위해 센서(10)로부터 발생한 비동기식 정보, 즉, 다양한 픽셀(p)로부터 비동기식으로 수신된 이벤트 ev(p,t)의 시퀀스를 처리한다. 컴퓨터(20)는 디지털 신호로 동작한다. 적절한 프로세서를 프로그래밍함으로써 실행될 수 있다. 특수 논리회로(ASIC, FPGA,…)를 이용한 컴퓨터(20)의 하드웨어 구현도 또한 가능하다.

매트릭스의 각 픽셀(p)에 대해, 센서(10)는 센서의 시계(視界)에 나타나는 장면에서 픽셀이 감지한 광의 변화를 이용해 이벤트 기반의 비동기식 신호 시퀀스를 생성한다.

비동기식 센서는 가령 도 2a-c에 도시된 원리에 따라 획득을 실행한다. 센서에 의해 전달된 정보는 활성 임계치(Q)에 도달한 일련의 순간들 t_k(k=0,1,2,…)을 포함한다. 도 2a는 센서의 매트릭스의 픽셀에 의해 나타난 광강도 프로파일(P1)의 일예를 도시한 것이다. 이 강도가 시간 t_k에 있었던 것에서 시작해 활성 임계치(Q)와 같은 양만큼 증가할 때마다, 새 순간(t_k+1)이 식별되고 양의 스파이크(도 2b에서 레벨 +1)가 이 순간(t_k+1)에서 내보내진다. 대칭적으로, 픽셀의 강도가 시간 t_k에 있었던 것에서 시작해 양(Q)만큼 감소할 때마다, 새 순간(t_k+1)이 식별되고 음의 스파이크(도 2b에서 레벨 -1)가 이 순간(t_k+1)에서 내보내진다. 픽셀에 대한 비동기식 신호 시퀀스는 픽셀에 대한 광 프로파일에 따라 순간(t_k)에서 시간에 걸쳐 위치된 일련의 양 또는 음의 펄스들 또는 스파이크들이다. 이들 스파이크들은 양 또는 음의 디랙 피크를 통해 수학적으로 나타내질 수 있고 각각은 방출(t_k) 및 신호비트의 순간으로써 특징된다. 그런 후 센서(10)의 출력은 AER(Address-Event Representation)의 형태이다. 도 2c는 도 2b의 비동기식 신호의 시간에 걸친 적분을 통해 프로파일(P1)의 근사로서 재구성될 수 있다.

활성 임계치(Q)는, 도 2a-c의 경우에서와 같이, 설정될 수 있거나, 도 3a-b의 경우에서와 같이 광강도에 따라 적용될 수 있다. 예컨대, 임계치(±Q)는 이벤트 ±1의 생성을 위해 광강도 로그에서의 변화와 비교될 수 있다.

예로써, 센서(10)는 P. Lichtsteiner 등의 논문 " A 128×128 120 dB 15 ㎲ Latency Asynchronous Temporal Contrast Vision Sensor", IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, February 2008, pp. 566-576, 또는 특허출원 US 2008/0135731 A1에 기술된 타입의 동적시각센서(DVS)일 수 있다. 약 수 ms의 망막의 다이나믹스(동작 전위들 간에 최소기간)는 이런 타입의 DVS로 접근될 수 있다. 성능은 여하튼 실제 샘플링 주파수를 갖는 종래 비디오 카메라로 달성될 수 있는 것보다 크게 동적으로 우수하다. 컴퓨터(20)의 입력신호를 구성하는 DVS(10)에 의해 픽셀에 전달된 비동기식 신호의 모양은 도시된 이벤트들은 이벤트 기반의 비동기식 신호에서 임의의 시간 폭 또는 진폭 또는 파형을 가질 수 있기 때문에 일련의 디랙 피크들과는 다를 수 있음에 유의하라.

본 발명의 맥락에서 이점적으로 이용될 수 있는 비동기식 센서의 또 다른 예는 C. Posch 등의 논문 "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS", IEEE Journal of Solid-State Circuits, Vol. 46, No. 1, January 2011, pp. 259-275에 설명이 제시된 비동기식 시간기반 이미지 센서(ATIS)이다.

도 4는 ATIS의 원리를 나타낸다. 센서를 구성하는 매트릭스의 픽셀(16)은 각각 전자감지회로(18a,18b)와 관련된 포토다이오드와 같은 2개의 광감지소자들(17a,17b)을 포함한다. 센서(17a) 및 회로(18a)는 상술한 DVS의 동작과 유사한 동작을 한다. 이들은 포토다이오드(17a)가 수신한 광강도가 기정의된 양만큼 변할 때 펄스(P₀)를 생성한다. 강도에 있어 이 변화를 표시한 펄스(P₀)는 다른 포토다이오드(17b)와 관련된 전자회로(18b)를 촉발시킨다. 이 회로(18b)는 소정량의 광(포톤 개수)을 포토다이오드(17b)가 수신하자마자 제 1 펄스(P₁)와 그런 후 제 2 펄스(P₂)를 생성한다. 펄스들(P₁ 및 P₂) 간에 시간변이(δt)는 펄스(P₀)의 출현 후 바로 픽셀(16)에 의해 수신된 광강도에 반비례한다. ATIS로부터 나온 비동기식 정보는각 픽셀에 대해 2개의 펄스열들을 포함한 AER 표현의 또 다른 형태이다: 펄스(P₀)의 제 1 열은 광강도가 감지 임계치 너머로 변했을 때 순간을 나타내는 반면, 제 2 열은 시간변이(δt)가 해당 광강도 또는 그레이 레벨을 나타내는 펄스들(P₁ 및 P₂)로 구성된다. ATIS의 매트릭스에서 위치(p)의 픽셀(16)로부터 나온 이벤트 ev(p,t)는 그런 후 2가지 타입의 정보, 즉, 펄스(P₀)의 위치에 의해 주어진 시간정보 및 펄스들(P₁ 및 P₂) 간에 시간변이(δt)에 의해 주어진 그레이스케일 정보를 포함한다.

센서(10)가 픽셀의 2차원 매트릭스로 구성되는 경우, 픽셀로부터 나온 이벤트는 도 5에 도시된 바와 같이 3차원 시공간 표현에 놓일 수 있다. 이 도면에서, 각 점은 삽입(A)으로 도시된 바와 같이 일정한 각속도로 회전하는 별의 운동을 통해 위치

와 함께 센서의 픽셀(p) 상에 시간(t)에서 발생된 이벤트 ev(p,t)를 비동기식으로 표시한다. 이들 포인트들의 대부분은 일반적으로 나선형 형태의 표면 부근에 분포된다. 더욱이, 도면은 별의 유효 움직임과 일치하지 않아도 측정된 나선 표면으로부터 떨어진 소정 개수의 이벤트들을 나타낸다. 이들 이벤트들은 획득 노이즈이다.

ICP 알고리즘의 원리는 획득 데이터에 의해 제공된 포인트 세트와 일치시킨 후 에러함수를 최소화함으로써 이 포인트 세트와 모델 간에 기하학적 관계를 계산하도록 물체의 모양을 나타내는, 가령 이 물체의 외형을 기술하는 모델을 이루는 포인트 세트를 이용하는 것이다.

도 6a는 가령 DVS 또는 ATIS 타입의 센서(10)가 별 모양이 그려진 회전판(11)을 바라보며 배치된 본 발명의 실험에 사용된 장비를 도시한 것이다. 센서(10)는 플레이트에 별 모양의 회전을 이용해 데이터를 획득한다. 단지 비교 및 예시를 위해, 도 6b는 별의 검은색 모양에 겹치는 약 수 ms의 시간 간격 동안 관찰된 이벤트들을 다이어그램으로 도시한 것이다.

도 7은 예로써 별 모양을 추적하는 일예를 도시한 것이다. 이 도면에서, 위쪽 줄은 도 6a의 경우에서와 같이 플레이트 상에 회전하는 별을 도시한 종래의 일련의 이미지들이다. 가운데 줄은 시간주기에서 이벤트들을 감지하기 위한 정확한 순간들에 무관하게 이벤트 누적 맵들, 즉, 한 면에 시간 주기 동안 발생된 모든 이벤트들의 투영을 도시한 것이다. 마지막으로, 아래쪽 줄은 (실선으로 도시된)모델과 획득 위치의 매칭을 도시한 것이다. 좌측 열(a)에서, 별이 회전하기 시작하는 초기 상태가 도시되어 있다. 알고리즘은 모델을 가장 근사한 이벤트들과 매치하려고 시도한다. 알고리즘이 전역 최소점(global minimum)을 향해 수렴하도록 이벤트들로부터 지나치게 멀지 않은 모델의 초기 위치가 유용하다. 열(b)에서, 별은 모델의 초기 위치 부근을 지나고, 모델의 초기 위치는 별의 위치를 향해 수렴한다. 마지막으로 열 (c) 및 (d)에서, 별은 계속 회전하고 모델은 에러함수를 최소화함으로써 파라미터들이 계산되는 회전(R_Δθ) 및 평행이동(ΔT)을 적용함으로써 업데이트된다.

종래 카메라라기 보다 이벤트 기반의 비동기식 센서에 의해 장면이 관찰되는 경우, 이벤트들은 발생될 때 정확한 타임 스탬핑으로 수신된다. ICP 타입의 알고리즘은 포함한 모든 이벤트들을 동시에 처리할 수 있도록 장면의 전체 범위에 대한 정보를 갖도록 대기할 필요가 없다.

이벤트 ev(p,t)는 시공간 영역에서 활동을 기술한다. 도 8에 도시된 ICP 알고리즘의 이벤트 기반의 버전에서, 생물학적 뉴런과 유사하게 각 이벤트는 발생한 후 소정의 시간경과 동안 영향을 행사하는 것으로 고려된다. 이벤트의 이 시간 속성은 지속함수의 형태로 도입될 수 있다. 그런 후 S(t)는 시간(t)에서 활성인 이벤트들의 시공간 세트:

S(t)　=　{　ev(p,　t') / 0　<　t -t' ≤Δt　} (2)

를 나타내고, Δt는 지속시간이다. 시간간격(Δt)이 이벤트의 연이은 활성화를 경과한 후, 이 이벤트는 세트 S(t)로부터 제거된다.

모델 및 획득 데이터 간에 포인트들 매칭시키는 것은 계산 자원 면에서 가장 부담이 큰 단계를 구성한다. G(t)는 시간(t)에서 물체의 모양을 정의하는 2차원 모델의 포인트들의 위치세트를 나타낸다. 획득 포인트들과 모델 포인트들 간의 연결은 차례대로 수행될 수 있다. 새 이벤트가 활성화될 때마다, G(t)의 요소, 바람직하게는 S(t)의 이벤트와 이전에 관련없었던 G(t)의 요소와 매치된다. 이 단계에서 추구되는 모양의 일부가 아닌 노이즈 또는 다른 포인트들을 거부하기 위해 거리 기준의 검증을 추가할 수 있다.

센서는 비동기식이기 때문에, 관련된 포인트들의 개수는 오히려 풍부히 변한다. 일반적으로 지속시간(Δt) 동안 관련된 수 포인트에서 수백 개의 포인트들이 있다. 이는 종래 프레임 기반의 접근과 매우 다르다. 움직이지 않는 물체들은 전혀 자극을 발생하지 않으므로, 이들의 위치를 업데이트할 반드시 필요가 없다. 장면이 거의 움직임을 포함하지 않으면, 계산 자원의 단지 적은 부분만 사용되는 반면, 매우 동적인 상황에서 알고리즘은 정보를 업데이트하기 위해 전용량을 필요로 한다.

도 8의 예에서, P(n) 및 T(n)은 모델의 위치정보의 업데이트를 위해 보유된 n번째 이벤트의 위치 및 감지시간을 나타내고, M(n)은 이 n번째 이벤트와 관련된 모델의 포인트이다. 감지시간 T(n)은 알고리즘을 시작하기 전에 임의의 큰 값에서 시작된다(T(n)=+∞). 시간 t에서 이벤트 ev(p,t)의 감지시, 정수 인덱스(a)는 S(t)에서 가장 오래된 이벤트를 나타내는 반면, 정수 인덱스(b)는 S(t)에서 가장 최신의 이벤트를 나타낸다. 즉, S(t)　=　{　ev(P(a),　T(a)), ev(P(a+1),　T(a+1)), …,　ev(P(b),　T(b))　}. 모델 G(t)은 G로서 간단히 표기되고 M은 S(t)의 이벤트와 관련있었던 모델의 포인트 세트를 나타낸다. 즉. M　=　{　M(a),　M(a+1),　…,　M(b)　}. 알고리즘이 개시되면(단계 20)), 정수 인덱스(a 및 b)는 각각 1 및 0으로 초기화된다.

도 8에 도시된 알고리즘의 버전에서, 감지된 이벤트의 위치들과 모델의 포인트들을 일치시키는 공간변환(F_t)은, 해석적 형태로 종래 방안에 의해, 가령 싱귤러 값들(SVD(Singular Value Decomposition))로 분해함으로써 주기적으로 추정된다. 단계 21에서, 알고리즘은 공간변환의 업데이트 주기가 경과되지 않는 한 센서(10)로부터 발생한 새 이벤트들을 대기한다.

시간(t)에서 매트릭스 위치(p)의 픽셀로부터 발생한 이벤트 ev(p,t)의 수신에 이어(단계 22), 세트 S(t)를 업데이트하고 모델(G)의 한 포인트를 감지된 이벤트와 연관시키는 2개의 연산이 수행된다. 루프(23-24)에서, Δt보다 크게 시기를 정한 이벤트들은 S(t)로부터 제거된다: 테스트(23)는 시간(T(a))이 t-Δt보다 큰지 체크한다. T(a)가 t-Δt보다 크지 않으면, 수(a)는 단계 24에서 1 단위씩 증분되고 테스트(23)가 반복된다. 아주 오래된 이벤트들은 테스트(23)에서 T(a)> t-Δt인 경우에 제거된다.

그런 후 알고리즘은 단계 25에서 G의 포인트를 새 이벤트와 연계시켜 진행된다. 이 연관된 포인트는 위치(m)가 세트(S(t))의 포인트와 아직 관련되지 않았던 모델의 포인트들 중에, 즉, 세트 G-M의 포인트들 가운데 이벤트 ev(p,t)를 발생하는 픽셀(p)에 가장 가까운 포인트이다:

(3)

단계 25에서 사용된 거리기준(d(.,.))은 가령 매트릭스 면에서 유클리드 거리이다. 이벤트 ev(p,t)가 세트(S(t))에 포함되는지 결정하기 전에, 알고리즘은 최소거리가 임계치(d_max)보다 적은지 단계 26에서 검사한다. 예로써, 임계치(d_max)는 6 픽셀에 해당하는 것으로 선택될 수 있다. 테스트 결과 특별한 애플리케이션에 더 적합하다면 다른 임계치들도 당연히 보유될 수 있다. d(p,m)≥d_max이면, 이벤트는 버려지고, 알고리즘은 다음 이벤트를 대기하는 단계 21로 복귀한다.

이벤트는 추구되는 물체에 기인되고(테스트(26)에서 d(p,m)<d_max), 인덱스(b)는 단계 27에서 1단위씩 증분되면, 감지시간(t), 이 이벤트의 위치(p) 및 모델의 위치(m) 및 이와 연관있었던 모델의 포인트(m)는 단계 28에서 T(b), P(b), M(b)로서 기록된다. 그후 이벤트 ev(p,t)의 감지에 대해 연속적인 공정이 종료되고 알고리즘은 다음 이벤트를 대기하는 단계 21로 복귀한다.

공간변환의 업데이트 주기의 만료시, 충분한 개수의 이벤트들, 가령, L=5 이벤트들이 업데이트에 기인하도록 세트(S(t))에 있는 것을 보장하기 위해 테스트(30)가 수행된다. 따라서, b　<　a　+　L -1 (테스트(30))이면, 업데이트가 수행되지 않고 알고리즘은 다음 이벤트를 대기하는 단계 21)로 복귀한다.

충분한 이벤트들이(b　≥　a　+　L　-1) 있으면, 모델(G)을 이용해 추구된 공간변환(Ft)이 각도(Δθ)의 회전 R_Δθ 및 벡터(ΔT)의 평행이동의 조합인 경우 회전 각도(Δθ) 및 평행이동 벡터(ΔT)를 선택하기 위해 최소연산(31)이 수행된다.

도 9는 본 명세서에 사용된 기호를 제공한다. H는 장면에서 추적되고, 고정된 위치에 놓인 모양을 정의하는 포인트들의 패턴을 나타내고, O는 이 포인트 세트(H)의 중력중심을 나타낸다. 시간(t)에서, 이 패턴(H)은 시간(t)에서 수신된 이벤트의 처리 동안 참조되는 모델 G=G(t)을 제공하는 중력중심(O) 주위로 벡터 평행이동(T) 및 회전각도(θ)에 따라 변위된다. 프로세싱은 회전각도(θ) 및 평행이동 벡터(T)의 변화(Δθ, ΔT)에 대한 추정을 야기한다.

최소연산(31)은 가령 형태의 합과 같은 거리기준을 최소화하는 파라미터들(Δθ, ΔT)을 찾는데 있다:

(4)

상기 수식은 추정되는 파라미터들은 매트릭스 R_Δθ =

및 벡터(ΔT)의 좌표에 의해 정의된 회전(R_Δθ) 각도(Δθ)인 수식(1)의 특별한 경우이다. 수식(4)에서, 표기 cP(n) 및 cM(n)은 회전(R_Δθ) 중심(c)의 원점이고 P(n) 및 M(n)을 각각 가리키는 벡터들을 나타낸다. 회전(R_Δθ) 중심(c)위치는 모델 G(t)과 관련해 정의될 수 있다. 예컨대, 도 9에 도시된 바와 같이, 모델 G(t)의 포인트들의 중력중심에 포인트(c)를 배치할 수 있다(전체 평행이동 벡터(T)는 벡터(Oc)와 같다).

회전(R_Δθ) 및 평행이동(ΔT)으로 구성된 공간변환(Ft)은 본 명세서에서 모델(G(t))을 최근에 고려된 이벤트들, 즉, 세트 S(t)의 이벤트들이 감지된 픽셀들에 가능한 한 가깝게 있도록 이동시키는 변환이다. 이것이 바로 도 10에 도시되어 있으며, 신호(+)는 S(t)의 이벤트들이 감지된 픽셀 P(n)의 위치들을 나타내고, 신호(·)는 이들 이벤트들과 관련된 모델(G)의 포인트들(M(n))의 위치들을 나타내며, G'는 픽셀 P(n)에 가능한 한 가까운 포인트 M(n)을 배치하고 회전(R_Δθ) 및 벡터 평행이동(ΔT)에 따른 G의 변위로 인해 발생하는 중심(c')의 다음 모델을 나타낸다.

기준(4)을 최소화하는 회전(R_Δθ) 및 평행이동(ΔT)은 공간변환의 업데이트 시간과 이전 업데이트 시간 사이에 모델(G)에 해당하는 모양의 운동을 나타낸다. 단계 32에서 동일한 변환이 이들 2개 세트들을 업데이트하기 위해 세트 포인트(G 및 M)에 적용된다. 모델(G)(또는 세트(M))의 각 위치(X)는 cY　=　R_Δθ[cX]　+　ΔT이도록 위치(Y)로 대체된다. 단계 32 후에, 알고리즘은 다음 이벤트를 대기하는 단계 21로 복귀한다.

따라서, 연이어 추정된 회전(R_Δθ) 각도(Δθ) 및 해당하는 평행이동 벡터(ΔT)를 특징으로 하는 공간변환(F_t)은 장면에서 추적된 모양의 움직임을 나타낸다. 이들 파라미터들은 도 1의 컴퓨터(20)의 출력이다. 모양(H)의 고정 기준위치에 대해 정의된 각도(Δθ)와 평행이동 벡터(T)를 얻기 위해 연이어 결정된 값들(Δθ 및 ΔT)를 축적할 수 있다.

도 8에 도시된 실시예는 장면에서 추구된 모양의 추적 정보의 업데이트 주파수, 즉, 공간변환 파라미터(Ft)를 제어할 수 있게 한다. 대표적으로, 이 업데이트 주파수는 10㎲ 내지 1ms 사이 주기에 해당한다. 따라서, 종래 카메라들의 프레임 주파수들보다 더 빠를 수 있다.

지속시간(Δt)은 장면의 동적 내용에 따른다. SVD 계산에 기초한 구현에서, 세트(S(t))가 구하려는 움직이는 물체의 완전한 외형을 보유하도록 시간간격(Δt)이 충분히 긴 것이 바람직하며, 이런 식으로 이 외형의 거의 모든 포인트들이 이벤트와 일치하게 놓일 수 있다. 다른 한편으로, 지나치게 긴 기간(Δt)은 계산부하를 높이고, 빠른 물체들을 정확히 추적할 수 없게 된다. 기간(Δt)은 일반적으로 10㎲ 내지 20ms 사이에서 선택된다.

비동기식 센서(10)가 보는 장면에서 추적하는 모양의 또 다른 접근이 도 11에 도시되어 있다. 여전히 계산을 더 필요로 하면서 더 나은 다이나믹스를 제공하는 이 접근에서, 업데이트된 모델을 업데이트할 수 있는 공간변환(Ft)은 (이 이벤트가 구하려는 물체에 기인되는 한) 감지된 이벤트 ev(p,t)를 기원으로 하는 매트릭스 및, 이벤트 ev(p,t)의 감지 전에 수행된 연관들에 무관하게, 관련된 포인트(m)의 픽셀(p)에 따라 결정된다.

도 11의 실시예에서, 물체의 개수(K)는 비동기식 센서가 관찰한 장면에서 구해지는 것이 고려된다. 이들 물체들은 정수 k(k=1,2,…,k)로 번호매겨지고 각 하나는 G_k(t) 또는 간단히 G_k로 표기된 포인트 모델을 갖는다. K=1을 추적함으로써 한 물체가 추적되는 빈번한 경우가 포함된다.

각 물체(k)의 추적을 개시하기 위해, 모델 G_k은 센서(10)의 시계에서 이 물체의 포지셔닝과 오히려 가까운 포지셔닝으로 개시된다(단계 40). 그런 후, 단계 41)에서, 알고리즘은 센서(10)로부터 발생한 새 이벤트들을 대기한다.

시간(t)에서 매트릭스에 있는 위치(p)의 픽셀로부터 발생한 이벤트 ev(p,t)의 수신에 이어(단계 42), 모델 G_k의 포인트 m_k를 감지된 이벤트와 연관시키는 단계 43가 각 물체(k)(k=1,2,…,K)에 대해 수행된다. 각 물체(k)에 대해, 단계 43는 알고리즘은 이벤트 ev(p,t)와 이전의 연관성을 기억하지 않기 때문에 이벤트들과 이전에 관련있었던 포인트들을 배제함이 없이 거리 기준 d(m_k,p)을 최소화하는 모델 G_k의 포인트 m_k가 선택되는 것을 제외하고 도 8을 참조로 상술한 단계 25와 같다.

단계 44에서, 단계 42에서 감지되었던 이벤트 ev(p,t)가 물체(k)에 기인되거나, 이것이 빠지면, 장면에서 추적된 물체의 움직임과 관계가 없는 것으로 배제된다. 이벤트 ev(p,t)가 임의의 물체에 기인된 것이 아니면, 알고리즘은 다음 이벤트를 대기하는 단계 41로 복귀한다. 물체(k)에 기인된 경우, 공간변환(F_t)은 이 물체의 모델(G_k)에 대해 단계 45에서 계산된다.

물체(k)로 인해 이벤트 ev(p,t)가 발생한지 여부를 판단하기 위해 단계 44에서 다수의 테스트 또는 필터링이 수행될 수 있다.

가장 단순한 것은 거리(d(m_k,p))를 임계치(d_max)와 비교함으로써, 도 8을 참조로 상술한 단계 26에서와 같이 처리하는 것이다. d(m_k,p) < d_max이면, 모델(G_k)의 포인트(m_k)와 픽셀(p)의 연관성이 확인되고, 어떤 물체도 이 조건을 만족하지 않으면, 어떠한 기여도 수행되지 않는다. 그러나, 여러 추적된 물체들이 이 조건을 만족한 반면 한 물체가 서로를 가리는 것이 발생할 수 있다. 물체들 간에 가리는 경우를 포함한 이들 모호한 경우를 해소하기 위해, 공간 구속조건들 또는 시간 구속조건들을 이용한 여러 가지 기술들이 적용될 수 있다. 이들 기술들은 이후에 검토된다.

단계 44에서 발생할 수 있는 또 다른 처리는 배경의 가능한 움직임을 고려하는 것이다. 특히, 비동기식 센서(10) 그 자체가 움직이고, 고정된 배경이 상대 변위되어 대상 물체들의 추적에 대한 처리로부터 배제될 수 있는 많은 이벤트들의 감지를 발생시킨다. 배경 움직임을 고려하는 한가지 방법을 아래에 설명한다.

이벤트 ev(p,t)가 물체(k)에 기인되었다고 하면, 공간변환(F_t)의 파라미터들이 단계 45에서 계산되고, 그런 후 이 변환(F_t)이 모델(G_k)에 적용되어 단계 46에서 모델을 업데이트한다. 마지막으로, Π_k로 표기된 물체(k)의 변위 면이 단계 47에서 추정된다. 그런 후 알고리즘은 다음 이벤트를 대기하는 단계 41로 복귀한다.

공간변환(F_t)을 계산하기 위해 모델(G_k)의 포인트(m)와 관련된 현재 한 이벤트(p)에 국한됨으로써 비용함수의 성분(f)이 도입된다:

f = d[p,　F_t(m)] (5)

여기서, d[.,.]는 픽셀 매트릭스의 면에서 거리의 측정이다. 이는 특히 정사각형 거리일 수 있다.

모델(G_k)의 업데이트를 위해 강체 공간변환이 고려되면, 소정의 중심(c)의 회전(R_Δθ) 각도(Δθ) 및 평행이동의 벡터(ΔT)로 결정이 되어야 하며, 정사각형 거리를 갖는 비용함수의 성분은 다음과 같이 작성된다:

(6)

여기서 cp 및 cm은 회전(R_Δθ) 중심(c)의 원점이고 각각 포인트들(p 및 m)을 가리키는 벡터를 나타낸다.

임의의 각도(Δθ)에 대해, 선택 ΔT = cp - R_Δθ[cm]이 f=0로 주어져 있기 때문에, 이 성분(f)은 쌍들(Δθ,ΔT)의 무한에 대해 최소화될 수 있다. 목표는 f가 유일한 성분인 전체 비용함수를 최소화시키는 것이다. 그러나, 이 성분(f)은 모델(G_k)의 업데이트 동안 일종의 그래디언트 하강을 수행하도록 회전각도(θ)(또는 Δθ) 및 벡터의 평행이동(T)(ΔT)에 대해 그래디언트 항들(∇_θf,∇_Tf)을 추정하게 한다. 다른 항들에서, 파라미터 값들은 공간변환(F_t)에 대해 보유된다:

ΔT　= -η₁·∇_Tf(Δθ₀,　ΔT₀) (7)

Δθ　= -η₂·∇_θf(Δθ₀,　ΔT₀) (8)

여기서, η₁ 및 η₂는 기정의된 양의 수렴 단계들이다. 예로써, 양호한 감도를 얻기 위해 η₁ = 0.25 및 η₂ = 0.025가 취해질 수 있다. 필요하다면 몇몇 시뮬레이션 또는 실험을 수행함으로써, η₁ 및 η₂의 적절한 값들이 각 애플리케이션에 조절될 수 있다. (7) 및 (8)에서, 회전각도 및 평행이동 벡터의 적절한 값들(Δθ₀,ΔT₀)에 대해 편미분 ∇_θf, ∇_Tf이 취해진다.

f의 편미분은 하기의 표현을 가지며:

∇_Tf(Δθ₀,　ΔT₀) = 2(ΔT₀ - cp + R_Δθ0 [cm]) (9)

∇_θf(Δθ₀,　ΔT₀) = 2(ΔT₀ - cp)^T R_Δθ0+π/2 [cm]) (10)

여기서 (.)^T 는 평행이동 및 R_Δθ0+π/2 =

의 연산을 나타낸다. 이들 편미분들은 ΔT₀ 및 Δθ₀의 특정 값들에 대해 계산될 수 있다. 그런 후 결과들 ∇_Tf(Δθ₀,　ΔT₀), ∇_θf(Δθ₀,　ΔT₀)은 모델(G_k)을 업데이트하기 위해 단계 46에서 사용된 파라미터들(ΔT 및 Δθ)을 얻도록 수식 (7) 및 (8)에 주입된다.

상기 방법의 실시예에서, 편미분은 Δθ₀에 대해 각도

및 ΔT₀에 대해 cp-cm'을 취함으로써 수식 (9) 및 (10)에 따라 계산되며, cm'= R_Δθ0 [cm]이다. 포인트(m)에 적용되었다면, 이 회전각도(Δθ₀)와 벡터 팽행이동(ΔT₀)은 도 12에 도시된 바와 같이 이벤트 ev(p,t)의 위치(p)와 일치할 것이다. 상기 방법의 실시예에서, 단계 45는 따라서 Δθ₀ =

및 ΔT₀ = cp - R_Δθ0 [cm]을 취하고, (8)-(9)에 따라 그래디언트 ∇_Tf(Δθ₀,　ΔT₀), ∇_θf(Δθ₀,　ΔT₀)를 그런 후 (6)-(7)에 따라 공간변환(F_t)의 파라미터(ΔT,Δθ)를 계산한다.

계산(9)-(10)에 대해 다른 선택, 가령 Δθ₀= 0 및　ΔT₀ = mp (p에 m을 데려오는 간단한 평행이동) 또는 Δθ₀= ΔT₀ = 0도 가능하다. 2개의 반복들 간에 기본적인 변위들은 진폭이 낮기 때문에, 편미분 (9)-(10)이 계산되는 정확한 위치(ΔT₀,Δθ₀)는 (0,0)에서 또는 m 및 p 사이의 거리에 대해 선택된다면 아마도 거의 영향을 받지 않는다. 더욱이, 이 선택은 회전 중심(c)의 선택 관행에 따라 변한다. 회전 중심(c)은 일반적으로 모델(G_k)의 포인트들의 중력중심이나 이는 필요한 것이 아니다.

상기 방법의 많은 애플리케이션에서, 공간변환(F_t)은 상술한 회전 및 평행이동의 조합으로 표현될 수 있다. 그러나 물체의 모델(G_k)의 왜곡을 허용함으로써 대안도 가능하다.

특히, 아핀변환(F_t)을 고려할 수 있다. 이는 구하려는 물체의 3차원 운동을 고려하게 하며, 단지 이미지 면에 국한된 운동만이 아니다. 2D 아핀 매트릭스는 2개 축들을 따른 스케일링 팩터들(s_x,s_y)의 적용에 의해 회전(R_Δθ) 매트릭스로부터 발생한다. 이는 형태 cp = R_Δθ·

·cm + ΔT의 관계식에 따라 포인트(m 및 p)를 매치시키게 추구하도록 복귀하고, 포인트(c)는 모델(G_k)의 중력중심에서 다시 취해질 수 있다. 스케일링 팩터들(s_x,s_y)에 대한 비용함수 요소(f)의 편미분의 계산을 통해, 그래디언트 하강의 동일한 원리가 이들 스케일링 팩터들을 추정하기 위해 적용될 수 있다. 제 1 근사로서, 또 다른 수렴단계 η₃)를 이용하고 수식(6) 및 (7)에 따라 ΔT 및 Δθ의 추정을 완료하기 위해 다음과 같이 취할 수 있다:

s_x = 1 + η₃·(｜p_x｜-｜m_x｜) (11)

s_y = 1 + η₃·(｜p_y｜-｜m_y｜) (12)

수식(11) 및 (12)에서, ｜p_x｜및 ｜p_y｜는 벡터(cp)의 절대 좌표값들이고, ｜m_x｜및 ｜m_y｜는 벡터(cm)의 절대 좌표값들이다.

센서의 비동기식 신호에서 추척된 물체(k)가 단순히 일정 속도 v=

로 옮겨진 에지인 경우에, 도 13은 3차원을 가진 공간, 즉, 픽셀의 2D 매트릭스의 2개 방향에 해당하는 2개의 공간 차원들(x,y)과 시간 차원(t)에서 이 에지에 속하는 이벤트들을 나타낸다. 에지는 이 면에 포함되고

에 비례하는 속도 벡터(V)에 따른 면 Π_k(t)을 스캔한다. 실제로, 획득 노이즈와 물체에 대해 이벤트라고 생각되는 가능한 에러들로 최근에 물체에 기인된 이벤트들에 의해 통과된 평균 면으로서 확장된 면 Π_k(t) 주위로 이벤트들의 소정 분산이 있게 된다.

표기를 간략히 하기 위해 시간 인덱스(t)가 생략된 경우 면 Π_k(t), 또는 Π_k는 법선방향을 제시한 포인트들 g_k(t) 또는 g_k, 및 벡터 n_k(t) 또는 n_k 중 어느 하나에 의해 정의될 수 있다. 도 13의 도면에서, 포인트(g_k)는 시간 t-Δt 및 t 간에 물체(k)에 기인된 이벤트들의 중력중심과 일치하며, Δt=40ms이다. 최소자승법(least square fit)이, 특히, PCA(Principal Component Analysis)를 통해 시간 t-Δt 및 t 간에 물체(k)에 기인된 이벤트들과 면 Π_k(t) 간에 총 거리들을 최소화함으로써 면 Π_k(t)의 포인트(g_k) 및 벡터(n_k)를 추정하는데 사용될 수 있다.

이 최소계산은 물체(k)의 순간 변위를 나타내는 면 Π_k을 추정하기 위해 단계 47에서 수행된다.

변위 면 Π_k을 결정하기 위한 방식에 대한 더 상세한 내용에 대해, R. Benosman 등의 논문 "Event-based Visual Flow", IEEE Transaction On Neural Networks and Learning Systems, Vol. 25, No. 2, September 2013, pp. 407-417, 또는 특허출원 WO 2013/093378 A1을 참조로 할 수 있다.

추적된 물체가 단순한 에지가 아니라 센서에 의해 감지된 모양이 2차원을 따라 확장되는 경우, 물체(k)에 할당된 최근 이벤트들과 파라미터들(n_k,g_k)에 의해 정의된 면 간의 총 거리를 최소화함으로써 변위 면 Π_k을 결정할 수 있다. 3차원 시공간 표현으로, 이 면 Π_k은 전체적으로 물체(k)의 국소적 변위를 드러낸다.

물체(k)에 대해 추정된 변위 면 Π_k은 물체(k)에 대해 새 이벤트 ev(p,t)라 생각되는지 여부를 판단하기 위해 도 11의 단계 44에서 여러 가지 방식으로 이용될 수 있다.

단계 44로 돌아와서, 여러 물체들이 추적되는(K>1) 경우에 오클루젼 해상도의 경우들, 또는 보다 일반적으로 이벤트의 기인을 위해 여러 물체들 간에 모호성 의 경우를 특히 포함할 수 있다. 단계 43에서, 추적된 다양한 물체들의 모델들(G_k)에 가장 가까운 이벤트 ev(p,t)와 포인트(m_k) 간의 각각의 거리 d(m_k,p)가 계산되었다. 이들 거리 d(m_k,p) 중 단 하나만이 임계치(d_th), 가령 d_th=3픽셀보다 적으면, 이벤트는 이 물체에 기인된다. 반대로, 이는 여러 다른 물체들에 기인될 수 있는 모호한 이벤트들로 간주된다.

이 프로세싱이 도 14에 도시되어 있다. 단계 50에서 인덱스 k 및 j의 1 및 0으로의 초기화로 개시된다. 단계 43에서 최소화된 거리 d(m_k,p)는 임계치(d_th) 미만이고 긍정적이면 테스트(51)에서 검사되고 색인(j)는 단계 52에서 1 단위씩 증분되고 표 k(j)의 j번째 엔트리는 단계 53에서 k와 같게 취해진다. 단계 53 후에, 또는 테스트(51)에서 d(m_k,p)≥d_th인 경우에, 모든 물체들이 검사된 경우(k=K) 테스트(54)에서 검사된다. k<K이면, 테스트(54) 다음에 단계 55에서 인덱스(k)를 1 단위씩 증분시킨 후 다음 테스트(51)로 복귀한다. 테스트(54)에서 k=K이면, 정수(j)가 평가된다. j=0이면, 감지된 이벤트 ev(p,t)에 충분히 가까운 모델을 갖는 것으로 간주되는 물체가 전혀 없고 이벤트는 거부된다(도 11의 단계 41로 복귀한다). j=1이면, 이벤트 ev(p,t)는 물체 k=k(1)에 기인된다(도 11의 단계 45로 통과). j>1이면, 물체들 k(1), …,k(j) 간에 모호성(56)을 제거해야 한다.

모호성을 제거하는 데 있어 공간 구속조건을 고려하는 단계 56은 다음과 같은 몇가지 전략을 따라 발생할 수 있다:

·최근사 값에 기인: 새 이벤트 ev(p,t)가 모델(G_k)이 가장 가까운 물체, 즉 d(m_k,p)를 최소화하는 (k(1), …,k(j) 중에서) 물체(k)에 기인된다. 이론상, 이 전략은 새 이벤트가 완벽하게 모델(G_k)에 기인되고 데이터가 전혀 노이즈를 포함하지 않고 오클루젼으로 인한 모호함이 없다면 정확히 작동한다;

·모두 거부: 이 접근은 간단히 모호한 이벤트들을 무시한다. 즉, 도 11의 단계 45-47는 이벤트 ev(p,t)에 대해 실행되지 않는다. 이 접근은 논리적인듯 보이는데 왜냐하면 선험적으로 더 명확히 결정할 수 없기 때문이다. 그러나, 모양의 다이나믹스를 분실할 위험이 있기 때문에 추적이 실패할 수 있다;

·모두 업데이트: 모호한 이벤트 ev(p,t)의 이웃에 있는 모든 모델들(G_k)이 업데이트된다. 다시 말하면, 도 11의 단계 45-47는 d(m_k,p)≤d_th이도록 각 물체(k)에 대해 실행된다;

·가중화 업데이트: 모호한 이벤트 ev(p,t)는 거리의 반대방향으로 변하는 가중화로 각 이웃 모델(G_k)에 기인된다. 다시 말하면, 도 11의 단계 45-47는 가령 d(m_k,p)에 반비례하고 Σα_k=1이도록 거리d(m_k,p)의 감소함수로서 계산된 각각의 가중계수 α_k와 함께 d(m_k,p)≤d_th이도록 각 물체(k)에 대해 실행된다.

이벤트 기반의 획득 프로세스의 매우 높은 주기해상도는 모호한 상황의 해상을 위한 추가 정보를 제공한다. 현재 이벤트 레이트(r_k)가 추적되는 각 모양(G_k)에 대해 결정될 수 있으며, 이는 물체(k)의 정보를 포함하고 이 물체의 다이나믹스를 부분적으로 코딩한다.

여기서, t_k,0, t_k,1,…, t_k,N(k)는 t_k,0 < t_k,1 < … < t_k,N(k)이며 길이(Δt)가 약 수 ms에서 수십 ms일 수 있는 타임 윈도우 동안 물체(k)에 기인했던 수가 N(k)+1인 가장 최근의 이벤트들의 타임라벨을 나타낸다(따라서, t_k,N(k)에서 감지된 이벤트는 물체(k)에 대한 가장 최신이다). 이들 타임라벨은 하기에 정의된 이벤트 레이트(r_k)의 이동평균을 각 물체(k)에 대해 계산할 수 있다:

(13)

현재 이벤트 레이트(r_k)의 이 계산은 시간 t_k,N(k)에서 이 이벤트의 감지에 이어 물체(k)에 기인(단계 44)되자마자 실행될 수 있다.

그런 후, 다음 이벤트 ev(p,t)가 여러 추적된 물체들 간에 모호함을 일으키면, 단계 44는 모호한 이벤트 ev(p,t)가 하기의 수식에 따라 기인될 수 있는 각 물체(k)에 대한 점수(C_k)의 계산을 포함할 수 있다:

C_k　=　(t　- t_k,N(k))　r_k (14)

이 점수(C_k)는 각 물체(k)와 더불어 모호한 이벤트 ev(p,t)의 시간 코히어런스를 평가할 수 있다. 기간(t　- t_k,N(k))은 이벤트 ev(p,t)가 물체(k)에 속한다면 현재 이벤트 레이트(r_k)의 역수(逆數)에 가까운 것이 예상될 수 있다. 그런 후 단계 44에서 시간제한을 고려하는 것은 (14)에 따라 점수(C_k)를 계산한 후 이벤트 ev(p,t)가 기인될 수 있는 다양한 물체들(k)로부터 점수가 1에 가장 가까운 하나를 선택하는데 있다. 이 선택이 행해진 다음, 이벤트 레이트(r_k)는 선택된 물체에 대해 업데이트될 수 있고 컨트롤이 도 11의 단계 45로 보내질 수 있다.

모호성을 제거하기 위해 시간제한을 고려하고 도 14의 단계 56의 실행모드를 형성하는 이 프로세싱이 도 15에 도시되어 있다. 이는 인덱스(i)의 초기화가 1인 단계 60에서 개시되고, 물체(k)의 인덱스는 k(1)로 점수(c)는 (t　- t_k(1),N(k(1)))r_k(1)로 초기화된다. 루프(61-65)는 이벤트 ev(p,t)가 기인될 수 있는 다양한 물체들의 점수 C_k(i)를 평가하기 위해 실행된다. 단계 61에서, 인덱스(i)는 1 단위로 증분된다. 단계 62에서, C'=　(t　- t_k(i),N(k(i)))　r_k(i)·Si |C'　-1|≥|C-　1| (테스트(63))에 따라 물체 k(i)의 점수 C_k(i)가 계산되고, 인덱스(i)와 후보 물체들의 넘버(j)를 비교하기 위해 루프출구 테스트(65)가 실행된다. 테스트(63)에서 |C'　-1|<|C-　1|이면, 인덱스 k를 k(i)로 대체하도록 단계 64가 실행되고 루프출구 테스트(65)를 지나기 전에 C=C'을 업데이트한다. 테스트(65)에서. i<j인 한, 프로세스는 다음 반복을 위해 단계 61로 복귀한다. i=j이면, 물체(k)에 대한 이벤트의 기인이 완료되고 알고리즘은 선택된 물체(k)에 대해 넘버 N(k) 및 타임라벨 t_k,0, t_k,1,…, t_k,N(k)을 업데이트하기 위한 단계 66으로 이동한다. 그런 후, 이벤트 레이트(r_k)는 단계 67에서 (12)에 따라 업데이트되고 알고리즘은 도 11의 단계 45로 이동한다.

단계 56에서 모호성을 제거하기 위한 또 다른 방식은 이벤트 ev(p,t)에 기인할 수 있는 다양한 물체들 k(1), …,k(j)의 변위 면들 Π_k(1),…,Π_k(j)을 참조함으로써 공간제한 및 시간제한을 조합하는 것이다.

특히, 이벤트 ev(p,t)의 기인을 위해 이벤트 ev(p,t)와 각 면들 Π_k(1),…,Π_k(j) 간에 3차원 시공간 표현으로 측정된 k(1), …,k(j) 중에서 거리를 최소화하는 물체(k)를 보유할 수 있다. 그런 후 이벤트는 다음과 같이 물체(k)에 기인된다:

(15)

D(i) = |eg_k(i)· n_k(i)| (16)

여기서, "·"는 3차원 공간에서 2개 벡터들 간에 스칼라 곱을 나타내고, n_k(i)는 면 Π_k(1)에 법선방향을 제공하는 벡터이며, eg_k(i)는 3차원 공간에서 감지된 이벤트 ev(p,t)를 표시한 포인트(e)로부터 면 Π_k(1)의 포인트들(g_k(i)) 중 하나를 가리키는 벡터이다.

모호성을 제거하고 도 14의 단계 56의 또 다른 실시예를 형성하기 위한 공간제한 및 시간제한을 조합한 이 프로세싱이 도 16에 도시되어 있다. 단계 70에서 인덱스(i)를 1로 초기화가 개시되고, 물체(k)의 인덱스는 k(1)로 거리(D)는 |eg_k(1)· n_k(1)|로 초기화된다. 이벤트 ev(p,t)가 기인할 수 있는 다양한 물체들의 거리 D(i)를 평가하기 위해 루프(71-75)가 실행된다. 단계 71에서, 인덱스(i)는 1 단위로 증분된다. 단계 72에서, 물체 k(i)에 대한 거리 D(i)는 D = |eg_k(i)· n_k(i)|에 따라 계산된다. D'≥D이면(테스트 73), 인덱스(i)를 후보 물체들의 넘버(j)와 비교하기 위해 루프출구 테스트(75)가 실행된다. 테스트 73에서 D'<D이면, 테스트(75)로 보내기 전에 인덱스(k)를 k(i)로 대체하고 D=D'를 업데이트하기 위해 단계 74가 실행된다. 테스트(75)에서 i<j인 한, 프로세스는 다음 반복을 위해 단계 71로 복귀한다. i=j인 경우, 물체(k)에 대한 이벤트의 기인이 완료되고 알고리즘은 도 11의 단계 45로 이동한다.

비동기식 센서(10)가 움직이면, 장면의 고정된 배경에 의해 이벤트들이 또한 발생된다. 도 17은 추적된 물체(k)에 속하는 이벤트들과 이 물체에 대해 추정된 변위 면 Π_k 간에 일반적인 거리의 분포(곡선 78)뿐만 아니라 고정된 배경에 속하는 이벤트들과 물체의 변위 면 간에 대표적인 거리의 분포(곡선 79)를 나타낸다. 이는 추적된 물체(k)에 대한 이벤트들을 변위의 평균 면 Π_k은 배경을 포함해 추적되지 않은 물체들에 대한 이벤트들과 구분하기 위한 차별기준을 제공할 수 있음을 나타낸다. 추적된 물체들과 코히어런트하지 않거나, 동일하게 변위 면 Π_k으로부터 "너무 먼" 이벤트들은 간단히 무시된다.

그런 후 장면의 배경으로부터 발생한 이벤트들을 필터하기 위한 한가지 방식은 (도 11의 단계 47에서 추정된) 추적된 물체의 변위 면 Π_k과 타임윈도우(Δt) 동안 단계 44에서 이 물체에 기인되었던 감지된 이벤트들 ev(p,t)을 표시하는 포인트들 간의 거리의 통계적 분포를 추정하는 것이다. 이 통계분포는 도 17의 곡선(78)에 해당한다. 이는 변위 면 Π_k과 물체에 기인되었던 이벤트들 간의 평균거리(d_k) 뿐만 아니라 분포의 표준편차(σ_k)를 평가할 수 있게 한다. 이들 파라미터들을 이용해, 허용되는 거리 값들에 대해 간격(I_k)이 결정된다. 새로 감지된 이벤트 ev(p,t)가 추적된 물체에 할당될 수 있는지에 대해 결정을 해야하는 경우, 3차원 공간에서 이벤트 ev(p,t)를 표시한 포인트와 면 Π_k간의 거리 D=|eg_k·n_k| (16)에 따라 계산이 행해진다. 이 거리(D)가 간격(I_k) 밖에 있으면, 이벤트는 물체(k)에 기인되지 않는다. 반대로, 특히 도 14-16을 참조로 상술한 바와 같은 임의의 오클루젼을 고려하기 위해 이벤트가 물체(k)에 기인된 것이거나, 다른 필터링을 받게 된다.

예컨대, 간격(I_k)은 평균거리(d_k)의 값에 중심을 두고 폭은 표준편차(σ_k)의 곱이다.

배경의 가능한 움직임을 고려하기 위해, 도 11의 단계 44는 도 18에 도시된 프로세싱을 포함할 수 있다(하나의 물체(k)가 추적되는 특별한 경우, 이 경우는 K>1인 경우로 쉽게 일반화될 수 있다). 단계 42에서 이벤트 ev(p,t)의 감지 후에, 거리 D=|eg_k·n_k|가 단계 80에서 계산된 후에, 이 거리(D)가 간격(I_k)에 있는지 판단하기 위해 테스트(81)가 실행된다. D가 간격(I_k) 밖에 있으면, 프로세스는 도 11의 단계 41로 복귀한다. D가 간격(I_k) 내에 있으면, 이벤트 ev(p,t)는 배경의 움직임보다는 물체(k)에 기인된 것이다. 물체(k)의 변위 면 Π_k에 대해 상대적으로 거리의 분포(곡선(78))가 단계 82에서 거리(D)로 업데이트되며, 그런 후 간격(I_k)이 단계 83에서 재계산된다. 그다음 프로세스는 도 11의 단계 45로 이동한다.

도 14-18을 참조로 기술한 프로세싱은 도 11에 따른 본 발명의 실시예의 매락에서 소개되어 있다. 그러나, 추적된 다수의 물체들간에 가능한 오클루젼 뿐만 아니라 장면의 배경의 가능한 움직임을 고려해 사용된 이 프로세싱은 또한, 특히 도 8을 참조로 기술된 바와 같이 SVD 타입의 기술에 대해 청구될 경우, 모양을 추적하는 방법의 다른 실시예들과 함께 사용될 수 있음이 관찰된다.

상술한 방법의 성능을 드러내기 위해 디지털 실험들을 수행했다. 이들 실험들은 하기의 예에서 다루어진다.

실시예 1

강체 공간변환(F_t), 즉, 이미지 면에서 평행이동 및 회전으로 구성된 변환을 추구함으로써 도 6a 및 7을 참조로 상술한 바와 같이 별이 회전디스크에 그려진 경우의 실험을 행하였다.

분당 670 회전수의 속도로 디스크를 회전시켰다. 스냇샷으로부터 별의 에지당 6개 지점을 선택함으로써 수동으로 모델(G)의 모양을 제공하는 패턴(H)을 만들었다. 노이즈의 영향을 제거하고 계산 부담을 줄이는데 사용하기 위해 6개 픽셀의 거리 임계치를 이용했다. 도 7에 도시된 바와 같이, 알고리즘은 높은 회전속도에도 불구하고 유효한 방식으로 회전 모양을 추적하는데 성공했다.

도 19는 구한 별 모양의 추적의 정확도를 하기의 3가지 추적방법들과 비교하게 한다:

· 출력신호가 프레임으로 구성된 종래 카메라의 이미지(도 19에서 곡선(85)) 를 처리하는 ICP 알고리즘. 비교가 정확해지도록, 프레임들을 구별한 후 남아 있는 픽셀들의 위치들만이 ICP 알고리즘에 의해 고려된다;

· 50㎲의 시간주기에 걸쳐 수집된 이벤트들을 고려함으로써 도 8을 참조로 나타낸 방식으로(곡선 86), 해석적 형태의 추정이 SVD 접근을 기초로 한 비동기 이벤트 기반의 센서(10)를 이용한 모양추적방법;

· 도 11을 참조로 표시된 식으로(곡선 87) 이 이벤트의 감지 전에 수행된 연관성과는 별개로, 이벤트 ev(p,t)를 발생한 매트릭스의 픽셀(p) 및 모델의 포인트(m) 간에 현재 관계에 따라 업데이트된 모델의 추정과 더불어 비동기식 이벤트 기반 센서(10)를 이용한 모양추적방법.

모양 추적의 정확도를 평가하기 위해, 모델 세트와 활동 이벤트들의 위치 간에 평균거리가 매 200㎲마다 계산되다. 평균 에러는 곡선(85, 86, 및 87)에 대해 각각 2.43, 1.83 및 0.86이고, 각각의 표준편차는 0.11, 0.19 및 0.20 픽셀이다. 센서의 비동기식 신호를 고려함으로써 특히 도 11의 경우에 모양추적방법의 주목할만한 향상이 허용된다.

탁월한 시간 정확도로 더 정확한 추적이 야기된다. 에러 곡선은 자극의 반복회전으로 인한 진동(도 19에서 삽도)을 나타낸다. 추적 에러는 알고리즘의 재현성 및 신뢰성의 양호한 속성을 나타낸다. 잔여 에러는 센서의 제한된 공간 해상도와 결합된 픽셀들의 정사각형 매트릭스의 기하학적 형태에 기인하며, 이는 모양의 각 위치와 관련해 등방성 반응을 제공하지 않는다.

모델(G)에 대해 보유된 포인트들의 개수는 계산의 정확도 및 비용에 영향을 준다.

도 11에 따른 실시예의 경우, 한 이벤트를 처리하는데 필요한 계산시간의 역수로서 등가의 이미지 레이트를 정의할 수 있다.

실시예에서, 2.8 GHz로 클록되고 이 CPU의 용량의 25%를 차지하는“Intel Core i5” 타입의 CPU에 제공된 컴퓨터에서 추적 프로그램을 실행했다. 이 구성으로, 이 모델의 90개 포인트들의 세트는 200kHz의 등가의 이미지 레이트에 해당하는 감지 주파수를 제공할 수 있는 것으로 나타났다. 모델에서 약 2000 포인트들까지, 적어도 11kHz의 등가의 이미지 레이트로 업데이트될 수 있다. 실험에 따르면, 60에서 70개의 포인트의 모델에 대해, 알고리즘은 1250rpm까지의 속도로 변위된 모양을 실시간으로 추적할 수 있다.

일반적으로, 모델에서 물체의 외형의 코너들을 포함하는데 관심이 있다. 그러나, 물체의 모양의 직선 에지를 따라, 추적의 최종 정확도에 부정적인 영향을 주지 않으면서 포인트들의 개수를 줄일 수 있다.

포인트들의 개수가 늘어나면, 추적 에러가 0이 되지 않으나, 비동기식 센서의 공간 해상도 한계와 관련된 약 0.84 픽셀의 값이 되는 경향이 있다. 논리적으로, 모델이 포함하는 포인트들이 더 많으면, 추적 정확도가 더 나아지나, 계산비용이 더 높아진다. 모델에 대해 60개에서 100개 포인트의 크기가 높은 추적 주파수(약 200kHz)를 유지함으로써 합리적인 정확(약 0.90 픽셀)도를 얻기 위한 양호한 타협이다.

실시예 2

도 11에 따른 실시예에서 수식(6), (7), (11) 및 (12)을 이용해 계산된 아핀공간변환을 고려함으로써 여러 모양들(H 모양, 자동차 모양 및 별 모양)의 경우에 대해 실험을 수행했다. 이 실험 동안, 물체들의 모양은 왜곡되고 도 20에 도시된(H 모양에 대해 a-d, 자동차 모양에 대해 e-h, 별 모양에 대해 i-1) 식으로 리사이즈된다.

도 21은 자동차 모양(각각 곡선 90 및 91)의 추적 동안, 모양의 원래 크기에 대해 스케일링 팩터(s_x,s_y)를 도시한 것이다. 스케일링 관계들은 2개 축을 따라 다른데, 이는 사시도의 변화가 실험 동안 수평축보을 따라서보다는 수직축을 따라 더 종종 발생하기 때문이다. (92로 표시된) 추적 에러는 0.64 픽셀의 평균값과 0.48 픽셀의 표준편차를 나타낸다.

따라서, 도 11을 참조로 상술한 방법은 아핀변환을 위한 조사 동안 양호한 성능을 제공한다.

실시예 3

이 실험에서, 비동기식 센서로 자동차 교통 데이터를 얻었다. 4개의 연속 순간들로 도 22에 도시된 바와 같이, 다수의 차량들이 여러 차선위로 동시에 움직였다. 도 22의 열(a)은 비동기식 센서에 의해 생성되고 수 ms 동안 누적된 이벤트를 나타내는 반면, 열(b)은 해당하는 그레이스케일의 이미지들을 나타낸다. 선택된 장면은 정적 물체들(나무, 가로등 기둥 등)로 인해 높은 오클루젼과 강건한 추적을 위해 상당한 변화를 이루었던 이동 물체들(차량들)과 함께 임계 순간들이 있음을 알 수 있다.

아핀변환(F_t)을 추구함으로써 도 11에 도시된 방법으로 자동차 및 트럭에 각각 해당하는 2개의 모양들(95,96)을 추적했다. 수식(6), (7), (11) 및 (12)의 수렴단계들(η₁,η₂,η₃)을 각각 0.1, 0.002 및 10^-5로 설정하였다. 자동차에 대한 모델(G₁)은 67개 포인트들을 포함한 한편, 트럭에 대한 모델(G₂)은 102개의 포인트들을 포함했다. 획득된 이미지의 픽셀들을 수동으로 가리킴으로써 이들 모델들을 만들었다.

도 23은 도 11에 따른 방법 및 이벤트 기반의 비동기식 센서로 관찰한 추적 에러들을 도시한 반면, 도 24는 프레임 베이스를 갖는 카메라로부터 발생한 이미지들을 이용한 종래 방법으로 관찰된 동일한 에러를 나타낸다. 비교가 적절하도록, 초당 100 프레임의 주파수로 재구성된 그레이스케일의 이미지에 종래 프레임 기반의 ICP 기술을 적용했다. 연속 프레임들 간에 차이를 계산하고 임계 동작을 적용함으로써 이동 에지들을 얻기 위해 각 이미지를 사전처리했다. 이벤트 기반의 방법의 시간 정확도는 약 1㎲였다.

도 11에 따른 이벤트 기반의 방법에 대해 평균추적에러는 0.86 픽셀이였고, 표준편차는 0.19픽셀인 반면(도 23), 종래 프레임 기반의 방법은 평균추적에러가 5.70 픽셀이였고, 표준편차는 2.11픽셀이였다(도 24). 도 23에서 썸네일(a1)-(a5) 및 도 24에서 썸네일(b1)-(b5)은 "트럭" 물체가 추적에러의 극대화를 초래하는 오클루젼을 조우하는 상황을 도시한 것이다.

본 발명에 따른 방법에 의해 얻은 탁월한 시간 정확도는 종래 프레임 기반의 방법보다 더 나은 추적 안정성이 수반되는 것이 주목될 수 있다. 종래 방법에서, 획득 주파수를 높이는 (고가의) 방안은 오클루젼 상황을 항상 정확히 처리하기에 불충분하다. 반대로, 비동기식 센서에 의해 발생된 이벤트 기반의 신호의 다이나믹 컨텐츠가 알고리즘에 대한 더 안정적인 입력 데이터를 얻는다. 정적 장애물들은 전혀 이벤트를 발생하지 않고 따라서 부분적으로 추적 프로세스에 영향을 주지 않는다.

실시예 4

오클루젼을 가질 수 있는 여러 물체들의 추적을 위해 모호성을 제거하기 위한 여러 전략들이 테스트되었다.

자동차 교통을 포함한 실제 장면에서 방향이 동일하나 속도가 다르게 변위되는 "자동차" 물체 및 "트럭" 물체의 모양들을 동시에 추적하였다. 한 동안, 트럭이 자동차를 지날 때까지 트럭 및 자동치의 모양들은 센서(10)의 시계에서 겹쳐진다. 트럭 및 자동차보다는 다른 물체들은 배경 노이즈로 처리된다.

도 25는:

· "트럭" 물체로부터 발생한 이벤트와 "트럭" 물체의 중력중심 간에 관찰된 거리(곡선 100);

· "자동차" 물체로부터 발생한 이벤트와 "자동차" 물체의 중력중심 간에 관찰된 거리(곡선 101);

· "트럭" 물체로부터 발생한 이벤트와 "자동차" 물체의 중력중심 간에 관찰된 거리(곡선 102); 및

· "트럭" 물체로부터 발생한 이벤트와 "자동차" 물체의 중력중심 관찰된 거리(곡선 103)를 나타낸다.

이들 곡선들이 유사한 값들을 지나면 모호함이 발생되는데, 이는 2개 차량들의 모양이 시계에서 겹치는(약 2.2 내지 2.9초 사이인) 것을 말한다. 이 경우, 공통영역의 크기가 매우 적지 않다면, 공간 정보의 이용이 불충분해질 수 있다.

도 26은 "트럭" 물체(곡선 105) 및 "자동차" 물체(곡선 106)의 평균 이벤트 레이트(r_k)를 도시한 것이다. 이 실험에서, 2개 곡선들이 구분되어 있어, 2개 차량들의 모양은 자동차에 대해 초당 약 3000 이벤트 및 트럭에 대해 초당 약 5000 이벤트의 이벤트 레이트를 말하는 전체 시퀀스 동안 분리된 채 있는 것을 알 수 있다. 그러나, 분리될 수 있는 이 속성은 반드시 임의의 시퀀스에 대해 보장되지 않는다.

전반적으로, 시간 구속조건들을 가령 공간 구속조건들과 같이 추가 구속조건들과 조합하는 것이 일반적으로 바람직하다.

도 27-32는 연속 이미지들 상에 해당 포인트들을 수동으로 식별함으로써 판단된 이들을 실제 속도들(각각 점선 곡선(112 및 113))과 비교함으로써 도 11에 따른 방법의 구현 동안 추정된 "트럭" 물체(곡선 110) 및 "자동차" 물체(곡선 111)의 모델의 속도를 도시한 것이다. 평균속도는 각각 트럭에 대해 42.0 픽셀/s이고 자동차에 대해 24.3 픽셀/s이다. 6개 도면들은 모호성을 제거하기 위한 6개의 다른 전략들, 즉 “최근사 값에 기인” (도 27); "모두 거부" (도 28); “모두 업데이트” (도 29); “가중화 업데이트” (도 30); “이벤트 레이트(r_k)를 기초로 한 시간 구속조건” (도 31); 및 “변위 Π_k면 을 이용한 공간 및 시간 구속조건들의 조합" (도 32)에 해당한다. 도 27-32에 포함된 썸네일은 방법들 간에 차이를 연구하기 위한 가장 관심있는 순간들을 도시한 것이다. 각 곡선의 시작은 오클루젼이 발생하지 않는 한 동일하다. 그래프의 우측부에 표시된 퍼센트는 한편으로는 곡선(110 및 112) 간에 그리고 다른 한편으로는 곡선(111 및 113) 간의 상대 평균거리에 해당한다.

도 27에서 "최근사 값에 기인" 전략은 트럭 모델이 자동차 모델에 의한 잇따른 오클루젼으로 분실되기 때문에 상대적으로 열악한 결과를 제공한다. "모두 거부" 전략(도 28)은, 이번에, 오클루젼 이후 분실된 자동차의 모델이기 때문에 더 만족스럽지 못하다.

“모두 업데이트”전략(도 29)이 바람직해 보이는데 이는 2대의 차량들의 모양들이 분실없이 여전히 추적되기 때문이다. 시퀀스의 마지막에서, 트럭에 의해 발생된 이벤트들은 자동차 모델을 끌어당기며, 이런 식으로 자동차에 대한 최종 발생한 경로가 트럭의 경로를 향해 약간 벗어나고 트럭의 추정 속도는 자동차의 속도가 증가할 때 감소된다(도 29에서 (c3) 참조).

“가중화 업데이트” 전략(도 30)은 거리에 따른 가중화로 다양한 물체들 간에 모호한 이벤트들에 의해 도입된 다이나믹스를 구분한다. 도 30은 트럭 및 자동차가 분실 없이 추적되고 속도 곡선이 실제 속도와 더 잘 일치하는 것을 나타낸다. “모두 업데이트”전략에서와 동일한 이유로, 시퀀스의 마지막에 여전히 차이가 있으나, 이들 에러들의 진폭이 더 적다. 여러 물체들이 교차 또는 충돌할 경우 공간 구속조건들을 기초로 한 것들 중에는 이“가중화 업데이트” 전략이 바람직하다.

“이벤트 레이트(r_k)를 기초로 한 시간 구속조건” 전략(도 31)은 이 실험의 틀 내에서 양호한 결과를 제공한다. 그러나, 이것의 신뢰도는 타겟 물체들이 유사한 이벤트 레이트를 가질 경우 보장되지 않는다.

"트럭" 물체 및 "자동차" 물체의 변위(Π₁ 및 Π₂) 면 Π_k을 추정하기 위해(도 33) 3s의 주기(Δt)로 “변위 면 Π_k을 이용한 공간 및 시간 구속조건들의 조합" 전략(도 32)을 이용했다. 도 32에 도시된 바와 같이, 이 전략은 2 차량들의 추적에 있어 최저 에러를 발생하는 전략이다. 이는 로컬 시공간 면들(Π₁ 및 Π₂)이 부정확한 속성을 제거하고 노이즈에 대한 더 나은 강건성을 얻음으로써 부근을 실질적으로 제한하는 사실로써 설명될 수 있다. 에러들은 더 신뢰할 수 있느 속성 프로세서로 인해 트럭 및 자동차 간에 더 균일한 방식으로 분포되는 것을 주목하는 것이 흥미있다.

실시예 5

도 16을 참조로 기술된 배경에 의해 발생된 이벤트를 제거하는 방법을 적용함으로써 이동식 센서에 의해 발생된 비동기 신호의 2개 시퀀스들을 테스트하였다.

제 1 시퀀스에서, 비동기식 센서를 손으로 잡고 동시에 이동시키면서 별 모양을 내부 환경으로 이동시켰다. 도 34는 장면의 여러 스냇샷들(a1)-(a5)을 도시한 것이다.

결과를 평가하기 위해, (별의 이동과 센서의 이동을 결합한) 도 11에 따른 방법에 의해 계산된 별의 속도가 도 34에서 곡선(116)으로 도시되어 있고, 수동으로 취한 실제 속도와 비교되며, 점선 곡선(117)으로 표시된다. 추정된 데이터와 실제 데이터 간에 평균 에러는 6%인 것으로 추정된다. 장면은 배경에 많은 에지들을 포함하나, 추적 프로세스는 여전히 강건하다.

제 2 시퀀스는 다시 자돋차 교통과 함께 외부 장면에서 나온다. 수동으로 변위된 비동기 시각센서(10)를 이용해 자동차 모양이 추적된다.

도 35는 자동차의 속도의 추정결과(곡선 118)을 나타내고 이들을 손으로 결정된 실제 속도(곡선 119)와 비교한다. 처리하기 어려운 상황(가령, 인도 및 보행자 횡단보도가 자동차에 가깝거나 겹쳐질 때)에도 불구하고, 알고리즘의 양호한 시공간 속성들이 허용가능한 결과를 제공한다. 속도에 대한 평균추정에러는 15%이다. 추적의 품질은 자동차가 전체적 시야로 상당한 변화를 겪기 시작할 때 약 3.5초(도 35에서 b5)에서 시작해 떨어진다.

전반적으로, 상술한 바와 같이 이벤트 기반의 추적은 센서 및 추적 물체들이 움직이는 경우에도 강건하다.

상술한 실시예들은 본 발명의 예시이다. 첨부된 특허청구범위에서 유래된 본 발명의 범위를 벗어남이 없이 다양한 변형들이 행해질 수 있다.

Claims (18)

1. 장면의 맞은편에 배열된 픽셀 매트릭스를 갖는 광센서(10)로부터 비동기 정보를 수신하는 단계; 및
   비동기 정보에서 상기 물체에 기인된 이벤트들을 감지한 후, 포인트 세트를 포함하고 물체의 추적된 모양을 나타내는 모델(G)을 업데이트하는 단계를 포함하고,
   비동기 정보는 각 매트릭스의 픽셀에 대해 상기 픽셀로부터 비동기식으로 발생한 연속 이벤트들을 포함하며,
   상기 업데이트하는 단계는 이벤트 ev(p,t)의 감지에 이어:
   감지된 이벤트가 발생한 매트릭스의 픽셀(p)에 대해 최소 거리를 갖는 모델의 포인트(m)를 감지된 이벤트와 연관시키는 단계; 및
   감지된 이벤트가 발생한 매트릭스의 픽셀(p)과 관련된 포인트(m)에 따라 그리고 상기 이벤트 ev(p,t)의 감지 전에 수행된 연관성에 무관하게 업데이트된 모델을 결정하는 단계를 포함하는 장면 내 모양을 추적하는 방법.
2. 제 1 항에 있어서,
   감지된 이벤트 ev(p,t)가 발생한 픽셀(p)에 대해 임계치(d_max,d_th) 미만의 거리에 모델(G)의 어떠한 포인트도 위치되지 않을 경우, 물체에 기인되지 않은 상기 이벤트를 감지한 후에는 모델이 업데이트되지 않는 장면 내 모양을 추적하는 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   물체의 변위 면을 추정하는 단계; 및
   상기 이벤트가 물체에 기인된 것인지 여부를 판단하기 위해 물체의 변위의 추정면을 고려하는 이벤트(ev(p,t))의 감지를 쫓는 단계를 포함하고,
   현재 순간에서 종료한 타임윈도우 동안 물체에 기인되었던 감지된 이벤트들을 표시하는 포인트 세트와 관련해 거리 기준을 최소화함으로써 3차원, 즉, 픽셀 매트릭스의 2개 방향에 해당하는 2개의 공간차원들과 하나의 시간차원을 가진 공간에서 변위 면(Π_k)이 추정되는, 장면 내 모양을 추적하는 방법.
4. 제 3 항에 있어서,
   복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 복수의 물체들 중 각 하나는 기인된 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)과 추정된 변위 면(Π_k)을 가지며, 상기 방법은 적어도 2개의 물체들에 기인될 수 있는 이벤트(ev(p,t))의 감지에 이어:
   상기 감지된 이벤트를 표시한 포인트와 상기 물체들에 대해 각각 추정된 변위 면들 간에, 3차원 공간에서, 각각의 거리들을 계산하는 단계; 및
   계산된 거리가 최소인 물체로 인해 상기 감지된 이벤트를 발생하는 단계를 더 포함하는, 장면 내 모양을 추적하는 방법.
5. 제 3 항 또는 제 4 항에 있어서,
   물체의 변위 면(Π_k)과 물체들에 기인되었던 감지된 이벤트들을 표시하는 포인트들 간에 거리의 통계적 분포를 추정하는 단계; 및
   이벤트(ev(p,t))의 감지에 이어, 물체로 인해 상기 이벤트를 발생했는지 여부를 판단하기 위해 추정된 통계 분포와 물체의 추정된 변위 면을 고려하는 단계를 더 포함하는, 장면 내 모양을 추적하는 방법.
6. 제 5 항에 있어서,
   추정된 통계 분포를 기초로 허용가능한 거리 값의 간격(I_k)을 결정하는 단계; 및
   3차원 공간에서 상기 감지된 이벤트를 표시한 포인트가 추정된 변위 면에 대해 허용가능한 거리 값들의 간격 밖에 있는 거리를 갖는다면 물체로 인한 감지된 이벤트를 발생하지 않는 단계를 더 포함하는, 장면 내 모양을 추적하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 물체들 중 각 하나는 기인되었던 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)을 가지며, 상기 방법은 이벤트(ev(p,t))의 감지에 이어:
   물체들 중 단 하나만 감지된 이벤트가 발생한 매트릭스의 픽셀(p)에 대해 임계치(d_th) 미만의 거리를 갖는 포인트를 모델에서 갖는 조건을 만족하면, 물체들 중 상기 하나의 물체로 인해 감지된 이벤트가 발생하는 단계를 더 포함하는, 장면 내 모양을 추적하는 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 물체들 중 각 하나는 기인되었던 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)을 가지며, 상기 방법은 물체들 중 적어도 2개로 인해 발생할 수 있는 이벤트(ev(p,t))의 감지에 이어:
   감지된 이벤트가 발생할 수 있는 각 물체에 대해, 감지된 이벤트가 발생한 매트릭스의 픽셀(p)에 대해 각각의 거리 기준을 최소화함으로써 상기 물체의 모델(G_k)의 포인트(m))를 감지된 이벤트와 연관시키는 단계; 및
   최소화된 거리 기준이 가장 작은 물체로 인해 감지된 이벤트를 발생하는 단계를 더 포함하는, 장면 내 모양을 추적하는 방법.
9. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 복수의 물체들 중 각 하나는 기인되었던 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)을 가지며, 상기 방법은 물체들 중 적어도 2개로 인해 발생할 수 있는 이벤트(ev(p,t))의 감지에 이어 감지된 이벤트가 상기 적어도 2개의 물체들 중 어느 하나에 할당되지 않는 장면 내 모양을 추적하는 방법.
10. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 복수의 물체들 중 각 하나는 기인되었던 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)을 가지며, 물체들 중 적어도 2개로 인해 발생할 수 있는 이벤트(ev(p,t))의 감지에 이어 감지된 이벤트가 발생할 수 있는 물체들 중 각 하나에 감지된 이벤트가 할당되는, 장면 내 모양을 추적하는 방법.
11. 제 10 항에 있어서,
    감지된 이벤트가 발생했던 물체들의 모델들(G_k)을 업데이트하는 단계는 상기 물체들에 대해 각각 최소화된 거리 기준에 따른 가중화로 수행되는 장면 내 모양을 추적하는 방법.
12. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    복수의 물체들은 장면에서 추적된 각각의 모양을 갖고, 복수의 물체들 중 각 하나는 기인되었던 이벤트들의 감지 후에 업데이트된 각각의 모델(G_k)을 가지며, 상기 방법은:
    각 물체에 대해, 상기 물체에 기인되었던 이벤트들의 레이트를 평가하는 단계와 상기 물체에 기인되었던 마지막 이벤트가 감지된 순간을 기억하는 단계; 및
    적어도 2개의 물체들로 인해 발생할 수 있는 이벤트(ev(p,t))의 감지에 이어, 기억된 순간과 상기 이벤트의 감지 순간 사이의 시간간격만큼 추정된 이벤트 레이트의 곱이 1에 가장 가까운 물체들 중 하나로 인해 감지된 이벤트를 발생하는 단계를 더 포함하는 장면 내 모양을 추적하는 방법.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    업데이트된 모델을 판단하는 단계는 파라미터 세트에 의해 정의된 공간변환(F_t)을 추정하는 단계(45) 및 추정된 공간변환을 모델(G_k)에 적용하는 단계를 포함하고, 공간변환을 추정하는 단계는 픽셀 매트릭스의 면에서 감지된 이벤트가 발생한 매트릭스의 픽셀(p)과 감지된 이벤트와 관련된 모델의 포인트(m)에 상기 공간변환을 적용함으로써 얻은 포인트 간에 거리의 그래디언트의 함수로서 상기 파라미터들을 계산하는 단계(46)를 포함하는 장면 내 모양을 추적하는 방법.
14. 제 13 항에 있어서,
    공간변환(F_t)은 픽셀 매트릭스의 면에서 평행이동 및 회전을 포함하고, 평행이동은 -η₁·∇_Tf(Δθ₀,　ΔT₀)와 같게 취한 벡터 ΔT를 갖고 회전은 -η₂·∇_θf(Δθ₀,　ΔT₀) 같게 취한 각도 Δθ를 가지며, η₁ 및 η₂는 기정의된 양의 수렴단계들이며 Δθ₀,및 ΔT₀는 회전각도 및 평행이동 벡터의 특정 값인 장면 내 모양을 추적하는 방법.
15. 제 14 항에 있어서,
    회전각도 및 평행이동 벡터의 특정 값은 각각 Δθ₀=

    

    및 ΔT₀= cp-R_Δθ0[cm]이고, p는 감지된 이벤트가 발생한 픽셀 매트릭스를 나타내며, m은 감지된 이벤트와 관련된 모델의 포인트를 나타내고, c는 회전중심을 나타내며, cp는 c에서 p을 가리키는 벡터를 나타내고, cm은 c에서 m을 가리키는 벡터를 나타내며, R_Δθ0[·]는 중심(c) 및 각도(Δθ₀)의 회전인 장면 내 모양을 추적하는 방법.
16. 제 14 항 또는 제 15 항에 있어서,
    공간변환(F_t)은 픽셀 매트릭스에 포함된 2개 축들에 따라 각각의 스케일링 팩터들의 적용을 더 포함한 아핀변환인 장면 내 모양을 추적하는 방법.
17. 제 16 항에 있어서,
    2개의 x,y 축에 따른 스케일링 팩터(s_x,s_y)는 각각 s_x = 1 + η₃·(｜p_x｜-｜m_x｜) 및 s_y = 1 + η₃·(｜p_y｜-｜m_y｜)에 따라 계산되고, η₃는 기정의된 양의 수렴단계이며, p_x 및 p_y는 감지된 이벤트가 발생한 매트릭스의 픽셀(p)의 축(x,y)에 따른 각각의 좌표이고, m_x 및 m_y는 감지된 이벤트와 관련된 모델의 포인트(m)의 축(x,y)에 따른 각각의 좌표인 장면 내 모양을 추적하는 방법.
18. 광센서(10)로부터 수신된 비동기 정보를 이용해 제 1 항 내지 제 17 항 중 어느 한 항에 따른 방법을 실행하도록 구성된 컴퓨터(20)를 포함한 장면 내 모양을 추적하는 장치.

Images