KR20180020952A

KR20180020952A - 장면의 3d 재구성 방법

Info

Publication number: KR20180020952A
Application number: KR1020177029337A
Authority: KR
Inventors: 잉 시오-히; 비노스만 리야드; 시 버트럼
Original assignee: 유니베르시테 피에르 에 마리에 쿠리에 (파리 6); 인쎄름 (엥스띠뛰 나씨오날 드 라 쌍떼 에 드 라 흐쉐르슈 메디깔); 상뜨르 나쇼날 드 라 러쉐르쉬 샹띠피끄
Priority date: 2015-03-16
Filing date: 2016-03-15
Publication date: 2018-02-28
Also published as: US11335019B2; JP2018516395A; EP3272119A1; FR3033973A1; US20180063506A1; EP3272119B1; CN107750372B; WO2016146938A1; CN107750372A; KR102432644B1; JP6839091B2

Abstract

본 발명은 비용함수(E)의 최소화(609)에 따라 제 1 센서의 연속한 제 1 비동기 이벤트들 가운데 제 1 이벤트와 연속한 제 2 비동기 이벤트들 가운데 제 2 이벤트를 매치시키는 단계(610)를 포함한 장면의 3D 재구성 방법에 관한 것이다.
비용함수는:
- 휘도성분(E_I); 및
- 이동성분(E_M) 가운데 적어도 하나의 성분을 포함하며,
상기 휘도성분은 적어도 컨볼루션 코어(g_σ(t))로 컨볼루션된 제 1 휘도신호(I_u); 및 상기 컨볼루션 코어로 컨볼루션된 제 2 휘도신호(I_v)를 따르고, 상기 제 1 센서의 픽셀의 휘도는 상기 제 1 신호의 최대치(

) 간에 차를 따르며, 상기 제 2 센서의 픽셀의 휘도는 상기 제 2 신호의 최대치(

) 간에 차를 따르고,
상기 이동성분은 적어도 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값 및 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값을 따른다.

Description

장면의 3D 재구성 방법

본 발명은 장면의 3D 재구성 분야에 관한 것으로, 보다 상세하게는 비동기식 센서를 이용해 캡쳐된 경우에 장면의 3D 재구성 분야에 관한 것이다.

정규적인 샘플링 모멘트에서 연이어 이미지를 기록한 표준 카메라들과 대조적으로, 생물학적 망막은 보려는 장면에 대한 약간의 반복적 정보를 그리고 이 정보를 비동기식으로 전송한다.

이벤트-기반의 비동기식 시각센서는 이벤트 형태로 압축 디지털 데이터를 전달한다.

이런 센서에 대한 발표는 "Activity-Driven, Event-Based Vision Sensors", T. Delbruck, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS), pp. 2426-2429에서 볼 수 있다. 이벤트-기반의 시각센서는 표준 카메라에 비해 반복성을 높이고, 지연시간을 줄이며, 타임 다이나믹스 및 그레이 레벨 범위를 늘리는 이점이 있다.

이러한 시각센서의 출력은, 각 픽셀 어드레스에 대해, 비동기 이벤트가 생성될 때 장면의 반사율의 변화를 나타내는 일련의 비동기 이벤트들로 구성될 수 있다.

센서의 각 픽셀은 독립적이며, 마지막으로 이벤트를 전송한데서부터, 임계치보다 더 큰 광강도의 변화(가령, 강도 알고리즘에 대해 15%의 콘트라스트)를 감지한다. 강도의 변화가 임계치 세트를 초과하면, 강도가 증가 또는 감소하는지에 따라 픽셀에 의해 ON 또는 OFF 이벤트가 생성된다(DVS 센서).　소정의 비동기 센서는 감지된 이벤트를 광강도의 절대 측정치에 연결한다(ATIS 센서).

표준 카메라와 같은 클럭으로 샘플링되지 않는 센서는 매우 높은 시간 정밀도(가령, 약 1㎲)로 이벤트의 시퀀싱을　도표화할 수 있다.　이러한 센서를 사용하여 일련의 이미지를 재구성하면, 표준 카메라의 경우 수십 헤르츠에 비해 수 킬로 헤르츠의 이미지 속도를 얻을 수 있다.

또한, 장면의 3D 재구성의 프레임워크에서, 센서의 픽셀들 중 각각에 대해, 공간내 위치의 계산이 이루어진다.　이를 달성하기 위해, 여러 카메라 또는 다른 표준센서를 사용하는 많은 방법들이 있다.　결과적으로, 이들 방법은 픽셀이 적어도 하나의 값(즉, 픽셀들이 정의됨)을 갖는 표준 2D 이미지를 사용하여 결정을 달성한다.

앞서 정의된 바와 같이, 비동기식 센서의 경우, "표준" 2D 이미지는 센서에서 빠져 나올 수 없기 때문에 이러한 방법을 정의로 적용할 수 없다: 이러한 방법을 사용하려면, 센서로부터 비동기 정보의 2D 이미지를 인위적으로 "재구성"해야 한다. 　그러나, 이러한 재구성은 부담스러울 수 있으며, 완전한 이미지를 처리하는데 이에 따른 처리수단이 필요할 수 있다. 또한, 이 재구성은 시간정보를 불연속화하므로, 시각정보의 시간 의존성이 사실상 무시된다.

결과적으로, 비동기 센서에 적합한 3D 장면 재구성 방법을 개발할 필요가 있다.

본 발명은 이러한 상황을 개선하는 것을 목적으로한다.

이를 위해, 본 발명은 3D로 관찰된 장면을 재구성하기 위한 비동기 센서에 특히 적합한 방법을 제안한다.

따라서, 본 발명은:

- 제 1 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 1 센서로부터 제 1 비동기 정보 피스를 수신하는 단계;

- 제 2 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 2 센서로부터 제 2 비동기 정보 피스를 수신하는 단계; 및

- 비용함수의 최소화에 따라 연속한 제 1 이벤트들 가운데 제 1 이벤트와 연속한 제 2 이벤트들 가운데 제 2 이벤트를 매치시키는 단계를 포함하고,

제 1 비동기 정보 피스는 제 1 매트릭스의 각 픽셀에 대해 상기 픽셀에서 나온 연이은 제 1 이벤트들을 포함하고,

제 2 비동기 정보 피스는 제 2 매트릭스의 각 픽셀에 대해 상기 픽셀에서 나온 연이은 제 2 이벤트들을 포함하며, 제 2 센서는 제 1 센서와 별개이고,

비용함수는:

- 휘도성분; 및

- 이동성분 가운데 적어도 하나의 성분을 포함하며,

상기 휘도성분은 적어도:

- 컨볼루션 코어로 컨볼루션된 제 1 센서의 픽셀에서 나온 제 1 휘도신호; 및

- 상기 컨볼루션 코어로 컨볼루션된 제 2 센서의 픽셀에서 나온 제 2 휘도신호를 따르고,

상기 제 1 센서의 픽셀의 휘도는 상기 제 1 신호의 최대치 간에 차를 따르며,

상기 제 2 센서의 픽셀의 휘도는 상기 제 2 신호의 최대치 간에 차를 따르고,

상기 이동성분은 적어도:

- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값; 및

- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값을 따르는, 장면의 3D 재구성 방법을 목표로 한다.

따라서, 다수의 DVS 또는 ATIS 비동기 센서들을 이용해 캡쳐된 3D 장면의 재구성을 위해, 반드시 이들 이미지들에 적용될 수 있는 종래 기술의 방법들을 이용하기 위해 표준 2D 이미지들을 재구성할 필요가 없다.

결과적으로, 이런 3D 재구성의 정밀도가 매우 정확하고/커지며, 비동기 시간정보도 매우 더 정확하게 샘플화된다.

더욱이, 비용함수는 추가로:

- 시간성분을 포함할 수 있고, 상기 시간성분은:

- 제 1 센서의 이벤트에 대한 시간 값; 및

- 제 2 센서의 이벤트에 대한 시간 값 간의 차를 따른다.

따라서, 시간상 너무 떨어져 연결되어 있는 이벤트들을 방지할 수 있다.

특정 실시예에서, 비용함수는 추가로:

- 기하학적 구성요소를 포함하고, 상기 기하학적 구성요소는:

제 1 센서의 적어도 한 픽셀에 의해 정의된 에피폴라 직선 또는 에피폴라 교차점에서 제 2 센서의 픽셀로부터 공간 거리를 따른다.

따라서, 연결된 장면의 동일한 점(X(t))에 해당하지 않는 이벤트들을 방지할 수 있다.

이점적으로, 제 1 센서의 픽셀 및 제 2 센서의 픽셀의 휘도신호는 휘도변화의 발생시간을 코드화한 최대치를 포함하고, 컨볼루션 코어는 기설정된 가우시안 분산일 수 있다.

특정 실시예로, 상기 휘도성분은 추가로:

- 컨볼루션 코어로 컨볼루션된 제 1 센서의 제 1 픽셀로부터 기설정된 거리에 공간상 위치된 제 1 센서의 픽셀들의 휘도신호; 및

- 컨볼루션 코어로 컨볼루션된 제 2 센서의 제 2 픽셀로부터 기설정된 거리에 공간상 위치된 제 2 센서의 픽셀들의 휘도신호를 따른다.

따라서, 연결되는 픽셀들에 가까운 이벤트들을 보면 전체가 일치하는지 및 두 픽셀들에 대해 국소적으로 일치한 것은 단순한 인공물 또는 단순한 특이성이 아닌지 확인이 가능하다.

또한, 상기 이동성분은 추가로:

- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 제 1 센서의 픽셀 이벤트들의 발생에 대한 시간 값들의 평균치; 및

- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 제 2 센서의 픽셀 이벤트들의 발생에 대한 시간 값들의 평균치를 따를 수 있다.

특정 실시예에서, 상기 이동성분은, 소정의 시간 동안:

- 상기 소정 시간에서 상기 현재 시간 값까지 거리가 감소하는 함수 값의, 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각각의 현재 시간 값; 및

- 상기 소정 시간에서 상기 현재 시간 값까지 거리가 감소하는 함수 값의, 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각각의 현재 시간 값을 따를 수 있다.

대안적인 실시예로, 상기 이동성분은:

- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각 시간 값에 대한 디랙을 포함한 신호에 따른 감소함수의 제 1 컨볼루션; 및

- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각 시간 값에 대한 디랙을 포함한 신호에 따른 감소함수의 제 2 컨볼루션을 따를 수 있다.

본 발명은 또한:

- 제 1 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 1 센서로부터 제 1 비동기 정보 피스의 수신을 위한 인터페이스;

- 제 2 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 2 센서로부터 제 2 비동기 정보 피스의 수신을 위한 인터페이스; 및

- 비용함수의 최소화에 따라 연속한 제 1 이벤트들 가운데 제 1 이벤트와 연속한 제 2 이벤트들 가운데 제 2 이벤트의 매칭에 적합한 프로세서를 구비하고,

제 2 비동기 정보 피스는 제 2 매트릭스의 각 픽셀 대해 상기 픽셀에서 나온 연이은 제 2 이벤트들을 포함하며, 제 2 센서는 제 1 센서와 별개이고,

비용함수는:

- 휘도성분; 및

- 이동성분 가운데 적어도 하나의 성분을 포함하며,

상기 휘도성분은 적어도:

상기 이동성분은 적어도:

- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값을 따르는, 장면의 3D 재구성 장치를 목표로 한다.

기존 장비에 설치된 상술한 방법 중 모두 또는 일부를 구현하는 컴퓨터 프로그램은 그 자체적으로 이점적이다.

따라서, 본 발명은 이 프로그램이 프로세서 의해 실행될 경우, 상술한 방법의 구현을 위한 명령어들을 포함한 컴퓨터 프로그램을 목표로 한다.

이 프로그램은 임의의 프로그래밍 언어(가령, 객체 언어 또는 기타)를 사용할 수 있고, 해석가능한 소스코드, 부분적으로 컴파일된 코드 또는 전체적으로 컴파일된 코드의 형태로 있을 수 있다.

하기에 상세히 설명된 도 6은 이와 같은 컴퓨터 프로그램의 일반적인 알고리즘 흐름도를 형성할 수 있다.

본 발명의 내용에 포함됨.

본 발명의 다른 특징 및 이점은 하기의 명세서를 읽을 때 다시 나타날 것이다.　이는 순전히 예시이며 첨부도면을 보면서 읽어야 한다.
도 1은 ATIS 비동기식 광센서의 개략도이다.
도 2는 회전하는 별을 포함하는 장면에 대하여 위치된 비동기 센서에 의해 생성된 이벤트를 도시한 도표이다.
도 3은 2개의 개별 센서들의 두 지점에 대한 휘도성분을 계산한 예이다.
도 4a 및 도 4b는 주어진 픽셀의 활동신호의 대표적인 예이다.
도 4c는 별개의 비동기식 센서를 사용하여 생성된 이동 카드를 나타낸 것이다.
도 5a 및 도 5b는 본 발명의 실시예에서의 기하학적 구성요소를 계산한 예를 나타낸 도면이다.
도 6은 본 발명에 따른 실시예를 나타낸 흐름도를 도시한 것이다.
도 7은 본 발명에 따른 실시예를 구현하기 위한 장치를 도시한 것이다.

도 1은 ATIS 원리를 예시한 것이다.

센서를 구성하는 매트릭스의 픽셀(101)은 전자감지회로(103a, 103b)에 각각 접속된 포토다이오드와 같은 2개의 감광소자(102a, 102b)를 포함한다.

포토다이오드(102a)에 의해 수신된 광강도가 기정의된 양에서 변화할 때, 센서(102a)와 센서의 회로(103a)는 펄스(P₀)를 생성한다.

강도의 이런 변화를 표시하는 펄스(P₀)는 다른 포토다이오드(102b)에 접속된 전자 회로(103b)를 트리거한다.　이 회로(103b)는, 소정량의 광(광자 수)이 포토다이오드(102b)에 의해 수신되자마자, 제　1 펄스(P₁) 및 그런 후 제　2 펄스(P₂)를 생성한다.

펄스들(P₁ 및 P₂) 간의　시간차(δt)는 펄스(P₀)가 출현한 후에 바로 픽셀(101)에 의해 수신된 광강도에 반비례한다.

ATIS에서 나온 비동기 정보는 각 픽셀(104)에 대한 2개의 결합된 펄스 트레인을 포함한다: 광강도가 감지 임계치를 넘어 변하면, 제 1 펄스 트레인(P₀)은 모멘트를 나타내는 반면, 제 2 트레인은 시간차(δt)가 해당 광강도 또는 그레이 레벨을 나타내는 펄스들(P₁ 및 P₂)로 구성된다.

따라서, ATIS의 매트릭스내 위치(p)의 픽셀(101)로부터 나온 이벤트 e(p,t)는 이벤트의 모멘트(t)를 제공하는 펄스(P₀)의 위치에 의해 제공된 정보의 시간관련 부분, 및 펄스들(P₁ 및 P₂) 간의　시간차(δt)에 의해 제공된 그레이 레벨 정보 부분의 두가지 타입의 정보를 포함한다.

그런 다음, 도 2에 제시된 바와 같은 3차원 공간/시간 표현의 픽셀로부터 나온 이벤트가 배치될 수 있다.　이 도면에서, 각 점(p)은 박스 A에서 도면에 도시된 바와 같이 일정한 각속도로 회전하는 별의 이동에 의해 센서의 픽셀(p) 수준에서 위치

의 모멘트(t)를 비동기로 발생하는 이벤트 e(p,t)를 식별한다.　이들 점들의 대부분은 일반적인 나선형 형태의 표면 가까이에 분포되어 있다. 또한, 도면은 나선형 표면으로부터 일정 거리에 있는 소정 개수의 이벤트들을 보여주며, 이는 별의 실제 이동에 따르지 않고 측정된다.　이러한 이벤트는 노이즈의 획득으로 인한 것이다.

그런 후, 이벤트 e(p,t)는　하기의 모든 정보에 의해 정의될 수 있다:

여기서, C는 센서의 공간영역이고, pol은 휘도변화 방향을 나타내는 극성(가령, 증가의 경우 1, 감소의 경우 -1)이며, I(p,t)는 모멘트(t)에서 점(p)의 광광도 신호이다.

따라서, 광강도 신호는, 도 1에 기술된 바와 같이 결합된 모든 펄스 트레인 들(104)이 될 수 있다. t_u가 이벤트 발생시간을 나타내고, t_e+,u 및 t_e-,u 간에 차가 수신된 광강도에 반비례하는 값을 나타내면, I(p,t)=δ(t-t_u)+δ(t-t_e+,u)+δ(t-t_e-,u) 식으로 3개의 디랙(δ)을 이용해 강도를 코드화할 수 있다. 따라서, 좌표(p)에 위치된 픽셀 강도신호는 휘도정보가 임시로 코드화될 수 있게 한다. 이 정보는 최소한의 변환으로 센서의 전자회로에서 직접 얻을 수 있다.

도 3은 2개의 개별 센서들(u 및 v)의 2개의 점들(p 및 q)에 대한 휘도성분의 계산 예이다.

2개의 센서들의 두 점들(p 및 q)이 관찰된 장면의 동일한 점에 해당하는지 판단하기 위해, 관찰된 장면을 포함한 면이 램버트면(즉, 관찰각도가 무엇이든 간에 휘도가 동일한 면)이라 가정한다.

따라서, 이들 면들에 대해, 강도가 동일한 모멘트에서 2개의 센서들에 대해 동일해야 한다. 즉, I_u(p,t)=I_v(q,t).

예를 들어, 이런 두 신호들(I_u(p,t) 및 I_v(q,t)) 간의 상관관계를 계산할 수 있다.

단순히 디랙 구성의 광강도 신호들을 비교할 수 있도록 하기 위해, 논보이드(non-void) 지지 코어 g_σ(t)가 이 신호를 컨볼루션하는 것이 이점적일　수 있다. 그런 후 두 신호 간의 상관관계(

및

)를 계산할 수 있다.

또한, 2개의 단일 점의 비교를 제한하지 않으나, p 및 q에 가까이 있는 점들(즉, p 또는 q로부터 기설정된 거리에 위치된, 용어의 수학적 면에서 거리)를 고려하는 것이 유용할 수 있다: p에 가까운 모든 점들은 v_u(p) 세트를 정의하고, q에 가까운 모든 점들은 v_v(q) 세트를 정의한다(N은 이들 세트의 기수(基數)다). 따라서, 휘도성분은 다음과 같이 표현될 수 있다:

물론,　상술한 바와 같이 p 및 q에 가까이 위치된 모든 점들에 대해 컨볼루션 함수(

)의 지원(ω)을 정의함으로써 적분 말단을 줄일 수 있다.

마지막으로, 2개 이상의 센서들을 이용해 이 수식을 일반화 할 수 있다.　예를 들어, Q 센서{u,v,w,…}로, 하기와 같이 작성할 수 있다:

코어 g_σ(t)는　이점적으로 가우스 분산(σ)이다.　이는 또한 문폭 함수(door width function)(σ)일 수 있다.

도 4c는 별개의 비동기 센서를 사용하여 생성된 카드(401 및 402)의 표현이다.

이러한 카드를 생성하려면, 언어 원시값

의 주어진 모멘트(t)에서 주어진 픽셀(p)의 각 이벤트

및 주어진 극성(pol)에 대해, 함수(S)를 합계로 정의할 수 있고, h는 기설정된 값이며, θ는 언어 원시값의 감소속도에 해당하는 기설정된 인수이다.

언어 원시값의 "합"은 또한:

- 언어 원시값

(또는 보다 일반적으로 임의의 감소함수)의,

- 이벤트

가 발생한 각 시간(t_p)에 대한 디랙을 포함한 신호와 함께,

컨볼루션으로서 수학적으로 나타내질 수 있다.

예로써, 도 4a는 센서의 3개의 픽셀들(P_1,　P　_2,　P₃₎)(및 주어진 극성값(pol))에 대한 3개의 가능한 활동신호(t→S)를 나타낸다.

이벤트가 없는 경우, S(p_1,t), S(p_2,t) 또는 S(p_3,t)의 값은 0이다.　그러나, 픽셀(P₁) 수준에서 극성 이벤트(pol)의 발생시(예를 들어, 410), S(p_1,t)는 소정의 임계값을 취한다(여기서, 이 값(h)은 단위가 될 수 있다).

이 이벤트가 0에 도달 한 후 활성신호 S(p_1,t)의 값은 점차 감소한다.

이것은 픽셀(p₁)에 대한 이벤트(411), 픽셀(p₂)에 대한 이벤트(412), 또는 픽셀(p₃)에 대한 이벤트(413/414)에 대해 동일하다.

여기에서 활동신호(S)의 감소가 선형적인 경우, 임의의 타입의 감소를 지수적 감소로 예상할 수 있다:

이 지수적 감소는 도 4b(곡선(4b) 및 이벤트(320) 참조)로 설명될 수 있다.

또한, 고려되는 픽셀에 대한 이벤트의 발생시(가령, 여기서 p₄), 함수(S)의 값이 h 값과 관련해 무시될 수 없다(예를 들어, 이벤트(421)가 이벤트(422)에 일시적으로 가깝다).

일실시예에서, 추후 이벤트(422)의 발생시, 활동신호(S)의 값은 현재 S 값, 바로 전의 이벤트(422)(즉, h₀), 및 h의 (가능하게는 가중화된) 합으로 설정될 수 있다. 따라서, 곡선 S에서의 감소는 도 4b에 도시된 바와 같이 값 h+h₀로부터 시작할 것이다. 더욱이, 값 h+h₀이 기설정된 값 h₁(즉, min(h1, h+h₀))에서 캡되는 것을 예상할 수 있다.

다른 실시예에서, 추후 이벤트(422)의 발생시, 마지막 이벤트(즉, 추후 이벤트)에 대한 h₀의 값(즉, 이전 이벤트들)이 무시되더라도, 곡선(S)의 값은 값(h)로 설정된다. 이런 다른 실시예에서, 다음과 같이 정의된 "마지막 이벤트 시간"으로 알려진 시간을 정의할 수 있다:

또는

여기서, t_j 이벤트 시간은 극성(pol)을 가진 픽셀(p)에 대해 발생한다.

개념적으로,　

는 기준시간(즉, t) 바로 전에 일시적으로 발생한 동일한 극성의 마지막 이벤트의 타임 카드를 정의한다.

따라서, 이런 다른 실시예에서는, 이 시간 세트

의 함수

로서 정의될　수 있다.

예를 들어,

:

여기서, τ 및 h는 기설정된 시간상수이다(S는 하한

을 포함한 간격에 걸쳐 시간(t)에 따른 임의의 감소함수일 수 있다).

이들 픽셀의 이벤트의 "신선도(freshness)"를 나타내는 픽셀 카드(S)의 생성은 불연속 개념(즉, 이벤트)의 연속적이고 단순한 표현을 가능하게 하므로 이점적이다.　이 생성된 카드로 이벤트 표현이 단순한 이해 영역으로 변환될 수 있다.

결과적으로, 이런 생성으로 이벤트를 처리하고 비교하는 작업이 단순해진다.

이 함수(S)는 이 픽셀에서 발생한 이벤트의 "신선도"를 나타낸다.

도 4c의 카드(401 및 402)는 주어진 시간(t) 동안 이 함수(S)의 표현이고 2개의 서로 다른 관점들로부터 하나의 동일한 손의 움직임을 캡쳐하는 2개의 비동기 센서에 대한 표현이다.

가장 어두운 점은 마지막 이벤트가 시간(t)과 관련해 가장 최근의 점(즉, 가장 큰 S 값을 가짐)을 나타낸다.

가장 명확한 점은 마지막 이벤트가 시간(t)과 관련해 가장 먼 지점을 나타낸다(즉, S 값이 가장 작으면, 배경이 함수(S)의 0값에 해당하나, 명확한 값들이 더 쉽게 눈에 띄도록 이미지의 배경은 회색으로 된다).

분산된 검은 점은 센서 캡처 노이즈에 해당한다.

날짜(t₀)에 발생한 각 이벤트에 대해, 픽셀(p)에 대한 움직임 카드를 결정할 수 있다.　따라서, 카드의 각 픽셀은 값으로서　S(p,t₀)를 갖는다.

2개의 센서들의 두 점(p 및 q)이 관찰된 장면의 동일한 점에 해당하는지 판단하기 위해, 각각의 점(p 및 q)에서의 2개의 센서들의 S 값이 S(p)=S(q) 또는 적어도

로 유사한 것으로 가정한다(이는 반드시 소정의 제한된 상황에서 경우일 필요가 없다).

예를 들어, 이 두 값 S(p) 및 S(q) 사이의 상관관계를 계산할 수 있다.

또한, 2개의 단일 점의 비교를 제한하지 않고 p(403) 및 q(404)에 가까이 있는 점들(즉,　p 또는 q로부터 기설정된 거리에 위치된, 용어의 용어의 수학적 의미에서의 거리)을 고려하는 것이 유용할 수 있다: p에 가까운 모든 점들은 세트 v_u(p)(405)를 정의하고, q에 가까운 모든 점들은 세트 v_v(q)(406)를 정의한다(N은 이들 세트의 기수이다).

점들(p 및 q)에 가까운 두 카드들(405 및 406)의 상관관계를 결정하는 것이 가능하다.　또한, 임의의 시간차로부터 센서를 자유롭게하기 위해, 이들 각각의 평균 광 흐름(405 및 406)을 각자(각각

및

)에서 빼는 것이 가능하다.

따라서, 주어진 모멘트(t) 동안, 운동 성분은 다음과 같이 표현 될 수 있다:

여기서 i는 세트 v_u(p)에 있는 한 점 및 세트 v_v(q)에 있는 한 점의 인덱스이다.

마지막으로, 2개 이상의 센서들을 사용하여 이 공식을 일반화할 수 있다.　예를 들어, Q 센서들{u,v,w,…}을 이용해, (휘도성분에 대해 이전에 사용된 것과 동일한 표기법을 사용하여) 다음과 같이 쓸 수 있다:

도 5a 및 도 5b는 본 발명의 일실시예에서 기하학적 구성요소를 계산하는 예를 나타낸 것이다.

2개의 센서(501,502)가 하나의 동일한 장면(예를 들어, 점　X(t)를 포함한 장면, 도　5a 참조)에 마주보고 있는 경우, 및 제 1 센서(501)의 점

이 점　X(t)를 나타내는 경우(즉, 점

, X(t), 및 R_u가 정렬된 경우), 센서(502) 상에 에피폴라 직선(l_uv)을 정의할 수 있다.

R_u는 센서(501)의 투영 중심이고,　R_v는 센서(502)의 투영 중심이다.

이 에피폴라 직선(l_uv)은 센서(502)와 평면(X(t), R_u,및 R_v)의 교차점으로 정의된다.

보다 일반적으로, 마지막 센서(501)의 점(p)은 제 2 센서(502)상의 에피폴라 직선(l_v(p))을 정의하고, 센서(502)의 점(q)은 제 1 센서(501)상의 에피폴라 직선(l_u(q))을 정의한다.

따라서, 제 1 및 제 2 센서의 두 점들(p 및 q)에 대해 기하학적 구성요소를 정의할 수 있다:

슈팅장치가 3개의 센서(도 3b 참조)를 포함하는 경우, 센서당 2개의 에피폴라 직선을 정의할 수 있고, 이 직선은 2개의 다른 센서에서 고려한 점으로 정의된다.　따라서, 이 2개의 에피폴라 직선은 교차점을 가지며, 하기에서 에피폴라 교차점이라 한다.　따라서:

- 제 1 센서의 점(p)　제 2 센서의 점(q)은 제 3 센서 상에 에피롤라 교차점 i_w(p,q)를 정의하고,

- 제 1 센서의 점(p)　제 3 센서의 점(r)은 제 2 센서 상에 에피롤라 교차점 i_v(p,r)를 정의하며,

- 제 2 센서의 점(q)　제 3 센서의 점(r)은 제 1 센서 상에 에피롤라 교차점 i_u(q,r)를 정의한다.

따라서, 제 1, 제 2, 및 제 3 센서의 세 점(p,q,r)에 대한 기하학적 구성요소를 정의할 수 있다:

여기서 ε_g는 최대 허용가능한 기하학적 차를 나타내는 거리의 기설정된 값이다.

슈팅장치가 3 이상의 센서(예를 들어, Q 센서)를 포함하는 경우, 센서의 에피폴라 교차점이 (예를 들어, 거리의 합을 최소화하거나 상기 점들의 에피폴라 직선에 대한 거리의 제곱을 최소화함으로써) 다른 센서의 현재 지점에 의해 이 센서에 정의된 에피폴라 직선 세트에 최근접한 점인 것을 고려함으로써 이전 수식을 일반화할 수 있다.

또한 제 1 센서의 이벤트 e(p,t_u) 및 제 2 센서의 이벤트 e(q,t_v)에 대한 시간 구성요소를 결정할 수 있다:

여기서, ε_t는 시간 차원을 가지며 이들 2개 이벤트들 간에 최대 허용가능한 시간차를 나타내는 수이다.

슈팅장치가 3 이상의 센서(예 : Q 센서)를 포함하는 경우, 이전 수식을 일반화할 수 있다:

도 6은 본 발명에 따른 실시예를 나타내는 흐름도이다.

2개의 별개의 비동기 센서에서 나온 2세트의 비동기 이벤트(601 및 602)를 수신하고, 하나의 동일 장면과 비교하면, 이들 센서로부터 2개의 이벤트를 선택할 수 있다(제 1 센서에 대한 픽셀(p_i) 및 시간(t_1i)과 제 2 센서에 대한 픽셀(q_j) 및 시간(t_2j)으로 정의된 단계 603).

이러한 이벤트가 선택되면, 상술한 바와 같이 다음 구성요소 중 적어도 하나 의 구성요소를 결정할 수 있다:

- 기하학적 구성요소(단계 604);

- 시간성분(단계 605);

- 이동성분(단계 606);

- 휘도성분(단계 607).

상기 제 1 센서에 대해 설정된　이벤트 e₁(p_i,t_1i)에 대해,　(예를　들어, 인덱스 j를 변하게 함으로써) 매우 많은 이벤트들 e₂(q_j,t_2j)에 걸쳐(출력 j+1, 테스트 608) 반복할 수 있다. 반복은 제 2 센서의 모든 이벤트드들 또는 이점적으로 이들 이벤트들의 서브세트만(가령, 에피폴라 직선으로부터 또는 적어도 p_i에 의해 정의된 에피폴라 교차점으로부터 기설정된 소정 거리에 위치하는 이벤트들만 및/또는 시간(t_1i)의 기설정된 시간 거리에　위치된 이벤트들만)을 약술할 수 있다.

이 반복(테스트(608), 출력 OK)이 종료되면, 이벤트 e₁(p_i,t_1i) 세트(단계 609)에 대한 비용함수를 최소화하는 이벤트 e₂(q_j,t_2j)를　결정할 수 있다.　비용함수는, 예를 들면, 단순 합(

)　또는 이전에 계산된 성분들의 가중 합(

)일 수 있다(이들 성분들을 포함하는 임의의 다른 함수도 가능하다).

실험을 통해, 휘도성분 및/또는 이동성분을 고려한 비용함수는 3D 재구성의 정밀도를 현저하게 증가시킬 수 있음을 관찰하였다.

일단 최소화가 수행되면, 점들(p_i 및 q_j)을 연결할 수 있고(단계 610),　따라서　연결된 점들(p_i 및 q_j)을 나타내는 관찰된 장면의 점 X(t)의 공간에 거리 또는 위치를 계산할 수 있다(단계 611).

그런 후 계산된 거리(또는 공간에서의 점X(t)의　위치)가 복귀된다(단계 612).

도 7은 본 발명에 따른 실시예를 구현하기 위한 장치를 도시한 것이다.

이 실시예에서, 상기 장치는 상기 방법의 구현을 가능하게 하는 명령어들, 수신된 측정치들로부터의 데이터 및 상술한 바와 같은 방법의 여러 단계들을 실행하기 위한 시간 데이터를 저장하는 메모리(705)를 포함하는 컴퓨터(700)를 구비한다.

컴퓨터는 부가적으로 회로(704)를 포함한다.이 회로는 예를 들면:

- 컴퓨터 프로그램의 형태로 명령어를 해석할 수 있는 프로세서, 또는

- 본 발명의 방법의 단계들이 실리콘 칩에 기술된 전자 카드, 또는 다시

- FPGA("Field-Programmable Gate Array") 칩과 같은 프로그래머블 전자칩일 수 있다.

이 컴퓨터는 센서로부터 이벤트를 수신하기 위한 입력 인터페이스(703) 및 거리(707)의 공급을 위한 출력 인터페이스(706)를 포함한다. 마지막으로, 컴퓨터는 사용자와의 용이한 상호작용을 가능하게 하기 위해 스크린(701) 및 키보드(702)를 구비할 수 있다. 물론, 키보드는 선택적이며, 특히 예를 들면 터치 스크린 태블릿의 형태를 갖는 컴퓨터의 일부로서 선택적이다.

더욱이, 도 6에 제시된 기능 다이어그램은 기술된 장치에 대해 소정의 명령이 행해질 수 있는 프로그램의 전형적인 예이다.　이와 관련하여, 도 6은 본 발명의 관점에서 컴퓨터 프로그램의 일반적인 알고리즘의 흐름도에 해당할 수 있다.

물론, 본 발명은 일례로서 상술한 실시예의 형태에 한정되지 않고,　다른 변형들로 확장된다.

다른 실시예도 가능하다.

예를 들어, 도 6의 흐름도는 또한 제 2 센서의 이벤트들과 제 1 센서의 여러 이벤트들을 연결하기 위해 이벤트 e₁(p_i,t_1i)의 반복을 포함할 수 있다.

Claims

- 제 1 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 1 센서(501)로부터 제 1 비동기 정보 피스를 수신하는 단계(601);
- 제 2 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 2 센서(502)로부터 제 2 비동기 정보 피스를 수신하는 단계(602); 및
- 비용함수(E)의 최소화(609)에 따라 연속한 제 1 이벤트들 가운데 제 1 이벤트와 연속한 제 2 이벤트들 가운데 제 2 이벤트를 매치시키는 단계(610)를 포함하고,
제 1 비동기 정보 피스는 제 1 매트릭스의 각 픽셀(p)에 대해 상기 픽셀에서 나온 연이은 제 1 이벤트들을 포함하고,
제 2 비동기 정보 피스는 제 2 매트릭스의 각 픽셀(q)에 대해 상기 픽셀에서 나온 연이은 제 2 이벤트들을 포함하며, 제 2 센서는 제 1 센서와 별개이고,
비용함수는:
- 휘도성분(E_I); 및
- 이동성분(E_M) 가운데 적어도 하나의 성분을 포함하며,
상기 휘도성분은 적어도:
- 컨볼루션 코어(g_σ(t))로 컨볼루션된 제 1 센서의 픽셀에서 나온 제 1 휘도신호(I_u); 및
- 상기 컨볼루션 코어로 컨볼루션된 제 2 센서의 픽셀에서 나온 제 2 휘도신호(I_v)를 따르고,
상기 제 1 센서의 픽셀의 휘도는 상기 제 1 신호의 최대치(
) 간에 차를 따르며,
상기 제 2 센서의 픽셀의 휘도는 상기 제 2 신호의 최대치(
) 간에 차를 따르고,
상기 이동성분은 적어도:
- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값; 및
- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값을 따르는, 장면의 3D 재구성 방법.
제 1 항에 있어서,
비용함수(E)는 추가로:
- 시간성분(E_T)을 포함하고,
상기 시간성분은:
- 제 1 센서의 이벤트에 대한 시간 값; 및
- 제 2 센서의 이벤트에 대한 시간 값 간의 차를 따르는, 장면의 3D 재구성 방법.
제 1 항 또는 제 2 항에 있어서,
비용함수(E)는 추가로:
- 기하학적 구성요소(E_G)를 포함하고,
상기 기하학적 구성요소는:
- 제 1 센서의 적어도 한 픽셀에 의해 정의된 에피폴라 직선 또는 에피폴라 교차점에서 제 2 센서의 픽셀로부터 공간 거리를 따르는, 장면의 3D 재구성 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
제 1 센서의 픽셀 및 제 2 센서의 픽셀의 휘도신호(I_u,I_v)는 휘도변화의 발생시간을 코드화한 최대치를 포함하고, 컨볼루션 코어는 기설정된 가우시안 분산인 장면의 3D 재구성 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 휘도성분(E_I)은 추가로:
- 컨볼루션 코어로 컨볼루션된 제 1 센서의 제 1 픽셀로부터 기설정된 거리에 공간상 위치된 제 1 센서의 픽셀들의 휘도신호; 및
- 컨볼루션 코어로 컨볼루션된 제 2 센서의 제 2 픽셀로부터 기설정된 거리에 공간상 위치된 제 2 센서의 픽셀들의 휘도신호를 따르는, 장면의 3D 재구성 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 이동성분(E_M)은:
- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 제 1 센서의 픽셀 이벤트들의 발생에 대한 시간 값들의 평균치(
); 및
- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 제 2 센서의 픽셀 이벤트들의 발생에 대한 시간 값들의 평균치(
)를 따르는, 장면의 3D 재구성 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 이동성분(E_M)은, 소정의 시간 동안:
- 상기 소정 시간에서 상기 현재 시간 값까지 거리가 감소하는 함수 값의, 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각각의 현재 시간 값; 및
- 상기 소정 시간에서 상기 현재 시간 값까지 거리가 감소하는 함수 값의, 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각각의 현재 시간 값을 따르는, 장면의 3D 재구성 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 이동성분(E_M)은:
- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각 시간 값에 대한 디랙을 포함한 신호에 따른 감소함수의 제 1 컨볼루션; 및
- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된, 이벤트의 발생에 대한 각 시간 값에 대한 디랙을 포함한 신호에 따른 감소함수의 제 2 컨볼루션을 따르는, 장면의 3D 재구성 방법.
- 제 1 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 1 센서(501)로부터 제 1 비동기 정보 피스의 수신(601)을 위한 인터페이스(703);
- 제 2 픽셀 매트릭스가 장면의 맞은편에 위치해 있는 제 2 센서(502)로부터 제 2 비동기 정보 피스의 수신(602)을 위한 인터페이스(703); 및
- 비용함수(E)의 최소화(609)에 따라 연속한 제 1 이벤트들 가운데 제 1 이벤트와 연속한 제 2 이벤트들 가운데 제 2 이벤트의 매칭(610)에 적합한 프로세서(704)를 구비하고,
제 1 비동기 정보 피스는 제 1 매트릭스의 각 픽셀(p)에 대해 상기 픽셀에서 나온 연이은 제 1 이벤트들을 포함하고,
제 2 비동기 정보 피스는 제 2 매트릭스의 각 픽셀(q)에 대해 상기 픽셀에서 나온 연이은 제 2 이벤트들을 포함하며, 제 2 센서는 제 1 센서와 별개이고,
비용함수는:
- 휘도성분(E_I); 및
- 이동성분(E_M) 가운데 적어도 하나의 성분을 포함하며,
상기 휘도성분은 적어도:
- 컨볼루션 코어(g_σ(t))로 컨볼루션된 제 1 센서의 픽셀에서 나온 제 1 휘도신호(I_u); 및
- 상기 컨볼루션 코어로 컨볼루션된 제 2 센서의 픽셀에서 나온 제 2 휘도신호(I_v)를 따르고,
상기 제 1 센서의 픽셀의 휘도는 상기 제 1 신호의 최대치(
) 간에 차를 따르며,
상기 제 2 센서의 픽셀의 휘도는 상기 제 2 신호의 최대치(
) 간에 차를 따르고,
상기 이동성분은 적어도:
- 제 1 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값; 및
- 제 2 센서의 픽셀로부터 기설정된 거리에 공간상 위치된 이벤트들의 발생에 대한 시간 값을 따르는, 장면의 3D 재구성 장치.
프로세서에 의한 프로그램 실행시, 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법의 구현을 위한 명령어들을 포함한 컴퓨터 프로그램 제품.