KR20140109406A - 비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법 - Google Patents

비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법 Download PDF

Info

Publication number
KR20140109406A
KR20140109406A KR1020147018454A KR20147018454A KR20140109406A KR 20140109406 A KR20140109406 A KR 20140109406A KR 1020147018454 A KR1020147018454 A KR 1020147018454A KR 20147018454 A KR20147018454 A KR 20147018454A KR 20140109406 A KR20140109406 A KR 20140109406A
Authority
KR
South Korea
Prior art keywords
sensors
events
generated
scene
event
Prior art date
Application number
KR1020147018454A
Other languages
English (en)
Other versions
KR101601263B1 (ko
Inventor
리아드 베노스망
조아오 카르네이로
시오-오이 이엥
Original Assignee
유니베르시테 피에르 에 마리에 쿠리에 (파리 6)
쌍뜨르 나시오날 드 라 르셰르쉬 시앙띠피끄
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니베르시테 피에르 에 마리에 쿠리에 (파리 6), 쌍뜨르 나시오날 드 라 르셰르쉬 시앙띠피끄 filed Critical 유니베르시테 피에르 에 마리에 쿠리에 (파리 6)
Publication of KR20140109406A publication Critical patent/KR20140109406A/ko
Application granted granted Critical
Publication of KR101601263B1 publication Critical patent/KR101601263B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Abstract

본 발명은 씬(scene)의 3D 재구성 방법에 관한 것이며, 상기 방법은, 각각의 센서가 분리된 개별 입체각들로부터 상기 씬을 관측하도록 구성된 일련의 기본적인 수신기들을 포함하는 적어도 2개의 센서로서, 상기 씬으로부터 생기고 상기 수신기에 의해 수신되는 신호의 물리적 특성에 각각 민감한 적어도 2개의 센서의 구현; 상기 센서들에 의해 생성된 신호들을 채용하여 상기 센서들 각각의 기본적인 수신기들을 매칭하는 단계를 포함하는 3D 재구성 알고리즘의 구현;을 포함하며, 상기 센서들 각각은 소정 순간에 상기 기본적인 수신기들 중 하나의 기본적인 수신기에 의해 수신된 신호의 수정을 각각 표시하는 이벤트들의 비동기 스트림을 방출하는데 적합하고, 상기 매칭은 시간적으로 근접한 이벤트들을 선택함으로써 상기 센서들 각각에 의해 생성된 이벤트들을 서로 매칭하는 것이다.

Description

비동기 센서들에 요구하는 씬의 3Ｄ 재구성 방법{Method of 3Ｄ reconstruction of a scene calling upon asynchronous sensors}
본 발명은 비동기 센서들에 요구하는 씬의 3D 재구성 방법에 관한 것이다.
동일한 씬의 이미지들을 촬영하는 적어도 2개의 동기화된 카메라로 촬영된 이미지들에 기반한 3-차원(D) 재구성들을 수행하는 것이 실제로 공지되어 있다. 1970년대에 최초의 입체시각(stereovision) 알고리즘들이 출현했다. 최근 몇 년 동안 상당한 진전이 이루어졌다. 이러한 진전은 점점더 효과적인 매칭 알고리즘들과 관련되어 있다.
사용된 광학 센서들은 분리된 개별 입체각들로부터 상기 씬을 보고 소정 간격을 두고 상기 씬의 이미지들(일반적으로는 초당 수개의 이미지)을 캡처하기 위해 매트릭스로 배열된 기본적인 수신기들(예를 들면 카메라의 픽셀들)을 포함한다. 이때, 각각의 이미지는 (기본적인 수신기당 하나인) 값들의 테이블에 의해 표현되는데, 각각의 값은 상응하는 기본적인 센서에 의해 상기 씬으로부터 수신된 신호, 예를 들면 광도(luminous intensity)의 물리적 특성을 나타낸다.
더 정확하게는, 그러한 광학 센서들은 각각의 시간 증분 tk에서, 그리고 x,y에 배치된 각각의 기본적인 수신기에 대해, 정보 항목들
Figure pct00001
를 생성하는데, 여기서 f는 x,y에 배치된 상기 수신기에 의해 인지된 광도이며 δ는 크로네커의 기호(Kronecker's symbol)이다. 그러한 센서에 의해 다시 보내지는 정보 항목은 매트릭스 또는 프레임
Figure pct00002
이며, 여기서 N,M은 상기 매트릭스의 차원들이고 이러한 정보는 각각의 시간 증분에서 보내진다.
이때, 상기 매칭 알고리즘은 이러한 정보 항목들을 검색하여 상기 씬의 동일한 요소에 기인할 수 있는 패턴들을 찾아내고 상응하는 기본적인 센서들을 서로 매칭시킨다. 결과적으로 매칭된 이러한 기본적인 수신기들의 위치를 알면, 이러한 2개의 기본적인 수신기에 의해 보이게 된 씬의 지점을 삼각측량법(triangulation)으로 인출하므로, 이를 상기 씬의 3D 재구성에 포함시키는 것이 용이하다.
각각의 이미지는 수 메가옥텟(megaoctet)의 크기를 나타낼 수 있으며, 이러한 각각의 이미지는 초당 수개의 이미지(전형적으로는 초당 24개의 이미지)의 비율에 있게 되는데, 이는 상당한 대역폭을 나타낸다. 이때, 상기 3D 재구성 알고리즘들은 상기 씬의 동일한 요소에 상응하는 패턴들을 서로 매칭할 목적으로 동일한 순간에 여러 센서들에 의해 촬영된 이미지들에서 패턴들에 대한 검색을 수행한다. 이러한 알고리즘들은 대량의 전력 및 계산 시간을 소비하는 소프트웨어 패키지들을 필요로 하는데, 이는 실시간 용도들에 구상가능하지 않다.
본 발명의 대상은 적절한 계산 수단을 통한 실시간 구현을 허용하는 씬(scene)의 3D 재구성 방법이다.
이러한 과제를 달성하기 위한 목적으로, 씬(scene)의 3D 재구성 방법이 제안되며, 상기 방법은,
- 각각의 센서가 분리된 개별 입체각들로부터 상기 씬을 관측하도록 구성된 일련의 기본적인 수신기들을 포함하는 적어도 2개의 센서로서, 상기 씬으로부터 생기고 상기 수신기에 의해 수신되는 신호의 물리적 특성에 각각 민감한 적어도 2개의 센서의 구현;
- 상기 센서들에 의해 생성된 신호들을 채용하여 상기 센서들 각각의 수신기들을 매칭하는 단계를 포함하는 3D 재구성 알고리즘의 구현;
을 포함한다.
본 발명에 의하면, 상기 방법은 각각의 센서가 소정 순간에 상기 기본적인 수신기들 중 하나의 기본적인 수신기에 의해 수신된 신호의 수정을 각각 표시하는 이벤트들의 비동기 스트림을 방출하는데 적합한 센서들의 사용을 포함하며, 상기 매칭은 시간적으로 근접한 이벤트들을 선택함으로써 상기 센서들 각각에 의해 생성된 이벤트들을 서로 매칭하는 것이다.
그러한 센서들의 사용은 상기 센서들로부터의 정보의 출력을 급격히 감소시키는 것을 가능하고 상기 매칭을 상당히 간소화한다. 실제로는 시간적으로 근접한 이벤트들의 매칭이 결과적으로 매칭된 이벤트들을 생성한 센서들 각각 상에서 수신기들을 매칭하는 것이다. 상기 매칭은 적절한 처리 수단을 가지고 구현할 정도로 매우 간단하다.
본 발명의 3D 재구성 방법은 적절한 수단, 예를 들면 적합한 데이터 획득 카드들이 장착되는 간단한 개인용 컴퓨터를 가지고 구현될 수 있다.
본 발명은 첨부도면들에 비추어 볼 때 더 양호하게 이해될 것이다.
도 1은 본 발명에 따른 동일한 씬을 관측하는 2개의 비동기 센서의 초점면들을 예시하는 도면이다.
도 2는 도 1의 센서들에 의해 검출된 이벤트들의 타이밍도이다.
도 3은 본 발명에 따른 동일한 씬을 관측하는 3개의 비동기 센서의 초점면들을 예시하는 도면이다.
도 4는 도 3의 센서들에 의해 검출되는 이벤트들의 타이밍도이다.
도 1을 참조하여 이하에 구체화된 구현 형태에서는, 각각의 센서가 CCD 또는 CMOS 카메라를 포함하는 (우(right) 및 좌(left)라고 각각 불리는) 2개의 센서(C1, C2)를 사용하여 소정의 씬(scene)이 촬영된다. 각각의 카메라는, 기본적인 센서에 각각 필적하는 MxN 픽셀들을 포함한다. 각각의 픽셀은 소정의 입체각으로부터 상기 씬을 보고 이러한 입체각에서 수신되는 광도(luminous intensity)에 민감하다. 도 1에는 상기 2개의 센서(C1, C2)의 초점면(focal plane)이 예시되어 있다.
그러나, 본 발명과 관련해서, 상기 카메라들은 종래의 방식으로 사용되지 않는다. 상기 카메라를 사용하여 상기 카메라로 하여금, 순간 tk에서 각각의 픽셀에 의해 수신된 광도를 나타내는 각각의 기본적인 정보 항목을 지니는 프레임들
Figure pct00003
을 소정 간격을 두고 생성하게 하기보다는 오히려, 유도된 정보 항목, 이 경우에는 상기 픽셀들 각각에 의해 수신된 광도의 변화 방향이 여기에서 관심을 갖게 한다. 따라서, 관심 있는 수량적인 한정은
Figure pct00004
이며 이는 2개의 값, 즉 상기 픽셀에 의해 수신된 신호의 광도가 감소하는 경우에 -1, 및 상기 픽셀에 의해 수신된 신호의 광도가 증가하는 경우에 1인 2개의 값을 취할 수 있다. 이러한 수량적인 한정은 샘플링 순간들 tk 동안
Figure pct00005
인 관계로 샘플링되는데, 여기서 δ는 크로네커의 기호(Kronecker's symbol)이다.
따라서, 이러한 이벤트는 시간 tk에서 x,y에 위치해 있는 픽셀 Pxy에 의해 인지된 광도의 증가(+1) 또는 감소(-1)를 나타낸다.
그러한 정보 항목은 예를 들면 상기 카메라의 픽셀들 각각으로부터 수신된 광도에 대한 정보로서, 상기 카메라에 접속된 디지털 처리 카드상에 수록되며 상기 카메라 자체에나 또는 상기 카메라가 링크되어 있는 컴퓨터에 수록되어 있는, 상기 카메라의 픽셀들 각각으로부터 수신된 광도에 대한 정보의 사후-처리(post-processing)에 의해 생성될 수 있다.
그러한 카메라에 의해 생성되고 공지된 방법들에서 3D 재구성을 위해 채용되는 것이 일반적인 매트릭스 정보의 항목
Figure pct00006
은 이때 본 발명에 따라 매트릭스 정보의 항목
Figure pct00007
에 의해 대체된다.
그러한 매트릭스 정보의 항목은 종래의 이미지보다 적은 메모리 공간을 소비하는 것이 명백한데, 그 이유는 상기 매트릭스 정보 항목의 각각의 데이터 항목이 단일의 옥텟(octet)에 용이하게 포함되기 때문이다.
그러나, 매트릭스 형태로 상기 정보 항목들을 전송하기보다는 오히려, 본 발명의 특히 유리한 실시태양에 따라, 이벤트들 Ei의 비동기 스트림을 전송하는 것이 가능하며, 각각의 이벤트는,
- 변경된 값, 이 경우에 상응하는 픽셀 Pxy의 좌표들 x,y를 갖는 수량적인 한정 e를 지니는 픽셀의 식별을 가능하게 하는 데이터;
- 값의 변경 순간;
- 픽셀, 이 경우에 상기 변경시 수량적인 한정 e에 의해 도달된 값(-1;1)(이하 '이벤트의 값'이라 칭함)을 취하는 픽셀에 의해 인지된 신호의 수정 표시자
에 의해 식별된다.
이러한 비동기 스트림은,
Figure pct00008
와 같은 표기법에 의해 표현될 수 있는데, 이 경우에 E1=[x1,y1,t1,e1]는 첫 번째 이벤트이며 En[xn,yn,tn,en]은 n 번째 이벤트이다.
이러한 비동기 스트림은 여기에서 카메라 데이터의 사후-처리를 제공하는 전자 카드들에 의해 생성된다. 각각의 이벤트의 식별 정보의 항목들은 적절한 메모리 크기를 지니며 순차적으로 전송될 수 있다. 물론, 이러한 정보 항목들은 단지 한 이벤트 E가 실제로 생성된 경우에만 전송되는데, 이는 필요한 출력을 상당히 감소시킨다. 이벤트(예를 들면 고정 씬 및 고정 카메라)가 없는 경우에, 어떠한 것도 전송되지 않는다. 그러므로, 비동기 신호가 생성되면, 상기 비동기 신호는 단순한 직렬 링크에 의해 전송될 수 있지만, 상기 비동기 신호에는 지금부터 구체적으로 설명되겠지만, 상기 씬의 3D 재구성을 허용하기에 충분한 정보가 포함하게 된다.
이러한 목적으로, 매우 간단한 매칭 방법이 본 발명에 따라 카메라들이 동일한 씬을 촬영하는 2개의 센서(C1, C2)에 의해 생성된 이벤트들에 기반하여 구현된다. 이러한 매칭의 원리는 상기 2개의 카메라에 의해 생성된 시간적으로 근접한 이벤트들이 상기 씬의 동일한 패턴 또는 지점에 관련되어 있을 가능성이 매우 높다는 가정을 하는 것이다. 이때 좌측 센서 및 우측 센서에 의해 생성된 2개의 시간적으로 근접한 이벤트들을 매칭하도록 하는 시도가 이루어지게 된다. 이러한 방식으로 공간적일 뿐만 아니라 시간적인 매칭이 수행되게 된다.
그러나, 만약 소정의 순간에 예를 들면 상기 씬의 움직임에 기인한 광도의 변경이 양자 모두의 카메라상에서 어떠한 픽셀에 영향을 주고 해당되는 경우에, 상기 센서들 각각에 대한 이벤트들을 생성한다면, 이러한 이벤트들의 발생 순간들이 서로 정확하게 일치하게 될 가능성이 그다지 높지 않다. 먼저, 상기 카메라들은, 또한 상기 픽셀들 각각에 대해 종종 변화하는, 상기 이벤트들에 반응하여 상기 이벤트들을 생성하기 위한 대기 시간(latency time)을 나타낸다. 다음에, 정보의 생성 및 상기 정보의 전송에 있어서 지연들이 생길 수 있다. 따라서, 단지 양자 모두의 카메라들에 의해 생성된 이벤트들의 정확한 시간적 일치에만 기반하여 이벤트들을 매칭하는 것은 모험적인 것으로 보일 수 있다.
그러나, 상기 좌측 카메라에 의해 생성된 각각의 이벤트 E1('좌측 이벤트', 또는 '소스 이벤트(source event)'라 불리며 도 1에 도시된 상응하는 픽셀 P1 을 지님)에 대해, 도 2에 예시되어 있는 바와 같은 좌측 이벤트의 발생 순간 부근의 소정의 시간창(time window; ΔT)에서 생긴, 상기 우측 카메라에 의해 생성된 한 세트의 이벤트들(여기서 이벤트들
Figure pct00009
)('우측 이벤트들'이라 불리며 도시될 수 있는 상응하는 픽셀들
Figure pct00010
를 지님)을 선택하는 것이 가능하다. 따라서, 상기 우측 이벤트 또는 이벤트들은 상기 소스 이벤트에 시간적으로 근접하도록 선택된다. 분명한 점으로는, 시간창이 작으면 결과적으로 결정되는 한 세트의 우측 이벤트들이 포함하게 되는 우측 이벤트들이 적어지게 된다는 점이다.
이러한 예비 선택은 하나의 우측 이벤트가 좌측 이벤트와 매칭되게 되는 우측 이벤트들을 단지 소수 개만 보유하는 것을 가능하게 한다. 해당되는 경우에, 단일의 우측 이벤트가 선택된다. 이때, 원하는 매칭이 수행된다. 그러한 경우가 아니라면, 이때 상기 우측 이벤트들을 필터링하여 단지 검토중에 있는 좌측 이벤트에 상응하는 우측 이벤트만을 보유하는 것이 문제이다. 이를 수행하기 위해, 다음과 같은 감별 절차들 중 적어도 하나가 적용된다.
- 선택된 우측 이벤트들 각각에 대해 상기 좌측 이벤트에 링크된 픽셀
Figure pct00011
에 상응하는 상기 우측 카메라의 초점면에서 상응하는 픽셀 및 에피폴라 선(epipolar line; L1) 간의 거리가 계산된다. 따라서, 결과적으로 결정된 거리가 소정의 한도 D를 넘는 우측 이벤트들 모두가 제거된다. 바람직하게는, 검토중에 있는 거리는 유클리디안 거리(Euclidian distance)이다.
- 좌측의 값과 동일한 값을 지니지 않는 선택된 우측 이벤트들 모두는 제거된다. 따라서, 좌측 이벤트가 광도의 증가에 상응하는 경우에, 단지 광도의 증가에 상응하는 우측 이벤트들만이 보유되게 된다.
- 이미 매칭의 대상이었던 선택된 우측 이벤트들 모두는 단일성의 원칙(uniqueness principle)에 따라 제거된다.
바람직하게는, 상기 감별 절차들은 단지 하나의 우측 이벤트가 보유될 때까지 표시된 순서로 적용된다. 이러한 선택 및 분류 절차들은 매우 작은 메모리 크기 및 계산 시간을 소비하므로, 적절한 수단, 예를 들면 간단한 개인용 컴퓨터를 가지고 실시간으로 용이하게 구현될 수 있다.
그러므로 2개의 이벤트의 매칭은 이러한 2개의 픽셀이 매칭되어야 하는 순간뿐만 아니라 2개의 상응하는 픽셀의 매칭을 결정하는 것을 가능하게 한다. 이때, 종래의 삼각측량법(triangulation)은 결과적으로 매칭된 2개의 픽셀에 의해 보이게 된 씬의 지점 위치를 결정하는 것을 가능하게 한다.
특히 유리한 실시예에 의하면, 적어도 3개의 센서가 도 3에 예시된 바와 같이 동일한 씬을 관측하는데 사용된다. 이하의 설명은 3개의 센서(C1,C2,C3 )의 사용에 관련된 것이지만, 3개보다 많은 센서들로 용이하게 일반화된다.
적어도 3개의 센서의 사용은 이벤트들의 미세한 차별을 허용한다. 이를 수행하기 위해, 각각의 센서 쌍을 링크하는 기본 매트릭스들(FAB,FAC,FBC)을 알 필요가 있다.
앞서 언급한 바와 같이 시간적 선택의 구현은 상기 센서들 각각에 의해 생성된 특정 개수의 이벤트들을 보유하며 상기 씬의 동일한 지점에 상응할 가능성이 높은 것을 가능하게 한다.
여기에서 예를 들면, 면 C1에서의 픽셀 P1 의 이벤트 E1에 대하여, 개별 픽셀들(
Figure pct00012
)의 이벤트들(
Figure pct00013
)은 면
Figure pct00014
에서 선택되었으며, 개별 픽셀들(
Figure pct00015
)의 이벤트들(
Figure pct00016
)은 면
Figure pct00017
에서 선택되었다.
이벤트들(
Figure pct00018
) 및 이벤트들(
Figure pct00019
) 중 어느 이벤트들이 이벤트 E1에 상응한 지를 결정하기 위하여는, 상기 기본 매트릭스들을 사용하여, 면 C1에서의 이러한 이벤트들 각각에 상응하는 에피폴라 선(epipolar line)들을 면 C1에서 결정하기만 하면 충분하다. 이때, 상기 이벤트에 상응하는 픽셀 P1은 2개의 이벤트(여기서 픽셀들(P2, P3)의 이벤트들(E2, E3))에 의해 생성된 2개의 에피폴라 선들(여기서 선들 L12 및 L13)의 교점에 있다.
가역적으로, 픽셀 P2가 면 C2에서 이벤트들 E1 및 E3에 의해 생성된 에피폴라 선들 L23 및 L21의 교점에 있으며 픽셀 P3가 면 C3에서 이벤트들 E1 및 E2에 의해 생성된 에피폴라 선들 L31 및 L32의 교점에 있음이 관측된다. 이러한 속성은 시간적으로 선택된 이벤트들 중 어느 이벤트가 매칭되어야 하는지를 매우 신속하게 결정하는 것을 가능하게 한다.
물론, 본 발명은 지금까지 설명한 내용에 국한되지 않으며 오히려 첨부된 청구항들에 의해 정의된 문맥 내에 있는 임의의 변형예를 포함한다.
상기 매칭 절차를 구현하기 위하여, 이와 같은 위에서 설명한 감별 절차들은 표시된 순서나, 또는 다른 순서로 적용될 수 있다. 물론, 시간적으로 근접한 이벤트들이 서로 매칭되는 한은 다른 감별이 수행될 수 있다.
물론, 상기 픽셀들에 의해 수신된 광도의 수정들에 관련된 이벤트들을 공급하도록 신호가 처리되게 하는 종래의 카메라와는 다른 센서들을 사용하는 것이 가능하다. 예를 들면 논문「"A 128x128 120 dB 15㎲ latency asynchronous temporal contrast vision sensor", P. Lichtsteiner, C. Posch, T. Delbruck, IEEE Journal of Solid State Circuits, Vol. 43, No 2, February 2008」에 기재된 센서들과 같은 센서들을 사용하는 것이 가능하다. 이러한 타입의 센서는 수신기들을 포함하며, 상기 수신기들은 이벤트들을 생성하도록 독립적이고 연속적인 방식으로 광도의 상대적인 변경들을 정량화한다. 상기 센서는 이벤트들의 비동기 스트림을 계획적으로 공급하며 본 발명의 방법에 완전히 적합하다.
위에서 설명한 예에서 상기 센서들의 수신기들에 의해 인지된 신호가 광도(luminous intensity)이지만, 예를 들면 적외선, 음의 강도(sonic intensity), 레이더 에코(radar echo) 등과 같은, 상기 씬으로부터 생기는 다른 신호들에 민감한 센서들을 사용하는 것이 물론 가능하다.
비록 기본적인 수신기들에 의해 인지된 신호의 수정이 여기에서 (신호의 증가에 대하여는 제1값이고 신호의 감소에 대하여는 제2값인) 기본적인 방식으로 정량화되어 있지만, 이벤트 표시자의 메모리 크기에 있어서의 적절한 증가를 희생으로 하여 더 정교한 방식으로, 예를 들면 그레이 또는 컬러 레벨들로나 또는 광도 레벨들로 이러한 수정들을 정량화하는 것이 물론 가능하다.
물론, 상기 기본적인 수신기들은 기본적인 수신기들이 존재하는 만큼 많은 픽셀을 포함하는 시야를 갖는 센서를 함께 형성하도록 구성된 전형적인 수신기들일 수 있다. 그러나, 상기 기본적인 수신기들은 상기 신호에 민감한 센서의 표면의 기본적인 영역들로서, 각각의 기본적인 영역에 대하여 상기 영역에서 수신된 신호의 물리적 특성의 수정이 검출되는 기본적인 영역들을 계산적으로 분리시킴으로써, 그리고 개별적인 영역들이 존재하는 만큼 많은 신호들을 생성함으로써 가상적으로 생성될 수 있다. 특히, 한 세트의 수신기들이 동일한 센서를 형성하는 경우에, 상기 한 세트의 수신기들은 임의의 기하학적 형상을 취할 수 있으며, 반드시 평면 형상일 필요는 없다. 예를 들면, 상기 한 세트의 수신기들은 구상체(sphere)로 배치될 수 있다. 그러한 기하학적 형성들에서, 다른 한 센서에 의해 검출된 이벤트에 링크된 에피폴라 선은 측지선(測地線; geodesic)의 형상을 취하게 되는 것이 더 일반적이다.
물론, 본 발명의 방법은 단지 고정 센서들만을 통한 모바일 씬에 적용될 뿐만 아니라, 예를 들면 모바일 센서들, 진동 센서들을 통한 고정 씬에 적용된다.
마지막으로, 본 발명의 방법은 2개보다 많은 비동기 센서의 사용으로 즉시 일반화될 수 있다.

Claims (9)

  1. 씬(scene)의 3D 재구성 방법에 있어서,
    상기 방법은,
    - 각각의 센서가 분리된 개별 입체각들로부터 상기 씬을 관측하도록 구성된 일련의 기본적인 수신기들을 포함하는 적어도 2개의 센서(C1,C2)로서, 상기 씬으로부터 생기고 상기 수신기에 의해 수신되는 신호의 물리적 특성에 각각 민감한 적어도 2개의 센서(C1,C2)의 구현;
    - 상기 센서들에 의해 생성된 신호들을 채용하여 상기 센서들 각각의 기본적인 수신기들을 매칭하는 단계를 포함하는 3D 재구성 알고리즘의 구현;
    을 포함하며,
    상기 방법은,
    각각의 센서가 소정 순간에 상기 기본적인 수신기들 중 하나의 기본적인 수신기에 의해 수신된 신호의 수정을 각각 표시하는 이벤트들(Ei)의 비동기 스트림을 방출하도록 구성된 센서들의 사용을 포함하며, 상기 매칭은 시간적으로 근접한 이벤트들을 선택함으로써 상기 센서들 각각에 의해 생성된 이벤트들을 서로 매칭하는 것임을 특징으로 하는, 씬의 3D 재구성 방법.
  2. 제1항에 있어서, 각각의 이벤트는,
    - 상기 이벤트를 생성한 기본적인 수신기를 식별하는 것을 가능하게 하는 데이터;
    - 상기 기본적인 수신기에 의해 인지된 신호의 수정 표시자로서, 상기 기본적인 수신기에 의해 수신된 신호가 증가한 경우에 제1값을, 그리고 상기 기본적인 수신기에 의해 수신된 신호가 감소한 경우에 제2값을 적어도 취하는, 상기 기본적인 수신기에 의해 인지된 신호의 수정 표시자;
    - 상기 신호의 수정의 발생 순간;
    을 포함하는, 씬의 3D 재구성 방법.
  3. 제2항에 있어서, 상기 매칭은 소정의 발생 순간에서 상기 제1 센서에 의해 생성된 소스 이벤트에 대해, 상기 제2 센서에 의해 생성된 이벤트로서 상기 소스 이벤트의 발생 순간(t) 부근의 소정 폭(ΔT)의 시간창(time window)에서 생긴 이벤트를 선택하는 것을 포함하는, 씬의 3D 재구성 방법.
  4. 제3항에 있어서, 상기 센서들은 초점면(focal plane)을 지니며, 각각의 선택된 이벤트에 대해, 상기 선택된 이벤트를 생성한 기본적인 수신기에 상응하는 제2 센서의 초점면의 지점 및 상기 소스 이벤트를 생성한 제1 센서의 기본적인 수신기에 연관된 상기 초점면에서의 에피폴라 선(epipolar line) 간의 거리가 계산되고, 결과적으로 결정된 상기 거리가 소정의 한도(D)를 넘는 선택된 이벤트들 모두가 제거되는, 씬의 3D 재구성 방법.
  5. 제3항에 있어서, 상기 소스 이벤트와 동일한 값을 지니지 않는 표시자를 갖는 선택된 이벤트들 모두는 제거되는, 씬의 3D 재구성 방법.
  6. 제3항에 있어서, 이미 매칭의 대상이었던 선택된 이벤트들 모두는 제거되는, 씬의 3D 재구성 방법.
  7. 제1항에 있어서, 적어도 3개의 비동기 센서(C1,C2,C3)가 구현되며, 시간적 선택 후에, 상기 센서들 각각에 의해 생성된 생성된 이벤트는 보유된 이벤트들 각각이 상응하는 초점면에서 보유된 다른 이벤트들에 의해 생성된 에피폴라 선(epipolar line)들의 교점에 있도록 보유되는, 씬의 3D 재구성 방법.
  8. 제1항에 있어서, 상기 센서들은 비동기 스트림을 생성하도록 이루어진 사후-처리와 조합된 CCD 또는 CMOS 타입의 카메라들을 포함하는, 씬의 3D 재구성 방법.
  9. 제1항에 있어서, 상기 센서들은 이벤트들의 비동기 스트림을 공급하기 위해 이벤트들을 생성하도록 독립적이고 연속적인 방식으로 광도(luminous intensity)의 상대적인 변경들을 정량화하는 수신기들을 포함하는 타입인, 씬의 3D 재구성 방법.
KR1020147018454A 2011-12-08 2012-12-10 비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법 KR101601263B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1161320 2011-12-08
FR1161320A FR2983998B1 (fr) 2011-12-08 2011-12-08 Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones
PCT/EP2012/074989 WO2013083848A1 (fr) 2011-12-08 2012-12-10 Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones

Publications (2)

Publication Number Publication Date
KR20140109406A true KR20140109406A (ko) 2014-09-15
KR101601263B1 KR101601263B1 (ko) 2016-03-08

Family

ID=47324168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147018454A KR101601263B1 (ko) 2011-12-08 2012-12-10 비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법

Country Status (9)

Country Link
US (1) US9628777B2 (ko)
EP (1) EP2789166B1 (ko)
JP (1) JP6087947B2 (ko)
KR (1) KR101601263B1 (ko)
CN (1) CN104205822B (ko)
AU (1) AU2012350230B2 (ko)
CA (1) CA2858278C (ko)
FR (1) FR2983998B1 (ko)
WO (1) WO2013083848A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2983998B1 (fr) * 2011-12-08 2016-02-26 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
FR3033973A1 (fr) * 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene
CN105203045B (zh) * 2015-07-02 2018-07-06 天津师范大学 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
EP3510495A1 (fr) * 2016-09-09 2019-07-17 Centre National de la Recherche Scientifique CNRS Procédé de reconnaissance de motif dans une pluralité de signaux
EP3694202A1 (en) 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
JP2022532410A (ja) * 2019-05-16 2022-07-14 プロフジー オブジェクトのモーションをキャプチャするための方法、およびモーションキャプチャシステム
KR20230101799A (ko) * 2020-11-10 2023-07-06 소니 세미컨덕터 솔루션즈 가부시키가이샤 형상 측정 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH0719832A (ja) * 1993-06-21 1995-01-20 Canon Inc 複数画像の対応点抽出方法
JPH0749944A (ja) * 1993-08-04 1995-02-21 Canon Inc 画像処理方法およびその装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2004234423A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
US8150100B2 (en) * 2006-11-13 2012-04-03 University Of Connecticut, Center For Science And Technology Commercialization System and method for recognition of a three-dimensional target
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
FR2983998B1 (fr) * 2011-12-08 2016-02-26 Univ Pierre Et Marie Curie Paris 6 Procede de reconstruction 3d d'une scene faisant appel a des capteurs asynchrones
EP2807827A4 (en) * 2012-01-25 2015-03-04 Lumenco Llc CONVERTING A DIGITAL STEREO IMAGE IN SEVERAL VIEWS WITH PARALLAX FOR 3D VISUALIZATION WITHOUT GLASSES
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp ３次元計測方法
JPH0719832A (ja) * 1993-06-21 1995-01-20 Canon Inc 複数画像の対応点抽出方法
JPH0749944A (ja) * 1993-08-04 1995-02-21 Canon Inc 画像処理方法およびその装置

Also Published As

Publication number Publication date
CA2858278C (fr) 2017-08-01
CN104205822B (zh) 2016-10-19
JP2015508584A (ja) 2015-03-19
FR2983998B1 (fr) 2016-02-26
CN104205822A (zh) 2014-12-10
CA2858278A1 (fr) 2013-06-13
AU2012350230B2 (en) 2017-03-30
US20140333730A1 (en) 2014-11-13
JP6087947B2 (ja) 2017-03-01
KR101601263B1 (ko) 2016-03-08
AU2012350230A1 (en) 2014-07-03
WO2013083848A1 (fr) 2013-06-13
EP2789166B1 (fr) 2017-02-08
EP2789166A1 (fr) 2014-10-15
FR2983998A1 (fr) 2013-06-14
US9628777B2 (en) 2017-04-18

Similar Documents

Publication Publication Date Title
KR101601263B1 (ko) 비동기 센서들에 요구하는 씬의 3ｄ 재구성 방법
US11615546B2 (en) Systems and methods for depth estimation using generative models
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US8334893B2 (en) Method and apparatus for combining range information with an optical image
CN108055452A (zh) 图像处理方法、装置及设备
JP2020529685A (ja) シーンの表現を生成するための装置及び方法
CN105190229B (zh) 三维形状计测装置、三维形状计测方法及三维形状计测程序
US20200137376A1 (en) Method for generating a light-field 3d display unit image and a generating device
CN108024054A (zh) 图像处理方法、装置及设备
JP2008117305A (ja) 画像処理装置
CN108257165A (zh) 图像立体匹配方法、双目视觉设备
JP4193342B2 (ja) ３次元データ生成装置
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN112470189B (zh) 光场系统的遮挡消除
CN108460794B (zh) 一种双目立体红外显著目标检测方法及系统
JP2004200973A (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP7442072B2 (ja) 三次元変位計測方法及び三次元変位計測装置
KR101960577B1 (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
JP7308913B2 (ja) 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法
CN109804431A (zh) 用于生成增强图像的电视转播系统
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN109389629B (zh) 立体匹配自适应视差等级的确定方法
JP2009186369A (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant