JP6839091B2

JP6839091B2 - シーンを３ｄ再構成するための方法

Info

Publication number: JP6839091B2
Application number: JP2017549009A
Authority: JP
Inventors: イエン・シオ−ホイ; ベノスマン・リヤド; シ・バートラム
Original assignee: Sorbonne Universite
Current assignee: Sorbonne Universite
Priority date: 2015-03-16
Filing date: 2016-03-15
Publication date: 2021-03-03
Anticipated expiration: 2036-03-15
Also published as: WO2016146938A1; EP3272119A1; CN107750372A; KR20180020952A; CN107750372B; FR3033973A1; JP2018516395A; US20180063506A1; EP3272119B1; KR102432644B1; US11335019B2

Description

本発明は、特に、シーンが非同期センサを用いて取り込まれる場合における、シーンの3D再構成の分野に関する。

規則的なサンプリング瞬間において連続画像を記録する標準的なカメラとは対照的に、生物学的な網膜は、見るべきシーンに関してわずかな反復情報を送るだけであり、これは非同期的に行われる。

イベントベースの非同期視覚センサは、イベントの形態で圧縮されたデジタルデータを送達する。

このようなセンサの提案は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページにおいて見ることができる。イベントベースの視覚センサは、標準的なカメラと比較して、反復の増加、待ち時間の減少、ならびに時間力学およびグレーレベルの範囲の増加という利点を有する。

このような視覚センサの出力は、各画素アドレスについて、変化が生成されたときのシーンの反射における変化を表す一連の非同期イベントから構成することができる。

センサの各画素は、独立しており、最後のイベントの送信から、閾値を超える光強度の変化(例えば、強度対数で15%のコントラスト)を検出する。強度の変化が、設定された閾値を超えた場合、強度が増加したか、または減少したかに応じて、ONイベントまたはOFFイベントが画素により生成される(DVSセンサ)。一定の非同期センサは、検出されたイベントを光強度の絶対測定値に関連付ける(ATISセンサ)。

標準的なカメラのようにクロックに基づいてサンプリングされないセンサは、非常に高い時間精度(例えば、約1μs)でイベントの順序付けを図表化することができる。このようなセンサが、一連の画像を再構成するために使用される場合、標準的なカメラの数十ヘルツと比較して、数キロヘルツの画像レートが達成され得る。

さらに、シーンの3D再構成のフレームワークにおいて、センサの画素のそれぞれ1つについて、空間内における位置が計算される。これを達成するために、いくつかのカメラまたは他の標準的なセンサを用いる多くの方法がある。したがって、これらの方法は、標準の2D画像を用いて決定を達成し、この場合、画素は少なくとも1つの値を有する(すなわち、画素が定義される)。

前記に定義したものなど、非同期センサの場合、センサから出る「標準的な」2D画像は入手可能ではないので、本質的にこれらの方法を適用することができない。これらの方法を使用するためには、センサからの非同期情報から、2D画像を人工的に「再構成」することが必要になる。しかし、この再構成は負担が大きく、完全な画像を処理することは、その後の処理手段を必要とし得る。また、この再構成は、時間情報を離散化し、したがって、視覚情報の時間依存性は、実際には無視される。

「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページ

したがって、非同期センサに適した方法である、3Dシーン再構成方法を開発する必要がある。

本発明は、その状況を改善することを目的としている。

この目的のために、本発明は、3Dで観察されるシーンを再構成するための、特に非同期センサに適した方法を提案する。

したがって、本発明は、シーンの3D再構成のための方法であって、
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサから非同期情報の第1の部分を受け取るステップであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、受け取るステップと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサから非同期情報の第2の部分を受け取るステップであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、受け取るステップと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるステップと
を含み、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを有する第1の畳み込みセンサの画素からの1つの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、1つの第1の輝度信号、および
- 前記畳み込みコアを有する第2の畳み込みセンサの画素からの1つの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、1つの第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、方法を目的とする。

したがって、いくつかのDVSまたはATIS非同期センサを用いて取り込まれた3Dシーンの再構成を行うために、これらの画像に適用可能な従来技術の方法を用いて標準的な2D画像を再作成することは必要ではない。

したがって、このような3D再構成の精度は、非常に正確/高いものとなり、非同期時間情報は、さらに正確にサンプリングされる。

さらに費用関数は、
- 時間成分であって、
- 第1のセンサのイベントに関係する時間値と、
- 第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分をさらに含むことができる。

したがって、時間的に離れすぎているイベントが接続されることを回避することが可能である。

特定の実施形態では、費用関数は、
- 幾何学的成分であって、
- 第1のセンサからの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ直線の交差部における第2のセンサの画素の空間距離
に依存する幾何学的成分をさらに含むことができる。

したがって、シーンの同じ点X(t)に対応しないイベントが接続されることを回避することが可能である。

有利には、第1のセンサの画素および第2のセンサの画素の輝度信号は、輝度変動の発生時間をコード化した最大値を含み、畳み込みコアは、所定のガウス分散とすることができる。

特定の実施形態では、前記輝度成分は、
- 第1のセンサの第1の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第1のセンサの画素の輝度信号と
- 第2のセンサの第2の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第2のセンサの画素の輝度信号と
にさらに依存することができる。

したがって、接続されるべき画素に近いイベントを考慮することは、全体が対応しているかどうかを調べること、および2つの画素についての局所的な相関性を取得することが、単なるアーティファクトまたは単なる特異点ではないことを調べることを可能にする。

さらに、前記動き成分は、
- 第1のセンサの画素から所定の距離に空間的に位置する、第1のセンサの画素イベントの発生に関係する時間値の平均値と、
- 第2のセンサの画素から所定の距離に空間的に位置する、第2のセンサの画素イベントの発生に関係する時間値の平均値と
にさらに依存することができる。

特定の実施形態では、前記動き成分は、所与の時間について、
- 第1のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
- 第2のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存することができる。

代替的な実施形態では、前記動き成分は、
- 第1のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
- 第2のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存することができる。

本発明はまた、シーンの3D再構成のためのデバイスであって、デバイスは、
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサからの非同期情報の第1の部分を受け取るためのインターフェースであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、インターフェースと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサからの非同期情報の第2の部分を受け取るためのインターフェースであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、インターフェースと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるのに適したプロセッサと
を備え、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを用いて畳み込まれた第1のセンサの画素からの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、第1の輝度信号、および
- 前記畳み込みコアを用いて畳み込まれた第2のセンサの画素からの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、デバイスを目的とする。

上記で述べた方法の全部または一部を実装する、既存の機器上にインストールされたコンピュータプログラムは、それ自体有利である。

したがって、本発明はまた、コンピュータプログラムであって、プロセッサによってこのプログラムが実行されたときに、前述の方法の実装のための命令を含む、コンピュータプログラムを目的としている。

このプログラムは、任意のプログラミング言語(例えば、オブジェクト言語または他のもの)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または完全にコンパイルされたコードの形態とすることができる。

以下で詳細に述べられる図6は、このようなコンピュータプログラムの一般的なアルゴリズムの流れ図を形成することができる。

本発明の他の特性および利点は、以下の説明を読めば、さらに明らかになろう。これは、完全に例示的なものであり、添付図面を参照しながら読まれるべきものである。

ATIS非同期光センサの概観図である。回転する星を含むシーンに対向して位置する非同期センサにより生成されたイベントを示す図である。 2つの別々のセンサの2点についての輝度成分の計算の例の図である。所与の画素の活動信号の代表的な例の図である。所与の画素の活動信号の代表的な例の図である。別々の非同期センサを用いて生成された動きカードを表す図である。本発明の一実施形態における幾何学的成分の計算の例を表す図である。本発明の一実施形態における幾何学的成分の計算の例を表す図である。本発明による一実施形態を提示する流れ図である。本発明による一実施形態を実装するためのデバイスを示す図である。

図1は、ATIS原理を示している。

センサを構成するマトリックスの画素101は、電子検出回路103a、103bにそれぞれ接続されたフォトダイオードなど、2つの感光性素子102a、102bを備える。

センサ102aおよびその回路103aは、フォトダイオード102aにより受け取られた光強度が、事前定義された量から変化したとき、パルスP₀を生成する。

この強度変化を示すパルスP₀は、他のフォトダイオード102bに接続された電子回路103bをトリガする。この回路103bは、次いで、第1のパルスP₁を生成し、所与の光量(光子の数)がフォトダイオード102bによって受け取られると直ちに第2のパルスP₂を生成する。

パルスP₁とパルスP₂との間の時間差δtは、パルスP₀が出現した直後に、画素101によって受け取られた光強度に逆比例する。

ATISからの非同期情報は、各画素について2つの組み合わされたパルス列(104)を含む。すなわち、第1のパルス列P₀は、光強度が、検出閾値を超えて変化した瞬間を示すが、第2の列は、時間差δtが、対応する光強度またはグレーレベルを示すパルスP₁およびP₂から構成される。

ATISのマトリックスにおける位置pの画素101からのイベントe(p,t)は、したがって、2つのタイプの情報を含む、すなわち、イベントの瞬間tが与えられると、パルスP₀の位置によって与えられる情報の時間に関連する部分と、パルスP₁とパルスP₂との間の時間差δtによって与えられるグレーレベル情報の部分とである。

次いで、図2に提示されたものなど、3次元空間/時間表現における画素からのイベントが配置され得る。この図では、各点pは、囲みAの図で示されるように一定の角速度で回転する星の動きにより、

の、センサの画素pのレベルで瞬間tにおいて非同期に生成するイベントe(p,t)を識別する。これらの点の主要部分は、概して螺旋形状の表面近くに分散されている。さらに図は、星の実際の動きに対応することなく測定された螺旋面からの距離において、いくつかのイベントを示している。これらのイベントは、取得ノイズからのものである。

イベントe(p,t)は、次いで、以下のすべての情報により定義することができる、

ただし、Cはセンサの空間領域であり、polは、輝度変化の方向を表す極性であり(例えば、1は増加を、-1は減少を示す)、I(p,t)は、瞬間tにおける点pの光強度信号である。

したがって、光強度信号は、図1で述べられたものなど、すべての組み合わされたパルス列104とすることができる。t_uがイベントの発生する時間を表し、t_e+,uとt_e-,uとの間の差が、受け取った光強度に逆比例する値を表す場合、I(p,t)=δ(t-t_u)+δ(t-t_e+,u)+δ(t-t_e-,u)のように、3つのディラックδを用いて強度をコード化することが可能である。座標pに位置する画素強度信号は、したがって、輝度情報を時間的にコード化することを可能にする。この情報は、最小の変換量で、センサの電子回路から直接得ることができる。

図3は、2つの別々のセンサuおよびvの2点pおよびqに対する輝度成分の計算の例である。

2つのセンサの2点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、観察されるシーンを含む表面がランベルト面である(すなわち、その面では、観察する角度にかかわらず、輝度が同じである)という仮説が存在する。

したがって、これらの面について、強度は、1つの同じ瞬間に2つのセンサで同じでなければならない、すなわち、I_u(p,t)=I_v(q,t)である。

例えば、これらの2つの信号I_u(p,t)とI_v(q,t)との間の相関を計算することが可能である。

ディラック構成の光強度信号を簡単に比較できるようにするために、非void型サポートコアg_σ(t)によりこれらの信号の畳み込みを行うことが有利になり得る。それは、次いで、2つの信号

と

との間の相関を計算することが可能になる。

さらに、2つの単一の点の比較に限定するのではなく、さらにpおよびqの近くに位置する(すなわち、pまたはqから所定の距離に位置する、ただし、距離とは数学的な用語の意味である)点を考慮することが有用であり得る。すなわち、pに近いすべての点は、組v_u(p)を定義し、qに近いすべての点は、組v_v(q)を定義する(Nはこれらの組の基数(cardinal)である)。したがって、輝度成分は、次のように表すことができる、

当然であるが、上記で定義したように、pまたはqの近くに位置するすべての点について畳み込まれた関数

のサポートをωと定義することにより、積分端点を低減することが可能である。

最後に、2つを超えるセンサを用いることによって、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}を用いる場合、

と書くことが可能である。

コアg_σ(t)は、ガウス分散δであると有利である。それはまた、ドア幅関数(door width function)δとすることもできる。

図4cは、別々の非同期センサを用いて生成されたカード401および402を表している。

これらのカードを生成するために、所与の瞬間tにおける、所与の画素pおよび所与の極性polの各イベント

について、言語プリミティブ

の合計として関数Sを定義することが可能であり、hは所定の値であり、θは、言語プリミティブの減少速度に対応した所定の因子である。

言語プリミティブの「合計」はまた、
言語プリミティブ

の、イベント

が生ずる各時間t_pについてのディラックを含む信号との畳み込みとして数学的に見ることができる。

例として、図4aは、センサの3つの画素p₁、p₂、およびp₃についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示す。

イベントがない場合、S(p₁,t)、S(p₂,t)、またはS(p₃,t)の値はゼロである。しかし、画素p₁のレベルにおいて、極性イベントpol(例えば、410)が生じたとき、S(p₁,t)は、所定の閾値(ここではh、この値hは単一(unitary)のものとすることもできる)をとる。

活動信号S(p₁,t)の値は、次いで、このイベントの後、次第に減少して0に達する。

このことは、画素p₁に対するイベント411に対しても同じであり、画素p₂に対するイベント412に対して、または画素p₃に対するイベント413/414に対しても同様である。

ここで活動信号Sの減少が直線的である場合、任意のタイプの減少を指数関数的減少と予想することが可能である、すなわち、

この指数関数的減少は、図4bで示すことができる(曲線4bおよびイベント320を参照のこと)。

さらに、検討される画素(例えば、ここではp₄)に対するイベントの発生時において、関数Sの値は、hの値に対して無視することができない(例えば、イベント421は、イベント422に対して、時間的に近接している)ことがあり得る。

実施形態では、後のイベント422の発生時において、活動信号Sの値は、イベント422の直前のSの現在の値(すなわち、h₀)とhとの合計(おそらく重み付けられた)に設定され得る。したがって、曲線Sの減少は、図4bが示すように、値h+h₀から開始することになる。さらに、h+h₀の値は、所定の値h1で上限を設ける(すなわち、min(h₁,h+h₀))ように予想することも可能である。

別の実施形態では、後のイベント422の発生時に、h₀の値が何であれ、曲線Sの値はhに設定される(すなわち、最後のイベント(すなわち、後のイベント)に対する前のイベントは無視される)。この別の実施形態では、以下のように定義される「最後のイベント時間」として知られる時間を定義することが可能である、すなわち、
T(p,pol,i)=max(t_j)|j<i
または
T(p,pol,t)=max(t_j)|t_j<t
ここで、t_jは極性polを有する画素pに対する画素で生じたイベント時間である。

概念的には、p→T(p,pol,t)は、時間的に、基準時間(すなわち、t)の直前に生じた同じ極性の最後のイベントの時間カードを定義する。

したがって、この別の実施形態では、p→S(p,pol,t)は、時間T(p,pol,t)のこの組の関数であるとして定義され得る。

例えば、p→S(p,pol,t)は、

であり、τおよびhは、所定の時定数である(Sは、下側の端点としてT(p,pol,t)を含む間隔にわたり、時間tに関する任意の減少関数とすることができる)。

これらの画素のイベントの「鮮度(freshness)」を表す画素カードSを作成することは、不連続な概念(すなわち、イベント)の連続する、簡単な表現を可能にするので有利である。この作成されたカードにより、イベントの表現を理解しやすい領域へと変換することが可能になる。

したがって、それを作成することは、イベントの処理および比較を簡単化する。

この関数Sは、この画素について生じたイベントの「鮮度」を表している。

図4cのカード401および402は、所与の時間tについて、2つの異なる視点から、1つの同じ手の動きを取り込む2つの非同期センサに対する関数Sを表している。

最も暗い点は、最後のイベントが時間tに関して最近である点を表す(すなわち、最大のS値を有する)。

最も明るい点は、最後のイベントが時間tに関して最も遠い点を表す(すなわち、最小のS値を有する、画像の背景は、明るい値をより容易に目立つようにするためにグレー化されているが、背景は関数Sのゼロ値に対応する)。

分散された暗い点は、センサ取込みノイズに相当する。

日付t₀に生じた各イベントについて、画素pに対する動きカードを決定することが可能である。したがって、カードの各画素pは、値としてS(p,t₀)を有する。

2つのセンサの2つの点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、各点pおよびqにおける2つのセンサのS値が同様である(これは、いくつかの限定された状況では必ずしもそうならない)、すなわち、S(p)=S(q)、または少なくともS(p)≒S(q)のいずれかであると仮定する。

例えば、これらの2つの値S(p)とS(q)との間の相関を計算することが可能である。

さらに、2つの単一の点の比較に限定することなく、p(403)およびq(404)の近くに位置する点(すなわち、数学的な用語の意味における距離である、pまたはqからの所定の距離に位置する点)を考慮することも有用であり得る。すなわち、pの近くのすべての点が組v_u(p)(405)を定義し、qの近くのすべての点が組v_v(q)(406)を定義する(Nはこの組の基数である)。

点pおよび点qに近い2つのカード405とカード406の相関を決定することが可能である。加えて、センサを任意の時間差から解放するために、それらの各平均のオプティカルフロー405および406をそれぞれのもの(それぞれ、

、および

)から減算することが可能である。

したがって、所与の瞬間tについて、動き成分は、次のように表すことができる、

ただし、iは組v_u(p)における点のインデックスであり、また組v_v(q)における点のインデックスである。

最後に、2つを超えるセンサを使用することにより、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}の場合、(前に輝度成分に対して使用されたものと同じ表記を用いることにより)書くことが可能である。

図5aおよび図5bは、本発明の一実施形態における幾何学的成分を計算する例の図である。

2つのセンサ501および502が、1つの同じシーン(例えば、点X(t)を含むシーン、図5aを参照)に対向している場合であって、第1のセンサ501の点

が、点X(t)を表している(すなわち、点

、X(t)、およびR_uが一直線に並んでいる)とき、センサ502に関してエピポーラ直線l_uvを定義することが可能である。

R_uはセンサ501の投影中心であり、R_vはセンサ502の投影中心である。

このエピポーラ直線l_uvは、平面(X(t)、R_u、R_v)とセンサ502との交差部であるとして定義される。

より一般的には、最後のセンサ501の点pは、第2のセンサ502上のエピポーラ直線l_v(p)を定義し、第2のセンサ502の点qは、第1のセンサ501上のエピポーラ直線l_u(q)を定義する。

したがって、第1のセンサおよび第2のセンサの2つの点pおよびqについて幾何学的成分を定義することが可能である。

撮影デバイスが、3つのセンサを備える場合(図3bを参照)、2つのエピポーラ直線を、センサごとに定義することができ、これらの直線は、2つの他のセンサ上にあると見なされる点により定義される。したがって、これらの2つのエピポーラ直線は、その場合、以下でエピポーラ交差部と呼ぶ交差部を有する。したがって、
第1のセンサの点pおよび第2のセンサの点qは、第3のセンサ上でエピポーラ交差部i_w(p、q)を定義する、
第1のセンサの点pおよび第3のセンサの点rは、第2のセンサ上でエピポーラ交差部i_v(p、r)を定義する、
第2のセンサの点qおよび第3のセンサの点rは、第1のセンサ上でエピポーラ交差部i_u(q、r)を定義する。

したがって、第1、第2、および第3のセンサの3つの点p、q、およびrに対する幾何学的成分を定義することが可能である。

ただし、ε_gは最大の受け入れ可能な幾何学的差を表す距離の所定の値である。

撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、センサのエピポーラ交差部が、他のセンサの現在の点によりこのセンサ上で定義されるエピポーラ直線のセットの最も近くに位置する点であること(例えば、エピポーラ直線に対する前記点の距離の合計を最小化することにより、または距離の2乗を最小化することによる)を考慮することにより、前の式を一般化することが可能である。

第1のセンサのイベントe(p,t_u)、および第2のセンサのイベントe(q,t_v)に対する時間成分を決定することも可能である。

ただし、ε_tは、時間の次元を有し、これらの2つのイベント間の最大の受け入れ可能な時間差を表す数である。

撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、前の式を一般化することが可能である。

図6は、本発明による一実施形態を提示する流れ図を示す。

2つの別々の非同期センサからの非同期イベント601および602の2つの組を受け取り、1つの同じシーンと比較すると、これらのセンサから2つのイベントを選択することが可能である(ステップ603、第1のセンサに対する画素p_iおよび時間t_1i、ならびに第2のセンサに対する画素q_jおよび時間t_2jにより定義される)。

これらのイベントが選択された後、上記で述べられた以下の成分の中から、少なくとも1つの成分を決定することができる、すなわち、
幾何学的成分(ステップ604)、
時間成分(ステップ605)、
動き成分(ステップ606)、
輝度成分(ステップ607)である。

第1のセンサに対するイベントe₁(p_i,t_1i)の組について、多数のイベントe₂(q_j,t_2j)にわたって、(例えば、インデックスjを変化させることにより)反復させる(テスト608、出力j+1)ことが可能である。反復は、第2のセンサのすべてのイベント、または有利には、これらのイベントのサブセットだけ(例えば、エピポーラ直線から、もしくは少なくともp_iにより定義されるエピポーラ交差部から、所定の幾何学的距離に位置するものだけ、および/または時間t_1iの所定の時間距離に位置するものだけ)の概要を示すことができる。

反復が終了した後(テスト608、出力OK)、イベントe₁(p_i,t_1i)の組に対する費用関数Eを最小化するイベントe₂(q_j,t_2j)を決定することが可能である(ステップ609)。費用関数は、例えば、前に計算された成分の単純な合計(E=E_T+E_M+E_G+E_I)、または重み付けられた合計(E=ω_TE_T+ω_ME_M+ω_GE_G+ω_IE_I)とすることができる(これらの成分を含む任意の他の関数も可能である)。

輝度成分および/または動き成分を考慮する費用関数は、行われる3D再構成の精度を大幅に増加させることができることが、実験を通して観察されている。

最小化が実行された後、点p_iと点q_jを接続することができ(ステップ610)、したがって、接続された点p_iと点q_jを表す、観察されるシーンの点X(t)の空間における距離または位置を計算することができる(ステップ611)。

計算された距離(または空間中の点X(t)の位置)が次いで返される(612)。

図7は、本発明による一実施形態を実装するためのデバイスを示している。

この実施形態では、デバイスは、コンピュータ700を備え、コンピュータ700は、方法を実装できるようにする命令と、受け取った測定値からのデータと、前述したような方法の様々なステップを実行するための時間データとを記憶するためのメモリ705を備える。

コンピュータは、回路704をさらに備える。この回路は、例えば、
- コンピュータプログラムの形態の命令を解釈できるプロセッサ、または
- 本発明の方法のステップが、シリコンチップに記述される電子基板、または、さらに
- FPGA(「書替え可能ゲートアレイ」)チップなどのプログラム可能な電子チップ
とすることができる。

このコンピュータは、センサからイベントを受け取るための入力インターフェース703と、距離707を供給するための出力インターフェース706とを備える。最後に、コンピュータは、ユーザと容易に対話することができるようにするために、スクリーン701およびキーボード702を備えることができる。当然であるが、キーボードは、特に、例えば、タッチスクリーンタブレットの形態を有するコンピュータの一部として任意選択のものである。

さらに、図6で提示された機能的な図は、説明されたデバイスについて一定の命令が作成され得るプログラムの典型的な例である。これに関して、図6は、本発明の意味において、コンピュータプログラムの一般的なアルゴリズムの流れ図に対応することができる。

当然ながら、本発明は、例として上記で述べた実施形態の形態に限定されない。本発明は、他の変形形態に及ぶ。

他の実施形態も可能である。

例えば、図6の流れ図はまた、第1のセンサのいくつかのイベントを、第2のセンサのイベントと関連付けるために、イベントe₁(p_i,t_1i)に対する反復を含むこともできる。

101 画素
102a 感光性素子、フォトダイオード
102b 感光性素子、フォトダイオード
103a 電子検出回路
103b 電子検出回路
104 パルス列
401 カード
402 カード
403 p
404 q
405 組v_u(p)、カード、オプティカルフロー
406 組v_v(q)、カード、オプティカルフロー
410 極性イベントpol
411 イベント
412 イベント
413 イベント
414 イベント
421 イベント
422 イベント
501 第1のセンサ
502 第2のセンサ
700 コンピュータ
701 スクリーン
702 キーボード
703 入力インターフェース
704 回路、プロセッサ
705 メモリ
706 出力インターフェース
707 距離

Claims

シーンを3D再構成する方法であって、
- 前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取るステップ(601)であって、非同期情報の前記第1の部分が、前記第1の画素マトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、受け取るステップ(601)と、
- 前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取るステップ(602)であって、非同期情報の前記第2の部分が、前記第2の画素マトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、受け取るステップ(602)と、
- 費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせるステップ(610)と
を含み、
前記費用関数は、
- 輝度成分(E_I)であって、少なくとも
- 畳み込みコア(g_σ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(I_u)であり、前記第1のセンサの画素の輝度は、前記第1の輝度信号の最大値(t_e-,u、t_e+,u)間の差に依存する、第1の輝度信号(I_u)、および
- 前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(I_v)であり、前記第2のセンサの画素の輝度は、前記第2の輝度信号の最大値(t_e-,v、t_e+,v)間の差に依存する、第2の輝度信号(I_v)
に依存する輝度成分(E_I)と、
動き成分(E_M)であって、少なくとも
- 前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(E_M)と
の中から少なくとも1つの成分を含む、方法。
前記費用関数(E)は、
- 時間成分(E_T)であって、
- 前記第1のセンサのイベントに関係する時間値と、
- 前記第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分(E_T)
をさらに含む、請求項1に記載の方法。
前記費用関数(E)は、
- 幾何学的成分(E_G)であって、
- 前記第1のセンサの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ交差部における前記第2のセンサの画素からの空間距離
に依存する幾何学的成分(E_G)
をさらに含む、請求項1または2に記載の方法。
前記第1のセンサの前記画素の前記第1の輝度信号(I _u )および前記第2のセンサの前記画素の前記第2の輝度信号(I _v)は、輝度変動の発生時間をコード化した最大値を含み、前記畳み込みコアは、所定のガウス分散である、請求項1から3のいずれか一項に記載の方法。
前記輝度成分(E_I)は、
- 前記第1のセンサの前記画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第1のセンサの画素の輝度信号と、
- 前記第2のセンサの前記画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第2のセンサの画素の輝度信号と
にさらに依存する、請求項1から4のいずれか一項に記載の方法。
前記動き成分(E_M)は、
- 前記第1のセンサの前記画素から所定の距離に空間的に位置する、前記第1のセンサの画素イベントの発生に関係する前記時間値の平均値(

)と、
- 前記第2のセンサの前記画素から所定の距離に空間的に位置する、前記第2のセンサの画素イベントの発生に関係する前記時間値の平均値(

)と
に依存する、請求項1から5のいずれか一項に記載の方法。
前記動き成分(E_M)は、所与の時間について、
- 前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
- 前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存する、請求項1から6のいずれか一項に記載の方法。
前記動き成分(E_M)は、
- 前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
- 前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存する、請求項1から6のいずれか一項に記載の方法。
シーンの3D再構成のためのデバイスであって、
- 前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取る(601)ためのインターフェース(703)であって、前記非同期情報の第1の部分が、前記第1の画素マトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、インターフェース(703)と、
- 前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取る(602)ためのインターフェース(703)であって、前記非同期情報の第2の部分が、前記第2の画素マトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、インターフェース(703)と、
- 費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせる(610)のに適したプロセッサ(704)と
を備え、
前記費用関数は、
- 輝度成分(E_I)であって、少なくとも
- 畳み込みコア(g_σ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(I_u)であり、前記第1のセンサの画素の輝度は、前記第1の輝度信号の最大値(t_e-,u、t_e+,u)間の差に依存する、第1の輝度信号(I_u)、および
- 前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(I_v)であり、前記第2のセンサの画素の輝度は、前記第2の輝度信号の最大値(t_e-,v、t_e+,v)間の差に依存する、第2の輝度信号(I_v)、
に依存する輝度成分(E_I)と、
- 動き成分(E_M)であって、少なくとも
- 前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(E_M)と
の中から少なくとも1つの成分を含む、デバイス。
コンピュータプログラムであって、プロセッサによって前記コンピュータプログラムが実行されたときに、請求項1から8のいずれか一項に記載の方法を実行するための命令を含む、コンピュータプログラム。