JP6087947B2 - 非同期センサに依存するシーンの３ｄ再構成の方法 - Google Patents

Description

本発明は、非同期センサに依存するシーンの３Ｄ再構成の方法に関する。

同一シーンの画像を撮像する少なくとも二つの同期したカメラによって撮像された画像に基づく３次元再構成を行うことが知られている。最初の立体視アルゴリズムは１９７０年代に出現した。重大なプロセスがここ数年行われてきた。このプロセスは、効果的な整合アルゴリズムにとってますます重要になっている。

用いられる光センサは、立体角のそれぞれからシーンを見るとともに規則的な間隔でシーンの画像を取得する（一般的には１秒ごとに数個の画像）ために行列に配置された基本受信器（例えば、カメラの画素）を有する。この場合、各画像は、対応する基本センサによってシーンから受信した信号の物理的な特性をそれぞれ表す値、例えば、光度のテーブルによって表される。

更に正確に言えば、そのような光センサは、それぞれの時間増分ｔ_ｋにおいてｘ，ｙに配置された基本受信機の各々に対して、情報

を生成する。この場合、ｆは、ｘ，ｙに配置された受信器によって受信した光度であり、δは、クロネッカーの記号である。そのようなセンサによって戻された情報は、行列又はフレーム

であり、この場合、Ｎ，Ｍは、行列の次元であり、この情報は、各時間増分で送られる。

整合アルゴリズムは、シーンの同一要素に起因し得るパターンに対するこれらの情報を探索し、対応する基本センサを互いに整合する。このように整合したこれらの基本受信器の位置がわかると、これらの二つの基本受信器によって見られたシーンのポイントを三角測量によって取得するのは容易であり、したがって、それをシーンの３Ｄ再構成に組み入れるのは容易である。

各画像は、数メガバイトのサイズを表すことができ、これは、１秒ごとに数枚の画像（典型的には、１秒ごとに２４枚の画像）のレートであり、かなりの帯域幅を表す。３Ｄ再構成アルゴリズムは、シーンの同一要素に対応するパターンを互いに整合するために同一瞬時に種々のセンサによって撮像された画像のパターンの探索を行う。これらのアルゴリズムは、大量の電力及び演算時間を消費するソフトウェアパッケージを必要とし、リアルタイムアプリケーションに対して想定できない。

発明の対象は、理想的な演算手段によってリアルタイムでの実現を行うことができるシーンの３Ｄ再構成の方法である。

この目的を達成するために、
個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサの実現であって、センサの各々は、シーンから生じる基本受信器によって受信した信号の物理的な特性に応答することと、
センサによって生成された信号を用いるセンサの各々の基本受信器の整合を行うステップを含む３Ｄアルゴリズムの実現と、
を含むシーンの３Ｄ再構成の方法を提案する。

本発明によれば、方法は、所定の瞬時に基本受信器の一つによって受信した信号の変化をそれぞれ表すイベントの非同期ストリームを出すようにそれぞれが適合されたセンサの使用を含み、整合は、センサの各々によって生成されたイベントを時間的に近接するイベントを選択することによって互いに整合することからなる。

そのようなセンサの使用によって、センサからの情報の出力を飛躍的に減少させることができ、整合をかなり簡単にする。時間的に近接するイベントの整合は、実際には、そのように整合されたイベントを生成したセンサの各々の受信器の整合になる。整合は、適度な処理手段を用いることにより、実現するのが非常に簡単になる。

本発明の３Ｄ再構成方法を、理想的な手段、例えば、適切なデータ取得カードを備えた単純なパーソナルコンピュータによって実現することができる。

本発明は、添付図面の図を考慮して更によく理解されるであろう。

本発明による同一シーンを観察する二つの非同期センサの焦点面を示す図である。 図１のセンサによって検出したイベントのタイミング図である。 本発明による同一シーンを観察する三つの非同期センサの焦点面を示す図である。 図３のセンサによって検出したイベントのタイミング図である。

以下詳細に説明する実現の態様において、図１を参照すると、シーンは、ＣＣＤ又はＣＭＯＳカメラを有する（それぞれ右及び左と称する）二つのセンサＣ１及びＣ２を用いて撮像される。各カメラは、各々が基本センサに相当するＭｘＮ画素を有する。各画素は、所定の立体角からのシーンを観察し、この立体角で受信した光度に応答する。図１は、二つのセンサＣ１及びＣ２の焦点面を示す。

しかしながら、本発明の関連においては、カメラは、通常の方法で用いられない。各々の基本情報が瞬時ｔ_ｋで各画素によって受信した光度を表すフレーム

を規則的な間隔で生成させるためにカメラを使用するのではなく、ここで関心があるのは情報の微分であり、この場合、画素の各々によって受信した光度の変化の向きである。したがって、関心のある量は、二つの値：画素によって受信した信号の光度が減少する場合の−１及び画素によって受信した信号の光度が増大する場合の１を取ることができる

である。この量は、サンプリングの瞬時ｔ_ｋ：

に対してサンプリングされ、この場合、δは、クロネッカーの記号である。

したがって、このイベントは、時間ｔ_ｋでｘ，ｙに配置された画素Ｐ_ｘｙによって検知された光度の増大（＋１）又は減少（−１）を表す。

そのような情報を、カメラの画素の各々からの受信した光度についての情報の後処理によって生成させることができ、それは、カメラに接続したデジタル処理カードに埋め込まれ、又はカメラそれ自体若しくはカメラがリンクしたコンピュータに埋め込まれる。

通常そのようなカメラによって生成されるとともに既知の方法の３Ｄ再構成で用いられる行列情報

は、本発明によれば、行列情報

に置き換えられる。

そのような行列情報は、行列情報のデータが簡単に１オクテットに含められるので明らかに通常の画像よりも記憶空間を消費しない。

しかしながら、本発明の特に好適な態様によれば、情報を行列形式で送信するのではなく、イベントＥ_ｉの非同期ストリームを送信することができ、各イベントを、
量ｅが変化した値を有する画素の識別を可能にするデータ、この場合、対応する画素Ｐ_ｘｙの座標ｘ，ｙと、
値の変化の瞬時と、
画素によって検知された信号の変化の指標、この場合、この変化の際に量ｅによって到達した値（−１；１）を取り出すこと（以後、イベントの値）と、
によって識別することができる。

この非同期ストリームを以下の表記法

によって表すことができ、この場合、Ｅ_１＝［ｘ_１，ｙ_１，ｔ_１，ｅ_１］は、最初のイベントであり、この場合、Ｅ_ｎ＝［ｘ_ｎ，ｙ_ｎ，ｔ_ｎ，ｅ_ｎ］は、ｎ番目のイベントである。

この非同期ストリームは、ここでは、カメラデータの後処理を行う電子カードによって生成される。各イベントの識別情報は、小さい記憶容量であり、連続的に送信することができる。これらの情報は、当然、イベントＥが実際に生成された場合にのみ送信され、これによって、必要な出力が著しく減少する。イベントが存在しない場合（例えば、固定されたシーン又は固定されたカメラ）、何も送信されない。したがって、非同期信号が作成され、非同期信号を、単純なシリアルリンクによって送信することができるが、後に説明するように、非同期信号は、シーンの３Ｄ再構成を行うことができるのに十分な情報を有する。

このために、非常に簡単な整合方法が、二つのセンサＣ１，Ｃ２によって生成したイベントに基づいて本発明によって実現され、そのカメラは、同一シーンを撮像する。この整合の原理は、二つのカメラによって生成したイベントがシーンの同一のパターン又はポイントに関連する可能性が非常に高いという仮説を置くことからなる。この場合、左側センサ及び右側センサによって生成した二つの時間的に近接するイベントを整合するという試みが行われる。このようにして、空間的及び時間的な整合が行われる。

しかしながら、所定の瞬時において、例えばシーンの動きに起因する光度の変化が、両方のカメラのしかじかの画素に影響を及ぼし、適用可能である場合には、センサの各々に対するイベントを生成する場合、これらのイベントの発生の瞬時が互いに正確に一致する可能性が非常に低い。先ず、カメラは、応答及びイベントの生成に対するレイテンシータイムを示し、それも、画素の各々に対して変化する。次に、情報の生成及びその送信における遅延が生じるおそれがある。したがって、両方のカメラによって生成されたイベントの正確な時間的な一致だけに基づくイベントの整合は危険となり得る。

しかしながら、左側カメラによって生成したイベントＥ_１（左側イベント又はソースイベントと称し、それに対応する画素Ｐ_１が図１で見られる。）に対して、右側カメラによって生成されたイベントのセット（ここでは、イベントＥ_２，Ｅ_２’，Ｅ_２”）（左側イベントと称し、それに対応する画素Ｐ_２，Ｐ_２’Ｐ_２”を見ることができる）を選択することができ、それは、図２に示すように左側イベント発生の瞬時の周辺の所定の時間窓ΔＴで生じた。したがって、ソースイベントに時間的に近接する一つ以上の右側イベントが選択される。明らかに、時間窓が小さくなるに従って、そのように決定されたセットが含む右側イベントが少なくなる。

この予備選択によって、少数の右側イベントのみを保持することができ、そのうちの一つは、左側イベントに整合される。適用可能である場合、単一の右側イベントが選択される。この場合、所望される整合が実行される。そうでない場合、考慮する左側イベントに対応するもののみを保持するために右側イベントをフィルタ処理することが重要である。このために、以下の選別手順の少なくとも一つが適用される。
選択した右側イベントの各々に対して、対応する画素と右側カメラの焦点面のエピポーラ線Ｌ_１との間の距離を算出し、それは、左側イベントにリンクした画素Ｐ_１に対応する。したがって、このように決定した距離が所定の制限Ｄより上である右側イベントの全てが除外される。好適には、考慮する距離はユークリッド距離である。
左側イベントと同一の値を有しない選択した右側イベントの全てを除外する。したがって、左側イベントが光度の増大に対応する場合、光度の増大に対応する右側イベントのみを保持する。
一意性の原理の適用に従って、既に整合が行われた選択した右側イベントの全てを除外する。

好適には、選別手順を、一つの右側イベントが保持されるまで表示した順番に適用する。これらの選択手順及び分類手順は、記憶容量及び演算時間をほとんど消費せず、したがって、選択手順及び分類手順を、理想的な手段、例えば、単純なパーソナルコンピュータによって容易に実現することができる。

したがって、二つのイベントの整合によって、二つの対応する画素の整合及びこれら二つの画素を整合する必要がある瞬時を決定することができる。この場合、通常の三角測量によって、このように整合された二つの画素によって見られたシーンのポイントの位置を決定することができる。

特に好適な実施の形態によれば、図３に示すように、同一のシーンを観察するために少なくとも三つのセンサが用いられる。以下の説明は、三つのセンサＣ_１，Ｃ_２，Ｃ_３の使用に関連するが、四つ以上のセンサに対して容易に一般化される。

少なくとも三つのセンサを使用することによって、イベントの細かい区別を可能にする。このために、センサの各対にリンクする基本行列Ｆ_ＡＢ，Ｆ_ＡＣ，Ｆ_ＢＣを知る必要がある。

上述したように、時間的な選択の実現によって、センサの各々によって生成される所定の数のイベントを保持するとともにシーンの同一ポイントに対応する可能性を高くすることができる。

例えば、ここでは、Ｃ_１の面の画素Ｐ_１のイベントＥ_１に対して、各画素Ｐ_２，Ｐ_２’，Ｐ_２”のイベントＥ_２，Ｅ_２’，Ｅ_２”を、Ｃ_２の面において選択し、各画素Ｐ_３，Ｐ_３’，Ｐ_３”のイベントＥ_３，Ｅ_３’，Ｅ_３”を、Ｃ_３の面において選択した。

イベントＥ_２，Ｅ_２’，Ｅ_２”及びイベントＥ_３，Ｅ_３’，Ｅ_３”のいずれがイベントＥ_１に対応するかを決定するために、基本行列を用いてＣ_１の面のこれらのイベントの各々に対応するエピポーラ線をＣ_１の面で決定すれば十分である。この場合、イベントに対応する画素Ｐ_１は、二つのイベント（ここでは、画素Ｐ_２のイベントＥ_２及び画素Ｐ_３のイベントＥ_３）によって生成された二つのエピポーラ線（ここでは、ラインＬ_１２及びＬ_１３）の交点にある。

Ｃ_２の面におけるイベントＥ_１及びイベントＥ_３によって生成したエピポーラ線Ｌ_２３とエピポーラ線Ｌ_２１との交点に画素Ｐ_２があること、及び、Ｃ_３の面におけるイベントＥ_１及びイベントＥ_２によって生成したエピポーラ線Ｌ_３１とエピポーラ線Ｌ_３２との交点に画素Ｐ_３があることが、相互に観察される。この特性によって、時間的に選択したイベントのいずれを整合する必要があるかを非常に迅速に決定することができる。

当然、本発明は、上述したものに限定されるものではなく、特許請求の範囲によって規定した範囲内にある任意の変更を包含する。

整合手順を実現するために、これらの上述した選別手順を、表示した順番又は他の順番で適用することができる。当然、時間的に近接するイベントが互いに整合される限りは、他の選別を実行することができる。

当然、通常のカメラ以外のセンサを用いることができ、その信号は、画素によって受信した光度の変化に関連するイベントを供給するために処理される。例えば、文献“Ａ １２８ｘ１２８ １２０ ｄＢ １５μｓ ｌａｔｅｎｃｙ ａｓｙｎｃｈｒｏｎｏｕｓ ｔｅｍｐｏｒａｌ ｃｏｎｔｒａｓｔ ｖｉｓｉｏｎ ｓｅｎｓｏｒ”， Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ， Ｃ．Ｐｏｓｓｈ， Ｔ．Ｄｅｌｂｒｕｃｋ， ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ， Ｖｏｌ．４３， Ｎｏ２， Ｆｅｂｒｕｒａｒｙ ２００８に記載したようなセンサを用いることができる。このタイプのセンサは、イベントを生成するために独立して連続的に光度の相対変化を定量化する受信器を有する。センサは、意図的にイベントの非同期ストリームを供給し、本発明の方法に完全に適合される。

上述した例において、センサの受信器によって検知された信号が光度であるが、当然、例えば、赤外線放射、音波強度、レーダー反射波等のようなシーンから生じる他の信号に応答するセンサを用いることができる。

基本受信器によって検知された信号の変化を、ここでは基本的な方法で定量化（信号の増加に対する第１の値及び信号の減少に対する第２の値）しているが、当然、これらの変化を、例えば、グレーレベル若しくはカラーレベルによって又は光度のレベルによって、イベントの指標の記憶容量を少し増大するだけで精巧な方法で定量化することができる。

当然、基本受信器を、センサを協働して形成するために配置された本物の受信器とすることができ、その視野は、基本受信器が存在する場合と同数の画素を含む。しかしながら、基本受信器を、受信した信号の物理的な特性の変化をそれぞれ検出する、前記信号に応答するセンサの表面の基本領域を計算的に分離するとともに、個別の領域が存在する場合と同数の信号を生成することによって、事実上作成することができる。特に、受信器のセットが同一のセンサを形成する場合、これらは、必ずしも平面でない任意の形状を仮定することができる。例えば、受信器のセットを球に配置することができる。そのような配置において、他のセンサによって検知されたイベントに関連したエピポーラ線は、一般的には測地線の形状をとる。

当然、本発明の方法は、固定センサをゆする移動シーン及び移動センサ、例えば、振動センサを有する固定シーンに適用される。

最後に、本発明の方法を、三つ以上の非同期センサの使用に対して即座に一般化することができる。

Claims (8)

1. 個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサ（Ｃ_１，Ｃ_２ ）であって、前記センサは、前記シーンから生じる前記基本受信器によって受信した信号の物理的な特性に応答し、前記センサは、所定の時間に前記基本受信器の一つによって受信した信号の変化をそれぞれ表すイベント（Ｅ _ｉ ）の非同期ストリームを生成するようにそれぞれが適合された少なくとも二つのセンサと、
   前記センサによって生成された信号を用いる前記センサの各々の前記基本受信器の整合を行うステップであって、前記整合は、前記センサの各々の前記基本受信器によって生成されたイベントを前記シーンの所定の要素に対して関連させることからなるステップと、二つの関連したイベントを生成した二つの前記基本受信器によって見られた要素に対応するシーンのポイントを、シーンの３Ｄ再構成に含めるために三角測量によって見つけるステップと、を含む３Ｄアルゴリズムと、
   を用いるシーンの３Ｄ再構成の方法において、
   前記整合を行うステップは、
   前記センサの一方によって生成された所定のソースイベントに対する、他方のセンサによって生成されるとともに前記ソースイベントの周辺の所定の時間窓（ΔＴ）で生じた一つ以上のイベントを保持することによって時間的に近接するイベントの予備選択を行うことと、
   前記予備選択が、前記他方のセンサによって生成された複数のイベントを保持する場合、分類手順を適用することによって前記ソースイベントに対応するイベントのみを保持するために前記イベントをフィルタ処理することと、
   を含むことを特徴とする方法。
2. 各イベントは、
   生成したイベントを有する前記基本受信器を識別することができるデータと、
   前記基本受信器によって検知されるとともに前記基本受信器によって受信した信号が増大した場合の第１の値及び前記基本受信器によって受信した信号が減少した場合の第２の値を少なくともとる、前記信号の変化の標識と、
   前記信号の変化の発生の瞬時と、
   を備える請求項１に記載の方法。
3. 前記センサは焦点面を有し、前記分類手順は、
   選択したイベントの各々に対して、前記選択したイベントを有する前記基本受信器に対応する前記第２のセンサの焦点面のポイントと前記生成されたソースイベントを有する前記第１のセンサの前記基本受信器に関連する前記焦点面のエピポーラ線との間の距離を算出することと、
   そのように決定した距離が所定の制限（Ｄ）より上である前記選択したイベントの全てを除外することと、
   を含む請求項２に記載の方法。
4. 前記分類手順は、標識が前記ソースイベントと同一の値を有しない前記選択したイベントの全てを除外することを含む請求項２に記載の方法。
5. 前記分類手順は、整合が既に行われた前記選択したイベントの全てを除外することを含む請求項２に記載の方法。
6. 少なくとも三つの非同期センサ（Ｃ_１，Ｃ_２，Ｃ_３）を実現し、時間的な選択後、センサの各々によって生成されたイベントを保持し、保持されたイベントの各々が、対応する焦点面における他の保持されたイベントによって生成されたエピポーラ線の交点で見つけられる請求項１に記載の方法。
7. 前記センサは、前記非同期ストリームを生成するように適合された後処理と組み合わせられるＣＣＤ又はＣＭＯＳ型のカメラを備える請求項１に記載の方法。
8. 前記センサは、イベントの非同期ストリームを供給するようイベントを生成するために光度の相対変化を独立して連続的に定量化する受信器を含むタイプのものとする請求項１に記載の方法。

Images