JP6226876B2 - 非同期光センサに基づいてオプティカルフローを推定する方法 - Google Patents

Description

本発明は、撮像技法におけるオプティカルフローを推定する方法に関する。

オプティカルフローは、時間の経過に伴って変動する一連の画像における動きの近似である。オプティカルフローに関する最初の研究は、テレビジョンの分野の技術者、および、生物学的視覚のモデル化に関心のある人々によって行われた。それ以来、これらの技法は、コンピュータビジョンおよびロボットナビゲーションを含めた幅広い学問分野で、その位置を見出してきた。特に、これらの技法を使用して、動き検出、オブジェクトセグメンテーション、衝突時間の計算、動き補償符号化などが実施される。

オプティカルフローは、雑音の影響を受けてしまうことで有名な視覚的測定である。オプティカルフローは現在、画像シーケンス内の速度マップとして表現される。しかし、そのようなマップを推定することは、不明確な問題、すなわち、等式の数に関係して過多な未知数を含むこと、を解決することを前提とする。結果として、フローベクトルを推定するには、追加の仮定および制約を適用しなければならない。しかし、これらの仮定および制約は、常に有効であるとは限らない。さらに、フィルタリングされていない自然画像シーケンス中に確率的雑音が存在するのが不可避であることにより、モバイルロボットの制御ループにおいてオプティカルフローを使用することに関係する様々な困難が生じる。

オプティカルフロー技法は、次のような４つのカテゴリに分けることができる（参考：非特許文献１）。
- エネルギーベースの方法は、フーリエドメインで定義される速度適応フィルタの出力に従ってオプティカルフローを表現する。
- 位相ベースの方法は、帯域通過フィルタ出力に関して画像速度を推定する。
- 相関ベースの方法は、時間的に隣接する画像中の小さい空間的近傍間で最良マッチを探す。
- 差分または勾配ベースの方法は、画像光度の時空的導関数、および一定照度の仮定を使用する。

オプティカルフロー技法の設計、比較、および適用に関して行われる研究の大部分は、相関ベースまたは勾配ベースの手法に集中する。しかし、これらの方法は全て、実行の遅さを本質的に被り、したがってこれらの方法は、いくつかの適用例に存在する可能性のあるリアルタイム実行の制約にうまく適応しない。

別の動き検出解決法は、ＥＭＤ(Elementary Motion Detector)と呼ばれる視覚センサに依拠する。ＥＭＤは、昆虫の想定される視覚メカニズムを再現する動き検出モデルに基づく。隣接する２つの受光素子を使用して画像信号が供給され、次いで画像信号は、一列の時間ベースのハイパスフィルタおよびローパスフィルタに供給される。ハイパスフィルタは、どんな動き情報も搬送しない、照明の連続的成分を除去する。次いで信号は２つのチャネル間で細分されるが、これらのチャネルのうちの一方のみがローパスフィルタを含む。ローパスフィルタによって適用される遅延を利用して、遅延された画像信号が供給され、次いでこの遅延された画像信号は、隣接する遅延されないチャネルの画像信号と相関される。最後に、２つのチャネル間の減算が、動きの方向に対する感度を有する応答を供給する。したがって、この応答を利用して視覚的な動きを測定することができる。ＥＭＤによる動き検出は、画像コントラストに影響されやすく、高いコントラストがあるとき、検出される動きの振幅はより大きい。このことは、視覚的な動きの測定の精度を妨げる。この精度欠如のせいで、ＥＭＤは、一般的なナビゲーション適用例には適さず、特に、精細な動き制御を必要とする作業には適さない。

事前定義済みのサンプリング瞬間で連続的な画像を記録する従来のカメラとは異なり、生物学的な網膜は、視覚化されることになる場面に関する少量の冗長情報を伝達するだけであり、これを非同期的な方式で行う。イベントベースの非同期視覚センサは、イベントの形で圧縮ディジタルデータを送達する。このようなセンサの一般的な説明については、非特許文献２を参照することができる。イベントベースの視覚センサは、従来のカメラと比較して、冗長性をなくし、レイテンシ時間を短縮し、ダイナミックレンジを増大させるという利点を有する。

このような視覚センサの出力は、各画素アドレスにつき、非同期イベントが生じる瞬間の場面反射率の変化を表す一連の非同期イベントからなるものとすることができる。センサの各画素は独立しており、各画素は、最後のイベントの射出以降の、しきい値よりも高い光度の変化を検出する（例えば、光度の対数に対する１５％のコントラスト）。光度変化が固定しきい値を超えるとき、光度が増加しているか減少しているかに従って、オンまたはオフイベントが画素によって生成される。センサは従来のカメラのようにクロックでサンプリングされないので、非常に高い時間的精度（例えば約１マイクロ秒）でイベントのシーケンシングを考慮に入れることができる。このようなセンサを使用して画像シーケンスが再構築される場合、従来のカメラの場合の数十ヘルツとは対照的に、数キロヘルツの画像レートを達成することができる。

イベントベースの視覚センサに有望な見込みがあるとしても、今日に至るまで、このようなセンサによって送達される信号に基づいてオプティカルフローを決定することにうまく適合された実際的な方法は存在しない。「非特許文献３で、Ｔ．Ｄｅｌｂｒｕｃｋは、検出されたイベントに追加の重要性(輪郭配向や動き方向など)を与えるための「ラベラ(labeler)」の使用を提案している。しかし、オプティカルフローの推定を構想するのを可能にするかもしれないどんな情報も供給されない。

２０１２年３月に非特許文献４において、Ｒ．Ｂｅｎｏｓｍａｎ他は、非同期センサによって検出されたイベントに基づくオプティカルフローの推定について述べている。使用されるアルゴリズムは、勾配ベースであり、連立方程式を解くことに依拠する。この連立方程式では、座標(ｘ，ｙ)の所与の画素における空間的勾配が、この画素(ｘ，ｙ)で発生したイベントと、同じ瞬間に座標(ｘ−１，ｙ)および(ｘ，ｙ−１)の画素で発生したイベントとの間の差によって、推定される。

米国特許出願公開第２００８／０１３５７３１（Ａ１）号

Ｊ．Ｌ．Ｂａｒｒｏｎ他、「Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｔｅｃｈｎｉｑｕｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．１２、Ｎｏ．１、４３〜７７頁 「Ａｃｔｉｖｉｔｙ−Ｄｒｉｖｅｎ， Ｅｖｅｎｔ−Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒｓ」、Ｔ．Ｄｅｌｂｒｕｃｋ他、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＳＣＡＳ）、２４２６〜２４２９頁 「Ｆｒａｍｅ−ｆｒｅｅ ｄｙｎａｍｉｃ ｄｉｇｉｔａｌ ｖｉｓｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｅｃｕｒｅ−Ｌｉｆｅ Ｅｌｅｃｔｒｏｎｉｃｓ、Ａｄｖａｎｃｅｄ Ｅｌｅｃｔｒｏｎｉｃｓ ｆｏｒ Ｑｕａｌｉｔｙ Ｌｉｆｅ ａｎｄ Ｓｏｃｉｅｔｙ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｏｋｙｏ、２００８年３月６〜７日、２１〜２６頁 ２０１２年３月に「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」ｐｅｒｉｏｄｉｃａｌ、Ｖｏｌ．２７、３２〜３７頁に掲載された記事「Ａｓｙｎｃｈｒｏｎｏｕｓ ｆｒａｍｅｌｅｓｓ ｅｖｅｎｔ−ｂａｓｅｄ ｏｐｔｉｃａｌ ｆｌｏｗ」 「Ａ １２８×１２８ １２０ｄＢ １５μｓ Ｌａｔｅｎｃｙ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｅｍｐｏｒａｌ Ｃｏｎｔｒａｓｔ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ」、Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ他、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ、Ｖｏｌ．４３、Ｎｏ．２、２００８年２月、５６６〜５７６頁

推定を、従来のカメラの場合の知られている慣例よりも高速化するのを可能にする、オプティカルフローを推定する方法が必要とされている。また、オプティカルフローの利用に依拠して開発された様々な技法および適用例を使用できるために、イベントベースの視覚センサによって出力された信号に基づいてオプティカルフローを推定する方法も必要とされている。

オプティカルフローを推定する方法を提案する。この方法は、
- 場面に面して配列された画素行列を有する光センサから生じる非同期情報を受け取ることであって、非同期情報が、行列の各画素につき、この画素を源とし場面中の変光に応じた連続的なイベントを含むこと、
- 画素行列中の推定場所および推定時間について、推定場所の空間的近傍にある画素を源とし、推定時間に対して定義される時間区間で発生したイベントのセットを選択することであって、セットが、空間的近傍の画素ごとに、多くても1つのイベントを有すること、および、
- 選択されたセットのイベントの発生時間の変動を、行列中での、これらのイベントが源とする画素の位置の関数として量子化することを含む。

この方法は、所与の画素位置における最新のイベントの発生時間が単調増加関数であることを利用する。この関数は、様々な画素位置についての面を定義するが、この面の局所変動は、センサが場面を見るときの場面中の速度場に関する情報を提供する。これらの変動の量子化は、非常に素早く実施することができ、遅延は、センサの画素の応答時間程度、例えばミリ秒程度またはそれ未満である。

この方法の一実施形態では、選択されたセットのイベントの発生時間の変動を、これらのイベントが源とする画素の位置の関数として量子化することは、選択されたセットのイベントが空間-時間表現において推定場所の周りで呈する傾斜を推定することを含む。選択されたイベントセットは、いくらかの雑音効果を減衰させるために、あらかじめ空間-時間表現において平滑化操作を施されていてもよい。

画素行列が2次元であるときは、選択されたセットのイベントの発生時間の変動を画素の位置の関数として量子化する方法の1つは、空間-時間表現において、選択されたセットのイベントに対する最小距離を呈する平面を決定することを含む。画素行列が1次元である場合は、空間-時間表現において決定されることになるのは、平面ではなく直線である。

行列の画素によって検出されるイベントの空間-時間分析を強化するために、可能性の1つは、選択されたセットのイベントが空間-時間表現において推定場所の周りで呈する2次導関数を推定することを、変動の量子化に含めることである。

一実施形態では、行列の各画素につき、この画素を源とする一番最近のイベントの発生時間が記憶される。この場合、推定場所および推定時間についてイベントのセットを選択することは、推定時間に対して定義された時間区間中にあり推定場所の空間的近傍の画素について記憶された発生時間を有する各イベントを、このセットに含めることを含んでよい。このタイプの方法により、単純かつ高速にこの方法を実施することができる。

一実施形態では、イベントのセットを選択するステップ、および発生時間の変動を量子化するステップは、イベントが検出される画素の位置を推定場所とし、このイベントの検出の瞬間を推定時間とすることによって、実行される。したがって、アクティビティが観察される画素行列の関連領域におけるオプティカルフローの、非常に高速な推定に到達することが可能である。

特に、イベントのセットを選択することは、行列の画素を源とするイベントの検出に応答して、検出の瞬間に実施することができる。雑音のみをおそらく表すイベントをフィルタにかけて除外するために、次いで、しきい値を超えるいくつかのイベントをイベントのセットが含むという条件で、発生時間の変動の量子化に進んで動き情報を更新することができる。

本発明の別の態様は、オプティカルフローを推定するためのデバイスに関し、このデバイスは、
− 場面に面して配列される画素行列を有し、非同期情報を送達するように適合された光センサであって、非同期情報が、行列の各画素につき、この画素を源とし場面中の変光に応じた連続的なイベントを含む、光センサと、
− コンピュータと、を備え、コンピュータは、画素行列中の推定場所および推定時間について、
＊ 推定場所の空間的近傍に含まれる画素を源とし、推定時間に対して定義される時間区間で発生したイベントのセットを選択するステップであって、セットが、空間的近傍の画素ごとに、多くても１つのイベントを有するステップと、
＊ 選択されたセットのイベントの発生時間の変動を、行列中での、これらのイベントが源とする画素の位置の関数として量子化するステップとを実行する。

本発明の他の特徴および利点は、添付の図面に関連して、非限定的な例示的実施形態に関する以下の記述において明らかになるであろう。

本発明の実装形態に適合された、オプティカルフローを推定するためのデバイスのブロック図である。 非同期センサの画素のレベルにおける光度プロファイルの例を示す図である。 図２Ａの光度プロファイルに応答して非同期センサによって出力される信号の例を示す図である。 図２Ｂの信号から光度プロファイルを再構築することを示す図である。 本方法の別の例示的な実施形態で使用できる集光モードを示す、図２Ａ〜図２Ｂに類似する図である。 本方法の別の例示的な実施形態で使用できる集光モードを示す、図２Ａ〜図２Ｂに類似する図である。 オプティカルフローを推定する方法の一実施形態を示す図である。 回転する棒を含む場面に面して配置された非同期センサによって生成されるイベントを示す図である。 オプティカルフローを推定する方法の別の一実施形態を示す図である。

図１に表す、オプティカルフローを推定するためのデバイスは、イベントベースの非同期視覚センサ１０を備える。センサ１０は場面に面して配置され、センサ１０は、１つまたは複数のレンズを備える集光光学部品１５を介して、場面から光束を受け取る。センサ１０は、集光光学部品１５の画像平面に配置される。センサ１０は、画素行列に編成された感光性要素のアレイを備える。感光性要素に対応する各画素は、場面中の変光に応じて、連続的なイベントを生成する。

コンピュータ２０は、センサ１０によって出力された非同期情報ｆ、すなわち、様々な画素から非同期的に受け取られたイベントのシーケンスを処理して、この情報から、場面中で観察されたオプティカルフローに関する情報Ｖを抽出する。コンピュータ２０は、ディジタル信号に対して作用する。コンピュータ２０は、適切なプロセッサをプログラムすることによって実現されてよい。特殊化された論理回路（ＡＳＩＣ、ＦＰＧＡなど）を使用して、コンピュータ２０をハードウェアによって実現することもまた可能である。

行列の各画素につき、センサ１０は、センサの視野に現れる場面中で画素によって感知された変光に基づいて、イベントベースの非同期信号シーケンスを生成する。このような非同期の感光性センサは、場合によっては、網膜の生理反応に近づくことを可能にする。この場合、このようなセンサは、ＤＶＳ（ダイナミックビジョンセンサ）という頭字語で知られる。

この非同期センサによる獲得の原理を、図２Ａ〜図２Ｃによって示す。情報は、アクティブ化しきい値Ｑに到達する連続した時間ｔ_ｋ（ｋ＝０，１，２，．．．）である。図２Ａには、ＤＶＳの行列の画素によって見られる光度プロファイルＰ１の例を示す。この光度が、時間ｔ_ｋにおける光度からアクティブ化しきい値Ｑに等しい量だけ増加するたびに、新しい瞬間ｔ_ｋ＋１が識別され、正のスパイク（図２Ｂのレベル＋１）がこの瞬間ｔ_ｋ＋１に射出される。対称的に、画素の光度が時間ｔ_ｋ’における光度から量Ｑだけ減少するたびに、新しい瞬間ｔ_ｋ’＋１が識別され、負のスパイク（図２Ｂのレベル−１）がこの瞬間ｔ_ｋ’＋１に射出される。この場合、画素についての非同期信号シーケンスは、画素の発光プロファイルに応じた、時間における瞬間ｔ_ｋに位置する連続した正または負のパルスまたはスパイクである。これらのスパイクは、正または負のディラックピークによって数学的に表すことができ、各スパイクは、射出の瞬間ｔ_ｋおよび符号ビットによって特徴付けられる。したがって、ＤＶＳ１０の出力は、アドレスイベント表現（ＡＥＲ）の形である。図２Ｃには、図２Ｂの非同期信号を時間の経過に伴って積算することによってプロファイルＰ１の近似として再構築できる光度プロファイルＰ２を示す。

アクティブ化しきい値Ｑは、図２Ａ〜図２Ｃの場合のように固定であってもよく、または、図３Ａ〜図３Ｂの場合のように、光度の関数として適応的であってもよい。例えば、しきい値±Ｑは、±１イベントの生成のために光度の対数の変動と比較することができる。

例として、ＤＶＳ１０は、非特許文献５、または、特許文献１に記載されている種類のものとすることができる。このタイプのＤＶＳを使用して、数ミリ秒程度の、網膜のダイナミック（活動電位間の最小継続時間）を、適切に再現することができる。このダイナミック性能は、どんな場合でも、従来のビデオカメラを使用して現実的なサンプリング周波数で到達できるよりも、おおかた高い。

画素についてＤＶＳ１０によって送達される、コンピュータ２０の入力信号を構成する非同期信号の形状は、連続したディラックピークとは異なる可能性があることに留意されたい。このイベントベースの非同期信号中では、表されるイベントは、任意の種類の時間幅または振幅または波形を有することができる。

ここで提案する方法は、他のタイプのＤＶＳにも適用可能であり、また、網膜の挙動を必ずしも再現しようとすることなくアドレスイベント表現に従って出力信号が生成されるような光センサにも、適用可能であることに留意されたい。

図４に、１次元非同期センサ２０、すなわち画素の行からなるセンサを、ごく概略的に示す。センサ２０の正面で、物体２５が速度ｖで移動する。物体２５の前縁部が画素の正面に到着すると、この画素中でオンイベント（図４では「＋」の印が付いている）が生成され、物体２５の後縁部が画素の正面を通過すると、オフイベント（図４では「−」の印が付いている）が生成されるものとする。推定場所ｐおよび推定時間ｔでセンサ１０によって見られるオプティカルフローを考える。これに関して、推定場所ｐの空間的近傍π_ｐ、ならびに、推定時間ｔに対して定義される時間区間θを考えることができる。図４に表す場合では、近傍π_ｐは、π_ｐ＝[ｐ−Ｒ，ｐ＋Ｒ]の形であり、時間区間θは、推定時間で終わる事前定義済み継続時間Ｔの期間、すなわちθ＝[ｔ−Ｔ，ｔ]である。

図４にはまた、センサ１０の画素から受け取られた、時間区間θで空間的近傍π_ｐを源とするイベントのセットＳ_ｐ，ｔを示す。図４の下部に位置するグラフの空間−時間表現において、セットＳ_ｐ，ｔのイベントが整列しているのがわかる。これらのイベントを通る直線の傾斜は、センサ１０のいくつかの画素によって見られた物体２５の前縁部の速度ｖを示す。この速度ｖはまた、時間区間θ中の物体２５の後縁部の通過を見たセンサの他のポイントでも見出される。これは具体的には、センサ１０の画素から受け取られた、時間区間θで別の推定場所ｐ’の空間的近傍π_ｐ’を源とするセットＳ_ｐ’，ｔのイベントの傾斜である。

実際には、センサ１０の画素によって送られるオンまたはオフイベントは、図４の理想化された図式に表される時間的規則性を有さない。反対に、イベントの発生時間は、比較的無秩序な挙動を有する。これは、センサの感光性要素の内部の電子状態が完全に予測可能というわけではないこと、ならびに獲得雑音のせいである。したがって、セットＳ_ｐ，ｔのイベントは通常、直線の周りに分散し、この直線の傾斜が、ポイント(ｐ，ｔ)におけるオプティカルフローを表す。このことは、空間−時間表現においてセットＳ_ｐ，ｔのイベントが呈する傾斜の推定を妨げない。可能性の１つは、最小自乗の意味でセットＳ_ｐ，ｔのポイントに最もよく適合する直線を決定することであり、適用可能なら、推定場所ｐに最も近い画素位置は、より重く重み付けされる。次いで、この直線の傾斜を決定することができ、次いで反転して、センサ１０の視野における速度の推定値を供給することができる。

傾斜はまた、セットＳ_ｐ,ｔのイベントの発生時間を空間微分カーネルと畳み込むことによって、素早く推定することもできる。このような場合、畳込みカーネルの前に、空間−時間表現において平滑化操作をイベントのセットＳ_ｐ,ｔに適用することによって、雑音の影響を減衰させることが望ましい可能性がある。平滑化は、とりわけ、メジアンフィルタを適用することによって実施することができる。

撮像適用例では、センサ１０の画素行列は、１次元よりも２次元であることの方が多い。この場合、画素を源とするオンまたはオフイベントを配置できる空間−時間表現は、図５に提示するような３次元の表現である。同図では、各ポイントは、ボックスＡ中に図式化されるような一定の角速度の回転する棒の動きによって、センサの位置

の画素において瞬間ｔで非同期的に生成されたイベントを示す。これらのポイントの大半は、一般的ならせん形状の面に近接して分散する。しかし、前述の無秩序な挙動があるので、これらのポイントは、この面上に正確に整列することはない。さらに、同図は、測定されるが棒の実際の動きに対応しない、らせん面から離れたいくつかのイベントも示す。これらのイベントは、獲得雑音である。

より一般的には、センサ１０の視野に１つまたは複数の物体の動きが存在する場合、イベントが３次元表現(ｘ，ｙ，ｔ)において現れ、我々は、この動きに対応するオプティカルフローを探す。

場所

に位置する画素において時間ｔで発生するイベントを、ｅ(ｐ，ｔ)として表す。ｅ(ｐ，ｔ)の値は、イベントのオン（コントラストの正変化）またはオフ（コントラストの負変化）極性に従って、＋１または−１である。この場合もやはり、画素ｐの空間的近傍π_ｐ、すなわちπ_ｐ＝{ｐ′／||ｐ′−ｐ||≦Ｒ}、および時間区間θ＝[ｔ−Ｔ，ｔ]を定義することができ、各画素につき一番最近のイベントのみを保持する（区間θ中にイベントがある場合）ことによって、時間区間θで近傍π_ｐ中の画素を源とするイベントを考えることができる。このようにして、イベントのセットＳ_ｐ，ｔが構築され、これは、イベントの空間−時間表現における、面Σ_ｅの体積π_ｐ×θ内にある部分と見なすことができる。

行列の各画素ｐにつき、最後に観察されたイベントの発生時間が記憶される。次いで、各位置ｐにおける一番最近のイベントの発生時間Σ_ｅ(ｐ)をこの位置に割り振る関数を定義することが可能である。面Σ_ｅは、３次元空間におけるこの関数の表現である。これは、時間の関数として上昇している面である。この面Σ_ｅの、画素行列の平面における射影が空間的近傍π_ｐの外にあるポイント、および時間軸上の射影が区間θの外にあるポイントは、イベントのセットＳ_ｐ，ｔを選択するときに除去される。

次いで、コンピュータ２０は、２つの空間パラメータｘおよびｙに関して、ポイントｅ(ｐ，ｔ)における面Σ_ｅの偏導関数、すなわち

および

を推定する。これらの偏導関数は、Ｓ_ｐ，ｔのイベントが推定場所の周りで呈する傾斜を示す。ｅ(ｐ，ｔ)の周りでは、すなわちＳ_ｐ，ｔが表す面部分では、Σ_ｅは、以下のように書くことができる。
Σ_ｅ(ｐ＋Δｐ)＝Σ_ｅ(ｐ)＋∇Σ_ｅ．Δｐ＋ｏ(||Δｐ||)
上式で、

である。

Σ_ｅの偏導関数は、単一の変数ｘまたはｙの関数である。時間は狭義増加関数なので、Σ_ｅは、各ポイントにおける非ゼロ導関数の面である。次いで、逆関数定理を使用して、位置

の周りで以下のように書くことができる。

上式で、Σ_ｅ|ｘ＝ｘ_０およびΣ_ｅ|ｙ＝ｙ_０は、それぞれ、ｘ_０においてｘに制限され、ｙ_０においてｙに制限されるΣ_ｅである。次いで、勾配▽Σ_ｅを、▽Σ_ｅ＝(１／ｖ_ｘ， １／ｖ_ｙ)と書くことができ、これは、時間に応じた、イベントの画素速度ｖ_ｘ、ｖ_ｙの逆数を与える。

前述の場合と同様にして、イベントの発生時間の変動の量子化は、空間−時間表現において、最小自乗の意味でセットＳ_ｐ，ｔのイベントに対して最小距離を有する平面を決定することを含んでよい。勾配▽Σ_ｅの成分はまた、適用可能なら平滑化操作の後で、ｘおよびｙにわたる微分カーネルとの畳込みによって推定することもできる。

オプティカルフローの情報を完全なものにするために、コンピュータ２０はさらに、ポイントｅ(ｐ，ｔ)の周りで２次導関数Σ_ｅの推定を行うことができる。２次導関数に関するこの情報は、センサ１０の視野内で観察可能な加速を反映する。２次導関数

および

は、面Σ_ｅの局所曲率を表し、これは、イベントの見かけ上の頻度の測定値を供給する。曲率が０である場合、イベントは、焦点面で、固定レートで発生する。曲率の増加または減少は、場面中でイベントを生成する縁部の加速に関係する。

前述の例では、所与の推定場所ｐおよび推定時間ｔについて選択されたイベントのセットＳ_ｐ，ｔは、いずれかの極性（オンまたはオフ）のイベントからなる。各画素を源とするオンまたはオフの一番最近のイベントの発生時間が、この画素の位置との関係で記憶され、これにより、行列の画素によって見られた最新のイベントのみをセットＳ_ｐ，ｔに常に含めることが可能になる。Ｓ_ｐ，ｔが、異なる極性のイベントを含むケースも起こり得る。これらのケースは、推定される傾斜において、比較的まれな少数のエラーを引き起こすが、これらは測定値を著しく乱すことはない。

これらのケースの数を削減するために、可能性の１つは、同じ極性のイベントのみをイベントのセットＳ_ｐ，ｔに含めることである。特に、行列の様々な画素に関する２つのテーブルを記憶することが可能であり、一方のテーブルは、一番最近のオンイベントの発生時間を含み、他方のテーブルは、一番最近のオフイベントの発生時間を含む。このような一実施形態では、所与の極性オンまたはオフを有するイベントが時間ｔで位置ｐの画素において受け取られると、発生時間が区間θ＝［ｔ−Ｔ，ｔ］中にあり近傍π_ｐの画素について記憶された、この極性を有する各イベントからなるセットＳ_ｐ，tの構築が引き起こされる。次いでコンピュータは、このように形成されたセットＳ_ｐ，ｔ中で、１次および／または２次導関数の推定を行うことができる。

コンピュータ２０が、所与の画素位置の周りにおけるイベントの発生時間の変動の量子化を実施する瞬間は、この画素上でのイベントの到着に応じて選択することができる。

例えば、検出の瞬間ｔで、行列中の位置ｐの画素を源とするイベントｅ（ｐ，ｔ）を受け取ると、コンピュータ２０は、一番最近のイベントの発生時間が記憶されているテーブルを更新し（テーブルの、位置ｐにおける前の値をｔで置き換えることによって）、次いで、妥当な動き推定を実施できるのに十分な最近のイベントをセットＳ_ｐ，ｔが含むかどうか判定する。こうするために、コンピュータ２０は、時間区間θ内に入る空間的近傍π_ｐ中の画素位置についてテーブルに記憶された発生時間を数えることができる。このように決定された発生時間の数が、事前定義済みしきい値α未満である場合は、発生時間の変動の量子化は実施されず、たった今検出されたイベントは雑音と見なされる。他方、しきい値αを超える場合は、発生時間の変動を量子化するために傾斜推定を実施できるのに十分なｅ（ｐ，ｔ）に近いポイントを面Σ_ｅが含むと推定される。しきい値αは通常、センサが空間的近傍π_ｐ中に含む画素の数に対する割合（例えば１０〜３０％）として定義される。

前述の例示的な実施形態では、オプティカルフロー推定を行うために２つのパラメータＲおよびＴが調整されることになる。これらのパラメータの選択は、センサの物理特性（画素間の間隔、応答時間）と、画像平面における、動きを検出したい物体の寸法および速度の大きさとに依存する。決して限定ではなく例として、空間的近傍は、行列の平面における３〜５個程度の画素の半径Ｒの寸法とすることができ、時間区間θの継続時間Ｔは、５００μｓ〜２ｍｓ程度とすることができる。この選択は、使用されるハードウェア、および適用例に依存する。

前述の例示的な実施形態は、本発明の例証である。添付の特許請求の範囲によって定義される本発明の範囲を逸脱することなく、様々な修正をこれらの実施形態に加えることができる。

１０ イベントベースの非同期視覚センサ、光センサ
１５ 集光光学部品
２０ コンピュータ
ｐ 画素行列中の推定場所
ｔ 推定時間
π_ｐ 推定場所の空間的近傍
θ 推定時間に対して定義される時間区間
Ｓ_ｐ，ｔ イベントのセット
Ｔ 事前定義済み継続時間

Claims (14)

1. オプティカルフローを推定する方法であって、
   − 場面に面して配列された画素行列を有する光センサ（１０）から生じる非同期情報を受け取るステップであって、前記非同期情報が、前記画素行列の各画素につき、前記画素を源とし前記場面中の変光に応じた連続的なイベントを含むステップと、
   − 前記画素行列中の推定場所（ｐ）および推定時間（ｔ）について、前記推定場所の空間的近傍（π_ｐ）にある画素を源とし、前記推定時間に対して定義される時間区間（θ）で発生したイベントのセット（Ｓ_ｐ，ｔ）を選択するステップであって、前記セットが、前記空間的近傍の画素ごとに、多くても１つのイベントを有するステップと、
   − 前記選択されたセットの前記イベントの発生時間の変動を、前記画素行列中での、前記イベントが源とする前記画素の位置の関数として量子化するステップと、
   を含むことを特徴とする方法。
2. 前記変動を量子化する前記ステップが、前記選択されたセット（Ｓ_ｐ，ｔ）の前記イベントが空間−時間表現において前記推定場所の周りで呈する傾斜を推定するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記傾斜を推定する前に、イベントの前記選択されたセット（Ｓ_ｐ，ｔ）に対して空間−時間表現において平滑化操作を実施するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記画素行列が２次元であり、前記変動を量子化する前記ステップが、前記空間−時間表現において、前記選択されたセット（Ｓ_ｐ，ｔ）の前記イベントに対する最小距離を呈する平面を決定するステップを含むことを特徴とする請求項２または３に記載の方法。
5. 前記画素行列が１次元であり、前記変動を量子化する前記ステップが、前記空間−時間表現において、前記選択されたセット（Ｓ_ｐ，ｔ）の前記イベントに対する最小距離を呈する直線を決定するステップを含むことを特徴とする請求項２または３に記載の方法。
6. 前記変動を量子化する前記ステップがさらに、前記選択されたセット（Ｓ_ｐ，ｔ）の前記イベントが前記空間−時間表現において前記推定場所の周りで呈する２次導関数を推定することを含むことを特徴とする請求項２から５のいずれか一項に記載の方法。
7. 前記画素行列の画素を源とする前記イベントがそれぞれ、いくつかの可能な極性のうちの極性を有し、前記推定場所および前記推定時間について選択されたイベントの前記セット（Ｓ_ｐ，ｔ）が、いずれかの極性のイベントからなることを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記画素行列の各画素につき、前記画素を源とする一番最近のイベントの発生時間が記憶され、前記推定場所および前記推定時間についてイベントの前記セット（Ｓ_ｐ，ｔ）を選択する前記ステップが、
   − 前記推定時間に対して定義された前記時間区間中にあり前記推定場所の前記空間的近傍の画素について記憶された発生時間を有する各イベントを、前記セットに含めるステップを含むことを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記画素行列の前記画素を源とする前記イベントがそれぞれ、２つの可能な極性のうちの極性を有し、前記推定場所および前記推定時間について選択されたイベントの前記セット（Ｓ_ｐ，ｔ）が、同じ極性のイベントからなることを特徴とする請求項１から７のいずれか一項に記載の方法。
10. 前記画素行列の各画素および可能な各極性につき、前記画素を源とし前記極性を有する一番最近のイベントの発生時間が記憶され、前記推定場所および前記推定時間についてイベントの前記セット（Ｓ_ｐ，ｔ）を選択する前記ステップが、所与の極性を有するイベントを前記推定場所で受け取るのに続いて、
    − 前記所与の極性を有する各イベントであって、前記推定時間に対して定義された前記時間区間中にあり前記推定場所の前記空間的近傍の画素について記憶された発生時間を有する各イベントを、前記セットに含めるステップを含むことを特徴とする請求項９に記載の方法。
11. 前記時間区間（θ）が、前記推定時間で終わる事前定義済み継続時間（Ｔ）の期間であることを特徴とする請求項１から１０のいずれか一項に記載の方法。
12. イベントのセット（Ｓ_ｐ，ｔ）を選択する前記ステップ、および前記発生時間の前記変動を量子化する前記ステップが、イベントが検出される画素の位置を推定場所とし、前記イベントの検出の瞬間を推定時間とすることによって、実行されることを特徴とする請求項１から１１のいずれか一項に記載の方法。
13. イベントの前記セット（Ｓ_ｐ，ｔ）を選択する前記ステップが、前記画素行列の画素を源とするイベントの検出に応答して検出の瞬間に実施され、しきい値を超えるいくつかのイベントをイベントの前記セットが含むという条件で、前記発生時間の前記変動を量子化する前記ステップが実施されて動き情報が更新されることを特徴とする請求項１２に記載の方法。
14. オプティカルフローを推定するためのデバイスであって、
    − 場面に面して配列される画素行列を有し、非同期情報を出力するように適合された光センサであって、前記非同期情報が、前記画素行列の各画素につき、前記画素を源とし前記場面中の変光に応じた連続的なイベントを含む、光センサと、
    − コンピュータと、
    を備え、前記コンピュータが、前記画素行列中の推定場所および推定時間について、
    ＊ 前記推定場所の空間的近傍に含まれる画素を源とし、前記推定時間に対して定義される時間区間で発生したイベントのセットを選択するステップであって、前記セットが、前記空間的近傍の画素ごとに、多くても１つのイベントを有するステップと、
    ＊ 前記選択されたセットの前記イベントの発生時間の変動を、前記画素行列中での、前記イベントが源とする前記画素の位置の関数として量子化するステップとを実行することを特徴とするデバイス。

Images