JP5782088B2 - 歪みのあるカメラ画像を補正するシステム及び方法 - Google Patents

Description

本発明は、自己運動（ego-motion）に起因するオプティカルフローを算出するための画像処理方法及び光（視覚）センサシステム、特にカメラシステムに関する。特に、本発明は、光センサから与えられる複数画像／画像ストリームからオプティカルフローを決定／算出するよう適合されたセンサシステムを備える乗り物、特に、陸上用、航空用、又は海洋用の乗り物に関する。

本センサシステムは、カメラ（ＣＣＤ、ＣＭＯＳ、．．．）、レーザスキャナ、赤外線センサ等の、少なくとも一つの光センサを備える。この視覚センサは、画像を生成し、これらの画像を処理ユニットへ、例えば画像のストリームとして送信する。本光センサは、例えばステレオカメラとすることができる。

処理ユニットは、画像を処理して、上記少なくとも一つの光センサから与えられた画像から画像情報を引き出す。処理ユニットは、光センサシステムの一部とすることもできるが、センサシステムから離れた位置に置かれるものとすることもできる。例えば、画像ストリームは、カメラベースのストリーム記録システムから処理ユニットへ送信されて処理されるものとすることができる。

自己運動は、視覚センサにより画像シーケンスを取得している間の、環境内における当該視覚センサの動きの推定に関連する。環境内での視覚センサの動きを推定する処理は、運動する視覚センサにより撮像された画像のシーケンスにビジュアルオドメトリ技術（visual odometry technique）（システムの位置と方向を、関連するカメラ画像を解析することにより特定する処理）を用いて行うことができる。これは、通常、特徴検出を用いて、一つ又は複数の視覚センサから生成された画像シーケンス又は画像ストリームに含まれる２つの画像フレームから、オプティカルフローを構成することにより行われる。各（時間）フレームのステレオ画像ペア（複数）を用いることは、誤差を低減し、追加的な奥行きとスケールに関する情報を出力するのに役立つ。

第１のフレームから特徴（features）が検出され、次に、第２のフレームにおいてマッチングが行われる。次に、この情報を用いて、２つの画像において検出された特徴についてのオプティカルフローが推定される。カメラ軸に沿う前方への動きの場合には、オプティカルフローフィールドは、これらの特徴が単一点すなわち消失点（focus of expansion）からどのように発散するかを表すものとなる。この消失点は、オプティカルフローフィールドから検出することができる。この消失点は、カメラの運動の方向を示しており、したがってカメラ運動の推定を与えるものである。

オプティカルフローは、基本的には、画像シーケンス内の全部又は一部のピクセルの運動方向及び又は運動速度を表す変位ベクトルフィールドであり、処理ユニットにより、少なくとも一つの視覚センサにより与えられる連続した画像間でのピクセル又は画像パッチの相関計算を行うことで算出される。

相関は、その前に撮影された１枚の画像からの複数のピクセル又は複数のパッチを、当該画像に対し時間的に続いて撮影された他の画像からの複数のパッチ又は複数のピクセルと比較することにより算出される。
非特許文献１には、最新のオプティカルフロー推定についての概要と論評が記載されている。

非特許文献２には、勾配に基づくオプティカルフロー技術（gradient-based optical flow technique）に粗密戦略（coarse-to-fine strategy）を適用する手法が記載されている。勾配に基づくオプティカルフロー技術は、その探索範囲が数個のピクセルに限定されるという大きな問題を抱えている。したがって、検出できるのは非常に小さな運動のみである。この問題を軽減するため、複数の画像解像度を用いてオプティカルフローが計算される。画像解像度が小さい状態においては、はっきりと判る運動は非常に小さく、勾配に基づくオプティカルフロー法が適用できる。この情報は、その後、ワーピングにより次の解像度に伝えられる。したがって、粗密ワーピング（coarse-to-fine warping）により、横方向運動を低減させることで、勾配に基づくオプティカルフローをより大きな運動に対して適用することが可能となる。

オプティカルフローを決定することは、例えば、図１に例示的、概要的に示した車両１のように、車両乗員からの計画的な介入が行われることなく開始点から目的地まで移動するような自律車両又は半自律車両においては、特に重要である。開始点から目的地までの移動経路上では、自律車両は、その途中において、自身の移動経路を交通状態に自動的に適合させる。

自身の環境を知覚するため、自律車両は、通常、当該環境を感知するための複数のセンサを備え、少なくとも一つの光センサを含む少なくとも一つの光センサシステム２を備えてる。基本的には、この場合の「感知」とは、自律車両が、当該センサから与えられるデータを処理ユニット３により処理して、環境についての象徴的側面を表すパラメータを導出することを意味する。また、導出されたパラメータは、当該環境についての当該車両の視野像（view）を構成する。

自律車両１は、上記パラメータを継続的に監視し、当該パラメータに基づいて決定を行う。すなわち、計算又はパラメータ比較の結果により、指定された処理の実行が行われる。決定は、当該パラメータが特定の制約条件又は閾値に達したときに行われる。種々の数多くの決定を行うことができるが、自律移動においては、当該車両の動きの変化を引き起こすこととなる決定が重要となる。そのような決定は、他の交通参加者に影響を与えるためである。

動きを変化させるために、車両１は、通常、ステアリングを動かしたり、当該車両を加速し又は減速したり（ブレーキをかけたり）、及び又は乗員と通信するための、少なくともアクチュエータを備えている。決定が行われると、すなわち処理が開始されると、自律車両１は、それぞれの処理に規定されたステップ、計算、及び又は比較処理に従って、アクチュエータを作動させる。

視覚センサの少なくともいくつかは、画像シーケンスを生成するために用いられるカメラとすることができ、当該生成された画像シーケンスは、ナビゲーションを強化して自律車両１の移動経路内にある障害物／物体を回避するための、オプティカルフロー計算に用いられる。

車両の移動経路内に障害物／物体が検出された場合に必要となるアクションを決定するためには、その物体が移動物体か静止物体かを特定することが重要である。例えば、自律車両が自動車である場合には、移動物体は、通常、他の自動車、トラック、オートバイ、自転車、歩行者等である。他の事例として、自律式芝刈り機の場合には、移動物体は、移動する人間や動物であり得る。

車両の自己運動に起因するオプティカルフローを算出できるときは、視覚センサシステム２から与えられるデータ内で移動する物体の影響を特定することも可能であり、したがって、移動物体を検出してその動きを追跡することが可能である。

Deqing Sun, Stephan Roth, Michael J. Black (2010). Secrets of optical flow estimation and their principles. IEEE Conf. on Computer Vision and Pattern Recognition. Thomas Brox, Andres Bruhn, Nils Papenberg, Joachim Weickert (2004). High Accuracy Optical Flow Estimation Based on a Theory for Warping. European Conference on Computer Vision.

例えば視覚センサシステムを備える車両の自己運動に起因するオプティカルフローを、画像のシーケンスを用いて算出する場合においては、その画像シーケンス内の画像が歪んでいるとオプティカルフローを正しく算出することができないという問題が存在する。

したがって、本発明は、歪みを含んだ画像からのオプティカルフローの算出性能を向上する方法及びシステムを提供する。

一の態様は、画像のシーケンスを処理するための画像処理方法である。本方法は、光センサ（ステレオセンサシステム等のマルチセンサシステムを含む）から前記画像のシーケンスの少なくとも２つの画像を取得するステップと、前記画像の一つが歪みを含むか否かを判断する任意選択のステップと、前記画像の少なくとも一つの画像内の歪みを少なくとも部分的に補償する画像ワーピングファンクションを決定するステップと、前記少なくとも一つの画像に前記決定したワーピングファンクションを適用して当該画像を変形することにより前記歪みを少なくとも部分的に補償するステップと、前記変形した画像及び前記少なくとも２つの画像のうちの他の画像から、オプティカルフローを変位ベクトルフィールドとして算出して出力するステップと、を有する。

前記フローフィールドは、前記ワーピングファンクションの適用により導入されたシフト量を減算することにより補正されるものとすることができる。
前記オプティカルフローは、一方の画像のパッチを他の画像とマッチングさせることにより算出されるものとすることができる。

前記ワーピングファンクションは、前記視覚センサにより記録されたシーンに関する仮定、即ち、予め記憶された演繹的な知識と、視覚システムの運動に関する知識から決定される。

前記ワーピングファンクションは、例えば光センサにより与えられる前記歪みの原因である運動を表す運動情報から決定されるものとすることができる。
前記歪みは、運動歪み及び又はレンズ歪みとすることができる。

複数の画像ワーピングファンクションを、前記歪みを含む画像（単数）に適用するものとすることができる。
前記画像ワーピングファンクションは、前記少なくとも２つの画像の一つに適用される。

前記方法は、１回の実行毎に異なる画像ワーピングファンクションを同じ画像に対して適用して複数回実行されるものとすることができ、複数のオプティカルフローの算出結果を結合させて、一つのオプティカルフロー、すなわち、一つの変位ベクトルフィールドとすることができる。

画像ワーピングファンクションを適用した画像からのオプティカルフローの計算に加えて、画像ワーピングファンクションを適用していない画像から第２のオプティカルフローを算出し、二つのオプティカルフロー算出結果を結合させることができる。

前記画像ワーピングファンクションは、その前に行われたオプティカルフロー計算から決定するものとすることができる。
前記画像ワーピングファンクションは、予め決定された固定された画像ワーピングファンクション、アフィン・ワーピングファンクション、及び又はホモグラフィとすることができる。

画像内の物体及び又は移動物体を、オプティカルフローに基づいて検出することができる。これは、オプティカルフローを、例えばフローが一様に又は連続的に見える空間領域にセグメント化又はクラスタ化することにより行うことができる。例えば、フロントパラレルな平面のフローは、放射状に拡大するベクトルフィールドに似ており、画像内で特定することが可能である。同様に、接近してくる自動車は、それらが持つ特徴的なフローフィールドによってセグメント化することができる。

第２の態様は、少なくとも一つの視覚センサを備えるセンサシステムである。本センサシステムは、
画像のシーケンスを供給する手段と
前記視覚センサから前記画像のシーケンスの少なくとも２つの画像を取得する手段と、
前記画像（複数）が歪みを含んでいるか否かを判断する任意選択の手段と、
前記画像（複数）の少なくとも一つの画像内の歪みを少なくとも部分的に補償する画像ワーピングファンクションを決定する手段と、
前記少なくとも一つの画像に前記決定したワーピングファンクションを適用して当該画像を変形することにより前記歪みを少なくとも部分的に補償し、且つ、当該変形した画像及び前記少なくとも２つの画像の他の画像から、オプティカルフローを変位ベクトルフィールドとして算出して出力する処理手段と、
を備える。

任意選択として、本システムは、前記少なくとも２つの画像の一つが歪みを含むか否かを判断する手段を備えることができる。
前記オプティカルフローは、前記ワーピングファンクションに起因して導入されたシフト量を減算することにより補正されるものとすることができる。

前記処理は、計算を行い、画像が歪んでいる場合には当該歪みを補償するよう算出したワーピングファンクションを前記歪みを含む画像に適用するものとすることができる。
前記システムは、前述において概説した方法を実行するものとすることができる。

さらに他の態様によると、本発明は、前述において概説したセンサシステムを備えた陸上用、航空用、海洋用、又は宇宙用の乗り物を提供する。
前記乗り物は、ロボット若しくはオートバイ、スクータ、その他の車輪を備えた乗り物、乗用自動車、又は芝刈り機とすることができる。

更に他の態様によると、本発明は、上記において定義したセンサシステムを備えた車両用（乗り物用）運転者支援システムを提供する。
更に他の態様によると、本発明は、コンピュータで実行されたときに、上記において概説した方法を実行する、コンピュータプログラム製品である。

自律車両の一例を模式的に示す図である。 第１画像の一例と、当該第１画像の非並進変換により得られる第２画像を示す図である。 図２に示す画像を上段に示し、当該画像をワーピングして得られる第２画像を下段に示した図である。 本発明の主要なステップの概略を示す図である。

以下では、図面を参照しつつ本発明について説明する。
本発明は、視覚センサシステム、特にカメラを用いたストリーム記録システムにおけるオプティカルフロー推定の性能を向上するものである。特に、本視覚センサシステムは、図１にその一例を概略的に示したように、車両の一部、より詳細には自律車両又は半自律車両の一部である。

オプティカルフローを推定するためには、時間的に前にある（第１）画像と、時間的に続いた（第２）画像との間で、対応関係にある画像ピクセルを見つけ出す必要がある。このピクセルの対応関係は、或る探索範囲を用いて探索される。すなわち、第１画像のピクセル位置ｘ、ｙから開始して、第２画像における同じ位置の近接部分を探索する。オプティカルフロー計算のコストは探索範囲に依存するので、探索範囲は小さいほうが有利である。

最も基本的な仮定は、第２画像のパッチが、同じピクセル値を持ちつつ第１画像のパッチが平行移動したものであって、第１画像の位置ｘ，ｙの周辺のピクセルは、第２画像の位置ｘ’，ｙ’の周辺のピクセルと、（ｘ，ｙ及びｘ，ｙの周辺のピクセル値が一致しているという観点において）同じ構造を示している、というものである。

パッチが矩形である場合、これらの手法はブロックマッチング手法と称される。結果として得られる各ピクセル位置についての変位ベクトルｘ’−ｘ、ｙ’−ｙは、第１画像から第２画像に至るまでに、どのピクセルがどの新しい位置へ動いたかを示すオプティカルフローフィールドを構成する。

その後、オプティカルフローフィールドに対し、例えば視界内で並進する物体の一様（coherent）なフローフィールド（当該物体の全ての位置に同じフローベクトルが存在）のような、ある一定の形態の一様なフローを持つエリアを探索することにより、物体運動についての分析が更に行われるものとすることができる。オプティカルフローの品質は、自己運動特定の品質を左右するほか、例えば車両の移動経路内の移動物体の検出、及び又は物体運動の推定の品質を左右する非常に重要なファクタである。

オプティカルフロー計算のため、パッチ比較が行われる探索範囲分の並進変換が２つの画像間で行われる。通常、第１画像と第２画像の相対応するパッチの構造は同じであるという仮定、即ち、これらの相対応するパッチは互いに並進したものであるという仮定が為される。しかしながら、それらの画像パッチが、互いに並進したものとは言えない場合がある。特に、画像の一つが、非並進変換、例えば回転変換を受けている場合には、それらのパッチは互いに対し並進変換されたものではないので、標準的なパッチ整合手法ではうまくいかない。

その一例として、画像回転の場合の例を図２に示す。
図２の上段には、１枚の画像を回転した２つの画像が示されている。カメラの光軸が回転した場合には、このようなことが発生する。第２画像は、第１画像に対して半時計方向に９０°回転している。図２の下段には、中央部分のパッチが示されている。これらのパッチは互いに対して回転したものであるので、これらのパッチのピクセルベースの相関検出はうまくいかない。

パッチベースの対応関係探索を実際に行う前に、第１画像又は第２画像のいずれかに全体的な画像ワープファンクションを適用してパッチ回転を補償すれば、パッチベースの対応関係探索をうまく機能させることができる。この画像ワーピングは、見え方の影響、あるいは自己運動により誘発された見た目の変化の影響を少なくとも軽減して、パッチベースの対応関係探索における相関計算の誤りや失敗を回避する（ワーピングファンクションの選択肢については後述する）。

「画像をワーピングする」とは、変形された画像（warped image）が変形されていない画像を歪ませたものとなるように、画像に対して幾何学的歪みを与えることを意味する。数学的には、ワーピングされた画像の位置ｘ^Ｔ，ｙ^Ｔにおけるピクセル値Ｉ^{ｗａｒｐｅｄ}が、ワーピングされていない画像Ｉの元の位置ｘ，ｙにおけるピクセル値から得られるように、ピクセル値Ｉ（ｘ，ｙ）に対して次の（１）式に示す関数を適用することで行われる。

ここで、位置変換は、関数ω（しばしば、線形／アフィン関数と称される）を用いて、次の（２）式で与えられる。

図３には、図示下段に、第１画像とワーピングされた第２画像（反対方向へ９０°回転して戻したもの）との比較の一例、及び、それらの対応するパッチ間の比較の一例が示されている。

第１画像とワーピングされた第２画像とのパッチ比較から得られたオプティカルフローのオプティカルフロー値（変位ベクトル）は、ワーピングの影響を受けているので、そのワーピングの影響を、それぞれの位置ｘ，ｙにおいて算出されたオプティカルフローから減算しなければならない。これは、ワーピングｘ^Ｔ−ｘ，ｙ^Ｔ−ｙによるシフト量を、フローフィールド

から減算することにより行われ、最終的な正しいフローフィールドは、次の式（３）となる。

オプティカルフロー計算のためのワーピングモデルのソースは、複数とすることができる。直裁的な方法の一つは、上述した例におけるカメラ回転などの、カメラの運動を検出する追加のセンサを用いて、どのワーピングを用いるべきかを推定することである。すなわち、センサにより、カメラがどのように運動するか／したかについての情報が提供される。この情報は、当該運動に起因する撮像画像における歪みを補償するのに必要なワーピングを示している。他の方法は、運動推定の手法を用いて、ワーピングされていない画像（複数）、又はその前の時間ステップにおいて取得された画像（複数）から、直接的に、（アフィンモデルやホモグラフィのような）パラメトリック・ワーピングモデルを推定することである。

ワーピングファンクションを推定する簡単な方法は、画像センサにより記録されたシナリオ（例えば、地面を一定速度で移動する車両）に関する固定的な仮定を用いることである。この知識から、理論的に予測されるフローを計算することにより、ワーピングファンクションを導出することができる。

考慮すべき一つの事項は、ワーピングモデルに従わないピクセルの空間関係が、画像ワーピングによって劣化してしまう場合があるということである。この場合には、例えば、そのワーピングモデルが適合すると予想される画像部分に、当該モデルを適用するものとすることができる。

その一例は、車両が地面を移動するときに生成されるオプティカルフローである。この場合、地面に関して予想されるワーピングモデルが導出され得るが、当該ワーピングモデルは、地平線より下の画像エリアに適合し、それより上のエリア（例えば空）には適合しないと予想することができるので、地面が見えている画像部分についてのみ適用される。モデルが適合するか否かは、各ピクセル位置ｘ，ｙでのパッチ比較で得られた値から直接的に判断することができる。

他の方法は、異なる複数のワーピングモデルを用いて複数のオプティカルフロー計算を行い、異なる複数の補正されたオプティカルフロー算出結果を結合し、ピクセル毎に最適／最良のピクセルを選択して一つの統合されたオプティカルフローを得ることである（「最適」性は、例えば信頼度値やマッチングスコアにより評価することができる）。複数のワーピングモデルの一つのインスタンスは、ヌルモデル（すなわち、ワーピングを行わない元画像）とすることができる点に注意されたい。

異なる複数のワーピングモデルから得られた複数のオプティカルフロー算出結果を一つのオプティカルフローへの統合する処理は、各ピクセルについて、最も高い信頼度値、従って最も良好な相関値を有するフローを選択することにより行うことができる。

全体として、オプティカルフローに関する本発明は、以下に示す方法に要約することができる。
−第１：カメラから画像（第１画像及び第２画像）を取得する。
−第２：前記カメラ画像の少なくとも一方（例えば第２画像）に、画像ワーピングファンクションを適用して、ワーピングモデルに従うワーピング（変形）を施す。
−第３：標準的なパッチベースのオプティカルフロー計算アルゴリズムを用いて、第１画像から第２画像（そのうちの一方はワーピングされている）への変位フィールドを算出する。
−第４：第２画像のワーピングにより導入されたシフト量を減算して、前記変位フィールドを補正する。
図４に、これらの基本ステップをフローチャートとして示す。

まとめると、本方法により、オプティカルフロー推定の応用分野において、ステレオ画像のワーピングを行わない通常のステレオ処理に比べて、より正確なオプティカルフローフィールドを算出することができる。これは、例えば異なるカメラが異なる視野を持つことに起因して発生し相関関係の発見プロセスを妨害する画像変形を補正することにより達成される。その結果、オプティカルフロー推定の精度、及びその後に行われる物体認識などの処理ステージの精度が、向上する。

オプティカルフローの計算は、パッチベースのマッチング手法を用いて行うことができる。パッチベースのマッチング手法では、正規化相互相関の和を相関尺度として用いることができる（相互相関は、例えば欧州特許出願番号第１０１６２８２２号明細書に定義が記載されている）。ワーピングモデルは、カメラ運動情報から推定することができる。カメラ画像は、これに加えて又はこれに代えて、レンズ歪みが補正されるものとすることができる。これも、オプティカルフローを改善するために実行される。予め定義されたワーピングファンクションを適用してレンズ歪みを補償することができる。複数のワーピング（例えば、レンズ歪み用のワーピングと運動歪み用のワーピング、及び又は歪みを補正するための複数のワーピング）を用いて、一つのカメラ画像にワーピングを行うものとすることができる。

本方法は、１回の実行毎に同じ画像に対し異なる画像ワーピングファンクションを適用して複数回実行することができ、複数の補正されたオプティカルフローの算出結果を結合させ、例えば相関値を信頼度値として用いて、上述したように各ピクセルについて最良フローを選択することにより、一つのオプティカルフローを得るものとすることができる。

ワーピングした画像からのオプティカルフロー計算に加えて、ワーピングしていないカメラ画像からのオプティカルフロー計算を実行し、２つの計算結果を合成して各ピクセルについての最良値を選択し、最終的な結果を得るものとすることができる。最良のオプティカルフロー値は、より良好な相関値を持つ値とすることができる。相関値は、通常、最新の正規化相互相関又はこれと同様の手法を用いて２つのパッチ間で算出される。

現在の画像フレームについてのワーピングモデルは、最後のオプティカルフロー画像又は、直近のタイムステップ（複数）で算出されたオプティカルフロー（複数）のセットから、推定することができる（例えば、線形位置変換関数ωを選択し、或る距離関数、例えばユークリッド距離に従い、直近のタイムステップ（複数）でのオプティカルフローに対して今回得られるオプティカルフローが密に近似するように、関数ωのパラメータを推定する）。当該ワーピングモデルは、演繹的に与えられて固定されるものとすることができる。本ワーピングモデルは、アフィンモデルとすることができる。本ワーピングモデルは、一般的なホモグラフィとすることができる。オプティカルフローの計算結果を用いて、一つ又は複数のカメラにより観測されたシーン内の物体又は移動物体を検出することができる。

適用可能な他の用途は、衝突警告などのドライバ支援システム、又はクルーズコントロールである。例えば、移動物体検出の向上により、ブレーキングや回避操縦をより良好に推定したり、最適走行経路をより良好に算出することができる。他の応用分野はロボットシステムであり、当該分野では改善されたオプティカルフロー推定が物体検出に用いられる。

他の用途は、自律式芝刈り機である。この用途では、移動物体認知の向上により、庭を利用する人を傷つけたり煩わすことのない予測的な経路計画が可能となる。

さらに、本発明は、ロボティクスを含む他の種々の分野や、人間のオペレータを支援するために設計されたシステムを一般的に含む陸上用、海洋用、空中用の乗り物用のシステムにも用いることができる。ここに開示した方法及びシステムは、一般に、技術的システム（例えば電気的システム）が、当該システムに与えられた、観測された移動経路に生ずる特徴、及び又は物体の特性（例えば、サイズ、距離、他の物体までの相対的／絶対的な位置、空間配置、相対的な動き、速度、及び又は方向、及びその他の関連する物体特徴又は特徴パターン）を自律的に扱わなければならないときには、いつでも用いることができる。

取得された情報（観測値）を処理するため、本発明は、処理モジュール３を用いた分析手段を用い及び備え、及び又はニューラルネットワークを適用する。ニューラルネットワークは、一般に、観測値から情報を推測するのに用いることができる。ニューラルネットワークは、解決すべき問題についての演繹的な知識を全く又はほとんど用いることなく機能し、且つ耐障害性の高い振る舞いを示す。例えば特徴同定、制御（車両制御、プロセス制御）、意思決定、人工視覚、及び又はパターン認識（顔認識、物体認識、ジェスチャー認識、音声認識、文字及びテキスト認識）などに関連する問題が扱われる。ニューラルネットワークは、ニューロンの集合と、シナプスの集合で構成される。シナプスは、ニューロンに結合し、重みと称されるパラメータに情報を保存する。これらの情報は、ニューラルネットワークが行う変換（transformation）や、学習プロセスに用いられる。

通常、観測を行うため、入力信号又は入力パターンが、検出手段２から入力され、ハードウェアユニット、及び又はソフトウェアコンポーネントを用いて処理される。出力信号又は出力パターンが取得され、これらの出力は更なる処理（例えば視覚化処理）のための他のシステムへの入力となり得る。

入力信号は、移動に影響を与える検出された特徴物についての情報を含むことができる。この入力信号は、一つ又は複数のセンサ（例えば、上述した視覚検出手段２）により与えられるものとすることができるが、ソフトウェアインタフェース及び又はハードウェアインタフェースにより与えられるものとすることもできる。出力パターンも、ソフトウェアインタフェース及び又はハードウェアインタフェースを介して出力されるものとすることもできるし、車両の動きや振る舞いに影響を与えるための他の処理モジュール３や作用装置（actor）（例えば、パワーステアリング制御やブレーキ制御装置）に、送信されるものとすることもできる。

本発明に求められる、評価、処理、保守、調整、及び実行（例えば、移動変更コマンドや作動コマンドの実行）に必要な計算及び変換は、処理モジュール３により実行されるものとすることができる。処理モジュール３は、例えば一つ又は複数のプロセッサ（CPU）、信号処理ユニット、又は、その他の処理や計算を行うハードウェア及び又はソフトウェアであり、これらは、並列処理を行うように適合されるものとすることもできる。処理及び計算は、標準的な既製（オフザシェルフ、off the shelf、OTS）のハードウェアコンポーネント、又は専用に設計されたハードウェアコンポーネントにより実行されるものとすることができる。プロセッサのＣＰＵは、計算を実行するものであり、メインメモリ（RAM、ROM）、制御ユニット、及び演算論理ユニット（ALU）を含むことができる。当該プロセッサは、専用のグラフィックプロセッサと通信するものとすることができる。このグラフィックプロセッサは、必要な計算のための専用メモリと処理能力を提供するものとすることができる。

通常は、データメモリも備えられる。データメモリは、取得された情報及び又はデータや、処理・決定・結果出力に必要とされる情報及び又はデータを保存するのに用いられる。保存された情報は、本発明に必要な他の処理手段、ユニット、又はモジュールにより使用されるものとすることができる。当該メモリは、また、イベントに関連する観測値や、当該観測値から推論された知識であって将来のイベントに対する動作や反応に影響を与える知識の保存や記憶を可能とする。

本メモリは、ハードディスク（ＳＳＤ、ＨＤＤ）、ＲＡＭ及び又はＲＯＭなどのデバイスにより提供されるものとすることができ、フロッピーディスク、ＣＤ−ＲＯＭ、テープ、ＵＳＢドライブ、スマートカード、ペンドライブ等の他の（持ち運び可能な）記憶媒体により補われるものとすることができる。したがって、本発明に従う方法をコード化したプログラムや、本発明のシステム及び又は方法の実施において取得され、処理され、学習され、又は必要とされるデータを、それぞれの記憶媒体に保存しておくことができる。

特に、本発明に記載された方法は、（例えば持ち運び可能な）物理的な記憶媒体に保存されたソフトウェアプログラム製品として提供されるものとすることができる。当該記憶媒体は、処理システムや処理デバイスに本発明に係る方法を実行するよう指示すべく、当該プログラム製品を当該システムやデバイスに転送するのに使用される。さらに、本方法は、処理デバイスに直接的に組み込むこともできるし、処理デバイスとの組み合わせとして実施することもできる。

上述の事項は、本発明のこれら実施形態にのみ関連するものではなく、特許請求の範囲に示された本発明の範囲から逸脱することなく、これらの実施形態に対し多くの変更や改変を行い得るものと理解されたい。

Claims (23)

1. 画像のシーケンスを処理する方法であって、
   光センサから前記画像のシーケンスの少なくとも２つの画像を取得するステップと、
   前記光センサの運動情報及び又は前記シーケンスに含まれる画像の画像情報を含む追加の情報に基づいて、前記少なくとも２つの画像のうちの少なくとも一つの画像の歪みを少なくとも部分的に補償するためのワーピングモデルを決定するステップと、
   前記決定されたワーピングモデルに従って前記少なくとも一つの画像内の歪みを少なくとも部分的に補償する画像ワーピングファンクションを決定するステップと、
   前記少なくとも一つの画像に前記決定したワーピングファンクションを適用して、当該画像を変形することにより前記歪みを少なくとも部分的に補償するステップと、
   前記変形した画像及び前記少なくとも２つの画像のうちの他の画像から、オプティカルフローを変位ベクトルとして算出して出力するステップと、
   を有する方法。
2. 前記補償するステップでは、前記少なくとも一つの画像のうち前記決定されたワーピングモデルが適合すると予想される画像部分に、前記決定された画像ワーピングファンクションが適用される、
   請求項１に記載の方法
3. 前記オプティカルフローは、前記ワーピングファンクションの適用により導入されたシフト量を減算することにより補正され、及び又は、前記方法は、前記少なくとも２つの画像の一つが歪みを含むか否かを判断するステップを有する、請求項１又は２に記載の方法。
4. 前記オプティカルフローは、一の画像のパッチを他の画像とマッチングすることにより算出される、請求項１ないし３のいずれか一項に記載の方法。
5. 前記ワーピングファンクションは、前記光センサにより記録されたシーンについての仮定と、視覚システムの運動についての知識から決定される、請求項１ないし４のいずれか一項に記載の方法。
6. 前記ワーピングファンクションは、視覚システムのセンサにより与えられる前記歪みの要因である運動を示す運動情報から決定される、請求項１ないし５のいずれか一項に記載の方法。
7. 前記歪みは、運動歪み及び又はレンズ歪みである、請求項１ないし６のいずれか一項に記載の方法。
8. 複数のワーピングファンクションが前記歪みを含む前記画像に適用される、請求項１ないし７のいずれか一項に記載の方法。
9. 前記画像ワーピングファンクションは、前記少なくとも２つの画像の一つに適用される、請求項１ないし６のいずれか一項に記載の方法。
10. 前記方法は、１回の実行毎に異なる画像ワーピングファンクションを同じ前記画像に適用して複数回実行され、複数のオプティカルフローの算出結果が結合されて一つのオプティカルフロー、すなわち単一の変位ベクトルフィールドが生成される、請求項１ないし９のいずれか一項に記載の方法。
11. 前記画像ワーピングファンクションを適用した前記画像からのオプティカルフロー計算に加えて、前記画像ワーピングファンクションを適用しない前記画像からの第２のオプティカルフロー計算を行い、両方のオプティカルフロー計算結果を結合する、請求項１ないし１０のいずれか一項に記載の方法。
12. 前記画像ワーピングファンクションは、その前に行われたオプティカルフロー計算から決定される、請求項１ないし１１のいずれか一項に記載の方法。
13. 前記画像ワーピングファンクションは、予め定められ固定された画像ワーピングファンクション、アフィン・ワーピングファンクション、及び又はホモグラフィである、請求項１ないし１２のいずれか一項に記載の方法。
14. 前記画像内の物体及び又は移動物体が、前記オプティカルフローに基づいて検出される、請求項１ないし１３のいずれか一項に記載の方法。
15. 画像のシーケンスを出力するよう適合された少なくとも一つの光センサを備えたセンサシステムであって、
    前記光センサから、前記画像のシーケンスの少なくとも２つの画像を取得する手段と、
    前記光センサの運動情報及び又は前記シーケンスに含まれる画像の画像情報を含む追加の情報に基づいて、前記少なくとも２つの画像のうちの少なくとも一つの画像の歪みを少なくとも部分的に補償するためのワーピングモデルを決定する手段と、
    前記決定されたワーピングモデルに従って前記少なくとも一つの画像内の歪みを少なくとも部分的に補償する画像ワーピングファンクションを決定する手段と、
    前記少なくとも一つの画像に前記決定したワーピングファンクションを適用して、当該画像を変形することにより前記歪みを少なくとも部分的に補償する手段と、
    前記変形した画像及び前記少なくとも２つの画像のうちの他の画像から、オプティカルフローを変位ベクトルフィールドとして算出して出力する手段と、
    を備えるシステム。
16. 前記補償する手段は、前記少なくとも一つの画像のうち前記決定されたワーピングモデルが適合すると予想される画像部分に、前記決定された画像ワーピングファンクションを適用する、
    請求項１５に記載のシステム
17. 前記オプティカルフローは、前記ワーピングファンクションの適用により導入されたシフト量を減算することにより補正される、請求項１５又は１６に記載のシステム。
18. 前記処理ユニットは、計算を行い、前記画像が歪んでいる場合には、当該歪みを含む前記画像に前記画像ワーピングファンクションを適用するよう適合され、前記画像ワーピングファンクションは、前記歪みを補正するために算出され、及び又は前記視覚センサの運動を示す運動センサを備える、請求項１５ないし１７のいずれか一項に記載のシステム。
19. 請求項１ないし１４のいずれか一項に記載の方法を実行するように適合された、請求項１５ないし１８のいずれか一項に記載のシステム。
20. 請求項１５ないし１９のいずれか一項に記載のセンサシステムを備えた陸上用、航空用、海洋用、又は宇宙用の乗り物。
21. 前記乗り物は、ロボット若しくはオートバイ、スクータ、その他の２輪車両、乗用自動車、又は芝刈り機である、請求項２０に記載の乗り物。
22. 請求項１５ないし１９のいずれか一項に記載のセンサシステムを含む乗り物用運転者支援システム。
23. コンピュータで実行されたときに、請求項１ないし１４のいずれか一項に記載の方法を実行する、コンピュータプログラム。

Images