JP6562607B2 - 物体の自己運動推定方法 - Google Patents

Description

本発明は、面上を移動する物体の自己運動を推定する方法及び装置に関し、特に、車載ビデオカメラから自車運動を推定する方法に関する。

車両等の物体の自己運動は、通常、瞬間回転行列と並進ベクトルとによって表され、これらから、瞬間又は平均の速さ、総回転角、又は、予測される車輪の軌道等の、物体のその他の特定用途の特性を算出できる。

従来の視覚的走行軌跡検出の技術においては、画像データの視覚的観察により、物体の運動情報が提供される。この運動情報により、スピードセンサ及びステアリングセンサ、又は、ＧＰＳシステム等のその他のデータソースからのデータが補完される。従来の視覚的走行軌跡推定の主な手法としては、ステレオカメラを用いた「運動からの形状復元（ＳｆＭ）」又は「自己位置と地図の同時推定（ＳＬＡＭ）」、単眼カメラを用いたＳｆＭ又はＳＬＡＭ、及び、直接的な平面運動推定が挙げられる。

従来のステレオベースの手法では、標準的なコンピュータビジョンのパイプライン処理を用いて、観測された三次元情報データからカメラの姿勢を復元する。この方法では、三次元点群間の移動をロバスト推定することにより、異なるタイミングでのカメラ間の情報が復元される。このステレオベースの手法は、シーンの重複が少ない又はないサラウンドビューカメラを用いる場合や、標準的な後方ビュー駐車カメラ等の単眼カメラを用いる場合には、不適切である。このような場合、通常は、単眼アルゴリズムが適用される。この単眼アルゴリズムは、いわゆる「ステレオフロムモーション」手法に従い、この手法では、特徴点追跡や、時間とともに分布する立体（ステレオ）幾何の応用により、シーン点の三次元座標が得られる。未知変数のステレオキャリブレーションとは、自己運動を解釈する別の方法であり、これにより、スケールフリーの立体幾何をもたらし、これにより、マルチフレームのステレオアルゴリズムを用いて、ローカルに一貫した測量的三次元構造物が得られる。単眼カメラの投影的性質により、シーン及びカメラ運動が、一定の縮尺で復元できる。したがって、運動パラメータのドリフト補償のために、ループ閉塞等の厳格な運動制約が必要となる。しかしながら、このような制約は、通常、自動車の用途には適用できない。他の制約は、カメラ間の視覚的特徴点関連付けを必要とするマルチカメラセットアップから生じるが、シーン重複の少ないサラウンドビューカメラシステムには、非現実的である。他の運動制約は、シーンの中の既知のキャリブレーション物体によりもたらされうる。自動車の用途において広く用いられるキャリブレーション物体は、路面である。道路の特徴を検出及び追跡し、平面運動制約を加えることにより、単眼ＳｆＭ又はＳＬＡＭアルゴリズムは、測量的な自己運動データを提供することができる。道路の特徴の追跡におけるさらなる課題は、路面上の極端に斜めの視界による、テクスチャ情報の不足や、距離変動である。

直接的な平面運動推定は、高品質な道路の特徴の追跡が困難なため、多くの従来のシステムで用いられている。直接的な平面運動推定方法では、フレームを一枚ずつワーピングさせ、画素エラーを最小化する変換パラメータを見出すことにより、画像を登録する。ワーピングに使用される画像変換は、車両の自己運動と、路面の投影的変換とからなる。反復的な画像差最小化アルゴリズムにおいては、特徴ベースの方法では十分な数の特徴を見つけられない、道路のテクスチャの変動が少ない一般的な場合においても、未知の自己運動を見つけてしまう可能性がある。更に、従来の直接的な平面運動推定方法の欠点は、道路領域全体が、障害物によって隠されたり、動く影によって乱されたりすることである。このような場合に行われた推定は、ローカル最小問題を抱え、パラメータの適切な初期近似が必要となる。

ドイツ特許公開第１０２０１１０８８３３２号明細書

ＪＯＳＥ ＭＯＬＩＮＥＲＯＳ ＥＴ ＡＬ： "Ｍｏｎｏｃｕｌａｒ Ｒｅａｒ−Ｖｉｅｗ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｒｅｓｉｄｕａｌ Ｆｌｏｗ"， ７ Ｏｃｔｏｂｅｒ ２０１２ （２０１２−１０−０７）， ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＥＣＣＶ ２０１２， ＷＯＲＫＳＨＯＰＳ ＡＮＤ ＤＥＭＯＮＳＴＲＡＴＩＯＮ， ＳＰＲＩＮＧＥＲ ＢＥＲＬＩＮ ＨＥＩＤＥＬＢＥＲＧ， ＢＥＲＬＩＮ， ＨＥＩＤＥＬＢＥＲＧ， ＰＡＧＥ（Ｓ） ５０４−５１４， ＸＰ０４７０３３４７９， ＩＳＢＮ：９７８−３−６４２−３３８６７−０ ＷＥＮ−ＣＨＵＮＧ ＣＨＡＮＧ ＥＴ ＡＬ： "Ｖｉｓｉｏｎ−ｂａｓｅｄ ｓｉｄｅ ｖｅｈｉｃｌｅ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａ ｍｏｖｉｎｇ ｖｅｈｉｃｌｅ"， ＳＹＳＴＥＭ ＳＣＩＥＮＣＥ ＡＮＤ ＥＮＧＩＮＥＥＲＩＮＧ （ＩＣＳＳＥ）， ２０１０ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦＥＲＥＮＣＥ ＯＮ， ＩＥＥＥ， ＰＩＳＣＡＴＡＷＡＹ， ＮＪ， ＵＳＡ， １ Ｊｕｌｙ ２０１０ （２０１０−０７−０１）， ＰＡＧＥ ５５３−５５８， ＸＰ０３１７３４６２６， ＩＳＢＮ： ９７８−１−４２４４−６４７２−２

したがって、本発明は、上述した欠点を解決し、面上を移動する、特に車両等の物体の自己運動を推定する強固かつ確実な方法を提供する、面上を移動する物体の自己運動を推定する方法及び装置を提供することを目的とする。

この目的は、請求項１の特徴を有する方法によって達成される。
本発明の第一の側面によると、面上を移動する物体の自己運動を推定する方法において、面上を移動する物体の少なくとも１台の車載ビデオカメラにより提供されるビデオフレームに基づいて、少なくとも２枚の、該面の上面視画像を生成し、連続する上面視画像間で、領域マッチングを行うことにより、移動物体のグローバル運動パラメータを抽出し、移動物体の抽出されたグローバル運動パラメータから、移動物体の自己運動を算出する。

本発明の第一の側面に係る方法の一実施の形態によると、連続する上面視画像間での領域マッチングは、特徴マッチングからなる。

本発明の第一の側面に係る方法の他の実施の形態によると、連続する上面視画像間での領域マッチングは、ブロックマッチングからなる。

本発明の第一の側面に係る方法の更に他の実施の形態によると、上面視画像は、一次元積分変換を行うことにより処理されて、領域マッチングに使用される一次元積分画像が提供される。

本発明の第一の側面に係る方法の更に他の実施の形態によると、移動物体の抽出されたグローバル運動パラメータは、移動物体の並進と回転とからなる。

本発明の第一の側面に係る方法の更に他の実施の形態によると、上面視画像上の特徴の運動は、大きい上面視領域から推定されるグローバル並進ベクトルと、特徴の周りの小さい領域から推定されるローカル並進ベクトルとの和に分解される。

本発明の第一の側面に係る方法の更に他の実施の形態によると、上面視画像は、面上のサンプル間に所定の距離を持った規則的な格子を作り、各サンプルをカメラ画像に投影することで画素値を得ることにより、形成される、面の測量的上面視画像からなる。

本発明の第一の側面に係る方法の更に他の実施の形態によると、グローバル運動パラメータは、領域マッチングにより提供され、推定部により選択される一式のインライアから算出される。

本発明の第一の側面に係る方法の更に他の実施の形態によると、物体は、平面上を移動する車両からなる。

本発明は、更に、請求項９の特徴を有する装置を提供する。

本発明の第二の側面によると、面上を移動する物体の自己運動を推定する装置は、物体に取り付けられ、面のビデオフレームを提供する少なくとも１台の車載ビデオカメラと、ビデオフレームに基づいて面の合成上面視画像を生成する生成部と、連続する上面視画像間で、領域マッチングを行うことにより、移動物体のグローバル運動パラメータを抽出する領域マッチング部と、移動物体の抽出されたグローバル運動パラメータから、移動物体の自己運動を算出する算出部とを備える。

本発明の第二の側面に係る装置の一実施の形態によると、装置は、さらに、上面視画像の一次元積分変換を行うことにより、バッファに保存され、領域マッチング部による領域マッチングに使用される一次元積分画像を提供する変換部を備える。

本発明の第二の側面に係る装置の他の実施の形態によると、グローバル運動パラメータは、領域マッチング部により行われる領域マッチングにより提供され、推定部により選択される一式のインライアから算出される。

本発明の第二の側面に係る装置の更に他の実施の形態によると、推定部は、ＲＡＮＳＡＣ推定部である。

本発明の第二の側面に係る装置の更に他の実施の形態によると、車載ビデオカメラは、単眼カメラである。

本発明は、更に、第三の側面に係る、請求項１４の特徴を有する車両を提供する。

本発明の第三の側面に係る車両は、本発明の第二の側面に係る装置を備える、面上を移動可能な車両である。

本発明の第三の側面に係る車両の一実施の形態によると、車両は、路面上を移動する自動車又はトラックからなる。

本発明の第三の側面に係る車両の他の実施の形態によると、車両は、平面上を移動するロボットからなる。

以下、本発明の各側面の実施の形態を、図面を参照してさらに詳細に説明する。

本発明の第一の側面に係る、物体の自己運動を推定する方法の一実施の形態を示すフローチャート 本発明の第二の側面に係る、物体の自己運動を推定する装置の一実施の形態を示すブロック図 本発明の第二の側面に係る、物体の自己運動を推定する装置の一実施の形態を示すブロック図 図３に示す装置の実施の形態におけるグローバル並進推定部を示す図 図３に示す装置の実施の形態におけるローカル並進推定部を示す図 本発明に係る方法により提供される、駐車操作の間の予測される自己運動の一例を示す図 本発明に係る方法及び装置の一実施の形態を示す典型的な配置のサラウンドビューカメラによる上面視部分のレイアウトを示す図 本発明に係る方法及び装置の一実施の形態により行われる特徴マッチングを示す図 本発明に係る方法及び装置の一実施の形態により行われる特徴マッチングを示す図 本発明に係る方法及び装置の一実施の形態により行われる上位の並進による上面視領域運動の概算を示す図 本発明に係る方法及び装置の一実施の形態により行われる上位の並進による上面視領域運動の概算を示す図 本発明に係る方法及び装置の一実施の形態において、異なるタイミングで取得した上面視領域間のシフト推定を示す図 本発明に係る方法及び装置の一実施の形態において行われるローカル運動ベクトル計算を示す図

図１は、本発明の第一の側面に係る、面上を移動する物体の自己運動を推定する方法の一実施の形態を示すフローチャートである。図１に示すように、本方法は、複数のステップからなる。ステップＳ１において、面上を移動する物体の少なくとも１台の車載ビデオカメラにより提供されるビデオフレームに基づいて、少なくとも２枚の、該面の合成上面視画像が提供される。その移動する物体は、一実施の形態において、路面上を移動する車両でもよい。また、その移動する物体は、例えば、平面上を移動するロボットでもよい。車両又はロボット等の移動物体は、ステップＳ１において少なくとも２枚の、各面の合成上面視画像を生成する車載ビデオカメラを備える。

ステップＳ２において、連続する上面視画像間で、領域マッチングが行われることにより、移動物体のグローバル運動パラメータが抽出される。一実施の形態において、抽出された移動物体のグローバル運動パラメータは、各移動物体の並進と回転とからなっていてもよい。一実施の形態において、ステップＳ２において行われる連続する上面視画像間の領域マッチングは、特徴マッチング又はブロックマッチングであってもよい。

ステップＳ３において、抽出された移動物体のグローバル運動パラメータから、移動物体の自己運動が算出される。

図２は、本発明の第二の側面に係る、対応する装置１を示すブロック図である。図２のブロック図に示すように、面上を移動する物体の自己運動を推定するために提供される、本発明の第二の側面に係る装置１は、該物体に取り付けられ、該物体が移動する面のビデオフレームを提供するようになされた少なくとも１台の搭載カメラ２を備える。装置１は、また、受信したビデオフレームに基づいて面の合成上面視画像を生成するようになされた生成部３を備える。

装置１は、更に、移動物体のグローバル運動パラメータを抽出するために連続する上面視画像間の領域マッチングを行うようになされた領域マッチング部４を備える。図２に示すように、本実施の形態において、本発明の第二の側面に係る装置１は、抽出された移動物体のグローバル運動パラメータから、移動物体の自己運動を算出するようになされた算出部５を備える。

図３は、本発明の第二の側面に係る、面上を移動する物体の自己運動を推定するための装置１の他の一実施の形態を示す。図３の実施の形態において、装置１は、４台のサラウンドビューシステムの搭載カメラ２−１、２−２、２−３、２−４を備える。移動物体の近くの面を観測する搭載ビデオカメラ２−ｉの数は、変更されてもよい。移動物体の近くの面又は路面を観測するカメラとして、キャリブレーションカメラが適している。図３に示す実施の形態において、搭載ビデオカメラは、図３に示すように、対応するスイッチ６−１、６−２、６−３、６−４によって、カメラキャリブレーション部８に接続可能な上面視変換部７に接続可能である。各搭載ビデオカメラ２−ｉは、上面視画像の一部分を生成する。それらの部分間の重複部分は、不要である。したがって、最も画像分解能の高い領域を選択できる。各上面視部分は、面又は路面のグローバルグリッドと位置合わせされる必要がある。一実施の形態において、ｉ番目の上面視部分Ｐｉの（ｎ，ｍ）番目の画素は、面又は路面上のある三次元点に対応する：

ここで、（ｎｉ，ｍｉ）は、上面視部分の原点の整数座標であり、Ｎｉ、Ｍｉは、上面視部分の寸法であり、ｄは、上面視画像の画素の地上分解能である。これらの三次元点は、後述する以下の式によって、キャリブレーションパラメータを用いて、地上画像に投影される：

投影された画素の補間画素値が、上面視画素ｐに割り当てられる。一実施の形態において、パラメータは、以下のように選択できる：
ｄ＝１ｃｍ
Ｎ１＝Ｎ４＝５１２；Ｍ１＝Ｍ４＝２５６；
Ｎ２＝Ｎ３＝２５６；Ｍ２＝Ｍ３＝５１２．
角（ｎｉ，ｍｉ）の位置では、カメラをその領域上空の中心に置くことにより、最も分解能の高い画像が提供される。定数Ｎｉは、高速フーリエ変換（ＦＦＴ）を介して領域マッチングアルゴリズムが最速で実行されるように、選択される。

更なる一実施の形態において、上面視画像は、既存のサラウンドビューシステムにより、ユーザインタフェースのコンポーネントとして作成される。本実施の形態では、合成上面視画像は、四角形をしており、そのアルゴリズムにより使用される領域は、合成上面視画像から取得される。

図７は、移動車における典型的な配置のサラウンドビューカメラによる上面視部分のレイアウトを示す。図７の黒い三角は、搭載ビデオカメラ２−ｉの一例としての位置を示す。図７に示す四角は、対応する上面視部分を示す。

各搭載ビデオカメラ２−ｉから上面視画像を生成した後、従来の方法を適用して、画像を向上させることにより、確実な特徴マッチングができる。従来の方法の一例は、ローカルヒストグラム平坦化法であるが、その他の対応するアルゴリズムを用いてもよい。図３に示すように、上面視変換部７は、変換部９に接続されており、変換部９は、上面視画像の一次元積分変換を行うことにより、複数の一次元積分画像を提供するようになされる。その一次元積分画像は、バッファ１０に保存でき、装置１の領域マッチング部４による領域マッチングに使用できる。変換部９は、高速の特徴抽出及びマッチングに必要な上面視画像の別の表現物を作成する処理ステップを行う。以下では、一実施の形態において、元の上面視画像を捨ててもよいように、一式の一次元積分画像であるこの表現物のみが使用される。他の一実施の形態において、上面視画像にメモリを割り当てることなく、積分画像を算出してもよい。一実施の形態において、後述するように、上面視画像の各画素を算出した後、それを、積分画像を更新するのに直接使用してもよい。

一次元積分画像は、従来の二次元積分画像と類似している。一次元積分画像は、現在の画素を含む行又は列における総和を含む。行方向及び列方向の積分画像は、以下のように定義できる：

ここで、ｆ（ｘ，ｙ）は、入力画像、すなわち、上面視画像であり、Ｉｒ（−１，ｙ）＝Ｉｃ（ｘ，−１）＝０である。二次元の対応するものと同様に、一次元積分画像は、行又は列の画素の和を高速で算出できる：

一実施の形態において、積分画像を、長さｒのリングバッファからなる積分画像保存部１０に保存してもよい。これにより、各フレームｎにおいて、フレームｎとフレームｎ−ｋとの特徴マッチングのために、過去のフレームｎ−１、ｎ−２．．．、ｎ−ｒ＋１の表現物を読み出すことができる。

図３に示すように、前のフレームｎ−ｋと現在のフレームｎとは、領域マッチング部４に提供される。装置１の領域マッチング部４は、連続する上面視画像間の領域マッチングを行って、移動物体のグローバル運動パラメータを抽出するようになされる。変換部９は、上面視画像の一次元積分変換を行って、一次元積分画像を提供し、その一次元積分画像は、バッファ１０に保存され、その後、領域マッチング部４に使用される。本発明に係る装置１の一実施の形態において、グローバル運動パラメータは、領域マッチング部４により提供され、領域マッチング部４の出力に接続された推定部１１により選択される一式のインライアから算出される。一実施の形態において、推定部１１は、ＲＡＮＳＡＣ推定部である。装置１の算出部５は、推定部１１によって提供された移動物体のグローバル運動パラメータから、移動物体の自己運動を算出するようになされる。

以下、本発明に係る方法及び装置に用いられる自己運動推定ストラテジを詳細に説明する。

上面視画像の運動は、方向軸に沿った車両の運動による並進と、瞬間回転軸を中心とした回転と、車両の垂直運動によるワーピングという３つの成分からなる。

本発明に係る方法及び装置によれば、車両の平面運動において、運動のワーピングの成分は無視できる、と考えられる。曲がっている車両の平面運動は、図８ｂに示すように、瞬間回転軸を中心とした円形運動と説明することができる。車両の直線運動もまた、半径無限の円形運動と解釈できる。車両の円形運動の間、それぞれの上面視部分は、瞬間回転軸を中心として回転し、図８ａに示すように、外側の部分が内側の部分より長い距離を進むといったように、それぞれ異なる距離を進む。この場合、特徴／ブロックマッチングアルゴリズムのために共通のパラメータを使用すると、多くの誤ローカル運動ベクトルが生じる。例えば、あまり長い距離を進まない内側部分（図８ｂの左側の領域）に対して大きな検索領域を設けると、特徴／ブロックは、より多くの候補とマッチングされなければならず、これにより、誤マッチングの可能性が高まる。

図８ａは、異なるタイミングに対応する上面視画像（フレームｎ−１及びフレームｎ）を示す。事前の自己運動の知識なく、フレームｎにおいてフレームｎ−１（図８ａに丸印で示す）からの特徴を見出すには、大きな検索領域（図８ａに点線の四角印で示す）を使用しなければならない。

図８ｂは、車両が曲がる際の上面視領域の平面運動を示す。実線の四角は、上面視領域の初期位置を示し、点線の四角は、その新しい位置を示す。それらの上面視領域は、それぞれ異なる距離だけ進む。したがって、潜在的な誤マッチングを防止するために、一実施の形態では、各上面視領域に対してそれぞれ特徴マッチングのための検索領域を調節すればよい。

速さと精度の問題に対処するために、本発明に係る方法及び装置は、一実施の形態において、以下の要素を持つ領域マッチング手法を用いる。一つ目の要素は、各領域を独立して使用すること、すなわち、少しだけ進む部分が多く進む部分に制限されない（逆もまた同じ）ように、各上面視部分の運動を独立して計算する（図８ａに示すように）ことである。領域マッチング手法の二つ目の要素は、粗から密へのマッチング手法を用いることである。最初に、（図８に示すように）上面視部分全体を使用して、上位の並進を計算し、その後、図１１に示すように、より小さいブロックを使用して、ローカル運動ベクトルを繰り返し改良する。領域マッチング手法の三つ目の要素は、ブロックマッチングを用いることである。特徴位置として、所定の場所を使用し、四角形の画像パッチを使用して積分記述子を算出することにより、より計算が複雑な特徴点ベースの特徴抽出アルゴリズムを回避する。更に、領域マッチング手法では、制限された検索領域を用いる。図８ｂ及び図１１に示すように、ブロックと同じサイズの小さい検索領域を用いることにより、誤マッチングの可能性を排除する。

図９ａ及び図９ｂは、上位の並進による上面視領域運動の概算を示す。図９ａに示すように、並進（図中矢印で示す）により、フレームｎ−１（実線の四角）の各領域の未知の運動が概算され、これにより、点線の四角で示すように、フレームｎ−１の座標系において、次のフレームｎの領域の位置が、概算でわかる。重複領域（灰色の四角）には、両方のフレームに見られる特徴が含まれている。

図９ｂに示すように、フレームｎ−１からの特徴の場所（丸印で示す）は、フレームｎにおいて、上位の並進を用いて、概算でわかる。図８ａより小さい検索領域（図９ｂの四角印）を使用しても、特徴を正確にマッチングできる。重複領域（灰色の四角）からの特徴のみを考慮すればよい。

一実施の形態において、位相相関法を用いて、ブロックマッチングを行う。投影ベースの映像の並進運動推定の有効性は、広く証明されている。カメラ運動が速いために画像がぶれたり、独立したローカル運動が示されたりしても、確実な結果が提供される。例えば、画像サイズがＮｘＭの画像ｆ（ｘ，ｙ）について、その一次元映像は、以下のように計算できる：

画像ｆ１と画像ｆ２との間の並進ベクトルの成分が、対応する投影間のずれ（シフト）として、独立して得られる。このようなＸ１（ｘ）とＸ２（ｘ）との間のシフトΔｘは、一実施の形態において、位相相関法ＰＣＭの一次元バリアントによって算出できる。位相相関法ＰＣＭは、フーリエ変換のシフト定理を用いて、Ｘ１（ｘ）＝Ｘ２（ｘ＋Δｘ）と仮定して、行われる。位相相関法ＰＣＭでは、信号間の未知のシフトを、以下のように計算できる：

ここで、ＦＦＴとＩＦＦＴとは、順フーリエ変換と逆フーリエ変換であり、＊は、共役複素数であり、ｗ（Ｘ）は、非周期の信号による周波数アーチファクトを低減するために通常適用される信号窓関数である。信号に関する全ての演算、すなわち、乗算、除算、及び、大きさの取得を、サンプル毎に行うことができる。他方のシフト成分Δｙも、他方の投影の組Ｙ１（ｙ）とＹ２（ｙ）とを用いて、同様に算出できる。

図１０は、異なるタイミングで取得した上面視領域間のシフト推定を示す。ｆｎ−１及びｆｎは、ビデオフレームｎ−１及びｎに対応する上面視画像である。Ｙｎ−１及びＹｎは、それらの投影であり、例えば、垂直投影である。図１０の右側に示すように、投影間のシフトが、その位相相関の最大値の場所から検出される。同じ方法を、グローバル及びローカル領域マッチングの両方に使用できる。

本発明に係る方法及び装置の一実施の形態において、積分画像を用いて、位相相関法ＰＣＭを拡張することにより、投影を以下のように効率的に算出できる：

同様に、画素の四角形ブロックｇ（ｘ，ｙ），０≦ｘ１≦ｘ≦ｘ２≦Ｎ−１，０≦ｙ１≦ｙ≦ｙ２≦Ｍ−１については、以下のように算出できる：

位相相関法ＰＣＭの別の変更は、以下のような、上記の式と同等の表現によりできる：

ここで、Ｄ（Ｘ）及びＤ（Ｙ）は、以下のように、ブロック投影の正規化されたフーリエ変換を表すブロック記述子である：

これらのブロック記述子は、その後の計算で再利用できるため、有用である。送信されてくる信号ｘ１、ｘ２、ｘ３をマッチングする場合、それらの記述子Ｄ（ｘ１）、Ｄ（ｘ２）、及びＤ（ｘ３）…を算出し、図３に示すリングバッファ１０に保存できる。シフト値を算出するために、ブロック記述子をバッファ１０から読み出すことができるため、従来の正当な手法と比較して、一度のフーリエ変換とその正規化を省略できる。

位相相関法ＰＣＭによるブロックマッチングは、検索ストラテジを必要としない。特定のブロックｇ１について、単一のブロックｇ２のみが使われ、これにより、ブロックのサイズにより、シフト値の範囲が制限される。このような制限なしにローカル運動ベクトルを計算できるようにするために、本発明に係る方法及び装置は、一実施の形態において、粗から密へのストラテジを用いる。まず、図９及び図１１に示すように、上面視領域全体を用いて、上位の並進を計算し、その後、より小さいブロックを用いて、ローカル運動ベクトルを繰り返し改良する。

本発明に係る方法及び装置の好ましい実施方法では、例えば３２ｘ３２個の画素等の、重複のない小さいブロックで、繰り返しの改良が一回のみ行われる。この手法は、瞬間車両並進がそれの方向と合致することを意味する非ホロノミック運動拘束に起因する。

図１１は、本発明に係る装置１の領域マッチング部４により行われるローカル運動ベクトル計算を示す。図１１に示すように、重複領域（灰色の四角）を、規則的なブロック格子に分割できる。グローバル並進補償により、フレームｎ−１とフレームｎとのブロックの対応はすでにとれている。ブロック内のローカル並進推定により、運動ベクトルが算出される。

図１１に示すように、最終的な運動ベクトルは、グローバル運動ベクトルとローカル運動ベクトルとの和である。グローバルベクトルによって、重複領域の並進が得られることにより、フレームｎ−１（規則的な格子の実線の四角）の全てのブロックが、等しいベクトルで、新しい位置（点線の四角）に移動される。ローカル並進によって、ブロックは、予測された位置から、フレームｎ（不規則的な格子の実線の四角）における実際の位置に移動される。

上位の並進によって、重複する四角い領域が決定され、ローカル運動ベクトルは、この領域の中でのみ計算される。本発明に係る方法及び装置は、図１１に示すように、重複領域に位置する規則的なブロック格子を用いるため、その領域全体が運動推定プロセスに確実に寄与する。同一な画像領域の無益なブロックは、通常、誤った運動ベクトルをもたらす。一定の信号（ノイズまで）におけるそのようなブロックの投影は、以下の単純な限界基準を用いて、検出及び除去できる：

ここで、ｔは、閾値である。

図４は、本発明に係る装置１の領域マッチング部４内のグローバル並進推定部の一実施の形態を示すブロック図である。本実施の形態において、グローバル並進推定部は、ブロック記述子Ｄを保存する記述子保存部にアクセスする。図４に示すグローバル並進推定部は、領域投影計算及び領域記述子計算を行い、その後、ブロック記述子は、図４に示すような記述子保存部に保存される。投影相関の後、相関最大値検索が行われる。

図５は、本発明に係る装置１の領域マッチング部４内のローカル並進部の一実施の形態を示すブロック図である。図５に示すように、最初に、領域投影計算が行われ、その後、領域記述子が計算される。その後、各領域が同一かどうかを確認する。各領域が同一でない場合、投影相関が行われ、その後、相関最大値検索が行われる。各領域が同一である場合、運動がないことになる。

各上面視部分から独立して運動ベクトルを抽出した後、すべてのベクトルを用いて、グローバル運動を復元する。運動ベクトルは、独立して移動する物体により引き起こされるか、又は、不確実なブロックマッチングに起因するアウトライアを含んでいることがよくある。アウトライアは、例えば、道路の脇に立っている柱によって引き起こされる。映像におけるグローバル運動を復元する従来の方法は、各運動ベクトルに運動モデルのロバストフィッティングを行うことである。本発明に係る方法及び装置の一実施の形態において、純粋な並進モデルと回転並進モデルとからなる２つの自己運動モデルを使用してもよい。本発明に係る方法及び装置によれば、インライアの数を最大にする方のモデルを、最終結果として選択することができる。一実施の形態において、図３に示すＲＡＮＳＡＣ推定部１１は、ランダムに選択したベクトルから算出した運動パラメータと合致するインライアを効果的に選択することができる。各運動モデルには、最小サイズのサンプルが用いられる。すなわち、純粋な並進には、１個のベクトルを用い、回転並進には、２個のベクトルを用いる。

平面運動モデルが用いられ、路面が既知の距離及び方向に位置しているため、使用されるモデルフィッティングアルゴリズムでは、大きなアウトライア物体は認識されなくてもよい。このような場合、道路の運動ベクトルと、自己運動の出力パラメータを歪める可能性のある非道路の運動ベクトルとに、モデルをフィットさせる。このような状況は、例えば、縁石と、路面の上空にある歩道橋とがある状況である。歩道橋の運動ベクトルに関して、上面視画像の片側に、より大きな運動ベクトルが集中し、これは、図８ｂに似た回転運動としても解釈されうる。ＲＡＮＳＡＣ推定部１１は、その運動ベクトルをオーバーフィットし、より大きな回転成分を出力する可能性がある。一実施の形態において、そのようなモデルと違う物体は明確に検出され、それの運動ベクトルは、運動推定から排除される。例えば、縁石の検出は、適用されたアルゴリズムで行うことができる。例えば、車両等の移動物体が、直線に沿って移動しているが、縁石があるせいで、推定された自己運動がそれた場合、歩道橋のより大きな運動ベクトルは、回転運動と解釈されうる。縁石の領域は、対応する搭載ビデオカメラ２の電源を切ることにより、処理から排除することができる。一実施の形態において、縁石が、対応するシステムにより自動的に検出され、その領域が、自己運動計算から排除される。

一実施の形態において、上面視画像間の上位の並進は、位相相関法ＰＣＭを用いて、例えば、図３に示す装置１の領域マッチング部４内のグローバル並進部により、計算できる。この計算ステップは、上面視領域の各組に対して行われ、現在のフレームｎに関して、積分画像を用いて、領域全体の投影が計算される。その後、領域記述子が計算され、後で使用するために、グローバル並進推定部に保存される。前のフレームｎ−１の領域記述子は、読み出すことができ、領域投影間の位相相関が、グローバル並進推定部によって行われる。最後に、位相相関曲線の位置が検索されることにより、領域間の水平及び垂直のシフトが得られる。

重複領域から有益なブロックが選択され、ＰＣＭを用いてローカル運動ベクトルが計算される。位相相関値の低い運動ベクトルは、領域マッチング部４のローカル並進部により、拒絶される。この処理は、図５にも示されており、図４に示すグローバル並進推定と似ており、図４に、領域が同一かどうかを確認する有益ブロック選択ステップを加えたものである。

上面視部分のグローバル並進は、ローカル運動ベクトルによりまとめられて、最終的な運動ベクトルが得られる。ＲＡＮＳＡＣ推定部１１は、全ての上面視部分の運動ベクトルに対して推定を行い、アウトライアを検出する。推定部１１は、全てのＲＡＮＳＡＣインライアを用いて、グローバル運動パラメータの推定を行う。

他の実施の形態において、縁石仮説又は垂直な物体位置等の、検出部からの入力があってもよく、これにより、非道路領域の運動ベクトルを排除してもよい。本実施の形態において、図３に示すように、検出部１２が提供される。更に、他の実施の形態において、グローバル運動変換を適用して、上面視部分間の重複領域を再推定してもよい。これは、図３に示す領域マッチング部４内の予測部により行われる。上面視画像の平面運動のマトリクスを復元した後、それの逆が、移動物体の自己運動を表している。

本発明の別の側面に係る方法及び装置は、２個の近くの物体位置間の二次元変換の測量的パラメータを、その位置にある搭載カメラ２−ｉで撮影したビデオフレームを使って、予測することができる。本発明に係る方法及び装置は、多くのコンピュータの計算リソースを占有することなく、確実かつ早い推定を行える、という利点を有する。

一実施の形態において、搭載ビデオカメラ２−ｉは、単眼カメラである。したがって、本発明に係る方法では、より高価なステレオカメラの代わりに、単眼カメラを使用できる。一実施の形態において、本発明に係る方法及び装置では、たった２枚のビデオフレームから自己運動パラメータが計算されるため、ローカル並進及びグローバル並進の推定のために、計算が複雑なマルチフレームＳｆＭ又はＳＬＡＭアルゴリズムを使用しなくて済む。

本発明に係る方法及び装置では、直接的な画像登録は行われないため、計算が複雑な反復的画像ワーピングの手法を使用しなくて済む。

更に、本発明に係る方法及び装置では、適応するカメラを何台使用してもよいため、異なる角度の視覚的データを融合させることにより、予測されるパラメータの品質が向上する。異なる搭載カメラ２−ｉのカメラ画像間に、重複領域がなくてよい。したがって、移動物体に既に備わっている現存のサラウンドビューカメラシステムを使用できる。

本発明に係る方法及び装置では、路面又は面の式が、各搭載カメラの座標系において、移動物体の付近にある、と想定されている。これは、面上のいかなる三次元点Ｐ＝（Ｘ，Ｙ，Ｚ）もが、カメラセンサの平面に投影されることにより、それの画素座標ｐ＝（ｘ，ｙ）が得られる、ということを意味する。これは、一実施の形態において、搭載ビデオカメラの外部及び／又は内部キャリブレーションにより、達成される：

ここで、Ｒｃは、路面に対するカメラセンサ平面の回転の３ｘ３マトリクスであり、ｔｃは、車両の座標系の原点に対するカメラ中心の並進であり、Ｋｃは、カメラ中心から画素までの線をこのセンサにマッピングする内部キャリブレーション関数である。ピンホールカメラの場合、これは、上三角行列との積である。魚眼カメラの場合、これは、非線形多項式関数である。

一実施の形態において、車両の用途において、水平な路面Ｚ＝０に対するカメラ２−ｉのキャリブレーションを行うのが好適である。運転中、この条件が、車両の下及びその付近に保たれるため、このような道路の部分が、カメラ２−ｉにより観測可能となる。これは、一実施の形態において、下向きカメラ（例えば、標準的な後方ビュー駐車カメラ）によっても、広視野角のサラウンドビュー魚眼カメラによっても、達成できる。

本発明に係る方法及び装置では、物体の運動が平面的である、と想定されている。したがって、動作の垂直成分は、モデル化されないし、予測されない。この想定により、道路の突起（スピードバンプ）のサスペンションの効果が、使用されるモデルから、排除される。垂直の三次元座標を排除することにより、この方法の出力は、２つの位置Ｐｋ−１及びＰｋの間の二次元変換Ｔｋによって表される：
Ｐｋ＝ＴＫＰＫ−１
ここで、Ｐｋは、同一の座標における［Ｘｋ Ｙｋ １］Ｔであり、変換マトリクスＴＫは、二次元回転Ｒｋと並進ｔｋとからなる：

この式において、位置Ｐｋを、位置Ｐｋ−１のローカル座標系において示すことができる。いかなる２つの位置Ｐｋ−ｍ及びＰｋの間にも、同様の変換をすることができる：

車両の運動の間、車両の点Ｐ０の測量的軌道におけるこれらの位置が、移動物体（車両）のローカル座標系において、与えられる。図６は、車両の駐車操作の間の、本発明に係る方法による予測される自己運動の一例を示す。図６において、車両の外形が、上面視投影を用いた四角によって、示されている。初期の車両の四角Ｐ０は、自己運動マトリクスＴｋ，ｋ−１により変換される。従来より、フレームからフレームへのパラメータ変換を行う方法は存在する。この従来の方法と、本発明に係る方法との違いは、従来の方法では、カメラ運動の測量的情報が提供されないことである。従来の方法では、画素フィールドの運動のみが計算される。従来の直接的運動モデルフィッティング方法では、画像間の全体的なエラーを最小限に抑えることにより、運動パラメータが、繰り返し改良される。このような従来の方法は、計算が複雑である。更に、このような方法は、ローカル最小問題を抱え、パラメータの適切な初期近似が必要となる。

ローカル運動に基づく方法は、特徴マッチングとブロックマッチングという２種類に分割できる。特徴マッチングは、特徴点抽出に基づき、２つの点の組の間の一致を見出す。通常、特徴点を中心とした画像ウィンドウ間の最大相関係数によって、特徴の一致やローカル運動ベクトルが決定される。

これに対して、ブロックマッチングは、ビデオフレームを、同じ大きさの小さいブロックに分割することに基づく。検索ウィンドウ内で、一方のフレームの中から、他方のフレームの中のブロックと最もマッチングするブロックを検索する。

本発明の一実施の形態では、計算効率の点で、ＰＣＭに基づいたブロックマッチングの方法が用いられる。他の実施の形態では、特徴マッチング方法又はブロックマッチング方法と特徴マッチング方法との組み合わせが用いられる。

ローカル運動ベクトルに基づいた運動推定方法の主な課題は、速さ、ロバスト性、及び、精度である。運動ベクトルの数は、数百個であってもよい。したがって、推定方法に十分な速さをもたらすリアルタイム性能のために、効率的な実施が必要とされる。また、一式の運動ベクトルには、通常、独立して移動する物体又は不確実なマッチングに起因する複数のアウトライアが含まれる。これらは、グローバル運動と矛盾するため、運動パラメータを計算する前にＲＡＮＳＡＣ推定部１１等のロバストな推定部により特定されることにより、その方法のロバスト性を向上させることが必要である。

全ての運動ベクトルが密集している場合、小さいエラーがより長い距離にわたって広がっている場合よりも、そのようなエラーが多く予測される。したがって、運動パラメータの高精度の推定には、運動ベクトルが画像を完全に網羅することが必要である。

車両等の移動物体の自己運動は、その移動物体の下の面の反転運動である。移動物体の下の面の運動は、移動物体に近くて、移動物体の適応する搭載カメラ２で写せる路面上で推定できる。

本発明に係る方法では、測量的運動パラメータは、特別に作成される面の測量的画像から復元される。この測量的画像は、上面視ともいい、一実施の形態において、各面上のサンプル間に既知の世界距離を持った規則的な格子を作った後、各サンプルをカメラ画像に投影することで画素値を得ることにより、作成される。

連続する上面視画像間の特徴マッチングにより、路面運動又は面運動の多数の仮説が提供される。仮説には、正しい（インライア）ものもあれば、誤った（アウトライア）ものもある。アウトライアは、通常、独立して移動する物体又は不確実な特徴マッチングに起因する。一実施の形態において、好ましくはＲＡＮＳＡＣ推定部のような標準的なロバストな推定部により選択された一式のインライアから、面運動、すなわち、並進と回転、の正確なパラメータが算出できる。

（瞬間車両並進がそれの方向と合致することを意味する）非ホロノミック運動拘束を考慮して、上面視画像上のローカルな特徴の運動は、大きい上面視領域から推定されるグローバル並進ベクトルと、特徴の周りの小さい領域から推定されるローカル並進ベクトルとの和に分解でき、これにより、異なるそれぞれのフレームにおける小さい領域は、推定されるグローバル並進と合致する。したがって、画像の並進及び回転におけるより計算が複雑な特徴マッチングは、本発明に係る２段階の並進推定による方法に置き換えられる。この方法は、全ての利用可能な情報を用いた大きい領域からの直接的な運動推定と、可能性のある非道路物体を排除した特徴に基づいた推定という２つの相反する手法の特性と同様の特性を持つ。

本発明で用いられるグローバル及びローカル並進推定部は、入力領域のサイズが異なるのみで、同じ推定原理を用いることができる。一実施の形態において、大きい領域間の並進推定を速く行うためには、画像投影に基づいた方法が好ましい。二次元画像領域を、垂直投影と水平投影とからなる２つの一次元投影に分割する。ここで、これらの投影は、それぞれ、領域の行と列とに沿った画素の和である。領域間の二次元並進は、それの一次元投影間の独立した並進と推定される。好ましくは、一次元投影間のシフトは、一次元位相相関法ＰＣＭにより計算される。上述の実施により、二次元画像マッチングのタスクが、一次元信号マッチングの２つのタスクに置き換えられ、これにより、必要な計算の回数がＯ（ＮＭｌｏｇ（ＮｘＭ））からＯ（Ｎｌｏｇ（Ｎ））とＯ（Ｍｌｏｇ（Ｍ））（Ｎ，Ｍは画像サイズ）とに、顕著に減少する。

領域投影の計算を速く行うには、一実施の形態において、元の上面視画像は、一次元積分変換部９により前処理される。これにより、垂直及び水平画像からなる２つの積分画像ができる。水平積分画像の各画素は、現在の画素を含む行の全ての画素の和であり、垂直積分画像の各画素は、現在の画素を含む列の全ての画素の和である。積分画像から、領域投影が、領域境界画素のみから計算されるため、必要な計算の数が顕著に減少される。

一実施の形態において、任意に、不確実なマッチングを事前に除去するには、領域投影における最小及び最大値を計算し、それらの値の間の絶対差が閾値未満かをチェックすることにより、同一の領域を処理から排除すればよい。

更に、他の実施の形態において、非ホロノミック運動拘束を適用することにより、グローバル並進推定の代わりに、既に推定されたフル運動モデルを適用することによって、路面運動を繰り返し改良してもよい。繰り返し処理を行う理由は、グローバル並進の代わりにより高精度な運動近似方法を用いることにより、インライアの数が増加する可能性があるからである。インライアの数が増加することにより、より高精度な運動推定が可能となる。

更に、一実施の形態において、さらに精度を向上するには、縁石検出部又は垂直物体検出部等の他のコンピュータビジョンアルゴリズムの出力を取ることにより、分析から非道路領域を排除すればよい。

本発明に係る方法及び装置は、少なくとも２枚のフレームから測量的自己運動が得られる、という利点を有する。本方法及び装置は、現存するサラウンドビューシステムの処理パイプラインへの統合に適している。このような従来のシステムは、ユーザインタフェースのコンポーネントとして、上面視画像という表現物を既に有している。したがって、本発明に係る方法を、現存するユーザの画面上で動作させ、例えば、予測される車両の軌道等の視覚的情報を、より多く運転者に提供することができる。本発明に係る方法は、複雑な計算を削減しているため、低複雑度かつ低リソースの計算手段により、実現できる。この複雑な計算の削減は、画像マッチング演算を、計算が複雑な二次元ドメインから、一式の一次元ドメインに変えることにより、達成される。一式の一次元ドメインにおいては、一次元アルゴリズムは、固定された画像変換を用い、周波数ドメインの中での高速の信号マッチングアルゴリズムを用いることにより、標準的で広く使用されている二次元アルゴリズムに必要な時間のうちのほんのわずかな時間しか要しない。固定された画像変換を用いることにより、各画素の上面視投影が、初期化ステップで計算され、アルゴリズムの実行中、変わらない。全ての投影は、固定されたポイントフォーマットでルックアップテーブルに保存できる。オンラインでの実行中は、高速の整数のみのアルゴリズムを用いて、投影された座標を読み出し、上面視画像の変換を計算する。周波数ドメインの中での高速の信号マッチングアルゴリズムを用いることにより、フーリエ変換の最速の実行が２のべき乗となるように、信号長が調節できる。

本発明に係る方法及び装置は、特に、平面上を移動する車両又はロボット等の、面上を移動する物体の自己運動の推定に使用することができる。

１ 装置
２，２−１，２−２，２−３，２−４ 搭載カメラ
３ 生成部
４ 領域マッチング部
５ 算出部
６−１，６−２，６−３，６−４ スイッチ
７ 上面視変換部
８ カメラキャリブレーション部
９ 一次元積分変換部
１０ リングバッファ
１１ ＲＡＮＳＡＣ推定部
１２ 検出部

Claims (14)

1. 面上を移動する物体の自己運動を推定する方法であって、
   （ａ）前記面上を移動する前記物体の少なくとも１台の車載ビデオカメラにより提供されるビデオフレームに基づいて、少なくとも２枚の、該面の上面視画像を生成し（Ｓ１）、（ｂ）連続する上面視画像間で、領域マッチングを行うことにより、前記移動物体のグローバル運動パラメータを抽出し（Ｓ２）、
   （ｃ）前記移動物体の前記抽出されたグローバル運動パラメータから、前記移動物体の前記自己運動を算出する（Ｓ３）、方法において、
   上面視画像上の特徴の運動は、大きい上面視領域の全てのブロックから推定されるグローバル並進ベクトルと、前記特徴の周りの小さい領域としての前記全てのブロックのそれぞれのブロックごとから推定されるローカル並進ベクトルとの和に分解される当該方法。
2. 連続する上面視画像間での前記領域マッチングは、特徴マッチング又はブロックマッチングからなることを特徴とする請求項１に記載の方法。
3. 前記上面視画像は、一次元積分変換を行うことにより処理されて、前記領域マッチングに使用される一次元積分画像が提供されることを特徴とする請求項１又は２に記載の方法。
4. 前記移動物体の前記抽出されたグローバル運動パラメータは、前記移動物体の並進と回転とからなることを特徴とする先行請求項１乃至３のうち一項に記載の方法。
5. 前記上面視画像は、前記面上のサンプル間に所定の距離を持った規則的な格子を作り、各サンプルをカメラ画像に投影することで画素値を得ることにより、形成される、前記面の測量的上面視画像からなることを特徴とする先行請求項１乃至４のうち一項に記載の方法。
6. 前記グローバル運動パラメータは、前記領域マッチングにより提供され、推定部により選択される一式のインライアから算出されることを特徴とする先行請求項１乃至５のうち一項に記載の方法。
7. 前記物体は、平面上を移動する車両からなることを特徴とする先行請求項１乃至６のうち一項に記載の方法。
8. 面上を移動する物体の自己運動を推定する装置（１）であって、
   −前記物体に取り付けられ、前記面のビデオフレームを提供する少なくとも１台の車載ビデオカメラ（２）と、
   −ビデオフレームに基づいて前記面の合成上面視画像を生成する生成部（３）と、
   −連続する上面視画像間で、領域マッチングを行うことにより、前記移動物体のグローバル運動パラメータを抽出する領域マッチング部（４）と、
   −前記移動物体の前記抽出されたグローバル運動パラメータから、前記移動物体の前記自己運動を算出する算出部（５）とを備える、装置において、
   上面視画像上の特徴の運動は、大きい上面視領域の全てのブロックから推定されるグローバル並進ベクトルと、前記特徴の周りの小さい領域としての前記全てのブロックのそれぞれのブロックごとから推定されるローカル並進ベクトルとの和に分解される当該装置。
9. 上面視画像の一次元積分変換を行うことにより、バッファ（１０）に保存され、前記領域マッチング部（４）による領域マッチングに使用される一次元積分画像を提供する変換部（９）を備える、請求項８に記載の装置。
10. 前記グローバル運動パラメータは、前記領域マッチング部（４）により行われる前記領域マッチングにより提供され、推定部（１１）により選択される一式のインライアから算出されることを特徴とする請求項８又は９に記載の装置。
11. 前記推定部は、ＲＡＮＳＡＣ推定部であることを特徴とする請求項１０に記載の装置。
12. 前記車載ビデオカメラ（２）は、単眼カメラであることを特徴とする先行請求項８乃至１１のうち一項に記載の装置。
13. 先行請求項８乃至１２のうち一項に記載の装置（１）を備える、面上を移動可能な車両。
14. 前記車両は、路面上を移動する自動車又は平面上を移動するロボットからなることを特徴とする請求項１３に記載の車両。

Images