JP5655038B2 - 移動体認識システム、移動体認識プログラム、及び移動体認識方法 - Google Patents

Description

本発明は、単視点画像を用いて移動体を認識する移動体認識システム、移動体認識プログラム、及び移動体認識方法に関するものである。

従来、車両周辺の移動体を認識して、ドライバへの報知ないし警告や車両の自動制動（以下単に「報知」という。）を行なう移動体認識システムが知られている。自車両から移動体までの距離は、ミリ波レーダ等の距離センサを用いて直接測定でき、又はステレオカメラを用いて画像処理を行なって測定できる。測定された距離を時系列に並べて分析することで、移動体の移動方向及び自車両に対する相対速度を求めることができる。そして、移動体の移動方向や自車両に対する相対速度を求めることで、その移動体が車両に衝突する可能性（危険性）を求めることができ、その危険性に基づいて報知を行なうことができる。

また、より簡易で安価な移動体認識システムとして、一系統の光学系及び撮像素子しかない単眼のカメラによって移動体を認識するシステムも知られている。このシステムは、単眼カメラによって連続的に撮影を行なうことで、時系列に並んだ複数の単視点の画像を得る。これらの複数の単視点の画像から移動体の検出を行なう技術として特許文献１に記載の技術が知られている。

特許文献１に記載の技術では、時系列に並んだ複数の単視点画像の各々から抽出された特徴点とその動きベクトル（オプティカルフロー）に基づいて、特徴点群を移動体ごとにグルーピングする。このグルーピングは、オプティカルフローの消失点への収束性と外分比のばらつきに従って行なわれる。これにより不正確に算出されたオプティカルフローが混在していても、確実な移動体の検出を行なうことができる。

特許第４９１９０３６号公報

特許文献１の技術は、オプティカルフローのアウトライアに対して頑健であるが、それでもなお稀に複数のオプティカルフローが、アウトライアであるにもかかわらず同一の消失点と外分比を許容誤差の範囲で有することがある。この場合、アウトライアを検出してしまうので、誤った報知をしてしまうことになる。

本発明は、少ない演算量でオプティカルフローのアウトライアを除去する移動体認識システムを提供することを目的とする。

本発明の移動体認識システムは、車両に設置され、連続する複数のフレームの画像を撮影するカメラと、前記複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された前記特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出部と、前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部と、前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグループ決定部とを備えた構成を有している。

この構成によれば、連結オプティカルフローを用いてアウトライアが除去されるので、演算量が少なく、かつ誤認識の少ない移動体認識を行なうことができる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、前記連結オプティカルフローの直線らしさに基づいて、前記アウトライアを除去してよい。

特徴点が複数のフレームにわたって正確にトラッキングされている場合には、複数の単オプティカルフローは、直線状に連なることになる。よって、この構成によれば、複数の単オプティカルフローを連結した場合の直線らしさを調べるという少ない演算量で有効にアウトライアを判定して除去できる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、同一の特徴点についての連結する前記単オプティカルフローの数が異なる複数の連結オプティカルフローのそれぞれの衝突時間の類似度に基づいて、前記アウトライアを除去してよい。

特徴点が複数のフレームにわたって正確にトラッキングされている場合には、連結する単オプティカルフローの数が異なる複数の連結オプティカルフローのそれぞれの衝突時間（ＴＴＣ）は互いに類似する。よって、この構成によれば、そのような複数の連結オプティカルフローのＴＴＣの類似度を調べるという少ない演算量で有効にアウトライアを判定して除去できる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、前記複数の連結オプティカルフローの各々がとり得る消失点の範囲を求め、前記消失点の範囲が他の連結オプティカルフローの消失点の範囲と重複しない連結オプティカルフローを前記アウトライアとして除去してよい。

特徴点が複数のフレームにわたって正確にトラッキングされている場合には、その特徴点の連結オプティカルフローのとり得る消失点の範囲は一致する。よって、この構成によれば、複数の特徴点どうしの連結オプティカルフローの消失点範囲の重なりを調べるという少ない演算量で有効にアウトライアを判定して除去できる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、前記連結オプティカルフロー及びその誤差範囲内のベクトルの延長線と前記画像中に定義された地平線との交点のとり得る範囲を前記消失点の範囲として求めてよい。

この構成によれば、簡易な方法で他の特徴点の情報を必要とせずに特徴点ごとの消失点を求めることができる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、前記複数の連結オプティカルフローの各々がとり得る衝突時間の範囲を求め、前記衝突時間が他の連結オプティカルフローの衝突時間の範囲と重複しない連結オプティカルフローを前記アウトライアとして除去してよい。

特徴点が複数のフレームにわたって正確にトラッキングされている場合には、その特徴点の連結オプティカルフローのとり得るＴＴＣの範囲は一致する。よって、この構成によれば、複数の特徴点どうしの連結オプティカルフローのＴＴＣ範囲の重なりを調べるという少ない演算量で有効にアウトライアを判定して除去できる。

上記の移動体認識システムにおいて、前記アウトライア除去部は、前記連結オプティカルフロー及びその誤差範囲内のベクトルの延長線と前記画像中に定義された地平線との交点のとり得る範囲を消失点の範囲として求め、前記消失点の範囲及び前記連結オプティカルフローに基づいて前記衝突時間の範囲を求めてよい。

この構成によれば、簡易な方法で他の特徴点の情報を必要とせずに特徴点ごとのＴＴＣを求めることができる。

本発明の移動体認識プログラムは、コンピュータを、車両に設置されたカメラで撮影された連続する複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出部、前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部、及び前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグループ決定部として機能させる。

この構成によっても、連結オプティカルフローを用いてアウトライアが除去されるので、演算量が少なく、かつ誤認識の少ない移動体認識を行なうことができる。

本発明の移動体認識方法は、車両に設置されたカメラで連続する複数のフレームの画像を撮影する撮影ステップと、前記複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出ステップと、前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部と、前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグループ決定ステップとを備えた構成を有する。

この構成によっても、連結オプティカルフローを用いてアウトライアが除去されるので、演算量が少なく、かつ誤認識の少ない移動体認識を行なうことができる。

本発明によれば、連結オプティカルフローを用いてアウトライアが除去されるので、演算量が少なく、かつ誤認識の少ない移動体認識を行なうことができる。

本発明の第１の実施の形態における移動体認識システムの構成を示すブロック図 本発明の第１の実施の形態における連結オプティカルフローを説明する図 本発明の第１の実施の形態における座標の定義を説明する図 本発明の第１の実施の形態における三次元空間の点群が単位時間内に並進移動する距離を示す図 本発明の第１の実施の形態における消失点を説明する図 （ａ）本発明の第１の実施の形態におけるロバスト推定のコスト関数を示すグラフ （ｂ）本発明の第１の実施の形態におけるロバスト推定の影響関数を示すグラフ 本発明の第１の実施の形態におけるアウトライアが発生しやすい画像の例を示す図 本発明の第２の実施の形態における移動体認識システムの構成を示すブロック図 本発明の第２の実施の形態における消失点範囲の算出を説明するための図 本発明の第２の実施の形態における複数の特徴点の消失点範囲を示すグラフ 本発明の第２の実施の形態における複数の特徴点のＴＴＣ範囲を示すグラフ

（第１の実施の形態）
以下、本発明の第１の実施の形態の移動体認識システムについて、図面を参照しながら説明する。図１は、本発明の第１の実施の形態の移動体認識システムの構成を示すブロック図である。本実施の形態の移動体認識システム１０１は、画像から移動体を認識するシステムである。移動体認識システム１０１は、カメラ１０、連結オプティカルフロー算出部２０、回転移動量・消失点推定部３０、背景点除去部４０、グルーピング部５０、及び結果出力部６０を備えている。なお、連結オプティカルフロー算出部２０、回転移動量・消失点推定部３０、背景点除去部４０、及びグルーピング部５０ からなる構成は、コンピュータが本発明の実施の形態の移動体認識プログラムを実行することで実現される。移動体認識プログラムは、記憶媒体に記憶されて、記憶媒体からコンピュータによって読み出されて、コンピュータで実行されてよい。

カメラ１０は、車両に搭載されて、車両の周辺を撮影する。カメラ１０は、自車両の進行方向を撮影するように、車両に設置される。カメラ１０は車両の前方を撮影するように、例えばルームミラーの裏側（前方側）に設置されてよい。車両は後退することも可能であるので、カメラ１０が車両の後方を撮影するように、例えば後ろのナンバープレート近くに設置されてもよい。カメラ１０は、一系統の光学系及び撮像素子を備えた単眼のカメラである。カメラ１０は、所定の周期で（例えば１／３０秒ごとに）連続的に撮像をして画像信号を出力する。

連結オプティカルフロー算出部２０は、カメラ１０で得られた複数のフレームの画像から、複数のフレームの画像間で互いに対応する特徴点を抽出し、特徴点ごとにオプティカルフローを算出する（J. shi and C. Tomasi, "Good features to track,", IEEE CVPR, pp. 593-600, 1994を参照）。本実施の形態ではオプティカルフローの算出アルゴリズムには、ＬＫ法を使用する（B. D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," IJCAI, pp. 674-679, 1981を参照）。

オプティカルフローの算出においては、アウトライアが少ないことが望ましい。アウトライアとは、一般には想定外の計算結果のことを指し、オプティカルフローのアウトライアとは、特に、誤って追跡された軌跡のことを指す。上記の特許文献１の技術はオプティカルフローのアウトライアに対して頑健であるが、それでもなお稀に複数のオプティカルフローが、アウトライアであるにもかかわらず同一の消失点と外分比を許容誤差の範囲で有することがある。この場合、アウトライアを検出してしまうため、危険度の計算を誤る結果となる。本実施の形態では演算量の低い、アウトライア除去方法を提供する。

オプティカルフローの精度を高めるために、本実施の形態では、互いに隣り合う２つのフレーム間のオプティカルフローを使う代わりに、隣り合うフレーム間のオプティカルフローを連続する複数フレーム分連結したものを使う。本明細書では、互いに隣り合う２つのフレーム間のオプティカルフロー、即ち、あるフレームの特徴点から当該フレームの次のフレームにおける当該特徴点と同じ（対応する）特徴点へのベクトルを「単オプティカルフロー」と呼び、複数の単オプティカルフローを連結して得られたオプティカルフロー、即ち、あるフレームにおける特徴点から、そのフレームから１以上の所定のフレーム数を隔てたフレームにおける当該特徴点と同じ（対応する）特徴点へのベクトルを「連結オプティカルフロー」と呼ぶ。

図２は、本発明の実施の形態における連結オプティカルフローを説明する図である。図２において、左の列は、カメラ１０によって連続的に取得された画像を上から順に時系列に並べたものであり、中央の列は、単オプティカルフローを示しており、右の列は、３つの単オプティカルフローを連結した連結オプティカルフローを示している。連結オプティカルフロー算出部２０は、同一の（対応する）特徴点の複数フレーム分の単オプティカルフローを連結し、連結オプティカルフローを算出する。

図２に示すように、単オプティカルフローは、隣り合う２つのフレーム間において、同一の特徴点を結ぶことで生成され、連結オプティカルフローは複数の単オプティカルフローを連結することで生成される。図２の例では、３つ（ｎ＝３）のオプティカルフローが連結されることで、連結オプティカルフローが生成されている。

回転移動量・消失点推定部３０は、連結オプティカルフローから消失点を推定する。一般的に、三次元上の点群が一定の速度で並進移動をするとき、これらの点群を透視投影した二次元の点群の移動の軌跡は、その延長線が一点で交わる特徴を持つ。この交点が消失点である。本明細書では、消失点という用語を、画像平面上の点の軌跡の延長線の交点の意味で用いる。なお、移動体が複数ある場合には、移動体ごとに消失点が推定される。

まず、以下の演算において用いる座標を定義する。図３は、本発明の実施の形態における座標の定義を説明する図である。路面が平坦なとき、カメラ１０の光軸と路面は平行であると仮定する。カメラ１０の光軸をＺ軸、鉛直下方向をＹ軸とし、Ｘ軸は右手座標系により定義する。原点（０，０，０）はカメラ１０の光学中心とする。なお、本実施の形態ではカメラ１０の光軸を路面と平行と仮定するが、カメラ１０の光軸と路面が平行でない場合においても適切な回転行列を導入することで容易に一般化が可能である。透視投影モデルを考え、画像座標は（ｘ，ｙ）＝（ｆＸ／Ｚ，ｆＹ／Ｚ）で与えるものとする。ここで、ｆはカメラ１０の焦点距離であり、既知である。

図４は、三次元空間の点群（移動体上の点）が単位時間内に並進移動する距離（点群の三次元空間内での速度）を示す図である。この速度Ｖを（ΔＸ，ΔＹ，ΔＺ） とすると、時刻ｔにおいて透視投影された画像座標 ｘ（ｔ）＝ｆ（Ｘ＋ｔΔＸ）／（Ｚ＋ｔΔＺ）、ｙ（ｔ）＝ｆ（Ｙ＋ｔΔＹ）／（Ｚ＋ｔΔＺ） は、ｔ→−∞又はｔ→∞の極限において、（ｆΔＸ／ΔＺ，ｆΔＹ／ΔＺ） に収束する。よって、消失点の二次元座標は（ｆΔＸ／ΔＺ，ｆΔＹ／ΔＺ）と与えられる。なお、ｔ→−∞収束する点群は、カメラから遠ざかる点群であり、ｔ→∞で収束する点群は、カメラに近づく点群である。

図５は、消失点を説明する図である。図５の例では、特徴点ＦＰ１〜６の連結オプティカルフローＣＯＦ１〜６の延長線が１つの点で交わっており、この点が消失点ＶＰとなる。回転移動量・消失点推定部３０は、各特徴点の連結オプティカルフローを延長して、複数の連結オプティカルフローが交わる点を探索して、それを消失点として推定する。オプティカルフローには、アウトライアや、移動体のオプティカルフローや、背景物体のオプティカルフローが混在していることを考えると、消失点の推定にはロバスト推定を適応するのが妥当である。ロバスト推定とは、はずれ値に対して頑健なパラメタ推定のことをいう。本実施の形態では、ロバスト推定として、Ｍ推定（P. J. Huber and E. M. Ronchetti, "Robust Statistice, 2nd Edition," Wiley Interscienceを参照）を適用する。

なお、例えば演算能力が制限されている等の理由で上述の技術を適応できない場合は、回転移動量・消失点推定部３０は、以下の簡易な処理により連結オプティカルフローの消失点を求めてもよい。この方法では、回転移動量・消失点推定部３０は、あらかじめカメラ１０の画像の中の地平線の位置を記録しておき、地平線と連結オプティカルフローの交点を、この点の軌跡の消失点とする。この方法は、移動体とカメラ１０が平らな地面と平行に移動しているとき、移動体の軌跡の消失点は地平線上に存在するという事実に基づいている。但し、連結オプティカルフローの傾きが小さい場合（地平線とほぼ平行である場合）、連結オプティカルフローの誤差が消失点の値を大きく変動させ得るので、連結オプティカルフローの誤差の範囲で消失点の値の範囲が大きすぎる場合には、例外的処理として、この点を検出候補から除外する。

また、回転移動量・消失点推定部３０は、カメラ１０の回転移動に起因するオプティカルフローの成分を推定して、それを連結オプティカルフローから除去する。いま、三次元の並進移動量（Ｖ_x，Ｖ_y，Ｖ_z）と回転移動量Ω＝（Ω_x，Ω_y，Ω_z）を持つカメラによって透視投影された三次元上の点（Ｘ，Ｙ，Ｚ）のオプティカルフローをｖ＝（ｖ_x，ｖ_y）とすると、このオプティカルフローｖは下式（１）で表される。

ここで、ｘ＝ｆＸ／Ｚ、ｙ＝ｆＹ／Ｚであり、ｖ_x ^r、ｖ_y ^rは、以下の式（２）で与えられるカメラ１０の回転量の一次の項からなるオプティカルフローの成分である。

式（２）からｐ_F＝（ｘ_F，ｙ_F）＝（ｆＶ_x／Ｖ_z，ｆＶ_y／Ｖ_z）と置き換えられ、奥行き成分ＺとＶ_zを消去すると、以下の式（３）が得られる。

ここで、Ｒ（ｐ_F，Ω）は、パラメタ空間内の誤差関数であり、理想状態において０をとる。式（３）は即ち、回転成分を取り除いた静止点のオプティカルフローを延長すると、画像上の１点（即ち、拡張焦点：ＦＯＥ：Focus Of Expansion）で交わることを意味している。

オプティカルフローのはずれ値や移動体の点は、一般的にはＲの値が大きいと考えられため、本実施の形態では、回転移動量・消失点推定部３０は、式（４）のＭ推定を使用する。

ここで、ρ（Ｒ）は最小値に０を持つ、Ｒ＝０に対して対称の関数である。はずれ値に対する頑健性の度合いは、影響関数ψ（Ｒ）＝∂ρ／∂Ｒによって特徴付けられる。

図６（ａ）は、ロバスト推定のコスト関数を示すグラフであり、図６（ｂ）は、ロバスト推定の影響関数を示す図である。図６（ａ）及び（ｂ）において、破線はＬ２ノルムを示し、実線はＣａｕｃｈｙ関数を示している。本実施の形態では、図６及び次式（５）で定義されるＣａｕｃｈｙの影響関数を用いている。

Ｃａｕｃｈｙの影響関数は、Ｒ＞０において単調増加関数ではなく、極値を境に減少に転じるため、誤差の大きな入力の解に対する影響を低く抑えることができる。式（５）の定数Ｃは、Ｃ＝２．３８５である。この値は、平均を０とするガウス分布の最小二乗法の９５％の効率を与えるよう設定されている。

回転移動量・消失点推定部３０は、Ｍ推定の解法として反復再重み付け最小二乗法（ＩＲＬＳ：Iteratively Reweighted Least Squares）を用いる。これは、式（４）のコスト関数を重み付き誤差の二乗和の形に変形し、最小二乗法と重み更新を解が収束するまで交互に繰り返す方法である。この重みは影響関数を用いて、ω＝ψ（Ｒ）／Ｒで与えられる。以下に、ＩＲＬＳのアルゴリズムを示す。

上記のステップ３）のリスケーリングにおける分母１．４８ｍａｄ（Ｒ）は、Ｒが正規分布に従うとき、標準偏差と等しくなるように設定されている。標準偏差の代わりに中央値絶対偏差（ｍａｄ：median absolute deviation）を用いた理由は、アウトライアの混在によるスケールの変動を小さく抑えるためである。誤差はＦＯＥ座標と回転移動量との積の形で表されるため、ステップ４）は、非線形最小二乗法となる。本実施の形態では、回転移動量・消失点推定部３０は、ニュートン法によって解を求める。回転移動量・消失点推定部３０は、求めた回転移動量に起因する成分を連結オプティカルフローから除去する。

背景点除去部４０は、連結オプティカルフローを延長した直線が許容誤差の範囲内で背景の消失点を通る場合に、その連結オプティカルフローを背景、即ち地面に対して移動しない物体として除去する。即ち、地面に対して移動する移動体は、背景とは異なる位置に消失点を有するので、そのような消失点を有する特徴点群を移動体として検出するために、背景点除去部４０は、背景の消失点を有する特徴点及びその連結オプティカルフローを除去する。

次に、グルーピング部５０について説明する。連結オプティカルフロー算出部２０によって生成されて、回転移動量・消失点推定部３０によって回転移動量に起因する成分が除去され、かつ背景除去部４０によって背景として除去された後に残った連結オプティカルフローは、アウトライアか、正しくトラッキングされた移動体上の特徴点のオプティカルフローのいずれかである。グルーピング部５０は、連結オプティカルフローを用いて、アウトライアを除去しつつ、特徴点及びその連結オプティカルフローのグルーピングを行なう。グルーピング部５０は、残った特徴点とその連結オプティカルフローに対し、再度消失点をロバスト推定する。

グルーピング部５０は、アウトライア除去部５１とグループ決定部５２とを備えている。アウトライア除去部５１は、直線らしさ判定部５１１とＴＴＣ類似判定部５１２とを備えている。以下、順に説明する。

直線らしさ判定部５１１は、連結オプティカルフローの直線らしさに基づいて、アウトライアを除去する。特徴点が正しくトラッキングされている場合、その点が三次元空間で等速直線運動をしている限り、その軌跡は直線となる。一般に、十分に短い時間間隔で移動体の位置を観測する場合、等速直線運動モデルは良い近似である。従って、複数の単オプティカルフローが直線的に並んでいるか否かを判定することはアウトライア除去に有効である。

図７は、アウトライアが発生しやすい画像の例を示す図である。図７に示すように、画像の中に樹木があり、似た形状の葉や枝を多く含む画像である場合、即ち、似通ったパターンを複数個含む画像である場合は、複数のフレームについて対応する特徴点を検出すると、本来対応しない点ＦＰ_t1、ＦＰ_t2、ＦＰ_t3、ＦＰ_t4が対応する特徴点として検出されてしまう。このような特徴点及びそれらを結ぶオプティカルフローは、アウトライアである。このとき、アウトライアとして検出された特徴点ＦＰ_t1、ＦＰ_t2、ＦＰ_t3、ＦＰ_t4の連結オプティカルフローＣＯＦを求めると、図７に示すように、連結オプティカルフローＣＯＦと各単オプティカルフローとのずれが大きくなる。

このようなアウトライアを判定して除去するために、直線らしさ判定部５１１は、各単オプティカルフローの、連結オプティカルフローに直交する成分を抽出し、そこから直進らしさの度合いを定量化し、その値と閾値とを比較することによりアウトライアの判定を行う。具体的には、直線らしさ判定部５１１は、特徴点ごとに、連結オプティカルフローを構成する各単オプティカルフローが直線的であるか否かを次の要領で判定する。

いま、ｎ連結オプティカルフローを構成する単オプティカルフローを時系列に（Ｖ_x（ｉ）， Ｖ_y（ｉ））、ｉ＝１，２，…，ｎとし、ｎ連結オプティカルフローを（Ｖ_x（１：ｎ），Ｖ_y（１：ｎ））と表記する。まず、直線らしさ判定部５１１は、連結オプティカルフローに直交する単位ベクトルを算出する。具体的には、この単位ベクトルは（Ｖ_y（１：ｎ），−Ｖ_x（１：ｎ））／ｓｑｒｔ（Ｖ_x（１：ｎ）²＋Ｖ_y（１：ｎ）²） と与えられる。

次に、ｎ連結オプティカルフローを構成する各単オプティカルフローとこの単位ベクトルの内積の絶対値を算出し、ｎ個分の値の和を取り、この値を直線らしさの指標とする。直線らしさ判定部５１１は、この直線らしさの指標をあらかじめ定めた閾値と比較し、連結オプティカルフローの直線らしさの指標が閾値よりも大きい特徴点及びその連結オプティカルフローをアウトライアとして除外する。

ＴＴＣ類似判定部５１２は、同一の特徴点についての連結する単オプティカルフローの数が異なる複数の連結オプティカルフローのそれぞれの衝突時間の類似度に基づいて、アウトライアを除去する。ＴＴＣ類似判定部５１２は、各特徴点の連結オプティカルフローに基づいて、衝突時間（ＴＴＣ：Time To Collision）を算出する。ＴＴＣとは、三次元上の点がカメラに対して接近しているとき、その点が画像平面に到達するまでの時間をいう。なお、衝突時間の算出において、画像平面は無限の広がりを持つものとする。また、点がカメラから遠ざかるときのＴＴＣは負の値を取る。

いま、連結オプティカルフローを表す二次元のベクトルをｕとし、そのｘ成分及びｙ成分をそれぞれ、ｕ_x，ｕ_yとすると、ｕ²＝ｕ_x ²＋ｕ_y ²を満たし、ｕ_xは、三次元座標Ｘ，Ｚ と速度ΔＸ，ΔＺによって下式（６）で表される。

ここで、ｆはカメラ１０の焦点距離である。速度の二乗の項は無視できるオーダーであると考えると、下式（７）を得る。

ここで、消失点のｘ座標ｘ_∞ は、時間を無限にさかのぼった（点が接近している場合）ときに収束する位置であるため、下式（８）のように表される。

ここで、ＴＴＣをΔＴと表記すると、ΔＴは、Ｚ／（−ΔＺ）で与えられる（特徴点が接近する場合は、ΔＺ＜０）。オプティカルフローのｙ成分ｕ_yについても同様の導出ができるため、下式（９）が得られる。

式（７）と式（９）を連立して解くと、下式（１０）が得られる。

ここで、ｐは特徴点の画像座標であり、ｐ_∞は点の軌跡の消失点の画像座標であり、「・」は内積演算子である。

ＴＴＣ類似判定部５１２は、各特徴点のｎ連結オプティカルフロー（Ｖ_x（１：ｎ），Ｖ_y（１：ｎ））から式（１０）を用いて衝突時間ΔＴ_n を算出する。ＴＴＣ類似判定部５１２は、同一の特徴点のΔＴ_n-1，ΔＴ_n-2，……もΔＴ_nと同様の方法で算出する。特徴点が正しくトラッキングされている場合には、その点が三次元空間で等速直線運動をしている限り、ΔＴ_n，ΔＴ_n-1，……は互いに等しくなる。上述のように、十分に短い時間間隔で移動体を観測する場合、等速直線運動モデルは良い近似であるため、ΔＴ_n、ΔＴ_n-1、……は互いに類似するといえる。ΔＴ_n，ΔＴ_n-1，……の類似が崩れている場合、それは点が誤ってトラッキングがなされた結果であり、アウトライアであると判定できる。

ＴＴＣ類似判定部５１２は、ｎ連結オプティカルフローを構成する特徴点群の各々について、衝突時間ΔＴ_n、ΔＴ_n-1、……の類似度を求めて、それを予め定めた閾値と比較し、閾値よりも小さい特徴点及びその連結オプティカルフローを仮のグループから除外する。具体的には、グルーピング部５０は、ＴＴＣのずれをＤ_j＝｜ΔＴ_n-j−ΔＴ_n｜（ｊ＝１，……，ｎ−１） と定量化し、Ｄ_j＞Ｄ_thを満たすｊが一つでもある場合、この特徴点及びその連結オプティカルフローをグループから除外する。ここで、Ｄ_thはあらかじめ定められた閾値である。

グループ決定部５２は、アウトライア除去部５１にて連結オプティカルフローがアウトライアとして除去された後に残った複数の特徴点のうち、延長された連結オプティカルフローが１つの消失点に収束する複数の特徴点を移動体上の複数の特徴点としてグルーピングする。１つのグループにグルーピングされた複数の連結オプティカルフローの特徴点は、１つの移動体の特徴点である。

グルーピング部５０は、上記のようにして、アウトライアを除去しつつ特徴点のグルーピングを行なうことで移動体を検出する。なお、グルーピング部５０は、上記の直線らしさに基づく方法、及びＴＴＣの類似度に基づく方法のいずれかのみによってアウトライアを除去してもよい。

結果出力部６０は、グルーピング部５０によるグルーピングの結果を受けて、その結果を出力する。具体的には、結果出力部６０は、カメラ１０で撮影された画像に、グルーピングされた特徴点、即ち移動体を囲う枠を重畳表示する。なお、グルーピングの結果は、車両が移動体に衝突する危険度の算出等、別の処理に利用されてもよい。

以上のように、本実施の形態の移動体認識システム１０１によれば、特徴点を抽出して連結オプティカルフローを算出し、直線らしさ判定部５１１がその連結オプティカルフローの直線らしさに基づいてアウトライアを除去するので、誤って検出された特徴点を有効に除去して移動体を認識できる。さらに、ＴＴＣ類似判定部５１２がＴＴＣの類似度に基づいてアウトライアを除去するので、これによっても誤って検出された特徴点を有効に除去して移動体を認識できる。

なお、直線らしさ判定部５１１によるアウトライアの除去は、連結オプティカルフローを算出した後のどの段階で行ってもよく、例えば、連結オプティカルフロー算出部２０の直後に直線らしさ判定部５１１によるアウトライアの除去を行ってもよい。

（第２の実施の形態）
図８は、第２の実施の形態の移動体認識システムを示すブロック図である。図８の移動体認識システム１０２において、第１の実施の形態の移動体認識システム１０１と同じ構成については、同一の符号を付して説明を省略する。本実施の形態の移動体認識システム１０２は、カメラ１０、連結オプティカルフロー算出部２０、回転移動量・消失点推定部３０、背景点除去部４０、グルーピング部５０、及び結果出力部６０を備えている。

グルーピング部５０は、第１の実施の形態と同様に、アウトライア除去部５１及びグルーピング部５２を備えている。本実施の形態のアウトライア除去部５１は、消失点範囲算出部５１３、消失点一致判定部５１４、及びＴＴＣ一致判定部５１５を備えている。消失点範囲算出部５１３は、特徴点ごとに消失点のとり得る範囲を算出する。図９は、消失点範囲の算出を説明するための図である。上述のように、消失点は、複数の特徴点のオプティカルフローをそれぞれ延長して、それらが互いに交わる点として求められるが、画像内に地平線を定義することで、オプティカルフローがその地平線と交わる点を消失点とすることもできる。

消失点範囲算出部５１３は、連結オプティカルフローｖ₀の終点を中心として所定の半径を有する円を誤差範囲Ｒとして設定し、この誤差範囲内Ｒに終点を有し、最大の傾きを持つ動きベクトルｖ_a及び最小の傾きを持つ動きベクトルｖ_bを設定する。動きベクトルｖ_a及びｖ_bをそれぞれ延長して、それぞれが地平線と交わり得る点を点ａ、点ｂとすると、消失点範囲算出部５３は、この点ｂから点ａまでの範囲を消失点範囲とする。消失点範囲算出部５１３は、特徴点ごとに、消失点範囲を算出する。

消失点一致判定部５１４は、各特徴点の消失点の範囲に基づいて、特徴点のアウトライアを判定して除去する。図１０は、複数の特徴点の消失点範囲を示すグラフである。図１０において横軸は特徴点番号であり、縦軸は消失点範囲（ｘ座標）である。消失点一致判定部５４は、消失点範囲が他の特徴点の消失点範囲と重複する特徴点をグルーピングし、グルーピングされなかった特徴点、即ち消失点範囲が他の特徴点の消失点範囲と重複していない特徴点をアウトライアと判定して、それを除去する。なお、グルーピングされる特徴点の数が所定の値（例えば、３）を下回った場合には、グループ決定部５２にてグルーピングを行わないよう、そのようなグループの特徴点はすべて除去する。

ＴＴＣ一致判定部５１５は、各特徴点のＴＴＣ範囲に基づいて、特徴点のアウトライアを判定して除去する。ＴＴＣ一致判定部５５は、消失点範囲算出部１５３にて算出された各特徴点の消失点範囲を用いて、式（１０）によって各特徴点のＴＴＣ範囲を算出する。図１１は、複数の特徴点のＴＴＣ範囲を示すグラフである。図１１において横軸は特徴点番号であり、縦軸はＴＴＣ範囲である。ＴＴＣ一致判定部５１５は、ＴＴＣ範囲が他の特徴点のＴＴＣ範囲と重複する特徴点をグルーピングし、グルーピングされなかった特徴点、即ちＴＴＣ範囲が他の特徴点のＴＴＣ範囲と重複していない特徴点をアウトライアと判定して、それを除去する。なお、グルーピングされる特徴点の数が所定の値（例えば、３）を下回った場合には、グループ決定部５２にてグルーピングを行わないよう、そのようなグループの特徴点はすべて除去する。

グルーピング部５２は、第１の実施の形態と同様に、アウトライア除去部５１にて連結オプティカルフローがアウトライアとして除去された後に残った複数の特徴点のうち、延長された連結オプティカルフローが１つの消失点に収束する複数の特徴点を移動体上の複数の特徴点としてグルーピングする。１つのグループにグルーピングされた複数の連結オプティカルフローの特徴点は、１つの移動体の特徴点である。

以上のように、第２の実施の形態の移動体認識システム１０２では、各特徴点について、連結オプティカルフローの消失点範囲を求め、さらにその消失点範囲からＴＴＣ範囲を求めて、それらの範囲が他の特徴点と重複しないものをアウトライアと判定して除去するので、誤って検出された特徴点を有効に除去して移動体を認識できる。

なお、グルーピング部５０は、消失点一致判定部５１４による消失点の一致判定、及びＴＴＣ一致判定部５１５によるＴＴＣの一致判定のいすれかのみによってアウトライアを除去してもよい。さらに、上記の第２の実施の形態の構成に加えて、第１の実施の形態の直進らしさに基づくアウトライアの除去、及び／又はＴＴＣの類似度に基づくアウトライアの除去を行ってもよい。

本発明は、連結オプティカルフローを用いてアウトライアが除去されるので、演算量が少なく、かつ誤認識の少ない移動体認識を行なうことができるという効果を有し、 単視点画像を用いて移動体を認識する移動体認識システム等として有用である。

１０１、１０２ 移動体認識システム
１０ カメラ
２０ 連結オプティカルフロー算出部
３０ 回転移動量・消失点推定部
４０ 背景点除去部
５０ グルーピング部
５１ アウトライア除去部
５１１ 直線らしさ判定部
５１２ ＴＴＣ類似判定部
５１３ 消失点範囲算出部
５１４ 消失点一致判定部
５１５ ＴＴＣ一致判定部
５２ グループ決定部
６０ 結果出力部

Claims (9)

1. 車両に設置され、連続する複数のフレームの画像を撮影するカメラと、
   前記複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された前記特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出部と、
   前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部と、
   前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を移動体上の複数の特徴点としてグルーピングするグループ決定部と、
   を備えたことを特徴とする移動体認識システム。
2. 前記アウトライア除去部は、前記連結オプティカルフローの直線らしさに基づいて、前記アウトライアを除去することを特徴とする請求項１に記載の移動体認識システム。
3. 前記アウトライア除去部は、同一の特徴点についての連結する前記単オプティカルフローの数が異なる複数の連結オプティカルフローのそれぞれの衝突時間の類似度に基づいて、前記アウトライアを除去することを特徴とする請求項１に記載の移動体認識システム。
4. 前記アウトライア除去部は、前記複数の連結オプティカルフローの各々がとり得る消失点の範囲を求め、前記消失点の範囲が他の連結オプティカルフローの消失点の範囲と重複しない連結オプティカルフローを前記アウトライアとして除去することを特徴とする請求項１に記載の移動体認識システム。
5. 前記アウトライア除去部は、前記連結オプティカルフロー及びその誤差範囲内のベクトルの延長線と前記画像中に定義された地平線との交点のとり得る範囲を前記消失点の範囲として求めることを特徴とする請求項４に記載の移動体認識システム。
6. 前記アウトライア除去部は、前記複数の連結オプティカルフローの各々がとり得る衝突時間の範囲を求め、前記衝突時間が他の連結オプティカルフローの衝突時間の範囲と重複しない連結オプティカルフローを前記アウトライアとして除去することを特徴とする請求項１に記載の移動体認識システム。
7. 前記アウトライア除去部は、前記連結オプティカルフロー及びその誤差範囲内のベクトルの延長線と前記画像中に定義された地平線との交点のとり得る範囲を消失点の範囲として求め、前記消失点の範囲及び前記連結オプティカルフローに基づいて前記衝突時間の範囲を求めることを特徴とする請求項６に記載の移動体認識システム。
8. コンピュータを、
   車両に設置されたカメラで撮影された連続する複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出部、
   前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部、及び
   前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を移動体上の複数の特徴点としてグルーピングするグループ決定部、
   として機能させることを特徴とする移動体認識プログラム。
9. 車両に設置されたカメラで連続する複数のフレームの画像を撮影する撮影ステップと、
   前記複数のフレームの画像の各々から前記複数のフレームの画像の間で互いに対応する特徴点を抽出して、隣り合うフレームの抽出された前記特徴点どうしを結ぶ複数の単オプティカルフローを連結した連結オプティカルフローを算出する連結オプティカルフロー算出ステップと、
   前記連結オプティカルフローを用いてアウトライアを除去するアウトライア除去部と、
   前記アウトライア除去部にて連結オプティカルフローがアウトライアとして除去された後に残った複数の前記特徴点のうち、延長された前記連結オプティカルフローが１つの消失点に収束する複数の特徴点を移動体上の複数の特徴点としてグルーピングするグループ決定ステップと、
   を含むことを特徴とする移動体認識方法。
   

Images