JP7205049B2 - 移動ベクトル算出方法及び移動ベクトル算出装置 - Google Patents

Description

本発明は、移動ベクトル算出方法及び移動ベクトル算出装置に関する。

撮像画像から物体の移動ベクトルを算出する技術として、例えば特許文献１に記載の移動物体検出装置が知られている。
この移動物体検出装置は、自機の速度と、自機のヨーレートと、立体物の距離データと、立体物の画像上の位置とから、見かけ成分フローを算出し、オプティカルフローと見かけ成分フローの差から三次元移動成分フローを算出する。

特開２００６－１３４０３５号公報

自車両の速度とヨーレートのみを使って、撮像画像上での物体の移動量から自車両の運動成分を取り除く補正を行うと、自車両のピッチング運動やローリング運動が、物体の移動ベクトルの算出に影響を与えるという課題があった。
本発明は、撮像画像から算出される物体の移動ベクトルに与える自車両の運動成分の影響を抑制することを目的とする。

本発明の一態様に係る移動ベクトル算出方法は、自車両に搭載された画像センサにより第１時刻及び第１時刻より後の第２時刻において自車両周囲の画像を取得し、第１時刻の画像中の特徴点と、第１時刻の特徴点に対応する第２時刻の画像中の特徴点とを抽出し、第１時刻の特徴点の３次元座標を取得し、画像センサの３軸並進運動及び３軸回転運動を検出し、検出した３軸並進運動及び３軸回転運動に基づいて、第１時刻の特徴点の３次元座標を、第２時刻における画像センサの画像の２次元座標系へ投影し、第１時刻の特徴点を２次元座標系へ投影した点から第２時刻の特徴点までの移動ベクトルを算出する。

本発明の一態様によれば、撮像画像から算出される物体の移動ベクトルに与える自車両の運動成分の影響が抑制される。

実施形態の移動ベクトル算出装置を備える運転支援装置の概略構成例を示す図である。 実施形態の移動ベクトル算出装置の機能構成の一例を示すブロック図である。 座標系変換部の処理の説明図である。 距離方向の誤差の説明図である。 距離方向の誤差により生じる移動ベクトルの誤差の説明図である。 撮像画像の２次元座標系へ投影された移動物体の座標の説明図である。 撮像画像の２次元座標系へ投影された静止物体の座標の説明図である。 移動物体の移動ベクトルの方向と自車両の進行経路の方向との関係の説明図である。 警戒範囲の一例の説明図である。 実施形態の移動ベクトル算出方法の一例のフローチャートである。

以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構成、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（構成）
図１を参照する。運転支援装置１は、運転支援装置１を搭載する車両（以下、「自車両」と表記する）の周囲の走行環境に基づいて自車両を自動的に操舵したり停止させる走行支援制御、又は運転者が関与せずに自車両を自動で運転する自動運転制御を行う。運転支援装置１は、移動ベクトル算出装置１０と、車両挙動センサ群２０と、車両走行コントローラ３０と、車両制御アクチュエータ群４０を備える。

移動ベクトル算出装置１０は、自車両周囲の画像から移動物体を検出し、検出結果に応じて警報信号を発生する。移動ベクトル算出装置１０は、周囲環境センサ群１１と、コントローラ１２と、ユーザインタフェース装置１３を備える。なお、図１においてユーザインタフェース装置を「ユーザＩ／Ｆ装置」と表記する。
周囲環境センサ群１１は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。

例えば周囲環境センサ群１１は、ステレオカメラ５０と、レーダ５１（例えば、レーザレーダ）を備える。
ステレオカメラ５０は、自車両周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ５０は、ステレオカメラ５０の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第１画像センサ５２と、第２画像センサ５３を備える。例えば、第１画像センサ５２はステレオカメラ５０の撮影方向を向いたときに左側に配置され、第２画像センサ５３は右側に配置されてよい。このステレオカメラ５０によって、自車両周囲に存在する物体の有無、自車両と物体との相対位置及び相対距離を、自車両の周囲環境として検出する。また、このステレオカメラ５０では、物体の相対位置や相対距離を連続的に検出し、加えて、自車両の挙動（移動距離、移動速度等）を用いることで、物体が移動物体であるか否かを検出することができる。

レーダ５１は、自車両周囲に存在する物体の有無、自車両と物体との相対位置及び相対距離を、自車両の周囲環境として検出する。
周囲環境センサ群１１は、検出した周囲環境の情報である周囲環境情報をコントローラ１２と車両走行コントローラ３０へ出力する。
コントローラ１２は、ステレオカメラ５０が生成したステレオ画像から移動物体を検出する処理を実行する電子制御ユニットである。コントローラ１２は、プロセッサ５５と、記憶装置５６等の周辺部品を含む。プロセッサ５５は、例えばＣＰＵ（Central Processing Unit）、やＭＰＵ（Micro-Processing Unit）であってよい。

なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ１２を実現してもよい。例えば、コントローラ１２はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。
記憶装置５６は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置５６は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。

記憶装置５６には、プロセッサ５５上で実行されて、移動物体を検出する処理をコントローラ１２に実行させるためのコンピュータプログラムが記憶される。
コントローラ１２は、ステレオカメラ５０が生成したステレオ画像から抽出された特徴点の移動ベクトルを検出し、閾値以上の長さの移動ベクトルを有する特徴点を移動物体と判定する。コントローラ１２は、移動物体の位置及び移動ベクトルの少なくとも一方に応じて警報信号を生成する。
コントローラ１２は、警報信号をユーザインタフェース装置１３と車両走行コントローラ３０へ出力する。

ユーザインタフェース装置１３は、コントローラ１２から出力された警報信号を運転者に呈示する。ユーザインタフェース装置１３は、音信号である警報信号を運転者に呈示するスピーカやブザーなどの発音装置であってもよく、光信号である警報信号を運転者に呈示するディスプレイ装置やランプなどの視覚信号出力装置であってもよい。
また、ユーザインタフェース装置１３は、自車両のステアリングホイールへ振動を付与するバイブレータや、アクセルペダルに反力を与えるアクチュエータであってもよく、これら振動や反力を警報信号として与えてもよい。

車両挙動センサ群２０は、自車両の車両挙動を検出するセンサ群であり、車速センサ２１と、加速度センサ２２と、ジャイロセンサ２３と、操舵角センサ２４を備える。
車速センサ２１は、自車両の車輪速を検出し、車輪速に基づいて自車両の速度を算出する。加速度センサ２２は、自車両の前後方向の加速度、車幅方向の加速度及び上下方向の加速度を検出する。すなわち加速度センサ２２は、自車両の３軸並進運動方向（すなわちステレオカメラ５０の３軸並進運動方向）の加速度を検出する。
ジャイロセンサ２３は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの自車両の回転角度の角速度を検出する。すなわち、ジャイロセンサ２３は、自車両の３軸回転運動（すなわちステレオカメラ５０の３軸回転運動）の角速度を検出する。

操舵角センサ２４は、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。
これら車速、加速度、回転角速度、及び操舵角の情報を、総称して「車両挙動情報」と表記することがある。車両挙動センサ群２０は、車両挙動情報を車両走行コントローラ３０へ出力する。
車両走行コントローラ３０は、自車両の自動運転制御又は運転支援制御を行う電子制御ユニットである。車両走行コントローラ３０は、プロセッサと、記憶装置等の周辺部品とを含む。車両走行コントローラ３０のプロセッサは例えばＣＰＵやＭＰＵであってよい。

なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ３０を実現してもよい。例えば、車両走行コントローラ３０は、フィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
車両走行コントローラ３０の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ３０の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。

車両走行コントローラ３０は、周囲環境センサ群１１から出力された周囲環境情報と、車両挙動センサ群２０から出力された車両挙動情報とに基づいて車両制御アクチュエータ群４０を駆動することにより、自車両の走行支援制御又は自動運転制御を実行する。
車両制御アクチュエータ群４０は、車両走行コントローラ３０からの制御信号に応じて、自車両のステアリングホイール、アクセル開度、ブレーキ装置、トランスミッションのギアを操作して、自車両の走行を制御する。車両制御アクチュエータ群４０は、ステアリングアクチュエータ４１と、アクセル開度アクチュエータ４２と、ブレーキ制御アクチュエータ４３と、シフトアクチュエータ４４を備える。

ステアリングアクチュエータ４１は、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータ４２は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ４３は、自車両のブレーキ装置の制動動作を制御する。シフトアクチュエータ４４は、自車両のトランスミッションのギアポジションを制御する。
さらに車両走行コントローラ３０は、コントローラ１２から出力される警報信号に応じて、コントローラ１２が検出した移動物体との衝突を防止するための走行支援制御又は自動運転制御を行う。

例えば車両走行コントローラ３０は、自動ブレーキによる減速や停車、又は移動物体を回避する自動操舵を実施する。
尚、本実施形態においては、ステアリングアクチュエータ４１、アクセル開度アクチュエータ４２は、ブレーキ制御アクチュエータ４３、のうち少なくとも一つが自動で制御されている状態を自動運転とし、これらすべてのアクチュエータが手動で制御されている状態を手動運転とする。また、本実施形態においては、自動運転及び手動運転の両方にも適用することが可能である。

次にコントローラ１２の機能構成を説明する。図２を参照する。コントローラ１２は、画像補正部６１及び６２と、特徴点抽出部６３及び６４と、特徴点記録部６５と、オプティカルフロー算出部６６と、３次元座標算出部６７と、３次元座標記録部６８と、センサ運動検出部６９と、座標系変換部７０と、投影部７１と、移動ベクトル算出部７２と、移動物体検出部７３を備える。

画像補正部６１及び６２と、特徴点抽出部６３及び６４と、オプティカルフロー算出部６６と、３次元座標算出部６７と、センサ運動検出部６９と、座標系変換部７０と、投影部７１と、移動ベクトル算出部７２と、移動物体検出部７３の機能は、コントローラ１２のプロセッサ５５が、記憶装置５６に格納されたコンピュータプログラムを実行することによって実現されてよい。
ステレオカメラ５０を構成する第１画像センサ５２と第２画像センサ５３は、自車両の周囲のステレオ画像を所定周期で連続して撮影する。以下、第１画像センサ５２の撮像画像を「第１画像」と表記し、第２画像センサ５３の撮像画像を「第２画像」と表記することがある。

画像補正部６１には第１画像が連続して入力され、画像補正部６２には第２画像が連続して入力される。
画像補正部６１及び６２は、それぞれ第１画像及び第２画像の補正処理を行う。例えば画像補正部６１及び６２は、第１画像及び第２画像のレンズ歪みを補正してよい。画像補正部６１及び６２は、第１画像センサ５２及び第２画像センサ５３の視野にある空間の同一点の像が、第１画像及び第２画像の同一走査線上に位置するように変換する平行化を行ってよい。

特徴点抽出部６３及び６４は、第１画像及び第２画像それぞれにおいて、他の画素と区別可能な特徴を持つ画素である特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp. 593 - 600.」に記載の手法を用いてよい。
第１画像で検出された特徴点は、特徴点記録部６５に一時的に記録されて、所定期間経過後に撮像される第１画像で検出される特徴点と間のオプティカルフローの算出に使用される。例えば所定期間は、コントローラ１２による移動ベクトルの算出処理の処理周期であってよい。

オプティカルフロー算出部６６は、第１画像で検出された特徴点のオプティカルフローを算出する。
オプティカルフロー算出部６６は、特徴点記録部６５に記憶された現時点より所定期間前の第１画像で検出された特徴点を読み出す。
以下、現時点より所定期間前の第１画像で検出された特徴点を「所定期間前の特徴点」と表記し、現時点の第１画像で検出された特徴点を「現在の特徴点」と表記することがある。なお、現時点は第２時刻の一例であり、現時点より所定期間前の時刻は第１時刻の一例である。

オプティカルフロー算出部６６は、互いに対応する所定期間前の特徴点と現在の特徴点の組み合わせをオプティカルフローとして抽出する。オプティカルフロー算出部６６は、所定期間前の特徴点と現在の特徴点とが空間中の同一の点を表す場合（すなわち所定期間前の特徴点と現在の特徴点とが空間中の同一の点の像である場合）に、これらの特徴点の組み合わせを対応する特徴点の組合せとして検出する。
オプティカルフローの抽出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。

３次元座標算出部６７は、互いに対応する第１画像の特徴点と第２画像の特徴点を探索するステレオ視差算出処理を行う。第１画像及び第２画像には、画像補正部６１及び６２による平行化処理を施されているため、空間中の同一点の像が第１画像及び第２画像の同一走査線上に位置する。したがって、１次元の探索処理により対応する特徴点を探索できる。
３次元座標算出部６７は、対応する特徴点間の視差を算出し、算出した視差と、第１画像センサ５２と第２画像センサ５３の画角、取り付け位置、光軸方向等のパラメータとに基づいて、特徴点が表す空間中の点の３次元座標を算出する。以下、特徴点が表す空間中の点を単に「特徴点」と表記する。

算出された特徴点の３次元座標は、３次元座標記録部６８に一時的に記録されて、所定期間経過後の処理に使用される。尚、本実施形態における３次元座標の原点は、任意に設定されているものであればよく、自車両を原点としてもよく、しなくともよい。自車両を原点とする場合は、自車両の重心位置や、画像センサを取り付けた位置を原点としてもよい。
以上の処理により、第１画像の特徴点ごとに、特徴点の３次元座標と、所定期間前の特徴点に対応する現在の特徴点、すなわち所定期間前の特徴点と現在の特徴点との対応関係を求めることができる。対応する所定期間前の特徴点と現在の特徴点の３次元座標の差を算出すれば、この特徴点の３次元移動ベクトルを算出することができる。

しかしながら、自車両が移動していると、算出される３次元移動ベクトルには自車両の移動量が加算される。このため、自車両の移動量を取り除く必要がある。
そこでセンサ運動検出部６９は、自車両の３軸並進運動及び３軸回転運動（すなわちステレオカメラ５０の３軸並進運動及び３軸回転運動）を検出する。３軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの回転運動である。
例えばセンサ運動検出部６９は、第１画像及び第２画像に基づいて自車両の３軸並進運動及び３軸回転運動を検出してよい。

例えば、センサ運動検出部６９は、複数の現時点の第１画像中の特徴点と、これらの特徴点にそれぞれ対応する所定期間前の特徴点の３次元座標と、に基づいて３軸並進運動及び３軸回転運動を検出してよい。
具体的には、センサ運動検出部６９は、３次元座標記録部６８に記録された所定期間前の複数の特徴点の３次元座標にそれぞれ対応する現時点の第１画像中の特徴点を、オプティカルフロー算出部６６が算出したオプティカルフローに基づいて選択する。センサ運動検出部６９は、所定期間前の複数の特徴点の３次元座標にそれぞれ対応する現時点の画像上の位置を求める。

センサ運動検出部６９は、所定期間前の複数の特徴点の３次元座標のそれぞれが、所定期間経過後に現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になる自車両の３軸並進運動及び３軸回転運動を推定する。このような推定方法としては、例えば非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法を用いてよい。
このように画像からセンサ運動を求めることの利点は、第１に、車速やヨーレートなどの車両センサから得られる情報だけでなく、ロール、ピッチ、横滑りを含む６軸運動の情報が得られることである。

第２に、外部の車両センサを用いずに自車両の運動を検出できるので、画像センサと外部の車両センサとの間の同期が不要になることである。
第３に、遠方の移動物体を検出しやすくなる。自車両が回転運動すると遠方の特徴点が大きく動く。このため、従来、遠方の移動物体自体の移動と自車両の回転運動に伴う遠方の特徴点の移動との区別が難しかった。画像からセンサ運動を求めると、自車両の回転時に遠方の特徴点が大きく動くので、自車両の回転運動に対する分解能が高くなり、検出精度が高くなる。このため、自車両の回転運動に伴う遠方の特徴点の移動を精度よく取り除くことができるので、遠方の移動物体を検出しやすくなる。例えば右折時や左折時において移動物体を検出しやすくなる。

座標系変換部７０及び投影部７１は、センサ運動検出部６９が検出した運動量に基づいて、３次元座標記録部６８に記録された所定期間前の特徴点の３次元座標を、現在の第１画像上の２次元座標系へ投影する。
具体的には、座標系変換部７０は、センサ運動検出部６９が検出した運動量に基づいて、３次元座標記録部６８に記録された所定期間前の特徴点の３次元座標を、現時点の第１画像センサ５２の位置を基準とするセンサ座標系上の３次元座標へ変換する。センサ座標系は、例えば第１画像センサ５２の所定の画素を座標原点とする座標系であってよい。
図３は、３次元空間中の自車両８０と、右前方から左へ移動する他車両８４を表す鳥瞰図である。参照符号８１は自車両８０の現時点の位置を示し、参照符号８２は所定期間前の自車両８０の位置を示し、矢印８３は所定期間前から現時点までの自車両８０の移動量を示す。

参照符号８５は、現時点の他車両８４の位置を示し、参照符号８６は所定期間前の自車両８０の位置８２から観測した他車両８４の位置を示す。
座標系変換部７０は、センサ運動検出部６９が検出した自車両の３軸並進運動及び３軸回転運動と逆方向に、所定期間前の他車両８４の位置を移動させる。例えば、矢印８７のように自車両８０の移動量８３と逆方向に移動させる。
これにより、所定期間前の他車両８４の３次元座標を現在のセンサ座標系上の３次元座標８８へ変換できる。
この３次元座標８８と現在の他車両８４の位置８５との差分を求めることで、他車両８４の絶対的な移動ベクトル８９を求めることができる。

図２を参照する。投影部７１は、現在のセンサ座標系上の３次元座標に変換された所定期間前の特徴点の３次元座標を、現在の第１画像上の２次元座標系へ投影する。
移動ベクトル算出部７２は、所定期間前の特徴点を現在の第１画像上の２次元座標系へ投影した点と、この特徴点に対応する現在の特徴点の位置との差分を求めることで、第１画像上における移動ベクトルを算出する。このように算出される移動ベクトルは、自車両の運動（すなわちステレオカメラ５０の運動）の影響を除いた移動物体の絶対的な移動量を画像に投影したベクトルである。尚、本実施形態における２次元座標系は、画像上の座標であり、画素の座標を用いてもよい。画像上の座標では、画像の縦方向を一軸とし、画像の横方向をもう一方の一軸としてもよい。

このように、第１画像の画像空間中に投影された特徴点の移動ベクトルを求めることによりステレオ法における距離方向の誤差の影響を抑えることができる。
図４Ａを参照する。参照符号９０は、ステレオ法における距離方向の誤差範囲を示す。ステレオ法による３次元位置推定では距離方向の誤差が大きくなる傾向がある。特に測定対象との距離が遠い場合に、推定した位置と本来の位置のズレが大きくなることがある。

図４Ａは、所定期間前の他車両８４の先端が位置９１であると推定され、現時点の他車両８４の先端が位置９２であると推定された場合を表している。
ここで、図４Ｂの矢印８７に示すように自車両の移動ベクトルと反対方向に位置９１を移動させて、現時点の自車両８０の位置８１から所定期間前の他車両８４を観測した位置９３を求め、他車両８４の移動ベクトル９４を算出すると、算出した移動ベクトル９４と真の移動ベクトル８９とが大きく異なることがある。また、本当は動いていない対象物に対して大きな移動ベクトルが算出されることがある。

そこで、移動ベクトル算出部７２は、第１画像に投影した２次元座標空間において移動ベクトルを算出する。ステレオ誤差は画像の画素の視線方向、すなわち視差方向（距離方向）に生じるため、画像上に投影されると誤差を含んだ点も真の点も同じ画素に投影される。
図５を参照する。位置９３は、所定期間前の他車両８４の先端位置をステレオ法で推定した位置９１を現時点の自車両８０の位置８１から観測した位置へ移動させた位置であり、位置９６は真の先端位置を現時点の自車両８０の位置８１から観測した位置へ移動させた位置である。

２点鎖線９７は、現時点の自車両８０の位置８１から位置９３を見る視線を示し、１点鎖線９８は、位置９６を見る視線を示し、２点鎖線９９は、ステレオ法で推定した現時点の他車両８４の先端位置９２及び真の先端位置を見る視線を示す。
平面１００は、第１画像の２次元平面を模式的に示す。ステレオ法で推定した所定期間前の他車両８４の先端位置９３は位置１０１に投影され、所定期間前の真の先端位置９６は位置１０２に投影され、ステレオ法で推定した現時点の他車両８４の先端位置９２及び真の先端位置は位置１０３に投影される。

図５に示されるとおり、ステレオ法で推定した現時点の他車両８４の先端位置９２は、ステレオ誤差が発生しても真の先端位置と同じ位置１０３に投影される。
所定期間前の他車両８４の推定位置９３は、自車両８０の移動に伴う視線のズレに起因して、真の先端位置の投影位置１０２と異なる位置１０１に投影されるがその差は非常に小さくなる。
このため、３次元空間中ではステレオ誤差の影響で誤った３次元移動ベクトルが算出されるケースについても、画像上で求めた移動ベクトル１０４は、真の座標から求まる移動ベクトルとほぼ同じになる。

図６を参照する。静止物体についてはステレオ誤差が発生しても画像上では移動ベクトルが０になる。このため移動物と静止物の判断ができる。
図２を参照する。移動物体検出部７３は、移動ベクトル算出部７２が算出した移動ベクトルに基づいて、第１画像中の移動物候補を判定する。
例えば移動物体検出部７３は、閾値Ｌｔ以上の長さの移動ベクトルを有する特徴点を移動物候補と判定して、この特徴点に移動物候補フラグを付加する。
さらに移動物体検出部７３は、複数の移動物候補の特徴点間の離間距離が閾値Ｄｔ以下であるとき、これら複数の移動物候補の特徴点を同一の移動物体としてラベリングすることにより、移動物体を検出する。

移動物体検出部７３は、検出した移動物体の位置及び移動ベクトルの少なくとも一方に応じて警報信号を生成する。
図７Ａを参照する。例えば、移動物体検出部７３は、同一の移動物体としてラベリングされた特徴点群の平均移動ベクトル１２０を算出する。移動物体検出部７３は、平均移動ベクトル１２０が自車両８０の進行経路１２１上へ向かっている場合、すなわち平均移動ベクトル１２０の延長線が自車両８０の進行経路１２１と交差する場合に、警報信号を発生させる。

図７Ｂを参照する。例えば、移動物体検出部７３は、同一の移動物体としてラベリングされた特徴点群の重心１３０（または特徴点群の分布中心）が、自車両８０の車速に応じた警戒範囲１３１内に存在する場合に警報信号を発生させる。
例えば、警戒範囲１３１の大きさは自車両８０の車速に応じて変化してよい。例えば自車両８０の車速が高いほど警戒範囲１３１は大きくてよい。
例えば、自車両８０から警戒範囲１３１の先端までの長さＬが自車両８０の車速に応じて変化してよい。自車両８０の車速が高いほど長さＬは長くてよい。
例えば、警戒範囲１３１の方位角範囲θ（または警戒範囲１３１の幅）は自車両８０の車速に応じて変化してよい。自車両８０の車速が高いほど方位角範囲θ（又は幅）は大きくてよい。

（動作）
次に、移動ベクトル算出装置１０の動作を説明する。図８を参照する。
ステップＳ１においてステレオカメラ５０は、自車両周囲のステレオ画像を所定の周期で取得する。画像補正部６１及び６２は、ステレオ画像に含まれる第１画像及び第２画像の補正処理をそれぞれ行う。
ステップＳ２において特徴点抽出部６３及び６４は、第１画像及び第２画像それぞれにおいて特徴点を抽出する。
ステップＳ３において特徴点抽出部６３及び６４は、検出した特徴点を特徴点記録部６５に記録する。
ステップＳ４においてオプティカルフロー算出部６６は、第１画像で検出された特徴点のオプティカルフローを算出する。

ステップＳ５において３次元座標算出部６７は、互いに対応する第１画像の特徴点と第２画像の特徴点を探索するステレオ視差算出処理により特徴点の３次元座標を算出する。
ステップＳ６において３次元座標算出部６７は、算出した３次元座標を３次元座標記録部６８に記録する。
なお、ステップＳ４のオプティカルフローの算出より先にステップＳ５及びＳ６の３次元座標の算出及び記録を行ってもよく、ステップＳ４のオプティカルフローの算出と並列に（同時に）ステップＳ５及びＳ６の３次元座標の算出及び記録を行ってもよい。

ステップＳ７においてセンサ運動検出部６９は、自車両の３軸並進運動及び３軸回転運動（すなわちステレオカメラ５０の３軸並進運動及び３軸回転運動）を検出する。
ステップＳ８において座標系変換部７０は、３次元座標記録部６８に記録された所定期間前の特徴点の３次元座標を、現在のセンサ座標系上の３次元座標へ変換する。
ステップＳ９において投影部７１は、現在のセンサ座標系上の３次元座標に変換された所定期間前の特徴点の３次元座標を、現在の第１画像上の２次元座標系へ投影する。

ステップＳ１０において移動ベクトル算出部７２は、所定期間前の特徴点を現在の第１画像上の２次元座標系へ投影した点から、この特徴点に対応する現在の特徴点までの移動ベクトルを算出する。
ステップＳ１１において移動物体検出部７３は、移動ベクトル算出部７２が算出した移動ベクトルに基づいて、第１画像中の移動物候補を判定する。
移動物体検出部７３は、複数の移動物候補の特徴点間の離間距離が閾値Ｄｔ以下であるとき、これら複数の移動物候補の特徴点を同一の移動物体としてラベリングすることにより、移動物体を検出する。

（実施形態の効果）
（１）自車両に搭載されたステレオカメラ５０は、第１時刻及び第２時刻において自車両周囲の第１画像及び第２画像を取得する。特徴点抽出部６３は第１時刻の画像中の特徴点と第２時刻の画像中の特徴点とを抽出する。
３次元座標算出部６７は、第１時刻の特徴点の３次元座標を取得する。センサ運動検出部６９は、ステレオカメラ５０の３軸並進運動及び３軸回転運動を検出する。
座標系変換部７０は、３軸並進運動及び３軸回転運動の検出結果に基づいて、第１時刻の特徴点の３次元座標を、第２時刻の第１画像センサ５２の位置を基準とするセンサ座標系上の３次元座標へ変換する。投影部７１は、センサ座標系上の第１時刻の特徴点の３次元座標を第１画像センサ５２の撮像画像の２次元座標系へ投影する。

移動ベクトル算出部７２は、第１時刻の特徴点を２次元座標系へ投影した点から第１時刻の特徴点に対応する第２時刻の特徴点までの移動ベクトルを算出する。
これにより、移動体の移動ベクトルの算出における誤差を抑制することができる。このため移動体検出精度が向上する。特に、移動体検出結果を自車両の自動運転制御又は走行支援制御に利用する場合、移動体に合わせて正確に制御を実行できる。
加えて、本実施例においては、画像上で絶対オプティカルフローを算出する。これにより、本実施形態では、画像上に投影することで、画像上で自車両から特徴点までの距離誤差を抑制するため、自車両から特徴点までの距離誤差の影響を抑えることができ、移動体の移動ベクトルの算出における誤差を抑制することができる。また、本実施形態においては、移動体の移動ベクトルの算出における誤差を抑制することができるため、少ないフレーム（例えば、２フレーム）で移動ベクトルを正確に抽出することができる。

（２）センサ運動検出部６９は、複数の第１時刻の画像中の特徴点の３次元座標と、複数の第１時刻の画像中の特徴点にそれぞれ対応する第２時刻の特徴点の座標とに基づいて、ステレオカメラ５０の３軸並進運動及び３軸回転運動を算出する。
これにより、車速やヨーレートなどの車両センサから得られる情報だけでなく、ロール、ピッチ、横滑りを含む６軸運動の情報が得られる。
また、外部の車両センサを用いずに自車両の運動を検出できるので、画像センサと外部の車両センサとの間の同期が不要になる。
さらに、従来、遠方の移動物体自体の移動と、自車両の回転運動に伴う遠方の特徴点の移動との区別が難しかったところ、画像からセンサ運動を求めると自車両の回転時に遠方の特徴点が大きく動くので、自車両の回転運動の検出精度がよい。このため、自車両の回転運動に伴う遠方の特徴点の移動を精度よく取り除くことができるので、遠方の移動物体を検出しやすくなる。例えば右折時や左折時において移動物体を検出しやすくなる。

（３）第１時刻と第２時刻との差が予め決められた間隔に設定され、移動物体検出部７３は、閾値以上の長さの移動ベクトルを有する特徴点を移動物候補と判定する。これにより、正確に求めた移動ベクトルを用いて移動物候補を特定できる。
（４）移動物体検出部７３は、互いの離間距離が閾値以下の移動物候補の特徴点同士を同一の移動物体としてラベリングする。これにより正確に求めた移動ベクトルを用いて移動物候補を特定し、それを用いて移動物体を検出できる。

（５）移動物体検出部７３は、同一の移動物体としてラベリングされた特徴点群の平均移動ベクトルを算出し、平均移動ベクトルが自車両の進行経路上へ向かっている場合に警報信号を発生させる。これにより正確に求めた移動ベクトルを用いて検出した移動物体に基づいて警報信号を発生できる。このため警報信号の精度を向上できる。
（６）移動物体検出部７３は、同一の移動物体としてラベリングされた特徴点群の重心が、自車両の車速に応じた警戒範囲内に存在する場合に警報信号を発生させる。これにより正確に求めた移動ベクトルを用いて検出した移動物体に基づいて警報信号を発生できる。このため警報信号の精度を向上できる。

（７）警報信号は、音信号、光信号、ステアリングホイールに付与する振動、及びアクセルペダルに付与する反力の少なくともいずれか１つであってよい。これにより高い精度で検出した移動物体に基づく警報を運転者に提示できる。
（８）車両走行コントローラ３０は、警報信号に基づき自車両の自動運転制御又は走行支援制御を行う。これにより高い精度で検出した移動体に合わせて制御を行うことが可能になり、正確に制御を実行できる。

（変形例）
（１）自車両の車速信号と、自車両に搭載された加速度センサ２２及びジャイロセンサ２３の出力信号とに基づいて、ステレオカメラ５０の３軸並進運動及び３軸回転運動を算出してもよい。
これにより、特徴点が検出しにくい場面でも自車両の運動（すなわちステレオカメラ５０の運動）を検出できるため、移動ベクトル算出装置１０の利用シーンを拡大できる。
（２）また、特徴点までの距離をレーダ５１で検出して特徴点の３次元座標を取得してもよい。この場合、ステレオカメラ５０に代えて単眼カメラで自車両周囲の画像を取得してもよい。

１…運転支援装置、１０…移動ベクトル算出装置、１１…周囲環境センサ群、１２…コントローラ、１３…ユーザインタフェース装置、２０…車両挙動センサ群、２１…車速センサ、２２…加速度センサ、２３…ジャイロセンサ、２４…操舵角センサ、３０…車両走行コントローラ、４０…車両制御アクチュエータ群、４１…ステアリングアクチュエータ、４２…アクセル開度アクチュエータ、４３…ブレーキ制御アクチュエータ、４４…シフトアクチュエータ、５０…ステレオカメラ、５１…レーダ、５２…第１画像センサ、５３…第２画像センサ、５５…プロセッサ、５６…記憶装置、６１、６２…画像補正部、６３、６４…特徴点抽出部、６５…特徴点記録部、６６…オプティカルフロー算出部、６７…次元座標算出部、６８…次元座標記録部、６９…センサ運動検出部、７０…座標系変換部、７１…投影部、７２…移動ベクトル算出部、７３…移動物体検出部

Claims (10)

1. 自車両に搭載された画像センサにより第１時刻及び前記第１時刻より後の第２時刻において自車両周囲の画像を取得し、
   前記第１時刻の画像中の特徴点と、前記第１時刻の特徴点に対応する前記第２時刻の画像中の特徴点とを抽出し、
   前記第１時刻の特徴点の３次元座標を取得し、
   前記画像センサの３軸並進運動及び３軸回転運動を検出し、
   検出した前記３軸並進運動及び前記３軸回転運動に基づいて、前記第１時刻の特徴点の３次元座標を、前記第２時刻において前記画像センサが取得した画像の縦方向を一方の座標軸とし横方向を他方の座標軸とする２次元座標系へ投影し、
   前記第１時刻の特徴点を前記２次元座標系へ投影した点から前記第２時刻の特徴点までの移動ベクトルを算出する、
   ことを特徴とする移動ベクトル算出方法。
2. 複数の前記第１時刻の画像中の特徴点の３次元座標と、前記複数の第１時刻の画像中の特徴点にそれぞれ対応する前記第２時刻の特徴点の座標と、に基づいて、前記３軸並進運動及び前記３軸回転運動を算出することを特徴とする請求項１に記載の移動ベクトル算出方法。
3. 前記自車両の車速信号と、前記自車両に搭載された加速度センサ及びジャイロセンサの出力信号と、に基づいて、前記３軸並進運動及び前記３軸回転運動を算出することを特徴とする請求項１に記載の移動ベクトル算出方法。
4. 前記第１時刻と前記第２時刻との差が予め決められた間隔に設定され、
   閾値以上の長さの移動ベクトルを有する特徴点を移動物候補と判定することを特徴とする請求項１～３のいずれか一項に記載の移動ベクトル算出方法。
5. 互いの離間距離が閾値以下の移動物候補の特徴点同士を同一の移動物体としてラベリングすることを特徴とする請求項４に記載の移動ベクトル算出方法。
6. 同一の移動物体としてラベリングされた特徴点群の平均移動ベクトルを算出し、
   前記平均移動ベクトルが前記自車両の進行経路上へ向かっている場合に警報信号を発生させる、
   ことを特徴とする請求項５に記載の移動ベクトル算出方法。
7. 同一の移動物体としてラベリングされた特徴点群の重心が、前記自車両の車速に応じた警戒範囲内に存在する場合に警報信号を発生させる、ことを特徴とする請求項５に記載の移動ベクトル算出方法。
8. 前記警報信号は、音信号、光信号、ステアリングホイールに付与する振動、及びアクセルペダルに付与する反力の少なくともいずれか１つを含むことを特徴とする請求項６又は７に記載の移動ベクトル算出方法。
9. 前記警報信号に基づき前記自車両の自動運転又は走行支援を行うことを特徴とする請求項６又は７に記載の移動ベクトル算出方法。
10. 第１時刻及び前記第１時刻より後の第２時刻において自車両周囲の画像を取得する画像センサと、
    前記第１時刻の画像中の特徴点と、前記第１時刻の特徴点に対応する前記第２時刻の画像中の特徴点とを抽出する特徴点抽出部と、
    前記第１時刻の特徴点の３次元座標を取得し、前記画像センサの３軸並進運動及び３軸回転運動を検出するセンサ運動検出部と、
    検出した前記３軸並進運動及び前記３軸回転運動に基づいて、前記第１時刻の特徴点の３次元座標を、前記第２時刻において前記画像センサが取得した画像の縦方向を一方の座標軸とし横方向を他方の座標軸とする２次元座標系へ投影する投影部と、
    前記第１時刻の特徴点を前記２次元座標系へ投影した点から前記第２時刻の特徴点までの移動ベクトルを算出する移動ベクトル算出部と、
    を備えることを特徴とする移動ベクトル算出装置。

Images