JP6939198B2 - 物体検出方法及び物体検出装置 - Google Patents

Description

本発明は、物体検出方法及び物体検出装置に関する。

特許文献１は、ステレオカメラの撮像画像から視差画像を生成し、横軸を視差画像の各画素の視差値、縦軸を視差画像の垂直方向の座標として画素の頻度を分布させたＶマップから、直線を検出することにより路面に対応する画素を抽出する方法を開示する。

特開２０１５−１７９３０２号公報

しかしながら、特許文献１は、例えばステレオカメラが先行車に近づいた場合等、画像に路面が十分映らない場合において、Ｖマップにおける直線の検出が困難となるため、路面の検出に失敗する可能性がある。

本発明は、上記問題点を鑑み、路面の検出精度を向上させることができる物体検出方法及び物体検出装置を提供することを目的とする。

本発明の一態様によれば、画像センサにより第１時刻における車両の周囲の画像を取得し、画像中の複数の特徴点を抽出し、車両から第１時刻における複数の特徴点に対応する対象までの距離を取得し、第１時刻における距離及び画像の複数の特徴点の垂直座標の関係から、第１時刻の路面平面を検出し、第１時刻から第２時刻までの間の画像センサの運動を検出し、センサの運動を用いて、第１時刻の路面平面から第２時刻の路面平面を設定することを特徴とする物体検出方法及び物体検出装置が提供される。

本発明によれば、路面の検出精度を向上させることができる物体検出装置方法及び物体検出装置を提供できる。

本発明の実施形態に係る物体検出装置を備える運転支援装置の概略構成例を示す図である。 本発明の実施形態に係る物体検出装置を説明するブロック図である。 画像と、画像の水平座標及び視差の関係を示すｕ−ｄ画像を図示した一例である。 視差及び画像の垂直座標の関係を示すｄ−ｖ画像を図示した一例である。 ｄ−ｖ画像から直線検出を行う例を説明する図である。 本発明の実施形態に係る物体検出方法の一例を説明するフローチャートである。

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

（運転支援装置）
本発明の実施形態に係る運転支援装置１は、物体検出装置１０、車両挙動センサ群２０、車両走行コントローラ３０及び車両制御アクチュエータ群４０を備える。物体検出装置１０は、車両の周囲に存在する物体を検出し、検出結果を車両走行コントローラ３０に出力したり検出結果に応じた情報を乗員に提示したりする。物体検出装置１０は、周囲環境センサ群１１、コントローラ１２及びユーザインタフェース（Ｉ／Ｆ）装置１３を備える。

運転支援装置１は、車両（以下、「自車両」と表記する）に搭載され、自車両の周囲の走行環境に基づき自車両を自動的に操舵、駆動、制動の少なくとも１つの制御を行う走行支援制御、又は運転者が関与せずに自車両を自動で運転する自動運転制御を行う。走行支援制御は、先行車追従制御や車線逸脱防止制御であってもよい。

周囲環境センサ群１１は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。自車両の周囲環境は、少なくとも自車両の前方の環境を含み得る。例えば周囲環境センサ群１１は、ステレオカメラ５０及びレーダ５３を備える。

ステレオカメラ５０は、自車両の周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ５０は、ステレオカメラ５０の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第１画像センサ５１と、第２画像センサ５２を備える。例えば、第１画像センサ５１はステレオカメラ５０の撮影方向を向いたときに左側に配置され、第２画像センサ５２は右側に配置されてよい。ステレオカメラ５０は、例えば、光軸が自車両、即ち自車両が走行する路面に対して平行になるように前方に向けて、画角内に自車両が走行する路面が含まれるように設置される。

レーダ５３としては、ミリ波レーダ、超音波レーダ又はレーザレンジファインダ（ＬＲＦ）等の測距レーダが使用可能である。レーダ５３は、自車両の周囲に存在する物体の有無、自車両に対する物体の相対位置を、自車両の周囲環境の情報として検出する。周囲環境センサ群１１は、検出した周囲環境の情報（周囲環境情報）をコントローラ１２と車両走行コントローラ３０へ出力する。

コントローラ１２は、ステレオカメラ５０が生成したステレオ画像から物体を検出する処理を実行する電子制御ユニット（ＥＣＵ）である。コントローラ１２は、プロセッサ５５と、記憶装置５６等の周辺部品を含む。プロセッサ５５は、例えばＣＰＵ（Central Processing Unit）、やＭＰＵ（Micro-Processing Unit）であってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ１２を実現してもよい。例えば、コントローラ１２はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等のプログラマブル・ロジック・デバイス（ＰＬＤ）等を有していてもよい。

記憶装置５６は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置５６は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。記憶装置５６には、プロセッサ５５上で実行されて、物体を検出する処理をコントローラ１２に実行させるためのコンピュータプログラムが記憶される。

ユーザインタフェース装置１３は、コントローラ１２による制御に応じて所定の情報を乗員に提示する。ユーザインタフェース装置１３は、音により情報を乗員に提示するスピーカやブザー等の発音装置であってもよく、画像や文字、光等により情報を運転者に提示するディスプレイ装置やランプ等の視覚信号出力装置であってもよい。ユーザインタフェース装置１３が乗員に提示する情報は、例えば乗員に対する警報信号である。ユーザインタフェース装置１３は、自車両のステアリングホイールや座席に振動を付与するバイブレータや、アクセルペダルやステアリングホイール等に反力を与えるアクチュエータであってもよく、これら振動や反力を警報信号として与えてもよい。

車両挙動センサ群２０は、自車両の車両挙動を検出するセンサ群である。車両挙動センサ群２０は、車速センサ２１、加速度センサ２２、ジャイロセンサ２３及び操舵角センサ２４を備える。車速センサ２１は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ２２は、自車両の前後方向の加速度及び車幅方向の加速度を検出する。ジャイロセンサ２３は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの自車両の角速度を検出する。操舵角センサ２４は、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。これら車速、加速度、角速度及び操舵角の情報を、総称して「車両挙動情報」と表記することがある。車両挙動センサ群２０は、車両挙動情報を車両走行コントローラ３０へ出力する。

車両走行コントローラ３０は、自車両の自動運転制御又は運転支援制御を行うＥＣＵである。車両走行コントローラ３０は、プロセッサと、記憶装置等の周辺部品とを含む。車両走行コントローラ３０のプロセッサは例えばＣＰＵやＭＰＵであってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ３０を実現してもよい。例えば、車両走行コントローラ３０は、ＦＰＧＡ等のＰＬＤ等を有していてもよい。車両走行コントローラ３０の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ３０の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。

車両走行コントローラ３０は、周囲環境センサ群１１から出力された周囲環境情報と、車両挙動センサ群２０から出力された車両挙動情報とに基づき車両制御アクチュエータ群４０を駆動することにより、自車両の走行支援制御又は自動運転制御を実行する。更に車両走行コントローラ３０は、コントローラ１２から出力される警報信号に応じて、コントローラ１２が検出した物体との接触を回避するための走行支援制御又は自動運転制御を行う。例えば車両走行コントローラ３０は、自動ブレーキによる減速や停車、又は物体を回避する自動操舵を実施する。

車両制御アクチュエータ群４０は、車両走行コントローラ３０からの制御信号に応じて、自車両の走行を制御する。車両制御アクチュエータ群４０は、ステアリングアクチュエータ４１、アクセル開度アクチュエータ４２及びブレーキ制御アクチュエータ４３を備える。ステアリングアクチュエータ４１は、自車両の操舵方向及び操舵量を制御する。アクセル開度アクチュエータ４２は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ４３は、自車両のブレーキ装置の制動動作を制御する。

コントローラ１２は、図２に示すように、画像補正部６１及び６２と、特徴点抽出部６３及び６４と、距離算出部６０と、オプティカルフロー算出部６５と、３次元座標算出部６６と、センサ運動検出部６７と、対象判定部６８と、路面平面設定部６９と、路面平面メモリ７０と、路面抽出部７１等の論理ブロックを機能的又は物理的なハードウェア資源として備える。コントローラ１２を構成する各部は、単一のハードウェアから構成されてもよく、それぞれ別個のハードウェアから構成されてもよい。画像補正部６１及び６２と、特徴点抽出部６３及び６４と、オプティカルフロー算出部６５と、３次元座標算出部６６と、センサ運動検出部６７と、対象判定部６８と、路面平面設定部６９と、路面抽出部７１の各機能は、コントローラ１２のプロセッサ５５が、記憶装置５６に格納されたコンピュータプログラムを実行することによって実現されてよい。

ステレオカメラ５０を構成する第１画像センサ５１と第２画像センサ５２は、自車両の周囲のステレオ画像を所定周期で逐次撮影する。第１画像センサ５１と第２画像センサ５２は同期しており、同時刻の画像が取得される。以下、第１画像センサ５１の撮像画像を「第１画像」と表記し、第２画像センサ５２の撮像画像を「第２画像」と表記することがある。画像補正部６１には第１画像が逐次入力され、画像補正部６２には第２画像が逐次入力される。

画像補正部６１及び６２は、第１画像及び第２画像の補正処理をそれぞれ行う。例えば画像補正部６１及び６２は、第１画像及び第２画像のレンズ歪みを補正してよい。画像補正部６１及び６２は、第１画像及び第２画像のエピポーラ線が互いに平行になるようにアフィン変換等の補正処理を行う。画像補正部６１及び６２は、第１画像センサ５１及び第２画像センサ５２の共通の視野内の実空間における同一点の像が、第１画像及び第２画像の同一走査線上に位置するように変換する平行化を行ってよい。

特徴点抽出部６３及び６４は、第１画像及び第２画像のそれぞれにおいて、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp. 593 - 600.」に記載の手法を用いてよい。第１画像で抽出された特徴点は、オプティカルフロー算出部６５に一時的に記憶される。

距離算出部６０は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。距離算出部６０は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差（ずれ量）から、ステレオカメラ５０（自車両）から特徴点に対応する対象までの距離を算出する。その他、距離算出部６０は、特徴点抽出部６３，６４の少なくともいずれかにより抽出された特徴点に対応する対象までの距離を、ステレオカメラ５０に限らず、レーダ５３を用いて算出するようにしてもよい。例えば、距離算出部６０は、第１画像センサにより取得される画像の各画素と、レーダ５３により検出される対象の方位とを予め対応させておくことにより、画像上の特徴点までの距離を算出することができる。

オプティカルフロー算出部６５は、第１画像で抽出された各特徴点の動きベクトルの分布であるオプティカルフローを算出する。オプティカルフロー算出部６５は、現時点より所定期間前の過去の第１画像で抽出された特徴点と、現時点の第１画像で抽出された特徴点と関連付けする。以下、過去の第１画像で検出された特徴点を「過去の特徴点」と表記し、現時点の第１画像で検出された特徴点を「現在の特徴点」と表記することがある。

オプティカルフロー算出部６５は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部６５は、互いに関連する過去の特徴点と現在の特徴点の組み合わせをオプティカルフローとして抽出する。オプティカルフローの抽出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。

３次元座標算出部６６は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差（ずれ量）を算出する。３次元座標算出部６６は、第１画像の特徴点に対応する実空間中の対象と同一の対象に対応する第２画像の特徴点を、関連する特徴点として検出する。第１画像及び第２画像には、画像補正部６１及び６２による平行化処理を施されているため、空間中の同一点の像が第１画像及び第２画像の同一走査線上に位置する。したがって、１次元の探索処理により互いに関連する特徴点を探索できる。特徴点の視差は、ステレオカメラ５０から特徴点に対応する対象までの距離に対応し、視差が大きい程、対象までの距離は短い。

３次元座標算出部６６は、算出した視差と、第１画像センサ５１と第２画像センサ５２の画角、取り付け位置、光軸方向等のパラメータとに基づき、ステレオカメラ５０から互いに関連する特徴点に対応する実空間内の対象までの距離及び方位を算出する。３次元座標算出部６６は、互いに関連する特徴点のそれぞれに対応する対象の距離及び方位から、ステレオカメラ５０を基準とする特徴点の３次元座標を算出する。３次元座標算出部６６は、特徴点に対応する対象までの距離として、距離算出部６０により算出された距離を使用してもよい。

センサ運動検出部６７は、ステレオカメラ５０（第１画像センサ５１）の運動、即ち、３軸並進運動及び３軸回転運動を検出（推定）する。３軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの回転運動である。

センサ運動検出部６７は、例えば、時系列の第１画像及び第２画像に基づいてステレオカメラ５０の運動を検出してもよい。センサ運動検出部６７は、所定期間前の過去の複数の特徴点の３次元座標と現在の特徴点の複数の特徴点とから、ステレオカメラ５０の運動を検出し得る。即ち、センサ運動検出部６７は、過去の複数の特徴点の３次元座標とそれぞれ関連する現在の第１画像中の特徴点を、オプティカルフロー算出部６５が算出したオプティカルフローに基づいて選択する。センサ運動検出部６７は、過去の複数の特徴点の３次元座標とそれぞれ関連する現時点の特徴点の第１画像上の位置を求める。センサ運動検出部６７は、過去の複数の特徴点の３次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ５０の３軸並進運動及び３軸回転運動を検出する。センサ運動検出部６７は、過去の複数の特徴点の３次元座標と現在の複数の特徴点の３次元座標とからステレオカメラ５０の３軸並進運動及び３軸回転運動を検出するようにしてもよい。

ステレオカメラ５０の運動の検出方法として、例えば非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法を用いてよい。また、センサ運動検出部６７は、単位時刻前に検出した運動を用いて、現在のステレオカメラ５０の運動を検出してもよい。

このように、画像を用いてステレオカメラ５０の運動を求めることの利点として、車両挙動センサ群２０を用いないため、ステレオカメラ５０と車両挙動センサ群２０との間の同期が不要になることが挙げられる。よって、高速なステレオカメラ５０を用いることにより、短いサンプリング周期でステレオカメラ５０の運動を検出することが可能となる。

対象判定部６８は、３次元座標算出部により視差が算出された複数の特徴点のそれぞれの、第１画像における水平座標及び特徴点に対応する対象までの距離の関係から、特徴点に対応する対象が路面候補か否かを判定する。例えば、対象判定部６８は、図３に示すように、各特徴点を、横軸を第１画像Ｊの水平座標ｕ、縦軸を視差ｄとするｕ−ｄ画像Ｋに投影する。対象判定部６８は、第１画像Ｊの水平座標ｕを示す横軸及び視差ｄを示す縦軸を一定の大きさのセルに区切ったグリッドマップを用意し、第１画像Ｊの各特徴点について、その水平座標ｕ及び視差ｄに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、ｕ−ｄ画像Ｋが生成される。

図３に示すｕ−ｄ画像Ｋおいて、濃い色で示されるほど、投票された特徴点の数が多いことを意味する。また、視差ｄは距離に対応しており、視差ｄの値が小さい、即ち図３のｕ−ｄ画像Ｋにおいて上方に位置するほど、対象までの距離が遠いことを意味する。立体物が路面に対して垂直に立っていると仮定すると、立体物の特徴点は、同一の視差を有するため、水平座標ｕが同一の特徴点であれば同一のセルに投票される。よって、対象判定部６８は、１つのセルに投票された特徴点の数が所定の閾値Ｎ以上の場合、該当する特徴点を立体物候補としてラベリングし、閾値Ｎ未満の場合、該当する特徴点を路面候補としてラベリングする。なお、図３に示す第１画像Ｊにおいて、立体物候補となった特徴点が含まれる領域の明度を高く表現している。

路面平面設定部６９は、対象判定部６８により路面候補と判定された複数の特徴点のそれぞれの、特徴点に対応する対象までの距離及び第１画像における垂直座標の関係から、自車両が走行する路面平面を検出する。例えば、路面平面設定部６９は、図４に示すように、路面候補と判定された各特徴点を、横軸を視差ｄ、縦軸を第１画像の垂直座標ｖとするｄ−ｖ画像Ｌに投影する。路面平面設定部６９は、視差ｄを示す横軸及び第１画像の垂直座標ｖを示す縦軸を一定の大きさに区切ったグリッドマップを用意し、第１画像Ｊの各特徴点について、その視差ｄ及び垂直座標ｖに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、ｄ−ｖ画像Ｌが生成される。

図４に示すｄ−ｖ画像Ｌにおいて、プロットは、特徴点が投票されたセルであることを意味する。また、視差ｄの値が小さい、即ち図４のｄ−ｖ画像Ｌにおいて左方に位置するほど、対象までの距離が遠いことを意味する。路面がステレオカメラ５０の撮影方向に対して平行且つ平面であると仮定すると、路面に対応する特徴点は、図４に示すように、右下がりの直線上に並ぶ。路面平面設定部６９は、この直線の方程式を路面平面として検出することで自車両が走行する路面の平面を検出する。

ｄ−ｖ画像Ｌにおける直線検出の方法は、例えば非特許文献「Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" . Comm. of the ACM. 24 (6): 381-395.」に記載されるＲＡＮＳＡＣ法を用いてもよい。

図５に示すように、ｄ−ｖ画像Ｌにおいて、垂直方向に延伸するように投票された複数の特徴点Ｐは、路面から垂直方向に延伸して存在する立体物に対応する。ＲＡＮＳＡＣ法では、このような特徴点Ｐを外れ値として除去し、直線を当てはめることで直線Ｍを検出する。この場合、路面に対応する特徴点が一定以上抽出されないと、直線検出が成功しない。よって、例えば自車両と先行車との距離が短く、ステレオカメラ５０により路面が撮影されない場合等、路面平面の検出に失敗してしまう。また、ステレオカメラ５０により撮影される路面の領域が少ない場合、路面平面と他の平面との判別が困難となる。

これに対して、路面平面設定部６９は、過去に検出された路面平面から、センサ運動検出部６７により検出されたステレオカメラ５０の運動を用いて現在の路面平面を設定（推定）する。このため、路面平面メモリ７０は、路面平面設定部６９により検出された路面平面を逐次循環的に記憶する。路面平面設定部６９は、路面平面メモリ７０から、所定期間前の過去の路面平面を読み出し、センサ運動検出部６７により検出された過去から現在までのステレオカメラ５０の運動を用いて現在の路面平面を設定する。

更に、路面平面設定部６９は、ｄ−ｖ画像Ｌにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行う。路面平面設定部６９は、所定値αの投票がされたｄ−ｖ画像Ｌにおいて直線検出を行うことにより、現在の路面平面として検出する。検出された路面平面は、路面平面メモリ７０に記憶され、所定期間後の路面平面設定に使用される。これにより、現在の第１画像に路面が写っていない場合や、写っている路面が少ない場合であっても、過去に検出された路面平面を用いることにより、現在の路面平面を検出することができる。

路面抽出部７１は、ｄ−ｖ画像Ｌにおいて、路面平面設定部６９により検出された路面平面を示す直線上に投票された特徴点を路面の点として抽出し、第１画像において路面を示す特徴点が分布する領域を路面領域として抽出する。また、路面抽出部７１は、第１画像において路面領域に位置する特徴点を路面点、他の特徴点を立体物点として外部に出力する。路面抽出部７１から出力された路面点及び立体物点の情報は、例えば、画像認識のための画像領域の限定や、走行可能領域の特定、対象の自車両への接近に対する警報の出力等に使用することができる。

また例えば、路面抽出部７１は、ステレオカメラ５０（第１画像センサ）により取得された画像において、パターン認識等により道路標示や車線境界線等の路面標示を検出し、路面標示に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。或いは、路面抽出部７１は、縁石に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。縁石は、ステレオカメラ５０やレーダ５３により取得される距離データにより検出されればよい。

（物体検出方法）
次に、図６のフローチャートを参照して、本発明の実施形態に係る物体検出装置１０を用いた物体検出方法の一例を説明する。図６に示す一連の処理は、例えば所定の単位時刻を周期として繰り返し実行される。なお周期は、必ずしも一定とは限らず、例えば周囲環境に応じて可変であってもよい。

先ず、ステップＳ１０１において、ステレオカメラ５０は、自車両の前方のステレオ画像を所定の周期で取得する。ステップＳ１０２において、画像補正部６１及び６２は、ステレオ画像に含まれる第１画像及び第２画像の各レンズ歪み等を補正する補正処理をそれぞれ行う。ステップＳ１０３において、特徴点抽出部６３及び６４は、第１画像及び第２画像それぞれにおいて特徴点を検出し、検出した特徴点を記憶装置５６に記憶する。

ステップＳ１０４において、オプティカルフロー算出部６５は、第１画像で抽出された各特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部６５は、物体検出装置１０の起動後の初回のステップＳ１０４ではオプティカルフローを算出せず、２回目以降のステップＳ１０４において、前回、即ち１周期前のステップＳ１０３において抽出された過去の特徴点と、今回のステップＳ１０３において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。

ステップＳ１０５において、３次元座標算出部６６は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差を算出し、視差から算出される、各特徴点に対応する対象の、ステレオカメラ５０に対する相対距離及び方位から、各特徴点の３次元座標を算出する。

ステップＳ１０６において、センサ運動検出部６７は、ステレオカメラ５０の３軸並進運動及び３軸回転運動を検出する。センサ運動検出部６７は、初回のステップＳ１０６では、ステレオカメラ５０の運動を検出しない。センサ運動検出部６７は、２回目以降のステップＳ１０６において、前回のステップＳ１０５において算出された過去の複数の特徴点の３次元座標と、今回のステップＳ１０３において抽出された現在の複数の特徴点とから、ステレオカメラ５０の運動を検出する。

ステップＳ１０７において、対象判定部６８は、ステップＳ１０５で算出されたステレオ画像の視差から、複数の特徴点のそれぞれの、第１画像における水平座標ｕ及び特徴点に対応する対象までの距離の関係を示すｕ−ｄ画像Ｋを生成する。

ステップＳ１０８において、対象判定部６８は、ｕ−ｄ画像Ｋにおいて投票された特徴点の数、即ち、第１画像における水平座標ｕ及び視差ｄが互いに類似する特徴点の数が所定の閾値Ｎ以上の特徴点を立体物候補、閾値Ｎ未満の特徴点を路面候補と判定する。

ステップＳ１０９において、路面平面設定部６９は、過去の路面平面から、ステレオカメラ５０の運動を用いて現在の路面平面を設定する。即ち、路面平面設定部６９は、初回のステップＳ１０９において路面平面を設定しない。２回目以降のステップＳ１０９における路面平面の設定については後述する。

ステップＳ１１０において、路面平面設定部６９は、ステップＳ１０８で路面候補と判定された特徴点のそれぞれの、特徴点に対応する対象までの距離及び第１画像における垂直座標ｖの関係を示すｄ−ｖ画像を生成する。

ステップＳ１１１において、路面平面設定部６９は、ステップＳ１１０で生成されたｄ−ｖ画像から、直線検出を行うことにより、路面平面を検出する。路面平面設定部６９により検出された路面平面は、路面平面メモリ７０に逐次記憶される。

ステップＳ１１２において、路面抽出部７１は、ステップＳ１１１で検出された路面平面を示す直線上に投票された特徴点が分布する第１画像における領域を路面領域として抽出する。ステップＳ１１３において、路面抽出部７１は、ステップＳ１１２で抽出された路面領域に含まれる特徴点を路面点、他の特徴点を立体物点として外部に出力する。

２回目以降のステップＳ１０９においては、路面平面設定部６９は、前回のステップＳ１１１で路面平面メモリ７０に記憶された路面平面から、今回のステップＳ１０６で検出されたステレオカメラ５０の運動を用いて、現在の路面平面を設定する。そして、次のステップＳ１１０において、路面平面設定部６９は、ｄ−ｖ画像Ｌにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行った上で、現在の路面平面を示す直線検出を行う。

以上のように、物体検出装置１０によれば、第１時刻から第２時刻までのステレオカメラ５０の運動を用いて、第１時刻の路面平面から第２時刻の路面平面を設定することができる。これにより、自車両と先行車との距離が短い場合等、第２時刻においてステレオカメラ５０から路面が見えない場面であっても、第２時刻においてステレオカメラ５０から見えるであろう路面平面を過去の情報を用いて設定することが可能となるため、路面の検出精度を向上させることができる。

また物体検出装置１０によれば、各特徴点の視差ｄ（距離に対応）及び第１画像における垂直座標の関係を示す第２時刻のｄ−ｖ画像、第１時刻から第２時刻までのステレオカメラ５０の運動、並びに、第１時刻の路面平面より、第２時刻の路面平面を設定することができる。これにより、第２時刻においてステレオカメラ５０から路面が完全に見えない場面であっても、第２時刻においてステレオカメラ５０から見えるであろう路面平面を過去の情報を用いて補足して設定することが可能となるため、路面の検出精度を向上させることができる。

また、物体検出装置１０によれば、第１時刻における特徴点の３次元座標と、第２時刻における特徴点の３次元座標とから、ステレオカメラ５０の運動を検出するため、車両挙動センサ群２０により検出された運動を用いる必要がない。よって、ステレオカメラ５０と車両挙動センサ群２０との間の同期が不要であり、高速なステレオカメラ５０を用いることが容易となる。

また、物体検出装置１０によれば、ステレオカメラ５０から特徴点に対応する対象までの距離を互いに関連する特徴点の視差から算出する。このため、他のレーダ５３により検出された距離データを用いる必要がない。よって、ステレオカメラ５０とレーダ５３との間の同期が不要であり、高速なステレオカメラ５０を用いることが容易となる。

また、物体検出装置１０によれば、各特徴点の視差ｄ（距離に対応）及び第１画像における垂直座標の関係を示すｄ−ｖ画像から、立体物に対応する特徴点を除去して、直線を路面平面として検出する。よって、直線検出の精度が向上されるため、路面の検出精度が向上される。

また、物体検出装置１０によれば、各特徴点の第１画像における水平座標ｕ及び視差ｄ（距離に対応）の関係を示すｕ−ｄ画像から、路面候補を抽出し、路面候補から生成されたｄ−ｖ画像を用いて路面平面を検出する。よって、予め粗分離された路面候補の特徴のみを用いて路面平面の検出を行うことが可能であるため、路面の検出精度が向上される。

また、物体検出装置１０によれば、路面標示や縁石に対応する特徴点を用いて路面領域から自車両の走行可能領域を抽出することができる。これにより、自動運転制御や走行支援制御における走行可能領域の検出精度を向上させることができる。

（その他の実施形態）
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

例えば、上述の実施形態において、センサ運動検出部６７は、画像の特徴点の変化に基づいてステレオカメラ５０の運動を検出したが、他の方法によりステレオカメラ５０の運動を検出するようにしてもよい。例えば、センサ運動検出部６７は、車両挙動センサ群２０により取得される自車両の３軸並進運動及び３軸回転運動から、ステレオカメラ５０の設置条件を用いてステレオカメラ５０の運動を検出するようにしてもよい。また、センサ運動検出部６７は、少なくともピッチ軸回りの運動を検出するようにしても、路面平面設定部６９は、路面平面を高精度に設定可能である。検出する運動の軸を低減することにより、ステレオカメラ５０の運動検出及び路面平面設定における処理負荷を低減することができる。

また、路面平面設定部６９は、対象判定部６８により判定された路面候補の数や割合が一定以下の場合において限定的に、路面平面メモリ７０から、所定期間前の過去の路面平面を読み出し、センサ運動検出部６７により検出された過去から現在までのステレオカメラ５０の運動を用いて現在の路面平面を設定するようにしてもよい。これにより、路面平面設定部６９の処理負荷を低減することができる。

その他、上記の実施形態において説明される各構成を任意に応用した構成等、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０ 物体検出装置
１２ コントローラ
５０ ステレオカメラ
５１ 第１画像センサ
５２ 第２画像センサ
６１，６２ 画像補正部
６３，６４ 特徴点抽出部
６５ オプティカルフロー算出部
６６ ３次元座標算出部
６７ センサ運動検出部
６８ 対象判定部
６９ 路面平面設定部
７０ 路面平面メモリ
７１ 路面抽出部

Claims (9)

1. 車両に搭載された画像センサにより第１時刻における前記車両の周囲の画像を取得し、
   前記第１時刻の前記画像中の複数の特徴点を抽出し、
   前記車両から前記第１時刻における前記複数の特徴点に対応する対象までの距離を取得し、
   前記第１時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第１時刻の路面平面を検出し、
   前記第１時刻から、前記第１時刻より後の第２時刻までの間の前記画像センサの運動を検出し、
   前記画像センサの運動を用いて、前記第１時刻の路面平面から前記第２時刻の路面平面を設定する
   ことを特徴とする物体検出方法。
2. 前記画像センサにより前記第２時刻における前記車両の周囲の画像を取得し、
   前記第２時刻の前記画像中の前記複数の特徴点を抽出し、
   前記車両から前記第２時刻における前記複数の特徴点に対応する対象までの距離を取得し、
   前記第２時刻における、前記複数の特徴点までの距離及び前記画像の前記複数の特徴点の垂直座標の関係、前記画像センサの運動、及び、前記第１時刻の路面平面から、前記第２時刻の路面平面を設定する
   ことを特徴とする請求項１に記載の物体検出方法。
3. 前記画像センサにより第２時刻における前記車両の周囲の画像を取得し、
   前記第２時刻の前記画像中の前記複数の特徴点を抽出し、
   前記第２時刻における、前記車両から前記複数の特徴点に対応する対象までの距離を取得し、
   前記第１時刻の前記複数の特徴点のそれぞれの前記距離から、前記第１時刻の前記複数の特徴点の３次元座標を算出し、
   前記第２時刻の前記複数の特徴点のそれぞれの前記距離から、前記第２時刻の前記複数の特徴点の３次元座標を算出し、
   前記第１時刻の３次元座標と前記第２時刻の３次元座標とから、前記画像センサの運動を検出することを特徴とする請求項１又は２に記載の物体検出方法。
4. 前記画像センサは、他の画像センサと共にステレオカメラを構成し、
   前記距離は、前記ステレオカメラの視差により取得されることを特徴とする請求項１乃至３のいずれか１項に記載の物体検出方法。
5. 前記第１時刻の前記複数の特徴点のそれぞれの、前記距離及び前記画像における垂直座標の関係から、路面から垂直方向に延伸して存在する立体物に対応する前記特徴点を除去し、前記第１時刻の路面平面を検出することを特徴とする請求項１乃至４の何れか１項に記載の物体検出方法。
6. 前記第１時刻の前記複数の特徴点のそれぞれの、前記画像における水平座標及び前記距離の関係から、路面候補となる前記特徴点を抽出し、
   前記路面候補の、前記距離及び前記画像における垂直座標の関係から、前記第１時刻の路面平面を検出することを特徴とする請求項１乃至５の何れか１項に記載の物体検出方法。
7. 前記画像中から路面標示に対応する前記特徴点を抽出し、
   前記路面標示に対応する前記特徴点を用いて、前記第２時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項１乃至６の何れか１項に記載の物体検出方法。
8. 前記第１時刻の前記複数の特徴点のそれぞれの前記距離から、縁石に対応する前記特徴点を抽出し、
   前記縁石に対応する前記特徴点を用いて、前記第２時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項１乃至６の何れか１項に記載の物体検出方法。
9. 第１時刻における車両の周囲の画像を取得する画像センサと、
   前記第１時刻の前記画像中の複数の特徴点を抽出する特徴点抽出部と、
   前記車両から前記第１時刻における前記複数の特徴点に対応する対象までの距離を取得する距離算出部と、
   前記第１時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第１時刻の路面平面を検出する路面平面設定部と、
   前記第１時刻から、前記第１時刻より後の第２時刻までの間の前記画像センサの運動を検出するセンサ運動検出部と、
   を備え、
   前記路面平面設定部は、前記画像センサの運動を用いて、前記第１時刻の路面平面から前記第２時刻の路面平面を設定することを特徴とする物体検出装置。

Images