JP7031157B2 - 物体検出方法及び物体検出装置 - Google Patents

Description

本発明は、物体検出方法及び物体検出装置に関する。

従来、ステレオカメラで求めた距離に基づき物体候補を検出し、検出した物体候補の距離の時間変化を用いて物体候補の統合処理を行う物体検出装置が知られている（特許文献１参照）。

特開２０１６－１３６３２１号公報

しかしながら、特許文献１に記載された物体検出装置では、ステレオカメラで求めた距離に基づく物体検出が困難となる遠距離の画像領域も含めて、ステレオカメラで求めた画像領域全体を物体候補の検出対象とするため、物体候補を効率よく検出できていない。

上記問題点に鑑み、本発明は、自車両の周囲に存在する物体候補を検出する際に、自車両と物体との距離に基づき物体候補を効率良く検出可能となる物体検出方法及び物体検出装置を提供することを目的とする。

本発明の一態様によれば、自車両の周囲環境を取得し、自車両と周囲環境に存在する物体との距離に基づき、取得した周囲環境を、自車両と物体との距離が近い近距離領域と、自車両と物体との距離が遠い遠距離領域とに分割し、近距離領域で、自車両と物体との距離に基づき物体候補を検出することを特徴とする物体検出方法及び物体検出装置が提供される。

本発明によれば、自車両の周囲に存在する物体候補を検出する際に、自車両と物体との距離に基づき物体候補を効率良く検出可能となる物体検出方法及び物体検出装置を提供することができる。

本発明の実施形態に係る運転支援装置の一例を示すブロック図である。 本発明の実施形態に係る物体検出装置の一例を示すブロック図である。 特徴点を検出した画像の一例を示す概略図である。 視差画像の一例を示す概略図である。 ｕ－ｄｉｓｐａｒｉｔｙ画像の一例を示す概略図である。 遠距離領域及び近距離領域で分割した画像を示す概略図である。 距離による物体検出結果を示す概略図である。 動き検出による物体検出結果を示す概略図である。 パターン認識による物体検出結果を示す概略図である。 比較例に係るパターン認識処理を説明するための概略図である。 本発明の実施形態に係るパターン認識処理を説明するための概略図である。 本発明の実施形態に係る物体検出方法の一例を説明するためのフローチャートである。 領域分割処理の一例を説明するためのフローチャートである。 近距離領域の物体検出処理の一例を説明するためのフローチャートである。 遠距離領域の物体検出処理の一例を説明するためのフローチャートである。 物体候補統合処理の一例を説明するためのフローチャートである。 パターンをキューとする統合処理の一例を説明するためのフローチャートである。 動きをキューとする統合処理の一例を説明するためのフローチャートである。 距離をキューとする統合処理の一例を説明するためのフローチャートである。

以下において、図面を参照して、本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

＜運転支援装置＞
本発明の実施形態に係る運転支援装置１は、図１に示すように、物体検出装置１０と、車両挙動センサ群２０と、車両走行コントローラ３０と、車両制御アクチュエータ群４０とを備える。物体検出装置１０は、自車両の周囲に存在する物体を検出し、検出結果に応じて警報信号を発生する。物体検出装置１０は、周囲環境センサ群１１と、コントローラ１２と、ユーザインタフェース（Ｉ／Ｆ）装置１３とを備える。

本発明の実施形態に係る運転支援装置１は、運転支援装置を搭載する車両（以下、「自車両」と表記する）の周囲の走行環境に基づき、自車両を自動的に操舵、駆動、制動の少なくとも１つの制御を行う走行支援制御、又は運転者が関与せずに自車両を自動で運転する自動運転制御を行う。走行支援制御は、先行車追従制御や車線逸脱防止制御であってもよい。

周囲環境センサ群１１は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。なお、自車両の周囲環境は、自車両の前方の環境に限定されず、自車両の前方、自車両の側方及び自車両の後方の少なくとも１つの環境を含めばよい。例えば周囲環境センサ群１１は、ステレオカメラ５０及びレーダ５１を備える。

ステレオカメラ５０は、自車両の周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ５０は、ステレオカメラ５０の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第１画像センサ５２及び第２画像センサ５３を備える。例えば、第１画像センサ５２はステレオカメラ５０の撮影方向を向いたときに左側に配置され、第２画像センサ５３は右側に配置されてよい。

レーダ５１としては、レーザレーダ、ミリ波レーダ又はレーザレンジファインダ（ＬＲＦ）等が使用可能である。レーダ５１は、自車両の周囲に存在する物体の有無、自車両と物体との相対位置及び距離を、自車両の周囲環境の情報として検出する。周囲環境センサ群１１は、検出した周囲環境の情報（周囲環境情報）をコントローラ１２及び車両走行コントローラ３０へ出力する。

コントローラ１２は、ステレオカメラ５０が生成したステレオ画像から物体を検出する処理を実行する電子制御ユニット（ＥＣＵ）である。コントローラ１２は、プロセッサ５５と、記憶装置５６等の周辺部品を含む。プロセッサ５５は、例えばＣＰＵ（Central Processing Unit）、やＭＰＵ（Micro-Processing Unit）であってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ１２を実現してもよい。例えば、コントローラ１２はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。

記憶装置５６は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置５６は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。記憶装置５６には、プロセッサ５５上で実行されて、物体を検出する処理をコントローラ１２に実行させるためのコンピュータプログラムが記憶される。

コントローラ１２は、ステレオカメラ５０が生成したステレオ画像に基づき、自車両から自車両の周囲に存在する物体までの距離を算出する。コントローラ１２は、算出した距離に基づき、ステレオ画像を自車両に近い側の近距離領域と、自車両に遠い側の遠距離領域とに分割する。コントローラ１２は、分割した近距離領域で選択的に、算出した距離に基づき物体候補を検出する。コントローラ１２は、分割した遠距離領域で、算出した距離に基づき物体候補を検出することを禁止するとともに、分割した遠距離領域で、動き検出による移動物体候補の検出とパターン認識による物体候補の検出との少なくとも一方を行う。コントローラ１２は、物体候補の検出結果に応じて警報信号を生成する。コントローラ１２は、警報信号をユーザインタフェース装置１３及び車両走行コントローラ３０へ出力する。

ユーザインタフェース装置１３は、コントローラ１２から出力された警報信号を運転者に呈示する。ユーザインタフェース装置１３は、音信号である警報信号を運転者に呈示するスピーカやブザー等の発音装置であってもよく、光信号である警報信号を運転者に呈示するディスプレイ装置やランプ等の視覚信号出力装置であってもよい。また、ユーザインタフェース装置１３は、自車両のステアリングホイールへ振動を付与するバイブレータや、アクセルペダルに反力を与えるアクチュエータであってもよく、これら振動や反力を警報信号として与えてもよい。

車両挙動センサ群２０は、自車両の車両挙動を検出するセンサ群である。車両挙動センサ群２０は、車速センサ２１と、加速度センサ２２と、ジャイロセンサ２３と、操舵角センサ２４とを備える。車速センサ２１は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ２２は、自車両の前後方向の加速度及び車幅方向の加速度を検出する。ジャイロセンサ２３は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの自車両の回転角度の角速度を検出する。操舵角センサ２４は、操舵操作子であるステアリングホイールの現在の回転角度（操舵操作量）である現在操舵角を検出する。車両挙動センサ群２０は、これらの車速、加速度、回転角速度、及び操舵角の情報を車両挙動情報として車両走行コントローラ３０へ出力する。

車両走行コントローラ３０は、自車両の自動運転制御又は運転支援制御を行うＥＣＵである。車両走行コントローラ３０は、プロセッサと、記憶装置等の周辺部品とを含む。車両走行コントローラ３０のプロセッサは例えばＣＰＵやＭＰＵであってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ３０を実現してもよい。例えば、車両走行コントローラ３０は、ＦＰＧＡ等のＰＬＤ等を有していてもよい。車両走行コントローラ３０の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ３０の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。

車両走行コントローラ３０は、周囲環境センサ群１１から出力された周囲環境情報と、車両挙動センサ群２０から出力された車両挙動情報とに基づき車両制御アクチュエータ群４０を駆動することにより、自車両の走行支援制御又は自動運転制御を実行する。更に車両走行コントローラ３０は、コントローラ１２から出力される警報信号に応じて、コントローラ１２が検出した物体との接触を回避するための走行支援制御又は自動運転制御を行う。例えば車両走行コントローラ３０は、自動ブレーキによる減速や停車、又は物体を回避する自動操舵を実施する。

車両制御アクチュエータ群４０は、車両走行コントローラ３０からの制御信号に応じて、自車両の走行を制御する。車両制御アクチュエータ群４０は、ステアリングアクチュエータ４１と、アクセル開度アクチュエータ４２と、ブレーキ制御アクチュエータ４３を備える。ステアリングアクチュエータ４１は、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータ４２は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ４３は、自車両のブレーキ装置の制動動作を制御する。

コントローラ１２は、図２に示すように、画像補正部６１及び６２と、特徴点検出部６３及び６４と、距離算出部６５と、領域分割部６６と、物体検出部６７と、動き検出部６８と、パターン検出部６９と、統合部７０等の論理ブロックを機能的又は物理的なハードウェア資源として備える。画像補正部６１及び６２と、特徴点検出部６３及び６４と、距離算出部６５と、領域分割部６６と、物体検出部６７と、動き検出部６８と、パターン検出部６９と、統合部７０は、単一のハードウェアから構成されてもよく、それぞれ別個のハードウェアから構成されてもよい。画像補正部６１及び６２と、特徴点検出部６３及び６４と、距離算出部６５と、領域分割部６６と、物体検出部６７と、動き検出部６８と、パターン検出部６９と、統合部７０の機能は、コントローラ１２のプロセッサ５５が、記憶装置５６に格納されたコンピュータプログラムを実行することによって実現されてよい。

ステレオカメラ５０を構成する第１画像センサ５２及び第２画像センサ５３は、自車両の周囲のステレオ画像を所定周期で連続して撮影する。第１画像センサ５２と第２画像センサ５３は同期しており、同時刻の撮像画像が取得される。以下、第１画像センサ５２の撮像画像を「第１画像」と表記し、第２画像センサ５３の撮像画像を「第２画像」と表記することがある。画像補正部６１には第１画像が逐次入力され、画像補正部６２には第２画像が逐次入力される。

画像補正部６１及び６２は、第１画像及び第２画像の補正処理をそれぞれ行う。例えば画像補正部６１及び６２は、第１画像及び第２画像のレンズ歪みを補正してよい。画像補正部６１及び６２は、第１画像及び第２画像のエピポーラ線が互いに平行になるようにアフィン変換等の補正処理を行う。画像補正部６１及び６２は、第１画像センサ５１及び第２画像センサ５２の共通の視野内の実空間における同一点の像が、第１画像及び第２画像の同一走査線上に位置するように変換する平行化を行ってよい。

特徴点検出部６３及び６４は、第１画像及び第２画像のそれぞれにおいて、他の画素と区別可能な特徴を持つ画素である特徴点を検出する。特徴点の検出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp. 593 - 600.」に記載の手法を用いてよい。第１画像及び第２画像で検出された特徴点は、記憶装置５６に記録される。図３は、第１画像において特徴点検出部６３により検出された特徴点の一例を示す。図３では模式的に、特徴点をドットのハッチングの点で示し、自車両と特徴点との距離が遠いほど濃く示している。

距離算出部６５は、互いに対応する第１画像の特徴点と第２画像の特徴点を探索するステレオ視差算出処理を行う。第１画像及び第２画像には、画像補正部６１及び６２による平行化処理を施されているため、空間中の同一点の像が第１画像及び第２画像の同一走査線上に位置する。したがって、１次元の探索処理により対応する特徴点を探索できる。

距離算出部６５は、第１画像及び第２画像の対応する特徴点間の視差を算出する。距離算出部６５は、算出した視差と、第１画像センサ５２と第２画像センサ５３の画角、取り付け位置、光軸方向等のパラメータとに基づき、特徴点の３次元座標及び特徴点から自車両までの距離を算出する。特徴点の３次元座標の原点は任意に設定可能であり、例えば自車両を特徴点の３次元座標の原点に設定可能である。自車両を特徴点の３次元座標の原点とする場合は、自車両の重心位置や、第１画像センサ５２や第２画像センサ５３等の画像センサを取り付けた位置等を原点としてもよい。算出された特徴点の３次元座標及び距離は、記憶装置５６に記録される。距離算出部６５は、算出した視差に基づき、図４に示すように第１画像及び第２画像の対応する視差画像（距離画像）を生成する。図４では、視差が大きいほど、即ち自車両から物体までの距離が近いほど、濃いハッチングで示している。

領域分割部６６は、距離算出部６５により算出した距離又は距離に相当する視差に基づき、第１画像を、自車両と物体との距離が相対的に近い側の近距離領域と、自車両と物体との距離が相対的に遠い側の遠距離領域とに分割する。例えば、領域分割部６６は、第１画像の各特徴点に対応する画素について、距離算出部６５により算出した視差が所定の閾値以上の場合には近距離フラグを付して、近距離領域の画素に分類し、視差が所定の閾値未満の場合には遠距離フラグを付して、遠距離領域の画素に分類する。所定の閾値は例えば２画素であり、適宜設定可能である。

なお、領域分割部６６は、視差が所定の閾値以上か否かの判定処理を画素単位で行う代わりに、複数の画素が集合した画素領域（例えば２×２画素）単位で判定処理を行ってもよい。この場合、画素領域を構成する画素の視差の平均値、最大値、最小値、代表値等を所定の閾値と比較することにより判定処理を行ってもよい。

領域分割部６６は、図５に示すように、算出した視差を、横軸を第１画像の水平座標（ｕ）、縦軸を視差（ｄｉｓｐａｒｉｔｙ）としたｕ－ｄｉｓｐａｒｉｔｙ画像に投影してもよい。ｕ－ｄｉｓｐａｒｉｔｙ画像は、視差画像における垂直方向（画像上下方向）の視差の出現頻度を表した画像である。即ち、領域分割部６６は、第１画像の水平座標を示す縦軸及び視差を示す横軸を一定の大きさのセルに区切ったグリッドマップを生成する。領域分割部６６は、第１画像の各特徴点について、その水平座標及び視差に対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、ｕ－ｄｉｓｐａｒｉｔｙ画像が生成される。図５では、投票された特徴点の数が多いほど濃いハッチングで示している。

図５の上側のセル領域ＲＡは、例えば視差が１画素以下となるような視差が小さい領域であり、距離分解能が低く、複数の物体候補を分離して検出することが困難な領域である。領域分割部６６は、セル領域ＲＡに対応する画素を遠距離領域に分類し、セル領域ＲＡの下側のセル領域を近距離領域に分類する。

近距離領域に相当するセル領域ＲＢ，ＲＣにおいて、立体物は路面に対して略垂直に立っているものとすると、立体物表面上の特徴点の視差は略同一となるため、立体物に対応するセルは路面に対応するセルよりも投票数が多くなる。セル領域ＲＢでは、右肩上がりの直線状をなす投票数の多いセル群が立体物領域に対応し、セル領域ＲＣでは、右肩下がりの直線状をなす投票数の多いセル群が立体物に対応する。これらの直線で挟まれる投票数が一様に少ないセル群が路面に対応する。

領域分割部６６は、近距離領域に相当する各セルについて投票数が所定の閾値以上か否かを比較して、投票数が所定の閾値以上のセルを立体物領域に分類し、投票数が所定の閾値未満のセルを路面領域に分類する。領域分割部６６は、各セルの分類結果を、第１画像の各セルに対応する画素に反映する。即ち、領域分割部６６は、立体物領域に分類されたセルに対応する画素に立体物ラベルを付与して画素を立体物領域に分類するとともに、路面領域に分類されたセルに対応する画素に路面ラベルを付与して画素を路面領域に分類する。このようにして、領域分割部６６は、近距離領域を、立体物ラベルが付与された画素の集合である立体物領域と、路面ラベルが付与された画素の集合である路面領域とに分割することができる。

領域分割部６６は、例えば図６に示すように、距離算出部６５により算出した距離に基づき、第１画像を遠距離領域Ｒ１と近距離領域Ｒ２とに分割する。図６では模式的に、視差が所定の閾値未満の画像領域を白抜きで示し、視差が所定の閾値以上の画像領域をドットのハッチングで示している。更に、領域分割部６６は、距離算出部６５により算出した距離に基づき、近距離領域Ｒ２を、立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３とに分割し、路面領域Ｒ２３を物体候補の検出対象から除外してもよい。立体物領域Ｒ２１は、図５のセル領域ＲＢの右肩上がりの直線状のセル群に対応する画素領域であり、立体物領域Ｒ２２は、図５のセル領域ＲＣの右肩下がりの線状のセル群に対応する画素領域である。

領域分割部６６は、例えば図６に示すように、第１画像中に空等の背景領域Ｒ３が含まれている場合には、背景領域Ｒ３を物体候補の検出対象から除外する。背景領域Ｒ３は自車両からの距離が無限遠となるため、距離算出部６５により算出した距離に基づき第１画像中の背景領域Ｒ３を抽出可能である。なお、領域分割部６６は、第１画像から路面領域Ｒ２３及び背景領域Ｒ３を除外した後に、第１画像の残りの領域を遠距離領域Ｒ１１と近距離領域Ｒ２とに分割してもよい。領域分割部６６により分割された遠距離領域Ｒ１と、近距離領域Ｒ２との一方又は両方に対して、物体検出部６７、動き検出部６８及びパターン検出部６９が、互いに異なる種類の物体検出処理をそれぞれ行う。

物体検出部６７は、距離算出部６５により算出された各特徴点の自車両までの距離に基づき、第１画像から物体候補を検出（抽出）する。例えば、物体検出部６７は、第１画像の特徴点の３次元座標が所定の閾値以下で近接する画素をクラスタリングし、クラスタリングされた画素を含む画像領域を物体候補として検出する。物体検出部６７による距離に基づく物体検出処理では、移動物体及び静止物体を含む任意形状の物体を検出可能であり、他の物体により一部が隠蔽された物体も検出可能である。物体検出部６７による距離に基づく物体検出処理は、基線長と視差分解能に依存し、近距離の物体の検出に適している。

物体検出部６７は、領域分割部６６により分割された遠距離領域Ｒ１及び近距離領域Ｒ２のうち、近距離領域Ｒ２で選択的に物体候補を検出する。即ち、物体検出部６７は、遠距離領域Ｒ１で距離に基づき物体候補を検出することを禁止することにより、遠距離領域Ｒ１を物体候補の検出対象から除外して、近距離領域Ｒ２のみを物体候補の検出対象とする。なお、物体検出部６７は、近距離領域Ｒ２全体を物体候補の検出対象としてもよく、近距離領域Ｒ２が立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３に分割されている場合には立体物領域Ｒ２１，Ｒ２２のみを物体候補の検出対象としてもよい。物体検出部６７は、第1画像の近距離領域Ｒ２において、例えば図７に破線で囲んで示すように物体候補Ｏ１を検出する。

動き検出部６８は、第１画像の特徴点ごとに、第１の時刻（例えば現時点）の特徴点の３次元座標と、第１の時刻より前の第２の時刻の特徴点の３次元座標との差を算出することにより、特徴点の３次元移動ベクトル（オプティカルフロー）を特徴点の動きとして検出（算出）する動き検出処理を行う。オプティカルフローの検出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。

なお、自車両が移動している場合、算出されるオプティカルフローには自車両の移動量が加算されるため、自車両の移動量を除去することが好適である。例えば、動き検出部６８は、自車両の３軸並進運動及び３軸回転運動（すなわちステレオカメラ５０の３軸並進運動及び３軸回転運動）に基づき、オプティカルフローから自車両の移動量を除去してもよい。

動き検出部６８は、算出したオプティカルフローに基づき、第１画像から動きのある物体候補である移動物体候補を検出（抽出）する。例えば、動き検出部６８は、所定の閾値以上の長さの移動ベクトルを有する特徴点に移動物体候補フラグを付与する。更に、動き検出部６８は、移動物体候補フラグが付与された特徴点間の３次元空間上の距離が所定の閾値以下の場合、これらの特徴点を同一の移動物体候補としてラベリングすることにより、移動物体候補を検出する。

動き検出部６８は、領域分割部６６により分割された遠距離領域Ｒ１及び近距離領域Ｒ２の両方で、例えば図８に破線で囲んで示すように、動き検出により移動物体候補Ｏ２を検出する。図８では模式的に、特徴点をドットのハッチングの点で示し、オプティカルフローを矢印で示している。動き検出部６８による移動物体の検出能力は、検出対象の速度と画像の空間分解能に依存するが、遠距離の移動物体の検出にも好適である。動き検出部６８は、物体の形状に関わらず移動物体であれば検出可能であり、他の物体により一部が隠蔽されていても、部分的な動きから移動物体候補を検出可能である。動き検出部６８は、画像の奥行き距離が近接する移動物体同士も分離して検出可能である。

動き検出部６８は、近距離領域Ｒ２で移動物体候補を検出する際には、近距離領域Ｒ２全体を移動物体候補の検出対象としてもよく、近距離領域Ｒ２が立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３に分割されている場合には立体物領域Ｒ２１，Ｒ２２のみを移動物体候補の検出対象としてもよい。

動き検出部６８は、近距離領域Ｒ２で移動物体候補を検出する際に、物体検出部６７により図７に示すように物体候補Ｏ１が先に検出されている場合には、物体検出部６７により物体候補Ｏ１が検出された領域のみを移動物体候補の検出対象としてもよい。動き検出部６８は、近距離領域Ｒ２でパターン検出部６９により物体候補が先に検出されている場合には、パターン検出部６９により物体候補が検出された領域のみを移動物体候補の検出対象としてもよい。

動き検出部６８は、遠距離領域Ｒ１で移動物体候補を検出する際には、遠距離領域Ｒ１全体を移動物体候補の検出対象としてもよい。動き検出部６８は、遠距離領域Ｒ１でパターン検出部６９により物体候補が先に検出されている場合には、パターン検出部６９により物体候補が検出された領域のみを移動物体候補の検出対象としてもよい。

動き検出部６８は、遠距離領域Ｒ１又は近距離領域Ｒ２で移動物体候補を検出した場合、検出した移動物体候補を継続して追跡してもよい。例えば、動き検出部６８は、遠距離領域Ｒ１で対向車を検出し、検出した対向車が接近して遠距離領域Ｒ１から近距離領域Ｒ２に移動した場合でも継続して追跡することで、近距離領域Ｒ２で対向車を再度検出する処理が不要となり、演算負荷を抑制することができる。

動き検出部６８は、遠距離領域Ｒ１で移動物体候補を検出する際に、記憶装置５６に記憶されている地図データ等の道路形状に基づき、遠距離領域Ｒ１中の検出対象とする領域を更に絞り込んでもよい。例えば、動き検出部６８は、記憶装置５６に記憶されている地図データ等から自車両の周囲の道路形状を読み出す。動き検出部６８は、読み出した道路形状に基づき、遠距離領域Ｒ１中の移動物体が存在し得る領域を抽出し、抽出した領域で、動き検出により移動物体候補を検出する。例えば、遠距離領域Ｒ１において対向車線上の領域を抽出し、抽出した領域で対向車を検出してもよい。或いは、遠距離領域Ｒ１において歩道上の領域を抽出し、抽出した領域で歩行者を検出してもよい。

パターン検出部６９は、パターン認識により車両、歩行者、自転車等の種別が既知（学習済み）の物体候補を検出する。パターン検出部６９により認識可能なパターンは適宜設定可能であり、例えば記憶装置５６に予め記憶されている。パターン検出部６９によるパターン認識処理は、例えば非特許文献「P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, “Object detection with discriminatively trained part-based models,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 32, no. 9, pp. 1627-45, Sep. 2010.」のような技術を使用することができる。

パターン検出部６９は、第1画像の遠距離領域Ｒ１又は近距離領域Ｒ２において、例えば図９に示すように、パターン認識により車両、トラック、自転車等の種別が既知の物体候補Ｏ３を検出する。パターン検出部６９による物体候補の検出能力は、画像上での大きさ（画素数）に依存するが、遠距離の物体も検出可能であり、画角及び解像度で調整可能である。パターン検出部６９は、種別が既知の対象であれば、移動物体及び静止物体のいずれも検出可能である。パターン検出部６９は、認識性能に依存するが、他の物体で一部隠蔽された物体も検出可能である。

パターン検出部６９は、近距離領域Ｒ２で物体候補を検出する際には、近距離領域Ｒ２全体を物体候補の検出対象としてもよく、近距離領域Ｒ２が立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３に分割されている場合には立体物領域Ｒ２１，Ｒ２２のみを物体候補の検出対象としてもよい。パターン検出部６９は、近距離領域Ｒ２で物体検出部６７により図７に示すように先に物体候補Ｏ１が検出されている場合には、物体検出部６７により物体候補Ｏ１が検出された領域でのみ、物体候補を検出してもよい。パターン検出部６９は、近距離領域Ｒ２で、動き検出部６８により先に図８に示すように移動物体候補Ｏ２が検出されている場合には、動き検出部６８により移動物体候補Ｏ２が検出された領域でのみ、物体候補を検出してもよい。

ここで、一般的なパターン認識による物体候補の検出手法は、図１０に示すように、複数のサイズの検出枠（ウインドウ）ｗ１，ｗ２，ｗ３を破線の矢印で示すように画像全体に対して走査し、各検出枠ｗ１，ｗ２，ｗ３でパターン認識を行うものである。これに対して、パターン検出部６９は、図１１に示すように、近距離領域Ｒ２で物体検出部６７により検出された一定以上の大きさの物体候補（図示省略）のそれぞれに対して、物体候補の大きさ及び距離に合わせて大きさを固定した検出枠Ｗ１を用いて、パターン認識により物体候補を検出してもよい。

パターン検出部６９は、遠距離領域Ｒ１で物体候補を検出する際には、遠距離領域Ｒ１全体に対して物体候補を検出してもよい。パターン検出部６９は、遠距離領域Ｒ１で、動き検出部６８により先に図８に示すように移動物体候補Ｏ２が検出されている場合には、動き検出部６８により移動物体候補Ｏ２が検出された領域でのみ、物体候補を検出してもよい。

パターン検出部６９は、遠距離領域Ｒ１で移動物体候補を検出する際に、記憶装置５６に記憶されている地図データ等の道路形状に基づき、遠距離領域Ｒ１中の検出対象とする領域を更に絞り込んでもよい。例えば、パターン検出部６９は、記憶装置５６に記憶されている地図データ等から自車両の周囲の道路形状を読み出す。パターン検出部６９は、読み出した道路形状に基づき、遠距離領域中の移動物体が存在する領域を抽出し、抽出した領域で、パターン認識により物体候補を検出する。例えば、遠距離領域Ｒ１において対向車線上の領域を抽出し、抽出した領域で対向車を検出してもよい。或いは、遠距離領域Ｒ１において歩道上の領域を抽出し、抽出した領域で歩行者を検出してもよい。

統合部７０は、物体検出部６７により検出された物体候補、動き検出部６８により検出された移動物体候補、パターン検出部６９により検出された物体候補を統合する統合処理を行う。例えば、統合部７０は、物体検出部６７により検出された物体候補、動き検出部６８により検出された移動物体候補、パターン検出部６９により検出された物体候補のそれぞれで検出された同一の物体候補が有る場合に、１つの物体候補として統合する。統合部７０は更に、物体検出部６７、動き検出部６８及びパターン検出部６９の物体候補の検出結果に応じて警報信号を出力する。例えば、統合部７０は、物体候補と自車両との相対位置、物体候補と自車両との距離、物体候補のオプティカルフロー等に応じて、自車両が物体候補と接触する可能性が有る場合に警報信号を出力する。

＜物体検出方法＞
次に、図１２のフローチャートを参照しながら、本発明の実施形態に係る物体検出装置１０を用いた物体検出方法の一例を説明する。

ステップＳ１において、ステレオカメラ５０は、自車両の周囲のステレオ画像を自車両の周囲環境として、所定の周期で取得する。画像補正部６１及び６２は、ステレオ画像に含まれる第１画像及び第２画像の補正処理をそれぞれ行う。特徴点検出部６３及び６４は、第１画像及び第２画像それぞれにおいて特徴点を検出し、検出した特徴点を記憶装置５６に記録する。

ステップＳ２において、距離算出部６５は、互いに対応する第１画像の特徴点と第２画像の特徴点を探索するステレオ視差算出処理を行い、対応する特徴点間のずれ量（視差）を算出する。距離算出部６５は更に、算出した視差及びステレオカメラ５０の基線長等に基づき特徴点の３次元座標及び自車両までの距離を算出し、算出した３次元座標及び距離を記憶装置５６に記録する。

ステップＳ３において、領域分割部６６は、距離算出部６５により算出された自車両と特徴点との距離に基づき、例えば図６に示すように、第１画像を、自車両と特徴点（物体）との距離が相対的に遠い側の遠距離の遠距離領域Ｒ１と、自車両と特徴点（物体）との距離が相対的に近い側の近距離領域Ｒ２とに分割する領域分割処理を実行する。領域分割部６６は更に、距離算出部６５により算出された自車両と特徴点との距離に基づき、近距離領域Ｒ２を立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３に分割してもよい。

ステップＳ３により分割された近距離領域Ｒ２に対して、ステップＳ４～Ｓ６で３種類の物体検出処理を行う場合を例示する。なお、ステップＳ４～Ｓ６において、近距離領域Ｒ２全体を物体候補の検出対象とする場合を例示するが、近距離領域Ｒ２が立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３に分割されている場合には、立体物領域Ｒ２１，Ｒ２２のみを物体候補の検出対象としてもよい。

ステップＳ４において、物体検出部６７が、ステップＳ３で分割された近距離領域Ｒ２で、ステップＳ２で算出された距離に基づき物体候補を検出する。ステップＳ５において、動き検出部６８が、ステップＳ３で分割された近距離領域Ｒ２で、動き検出により移動物体候補を検出する。この際、動き検出部６８が、近距離領域Ｒ２全体を移動物体候補の検出対象としてもよく、物体検出部６７により物体候補が検出された領域のうちの所定の閾値以上の大きさの領域のみを、移動物体候補の検出対象としてもよい。

ステップＳ６において、パターン検出部６９が、ステップＳ３で分割された近距離領域Ｒ２で、パターン認識により種別が既知の物体候補を検出する。この際、パターン検出部６９が、近距離領域Ｒ２全体を物体候補の検出対象としてもよい。或いは、パターン検出部６９が、動き検出部６８により移動物体候補が検出された領域のみを物体候補の検出対象としてもよく、物体検出部６７により物体候補が検出された領域のうちの所定の閾値以上の大きさの領域のみを、物体候補の検出対象としてもよい。また、パターン検出部６９が、物体検出部６７により検出された物体候補の距離及び大きさに応じた検出枠を用いたパターン認識により物体候補を検出してもよい。

一方、ステップＳ３により分割された遠距離領域Ｒ１に対して、ステップＳ７，Ｓ８の２種類の物体検出処理を行う場合を例示する。ここで、遠距離領域Ｒ１に対しては、物体検出部６７が距離に基づき物体候補を検出することを禁止し、動き検出部６８及びパターン検出部６９の少なくとも一方が物体検出処理を実行する。ステップＳ７において、動き検出部６８が、ステップＳ３で分割された遠距離領域Ｒ１で、動き検出により移動物体候補を検出する。なお、ステップＳ７の動き検出部６８による物体検出処理は、ステップＳ５の動き検出部６８による近距離領域Ｒ２における物体検出処理と同時に行ってもよい。

ステップＳ８において、パターン検出部６９が、ステップＳ３で分割された遠距離領域Ｒ１で、パターン認識により種別が既知の物体候補を検出する。この際、パターン検出部６９が、遠距離領域Ｒ１全体を物体候補の検出対象としてもよく、動き検出部６８により移動物体候補が検出された領域のみを物体候補の検出対象としてもよい。なお、ステップＳ８のパターン検出部６９による物体検出処理は、ステップＳ６のパターン検出部６９による近距離領域Ｒ２における物体検出処理と同時に行ってもよい。

ステップＳ９において、統合部８０は、ステップＳ４～Ｓ６において近距離領域Ｒ２で検出された物体候補と、ステップＳ７，Ｓ８において遠距離領域Ｒ１で検出された物体候補とを統合し、統合した物体候補を記憶装置５６に記憶する。また、統合部８０は、物体候補の検出結果に応じて警報信号を出力する。車両走行コントローラ３０は、統合部８０から出力された警報信号に基づき車両制御アクチュエータ群４０を制御する制御信号を出力する。車両制御アクチュエータ群４０は、車両走行コントローラ３０から出力された制御信号に基づき自車両の走行を制御する。

＜領域分割処理＞
次に、図１２のステップＳ３の領域分割処理の一例を、図１３のフローチャートを参照して説明する。ステップＳ１１において、領域分割部６６は、第１画像の特徴点に対応する画素を選択し、選択された画素の視差が所定の閾値以上か否かを判定する。視差が所定の閾値以上と判定された場合、ステップＳ１２に移行し、画素に近距離フラグを付与して画素を近距離領域Ｒ２に分類する。

一方、ステップＳ１１で視差が所定の閾値未満と判定された場合、ステップＳ１３に移行し、画素に遠距離フラグを付与して画素を遠距離領域Ｒ１に分類する。ステップＳ１４において、第１画像の特徴点に対応するすべての画素が分類されたか否かを判定する。未分類の画素があると判定された場合、ステップＳ１１に戻り、未分類の画素を選択して同様の処理を実行する。ステップＳ１４ですべての画素が分類されたと判定された場合、処理を終了する。

＜近距離領域の物体検出処理＞
次に、図１２のステップＳ５の動き検出処理及びＳ６のパターン認識処理の一例を、図１４のフローチャートを参照して説明する。ステップＳ２１において、動き検出部６８が、図１２のステップＳ４で物体検出部６７により検出された物体候補の１つを選択し、物体候補が検出された領域の大きさが所定の閾値以上か否かを判定する。物体候補が検出された領域の大きさが所定の閾値未満と判定された場合、動き検出部６８による動き検出の対象とはせずに、ステップＳ３２に移行する。一方、ステップＳ２１で物体候補が検出された領域が所定の閾値以上に大きいと判定された場合、ステップＳ２２に移行し、動き検出部６８が、所定の閾値以上に大きいと判定された物体候補が検出された領域で、動き検出により移動物体候補を検出する。

ステップＳ２３において、パターン検出部６９が、ステップＳ２２で動き検出部６８により移動物体候補が検出されたか否かを判定する。移動物体候補が検出されたと判定された場合、ステップＳ２４に移行し、パターン検出部６９が、移動物体候補が検出された領域で、パターン認識により種別が既知の物体候補を検出する。ステップＳ２５において、パターン検出部６９が、パターン認識により物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合、ステップＳ２６に移行し、検出された物体候補を「種別が既知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ２５で物体候補が検出されなかったと判定された場合、ステップＳ２７に移行し、ステップＳ２２で動き検出部６８により検出された移動物体候補を「種別が未知の移動物体候補」として記憶装置５６に記録する。

ステップＳ２３で移動物体候補が検出されなかったと判定された場合、ステップＳ２８に移行し、パターン検出部６９が、ステップＳ２１で所定の閾値以上に大きいと判定された物体候補が検出された領域で、パターン認識により種別が既知の物体候補を検出する。ステップＳ２９において、パターン検出部６９が、パターン認識により物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合、ステップＳ３０に移行し、検出された物体候補を「種別が既知の静止物体候補」として記憶装置５６に記録する。一方、ステップＳ２９で物体候補が検出されなかったと判定された場合、ステップＳ３１に移行し、ステップＳ２１で所定の閾値以上に大きいと判定された物体候補を「種別が未知の静止物体候補」として記憶装置５６に記録する。

ステップＳ３２において、ステップＳ４で物体検出部６７により検出された物体候補のすべてを処理したか否かを判定する。物体候補のすべてを処理したと判定された場合、処理を完了する。一方、未処理の物体候補が有ると判定された場合、ステップＳ２１の手順に戻り、未処理の物体候補を選択して同様の処理を実行する。

＜遠距離領域の物体検出処理＞
次に、図１２のステップＳ８のパターン認識処理の一例を、図１５のフローチャートを参照して説明する。ステップＳ４１において、パターン検出部６９が、図１２のステップＳ７で動き検出部６８により移動物体候補が検出されたか否かを判定する。移動物体候補が検出されたと判定された場合、ステップＳ４２に移行し、パターン検出部６９が、移動物体候補が検出された領域で、パターン認識により種別が既知の物体候補を検出する。

ステップＳ４３において、パターン検出部６９が、パターン認識により物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合、ステップＳ４４に移行し、検出された物体候補を「種別が既知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ４３でパターン認識により物体候補が検出されなかったと判定された場合、ステップＳ４５に移行し、移動物体候補を「種別が未知の移動物体候補」として記憶装置５６に記録する。

ステップＳ４１の説明に戻り、移動物体候補が検出されなかったと判定された場合、ステップＳ４６に移行し、パターン検出部６９が、遠距離領域Ｒ１全体で、パターン認識により種別が既知の物体候補を検出する。ステップＳ４７において、パターン検出部６９が、パターン認識により物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合、ステップＳ４８に移行し、検出された物体候補を「種別が既知の静止物体候補」として記憶装置５６に記録する。一方、ステップＳ４７で物体候補が検出されなかったと判定された場合、処理を完了する。

＜効果＞
以上説明したように、本発明の実施形態によれば、ステレオカメラ５０が自車両の周囲環境として第１画像及び第２画像を取得する。領域分割部６６が、第１画像及び第２画像等から得られる自車両から自車両の周囲に存在する物体までの距離（距離に相当する視差も含む）に基づき、取得した第１画像を遠距離領域Ｒ１と近距離領域Ｒ２とに分割する。そして、物体検出部６７が、分割された遠距離領域Ｒ１で、自車両から物体までの距離に基づき物体候補を検出することを禁止するとともに、分割された近距離領域Ｒ２で、自車両から物体までの距離に基づき物体候補を検出する。これにより、例えば視差が小さく、距離に基づく物体候補の検出が困難又は不可能な遠距離領域Ｒ１を除外して、距離に基づく物体候補の検出に適する近距離領域Ｒ２のみで選択的に、距離に基づき物体候補を検出することができる。したがって、第１画像全体を距離に基づく物体候補の検出対象とする場合と比較して、処理負荷を抑制して効率的に物体候補を検出することができる。

更に、動き検出部６８が、遠距離領域Ｒ１で動き検出により移動物体候補を検出するとともに、パターン検出部６９が、遠距離領域Ｒ１でパターン認識により物体候補を検出する。これにより、距離に基づく物体候補の検出が困難又は不可能な遠距離領域Ｒ１においても、物体候補を高精度に検出することができる。

更に、処理負荷の低減のために、遠距離の画像領域では動き検出を行わず、近距離の画像領域のみで動き検出を行うのが一般的である。これに対して、本発明の実施形態によれば、動き検出部６８が、あえて遠距離領域Ｒ１で動き検出により移動物体候補を検出することにより、遠距離領域Ｒ１であたりをつけ、移動物体候補を検出した後、検出した移動物体候補に絞って、物体検出を継続することができる。これにより、不要な物体検出処理を抑制することができるため、処理負荷を軽減することができる。

更に、動き検出部６８が、遠距離領域Ｒ１で動き検出により移動物体候補を検出し、移動物体候補が検出された領域に絞って、パターン検出部６９がパターン認識により物体候補を検出する。これにより、動き検出の結果を反映してパターン認識を実行することができるため、不要なパターン認識を抑制することができ、処理負荷を抑制することができる。また、特に注意が必要な移動物体候補をパターン認識による遅延を生じさせずに検出することができる。

更に、近距離領域Ｒ２での物体検出部６７による距離に基づく物体検出処理において、奥行き方向で隣接する物体が存在する場合に、隣接する物体同士を分離して検出し難い。例えば、歩行者が壁際を歩いている場合に、注意すべき歩行者を壁と分離して検出し難い。これに対して、本発明の実施形態によれば、物体検出部６７による距離に基づく物体候補を検出後、物体候補を検出した領域が所定の閾値以上に大きい場合、動き検出部６９が動き検出により移動物体候補を検出することにより、奥行き方向で隣接する物体が存在する場合でも、移動物体候補を分離して検出することができる。更に、動き検出部６９が、近距離領域Ｒ２で、所定の閾値以上の大きさの物体候補が検出された領域に絞って動き検出により移動物体候補を検出すれば、近距離領域Ｒ２全体を移動物体候補の検出対象とする場合と比較して演算負荷を抑制することができる。

更に、近距離領域Ｒ２で物体検出部６７による距離に基づく物体候補を検出後、物体候補を検出した領域が所定の閾値以上に大きい場合、パターン検出部６９が自車両と物体候補との距離及び物体候補の大きさに応じた検出枠を用いて、パターン認識により物体候補を検出する。これにより、奥行き方向で隣接する物体が存在する場合でも、種別が既知の物体候補を分離して検出することができる。更に、パターン検出部６９が、近距離領域Ｒ２で、所定の閾値以上に大きい物体候補が検出された領域に絞ってパターン認識により移動物体候補を検出すれば、近距離領域Ｒ２全体を物体候補の検出対象とする場合と比較して演算負荷を抑制することができる。

更に、動き検出部６８又はパターン検出部６９が、地図データ等から得られた自車両の周囲の道路形状に基づき、遠距離領域Ｒ１で移動物体が存在する可能性が高い領域を抽出し、抽出した領域で、動き検出又はパターン認識により物体候補をそれぞれ検出する。これにより、遠距離領域Ｒ１で特徴点を抽出し難い場合であっても、移動物体が存在する可能性が高い領域を絞り込むことができる。例えば、遠距離領域Ｒ１で対向車線上の領域を抽出して、抽出した領域に絞り込んで対向車を検出し易くしたり、歩道上の領域を抽出して、抽出した領域に絞り込んで歩行者を検出し易くしたりすることができる。

更に、距離算出部６５が、ステレオカメラ５０により取得した第１画像及び第２画像から得られた対応する特徴点間の視差に基づき、領域分割部６６及び物体検出部６７で用いる自車両と物体との距離情報を算出する。これにより、ステレオカメラ５０以外の個別のレーダ等の測距センサを用いずに自車両と物体との距離情報を算出することができ、システムを簡素化することができる。

更に、領域分割部６６が、距離算出部６５により算出された自車両と物体との距離に基づき、近距離領域Ｒ１を立体物領域Ｒ２１，Ｒ２２と路面領域Ｒ２３とに分割し、路面領域Ｒ２３を物体候補の検出対象から除外する。これにより、近距離領域Ｒ１の立体物領域Ｒ２１，Ｒ２２に絞って効率的に物体候補を検出することができる。

（変形例）
本発明の実施形態に係る物体検出方法においては、図１２のステップＳ４～Ｓ８の物体検出処理の中で、検出された同一の物体候補を統合するように、移動物体であるか静止物体であるか、種別が既知か未知かを分類する場合を例示した。これに対して、図１２のステップＳ４～Ｓ８において検出された物体候補を、ステップＳ９において統合部７０が統合して、移動物体であるか静止物体であるか、種別が既知か未知かを分類する場合を説明する。

図１６に統合部７０による統合処理のフローチャートを示す。この統合処理は統合処理の起点（キュー）となる特徴により、ステップＳ１００のパターンをキューとする統合処理、ステップＳ２００の動きをキューとする統合処理、ステップＳ３００の距離をキューとする統合処理の３段階で構成される。

＜パターンをキューとする統合処理＞
図１６のステップＳ１００のパターンをキューとする統合処理について、図１７のフローチャートを参照して説明する。ステップＳ１０１において、統合部７０は、図１２のステップＳ６，Ｓ８においてパターン認識により検出された物体候補を選択する。ステップＳ１０２において、統合部７０は、選択した物体候補が検出された領域で、図１２のステップＳ４で距離に基づき物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合には、ステップＳ１０３に移行する。

ステップＳ１０３において、統合部７０は、選択した物体候補が検出された領域で、図１２のステップＳ５，Ｓ７において動き検出により移動物体候補が検出されたか否かを判定する。移動物体候補が検出されたと判定された場合には、ステップＳ１０４に移行し、統合部７０は、選択した物体候補を「種別が既知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ１０３において、移動物体候補が検出されなかったと判定された場合には、ステップＳ１０５に移行し、統合部７０は、選択した物体候補を「種別が既知の静止物体候補」として記憶装置５６に記録する。

ステップＳ１０２の説明に戻り、物体候補が検出されなかったと判定された場合には、ステップＳ１０６に移行し、統合部７０は、選択した物体候補が検出された領域で、図１２のステップＳ５，Ｓ７において動き検出により移動物体候補が検出されたか否かを判定する。移動物体候補が検出されたと判定された場合、ステップＳ１０７に移行し、統合部７０は、移動物体候補に対応する特徴点の自車両までの距離等に基づき、自車両から移動物体候補までの距離を推定する。その後、ステップＳ１０８において、選択した物体候補を「種別が既知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ１０６で移動物体候補が検出されなかったと判定された場合、ステップＳ１０９に移行し、移動物体候補に対応する特徴点の自車両までの距離等に基づき、自車両から移動物体候補までの距離を推定する。その後、ステップＳ１１０において、選択した物体候補を「種別が既知の静止物体候補」として記憶装置５６に記録する。

＜動きをキューとする統合処理＞
次に、図１６のステップＳ２００の動きをキューとする統合処理について、図１８のフローチャートを参照して説明する。ステップＳ２０１において、統合部７０は、図１２のステップＳ５，Ｓ７で動き検出により検出された移動物体候補（移動体候補に対応する特徴点のクラスタ）を選択する。ステップＳ２０２において、統合部７０は、選択した移動物体候補が、図１６のステップＳ１００のパターンをキューとする統合処理によって、既に移動物体候補として分類され記憶装置５６に記録されているか否かを判定する。記録されていると判定された場合には処理を完了する。一方、ステップＳ２０２において記録されていないと判定された場合には、ステップＳ２０３に移行する。

ステップＳ２０３において、統合部７０は、選択した移動物体候補が検出された領域で、図１２のステップＳ４で距離に基づき物体候補が検出されたか否かを判定する。物体候補が検出されたと判定された場合には、ステップＳ２０４に移行し、統合部７０は、選択した移動物体候補を「種別が未知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ２０３において物体候補が検出されなかったと判定された場合、ステップＳ２０５に移行する。

ステップＳ２０５において、統合部７０は、選択した移動物体候補に対応する特徴点の画素に遠距離フラグが付与されているか否かを判定する。遠距離フラグが付与されていると判定された場合には、ステップＳ２０６に移行し、統合部７０は、選択した移動物体候補を「遠距離領域Ｒ１の種別が未知の移動物体候補」として記憶装置５６に記録する。一方、ステップＳ２０５において遠距離フラグが付与されていないと判定された場合には、ステップＳ２０７に移行し、統合部７０は、選択した移動物体候補を「近距離領域Ｒ２の種別が未知の移動物体候補」として記憶装置５６に記録する。

＜距離をキューとする統合処理＞
図１６にステップＳ３００の距離をキューとする統合処理について、図１９のフローチャートを参照して説明する。ステップＳ３０１において、統合部７０は、図１２のステップＳ４において物体検出部６７により距離に基づき検出された物体候補を選択する。ステップＳ３０２において、統合部７０は、選択した物体候補が、図１４のステップＳ１００のパターンをキューとする統合処理又はＳ２００の動きをキューとする統合処理において、既に物体候補として分類され、記憶装置５６に記録されているか否かを判定する。物体候補として既に記録されていると判定された場合、処理を終了する。一方、ステップＳ３０２で物体候補として記録されていないと判定された場合、ステップＳ３０３に移行し、選択した物体候補を「種別が未知の静止物体候補」として記憶装置５６に記録する。

（その他の実施形態）
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

例えば、本発明の実施形態においては、ステレオカメラ５０を構成する第１画像センサ５２と第２画像センサ５３により取得した第１画像及び第２画像から、距離算出部６５が自車両と自車両の周囲に存在する物体との距離情報を算出する場合を例示したが、レーダ５１等の測距センサにより自車両と自車両の周囲に存在する物体との距離情報を検出してもよい。この場合、ステレオカメラ５０に代えて単眼カメラ等の画像センサが、自車両の周囲の画像を自車両の周囲環境として取得してもよい。そして、領域分割部６６は、測距センサにより検出された距離情報に基づき、画像センサにより取得された画像を、近距離領域と遠距離領域に分割してもよい。物体検出部５は、測距センサにより検出された距離情報に基づき、画像センサにより取得された画像の近距離領域で物体候補を検出してもよい。

また、領域分割部６６は、ステレオカメラ５０等の画像センサにより取得された画像を近距離領域と遠距離領域に分割する代わりに、レーダ５１等の測距センサが自車両と自車両の周囲に存在する物体との点群データ等の距離情報（距離画像）を自車両の周囲環境として取得して、取得された距離情報を近距離領域と遠距離領域に分割してもよい。この場合、物体検出部６７は、測距センサにより検出された距離情報に基づき、測距センサにより検出された距離情報の近距離領域で物体候補を検出してもよい。

また、ステレオカメラ５０等の複数の画像センサによりそれぞれ取得された複数の画像があり、複数の画像のそれぞれの画素に対応する３次元座標及び自車両までの距離が、複数の画像間で対応付けられている場合には、領域分割部６６は、複数の画像のそれぞれを近距離領域と遠距離領域に分割してもよい。そして、物体検出部６７、動き検出部６８及びパターン検出部６９は、互いに異なる画像の近距離領域又は遠距離領域に対して、物体検出処理を行い、それぞれの検出結果を統合部７０により統合してもよい。

また、本発明の実施形態においては、図１２に示すように、近距離領域に対しては、ステップＳ４における距離に基づく物体検出処理、ステップＳ５における動き検出による物体検出処理、及びステップＳ６におけるパターン認識による物体検出処理の３種類の検出処理を行う場合を例示したが、これに限定されない。例えば、近距離領域ではステップＳ４における距離に基づく物体検出処理のみを行ってもよい。また、ステップＳ４における距離に基づく物体検出処理及びステップＳ５における動き検出による物体検出処理の２種類のみを行ってもよい。或いは、ステップＳ４における距離に基づく物体検出処理及びステップＳ６におけるパターン認識による物体検出処理の２種類のみを行ってもよい。

また、本発明の実施形態においては、図１２に示すように、遠距離領域に対しては、ステップＳ７における動き検出による物体検出処理、及びステップＳ８におけるパターン認識による物体検出処理の２種類を順次行う場合を例示したが、これに限定されない。例えば、遠距離領域ではステップＳ７における動き検出による物体検出処理、及びステップＳ８におけるパターン認識による物体検出処理のいずれも行わなくてもよい。即ち、近距離領域のみで物体検出処理を行ってもよい。また、ステップＳ７における動き検出による物体検出処理、及びステップＳ８におけるパターン認識による物体検出処理のうちの一方のみを行ってもよい。また、ステップＳ７における動き検出による物体検出処理、及びステップＳ８におけるパターン認識による物体検出処理を逆の順番で行ってもよい。

また、本発明の実施形態においては、領域分割部６６は、第１の画像を近距離領域と遠距離領域の２段階に分割する場合を例示したが、第１の画像を距離に応じて３段階以上の領域に分割してもよい。例えば、自車両から近い側の近距離領域、自車両から遠い側の遠距離領域、近距離領域と遠距離領域の間の距離にある中距離領域の３段階に分割してもよい。この場合、分割した３段階の領域で互いに異なる種類の物体検出処理を行ってもよい。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１…運転支援装置、１０…物体検出装置、１１…周囲環境センサ群、１２…コントローラ、１３…ユーザインタフェース装置、２０…車両挙動センサ群、２１…車速センサ、２２…加速度センサ、２３…ジャイロセンサ、２４…操舵角センサ、３０…車両走行コントローラ、４０…車両制御アクチュエータ群、４１…ステアリングアクチュエータ、４２…アクセル開度アクチュエータ、４３…ブレーキ制御アクチュエータ、５０…ステレオカメラ、５１…レーダ、５２，５３…画像センサ、５５…プロセッサ、５６…記憶装置、６１，６２…画像補正部、６３，６４…特徴点検出部、６５…距離算出部、６６…領域分割部
６７…物体検出部６７…動き検出部、６９…パターン検出部、７０…統合部

Claims (8)

1. センサが、自車両の周囲環境を取得し、
   コントローラが、
   前記自車両と前記周囲環境に存在する物体との距離に基づき、前記取得した周囲環境を、前記距離が近い近距離領域と、前記距離が遠い遠距離領域とに分割し、
   前記近距離領域で、前記距離に基づき物体候補を検出し、
   前記遠距離領域で、動き検出による移動物体候補の検出とパターン認識による物体候補の検出との少なくとも一方を行い、
   前記遠距離領域で動き検出により移動物体候補を検出し、前記移動物体候補を検出した領域でパターン認識により物体候補を検出し、前記遠距離領域で前記移動物体候補を検出した場合、前記移動物体候補を継続して追跡することを特徴とする物体検出方法。
2. 前記コントローラが、前記遠距離領域で、前記距離に基づき物体候補を検出することを禁止する、
   ことを特徴とする請求項１に記載の物体検出方法。
3. 前記コントローラが、前記近距離領域での前記物体候補の検出後、前記近距離領域での前記物体候補を検出した領域が所定の閾値以上に大きい場合、前記近距離領域で動き検出により移動物体候補を検出することを特徴とする請求項１又は２に記載の物体検出方法。
4. 前記コントローラが、前記近距離領域での前記物体候補の検出後、前記近距離領域での前記物体候補を検出した領域が所定の閾値以上に大きい場合、前記自車両と前記近距離領域での前記物体候補との距離及び前記近距離領域での前記物体候補の大きさに応じた検出枠を用いて、前記近距離領域でパターン認識により物体候補を検出することを特徴とする請求項１～３の何れか一項に記載の物体検出方法。
5. 前記コントローラが、
   前記自車両の周囲の道路形状に基づき、前記遠距離領域で移動物体が存在する領域を抽出し、
   前記抽出された領域で、動き検出による移動物体候補の検出とパターン認識による物体候補の検出との少なくとも一方を行う
   ことを特徴とする請求項１～４の何れか一項に記載の物体検出方法。
6. 前記コントローラが、前記距離をステレオカメラによる視差に基づき算出することを特徴とする請求項１～５の何れか一項に記載の物体検出方法。
7. 前記コントローラが、
   前記距離に基づき、前記近距離領域から路面領域を抽出し、
   前記抽出した路面領域を除外した前記近距離領域で、前記距離に基づき前記物体候補を検出する
   ことを特徴とする請求項１～６の何れか一項に記載の物体検出方法。
8. 自車両の周囲環境を取得するセンサと、
   前記自車両と前記周囲環境に存在する物体との距離に基づき、前記取得した周囲環境を、前記距離が近い近距離領域と、前記距離が遠い遠距離領域とに分割し、前記近距離領域で、前記距離に基づき物体候補を検出し、前記遠距離領域で、動き検出による移動物体候補の検出とパターン認識による物体候補の検出との少なくとも一方を行い、前記遠距離領域で動き検出により移動物体候補を検出し、前記移動物体候補を検出した領域でパターン認識により物体候補を検出し、前記遠距離領域で前記移動物体候補を検出した場合、前記移動物体候補を継続して追跡するコントローラと、
   を備えることを特徴とする物体検出装置。

Images