JP5379543B2 - 自動車の外界認識装置 - Google Patents

Description

本発明は、障害物を検知・識別する車載用レーダや車載カメラ等の外界認識装置に関係し、レーダによる障害物検知やカメラ映像の画像処理により、自動車の通行上の障害物を検出し、その検出結果に基づいてドライバ等に適切な警報や車両制御を実行する外界認識装置に関する。

交通事故による死傷者および事故そのものの低減に向けて、プリクラッシュ・セーフティ・システム等の事故を未然に防ぐための予防安全技術の研究・開発を世界のカーメーカーおよび部品メーカー等が進めている。特に、周辺の障害物を検知する車載用レーダやカメラといった外界認識装置（センサ）およびその外界認識プログラム等の研究・開発は、自動車の予防安全技術において非常に重要である。

従来、上記外界認識装置を利用して障害物を検知する場合は、測距性能に優れたレーダと障害物を識別できるカメラ等を併用して、周囲の障害物から自車の状態に至るまで、その走行状況を的確に検出することにより、運転者への警報や車両の走行制御などを安全に実行することができる。

例えば、特許文献１に記載の障害物検出装置では、自車に搭載したカメラで進行方向の所定の範囲を撮影し、障害物を含む画像データを取得する。同時に測距センサを用いて同障害物との相対距離を計測する。そして、カメラの画像データを基にオプティカルフローを計測し、そのオプティカルフローから自車の進行方向を判定し、自車の車速および自車と障害物との相対距離から検知した障害物が注意すべき障害物か否かを判断する方法が開示されている。

特開２００４−３４９９２６号公報

特許文献１に記載されている障害物検出装置では、測距センサとしてレーザーレンジファインダを用いており、その測距センサから算出した自車と障害物との相対距離と、予め記憶している自車速度に応じた相対距離の閾値とを比較して、自車前方の障害物が注意すべき障害物であるか否かを判断する。

しかしながら、自車近傍で自車の前方を横移動する障害物が存在する場合、単位時間当たりの見かけの移動距離（カメラ映像上での移動距離）が大きいため、反射式の測距センサを単独で用いる障害物検知では、送受信処理および距離演算処理中に障害物が大きく移動するおそれがあり、正確な位置情報を取得することが難しい。

本発明の目的は、自車近傍の障害物に対する検知性能を向上することにあり、自車近傍の障害物に対する未検知や検知遅れを改善できる自動車の外界認識装置を提供する。

上記課題を解決する本発明の自動車の外界認識装置は、自車前方の障害物を検知してその障害物の測距情報を取得する第１検知部と、自車前方を撮像した画像に画像処理を実行して障害物を検知する第２検知部と、測距情報に基づいて自車に対する障害物の相対的な移動速度である第１速度を演算する第１速度演算部と、画像に基づいて自車に対する障害物の相対的な移動速度である第２速度を演算する第２速度演算部と、第１速度と第２速度との速度差が予め設定された所定の範囲内の値であるか否かを判定する速度判定部と、速度判定部により速度差が所定の範囲内の値であると判定された場合には、第１検知部で検知した障害物と第２検知部で検知した障害物とが同一物体であると判断する障害物検知部とを有することを特徴とする。

本発明によれば、第１検知部で測距情報に基づき算出した第１速度と、第２検知部で画像に基づき算出した第２速度との速度差が所定の範囲内の値である場合には、同一物体であると判断するので、障害物の検知性能を向上させることができる。したがって、自車近傍の障害物（特に自車の前を横断する歩行者など）に対する未検知数や検知遅れが発生する割合を低減することができる。

また、例えば第２検知部による障害物検知を継続することによって、第１検知部が障害物を見失った場合にも、障害物の位置を把握することができ、障害物の検知性能を向上させることができる。

第１実施の形態における外界認識装置の機能ブロック図。 外界認識装置によって設定される障害物検知領域の構成を説明する図。 撮像装置で撮像した画像の模式図。 外界認識方法を説明するフローチャート。 オプティカルフロー計測方法を説明する図。 測距センサによる障害物検知および障害物の位置情報に関する実施例を示す図。 測距センサの障害物検知に基づく速度演算方法を説明するフローチャート。 オプティカルフロー計測結果に基づく速度演算方法を説明するフローチャート。 速度判定と判定結果に基づく障害物検知方法を説明するフローチャート。 速度判定時に用いる速度差閾値の設定方法を説明する図。 障害物との相対距離と検知成功率との関係を示す図。 本発明における警報・制御の一実施例を示す図。 ２つの撮像装置を取り付けた場合の障害物検知の一実施例を示す図。 他の検知領域設定方法を説明する図。 第２実施の形態における外界認識方法を説明するフローチャート。

［第１実施の形態］
以下、図面を用いて本実施の形態について説明する。
図１は、本実施の形態における外界認識装置の機能ブロック図である。図１に示すブロック図の処理内容は、撮像装置や自動車に搭載されるコンピュータにプログラミングされた外界認識装置用のプログラムを実行することによって実現され、予め定められた周期で繰り返し実行される。

本実施の形態における外界認識装置１００は、検知領域設定部１０１と、物体検知部１０２と、速度演算部１０３と、速度判定部１０４と、障害物検知部１０５を有している。

検知領域設定部１０１は、自車の車両情報に基づいて自車前方の障害物を検知する障害物検知領域を設定する処理を行う。自車の車両情報には、ホイールベースなどの車両本体に関する情報の他に、ステア角α［ｒａｄ］、車速Ｖ_ＳＰ［ｍ／ｓ］などの走行状態を表すパラメータを含み、ステア角αおよび車速Ｖ_ＳＰの他にはヨーレートもしくはヨー角、加速度・減速度などでもよい。車両情報は、自車に設けられた車両情報検出部１３２によって検出され、検知領域設定部１０１に提供される。

物体検知部１０２は、自車前方に送信波を照射し、その送信波が障害物に反射したときの反射波を受信して障害物を検知し、障害物と自車との位置や相対距離を計測する第１検知部１１１と、撮像装置２０３によって撮像した映像データ（画像）を画像処理して障害物を検知する第２検知部１１２を有している。

第２検知部１１２の画像処理には、障害物の速度ベクトルを計測するオプティカルフロー計測、及び画像内の障害物を検出するパターンマッチングが含まれる。オプティカルフロー計測では、移動する障害物を検知した時刻における障害物の画像と、当該検知時刻より所定時間前の時刻における障害物の画像とを比較し、当該２つの画像に共通する障害物の特徴部分の移動（画素の変化）から、障害物のオプティカルフロー（速度ベクトル）が演算される。

パターンマッチングでは、予め学習して記憶した様々な障害物の形状パターンと、画像上の障害物が有する局所的なエッジなどの外形の特徴部分とを比較して、類似度を求め、その類似度に基づいて障害物を識別する。物体検知部１０２で検知される障害物としては、主に歩行者を対象とするが、その他には、車両、自転車、犬や猫などの小動物でも良い。

自車周囲の映像データは、撮像装置２０３によって撮像され、撮像装置２０３から第２検知部１１２に供給される。撮像装置２０３は、主にカメラ装置であり、自車に取り付けられ、障害物などを含む自車周囲の道路環境の映像を撮影する。なお、カメラは光学式の単眼カメラの他に、ステレオカメラや赤外線カメラでもよく、単体もしくは複数台取り付けることが可能である。第１検知部１１１による障害物検知結果と第２検知部１１２による障害物検知結果は、それぞれ速度演算部１０３に出力される。

速度演算部１０３は、物体検知部１０２の第１検知部１１１による検知結果から自車と障害物との相対速度を演算する第１速度演算部１２１と、第２検知部１１２による検知結果から障害物の相対速度を演算する第２速度演算部１２２を有している。

第１速度演算部１２１では、第１検知部１１１で検出した自車と障害物との位置もしくは相対距離の情報に基づいて該障害物の相対速度（第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１））が演算される。

第２速度演算部１２２では、第２検知部１１２で計測した障害物のオプティカルフローに基づいて該障害物の相対速度（第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２））が演算される。第１速度演算部１２１による相対速度演算結果と、第２速度演算部１２２による相対速度演算結果は、それぞれ速度判定部１０４に出力される。

速度判定部１０４は、速度演算部１０３の第１速度演算部１２１により演算した障害物の相対速度である第１速度Ｖ_１と、第２速度演算部１２２により演算した障害物の相対速度である第２速度Ｖ_２との速度差ΔＶを演算する。そして、その速度差ΔＶと速度差閾値ΔＶ_ＴＨとを比較して、速度差ΔＶが速度差閾値ΔＶ_ＴＨよりも小さいか否かを判定する処理を行う。速度差閾値ΔＶ_ＴＨは、速度差閾値記憶部１０６に予め記憶されている。

障害物検知部１０５は、速度判定部１０４の判定結果に基づいて所定の検知領域内における障害物の検知を行い、その検知結果を障害物検知信号として出力する。例えば、速度判定部１０４において速度差ΔＶと閾値ΔＶ_ＴＨとの差が所定の範囲内であれば、第１検知部１１１と第２検知部１１１２が検知した障害物は互いに同一であると判定して物体検出フラグをセットし、所定の範囲外であれば第１検知部１１１と第２検知部１１２が検知した障害物は互いに異なると判定して物体検出フラグをクリアする処理を行う。

次に、図２を用いて、検知領域設定部１０１で設定される障害物検知領域（測距センサの検知範囲及び画像処理対象の領域）２１０について説明する。

自車（自動車の車両）２０１には、図２に示すように、測距センサ（測距手段）２０２と、画像処理装置を内蔵する撮像装置２０３が搭載されている。測距センサ２０２は、自車２０１の前方の障害物を検知可能に取り付けられ、撮像装置２０３は、自車２０１の前方を撮像可能に取り付けられている。なお、図２に符号２０２Ｒ、２０２Ｌは、測距センサ２０２の最大検知角を示す破線であり、符号２０３Ｒ、２０３Ｌは、撮像装置２０３の最大視野角を示す破線である。

障害物検知領域２１０は、測距センサ２０２の最大検知角（破線２０２Ｒ、２０２Ｌの間に挟まれる範囲）と、撮像装置２０３の最大視野角（破線２０３Ｒ、２０３Ｌの間に挟まれる範囲）の範囲内に設定される。

自車２０１と障害物検知領域２１０との間には、非検知領域２０９が存在する。非検知領域２０９（長さＤ_ＮＲ［ｍ］）は、撮像装置２０３の取り付け位置や仕様等の関係から、撮像装置２０３で障害物を検知することが困難な領域である。検知が困難な理由としては、例えば、非検知領域２０９に人間等のように上下に長い障害物が存在する場合に、障害物の最下部や最上部が撮像装置２０３のフレーム枠外にはみ出してパターンマッチングによる検知精度が低下すること、また、障害物と自車２０１との距離が近すぎて画像上での障害物の情報量が多くかつ移動する障害物の場合は画像に映っている時間が短いことなどが挙げられる。

障害物検知領域２１０は、第１検知領域２１１と第２検知領域２２１とからなる。第１検知領域２１１は、自車２０１のステア角および車速に基づいて演算される予測進路と自車２０１の車幅とを考慮して設定され、非検知領域２０９との境界ライン２２２から自車２０１の前方に延在するように設定される。本実施の形態では、最大長さ４０［ｍ］に設定されている。

第１検知領域２１１は、自車２０１の車幅と等価の幅Ｗ_ＣＲで自車２０１の予測進路に沿って延在する主警戒領域２１２と、主警戒領域２１２の車幅方向両側に沿って延在する準警戒領域２１３によって構成されている。準警戒領域２１３は、自車２０１の車幅の２分の１の幅（１／２）Ｗ_ＣＲに設定されている。したがって、第１検知領域２１１の全幅Ｗ_ＡＴ［ｍ］は、自車２０１の車幅の２倍の大きさとなる（Ｗ_ＡＴ＝２Ｗ_ＣＲ）。

第１検知領域２１１は、上述のように、自車２０１の予測進路に応じて設定されるので、運転者がハンドルを操作するとハンドルを切った方向に曲線を描いて変化する。なお、予測進路は、以下の（１）式に基づいて計算される。ここで、Ｒ［ｍ］は旋回半径、Ａはスタビリティファクタ［ｓ^２／ｍ^２］、Ｈ［ｍ］は自車２０１のホイールベース、δはステア角αとステアリング比ｇからδ＝α／ｇで演算する操舵角［ｒａｄ］である。

第２検知領域２２１は、自車２０１前方の近傍位置にて、所定の前後幅Ｄ_ＯＰ［ｍ］で撮像装置２０３の最大視野角２０３Ｒ、２０３Ｌの間に亘って設定される。第２検知領域２２１の基端ライン２２２は、非検知領域２０９との境界に沿って設定され、基端ライン２２２から前方に所定の前後幅Ｄ_ＯＰ［ｍ］だけ離間した位置に先端ライン２２３が設定される。そして、基端ライン２２２と、先端ライン２２３と、左右の最大視野角２０Ｒ、２０３Ｌで囲まれる範囲内に第２検知領域２２１が形成される。

本実施の形態では、自車２０１の近傍位置は、自車２０１の先端（例えば、フロントバンパー）から５〜１０ｍ程度の距離を想定しており、前後幅Ｄ_ＯＰは約５ｍに設定している。

例えば、障害物が自車２０１の予測進路（主警戒領域２１２と準警戒領域２１３）に接近してきた場合に、測距センサ２０２によって障害物が検知され、その障害物との相対距離が計測される。そして、その障害物が準警戒領域２１３から主警戒領域２１２に進入すると、測距センサ２０２から撮像装置２０３に検知信号が出力され、撮像装置２０３で取得した画像に基づいて障害物に対するパターンマッチング処理が実行される。また、障害物が第２検知領域２２１に進入した場合には、撮像装置２０３で取得する画像を用いて障害物のオプティカルフローを計測する処理が実行される。

障害物検知領域２１０内に存在する障害物と自車との衝突時間（ＴＴＣ［ｓ］＝相対距離Ｄ_Ｒ［ｍ］／相対速度Ｖｙ_１［ｍ／ｓ］）に応じて、自車２０１の運転者に警報を発し、運転者によるブレーキ操作等がない場合には、前記衝突時間に応じて自動的にブレーキ制御を実行する。

なお、警報については「ピピピ・・・」などのビープ音の他に、音声メッセージを発する警報でもよく、カーナビゲーションのモニタやインストルメントパネル上、ヘッドアップディスプレイ上に表示する視覚的な警報でもよい。

図３は、撮像装置で撮像した画像に障害物検知領域を重ね合わせて示す図であり、図３（ａ）は、車両の道路走行中に歩行者が前方を横切って移動する状況を説明する図、図３（ｂ）は、障害物のオプティカルフローを計測するための計測点を画像上に配置した状態を示す図である。

撮像装置２０３によって撮像された画像３０１には、道路３０６と歩行者３０３が映っており、さらに、測距センサ２０２の検知範囲枠３０２と、障害物検知領域２１０が重ねて表示されている。

歩行者３０３が測距センサ２０２の検知範囲枠３０２内に入ると、測距センサ２０２で歩行者３０３を検知し、相対距離に基づいて相対速度Ｖ_１が演算される。そして、歩行者３０３が第１検知領域２１１に進入すると、測距センサ２０２で計測した相対距離（位置）に基づいて、歩行者３０３を中心に画像処理枠３０８が設定され、画像処理枠３０８内でパターンマッチング処理が実行される。

パターンマッチング処理では、予め学習して記憶した種々の障害物の形状パターンと、画像上の障害物（歩行者３０３）が有する局所的なエッジなどの外形の特徴部分とを比較し、前記パターンのうち少なくとも１つ以上のパターンと類似している場合に、所定の障害物（図３では歩行者３０３）であると認識する。

なお、画像処理枠３０８の横幅Ｙ_ＩＰ 、縦幅Ｘ_ＩＰは、下記の（２）式によって設定され、障害物幅Ｗ_ＰＤと障害物高さＨ_ＰＤに、それぞれ車両ピッチ角相当幅Ｙ_Ｐ、障害物がシステムの処理時間中に横移動する距離に相当する幅Ｘ_Ｌ、および車両ヨー角相当幅Ｘ_ＹＡを加えることで設定される。

そして、歩行者３０３が第２検知領域２２１に進入すると、図３（ｂ）に示すように、計測点３１０が配置された画像を用いて、オプティカルフローの計測が行われる。

計測点３１０は、画像３０１上に縦方向および横方向にそれぞれ等間隔をおいて配置され、計測点の数は画像処理負荷に応じて任意に設定できる。

例えば、障害物（歩行者３０３）のエッジ等の外形上の特徴部分が計測点３１０を通過すると、障害物が通過した計測点３１０におけるオプティカルフロー（Ｆｘ_ｎ、Ｆｙ_ｎ）（ｎ＝１、２、３、・・・：計測点番号）が演算される。

オプティカルフローは、画像３０１上の障害物（歩行者３０３）が有する局所的なエッジなどの外形の特徴部分が、ある計測点３１０を通過する時刻をＴとするとき、時刻Ｔより所定の時間ΔＴだけ前の時刻Ｔ−ΔＴにおいて同一の特徴部分が同じ計測点３１０を通過しているとすると、該特徴量について時刻Ｔ−ΔＴと時刻Ｔで対応する箇所をそれぞれ抽出することにより、該計測点におけるオプティカルフローを計測する。

なお、計測点３１０は、基本的に自車２０１が直進している場合に配置される。また、カーナビゲーション装置と連携して、自車２０１が横断歩道などの所定の道路に近づくときに、計測点３１０を配置するようにしてもよい。

図４は、本実施の形態における外界認識方法を説明するフローチャートである。まず、処理Ｓ４０１において、撮像装置２０３で撮像された画像を読み込み、処理Ｓ４０２において、車両情報検出部１０８で検出された自車２０１のステア角α［ｒａｄ］、車速Ｖ_ＳＰ［ｍ／ｓ］、ホイールベースＨ［ｍ］、自車幅Ｗ_ＣＲ［ｍ］などの車両情報を読み込み、処理Ｓ４０３に進む。

処理Ｓ４０３において、処理Ｓ４０２で読み込んだ自車２０１の車両情報に基づいて、上述の（１）式より、自車２０１の予測進路（旋回半径Ｒ［ｍ］）を演算し、該予測進路と自車の車幅に応じた第１検知領域（図２および図３）２１１を設定し、処理Ｓ４０４および処理Ｓ４０６にそれぞれ進む。

処理Ｓ４０４では、自車２０１に搭載する測距センサ２０２によって検知された障害物の位置（Ｘ_Ｒ、Ｙ_Ｒ）、もしくは相対距離Ｄ_Ｒ［ｍ］を取得し、処理Ｓ４０５に進む。処理Ｓ４０５では、処理Ｓ４０４で取得した障害物の位置（Ｘ_Ｒ、Ｙ_Ｒ）もしくは相対距離Ｄ_Ｒを用いて、下記の（３）式（（３）−１式、（３）−２式）および（４）式（（４）−１式、（４）−２式）により、障害物の相対速度である第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）［ｍ／ｓ］を演算し、処理Ｓ４０８に進む。

ここで、（Ｘ’_Ｒ 、Ｙ’_Ｒ）は処理１周期前の障害物の位置、（Ｘ”_Ｒ 、Ｙ”_Ｒ）は処理２周期前の障害物の位置、Ｃ_０、Ｃ_１、Ｃ_２は相対距離に関する微分係数（ｘ、ｙ共に）、Ｖ’_１は処理１周期前の第１速度（ｘ、ｙ共に）、Ｖ”_１は処理２周期前の第１速度（ｘ、ｙ共に）、Ｓ_１、Ｓ_２は相対速度に関する微分係数（ｘ、ｙ共に）である。
（ｉ） 測距センサ２０２で最初に障害物を検知した時点

（ｉｉ）（ｉ）以外の場合

一方、処理Ｓ４０６では、図３（ｂ）に示すようなオプティカルフローの計測点３１０において、障害物のオプティカルフローベクトル（Ｆｘ_ｎ、Ｆｙ_ｎ）（ｎ＝１、２、３、・・・：計測点番号）を演算する処理が行われる。

オプティカルフローベクトルの演算は、障害物が第２検知領域２２１内に進入したときに開始される。障害物が第２検知領域２２１内に進入したか否かは、例えば、画像上の障害物のＹ方向（縦方向）の大きさに基づいて判断され、障害物のＹ方向の大きさが人間の大きさ等に基づいて予め設定された所定値以上である場合に、オプティカルフローベクトルの演算が開始される。

処理Ｓ４０７において、処理Ｓ４０６で計測した障害物のオプティカルフローベクトル（Ｆｘ_ｎ、Ｆｙ_ｎ）に基づいて、下記の（５）−１、（５）−２式より障害物の相対速度である第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）［ｍ／ｓ］を演算し、処理Ｓ４０８に進む。

ここで、ｍは障害物中心位置でのフローベクトル分布数（障害物の中心線が計測点を通過したときのフローベクトルの数）、（Ｉｙ、Ｉｘ）は画素の次元［ｐｉｘｅｌ］から速度次元［ｍ／ｓ］への変換係数を示す。

処理Ｓ４０８では、処理Ｓ４０５およびＳ４０７で演算した第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）と第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）とから、下記の（６）式を用いて速度差ΔＶ（ΔＶｘ、ΔＶｙ）を演算し、同時に速度差閾値記憶部１０６に予め記憶している速度差閾値ΔＶ_ＴＨ（ΔＶｘ_ＴＨ、ΔＶｙ_ＴＨ）［ｍ／ｓ］を読み込み、処理Ｓ４０９に進む。

処理Ｓ４０９では、処理Ｓ４０８において、上記（６）式で演算したΔＶがΔＶ_ＴＨ以内であるか否かを下記の（７）式に基づいて判定する。

これら処理Ｓ４０８、処理Ｓ４０９が速度判定部１４０の処理に相当する。

処理Ｓ４０９にて、上記（７）式の判定条件が成立している場合（ＹＥＳ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と第２検知部１１２が検知した障害物は同一物体であると判断して、処理Ｓ４１０に進み、処理Ｓ４１０において物体検出フラグをセットする（ｆＯＢＪＤＴＣ＝１）。そして、処理Ｓ４１１において、第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）を出力して処理を終了する。

処理Ｓ４０９にて上記（７）式の判定条件が不成立の場合（ＮＯ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ４１２に進み、処理Ｓ４１２において物体検出フラグをクリアする（ｆＯＢＪＤＴＣ＝０）。そして、処理Ｓ４１３において、第２検知部１１２による障害物のオプティカルフロー計測を中止して処理を終了する。

次に、図５を用いて、第２検知部１１２によるオプティカルフロー計測の方法を説明する。自車２０１（図２を参照）が道路３０６を低速走行中に、歩行者３０３が右方向から横断してくる状況を撮像装置２０３で撮像しており、その撮像した画像３０１に対して画像処理を施して、オプティカルフロー計測点３１０を配置し、オプティカルフロー計測を実行する。

第２検知部１１２は、撮像装置２０３で取得した画像に対してオプティカルフロー計測点３１０を所定の範囲に設定する。計測点３１０の数は、画像３０１上の縦方向および横方向に対して任意に設定可能である。

自車２０１が道路３０６を走行する場合、自車２０１に搭載されている撮像装置２０３も移動することになる。したがって、撮像装置２０３で撮像した画像３０１内では相対的に背景が移動するように見える。そして、画像３０１上で背景を構成するエッジ等の外形の特徴部分が計測点３１０を通過すると、背景に対するフローベクトル５０１が計測される。

背景のフローベクトル５０１は、画像３０１の中央から左右に離れた計測点３１０でのフローベクトル５０１ほど、速度が大きいベクトルとなる。背景に関しては、画像３０１の中央から左右に離れるほど自車２０１（図３を参照）と背景として映っている物体との実距離が近くなり、画像３０１上での物体の見かけの移動速度が大きくなるからである。なお、背景フローベクトル５０１は、図５に示す計測点３１０だけではなく、設定する全ての計測点３１０において計測しうるフローベクトルである。

自車２０１の近傍には、オプティカルフローを計測する第２検知領域２２１を設定し、第２検知領域２２１に障害物（図５では歩行者３０３）が存在する場合に、該障害物のオプティカルフローを計測する。

図５では、歩行者３０３が第２検知領域２２１に進入しており、画像３０１上の計測点３１０を通過した際に、歩行者３０３に対するフローベクトル５０２が計測されている。

本実施の形態では、ブロックマッチング法によるオプティカルフロー計測を実行しており、各画像フレームをテンプレートブロックでスキャニングし、前画像（Ｎ−１）と現画像（Ｎ）において同様の特徴量（注目点／画素）を対応づけてフローベクトルを演算する。なお、テンプレートブロックのサイズ（Ｓ_Ｘ、Ｓ_Ｙ）は任意に設定可能である。

障害物（歩行者３０３）のフローベクトル５０２が計測された場合に、最大のフローベクトル５０２が計測されたｍ列（ｍ：整数）目の各計測点について、ベクトルの大きさ｜Ｖｉｊ｜（ベクトルの長さ［ｐｉｘｅｌ］）が所定値Ｖｍ_ＴＨ以上のベクトルが連続した計測点を抽出する。そして、同様にｍ−１列目のフローベクトル５０２とｍ＋１列目のフローベクトル５０２に対して、所定値Ｖ’ｍ_ＴＨ以上の大きさのベクトルが連続した計測点（フローベクトル）を抽出する。そして、上記抽出した計測点（ベクトル）群を１つの物体としてクラスタリング（検知枠５０３）することにより、オプティカルフローに基づいて障害物を抽出する。

なお、オプティカルフローの計測がなされる障害物は、図５に示す一般の歩行者３０３に限定されるものはなく、基本的に移動している障害物であればよく、例えば、カートや乳母車を押す歩行者、自転車、車両でもよい。また、本実施の形態では、オプティカルフロー計測を第２検知領域２２１内の障害物に限定したが、第２検知領域２２１より遠方の障害物に対してもオプティカルフローの計測を実施してもよい。

次に、図６を用いて、測距センサによる障害物検知方法について説明する。図６には、自車２０１に搭載した測距センサ２０２を座標原点にとった直交座標６０１（Ｘ軸６０２、Ｙ軸６０３）を設定し、該直交座標６０１上において、測距センサ２０２の最大検知角を示す破線２０２Ｒ、２０２Ｌと、障害物である歩行者３０３の位置（Ｘ_Ｒ、Ｙ_Ｒ）を示している。

測距センサ２０２は、自車２０１の前方に送信波を照射し、その送信波が歩行者３０３に反射した反射波を測距センサ２０２が受信することにより、歩行者３０３の位置（Ｘ_Ｒ、Ｙ_Ｒ）および相対距離Ｄ_Ｒ［ｍ］、相対速度、障害物の幅などを計測できる。

なお、送信波としてはミリ波、レーザー光、赤外線などがあり、それぞれの送信波を用いた測距センサ２０２としては、ミリ波レーダ、レーザーレーダ、赤外線レーダがある。また、測距センサ２０２の取り付け位置としては、基本的に自車２０１のフロントバンパー付近であり、自車２０１のサイドや後方など、複数台の測距センサ２０２を目的（サイドの障害物検知、後方の障害物検知）に応じて取り付けてもよい。

図６に示すように、自車２０１に搭載する測距センサ２０２で歩行者３０３を検知した場合、座標６０１（Ｘ軸６０２、Ｙ軸６０３）上での歩行者３０３の位置（Ｘ_Ｒ、Ｙ_Ｒ）は、次の式（８）、式（９）で演算する。

ここで、ｃは光速［ｍ／ｓ］、Ｔ_Ｒ［ｓｅｃ］は測距センサ２０２から照射された送信波が歩行者３０３に反射し、その反射波が測距センサ２０２で受信されるまでの時間、θ_Ｒ［ｒａｄ］は、歩行者３０３と自車２０１との間を結ぶ直線と、Ｙ軸６０３との間の挟角である。

次に、図７のフローチャートを用いて、第１検知部１１１の検知結果に基づく障害物の相対速度（第１速度Ｖ_１）を演算する方法を説明する。

処理Ｓ７０１において、測距センサ２０２から測距情報を取得する。測距情報には、測距センサ２０２で検知した障害物との相対距離や位置座標の情報の少なくとも一つが含まれている。

そして、処理Ｓ７０２において、障害物検知カウンタＣＮＴＤＴをインクリメントして処理Ｓ７０３に進む。処理Ｓ７０３において、処理Ｓ７０２でインクリメントを開始した障害物検知カウンタＣＮＴＤＴに対して、下記（１０）式の判定を実行する。

処理Ｓ７０３にて、上記（１０）式の判定条件が成立している場合には、カウンタが小さい数なので、測距センサ２０２が「それまで検知していた障害物を１回ロストした後に再び同じ障害物を検知した」もしくは「全く新しい障害物を検知した」と判断して、処理Ｓ７０４に進み、処理Ｓ７０４において、それまで取得していた相対速度、相対距離、位置座標などのパラメータを一度初期化する。

次に処理Ｓ７０５において、上述した（３）式、（４）式に基づいて障害物の相対速度（第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１））を演算し、処理Ｓ７０６に進む。処理Ｓ７０６において、処理Ｓ７０５において演算した第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）を速度判定部１０４に出力し処理を終了する。

処理Ｓ７０３にて、上記（１０）式の判定条件が不成立の場合（ＮＯ）には、（１０）式よりＣＮＴＤＴ＝０もしくはＣＮＴＤＴ＞２であると判断して、処理Ｓ７０７に進み、処理Ｓ７０７において、測距センサ２０２が障害物を検知していない、もしくはそれまで検知していた障害物を続けて検知しているかどうか判断する。

処理Ｓ７０７において、障害物を検知している（ＣＮＴＤＴ＞２）と判断した場合（ＹＥＳ）は、処理Ｓ７０５に進み、処理Ｓ７０５において、前述した（３）および（４）式に基づいて検知した障害物の相対速度（第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１））を演算し、処理Ｓ７０６に進む。そして、処理Ｓ７０６において、処理Ｓ７０５にて演算した第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）を速度判定部１０４に出力し処理を終了する。一方、処理Ｓ７０７において障害物を検知していない（ＣＮＴＤＴ＝０）と判断した場合（ＮＯ）には、処理を終了する。

次に、図８のフローチャートを用いて、第２検知部１１２で演算した障害物のオプティカルフローに基づく障害物の相対速度（第２速度Ｖ_２）を演算する方法を説明する。

処理Ｓ８０１において、撮像装置２０３で撮影した画像を読み込み、処理Ｓ８０２に進む。処理Ｓ８０２において、処理Ｓ８０１で読み込んだ画像を利用して障害物のオプティカルフローを演算し、処理Ｓ８０３に進む。

処理Ｓ８０３において、図５で述べた障害物のフローベクトル群を抽出したか否かを判定する。処理Ｓ８０３の判定条件が成立した場合（ＹＥＳ）には、オプティカルフローにより障害物を検出したと判断して、処理Ｓ８０４に進み、処理Ｓ８０４においてフロー検知カウンタＣＮＴＯＰＦをインクリメントする。一方、処理Ｓ８０３の判定条件が不成立の場合（ＮＯ）には、障害物を検出していないと判断して、第２検知部１１２における同障害物に対するオプティカルフロー処理を終了する。

次に、処理Ｓ８０５において、処理Ｓ８０４でインクリメントを開始したフロー検知カウンタＣＮＴＯＰＦに対して、下記（１１）式の判定を実行する。ここで、ＣＮＴＯＰＦ_ＴＨはフロー検知カウンタの上限値であり、任意の自然数を設定する事が可能である。

処理Ｓ８０５の判定条件（上記（１１）式）が成立している場合（ＹＥＳ）には、オプティカルフローにより障害物を検出していると判断して、処理Ｓ８０６に進み、処理Ｓ８０６において、抽出した障害物に関するフローベクトル群において最大値をとるフローベクトルを抽出する。ただし、処理Ｓ８０６では、最大値をとるフローベクトルではなく、抽出したフローベクトル群の平均値を計算してもよい。

そして、処理Ｓ８０７において、前述した（５）式に基づいて障害物の第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）［ｍ／ｓ］を演算し、処理Ｓ８０８に進む。処理Ｓ８０８では、第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）を速度判定部１０４に出力し、処理を終了する。

一方、処理Ｓ８０５の判定条件（上記（１１）式）が不成立の場合には、未検出もしくは障害物が既に自車２０１の予測進路を通り過ぎた後の状態であると判断して、同障害物に対する第２速度演算処理を終了する。

次に、図９を用いて、速度判定と判定結果に基づく障害物検知方法について説明する。図９のフローチャートでは、速度演算部１０３で演算した第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）および第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）を用いた測距センサとオプティカルフロー計測のフュージョン処理が行われる。

まず、処理Ｓ９０１において、測距センサ２０２の障害物検知結果に基づいて第１速度演算部１２１で演算した第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）を読み込み、処理Ｓ９０２に進む。そして、処理９０２において、第２検知部１１２における障害物のオプティカルフロー計測結果に基づいて第２速度演算部１２２で演算した第２速度Ｖ_２（Ｖｘ_２、Ｖｙ_２）を読み込み、処理Ｓ９０３に進む。

処理９０３では、処理Ｓ９０１および処理Ｓ９０２でそれぞれ読み込んだ第１速度Ｖ_１と第２速度Ｖ_２との速度差ΔＶ（ΔＶｘ、ΔＶｙ）を、上述の（６）式より演算し、処理Ｓ９０４に進む。

処理Ｓ９０４において、予め速度差閾値記憶部１０６に記憶している速度差閾値ΔＶ_ＴＨ（ΔＶｘ_ＴＨ、ΔＶｙ_ＴＨ）を読み込み、処理Ｓ９０５に進む。なお、速度差閾値記憶部１０６の記憶媒体としては、コンピュータが読み取り可能なＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、ＨＤＤ、フラッシュメモリ等がある。

次に、処理Ｓ９０５において、上述の（６）式で演算したΔＶがΔＶ_ＴＨ以内であるか否かを上述の（７）式に基づいて判定する。ここで、処理Ｓ９０５の判定条件が成立している場合（ＹＥＳ）には、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物とが同一物体であると判断して、処理Ｓ９０６に進み、処理Ｓ９０６において物体検出フラグをセットして（ｆＯＢＪＤＴＣ＝１）、処理を終了する。

一方、処理Ｓ９０５の判定条件が不成立の場合（ＮＯ）には、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ９０７に進み、処理Ｓ９０７において物体検出フラグをクリアして（ｆＯＢＪＤＴＣ＝０）、処理を終了する。

図１０（ａ）〜（ｃ）は、速度差閾値記憶部１０６に予め記憶される速度差閾値ΔＶ_ＴＨの実施例である。図１０（ａ）〜（ｃ）で示すように、定数もしくは車速Ｖ_ＳＰ［ｍ／ｓ］を独立変数にもつ関数として定義される速度差閾値ΔＶ_ＴＨのうち、少なくとも１つを任意に選択することが可能である。

図１０（ａ）では、横軸に車速Ｖ_ＳＰ、縦軸に速度差閾値ΔＶ_ＴＨをとったグラフ１００１上に車速Ｖ_ＳＰを独立変数としない定数ｄＶ_１（実線１００２）として速度差閾値ΔＶ_ＴＨを定義している例であり、閾値ｄＶ_１は予め設定する必要がある。ただし、閾値ｄＶ_１は車速Ｖ_ＳＰよりも小さい値である。閾値ｄＶ_１の値を小さく設定すると判定精度は向上するが、冗長性が低下し、速度演算時の誤差（例えば、車速Ｖ_ＳＰの変化に起因するものなど）の影響を受けやすくなる。逆に、閾値ｄＶ_１の値を大きく設定すると判定精度がして別の物体にも関わらず同一物体と判定する可能性がある。

図１０（ｂ）では、同様のグラフ１００１上に自車２０１の車速Ｖ_ＳＰに対してステップ関数（実線１００３）として（１２）式のように速度差閾値ΔＶ_ＴＨを定義している例である。

各閾値ｄＶ_Ａ、ｄＶ_Ｂ、ｄＶ_Ｃおよび車速の境界値Ｖ^Ａ _ＳＰ、Ｖ^Ｂ _ＳＰ、Ｖ^Ｃ _ＳＰは、予め任意に設定する必要があるが、各閾値ｄＶ_Ａ、ｄＶ_Ｂ、ｄＶ_Ｃおよび境界値Ｖ^Ａ _ＳＰ、Ｖ^Ｂ _ＳＰ、Ｖ^Ｃ _ＳＰの間隔は、図１０（ｂ）に示す実施例のように等間隔に区分しても良く、また、等間隔に区分しなくても良い。

例えば、走行機会の多い速度域を中央のステップ（図１０ではＶ^Ａ _ＳＰ＜Ｖ_ＳＰ≦Ｖ^Ｂ _ＳＰ）として比較的広めの速度域で設定し、前後の速度域（０≦Ｖ_ＳＰ≦Ｖ^Ａ _ＳＰとＶ^Ｂ _ＳＰ＜Ｖ_ＳＰ≦Ｖ^Ｃ _ＳＰ）を狭く設定するなどしてもよい。

なお、本実施例では３段階のステップで閾値ΔＶ_ＴＨを定義しているが、２段階もしくは３段階以上に分割してもよい。また、閾値の大きさも図１０（ｂ）のようにｄＶ_Ａ＜ｄＶ_Ｂ＜ｄＶ_Ｃでなくてもよく、任意に調整することができる。

図１０（ｃ）では、同様のグラフ１００１上に自車２０１の車速Ｖ_ＳＰを独立変数とする関数ΔＶ_ＴＨ＝ｆ（Ｖ_ＳＰ）として速度差閾値ΔＶ_ＴＨを定義している例である。実線１００４は、車速Ｖ_ＳＰに比例する１次関数ΔＶ_ＴＨ＝ｆ（Ｖ_ＳＰ）＝αＶ_ＳＰ＋βとして閾値を定義している。

ここで、αおよびβは定数であり、例えば実験・評価データなどから最小二乗法を用いて算出しても良く、また、任意に設定しても良い。また、上記１次関数のほかに、ｆ（Ｖ_ＳＰ）＝αＶ^ｎ _ＳＰ＋βＶ^ｎ−１ _ＳＰ＋・・・などの高次関数、ｆ（Ｖ_ＳＰ）＝αｌｏｇＶ_ＳＰ＋βなどの対数関数、他に指数関数、三角関数など、任意の関数で定義してもよい。また、独立変数として車速Ｖ_ＳＰの他に測距センサで計測する障害物との相対距離や衝突時間（ＴＴＣ［ｓ］＝相対距離Ｄ_Ｒ［ｍ］／相対速度Ｖｙ_１［ｍ／ｓ］）でもよい。

図１１は、障害物との相対距離と検知成功率との関係を示す図である。図１１には、第２検知部１１２によるオプティカルフロー計測を、第２検知領域２２１（図２および図３を参照）に進入してくる障害物に適用し、オプティカルフロー計測結果と測距センサ２０２による検知結果とのフュージョンシステムを導入した場合の障害物検知性能における効果を概念的に示した図である。

図１１は、横軸に障害物検知距離［ｍ］、縦軸に障害物検知率（パターンマッチングまで含む）［％］をとった棒グラフである。棒グラフ１１０２（１１０４、１１０５も含む）は、測距センサ２０２と画像処理（パターンマッチングのみ）による検知距離別の障害物検知率を示している。距離の区分けは自車前方５ｍ地点から４０ｍ地点まで５ｍ毎に区分している。

なお、自車前方０〜５ｍの範囲は、撮像装置２０３の取り付け位置および撮像装置２０３の仕様等の関係から、撮像装置２０３では障害物を検知できない非検知領域２０９である（図２参照）。

点線１１０３は、各距離での検知率を結んだ折れ線グラフである。従来の測距センサとパターンマッチング（画像処理）のフュージョンによる障害物検知の場合、車両近傍の領域（５〜１０ｍ／１０〜１５ｍ付近）ではパターンマッチングの成功率（検知率）が著しく低下する傾向がある（斜線棒グラフ１１０４と１１０５）。

この原因の一つとしては、例えば、車両近傍と遠方においてそれぞれ同じ速度で横移動（横断）する障害物を仮定して、各距離で障害物が移動する平面（画像と同等）を考えた場合に、（イ）その平面上では単位時間当たりの障害物の移動距離は近傍の方が大きくなること、（ロ）近傍の障害物は画像上でパターンマッチング時の情報量が多くなることが挙げられる。

前記の理由（イ）、（ロ）の２点から、近傍検知領域での測距センサによる検知遅れや未検知が発生すると、再度検知する前に障害物が検知領域から外れてしまうため、遠方に比べてパターンマッチングの成功率が大きく低下する（斜線棒グラフ１１０４と１１０５）。

本実施例では、その第２検知領域２２１の障害物に対して、測距センサ２０２で計測した相対距離Ｄ_Ｒ［ｍ］に基づく第１速度Ｖ_１と、同障害物のオプティカルフローから演算する第２速度Ｖ_２とを用いて、同一物体か否かを判定することにより、オプティカルフローで測距センサ２０２の障害物検知をサポートし、第２検知領域２２１における障害物検知の検知率を向上することができる（斜線棒グラフ１１０６および１１０７）。点線１１０８は、近傍での障害物検知率向上後の折れ線グラフである。

以上のように、外界認識装置１００によれば、測距センサ２０２および撮像装置２０３に基づく画像処理（オプティカルフロー）などの複数センサで構成される障害物検知システムにおいて、各センサ情報に基づいて演算する相対速度を用いて、第２検知領域２２１における障害物の検知率向上を図ることができる。

図１２は、本実施の形態における警報およびブレーキ制御の一実施例を示した図である。図１２では、撮像装置２０３をルームミラー付近に備え付け、測距センサ２０２をフロントバンパー付近に備え付けた自車２０１が道路３０６を走行中に、歩行者３０３が自車２０１の右側（奥）から矢印１２０１の方向（手前）へ歩いてくる場合（図１２（ａ））に、測距センサ２０２および撮像装置２０３の検知状況に応じて実行する警報およびブレーキ制御の実施例を示している。

また、測距センサ２０２および撮像装置２０３の障害物検知状況別に、撮像装置２０３で撮影した画像１２１１に対して検知領域表示などの画像処理を施した画像を、自車２０１に搭載するカーナビゲーションのモニタ画面などに出力した様子を、図１２（ｂ）〜（ｄ）に示している。なお、モニタ画面としては上述したカーナビゲーション画面の他に、ヘッドアップディスプレイやインストルメントパネル上の画面（液晶他）などでもよい。

図１２（ｂ）は、測距センサ２０２のみで歩行者３０３を検知し、歩行者３０３のオプティカルフローが計測されなかった（検知が成功しなかった）場合を示す。測距センサ３０３は、自車２０１の前方において送信波を水平方向にスキャニングしながら照射（点線１２１２）して、その歩行者３０３からの反射波を受信することで歩行者３０３を検知しており、前記画像１２１１上では測距センサ２０２の検知枠１２１３を表示している。

図１２（ｃ）は、撮像装置２０３の画像に対して画像処理を施し、複数のオプティカルフロー計測点３１０を前記画像上に表示している。前記画像上で歩行者３０３が計測点３１０を通過すると、通過した計測点３１０において歩行者３０３の移動速度や方向に応じたフローベクトル５０２が演算（画像処理）され、計測点３１０の列において所定のフローベクトル群が抽出（図５を参照）された場合に、歩行者３０３と判断して検知枠５０３を表示する（第２検知部１１２）。なお、図１２（ｃ）ではオプティカルフローによる歩行者検知のみであり、測距センサ２０２による検知が実行されていない（未検知状態）。

上記図１２（ｂ）、（ｃ）のように、測距センサ単独の障害物検知、もしくはオプティカルフロー計測のみによる障害物検知など、どちらか一方のみで障害物を検知した場合には、図１２（ｅ）に示すように、自車２０１の運転者１２２１に対し、ＴＴＣ_ＡＲ［ｓｅｃ］（＝ＴＴＣ_ＣＴＲ［ｓｅｃ］＋０．８［ｓｅｃ］）に応じて警報が作動する。

警報は、音による警報の他に音声メッセージや、画像１２１１へ注意標示を出力するような視覚的な警報でもよく、それらを組み合わせた警報でもよい。ここで、ＴＴＣ_ＡＲは、警報作動開始時の衝突時間であり、ＴＴＣ_ＣＴＲ（≧１．６［ｓｅｃ］）は、制御作動開始時の衝突時間である。

図１２（ｄ）は、前述した図１２（ｂ）の測距センサ２０２による障害物検知と、図１２（ｃ）のオプティカルフロー計測に基づく障害物検知が共に実行され、各検知結果から演算した第１速度Ｖ_１と第２速度Ｖ_２を用いた物体判定において、測距センサとオプティカルフローとが同一物体を検知していると判断された場合（フュージョン成功した場合）に、それぞれの検知枠（１２１３と５０３）を前記映像上に表示している。

この場合、図１２（ｆ）に示すように、運転者１２２１に対してＴＴＣ_ＡＲ［ｓｅｃ］に応じた警報が作動し、運転者１２２１による回避動作や制動動作がない場合には、同じくＴＴＣ_ＣＴＲ［ｓｅｃ］に応じてシートベルト１２２２の締め付け制御が作動するとともに、自動ブレーキ制御が作動する。

図１３は、２つの撮像装置を取り付けた場合の障害物検知の一実施例を示す図である。本実施例では、レーダ等の測距センサ２０２の代わりに、２台の撮像装置１３０２、１３０３を用いて障害物との相対位置や距離等の測距情報を取得する方法について説明する。

図１３には、自車１３０１に画像処理装置を内蔵する２台の撮像装置１３０２、１３０３を取り付けた場合の取り付け位置及び画像処理を実行する領域（以下、画像処理領域と称する）が示されている。

自車１３０１の左側に取り付けた撮像装置１３０２の画角は、破線１３０５、１３０５で示されており、その画像処理領域は、前記画角１３０５、１３０５間の領域１３０７と１３０９から構成される。

同様に、自車１３０１の右側に取り付けた撮像装置１３０３の画角は、破線１３０６、１３０６で示されており、その画像処理領域は、前記画角１３０６、１３０６間の領域１３０８と１３０９から構成される。

撮像装置１３０２、１３０３の画像処理領域１３０７、１３０８、１３０９において、歩行者１３０４が右方向から歩いてくる場合に、各画像処理領域内のＡ地点、Ｂ地点、Ｃ地点における障害物検知は下記のように実施される。

まず、Ａ地点の歩行者１３０４に対しては、撮像装置１３０３から取得する画像に対してオプティカルフローもしくはパターンマッチング等の画像処理を実行して歩行者１３０４を検知する。

歩行者１３０４がＢ地点に移動した場合、撮像装置１３０２および１３０３の両方で歩行者１３０４を検知することが可能であり、この場合、一方の画像処理領域１３０７に進入するまでは、基本的に最初に歩行者１３０４を検知した撮像装置（本実施例では１３０３）の画像処理を優先して検知結果を出力する。

その場合、領域１３０９は基本的に自車１３０１の予測進路上に相当するため、一方の撮像装置（本実施例では１３０２）は、メインの障害物検知において未検知などが発生した場合にも対処できるように、障害物検知を継続して実行する。

歩行者１３０４がＣ地点に移動した場合は、撮像装置１３０２から取得する画像に対してオプティカルフローもしくはパターンマッチング等の画像処理を実行して歩行者１３０４を検知する。

従って、画像処理領域１３０７、１３０８、１３０９に亘って障害物検知を実行する場合、その検知結果、例えば、相対距離（位置座標）や相対速度、障害物の幅などの情報は、速度演算部や速度判定部のほかに、撮像装置１３０２および１３０３に備わる互いの第２検知部（画像処理部）にも出力される。

また、領域１３０９における障害物検知において、撮像装置１３０２および１３０３のそれぞれの画像に基づいたオプティカルフロー計測により、各第２検知部で障害物を検知している場合に、それぞれのフローベクトルから演算した互いの第２速度Ｖ_２を利用して速度判定部１０４にて速度判定を実行し、同一物体であるか否かを判断することも可能である。

また、判定時のパラメータとしては、障害物の相対速度（第２速度）の他に、障害物の幅、相対距離（位置座標）などを用いても良い。なお、基本的に図１３の２台の撮像装置は同機種であるが、一方の撮像装置は可視光、もう一方の撮像装置は赤外線を用いるなど、機種もしくは仕様が異なるものでも良い。

撮像装置１３０２、１３０３の取り付け位置としては、例えば自車１３０１の左右のヘッドランプ辺りに１台ずつ、あるいは、左右のサイドミラーに１台ずつ、取り付けてもよく、撮像装置１３０２および１３０３の画像処理領域が重ならないように撮像装置の方向や取り付け位置を調整することも可能である。

次に、図１４を用いて、検知領域設定部１０１で設定される障害物検知領域（測距センサの検知領域と画像処理対象の領域）の他の実施例について説明する。図１４は、検知領域設定部による他の検知領域設定方法を説明する図である。なお、図２と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。本実施例において特徴的なことは、障害物検知領域１４０１における第２検知領域１４０２の大きさを、自車２０１の車速Ｖ_ＳＰ［ｍ／ｓ］に応じて変更することである。

障害物検知領域１４０１は、第１検知領域２１１と第２検知領域１４０２とからなる。

第２検知領域１４０２は、自車２０１前方の近傍位置にて、撮像装置２０３の最大視野角２０３Ｒ、２０３Ｌの間に亘って設定される。第２検知領域１４０２は、測距センサ２０２の最大検知角２０２Ｌ、２０２Ｒ間に形成される中央領域部１４０３と、測距センサ２０２の最大検知角２０２Ｌと撮像装置２０３の最大視野角２０３Ｌとの間に形成される左領域部１４０４と、測距センサ２０２の最大検知角２０２Ｒと撮像装置２０３の最大視野角２０３Ｒとの間に形成される右領域部１４０５とを有している。

第２検知領域１４０２の各領域部１４０３〜１４０５は、自車２０１の車速Ｖ_ＳＰ［ｍ／ｓ］に応じてその大きさを可変にすることが可能である。

例えば、自車２０１が所定の速度域（Ｖ_ＯＰ≦Ｖ_ＳＰ≦Ｖ’_ＯＰ）で走行する場合には、各領域１４０３〜１４０５をそれぞれ個別もしくは同時に前方に拡大して、領域１４０３’、１４０４’、１４０５’（長さＤ’_ＯＰ［ｍ］）としてもよい。

各領域部１４０３〜１４０５を個別に拡大する場合は、例えば、左領域部１４０４と右領域部１４０５をそれぞれ領域１４０４’、１４０５’まで拡大しても良く、また、自車２０１の予測進路に対応できるように中央領域部１４０３を領域１４０３’まで拡大することも可能である。

なお、拡大した領域１４０３’〜１４０５’の長さＤ’_ＯＰ［ｍ］は、下記（１３）式で演算される。ただし、Ｄ’_ＯＰは、下記（１４）式を満たさなければならない。ここで、ＴＨＷ_ＯＰ［ｓｅｃ］は車間時間であり、初期値は１．６［ｓｅｃ］、そして、Ｖ’_ＯＰ［ｍ／ｓ］は所定の速度域の上限値（初期値＝１１．１［ｍ／ｓ］）である。Ｖ’_ＯＰ以上の速度で自車２０１が走行する場合には、障害物検知領域はデフォルト（領域１４０３、１４０４、１４０５）に設定する。

第２検知領域１４０２では、画像処理として、基本的にオプティカルフロー計測のみを実行し、パターンマッチング処理による障害物検知を実行しない。また、自車２０１の予測進路に基づいて設定する第１検知領域２１１においては、障害物のオプティカルフローを計測せずに、基本的にはパターンマッチング処理による障害物検知を実行する。

［第２実施の形態］
次に、図１５を用いて、本発明の第２実施の形態について説明する。
図１５は、本実施の形態における外界認識方法を説明するフローチャートである。本実施の形態では、測距センサによる障害物検知において、検知している障害物に対して途中で未検知の状態になった場合に、測距センサの検知結果に代わり、第２検知部１１２によるオプティカルフローの演算結果を出力する場合のフローチャートである。

まず、処理Ｓ１５０１において、自車２０１に搭載する測距センサ２０２で検知された障害物の位置座標もしくは相対距離を取得し、処理Ｓ１５０２に進む。そして、処理Ｓ１５０２において、障害物検知カウンタＣＮＴＤＴをインクリメントして処理Ｓ１５０３に進む。

処理Ｓ１５０３では、処理Ｓ１５０２でインクリメントを開始した障害物検知カウンタＣＮＴＤＴに対して、上述の（１０）式の判定を実行する。処理Ｓ１５０３にて上述の（１０）式の判定条件が成立している場合（ＹＥＳ）には、測距センサ２０２が改めて障害物を検知したと判断して処理Ｓ１５０４に進み、処理Ｓ１５０４において相対速度、相対距離、位置座標などのパラメータを初期化する。

そして、処理Ｓ１５０５において、上述の（３）式および（４）式に基づいて、検知した障害物の相対速度（第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１））を演算し、処理Ｓ１５１２に進む。処理Ｓ１５１２において、処理Ｓ１５０５および図８のＳ８０７で演算した第１速度Ｖ _１ （Ｖｘ _１ 、Ｖｙ _１ ）と第２速度Ｖ _２ （Ｖｘ _２ 、Ｖｙ _２ ）とから、上述の（６）式を用いて速度差ΔＶ（ΔＶｘ、ΔＶｙ）を演算し、同時に速度差閾値記憶部１０６に予め記憶している速度差閾値ΔＶ _ＴＨ （ΔＶｘ _ＴＨ 、ΔＶｙ _ＴＨ ）［ｍ／ｓ］を読み込み、処理Ｓ１５１３に進む。処理Ｓ１５１３では、処理Ｓ１５１２において、上述の（６）式で演算したΔＶがΔＶ _ＴＨ 以内であるか否かを上述の（７）式に基づいて判定する。これら処理Ｓ１５１２、処理Ｓ１５１３が速度判定部１４０の処理に相当する。

処理Ｓ１５１３にて、上述した（７）式の判定条件が成立している場合（ＹＥＳ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と第２検知部１１２が検知した障害物は同一物体であると判断して、処理Ｓ１５１４に進み、処理Ｓ１５１４において物体検出フラグをセットする（ｆＯＢＪＤＴＣ＝１）。処理Ｓ１５１４で物体検出フラグをセットした後、処理１５０６に進み、測距センサ２０２がそれまで検知していた障害物をロストしたか否かを判断する。なお、ロストとは、障害物を検知しない（未検知）状態であり、ここでは、前記検知障害物の位置および相対距離情報を取得できない状態を指す。

処理Ｓ１５０６の判定条件が成立した場合（ＹＥＳ）には、測距センサ２０２が障害物をロストしたと判断して処理Ｓ１５０７に進み、処理Ｓ１５０７において検知ロストフラグをセットする（ｆＤＴＣＬＯＳＴ＝１）。そして、処理Ｓ１５０８において、第２速度演算部１２２で演算された該障害物の第２速度Ｖ_２を出力し、処理を終了する。

一方、処理Ｓ１５０６の判定条件が不成立の場合（ＮＯ）には、測距センサ２０２は障害物をロストせず、引き続き該障害物を検知していると判断して処理Ｓ１５０９に進み、処理Ｓ１５０９において検知ロストフラグをクリアする（ｆＤＴＣＬＯＳＴ＝０）。そして、処理Ｓ１５１０において、第１速度演算部１２１で演算された該障害物の第１速度Ｖ_１を出力し、処理を終了する。

一方、処理Ｓ１５１３にて上述した（７）式の判定条件が不成立の場合（ＮＯ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ１５１５に進み、処理Ｓ１５１５において物体検出フラグをクリアする（ｆＯＢＪＤＴＣ＝０）。そして、処理Ｓ１５１６において、第２検知部１１２による障害物のオプティカルフロー計測を中止して処理を終了する。

処理Ｓ１５０３にて、上述の（１０）式の判定条件が不成立の場合（ＮＯ）には、（１０）式よりＣＮＴＤＴ＝０もしくはＣＮＴＤＴ＞２であると判断して、処理Ｓ１５１１に進む。そして、処理Ｓ１５１１において、測距センサ２０２が障害物を検知していない、もしくはそれまで検知していた障害物を引き続き検知しているかどうかを判断する。

処理Ｓ１５１１にて、引き続き障害物を検知している（ＣＮＴＤＴ＞２）と判断した場合は、処理Ｓ１５０５に進む。そして、処理Ｓ１５０５において、上述の（３）式および（４）式に基づいて第１速度Ｖ_１（Ｖｘ_１、Ｖｙ_１）を演算し、前述したように処理Ｓ１５１２以降の処理ステップへ順次進む。処理Ｓ１５１１にて、障害物を検知していないと判断した（ＮＯ）場合、すなわち、処理Ｓ１５０３で（ＣＮＴＤＴ＝０）と判定された場合には、処理を終了する。

以上、測距センサ２０２が検知していた障害物をロストしたことにより、相対速度（第１速度）を取得できない場合でも、同障害物に対するオプティカルフローに基づいて演算した相対速度（第２速度）を取得することにより、同障害物を継続して検知し続けることが可能である。

本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１００…外界認識装置、１０１…検知領域設定部、１０２…物体検知部、１０３…速度演算部、１０４…速度判定部、１０５…障害物検知部、１０６…速度差閾値記憶部、２０１…自車、２０２…測距センサ、２０３…撮像装置、２０９…非検知領域、２１０…障害物検知領域、２１１…通常検知領域、２２１…近傍検知領域、３０３…歩行者（障害物）

Claims (8)

1. 自車前方の歩行者を検知して該歩行者の測距情報を取得する第１検知部と、
   自車前方を撮像した画像を用いてオプティカルフローを計測し、該オプティカルフローに基づいて前記歩行者を検知する第２検知部と、
   前記測距情報に基づいて前記自車に対する前記歩行者の相対的な横移動速度である第１横速度を演算する第１速度演算部と、
   前記オプティカルフローに基づいて前記自車に対する前記歩行者の相対的な横移動速度である第２横速度を演算する第２速度演算部と、
   前記第１横速度と前記第２横速度との速度差が予め設定された所定の範囲内の値であるか否かを判定する速度判定部と、
   該速度判定部により前記速度差が前記所定の範囲内の値であると判定された場合には、前記第１検知部で検知した歩行者と前記第２検知部で検知した歩行者とが同一であると判断する障害物検知部とを有し、
   該障害物検知部により同一であると判断された歩行者の検知を前記第１検知部と前記第２検知部にそれぞれ継続して行わせ、前記同一であると判断された歩行者の前記自車に対する相対横速度として前記第１検知部の測距情報に基づいて前記第１速度演算部で演算した第１横速度を用い、前記同一であると判断された歩行者を前記第１検知部がロストしたときは前記第２検知部のオプティカルフローに基づいて前記第２速度演算部で演算した第２横速度を用いる
   ことを特徴とする自動車の外界認識装置。
2. 前記障害物検知部は、前記速度判定部により前記速度差が所定の範囲外の値であると判定された場合には、前記第１検知部で検知した歩行者と前記第２検知部で検知した歩行者とが同一ではないと判断し、前記第２検知部による検知を中止することを特徴とする請求項１に記載の自動車の外界認識装置。
3. 前記第１検知部は、水平方向および垂直方向に送信波を照射し、前記送信波が自車前方に存在する歩行者に反射した場合、その反射波を受信することにより、前記自車に対する前記歩行者の位置と相対距離の少なくとも一方を計測し、前記測距情報として取得することを特徴とする請求項１又は２に記載の自動車の外界認識装置。
4. 前記第２検知部は、前記画像にオプティカルフロー計測点を設定し、前記歩行者を構成する特徴部分が前記計測点と交差した場合に、前記計測点における前記歩行者のオプティカルフローを計測することを特徴とする請求項１から請求項３のいずれか一項に記載の自動車の外界認識装置。
5. 前記第２検知部は、前記歩行者が前記自車の予測進路上に存在する場合に、前記歩行者を含む所定範囲の画像を切り出して、該切り出した画像内の歩行者の特徴部分と予め記憶されている複数のパターンとを比較し、類似度に応じて前記予測進路上の歩行者を識別することを特徴とする請求項１から請求項４のいずれか一項に記載の自動車の外界認識装置。
6. 自車の水平幅、高さ、ステア角、車速、ヨーレート、ヨー角、加速度などの自車情報を検出する車両情報検出部と、
   該車両情報検出部により検出した前記ステア角と前記車速に基づいて前記自車の予測進路を演算し、該演算した予測進路と前記自車の車幅に基づいて第１検知領域を設定するとともに、自車前方を撮像する撮像装置の撮影範囲もしくは車速に応じて前記自車の近傍に第２検知領域を設定する検知領域設定部と、
   を有することを特徴とする請求項１から請求項５のいずれか一項に記載の自動車の外界認識装置。
7. 前記第１横速度と前記第２横速度との速度差が所定の範囲内であるか否かを判定するための速度差閾値を記憶する速度判定閾値記憶部を有し、
   前記速度差閾値は、定数、もしくは自車の車速、自車と歩行者との相対距離、衝突時間（ＴＴＣ）のうち少なくとも１つ以上のパラメータを独立変数に持つ従属変数であることを特徴とする請求項１から請求項６のいずれか一項に記載の自動車の外界認識装置。
8. 前記歩行者を、前記第１検知部もしくは第２検知部のうち少なくとも一方で検知することによって、自車と前記歩行者との衝突時間（ＴＴＣ）に応じて運転者に対する警報音を発し、
   前記第１検知部および第２検知部の両方で検知することによって、前記衝突時間に応じて運転者に対する警報音を発し、シートベルトを巻上げて、ブレーキを作動させる制御を行うことを特徴とする請求項１から請求項７のいずれか一項に記載の自動車の外界認識装置。

Images