JP5410730B2

JP5410730B2 - 自動車の外界認識装置

Info

Publication number: JP5410730B2
Application number: JP2008262600A
Authority: JP
Inventors: 和利土屋; 博史坂本; 健人緒方
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2008-10-09
Filing date: 2008-10-09
Publication date: 2014-02-05
Anticipated expiration: 2028-10-09
Also published as: JP2010093610A

Description

本発明は、カメラやレーダなどの自車に搭載されたセンサからの情報に基づいて自車周囲の物体を検知する自動車の外界認識装置及び外界認識方法に関する。

交通事故による死傷者数および交通事故そのものの低減に向けて、近年、研究開発が進められているプリクラッシュ・セーフティ・システムやＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）といった自動車の予防安全技術において、レーダやカメラなどのセンサからの情報及びナビゲーション装置を利用した道路情報などが必要となる。例えば、上記のＡＣＣの場合、レーダを利用して前方車両の相対速度や相対距離を検出し、前車との適切な車間距離を維持するように自車の速度を制御する。

従来、レーダやカメラ等のセンサを利用して物体を検知する場合、その検知対象領域は各センサの検知対象領域そのものであり、特に、車載カメラによる物体認識では、カメラの全画面にわたって、予め設定した所定の形状パターンと画面上の物体の形状とを比較して物体を認識するパターンマッチング手法などが用いられる。

例えば、特許文献１に記載の車両周辺監視システムでは、車両に搭載した赤外線カメラから得られた画像において、歩行者などの対象物体が背景にまぎれ込んだ場合でも高精度で該対象物体を認識する。その際に、検知領域として前記カメラの画角および歩行者の相対速度に基づく三角形領域を設定する。この三角形領域は、車両正面前方に設けた一定幅の接近判定領域と、その接近判定領域の左右両サイドに設ける侵入判定領域とから構成されており、前記領域内にいる歩行者の速度ベクトルから接触可能性を判定する方法が開示されている。

特開２００８−４２７７９号公報

しかしながら、特許文献１に記載されている車両周辺監視システムでは、赤外線カメラで得られる時系列の測定位置情報から歩行者の速度ベクトルを演算するので、相対速度の測定精度が低く、正確な衝突判定が困難である。また、歩行者の相対速度情報に基づいて検知領域を設定するため、歩行者や自車が急な速度変化をした場合に、検知領域が前後方向にばらつき、歩行者が検知領域から外れてしまう可能性がある。

本発明は、上記の点に鑑みてなされたものであり、その目的は、物体を高精度に認識する自動車の外界認識装置及び外界認識方法を提供する。

本発明は、自車の前方画像に基づいて自車前方の移動物体を検知する自動車の外界認識装置及び外界認識方法であって、画像内に第１領域と第２領域を設定し、第１領域の画像に対して移動物体を識別するための画像処理を行い、第２領域の画像に対して移動物体の挙動を把握するための画像処理を行うことを特徴としている。

本発明によれば、移動物体が第２領域を通過して第１領域に進入してきた場合に、第２領域における移動物体の挙動に関する情報を利用して、第１領域内の移動物体を容易に特定することができる。従って、第１領域内で移動物体を識別するための画像処理を迅速に行うことができる。従って、外界認識装置の画像処理負荷及び処理時間を低減することができ、精度良く移動物体を検知することが可能である。

次に、本発明の実施の形態について図面を用いて説明する。
［第１実施の形態］
図１は、第１実施の形態における外界認識装置１０の構成を説明するブロック図である。外界認識装置１０は、自動車に搭載されるコンピュータにプログラミングされた外界認識用のプログラムを実行することによって実現され、その処理内容が予め定められた周期で繰り返し実行される。

外界認識装置１０は、外界認識センサ１を構成するカメラセンサ（撮影部）２で撮影した自車の前方画像の情報を、カメラセンサ２から取得する画像情報取得部１０１と、自車の車両状態量に基づいて自車の予測進路を演算する自車進路演算部２０と、予測進路に基づいて前方画像内に自車の正面とその左右外側にそれぞれ画像処理領域を設定する処理領域設定部３０と、各画像処理領域において移動物体を検知するための所定の画像処理を行う物体検知部４０を有する。

物体検知部４０による移動物体の検知情報は、外界認識装置１０から警報部１０８に出力され、警報部１０８では、外界認識装置１０から入力した検知情報に基づき、自車と移動物体との衝突時間ＴＴＣ（ＴｉｍｅｔｏＣｏｌｌｉｓｉｏｎ）［ｓｅｃ］に応じた所定の警報が実行される。

また、外界認識装置１０には、自車の車両状態を示す情報として、自車のステアリングホイールの角度（ステア角）αと車速Ｖ［ｍ／ｓ］の情報が入力され、更に、自車幅Ｗｃ［ｍ］、カメラセンサの視野角θ_ＣＡ［ｒａｄ］（センサ検知角）、センサ検知距離［ｍ］の情報が入力される。

カメラセンサ２は、自車の車体前部に取り付けられており、自車前方を撮影して移動物体の画像情報を取得し、外界認識装置１０に出力する。カメラセンサ２は、１つのカメラから構成される単眼カメラであり、該単眼カメラを複数台利用しても良い。カメラセンサ２で取得する移動物体の画像情報とは、移動物体の形状、相対位置や速度ベクトルなどである。また、移動物体には、歩行者の他に、車両、自転車、犬や猫などの人間以外の動物も含まれる。

自車進路演算部２０は、ステア角α［ｒａｄ］及び車速Ｖ［ｍ／ｓ］の情報を取得する車両挙動情報取得部１０２と、車両挙動情報取得部１０２で取得したステア角α［ｒａｄ］及び車速Ｖ［ｍ／ｓ］の情報に基づいて自車の進路（旋回半径Ｒ［ｍ］）を演算する進路演算部１０３とから構成され、自車進路の演算結果を処理領域設定部３０に出力する。なお、自車進路を演算する際に、車両挙動情報取得部１０２で取得するステア角αや車速Ｖの他に、自車のヨーレートおよびヨー角、加速度などを利用してもよい。

処理領域設定部３０は、自車の正面の移動物体を検知するための画像処理領域（以下、第１領域と称する）を設定する第１領域設定部１０４と、第１領域の左右外側の移動物体を検知するための画像処理領域（以下、第２領域と称する）を設定する第２領域設定部１０５を有する。第１領域設定部１０４は、自車進路演算部２０で演算した自車の予測進路と自車幅Ｗｃに基づき第１領域を設定し、第２領域設定部１０５は、車速Ｖとカメラセンサの視野角θ_ＣＡと第１領域に基づき第２領域を設定する。

第１領域は、運転者の操舵操作に応じて変化する自車進路に対応して変化し、その際に第２領域も第１領域に対応して変化する。また、第１領域設定部１０４は第１領域内に少なくとも自車幅Ｗｃ以上の横幅を有する警報領域（例えば図９の警報領域９０４を参照）を設定する。

物体検知部４０は、第１領域内および第２領域内の移動物体を所定の画像処理手法を利用して検知するものであり、第１領域内の移動物体を検知する第１の物体検知部１０６と、第２領域内の移動物体を検知する第２の物体検知部１０７とから構成される。

第１の物体検知部１０６は、第１領域内の移動物体に対して、当該移動物体を含む所定の範囲のカメラ画像を切り出して、その切り出したカメラ画像を正規化するためのサイズ調整を行う。

そして、サイズ調整により正規化したカメラ画像を走査し、予め記憶しておいた複数の物体形状パターンに基づいて、移動物体の対応する特徴量を比較するパターンマッチング処理を行う。そして、パターンマッチングの結果、移動物体が物体形状パターンのうち少なくとも１つ以上の形状パターンと近似している場合には、第１領域内に所定の移動物体があると認識する。

第２の物体検知部１０７は、第２領域内の移動物体に対して、移動物体を検知した時刻における移動物体の画像と、当該検知時刻より所定の時間前の時刻における移動物体の画像とを比較し、当該２つの画像に共通する移動物体の特徴部の移動（画素の変化）から、移動物体のオプティカルフローを演算する。第２の物体検知部１０７で演算されたオプティカルフローの情報は、第２領域における移動物体の挙動に関する情報として、第１の物体検知部１０６に提供され、第１の物体検知部１０６で移動物体を検知する処理に用いられる。

警報部１０８は、物体検知部４０から第１領域において移動物体を検知したとの情報を受けた場合に、自車と移動物体との衝突時間ＴＴＣに応じて、運転者および同乗者に対して所定の警報を実行する。なお、警報は「ピピピ・・・」などのビープ音の他に、音声メッセージなどを発する警報でもよく、また、カーナビゲーションシステムのモニタ画面や、インストゥルメントパネル、ヘッドアップディスプレイ等に表示する視覚的な警報でも良い。

次に、図２を用いて自車進路演算部２０の処理内容について詳細に説明する。図２は、自車の予測進路を演算する処理の内容を示すフローチャートである。

処理Ｓ２０１において、自車のステア角α［ｒａｄ］および車速Ｖ［ｍ／ｓ］などのパラメータを読み込み、処理Ｓ２０２において、ステア角αとステアリングギヤ比ｇから（１）式を用いて自車の操舵角δ［ｒａｄ］を算出する。

次に、処理Ｓ２０３において、（１）式で演算した操舵角δと車速Ｖから（２）式を用いて自車の旋回半径Ｒ［ｍ］を演算して処理を終了する。ここで、Ａはスタビリティファクタ［ｓ^２／ｍ^２］と呼ばれるものであり、Ｈは自車のホイールベース［ｍ］である。

以上、説明したように、ステア角αおよび車速Ｖから自車の旋回半径Ｒを演算することができ、自車の予測進路を得ることができる。

次に、図３を用いて処理領域設定部３０の処理内容について説明する。図３は、画像内に複数の画像処理領域を設定する処理の内容を示すフローチャートである。処理領域設定部３０では、自車前方に存在する移動物体のうち、自車と衝突する可能性がある移動物体を絞り込むための画像処理領域が設定される。画像処理領域は、自車の車速に応じて自車の進行方向に拡大または収縮するように設定される。

まず、処理Ｓ３０１において、カメラセンサ２で撮影した自車前方の画像情報を画像情報取得部１０１にて予め定められた周期で取得し、処理Ｓ３０２に進む。処理Ｓ３０２では、カメラセンサ２の視野角θ_ＣＡ［ｒａｄ］および検知角度（自車に対する左右方向の最大検知範囲）や検知距離（自車に対する前後方向の最大検知範囲Ｄ_Ｍ［ｍ］）などの情報を読み込む。なお、外界認識センサとしてカメラセンサを使用しているが、このカメラセンサは単眼カメラおよびステレオカメラであり、１台もしくは複数台使用しても良い。

次に、処理Ｓ３０３において、自車幅Ｗｃの情報を読み込み、処理Ｓ３０４において、自車の車速Ｖおよび自車進路演算部２０で演算した自車の予測進路（旋回半径Ｒ［ｍ］）を読み込む。

そして、処理Ｓ３０５において、車速Ｖが予め設定された閾値Ｖｒ未満か否かを判定する。本実施の形態では、閾値Ｖｒは、４０ｋｍ／ｈに設定されている。処理Ｓ３０５の判定条件が成立していると判断した場合は、自車が４０ｋｍ／ｈ未満の低速走行をしていると判断して、第２領域の大きさを自車の進行方向に収縮させるべく、処理Ｓ３０６に進み、処理Ｓ３０６において車速フラグｆＣＡＲＶＳＰをクリア（ｆＣＡＲＶＳＰ＝０）する。

そして、処理Ｓ３０７において、自車の前方２０ｍもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍの半分の距離Ｄ_Ｍ／２［ｍ］の範囲内に、自車の予測進路および自車幅Ｗｃに基づいて低速用の第１領域を設定し、処理Ｓ３０８に進む。処理Ｓ３０８において、カメラセンサ２の視野角に基づき、処理Ｓ３０７にて設定した第１領域の左右外側に低速用の第２領域を設定する。

一方、処理Ｓ３０５の判定条件が不成立の場合は、自車が４０ｋｍ／ｈ以上の高速走行をしていると判断して、第２領域を自車の進行方向に拡大させるべく、処理Ｓ３０９に進み、処理Ｓ３０９において車速フラグｆＣＡＲＶＳＰをセット（ｆＣＡＲＶＳＰ＝１）する。

そして、処理Ｓ３１０において、自車の前方４０ｍもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍ［ｍ］の範囲内に、自車の予測進路および自車幅Ｗｃに基づいて高速用の第１領域を設定し、処理Ｓ３１１に進む。

処理Ｓ３０７、Ｓ３０８もしくは処理Ｓ３１０、Ｓ３１１で設定した第１領域および第２領域の情報は、処理Ｓ３１２において、物体検知部４０に出力され、また、カメラセンサ２により撮影した前方画像を映す所定のモニタ画面に出力表示され、画像処理領域設定の処理を終了する（ＲＥＴＵＲＮ）。

なお、処理Ｓ３０５で用いられる閾値Ｖｒは、４０ｋｍ／ｈに限定されるものではなく、以下の（３）式で演算される閾値を用いてもよい。ここで、Ｄ［ｍ］は制動距離と空走距離の合計、ＴＴＣは衝突時間［ｓｅｃ］（相対距離÷相対速度）である。

以上説明したように、自車の予測進路とカメラセンサ２の仕様に基づき、自車の速度に応じた画像処理領域が設定される。

次に、図４を用いて第１領域設定部１０４の処理内容について説明する。図４は、画像内に第１領域を設定する処理の内容を示すフローチャートである。第１領域設定部１０４は、自車の予測進路上もしくは該進路に進入する直前の移動物体を検知するための画像処理領域を第１領域として設定する。

まず、処理Ｓ４０１において、自車幅Ｗｃを読み込み、処理Ｓ４０２に進む。そして、処理Ｓ４０２において、自車の車速Ｖおよび自車進路演算部２０で演算した自車の予測進路（旋回半径Ｒ［ｍ］）を読み込み、処理Ｓ４０３に進む。

処理Ｓ４０３において、車速Ｖが予め設定された閾値Ｖｒ未満か否かを判定する。本実施の形態では、閾値Ｖｒは、４０ｋｍ／ｈに設定されている。処理Ｓ４０３の判定条件が成立していると判断した場合は、自車が４０ｋｍ／ｈ未満の低速走行をしていると判断して、第１領域の大きさを自車の進行方向に収縮させるべく、処理Ｓ４０４に進み、処理Ｓ４０４において車速フラグｆＣＡＲＶＳＰをクリア（ｆＣＡＲＶＳＰ＝０）する。

そして、処理Ｓ４０５において、低速用の警報領域（図９の領域９０４）を設定する。低速用の警報領域は、処理Ｓ４０２で読み込んだ予測進路Ｒおよび自車幅Ｗから（４）−１式、（４）−２式に基づいて算出され、自車の前方２０ｍもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍの半分の距離Ｄ_Ｍ／２［ｍ］の範囲内に設定される。

ここで、Ｌ^２０ _ＡＬ［ｍ］は低速用警報領域の前後（縦）幅、Ｗ^２０ _ＡＬ［ｍ］は低速用警報領域の左右（横）幅、Ｒ［ｍ］は（２）式で算出する自車の旋回半径を示す。なお、低速用警報領域は（２）式で算出する予測進路に応じて進路方向に変化し、低速用警報領域内の移動物体との衝突時間ＴＴＣ［ｓｅｃ］が所定の値になった場合に、警報部１０８により運転者に対して警報がなされる。

そして、処理Ｓ４０６において、処理Ｓ４０５で設定した低速用警報領域の左右に低速用注意領域（図９の領域９０５）を設定する。低速用警報領域は、（５）−１式と（５）−２式に基づいて算出される。ここで、Ｌ^２０ _ＣＴ［ｍ］は低速用注意領域の前後（縦）幅、Ｗ^２０ _ＣＴ［ｍ］は低速用注意領域の片側一方の左右（横）幅を示す。

一方、処理Ｓ４０３の判定条件が成立していないと判断した場合は、自車が４０ｋｍ／ｈ以上の高速走行をしていると判断して、第１領域の大きさを自車の進行方向に拡大すべく、処理Ｓ４０７に進み、処理Ｓ４０７において車速フラグｆＣＡＲＶＳＰをセット（ｆＣＡＲＶＳＰ＝１）する。

そして、処理Ｓ４０８において、高速用警報領域（図９の領域９０４）を設定する。高速用警報領域は、処理Ｓ４０２で読み込んだ予測進路Ｒおよび自車幅Ｗを用いて（６）−１式、（６）−２式に基づいて算出され、自車の前方４０ｍもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍ［ｍ］の範囲内に設定される。

ここで、Ｌ^４０ _ＡＬ［ｍ］は高速用警報領域の前後（縦）幅、Ｗ^４０ _ＡＬ［ｍ］は高速用警報領域の左右（横）幅、Ｒ［ｍ］は（２）式で算出する自車の旋回半径を示す。なお、高速用警報領域は（２）式で算出する予測進路に応じて進路方向に変化し、高速用警報領域内の移動物体との衝突時間ＴＴＣ［ｓｅｃ］が所定の値になった場合に、警報部１０８により運転者に対して警報がなされる。

次に、処理Ｓ４０９において、処理Ｓ４０８で設定した高速用警報領域の左右に高速側注意領域（図９の領域９０５）を設定する。高速用警報領域は、（７）−１式と（７）−２式に基づいて算出される。ここで、Ｌ^４０ _ＣＴ［ｍ］は高速側注意領域の前後（縦）幅、Ｗ^４０ _ＣＴ［ｍ］は高速側注意領域の片側一方の左右（横）幅を示す。

処理Ｓ４０５、処理Ｓ４０６もしくは処理Ｓ４０８、Ｓ４０９で設定した警報領域および注意領域の情報は、処理Ｓ４１０において、物体検知部４０に出力され、また、カメラセンサ２により撮影した前方画像を映す所定のモニタ画面に出力表示され、画像処理領域設定の処理を終了する（ＲＥＴＵＲＮ）。

なお、処理Ｓ４０３で用いられる閾値Ｖｒは、Ｖ＝４０ｋｍ／ｈに限定されるものではなく、前述した（３）式で演算される閾値を用いてもよい。以上説明したように、自車の予測進路および自車幅に基づき、自車の車速Ｖに応じた警報領域および注意領域が設定される。

次に、図５を用いて第２領域設定部１０５の処理内容について説明する。図５は、画像内に第２領域を設定する処理の内容を示すフローチャートである。第２領域設定部１０５は、第１領域の左右外側に、自車の予測進路に接近する移動物体を検知するための画像処理領域を第２領域として設定する。

まず、処理Ｓ５０１において、カメラセンサ２の視野角θ_ＣＡを読み込み、処理Ｓ５０２において、カメラセンサ２の検知距離の最大値（限界値）Ｄ_Ｍ［ｍ］を読み込み、処理Ｓ５０３において、第１領域設定部１０４で設定した第１領域を読み込む。

そして、低速用と高速用のいずれの第２領域を設定すべきかを判断すべく、処理Ｓ５０４以降に進む。処理Ｓ５０４において、車速Ｖが予め設定された閾値Ｖｒ未満か否かを判定する。本実施の形態では、閾値Ｖｒは、４０ｋｍ／ｈに設定されている。

処理Ｓ５０４の判定条件が成立していると判断した場合は、自車が４０ｋｍ／ｈ未満の低速走行をしていると判断して、低速用の第２領域を設定すべく、処理Ｓ５０５以降に進む。

処理Ｓ５０５では、車速フラグｆＣＡＲＶＳＰがクリア（ｆＣＡＲＶＳＰ＝０）され、処理Ｓ５０６において、処理Ｓ５０３で読み込んだ第１領域の左右外側に低速用の第２領域（図９の領域９０６）が設定される。

低速用の第２領域は、（８）−１式、（８）−２式に基づいて算出され、自車の前方２０メートルもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍの半分の距離Ｄ_Ｍ／２［ｍ］、及び処理Ｓ５０１で読み込んだカメラセンサ２の視野角θ_ＣＡ［ｒａｄ］の範囲内に設定される。なお、（８）−１式の＋記号は自車中心線よりも右側の第２領域であり、−記号は自車中心線よりも左側の第２領域である。

一方、処理Ｓ５０４の判定条件が成立していないと判断した場合は、自車が４０ｋｍ／ｈ以上の高速走行をしていると判断して、高速用の第２領域を設定すべく、処理Ｓ５０７に進む。

処理Ｓ５０７では、車速フラグｆＣＡＲＶＳＰがセット（ｆＣＡＲＶＳＰ＝１）され、処理Ｓ５０８において、処理Ｓ５０３で読み込んだ第１領域の左右外側に高速用の第２領域が設定される。

高速用の第２領域は、（９）−１式、（９）−２式に基づいて算出され、自車の前方４０メートルもしくはカメラセンサ２の前後方向の最大検知範囲Ｄ_Ｍ、および処理Ｓ５０１で読み込んだカメラセンサ２の視野角θ_ＣＡ［ｒａｄ］の範囲内に設定される。

ここで、Ｃは定数である。なお、（９）式は自車からの距離が２０ｍ＜Ｙ≦４０ｍもしくはＤ_Ｍ／２＜Ｙ≦Ｄ_Ｍの範囲の第２領域である。

処理Ｓ５０６もしくは処理Ｓ５０８で設定した第２領域の情報は、処理Ｓ５０９において、物体検知部４０に出力され、また、カメラセンサ２により撮影した前方画像を映す所定のモニタ画面に出力表示され、画像処理領域設定の処理を終了する（ＲＥＴＵＲＮ）。なお、処理Ｓ５０４で用いられる閾値Ｖｒは、Ｖ＝４０ｋｍ／ｈに限定されるものではなく、前述した（３）式で演算される閾値を用いてもよい。

以上説明したように、第１領域設定部１０４で設定された第１領域とカメラセンサ２の視野角と車速Ｖに基づいて第２領域が設定される。

次に、図６を用いて物体検知部４０の処理内容について説明する。図６は、画像処理領域内の移動物体を検知する処理の内容を示すフローチャートである。物体検知部４０は、第２領域における移動物体のオプティカルフローの検出と、第１領域におけるパターンマッチングによる移動物体の識別を行う。

まず、処理Ｓ６０１において、第１領域設定部１０４で設定された第１領域の情報を読み込み、処理Ｓ６０２において、第２領域設定部１０５で設定された第２領域の情報を読み込む。

そして、処理Ｓ６０３において、第２領域内の移動物体に対するオプティカルフローを演算し、移動物体の挙動に関する情報として、移動物体の相対速度、相対距離、および相対移動方向などを算出する。そして、処理Ｓ６０４において、処理Ｓ６０３にて算出した移動物体の挙動に関する情報を取得する。

処理Ｓ６０５では、処理Ｓ６０４で取得した移動物体の挙動に関する情報に基づいて移動物体が第１領域内に進入したか否かを判定する。そして、処理Ｓ６０５の判定条件が成立した場合は、移動物体が第１領域に進入したと判断して、処理Ｓ６０６に進み、処理Ｓ６０６において、第１領域内の移動物体を認識する処理が行われる。

処理Ｓ６０６における移動物体の認識処理は、予め記憶した物体形状パターンと第１領域に進入した移動物体とを比較するパターンマッチングにより行われる。処理Ｓ６０７では、処理Ｓ６０６で認識した移動物体の情報、及びその移動物体の相対距離や相対速度の情報等を警報部１０８に出力して、物体検知処理を終了する。

一方、処理Ｓ６０５の判定条件が不成立の場合は、移動物体が第１領域に進入していないと判断して、処理Ｓ６０８に進み、処理Ｓ６０８において、移動物体が第２領域から外れたか否かを判定する。そして、処理Ｓ６０８の判定条件が成立する場合は、移動物体が第２領域及び第１領域で構成される画像処理領域から外れたと判断して、物体検知処理を終了する（ＲＥＴＵＲＮ）。

一方、処理Ｓ６０８の判定条件が不成立の場合は、移動物体がまだ第２領域内にいると判断して処理Ｓ６０３に戻り、処理Ｓ６０３にて引き続き移動物体のオプティカルフローを演算する。

以上説明したように、画像処理領域を第１領域と第２領域に分割し、第２領域において移動物体のオプティカルフローを演算して移動物体の相対情報を取得し、オプティカルフロー演算の結果に基づいて、自車進路上の第１領域に進入した移動物体に対してパターンマッチングを適用して移動物体を識別することにより、画像処理負荷および処理時間を低減し、精度良く移動物体を検知することが可能である。

次に、図７を用いて第１の物体検知部１０６の処理内容について説明する。図７は、第１領域内の移動物体を検知する処理の内容を示すフローチャートである。第１の物体検知部１０６は、第１領域の移動物体に対して、パターンマッチングによる画像処理を実行し、第１領域内の移動物体を認識する。

まず、処理Ｓ７０１において、第１領域設定部１０４で設定した第１領域の情報を読み込み、処理Ｓ７０２において、第２の物体検知部１０７において第２領域内で検知した移動物体に関する情報（相対速度ベクトルおよび相対距離など）を読み込む。

そして、処理Ｓ７０３において、第２領域にて検知された後に第１領域内に進入した移動物体に対して、カメラセンサ２の画像上にて移動物体を含む所定の切り出し範囲を設定し、切り出し範囲内の画像を切り出して処理Ｓ７０４に進む。

画像上の移動物体の大きさは自車との相対距離に応じて変化することから、処理Ｓ７０４では、処理Ｓ７０３で切り出した所定の切り出し画像のサイズを、相対距離に応じてサイズ調整して正規化し、処理Ｓ７０５に進む。

処理Ｓ７０５では、処理Ｓ７０４で正規化された画像に対して、局所的なエッジなどの移動物体が有する外形の特徴量を抽出し、その抽出した特徴量と予め記憶した物体形状パターンとを比較するパターンマッチングを行い、移動物体を識別する。そして、処理Ｓ７０６にて、処理Ｓ７０５の移動物体認識結果を警報部１０８へ出力し、第１の物体検知部１０６の処理を終了する。

以上説明したように、第１領域において、移動物体をパターンマッチング手法で認識することにより、例えば歩行者を検知対象とする場合には、歩行者のみを精度良く認識し、警報などの制御を実行することが可能となる。

次に、図８を用いて第２の物体検知部１０７の処理内容について説明する。図８は、第２領域内の移動物体を検知する処理の内容を示すフローチャートである。第２の物体検知部１０７では、第２領域内の移動物体に対して、移動物体のオプティカルフローを演算する処理が行われる。

まず、処理Ｓ８０１では、第２領域設定部１０５で設定した第２領域の情報を読み込み、処理Ｓ８０２に進む。そして、処理Ｓ８０２では、第２領域において移動物体を検知したある時刻をＴとするとき、時刻Ｔより所定の時間ΔＴだけ前の時刻Ｔ−ΔＴに検知した移動物体の特徴量（局所エッジなど）を複数抽出し、処理Ｓ８０３に進む。

処理Ｓ８０３において、時刻Ｔに検知した移動物体の特徴量を複数抽出し、処理Ｓ８０４に進む。処理Ｓ８０４では、処理Ｓ８０２で抽出した時刻Ｔ−ΔＴにおける移動物体の特徴量と、処理Ｓ８０３で抽出した時刻Ｔにおける移動物体の特徴量について、それぞれ対応する箇所の特徴量を比較し、処理Ｓ８０５に進む。

処理Ｓ８０５において、処理Ｓ８０４の特徴量の比較結果より移動物体のオプティカルフローを算出し、処理Ｓ８０６に進む。処理Ｓ８０６において、処理Ｓ８０５で算出した移動物体のオプティカルフローを第１の物体検知部１０６に出力し、第２の物体検知部１０７の処理を終了する。

以上説明したように、自車進路の左右外側の第２領域において移動物体のオプティカルフローを演算することにより、移動物体の相対速度ベクトルを算出し、移動物体の挙動を把握することが可能である。従って、移動物体が第２領域から第１領域に進入した場合に、第１の物体検知部１０６において移動物体を迅速且つ正確に把握し、移動物体に対するパターンマッチングを行うことができる。

次に、図９、図１０を用いて画像処理領域の具体的な設定方法について説明する。

図９は、第１領域９０１と第２領域９０２をＸＹ座標（世界座標）にプロットした図、図１０は、モニタ画面９１１に自車の前方画像と各画像処理領域９０１、９０２を表示した場合の模式図である。

図９は、自車先頭の中心位置を原点Ｏにとり、自車の前後（縦）方向にＹ軸、左右（横）方向にＸ軸をとり、カメラセンサ２の視野角に相当する直線式９０３と、第１領域設定部１０４で設定される第１領域９０１と、第２領域設定部１０５で設定される第２領域９０２が示される。また、直線式９０８は、レーダセンサを搭載した場合におけるレーダ検知角に相当する直線である。

第１領域９０１は、自車幅Ｗｃに等しい横幅を有する警報領域９０４と、その左右に自車幅Ｗｃの半分の横幅Ｗｃ／２を有する注意領域９０５とからなり、これら警報領域９０４と注意領域９０５は、それぞれ図４に示す領域設定のフローチャートにしたがって設定される。低速側の第１領域９０１は、前後方向の長さがＹ≦２０ｍもしくはＹ≦Ｄ_Ｍ／２に設定され、高速側の第１領域９０１は、前後方向の長さが２０ｍ＜Ｙ≦４０ｍもしくはＤ_Ｍ／２＜Ｙ≦Ｄ_Ｍに設定される。

そして、低速側の第２領域９０６は、前後方向の長さがＹ≦２０ｍもしくはＹ≦Ｄ_Ｍ／２に設定され、横幅がカメラ視野角９０３、９０３との間とされる。そして、高速側の第２領域９０６は、前後方向の長さが２０ｍ＜Ｙ≦４０ｍもしくはＤ_Ｍ／２＜Ｙ≦Ｄ_Ｍに設定され、横幅は、画像処理負荷を低減するために一定の領域幅とされる。

図１０に示す第１領域９０１の警報領域９０４及び注意領域９０５、第２領域９０２の低速用第２領域９０６及び高速用第２領域９０７は、図９の各領域に対応しており、処理領域設定部３０で設定した各領域を、カメラ画像を映す所定のモニタ画面９１１に出力表示している。

なお、所定のモニタ画面９１１としては、自車に搭載するナビゲーション装置のモニタ画面の他に、インスツルメントパネル、ヘッドアップディスプレイでもよく、また、カメラ画像は前記モニタに表示しなくてもよい。

次に、図１１を用いて移動物体の１つである歩行者を検知する場合の実施例について説明する。図１１は、自車が道路１０１３上にいる場合に、自車の前方を右から左へ横断する歩行者１０１８を検知する場合の実施例を説明する図である。

図１１は所定のモニタ画面１０１１に、カメラセンサ２で撮影したカメラ画像（歩行者１０１８、道路１０１３、背景など）と、処理領域設定部３０で設定した第１領域１００１（警報領域１００４、注意領域１００５）と、第２領域１００２（低速側第２領域１００６、高速側第２領域１００７）を出力表示しており、これらの画像処理領域に進入した歩行者１０１８を検知する様子を示している。

例えば、図１１に示すように、歩行者１０１８が第２領域１００６に進入すると（図１１では歩行者１０１８ａ）、第２の物体検知部１０７により、歩行者１０１８のオプティカルフロー１００９が演算され、歩行者１０１８の相対速度ベクトル及び相対距離などが算出される。

そして、歩行者１０１８が第２領域１００６から注意領域１００５に進入すると（図１１では歩行者１０１８ｂ）、第１の物体検知部１０６によって、切り取り画像１０１０が切り出されてパターンマッチング処理が実行され、移動物体が歩行者１０１８であると識別される。

そして、歩行者１０１８が、警報領域１００４を通過し、左側の注意領域１００５を越えるまで（図１１では歩行者１０１８ｃ）、パターンマッチング処理が実行される。そして、歩行者１０１８が左側の第２領域１００６に入ると（図１１では歩行者１０１８ｄ）、パターンマッチング処理を終了し、歩行者１０１８のオプティカルフロー１００９が演算される。

以上説明したように、自車進路の左右の第２領域１００２では移動物体のオプティカルフローを演算して前記移動物体の動きを検知し、自車正面の第１領域１００１ではパターンマッチングにより移動物体を識別する。

ここで、パターンマッチングは、検知対象とする移動物体から抽出した特徴を複数個組み合わせて作成したテンプレートを予め記憶しておき、そのテンプレートを用いてカメラセンサで撮影した移動物体を照合することにより、その移動物体を識別する方法である。

そのため、全領域の画像処理をパターンマッチングで実行した場合、画面上の全ての移動物体を識別するためにテンプレートとのマッチング処理が行われることとなり、画像処理負荷が大きくなる。

一方、オプティカルフローは移動物体の動きを検知するだけであり、「その物体が何であるか」という識別を行う必要がないことから、比較的処理負荷が小さい。従って、全領域の画像処理をパターンマッチングで実行する場合と比較して、オプティカルフローを適用する本装置は画像処理負荷を低減することができ、警報等の制御を迅速且つ正確に行うことができる。

［第２実施の形態］
次に、第２実施の形態について以下に説明する。図１２は、第２実施の形態における外界認識装置１０の構成を説明するブロック図である。尚、第１実施の形態と同様の構成要素には、同一の符号を付することでその詳細な説明を省略する。

本実施の形態において特徴的なことは、外界認識センサ１として、カメラセンサ２に加えてレーダセンサ３を設けたことである。

レーダセンサ３は、カメラセンサ２と同様に車両前部に取り付けられており、自車前方の移動物体を検知することができる。レーダセンサ３は、レーザー光を使用するレーザレーダの他に、ミリ波を使用するミリ波レーダや赤外線を使用する赤外線レーダでもよい。

外界認識装置１０には、レーダ検知情報取得部１１１が設けられている。レーダ検知情報取得部１１１は、レーダセンサ３で検知した移動物体と自車との相対速度ベクトル、相対距離（相対位置）、及び移動物体の幅などの情報を取得し、処理領域設定部３０の第２領域設定部１０５に出力する。

次に、オプティカルフローで検知した移動物体の速度ベクトルを利用して、レーダセンサ３で検知した移動物体の横速度を補正する場合の実施例について図１３を用いて説明する。

図１３は、レーダ３を用いて自車前方を左から右へ移動する移動物体（歩行者とする）を検知した場合に、レーダ３の検知結果に基づき演算した歩行者の横位置Ｘ［ｍ］に対する横速度ＶＸ［ｍ／ｓ］の変化をプロットしたグラフである。

図１３では、横軸が左右の位置Ｘ［ｍ］、縦軸が歩行者の横速度ＶＸ［ｍ／ｓ］とされる。そして、Ｘ＝±０［ｍ］が自車の中心位置であり、破線枠１２０３（ＢからＣの間の範囲）は、図９で示した第１領域９０１の横幅に対応している。

図１３（ａ）の点線１２０４は歩行者の実際の横速度ＶＸを示すものであり、実線１２０２は、自車前方を左から右に向かって移動する歩行者を地点Ａにてレーダセンサ３で検出して以降のレーダ検知結果に基づいて演算された横速度ＶＸを示すものである。実線１２０２で示される横速度ＶＸは、レーダセンサ３で検知した歩行者の相対位置（距離）を微分して算出され、その際、算出結果のバラつきを防ぐためにフィルタ処理も行われる。

フィルタ処理は、演算時の数値のバラつきをなくし、実線１２０２で示されるように、横速度の立ち上がりが滑らかな曲線になる一方で、演算処理の時間が増加する。従って、図１３（ａ）に示すように、実線１２０２で示される演算上の横速度ＶＸが、点線１２０４で示される実際の横速度ＶＸと等しくなるまでに時間がかかり、遅れを生じる。

横速度ＶＸを演算している間にも実際の歩行者は右へ進むため、歩行者が第１領域に進入した時点（地点Ｂ：相対位置は直接測定しているため遅れがない）で、演算上での横速度ＶＸ（実線１２０２）は、実際の横速度ＶＸ（点線１２０４）に比べて値が小さく、その結果、検知遅れや未検知（第１領域内で検知しない）の原因となる可能性がある。

そこで、カメラセンサ２の画像情報を用いて図９に示すような第２領域において、歩行者のオプティカルフローを演算し、歩行者の速度ベクトルを算出する。オプティカルフローに基づいて算出した歩行者の横速度をレーダ検知に基づいて演算する横速度（実線１２０２）の補正値もしくは初期値とし、図１３（ｂ）に示すように点Ｐから点Ｐ’へと横速度ＶＸを補正することにより、歩行者が第１領域に進入する前に、演算する横速度ＶＸ（実線１２０２）を実際の横速度（点線１２０４）に対応させることが可能となる。

このように、第２領域でオプティカルフローに基づいて算出した移動物体の横速度を初期値もしくは補正値として用いることにより、第１領域内での検知遅れおよび未検知を防ぐことができる。

［第３実施の形態］
次に、第３実施の形態について以下に説明する。図１４は、第３実施の形態における外界認識装置１０の構成を説明するブロック図である。尚、第１及び第２実施の形態と同様の構成要素には、同一の符号を付することでその詳細な説明を省略する。

本実施の形態において特徴的なことは、ナビゲーション装置４から外界認識装置１０に道路情報及び自車位置情報を提供される構成としたことである。ナビゲーション装置４は、地図情報を有しており、また、ＧＰＳや車速Ｖなどの車両情報に基づく自車位置情報を有している。地図情報には、自車が走行する道路の情報（道路情報：道路幅、車線数、制限速度、交差点や横断歩道の位置）が含まれている。地図情報は、コンピュータが読み取り可能なＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク等の記憶媒体に記憶されているが、所定の情報センタから通信手段により入手しても良い。

上記構成によれば、ナビゲーション装置４から道路情報や自車位置情報を取得できるので、第２領域設定部において、第２領域を道路の大きさや、横断歩道の形状等に一致させるように設定することができる。従って、第２領域においてオプティカルフローの演算に基づいて移動物体の動きを算出する場合に、その処理負荷及び処理時間を低減し、精度良く移動物体を検知することが可能である。

尚、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の各実施の形態では、第２領域を第１領域の左右外側に設定した場合を例に説明したが、第２領域を第１領域の左右のいずれか一方に設定してもよい。

第１実施の形態における外界認識装置の構成を説明するブロック図。自車の予測進路を演算する処理の内容を示すフローチャート。処理領域設定部の処理内容を示すフローチャート。第１領域設定部の処理内容を示すフローチャート。第２領域設定部の処理内容を示すフローチャート。物体検知部の処理内容を示すフローチャート。第１の物体検知部の処理内容を示すフローチャート。第２の物体検知部の処理内容を示すフローチャート。第１領域と第２領域をＸＹ座標（世界座標）にプロットした図。モニタ画面に自車の前方画像と各画像処理領域を表示した場合の模式図。自車の前方を横断する歩行者を検知する場合の実施例を説明する図。第２実施の形態における外界認識装置の構成を説明するブロック図。自車前方を横断する歩行者の実際の速度と、レーダの検知結果に基づき演算した速度の変化を示すグラフ。第３実施の形態における外界認識装置の構成を説明するブロック図。

符号の説明

１外界認識センサ
２カメラセンサ
３レーダセンサ
４カーナビゲーション装置
１０外界認識装置
２０自車進路演算部
３０処理領域設定部
４０物体検知部
１０１画像情報取得部
１０２車両挙動情報取得部
１０３進路演算部
１０４第１領域設定部
１０５第２領域設定部
１０６第１の物体検知部
１０７第２の物体検知部
１０８警報部
９０１、１００１第１領域
９０２、１００２第２領域
９０４、１００４警報領域
９０５、１００５注意領域
９０６、１００６低速側第２領域
９０７、１００７高速側第２領域

Claims

単眼カメラセンサ及びレーダセンサもしくはステレオカメラによって自車前方の歩行者を検知する自動車の外界認識装置であって、
前記単眼カメラセンサ又は前記ステレオカメラで撮像した自車前方の画像情報を取得する画像情報取得部と、
前記レーダセンサもしくは前記ステレオカメラの検知距離及び前記単眼カメラセンサの視野角の情報を取得するセンサ情報取得部と、
前記検知距離の情報に基づいて自車の正面に設定され、前記自車前方の歩行者を検知するための第１領域と、前記視野角の情報に基づいて前記第１領域の左右の少なくとも一方に設定され、前記第１領域の外側の歩行者を検知するための第２領域と、を設定する処理領域設定部と、
該処理領域設定部により設定された前記第２領域内の画像に対して前記歩行者に対するオプティカルフローを算出して歩行者を検知し、前記歩行者の相対距離及び相対速度ベクトルを算出する第２物体検知部と、該第２物体検知部により算出された相対距離及び相対速度ベクトルに基づいて検知された前記歩行者が前記第１領域内に進入したか否かを判定し、進入したと判定された場合、前記第１領域内の画像に対してパターンマッチングの画像処理を実行し、前記第１領域内の前記歩行者を認識する第１物体検知部と、を有する物体検知部と、
を有することを特徴とする自動車の外界認識装置。
前記第１物体検知部は、前記第１領域内の前記歩行者に対して、前記歩行者を含む所定の範囲の画像を切り出し、予め記憶しておいた複数の物体形状パターンと前記歩行者を含む所定の範囲の画像とを比較し、前記歩行者が前記物体形状パターンのうち少なくとも１つ以上の形状パターンと近似している場合に、前記第１領域内に歩行者が存在すると認識することを特徴とする請求項１に記載の自動車の外界認識装置。
前記第２物体検知部は、前記第２領域内の前記歩行者に対して、前記歩行者を検知した検知時刻における前記歩行者を含む画像と、当該検知時刻よりも所定の時間前の時刻における前記歩行者を含む画像とを比較し、当該２つの画像に共通する前記歩行者の特徴部の移動から、前記歩行者の有無を認識することを特徴とする請求項１または請求項２に記載の自動車の外界認識装置。
前記処理領域設定部は、自車の車速に応じて前記第１領域または前記第２領域の少なくとも一方を自車の進行方向に拡大または収縮させることを特徴とする請求項１に記載の自動車の外界認識装置。
自車の操舵角と車速に基づいて自車の予測進路を演算する自車進路演算部を備え、
前記処理領域設定部は、前記予測進路と自車幅に基づいて前記第１領域を設定する第１領域設定部と、前記第１領域と前記単眼カメラセンサ又は前記ステレオカメラの視野角に基づいて前記第２領域を設定する第２領域設定部と、を有することを特徴とする請求項４に記載の自動車の外界認識装置。
前記第１領域内に前記歩行者を認識した場合に、前記自車と前記歩行者が衝突する可能性があることを運転者に報知する警報部を備え、
前記警報部は、前記第１領域内で前記歩行者を認識した場合に、前記自車と前記歩行者との相対距離および相対速度から演算する衝突時間ＴＴＣに応じて、音声あるいはビープ音のうち少なくとも１つ以上を利用して前記第１領域に前記歩行者が存在することを前記運転者に報知することを特徴とする請求項１から請求項５のいずれか一つに記載の自動車の外界認識装置。