JP4528283B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両の走行に影響を与える対象物を検出する車両周辺監視装置であり、特に、対象物を検出したときに車両の運転者に注意喚起を行う車両周辺監視装置に関する。

従来、この種の車両周辺監視装置としては、赤外線カメラにより捉えられた車両周辺の画像から、車両との接触の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に視覚的に提供する表示処理装置が提案されている（例えば特許文献１参照）。この装置は、赤外線画像を２値化処理して高輝度領域を探し、該領域の赤外線画像内の重心位置、面積比、実面積などの頭部判定条件から、該領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域であると判定したときは、歩行者の身体を包含する領域を他の領域と区分して表示する。これにより、歩行者情報が車両の運転者に対して表示され、運転者の視覚を補助している。

また、かかる車両周辺監視装置において、車両の運転者に対して不要な注意喚起がなされることを抑制するため、車両との接触の可能性の高い歩行者を視覚的に表示する車両周辺装置が提案されている（例えば特許文献２参照）。この装置は、２つの赤外線カメラにより得られる画像から車両周辺の対象物と車両との距離を算出し、更に、時系列に求められる対象物の位置データから該対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、車両と接触する可能性の高い対象物を抽出して表示する。すなわち、図１１に示すように、車両前方に接触判定を行う接近判定領域ＡＲ１と侵入判定領域ＡＲ２，ＡＲ３とを設定し、各領域における対象物の移動ベクトルから対象物と車両との接触の可能性を判定する処理を行っている。

しかし、本願発明者らは、この処理により接触の可能性を判定したときに、不要な注意喚起や煩わしい注意喚起がなされる場合があることを知見した。
特開平１１−３２８３６４号公報 特開２００１−６０９６号公報

本発明は、上記背景を鑑みてなされたものであり、不要な注意喚起や煩わしい注意喚起がなされることを抑制して、車両の運転者に信頼性の高い注意喚起を行う車両周辺監視装置を提供することをその課題としている。

上記課題を解決するための本発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を監視する車両周辺監視装置であって、前記画像における車道領域を識別する車道領域識別手段と、前記画像から対象物を抽出する対象物抽出手段と、前記車両の運転者に対して注意喚起を行う注意喚起手段と、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には、第１の注意喚起を前記注意喚起手段により出力し、該対象物が該車道領域外で抽出された場合には、該第１の注意喚起と異なる第２の注意喚起を該注意喚起手段により出力する注意喚起制御手段と、前記撮像手段によって異なるタイミングで取得された複数の画像から抽出された同一対象物の位置の変化から、該対象物の移動ベクトルを算出する移動ベクトル算出手段とを備え、前記注意喚起制御手段は、前記対象物抽出手段によって前記車道領域内から抽出された対象物が、該対象物の移動ベクトルから、所定時間内に車道領域外に到達すると推定されるときと、到達しないと推定されるときとで前記第１の注意喚起の内容を変えることを特徴とする。

かかる本発明の車両周辺監視装置によれば、車道領域を識別する車道領域識別手段を備え、画像から抽出された対象物が、該車道域識別手段によって識別された車道領域内又は車道領域外において抽出されたか否かによって、前記第１の注意喚起と第２の注意喚起という相異なる注意喚起を車両の運転者に行う。そのため、車両の運転者は、該対象物が車道領域内に存在し、自車両と接触する可能性が高い場合と、該対象物が車道領域外に存在し、自車両と接触する可能性が低い場合とを、相異なる注意喚起によって区別して認識することができる。これにより、自車両と接触する可能性が低いときでも、接触する可能性が高いときと同様の注意喚起がなされることによる注意喚起の煩わしさ等を抑制して、車両の運転者に信頼性の高い注意喚起を行うことができる。
さらに、かかる車両周辺監視装置によれば、注意喚起制御手段は、対象物が車道領域内で抽出された場合に、該対象物の移動ベクトルによる、該対象物が所定時間内に車道領域外に到達されるか否かの推定結果に応じて、前記第１の注意喚起の内容を変更する。これにより、対象物が車道領域外に到達して自車両と接触する可能性が低いときと、車道領域内に到達せずに自車両と接触する可能性が高いときで、同様の注意喚起がなされることによる注意喚起の煩わしさ等を抑制して、車両の運転者に信頼性の高い注意喚起を行うことができる。
上記課題を解決するための本発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を監視する車両周辺監視装置であって、前記画像における車道領域を識別する車道領域識別手段と、前記画像から対象物を抽出する対象物抽出手段と、前記車両の運転者に対して注意喚起を行う注意喚起手段と、前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には、第１の注意喚起を前記注意喚起手段により出力し、該対象物が該車道領域外で抽出された場合には、該第１の注意喚起と異なる第２の注意喚起を該注意喚起手段により出力する注意喚起制御手段と、前記撮像手段によって異なるタイミングで取得された複数の画像から抽出された同一対象物の位置の変化から、該対象物の移動ベクトルを算出する移動ベクトル算出手段とを備え、前記注意喚起制御手段は、前記対象物抽出手段によって前記車道領域外から抽出された対象物が、該対象物の移動ベクトルから、所定時間内に車道領域内に到達すると推定されるときと、到達しないと推定されるときとで前記第２の注意喚起の内容を変えることを特徴とする
かかる本発明の車両周辺監視装置によれば、車道領域を識別する車道領域識別手段を備え、画像から抽出された対象物が、該車道域識別手段によって識別された車道領域内又は車道領域外において抽出されたか否かによって、前記第１の注意喚起と第２の注意喚起という相異なる注意喚起を車両の運転者に行う。そのため、車両の運転者は、該対象物が車道領域内に存在し、自車両と接触する可能性が高い場合と、該対象物が車道領域外に存在し、自車両と接触する可能性が低い場合とを、相異なる注意喚起によって区別して認識することができる。これにより、自車両と接触する可能性が低いときでも、接触する可能性が高いときと同様の注意喚起がなされることによる注意喚起の煩わしさ等を抑制して、車両の運転者に信頼性の高い注意喚起を行うことができる。
さらに、かかる車両周辺監視装置によれば、注意喚起制御手段は、対象物が車道領域外で抽出された場合に、該対象物の移動ベクトルによる、該対象物が所定時間内に車道領域内に到達されるか否かの推定結果に応じて、前記第２の注意喚起の内容を変更する。これにより、対象物が車道領域内に入って自車両と接触する可能性が高いときと、その可能性が低いときで、同様の注意喚起がなされることによる注意喚起の煩わしさ等を抑制して、車両の運転者に信頼性の高い注意喚起を行うことができる。

また、本発明の車両周辺監視装置において、前記撮像手段は、前記車両前方を撮像し、前記注意喚起制御手段は、前記車両と前記画像の車道領域内で抽出された対象物との実空間における前方の車道領域の方向に沿った距離である対象物距離を算出し、該対象物距離が予め設定された判定距離以下であるときに、注意喚起手段による前記第１の注意喚起を行うことを特徴とする。

かかる車両周辺監視装置によれば、前記注意喚起制御手段により算出される前記対象物距離は、車両の走行方向における車両と対象物との間の距離となる。そして、該対象物距離が所定距離以下の場合にのみ前記第１の注意喚起を行うことにより、自車両の走行方向に所在する対象物に限定して注意喚起がなされるため、不要な注意喚起や煩わしい注意喚起がなされることを抑制することができる。

さらに、本発明の車両周辺監視装置は、前記撮像手段として、可視画像を取得する可視画像撮像手段と、赤外画像を取得する赤外画像撮像手段とを備え、前記車道領域識別手段は、前記可視画像撮像手段によって取得された可視画像から車道のレーンマークが検出可能な場合には、該レーンマークにより車道領域を識別し、該レーンマークが検出不可能な場合には、前記赤外画像撮像手段によって取得された赤外画像のエッジ部を抽出するエッジ抽出処理を行い、該エッジ抽出処理によって抽出されたエッジ部により車道領域を識別することを特徴とする。

かかる本発明の車両周辺監視装置によれば、撮像手段として可視画像撮像手段と赤外画像撮像手段とを備え、車道領域識別手段は、可視画像撮像手段によって得られる可視画像から車道領域の識別精度の高いレーンマークを検出することができるときは、該レーンマークを第１の判断要素として車道領域を識別する。また、レーンマークが検出できない場合は、赤外画像撮像手段によって得られる赤外画像のエッジ部を抽出し、該エッジ部を第２の判断要素として車道領域を識別する。このように、車道領域の識別精度の高いレーンマークを優先することにより、車道領域を精度良く識別することができるとともに、レーンマークが検出できない場合には、赤外画像のエッジ部により車道領域を識別することで、より広範囲の道路状況下で車道領域を識別することができる。なお、ここで言う可視画像とは、ＣＣＤカメラや近赤外カメラ等によって撮像された、レーンマークが検出可能な画像を意味する。

また、本発明の車両周辺監視装置において、前記注意喚起制御手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が、前記車道領域抽出手段によって抽出された車道領域内に位置するときに、該対象物が該車道領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、画像から抽出された対象物の下端部を検出し、該下端部が車道領域内又は車道領域外に位置しているか否かによって、該対象物が車道領域内又は車道領域外から抽出されたか否かを判定する。ここで、対象物の下端部は、例えば、該対象物の同一距離部分を抽出した領域のうち、画像上で下端に位置する画素部分として検出することができる。そして、対象物の下端部を基準に該対象物の位置を判定することにより、該対象物が車道領域の境界部分の近くに位置する場合にも、該対象物が車両領域内で抽出されたか否かを容易かつ確実に判定することができる。

さらに、本発明の車両周辺監視装置は、前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、前記注意喚起制御手段は、前記画像から抽出された対象物の実空間上の位置が、前記車道領域抽出手段によって抽出された車道領域の実空間上の領域内にあるときに、該対象物が該車道領域内で抽出されたと判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、位置算出手段が、画像から抽出された対象物の実空間上の位置および車道領域の実空間上の領域範囲を算出し、対象物の実空間上の位置が該領域範囲内又は領域範囲外に位置しているか否かによって、該対象物が車道領域内又は車道領域外から抽出されたか否かを判定する。これにより、例えば、画像から抽出された対象物の形状が、実空間における実際の形状に対して、その一部を欠いたものとなっている場合でも、該対象物が車両領域内で抽出されたか否かを正確に判定することができる。

上記課題を解決するための本発明の車両は、前記車両周辺監視装置が搭載されたことを特徴とする。

かかる本発明の車両によれば、車両の運転者は、対象物が車道領域内に存在し、自車両と接触する可能性が高い場合と、該対象物が車道領域外に存在し、自車両と接触する可能性が低い場合とを、所定の注意喚起（または、自車両と接触する可能性が高い場合にのみ注意喚起を行うこと）によって、区別して認識することができる。これにより、不要な注意喚起や煩わしい注意喚起がなされることを抑制して、車両の運転者に信頼性の高い注意喚起を行うことができる。

本発明の一実施形態を以下に図１〜図１１を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌと１つの可視カメラ２´とが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

なお、赤外線カメラ２Ｒ，２Ｌが本発明における赤外画像撮像手段に相当し、可視カメラ２´が本発明における可視画像撮像手段に相当する。また、赤外線カメラ２Ｒ，２Ｌと可視カメラ２´とは、本発明の撮像手段に相当する。スピーカ６と表示装置７とは、本発明の注意喚起手段に相当する。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、可視カメラ２´、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の注意喚起要件を満す場合にスピーカ６や表示装置７により運転者に注意喚起を発する処理を実行する。

なお、画像処理ユニット１は、本発明における車道領域識別手段、対象物抽出手段、注意喚起制御手段としての機能を備えている。そして、前記マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることにより、該コンピュータは、本発明の車道領域識別手段、対象物抽出手段、注意喚起制御手段として機能する。さらに、前記マイクロコンピュータを、車道領域識別手段、対象物抽出手段及び注意喚起制御手段として機能させることにより、本発明の車両周辺監視方法における車道領域識別ステップ、対象物抽出ステップ及び注意喚起制御ステップが実行される。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

また、可視カメラ２´は、自車両１０のルームミラー（図示せず）の前方に、撮像方向を自車両１０の前方に向けて取り付けられている。可視カメラ２´は、可視光領域で撮像可能なＣＣＤカメラ等によって構成され、それにより撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる（映像信号の画像の輝度が高くなる）特性を有している。

さらに、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３のフローチャートを参照して説明する。

本実施形態の画像処理ユニット１は、図３を参照して、先ず、ＳＴＥＰ１００で可視画像又は赤外線画像から車道領域を識別して設定する「車道領域識別処理」を行い、ＳＴＥＰ２００で赤外線画像から対象物を抽出する「対象物抽出処理」を行う。

そして、ＳＴＥＰ３００では、「対象物抽出処理」で対象物が抽出されているか否かを判断し、抽出されたときはＳＴＥＰ４００に進んで、「車道領域識別処理」で車道領域が設定されているか否かを判断する。一方、ＳＴＥＰ３００において、対象物が抽出されなかったときは、ＳＴＥＰ１００に戻って「車道領域識別処理」以下の処理を再び実行する。

ＳＴＥＰ４００において、車道領域が設定されているときは、ＳＴＥＰ５００に進んで、対象物が車道領域内の注意喚起範囲内で抽出されたときに、車道領域外で抽出されたときよりも高いレベルの注意喚起を行う「注意喚起処理（Ｉ）」を実行する。

一方、ＳＴＥＰ４００において、車道領域が設定されていないときは、ＳＴＥＰ６００に分岐して、車道領域の内外を区別することなく、自車両１０の前方領域で対象物が検出されたときに注意喚起を行う「注意喚起処理（ＩＩ）」を実行する。

以上が、本実施形態の周辺監視装置の全体的動作である。

次に、図４に示したフローチャートに従って、「車道領域識別処理」の具体的な内容について説明する。

まず、画像処理ユニット１は、可視カメラ２´により可視画像を取得する（ＳＴＥＰ１０１）。具体的に、取得される可視画像は、可視カメラ２´の出力信号をＡ／Ｄ変換して得られるグレースケール画像であり、画像メモリに格納される。

続けて、可視画像上で白線等の走行区分線（レーンマーク）を検出するレーンマーク検出を行う（ＳＴＥＰ１０２）。具体的には、可視画像におけるエッジ点を微分フィルタ等により抽出し、該エッジ点から白線等の走行区分線に相当する直線成分をレーンマークとして検出する。

例えば、ＳＴＥＰ１０１で、図５（ａ）に示した可視画像が取得された場合、該可視画像に、微分処理を施してエッジ画像を生成し、該エッジ画像から周知のＨｏｕｇｈ（ハフ）変換により、走行区分線に相当する直線成分を抽出する。そして、白線等の走行区分線に相当する直線成分が抽出されたときは、該直線成分をレーンマークとして検出することにより、図５（ｂ）に丸印で示したように、レーンマークを検出することができる。

次いで、画像処理ユニット１は、ＳＴＥＰ１０２で、レーンマークが検出されたか否かを判定する（ＳＴＥＰ１０３）。

そして、レーンマークが検出されたとき（ＳＴＥＰ１０３の判断結果がＹＥＳとなる場合）は、ＳＴＥＰ１０４に進み、ＳＴＥＰ１０２で検出されたレーンマークの位置に基づいて、車道領域を設定する。そして、ＳＴＥＰ１０５に進んで、「車道領域識別処理」を終了する。

一方、ＳＴＥＰ１０３で、レーンマークが検出されなかったと判定された場合（ＳＴＥＰ１０３の判断結果がＮＯとなる場合）には、ＳＴＥＰ１０６に分岐し、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線画像を取得する。赤外線画像は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像をＡ／Ｄ変換して得られるグレースケール画像であり、画像メモリに格納される。なお、以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像といい、特に、右画像を基準画像という。また、基準画像は、本実施形態では右画像であるが、左画像としてもよい。

続けて、画像処理ユニット１は、該赤外線画像から道路領域を検出する（ＳＴＥＰ１０７）。具体的には、前記基準画像におけるエッジ点を微分フィルタ等により抽出し、該エッジ点から自車両１０の前方領域において道路領域を検出する。

例えば、ＳＴＥＰ１０６で、図６（ａ）に示した赤外線画像が基準画像として取得された場合、前述のＳＴＥＰ１０２におけるレーンマークの検出と同様、基準画像に微分処理を施してエッジ画像を生成し、該エッジ画像から周知のＨｏｕｇｈ（ハフ）変換により、道路領域の端部に相当する直線成分を抽出する。そして、道路領域の端部に相当する直線成分が抽出されたときは、該直線成分を道路領域の端部として検出することにより、図６（ｂ）に丸印で示したように、道路領域を検出することができる。

次いで、画像処理ユニット１は、ＳＴＥＰ１０７で、道路領域が検出されたか否かを判定する（ＳＴＥＰ１０８）。

そして、道路領域が検出されたとき（ＳＴＥＰ１０８の判断結果がＹＥＳとなる場合）は、ＳＴＥＰ１０７によって検出された道路領域の端部位置を車道領域として設定し（ＳＴＥＰ１０９）、「車道領域識別処理」を終了する。

一方、道路領域が検出されなかったとき（ＳＴＥＰ１０８の判断結果がＮＯとなる場合）は、ＳＴＥＰ１０５に分岐して、車道領域を設定せずに「車道領域識別処理」を終了する。

なお、画像処理ユニット１によりＳＴＥＰ１００の処理を実行する構成が、本発明の車道領域識別手段に相当する。また、ＳＴＥＰ１００の処理は、本発明の車両周辺監視方法おける車道領域識別ステップに相当する。

次に、図７に示したフローチャートに従って、「対象物抽出処理」（図３のＳＴＥＰ３００）の具体的な内容について説明する。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線画像を取得する（ＳＴＥＰ２０１）。

次いで、画像処理ユニット１は、前記基準画像（右画像）を２値化する（ＳＴＥＰ２０２）。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ２０３〜２０５の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ２０３）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ２０４）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ２０５）。

なお、ＳＴＥＰ２０３〜２０５の処理により抽出される対象物には、人（歩行者）だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ２０６）。面積は、ランレングスデータの長さを同一対象物について積算することにより算出し、重心の座標は、面積をｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比は、ランレングスデータ化したラインの外接四角形の縦横比として算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ２０５で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ２０７）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ２０５の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ２０５の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ２０４で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ２０８）。なお、このＳＴＥＰ２０８では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ２０７，２０８の処理と並行して、ＳＴＥＰ２１０の処理を実行する。このＳＴＥＰ２１０〜２１２の処理は、ＳＴＥＰ２０５で抽出した各対象物の自車両１０からの距離を求める処理である。その処理を概略的に説明すると、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ２１０）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が左画像に設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ２１１）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ２１１の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ２１２）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ２１０〜２１２の処理の概要である。なお、ＳＴＥＰ２１０〜２１２の処理は、ＳＴＥＰ２０５で抽出された各対象物に対して実行される。

ＳＴＥＰ２０８およびＳＴＥＰ２１２の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ２１３）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ２０８で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ２１４）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ２１５）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の自車両１０に対する相対速度ベクトルに比例する。

さらに、画像処理ユニット１は、ＳＴＥＰ２１３〜２１５の処理に続いて、ＳＴＥＰ２１６〜２１７の処理を実行する。このＳＴＥＰ２１６の処理では、ＳＴＥＰ２０５で抽出した各対象物が人工構造物である場合に、該対象物を注意喚起の対象から除外する人工構造物除外処理を行う（ＳＴＥＰ２１６）。人工構造物除外処理は、対象物画像に歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、注意喚起の対象から除外する処理である。例えば下記（ａ）〜（ｄ）に示す条件のように、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、注意喚起の対象から除外する。
（ａ）対象物の画像に直線エッジを示す部分が含まれる場合。
（ｂ）対象物の画像の角が直角である場合。
（ｃ）対象物の画像に同じ形状のものが複数含まれている場合。
（ｄ）対象物の画像が予め登録された人工構造物の形状と一致する場合。

次に、ＳＴＥＰ２１６において、対象物から人工構造物を除外する処理を行った上で、さらに判定の信頼性を上げるために、対象物が歩行者の可能性があるかを認定する歩行者認定処理を行う（ＳＴＥＰ２１７）。歩行者認定処理は、前記基準画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者であると認定される場合を除いて、該対象物を注意喚起の対象から除外する処理である。

以上が「対象物抽出処理」の詳細である。なお、画像処理ユニット１によりＳＴＥＰ２００の処理を実行する構成が、本発明の対象物抽出手段に相当する。また、ＳＴＥＰ２００の処理は、本発明の車両周辺監視方法おける対象物抽出ステップに相当する。

また、画像処理ユニット１により、ＳＴＥＰ２１３の処理を実行する構成が、本発明の位置算出手段に相当し、ＳＴＥＰ２１５の処理を実行する構成が、本発明の移動ベクトル算出手段に相当する。

次に、図８に示したフローチャートに従って、「注意喚起処理（Ｉ）」（図３のＳＴＥＰ５００）の具体的な内容について説明する。

まず、画像処理ユニット１は、対象物が、「車道領域識別処理」によって設定された車道領域内の注意喚起範囲から抽出されたか否かを判定する（ＳＴＥＰ５０１）。

具体的には、例えば、前記基準画像として図９に示す画像が取得された場合、対象物Ｑにおける、ある一定の輝度値が連続する部分又は同一距離部分を同一対象物の範囲として、対象物Ｑの下端部ｑを決定する。そして、下端部ｑが車道領域ＡＲＥに位置しているか否かより、対象物Ｑが車道領域ＡＲＥ内から抽出されたものであるか否かを判定する。例えば、図９に示す場合には、対象物Ｑの下端部ｑが、車道領域ＡＲＥ内に位置しているため、対象物Ｑは、車道領域ＡＲＥから抽出されたものと判定される。

さらに、図１０（ａ）に示すように、自車両１０から車道領域ＡＲＥの右端部における所定間隔毎の位置ｅｒ１，ｅｒ２，…までの方向と距離ｄｒ１，ｄｒ２，…とを算出する。さらに、自車両１０から車道領域ＡＲＥの左端部における所定間隔毎の位置ｅｌ１，ｅｌ２，…までの方向と距離ｄｌ１，ｄｌ２，…とを算出する。画像処理ユニット１は、これら右端部までの方向と距離、および左端部までの方向と距離に基づいて、車道領域ＡＲＥの形状と前方の車道領域ＡＲＥの方向に沿った距離とを認識する。そして、図１０（ｂ）に示すように、前方の車道領域ＡＲＥの方向に沿った距離が所定距離Ｌ（自車速または対象物との相対速度によって定める距離）となる範囲（図中の斜線部）を前記注意喚起範囲として、該注意喚起範囲に対象物Ｑが存在しているか否かを判定する。

例えば、図９に示す対象物Ｑは、上述のように画像上の対象物Ｑの下端部ｑの位置から、車道領域ＡＲＥにおいて抽出された対象物であると判定され、さらに、図１０（ｂ）に示すように、前方の車道領域ＡＲＥの方向に沿った自車両１０と対象物Ｑとの対象物距離ｄｑが、所定距離Ｌ以下であるため、対象物Ｑは車道領域内における前記注意喚起範囲から抽出された対象物であると判定される。

なお、本実施形態においては、画像処理ユニット１は、前記基準画像上の対象物の下端部を検出し、該下端部が車道領域に位置しているか否かより、対象物が車道領域内から抽出されたものであるか否かを判定しているが、上述の（２）、（４）式から、対象物の実空間位置（Ｘ，Ｚ）が、車道領域に対応する実空間上（Ｘ−Ｚ座標軸上）の領域範囲内に位置しているかにより、対象物が車道領域内から抽出されたものであるか否かを判定してもよい。

次に、ＳＴＥＰ５０１において、対象物が車道領域内における前記注意喚起範囲から抽出されたと判定された場合には（ＳＴＥＰ５０１の判断結果がＹＥＳの場合）、対象物が車道領域内に存在し、自車両１０との接触の可能性が高いものと推定される。そのため、危険度を示す警告レベルが最も高いレベルＳの注意喚起を行う（ＳＴＥＰ５０２、本発明における第１の注意喚起に相当する）。具体的には、スピーカ６を介して、歩行者の可能性がある対象物が車道領域内に存在する旨の音声による注意喚起及び所定の注意喚起音を発するとともに、画像表示装置７の基準画像の中に歩行者の可能性がある対象物の画像を強調的に表示する。これにより、自車両１０と接触する可能性がある対象物に対する運転者の注意が喚起される。

一方、ＳＴＥＰ５０１で、前記対象物が車道領域内における前記注意喚起範囲から抽出されたものではないと判定された場合（ＳＴＥＰ５０１の判断結果がＮＯの場合）は、ＳＴＥＰ５０３に分岐し、上述した図７の「対象物抽出処理」のＳＴＥＰ２１５で算出した該対象物の移動ベクトルが、所定時間の間に注意喚起範囲に至る大きさを有するか否かが判定される（ＳＴＥＰ５０３）。ここで、所定時間は、自車両１０が現在の車速で該対象物距離ｄｑを通過するのに要する時間である。

例えば、図１０（ｂ）に示す移動ベクトルｕ１を有する対象物Ｑ１の場合、該移動ベクトルｕ１が前記所定時間の間に、前記注意喚起範囲に至る大きさを有するときに、対象物Ｑ１は注意喚起領域に至る移動ベクトルを有する対象物であると判定される。一方、移動ベクトルｕ２を有する対象物Ｑ２の場合、該移動ベクトルｕ２は前記所定時間の間に、前記注意喚起範囲に至る大きさを有しないため、対象物Ｑ２は注意喚起範囲に至る移動ベクトルを有する対象物ではないと判定される。

次に、ＳＴＥＰ５０３において、対象物が所定時間内に注意喚起範囲に至る移動ベクトルを有する対象物であると判定された場合には（ＳＴＥＰ５０３の判断結果がＹＥＳの場合）、対象物が注意喚起範囲に進入して、自車両１０と接触する可能性があると推定される。そのため、危険度を示す警告レベルが２番目に高いレベルＡの警告を行う（ＳＴＥＰ５０４、本発明における第２の注意喚起に相当する）。具体的には、スピーカ６を介して、歩行者の可能性がある対象物が車道領域に進入する旨の音声による注意喚起を発するとともに、画像表示装置７の基準画像の中に歩行者の可能性がある対象物の画像を強調的に表示する。これにより、自車両１０と接触する可能性がある対象物に対する運転者の注意が喚起される。

一方、ＳＴＥＰ５０３において、対象物が注意喚起範囲に至る移動ベクトルを有する対象物ではないと判定された場合には（ＳＴＥＰ５０３の判断結果がＮＯの場合）、該対象物と自車両１０との接触の可能性は低いものと推定される。そのため、この場合は、危険度を示す注意喚起レベルの低いレベルＢの注意喚起を行う（ＳＴＥＰ５０５、本発明における第２の注意喚起に相当する）。具体的には、接触の可能性の低い対象物が車両の周辺に存在する旨の音声による注意喚起、または、対象物画像の強調表示のいずれか一方のみを行い、運転者の車両周辺の状況への注意を喚起する。

なお、本実施形態において、画像処理ユニット１は、ＳＴＥＰ５０１において対象物が車道領域内における前記注意喚起範囲から抽出されたと判定された場合に、危険度を示す警告レベルが最も高いレベルＳの注意喚起を行っているが（ＳＴＥＰ５０２）、注意喚起範囲から抽出された対象物の移動ベクトルを算出し、該移動ベクトルが所定時間の間に注意喚起範囲外に到達する大きさを有するか否かに応じてレベルＳの注意喚起内容を変更してもよい。具体的には、注意喚起範囲から抽出された対象物が、所定時間内に注意喚起範囲外に到達する移動ベクトルを有するときに、注意喚起レベルを下げてレベルＡに相当する注意喚起を行うようにしてもよい。

以上が「注意喚起処理（Ｉ）」の詳細である。なお、画像処理ユニット１によりＳＴＥＰ５００の処理を実行する構成が、本発明の注意喚起制御手段に相当する。また、ＳＴＥＰ５００の処理は、本発明の車両周辺監視方法おける注意喚起制御ステップに相当する。

次に、注意喚起処理（ＩＩ）（ＳＴＥＰ６００）の処理について概要を説明する。なお、注意喚起処理（ＩＩ）（ＳＴＥＰ６００）は、前記特許文献２の図４（ＳＴＥＰ４１〜４５）に記載されている処理と同じであるので、本明細書での詳細な説明は省略する。

まず、画像処理ユニット１は、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。

次に、余裕時間Ｔ以内に自車両１０と対象物とが接触する可能性がある場合、さらに判定の信頼性を上げるために、図１１に示すように、対象物がそのまま存在し続ければ自車両１０との接触の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する。

さらに、対象物が接近判定領域ＡＲ１内に存在しない場合、画像処理ユニット１は対象物が進入判定領域ＡＲ２，ＡＲ３から接近判定領域ＡＲ１内へ進入して自車両１０と接触する可能性があるか否かを判定する。

次に、対象物が接近判定領域ＡＲ１内に存在する場合、または対象物が進入判定領域ＡＲ２，ＡＲ３から接近判定領域ＡＲ１に進入して自車両１０と接触する可能性があると判定された場合には、実際の注意喚起を行なうべきか否かの判定を行なう注意喚起出力判定処理を実行する。

そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合には、この場合、対象物が自車両１０の前方に存在して、自車両１０との接触の可能性があると推定される。そのため、スピーカ６を介して、接触の可能性のある対象物が車両前方に存在する旨の注意喚起を発するとともに、画像表示装置７の基準画像の中に該対象物の画像を強調的に表示する。これにより、自車両１０と接触する可能性がある対象物に対する運転者の注意が喚起される。

以上説明してきたように、本実施形態の車両周辺監視装置によれば、自車両１０の運転者は、ＳＴＥＰ２００の「対象物抽出処理」において、ＳＴＥＰ２１６〜２１７により歩行者の可能性があると判断された対象物に対して、
（１）対象物が車道領域に存在し自車両１０と接触する可能性が高い場合と、
（２）対象物が車道領域外に存在するが車道領域に進入し、自車両１０と接触する可能性がある場合と、
（３）接触する可能性は低いが、自車両１０の周辺に歩行者の可能性がある対象物が存在する場合と
を相異なる注意喚起によって認識することができる。そのため、不要な注意喚起や煩わしい注意喚起を抑制し、車両の運転者に信頼性の高い注意喚起を行うことができる。

さらに、車道領域が検出されない場合であって、自車両１０の前方に対象物が存在し自車両１０と接触する可能性が高い場合であっても、上記（１）〜（３）と同様の注意喚起もしくは異なる注意喚起を行うことにより、車両の運転者に車両周辺の状況を認識させることができる。

なお、本実施形態においては、前記対象物が車道領域外で検出された場合（ＳＴＥＰ５０３における判断結果がＮＯの場合）に、注意喚起レベルＢまたは注意喚起レベルＣの注意喚起を行っているが（ＳＴＥＰ５０４または５０５）、前記対象物が車道領域外で検出された場合には、注意喚起出力を行わないように構成してもよい。

また、本実施形態においては、画像処理ユニット１の処理結果に基づき、所定の注意喚起を行うように構成されているが、該処理結果に基づき車両挙動が制御されてもよい。

さらに、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、対象物との距離をレーダーなどにより検出するようにした場合には、１台の赤外線カメラ２Ｒもしくは２Ｌを自車両１０に搭載するようにしてもよい。

本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。 図１の周辺監視装置を備えた車両の斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 本実施形態における撮像画像を例示的に示す図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 画像処理ユニットの処理を説明するための図。 従来の車両の周辺監視装置を説明するための図。

符号の説明

１…画像処理ユニット（車道領域識別手段、対象物抽出手段、注意喚起制御手段）、２Ｒ，２Ｌ…赤外線カメラ（赤外画像撮像手段）、２´…可視カメラ（可視画像撮像手段）、６…スピーカ（注意喚起手段）、７…表示装置（注意喚起手段）、ＳＴＥＰ１００…車道領域識別手段による処理、ＳＴＥＰ２００…対象物抽出手段による処理、ＳＴＥＰ２１３…位置算出手段による処理、ＳＴＥＰ２１５…移動ベクトル算出手段による処理、ＳＴＥＰ５００…注意喚起制御手段による処理。

Claims (7)

1. 車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を監視する車両周辺監視装置であって、
   前記画像における車道領域を識別する車道領域識別手段と、
   前記画像から対象物を抽出する対象物抽出手段と、
   前記車両の運転者に対して注意喚起を行う注意喚起手段と、
   前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には、第１の注意喚起を前記注意喚起手段により出力し、該対象物が該車道領域外で抽出された場合には、該第１の注意喚起と異なる第２の注意喚起を該注意喚起手段により出力する注意喚起制御手段と、
   前記撮像手段によって異なるタイミングで取得された複数の画像から抽出された同一対象物の位置の変化から、該対象物の移動ベクトルを算出する移動ベクトル算出手段と
   を備え、
   前記注意喚起制御手段は、前記対象物抽出手段によって前記車道領域内から抽出された対象物が、該対象物の移動ベクトルから、所定時間内に車道領域外に到達すると推定されるときと、到達しないと推定されるときとで前記第１の注意喚起の内容を変えることを特徴とする車両周辺監視装置。
2. 車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を監視する車両周辺監視装置であって、
   前記画像における車道領域を識別する車道領域識別手段と、
   前記画像から対象物を抽出する対象物抽出手段と、
   前記車両の運転者に対して注意喚起を行う注意喚起手段と、
   前記対象物抽出手段によって、前記車道領域識別手段により識別された車道領域内で対象物が抽出された場合には、第１の注意喚起を前記注意喚起手段により出力し、該対象物が該車道領域外で抽出された場合には、該第１の注意喚起と異なる第２の注意喚起を該注意喚起手段により出力する注意喚起制御手段と、
   前記撮像手段によって異なるタイミングで取得された複数の画像から抽出された同一対象物の位置の変化から、該対象物の移動ベクトルを算出する移動ベクトル算出手段と
   を備え、
   前記注意喚起制御手段は、前記対象物抽出手段によって前記車道領域外から抽出された対象物が、該対象物の移動ベクトルから、所定時間内に車道領域内に到達すると推定されるときと、到達しないと推定されるときとで前記第２の注意喚起の内容を変えることを特徴とする車両周辺監視装置。
3. 前記撮像手段は、前記車両前方を撮像し、
   前記注意喚起制御手段は、前記車両と前記画像の車道領域内で抽出された対象物との実空間における前方の車道領域の方向に沿った距離である対象物距離を算出し、該対象物距離が予め設定された判定距離以下であるときに、注意喚起手段による前記第１の注意喚起を行うことを特徴とする請求項１又は２記載の車両周辺監視装置。
4. 前記撮像手段として、可視画像を取得する可視画像撮像手段と、赤外画像を取得する赤外画像撮像手段とを備え、
   前記車道領域識別手段は、前記可視画像撮像手段によって取得された可視画像から車道のレーンマークが検出可能な場合には、該レーンマークにより車道領域を識別し、該レーンマークが検出不可能な場合には、前記赤外画像撮像手段によって取得された赤外画像のエッジ部を抽出するエッジ抽出処理を行い、該エッジ抽出処理によって抽出されたエッジ部により車道領域を識別することを特徴とする請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置。
5. 前記注意喚起制御手段は、前記画像から抽出された対象物の下端部を検出し、該下端部が、前記車道領域抽出手段によって抽出された車道領域内に位置するときに、該対象物が該車道領域内で抽出されたと判定することを特徴とする請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置。
6. 前記画像に含まれる画像部分に対応する実空間上の位置を算出する位置算出手段を備え、
   前記注意喚起制御手段は、前記画像から抽出された対象物の実空間上の位置が、前記車道領域抽出手段によって抽出された車道領域の実空間上の領域内にあるときに、該対象物が該車道領域内で抽出されたと判定することを特徴とする請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置。
7. 請求項１から請求項６のうちいずれか１項記載の車両周辺監視装置が搭載されたことを特徴とする車両。