JP3987013B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物の抽出を行う車両周辺監視装置に関する。

従来の車両周辺監視装置は、例えば赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像において温度が高い部分を対象物とすると共に、対象物の視差を求めることにより該対象物までの距離を算出し、これらの対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（例えば、特許文献１参照。）。
特開２００１−６０９６号公報

ところで、従来の装置のように、形状判定のみで歩行者の抽出を行った場合、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、その２値化形状は不定形であったり、また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人まで本来とは異なる身長で検出される.。そのため、対象物の画面での重心座標が距離に対して固定化できず、歩行者のみを安定して抽出できない可能性がある。そこで、従来からグレースケール画像上から対象物の実空間での大きさを算出すると共に、２値化対象物が存在する位置関係により歩行者らしき対象物のみを抽出する手法や、２値化対象物から道路構造物や車両を抽出し、歩行者以外の対象物として警報対象物から除外する手法が提案されている。

また、一般環境において看板や壁、電柱等、自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体は降雨により温度が低下するために赤外線画像上には出現しなくなり（赤外線カメラでは検出されなくなり）、自動販売機などの自ら発熱する発熱体は、赤外線カメラで検出されるものの、赤外線放射部分は減少（限りなく無いに等しい）し、正確な形状の判定が困難になる傾向がある。同様に、降雨の影響を受けて赤外線の放射量に変化が発生するため、人間も露出している部分（頭等）は検出されるが、衣服で覆われている部分は、衣服の濡れによって赤外線カメラでは検出されなくなる。このように、雨天時とそれ以外の時では、同一地点であっても車両周囲の状況が変化し、赤外線カメラで検出されたグレースケール画像上での全ての対象物の形状が変化する。そこで、従来の手法では車両のワイパーの動作信号や、雨滴センサの検出信号を用いて降雨を判定し、通常時と雨天時とで処理を分別する手法も提案されている。
更に、画像全体のヒストグラムの状態を降雨判定に用いる方法も提案されている。

しかし、多量の雨が降り続くような状況下では、車両のワイパーの動作信号や、雨滴センサの検出信号を用いて降雨を判定し、通常時と雨天時とで処理を分別することで、安定して歩行者を検出することができるようになるものの、小雨や雨の降り始め、降り終わり、雨上がり等の状況下においては、歩行者のみを安定して抽出できなくなる可能性があった。具体的には、車両のワイパーの動作信号や雨滴センサの検出信号を用いて行う降雨判定処理と、赤外線画像から歩行者を抽出する歩行者判定処理とが連動していないため、小雨や雨の降り始め、降り終わり、雨上がり等の状況下において、歩行者判定処理が雨天時の処理を実行した方が良いような状態にもかかわらず、ワイパーの動作信号や雨滴センサの検出信号により通常時の処理を実行した場合、濡れている物体の形状を正確に判断できなくなる可能性があった。

また、画像全体のヒストグラムの状態を降雨判定に用いる場合、物体とその背景の画像において、通常時と雨天時とでその両方にヒストグラムの変化が現れるようなときには有効であるが、通常時と雨天時とで背景にヒストグラムの変化が現れないようなとき（例えば、物体が田んぼ等の自然背景を背景としているとき）には降雨判定の精度が落ちるという問題があった。具体的には、通常時と雨天時とで背景にヒストグラムの変化が現れないようなときに物体が一つであった場合、物体のヒストグラムが変化しても、その変化量が画像全体のヒストグラムに対しては小さすぎるため、画像全体としてのヒストグラムの変化が判別できなくなり、正確に雨天を検知できない（物体の状態を判断できない）可能性があった。

本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から物体の状態を適切に判断し、物体の状態に応じた方法により安定した対象物の抽出を行う車両周辺監視装置を提供することを目的とする。

上記課題を解決するために、請求項１の発明に係る車両周辺監視装置は、赤外線カメラ（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮影された赤外線画像から、車両（例えば後述する実施例の自車両１０）の周辺に存在する物体を検出する車両周辺監視装置であって、前記赤外線画像のグレースケール画像を２値化することにより、前記物体を２値化対象物として抽出する２値化対象物抽出手段（例えば後述する実施例のステップＳ７、及びステップＳ３１の処理）と、前記２値化対象物の高さもしくは幅を特徴量として算出する２値化対象物特徴量算出手段（例えば後述する実施例のステップＳ８、及びステップＳ７１の処理）と、前記グレースケール画像から前記２値化対象物に対応するグレースケール対象物を抽出する対象物画像抽出手段（例えば後述する実施例のステップＳ３３、及びステップＳ７３の処理）と、前記グレースケール対象物の高さもしくは幅を特徴量として算出する対象物画像特徴量算出手段（例えば後述する実施例のステップＳ３３、及びステップＳ７３の処理）と、前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較する特徴量比較手段（例えば後述する実施例のステップＳ３４の処理）と、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断する物体状態判定手段（例えば後述する実施例のステップＳ３５からステップＳ５２の処理）とを備えたことを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、２値化対象物の特徴量とグレースケール対象物の特徴量とを比較し、物体状態判定手段が、特徴量比較手段の比較結果に基づいて物体の状態を判断することで、画像自体から、例えば物体が降雨の影響を受けている、あるいはカメラのレンズが汚れている等、物体の状態を判断することができる。

請求項２の発明に係る車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記特徴量比較手段が、複数の物体に対して、前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較し、前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、２値化対象物の特徴量とグレースケール対象物の特徴量とを複数の物体に対して比較することで、物体状態判定手段における判断材料を増加させ、物体状態判定手段に増加した判断材料に基づいて正確な物体の状態判断を実行させることができる。

請求項３の発明に係る車両周辺監視装置は、請求項１、または請求項２に記載の車両周辺監視装置において、前記特徴量比較手段が、複数の画像フレームに渡って、前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較し、前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である画像フレームの割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、２値化対象物の特徴量とグレースケール対象物の特徴量とを複数の画像フレームに渡って比較することで、物体状態判定手段における判断材料を増加させ、物体状態判定手段に増加した判断材料に基づいて正確な物体の状態判断を実行させることができる。

請求項４の発明に係る車両周辺監視装置は、請求項１〜３のいずれかに記載の車両周辺監視装置において、少なくとも前記２値化対象物特徴量算出手段により算出された特徴量と前記対象物画像特徴量算出手段により算出された特徴量とを用いて歩行者を認識する歩行者認識手段（例えば後述する実施例のステップＳ７２、及びステップＳ７４からステップＳ１１８の処理）を備え、前記歩行者認識手段が、前記物体状態判定手段によって物体もしくは前記赤外線カメラが降雨の影響を受けていると判断された場合、前記歩行者の認識処理方法を降雨モードに変更することを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、２値化対象物の特徴量とグレースケール対象物の特徴量とを比較し、２値化対象物の特徴量とグレースケール対象物の特徴量とを用いて歩行者を認識する歩行者認識手段が、特徴量比較手段の比較結果に基づいて歩行者の認識処理方法を変更することで、画像自体から歩行者の認識処理方法を判断しながら、安定して歩行者のみを認識できる。

請求項５の発明に係る車両周辺監視装置は、赤外線カメラ（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮影された赤外線画像から、車両（例えば後述する実施例の自車両１０）の周辺に存在する物体を検出する車両周辺監視装置であって、前記赤外線画像のグレースケール画像を複数の輝度しきい値によって２値化することにより、前記物体を輝度しきい値の異なる複数の２値化対象物として抽出する２値化対象物抽出手段（例えば後述する実施例のステップＳ１２５、及びステップＳ１４１とステップＳ１４６の処理）と、輝度しきい値の異なる前記複数の２値化対象物の面積を特徴量としてそれぞれ算出する２値化対象物特徴量算出手段（例えば後述する実施例のステップＳ１２５、及びステップＳ１４２からステップＳ１４５、ステップＳ１４７からステップＳ１５０の処理）と、前記２値化対象物特徴量算出手段により抽出された輝度しきい値の異なる前記複数の２値化対象物の特徴量を相互に比較する特徴量比較手段（例えば後述する実施例のステップＳ１２６からステップＳ１３０の処理）と、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断する物体状態判定手段（例えば後述する実施例のステップＳ１３１からステップＳ１３３の処理）とを備えたことを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、輝度しきい値の異なる複数の２値化対象物の特徴量を相互に比較し、物体状態判定手段が、特徴量比較手段の比較結果に基づいて物体の状態を判断することで、画像自体から、例えば物体が降雨の影響を受けている、あるいはカメラのレンズが汚れている等、物体の状態を判断することができる。

請求項６の発明に係る車両周辺監視装置は、請求項５に記載の車両周辺監視装置において、前記特徴量比較手段が、複数の物体に対して、前記２値化対象物特徴量算出手段により抽出された輝度しきい値の異なる前記複数の２値化対象物の特徴量を相互に比較し、前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、輝度しきい値の異なる複数の２値化対象物の特徴量を複数の物体に対して比較することで、物体状態判定手段における判断材料を増加させ、物体状態判定手段に増加した判断材料に基づいて正確な物体の状態判断を実行させることができる。

請求項７の発明に係る車両周辺監視装置は、請求項５に記載の車両周辺監視装置において、少なくとも前記２値化対象物特徴量算出手段により算出された特徴量と前記対象物画像特徴量算出手段により算出された特徴量とを用いて歩行者を認識する歩行者認識手段（例えば後述する実施例のステップＳ７２、及びステップＳ７４からステップＳ１１８の処理）を備え、前記歩行者認識手段が、前記物体状態判定手段によって物体もしくは前記赤外線カメラが降雨の影響を受けていると判断された場合、前記歩行者の認識処理方法を降雨モードに変更することを特徴とする。

以上の構成を備えた車両周辺監視装置は、特徴量比較手段が、輝度しきい値の異なる複数の２値化対象物の特徴量を相互に比較し、２値化対象物の特徴量とグレースケール対象物の特徴量とを用いて歩行者を認識する歩行者認識手段が、特徴量比較手段の比較結果に基づいて歩行者の認識処理方法を変更することで、画像自体から歩行者の認識処理方法を判断しながら、安定して歩行者のみを認識できる。

請求項８の発明に係る車両周辺監視装置は、請求項４又は７に記載の車両周辺監視装置において、降雨モードの歩行者認識方法では、輝度分散による判定を行わないことを特徴とする。

請求項１に記載の車両周辺監視装置によれば、画像自体から、例えば物体が降雨の影響を受けている、あるいはカメラのレンズが汚れている等、物体の状態を判断することができる。従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ物体の状態判断の信頼性を向上させ、的確に物体の状態を判断可能な車両周辺監視装置を実現することができるという効果が得られる。また、例えば画像全体のヒストグラムの状態を降雨判定に用いる場合と異なり、物体の状態を直接判断することができるので、背景の内容等に影響されず、精度良く正確に物体の状態を判断可能な車両周辺監視装置を実現することができるという効果が得られる。

請求項２、または請求項３に記載の車両周辺監視装置によれば、物体状態判定手段における判断材料を増加させ、物体状態判定手段に増加した判断材料に基づいて正確な物体の状態判断を実行させることができる。従って、物体状態判定手段における物体の状態判断の信頼性を更に向上させ、物体状態判定手段における状態判断の誤判断を防止することができるという効果が得られる。

請求項４に記載の車両周辺監視装置によれば、歩行者認識手段が、特徴量比較手段の比較結果に基づいて歩行者の認識処理方法を変更することで、画像自体から歩行者の認識処理方法を判断しながら、安定して歩行者のみを認識できる。従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ歩行者認識の信頼性を向上させ、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。更に、物体の状態にかかわらず、歩行者の検出精度を維持することができるという効果が得られる。

請求項５に記載の車両周辺監視装置によれば、画像自体から、例えば物体が降雨の影響を受けている、あるいはカメラのレンズが汚れている等、物体の状態を判断することができる。従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ物体の状態判断の信頼性を向上させ、的確に物体の状態を判断可能な車両周辺監視装置を実現することができるという効果が得られる。また、異なる輝度しきい値を用いて２値化したそれぞれの２値化対象物の例えば面積等の特徴量、あるいは２値化対象物に対応する外接四角形の例えば面積、高さ、幅等の特徴量を比較することで物体の状態を判断するため、グレースケール画像を探索する処理を実行する必要がなく、処理時間が短縮されるという効果が得られる。

請求項６に記載の車両周辺監視装置によれば、物体状態判定手段における判断材料を増加させ、物体状態判定手段に増加した判断材料に基づいて正確な物体の状態判断を実行させることができる。従って、物体状態判定手段における物体の状態判断の信頼性を更に向上させ、物体状態判定手段における状態判断の誤判断を防止することができるという効果が得られる。

請求項７に記載の車両周辺監視装置によれば、歩行者認識手段が、特徴量比較手段の比較結果に基づいて歩行者の認識処理方法を変更することで、画像自体から歩行者の認識処理方法を判断しながら、安定して歩行者のみを認識できるようになる。従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ歩行者認識の信頼性を向上させ、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。また、異なる輝度しきい値を用いて２値化したそれぞれの２値化対象物の例えば面積等の特徴量、あるいは２値化対象物に対応する外接四角形の例えば面積、高さ、幅等の特徴量を比較することで物体の状態を判断するため、グレースケール画像を探索する処理を実行する必要がなく、処理時間が短縮されるという効果が得られる。

請求項１２に記載の車両周辺監視装置によれば、歩行者認識手段における判断材料を増加させ、歩行者認識手段に増加した判断材料に基づいて正確な歩行者認識を実行させることができる。従って、歩行者認識手段における歩行者認識の信頼性を更に向上させ、歩行者認識手段における歩行者の誤認識を防止することができるという効果が得られる。

（全体構成）
図１は、本発明の第１の実施例の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施例の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。

また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

次に、本実施例の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施例の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
図３において、まず画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度しきい値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。

次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
２値化対象物の抽出が完了したら、次に、抽出した２値化対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。

ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

２値化対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。

なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施例では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。

一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出する（ステップＳ１１）。

次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ４を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。

ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離ｚの算出が完了したら、次に、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１４）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。

また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１５）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。

次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。

また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。

ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定しきい値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。

また、加速度Ｇｓが所定しきい値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
なお、所定しきい値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。

一方、本実施例の車両周辺監視装置の画像処理ユニット１では、ステップＳ９からステップＳ１６の処理に平行して、降雨判定処理が実行される（ステップＳ２１）。降雨判定処理は、車両周辺の物体が降雨の影響を受けて濡れているか否かを判定し、後述する警報判定処理の中の歩行者判定処理の動作モードを決定する処理であって、決定された動作モードに従って、後述する警報判定処理の中の歩行者判定処理では処理方法が変更される。なお、降雨判定処理、警報判定処理、及び歩行者判定処理の詳細は、以下に順を追って説明する。

（特徴量の算出方法）
まず降雨判定処理、警報判定処理、及び歩行者判定処理の詳細を説明する前に、先に各処理に用いる２値化対象物の特徴量、あるいは抽出された２値化対象物に対応するグレースケール画像上の対象物（グレースケール対象物）の特徴量の算出方法を具体的に説明する。
まず、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）（図５に示す２値化対象物の重心Ｇ１００）と、面積Ｓ（図５に示す２値化対象物面積Ｓ１０１）と、対象物の外接四角形の縦横比ＡＳＰＥＣＴと、ステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、図５に示す２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）（図５に示す外接四角形重心１０２）の値、更にはカメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差量Δｄ［ｐｉｘｅｌ］を用いて算出する。
具体的には、外接四角形と対象物面積の比率Ｒａｔｅは、

Ｒａｔｅ＝Ｓ／（ｈｂ×ｗｂ） ・・・（１）

外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐは、

Ａｓｐ＝ｈｂ／ｗｂ ・・・（２）

自車両１０と対象物との距離ｚは、

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（３）

と表されるので、実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、

ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆ
ΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（４）

２値化対象物の重心座標（Ｘｃ，Ｙｃ，Ｚｃ）は、

Ｘｃ＝ｘｃ×ｚ×ｐ／ｆ
Ｙｃ＝ｙｃ×ｚ×ｐ／ｆ
Ｚｃ＝ｚ ・・・（５）

対象物外接四角形重心座標（Ｘｂ，Ｙｂ，Ｚｂ）は、

Ｘｂ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｂ＝ｙｂ×ｚ×ｐ／ｆ
Ｚｂ＝ｚ ・・・（６）

２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、

Ｘｔ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｔ＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２
Ｚｔ＝ｚ ・・・（７）

で算出することができる。

また、グレースケール対象物の特徴量の１つである高さは、次のようにして算出する。
具体的には、図６に示すように、実空間での大きさがＷ［ｍ］×Ｈ［ｍ］、画面上のマスク領域サイズＷｐ［ｐｉｘｅｌ］×Ｈｐ［ｐｉｘｅｌ］である長方形領域のマスク領域（それぞれをＭＡＳＫ［Ｉ］、但しＩ＝０、１、２、・・・とする）を、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像上に２値化対象物外接四角形の上下端から複数個並べて設定し、下記条件１から条件３の条件を満たすマスク領域（例えば図６において、「ＴＲＵＥ」と判定したマスク領域）を包含する領域をグレースケール対象物の領域として抽出する。

条件１：マスク領域内の輝度変化が大きい（対象物と背景画像とが含まれている）。
条件２：左右の画像間のマスク領域の相関度が高い（マスク領域内に２つ以上の対象物が存在しない）。
条件３：２値化対象物と同距離（同視差）である。

そして、画像上でのグレースケール対象物の領域の高さＨｅｉｇｈｔ（ｐｉｘｅｌ）を算出し、（８）式によりグレースケール対象物の高さΔＨｇを算出する。

ΔＨｇ＝ｚ×Ｈｅｉｇｈｔ×ｐ／ｆ ・・・（８）

（降雨判定処理）
次に、図７及び図８に示すフローチャートを参照して、図３に示したフローチャートのステップＳ２１における降雨判定処理について更に詳細に説明する。図７及び図８は、本実施例の降雨判定処理動作を示すフローチャートであって、複数の画像フレームについて降雨の判定を行い、その集計結果から歩行者判定処理の動作モードを決定する手順について示す。
図７において、まず画像処理ユニット１は、１つの画像フレームに対して、任意のＮ１個（Ｎ１は整数であり、例えば画像上の全ての物体）の２値化対象物を抽出する（ステップＳ３１）。
次に、変数Ｉと変数Ｃとを「ゼロ」にリセットする（ステップＳ３２）。
そして、先に示した方法で抽出された２値化対象物のいずれか１個に対応するグレースケール対象物の高さを算出する（ステップＳ３３）。
次に、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差の絶対値が所定値ΔＨより小さいか否かを判定する（ステップＳ３４）。

すなわち、図９（１）に示すように、通常時にはグレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとは区別することが可能であるが、図９（２）に示すように、降雨による影響を受けている時にはカメラレンズに付着した雨滴や、空気中の水蒸気や雨滴、あるいは濡れたことによる物体の状態の影響を受けて、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの間に差がなくなる（グレースケール対象物と２値化対象物とが等しくなる）傾向にある。従って、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差を所定値ΔＨと比較することで、車両の周囲やカメラが通常の状態と、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）とを判別する。なお、２値化対象物の高さΔＨｂの値は、後述する歩行者判定処理の中で算出しても良いし、ステップＳ３３において、グレースケール対象物の高さと共に算出しても良い。

ステップＳ３４において、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差の絶対値「｜ΔＨｇ−ΔＨｂ｜」が所定値ΔＨより小さい場合（ステップＳ３４のＹＥＳ）、画像処理ユニット１は変数Ｃを「１」だけカウントアップし、降雨の影響を受けていると考えられる２値化対象物として、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差の絶対値「｜ΔＨｇ−ΔＨｂ｜」が所定値ΔＨより小さい２値化対象物の数を計数する（ステップＳ３５）。
次に、変数Ｉを「１」だけカウントアップする（ステップＳ３６）。
また、ステップＳ３４において、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差の絶対値が所定値ΔＨ以上である場合（ステップＳ３４のＮＯ）、画像処理ユニット１はステップＳ３６へ進み、変数Ｉのみを「１」だけカウントアップする（ステップＳ３６）。

そして、変数Ｉが２値化対象物の総数Ｎ１以上となったか否かを判定し（ステップＳ３７）、変数Ｉが２値化対象物の総数Ｎ１未満であった場合（ステップＳ３７のＮＯ）、画像処理ユニット１は、ステップＳ３３へ戻り、抽出された２値化対象物の次の１個に対応するグレースケール対象物の高さを算出し、上述の処理を繰り返す。
一方、ステップＳ３７において、変数Ｉが２値化対象物の総数Ｎ１以上であった場合（ステップＳ３７のＹＥＳ）、変数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」、すなわちグレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差の絶対値「｜ΔＨｇ−ΔＨｂ｜」が所定値ΔＨより小さい２値化対象物の数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」が、所定値Ｘ１より大きいか否かを判定する（ステップＳ３８）。

そして、ステップＳ３８において、高さの差の絶対値が所定値ΔＨより小さい２値化対象物の数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」が、所定値Ｘ１より大きい場合（ステップＳ３８のＹＥＳ）、この画像フレームを降雨判定のフレームと判定して、最新の画像フレームの状態を示すフラグＦ［０］に「１」を設定する（ステップＳ３９）。
一方、ステップＳ３８において、高さの差の絶対値が所定値ΔＨより小さい２値化対象物の数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」が、所定値Ｘ１以下の場合（ステップＳ３８のＮＯ）、この画像フレームを通常判定のフレームと判定して、最新の画像フレームの状態を示すフラグＦ［０］に「０」を設定する（ステップＳ４０）。

以上ステップＳ３１からステップＳ４０までの処理は、１つの画像フレームに対する処理であって、次に画像処理ユニット１は、過去の画像フレームが降雨判定のフレームであったか、あるいは通常判定のフレームであったかを複数の画像フレームについて集計するために、まず変数Ｊと変数Ｋとを「ゼロ」にリセットする（ステップＳ４１）。
そして、変数Ｊで指定される画像フレームの状態を示すフラグＦ［Ｊ］が「１」であるか否かを判定する（ステップＳ４２）。
もし、ステップＳ４２において、変数Ｊで指定される画像フレームの状態を示すフラグＦ［Ｊ］が「１」である場合（ステップＳ４２のＹＥＳ）、画像処理ユニット１は、変数Ｋを「１」だけカウントアップする（ステップＳ４３）。
次に、変数Ｊを「１」だけカウントアップする（ステップＳ４４）。
また、ステップＳ４２において、変数Ｊで指定される画像フレームの状態を示すフラグＦ［Ｊ］が「０」である場合（ステップＳ４２のＮＯ）、画像処理ユニット１は、ステップＳ４４へ進み、変数Ｊのみを「１」だけカウントアップする（ステップＳ４４）。

そして、変数Ｊが判定する画像フレームの総数を示す所定値Ｍ以上となったか否かを判定し（ステップＳ４５）、変数Ｊが判定する画像フレームの総数Ｍ未満であった場合（ステップＳ４５のＮＯ）、画像処理ユニット１は、ステップＳ４２へ戻り、変数Ｊで指定される次の画像フレームの状態を示すフラグＦ［Ｊ］の判定を行い、上述の処理を繰り返す。
一方、ステップＳ４５において、変数Ｊが判定する画像フレームの総数Ｍ以上であった場合（ステップＳ４５のＹＥＳ）、画像処理ユニット１は、図８のステップＳ４６へ進み、変数Ｋの画像フレームの総数Ｍに対する割合「Ｋ／Ｍ」、すなわち降雨判定のフレームとされた画像フレームの数Ｋの画像フレームの総数Ｍに対する割合「Ｋ／Ｍ」が、所定値Ｙより大きいか否かを判定する（ステップＳ４６）。

そして、ステップＳ４６において、降雨判定のフレームの数Ｋの画像フレームの総数Ｍに対する割合「Ｋ／Ｍ」が、所定値Ｙより大きい場合（ステップＳ４６のＹＥＳ）、歩行者判定処理の動作モードを降雨モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「１」を設定する（ステップＳ４７）。
一方、ステップＳ４６において、降雨判定のフレームの数Ｋの画像フレームの総数Ｍに対する割合「Ｋ／Ｍ」が、所定値Ｙ以下の場合（ステップＳ４６のＮＯ）、歩行者判定処理の動作モードを通常モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「０」を設定する（ステップＳ４８）。

上述のように、複数の画像フレームについて降雨の判定を行い、その集計結果から歩行者判定処理の動作モードを決定したら、次に、画像処理ユニット１は、変数Ｊに画像フレームの総数Ｍから「１」引いた値を設定すると共に（ステップＳ４９）、変数Ｊで指定される画像フレームの状態を示すフラグＦ［Ｊ］にフラグＦ［Ｊ−１］の内容を複写し（ステップＳ５０）、変数Ｊを「１」だけカウントダウンする（ステップＳ５１）。
そして、変数Ｊが「０」より大きいか否かを判定し（ステップＳ５２）、変数Ｊが「０」より大きい場合（ステップＳ５２のＹＥＳ）、ステップＳ５０へ戻り、上述の処理を繰り返す。
一方、ステップＳ５２において、変数Ｊが「０」以下の場合（ステップＳ５２のＮＯ）、降雨判定処理を終了する。すなわち、ステップＳ４９からステップＳ５２の処理によって、画像フレームの状態を示すフラグの内容が１個ずつシフトされ、最新の画像フレームの状態を示すフラグＦ［０］が空いた状態となる。

（第１の実施例における降雨判定処理の別の形態）
図７及び図８に示すステップＳ３１からステップＳ５２の処理では、ロバスト性を向上させるために複数の画像フレームについて降雨の判定を行い、その集計結果から歩行者判定処理の動作モードを決定する手順について示したが、降雨判定処理は、処理手順を簡略化するために、複数の画像フレームについての集計結果を用いず１つの画像フレームの判定結果を歩行者判定処理の動作モードとしても良い。具体的には、図７に示すステップＳ３８において、変数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」、すなわち高さの差の絶対値が所定値ΔＨより小さい２値化対象物の数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」が、所定値Ｘ１より大きい場合（ステップＳ３８のＹＥＳ）、画像処理ユニット１は、ステップＳ４７へ進み、歩行者判定処理の動作モードを降雨モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「１」を設定する。

またステップＳ３８において、高さの差の絶対値が所定値ΔＨより小さい２値化対象物の数Ｃの２値化対象物の総数Ｎ１に対する割合「Ｃ／Ｎ１」が、所定値Ｘ１以下の場合（ステップＳ３８のＮＯ）、画像処理ユニット１は、ステップＳ４８へ進み、歩行者判定処理の動作モードを通常モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「０」を設定する。
なお、複数の画像フレームについての集計結果を用いずに、１つの画像フレームの判定結果を歩行者判定処理の動作モードとする場合、その後のステップＳ３９からステップＳ４６、及びステップＳ４９からステップＳ５２により実行される複数の画像フレームの判定内容の集計処理は実行しなくて良い。

（警報判定処理）
次に、図１０に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳細に説明する。
図１０は、本実施例の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図１１に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。

図１０において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ６１）。衝突判定処理は、図１１において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。

次に、ステップＳ６１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ６１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ６２）。接近判定領域内か否かの判定処理は、図１２に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。

更に、ステップＳ６２において、対象物が接近判定領域内に存在しない場合（ステップＳ６２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ６３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。

一方、ステップＳ６２において、対象物が接近判定領域内に存在している場合（ステップＳ６２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ６４）。なお、歩行者判定処理については、詳細を後述する。
また、ステップＳ６４において、対象物は歩行者の可能性があると判定された場合（ステップＳ６４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ６５）。人工構造物判定処理は、対象物画像に、例えば以下に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
（１）対象物の画像に直線エッジを示す部分が含まれる場合。
（２）対象物の画像の角が直角である場合。
（３）対象物の画像に同じ形状のものが複数含まれている場合。
（４）対象物の画像が予め登録された人口構造物の形状と一致する場合。

従って、上述のステップＳ６３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ６３のＹＥＳ）、及びステップＳ６５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ６５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ６６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。

一方、上述のステップＳ６１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ６１のＮＯ）、あるいはステップＳ６３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ６３のＮＯ）、あるいはステップＳ６４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ６４のＮＯ）、更にはステップＳ６５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ６５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ６７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。

（歩行者判定処理）
次に、図１３から図１８に示すフローチャートを参照して、図１０に示したフローチャートのステップＳ６４における歩行者判定処理について更に詳細に説明する。図１３から図１８は、本実施例の歩行者判定処理動作を示すフローチャートである。歩行者判定処理は、前述の降雨判定処理で決定された動作モードに従って処理方法が変更される。
具体的には、図１３において、まず画像処理ユニット１は、先に示した方法で実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ７１）。
また、２値化対象物形状特徴量を算出したら、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ７２）。
もし、ステップＳ７２において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ７２のＮＯ）、次に、画像処理ユニット１は、先に示した方法で抽出された２値化対象物に対応するグレースケール対象物の高さを算出する（ステップＳ７３）。

また、図１９に示すように、画像上でのグレースケール対象物の領域をＡＲＥＡ０とし、その中にマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３を設定し、各マスクの輝度平均値と、輝度変化（分散）を算出する（ステップＳ７４）。ここで、ＡＲＥＡ１の輝度平均値をＡｖｅ＿Ａ１、ＡＲＥＡ２の輝度分散をＶａｒ＿Ａ２、ＡＲＥＡ３の輝度分散をＶａｒ＿Ａ３とする。なお、以下の処理において、ＡＲＥＡ１は対象物の頭の存在判定に、ＡＲＥＡ２は対象物の胴体の存在判定に、更にＡＲＥＡ３は頭部から下半身にかけての形状変化の存在判定にそれぞれ使用する。また、ＡＲＥＡ３は、例えば壁のような自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体であって、単調な輝度変化を示す対象物の一部が２値化処理により抽出された場合、これを歩行者と識別するためにも用いる。なお、図１９はカメラで捉えられた歩行者を模式的に表したもので、斜線の領域が２値化で捉えられた対象物の部位であり、点線で囲まれた領域が２値化では捉えられていないが、グレースケール画像で背景に対して物体の存在が確認できる対象物の部位を表す。また、図１９に示した各部の寸法は、実空間での各部の寸法の一例である。

そして、マスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定が完了したら、以下に示す２値化対象物の形状による歩行者判定及びグレースケール画像の各マスク領域の輝度分散を利用した歩行者判定を実行する。
まず、画像処理ユニット１は、２値化対象物の高さ、幅、存在高さ、輝度平均値、輝度分散について、歩行者として適当な範囲内の値か否かを判定する。
具体的には、歩行者を対象とするため、２値化対象物の幅ΔＷｂがしきい値ＴＨ１以上ＴＨ２以下（歩行者の幅として適当な値）か否かを判定する（ステップＳ７５）。

また、ステップＳ７２において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ７２のＹＥＳ）、ステップＳ７３やステップＳ７４におけるグレースケール画像上の対象物の高さ算出やマスク領域ＡＲＥＡ１、ＡＲＥＡ２、ＡＲＥＡ３の設定を行わず、ステップＳ７５へ進み、歩行者を対象とするため、２値化対象物の幅ΔＷｂがしきい値ＴＨ１以上ＴＨ２以下か否かを判定する（ステップＳ７５）。

また、ステップＳ７５において、２値化対象物の幅ΔＷｂがしきい値ＴＨ１以上ＴＨ２以下であった場合（ステップＳ７５のＹＥＳ）、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ７６）。
そして、ステップＳ７６において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ７６のＮＯ）、２値化対象物の高さΔＨｂがしきい値ＴＨ３（歩行者の高さとして適当な値）未満で、かつグレースケール対象物の高さΔＨｇがしきい値ＴＨ４（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ７７）。

一方、ステップＳ７６において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ７６のＹＥＳ）、２値化対象物の高さΔＨｂがしきい値ＴＨ３（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ７８）。
そして、ステップＳ７７において、２値化対象物の高さΔＨｂがしきい値ＴＨ３未満で、かつグレースケール対象物の高さΔＨｇがしきい値ＴＨ４未満であった場合（ステップＳ７７のＹＥＳ）、あるいはステップＳ７８において、２値化対象物の高さΔＨｂがしきい値ＴＨ３未満であった場合（ステップＳ７８のＹＥＳ）、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ５（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ７９）。

また、ステップＳ７９において、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ５未満であった場合（ステップＳ７９のＹＥＳ）、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ８０）。
そして、ステップＳ８０において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ８０のＮＯ）、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３がしきい値ＴＨ６より大きいか否かを判定する（ステップＳ８１）。この処理を、図２０の対象物が歩行者の一部あるいは全体である場合や壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図を用いて説明する。

具体的には、マスク領域ＡＲＥＡ３の領域幅を２値化対象物幅とすることで、図２０（ａ）に示すように、歩行者の頭部のみが２値化処理により抽出された場合は、下半身部位との輝度差が生じる。また、図２０（ｂ）に示すように、少なくとも歩行者の上半身、または全身が２値化処理により抽出された場合には、背景領域（画像）との輝度差が生じる。一方、図２０（ｃ）に示すように、壁のように対象物全体の温度差が少ない対象物の場合、２値化抽出部位とそうでない部位の輝度差は少なく、また、対象物はＡＲＥＡ３のように直線部位で構成されている。このため、ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３は、歩行者の場合には高い値、壁のような対象物の場合には低い値を示す。
従って、ステップＳ８１では、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３がしきい値ＴＨ６より大きいか否かを判定することで、対象物が歩行者であるか否かを判定する。

更に、ステップＳ８１において、マスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３がしきい値ＴＨ６より大きかった場合（ステップＳ８１のＹＥＳ）、対象物形状の時間変化による歩行者判定を行う。
具体的には、歩行者の２値化対象物を対象とするため、２値化対象物形状が時間的に大きく変化することはないと考えられる。このため、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分がしきい値ＴＨ７未満であるか否かを判定する（ステップＳ８２）。

また、ステップＳ８０において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ８０のＹＥＳ）、ステップＳ８１におけるマスク領域ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３の判定は行わず、ステップＳ８２へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分がしきい値ＴＨ７未満であるか否かを判定する（ステップＳ８２）。

一方、ステップＳ７５において、２値化対象物の幅ΔＷｂがしきい値ＴＨ１未満か、またはＴＨ２より大きかった場合（ステップＳ７５のＮＯ）、あるいはステップＳ７７において、２値化対象物の高さΔＨｂがしきい値ＴＨ３以上か、またはグレースケール対象物の高さΔＨｇがしきい値ＴＨ４以上であった場合（ステップＳ７７のＮＯ）、あるいはステップＳ７８において、２値化対象物の高さΔＨｂがしきい値ＴＨ３以上であった場合（ステップＳ７８のＮＯ）、あるいはステップＳ７９において、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ５以上であった場合（ステップＳ７９のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ８３）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

同様に、ステップＳ８１において、マスク領域ＡＲＥＡ３の輝度分散がしきい値ＴＨ６以下であった場合（ステップＳ８１のＮＯ）、更にはステップＳ８２において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分（Ｍａｘ＿Ｒａｔｅ−Ｍｉｎ＿Ｒａｔｅ）がしきい値ＴＨ７以上であった場合（ステップＳ８２のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ８３）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ８２において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅの最大値Ｍａｘ＿Ｒａｔｅと最小値Ｍｉｎ＿Ｒａｔｅの差分がしきい値ＴＨ７未満であった場合（ステップＳ８２のＹＥＳ）、次に、画像処理ユニット１は、更に詳細に抽出された対象物の形状毎の歩行者判定を行う。
具体的には、図１４において、まず、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ８４）。
ステップＳ８４において、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ８以下であった場合（ステップＳ８４のＮＯ）、歩行者の下半身であるか、あるいは座った歩行者として、２値化対象物の幅ΔＷｂがしきい値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ８５）。

図１４は、２値化処理によって下半身が抽出されたか、座っている歩行者を識別するための処理手順が示されており、ステップＳ８５において、２値化対象物の幅ΔＷｂがしきい値ＴＨ９以下であった場合（ステップＳ８５のＹＥＳ）、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ８６）。
そして、（ステップＳ８６）において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ８６のＮＯ）、対象物が座った歩行者であるか否かを判定するために、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１０（歩行者の高さとして適当な値）未満か否かを判定する（ステップＳ８７）。

ステップＳ８７において、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１０以上であった場合（ステップＳ８７のＮＯ）、この対象物が歩行者の胴体または、下半身に相当すると仮定し、上部に頭部が存在するか否かの判定のため、図１９に示す上部のマスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１１より大きいか否かを判定する（ステップＳ８８）。
ステップＳ８８において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１１より大きかった場合（ステップＳ８８のＹＥＳ）、更に胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８より大きいか否かを判定する（ステップＳ８９）。

そして、ステップＳ８９において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８より大きかった場合（ステップＳ８９のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ９０）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。
また、ステップＳ８６において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ８６のＹＥＳ）、ステップＳ８７からステップＳ８９におけるマスク領域の判定は行わず、ステップＳ９０へ進み、検出された対象物は歩行者であると判定して（ステップＳ９０）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。

一方、ステップＳ８５において、２値化対象物の幅ΔＷｂがしきい値ＴＨ９より大きかった場合（ステップＳ８５のＮＯ）、またはステップＳ８８において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１１以下であった場合（ステップＳ８８のＮＯ）、更にはステップＳ８９において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８以下であった場合（ステップＳ８９のＮＯ）のいずれかであった場合、検出された対象物は歩行者ではないと判定して（ステップＳ９１）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ８７において、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１０未満であった場合（ステップＳ８７のＹＥＳ）、この対象物は座った歩行者であるとみなし、２値化対象物の路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ１２（座った歩行者と立っている歩行者を区別できる高さとして適当な値）より大きいか否かを判定する（ステップＳ９２）。
ステップＳ９２において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ１２よりも大きかった場合（ステップＳ９２のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、しきい値ＴＨ１３以上ＴＨ１４以下（歩行者として適当な値）か否かを判定する（ステップＳ９３）。

ステップＳ９３において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ１３以上ＴＨ１４以下であった場合（ステップＳ９３のＹＥＳ）、（９）式で表される外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃがしきい値ＴＨ１５（歩行者として適当な値）未満か否かを判定する（ステップＳ９４）。

Ｄｉｓ＿ｃ＝ＳＱＲＴ（（Ｘｂ−Ｘｃ）^２＋（Ｙｂ−Ｙｃ）^２） ・・・（９）

ステップＳ９４において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満であった場合（ステップＳ９４のＹＥＳ）、例えばΔＷｂが１．０ｍ以下で、ΔＨｇが１．０ｍ未満の対象物には歩行者以外の対象物、具体的には車両の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ９５）。

ステップＳ９５において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ９５のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ９０）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。

一方、ステップＳ９２において、２値化対象物の路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ１２以下であった場合（ステップＳ９２のＮＯ）、あるいはステップＳ９３において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ１３未満、あるいはＴＨ１４より大きかった場合（ステップＳ９３のＮＯ）、あるいはステップＳ９４において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５以上であった場合（ステップＳ９４のＮＯ）、更にはステップＳ９５において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ９５のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ９１）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

また、図１４のステップＳ８４において、路面からの対象物の上端高さ位置Ｙｔがしきい値ＴＨ８（歩行者の上半身と下半身を区別できる高さとして適当な値）より大きかった場合（ステップＳ８４のＹＥＳ）、図１５のステップＳ９６へ進み、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ９６）。
そして、ステップＳ９６において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ９６のＮＯ）、対象物が空中に浮いている物体（例えば、カーブミラーのような対象物）か否かを判定するために、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１６（上述のしきい値ＴＨ８と同じ値）より大きいか否かを判定する（ステップＳ９７）。

図１５は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ９７において、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１６より大きかった場合（ステップＳ９７のＹＥＳ）、対象物は空中に浮いている物体ではないので、次に、対象物領域（ＡＲＥＡ０）の上端部位に頭部が存在するか、あるいは胴体部位が存在するかを判定する。具体的には、まず頭部は露出しているため、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１７より大きいか否かを判定する（ステップＳ９８）。

ステップＳ９８において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１７より大きかった場合（ステップＳ９８のＹＥＳ）、胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８より大きいか否かを判定する（ステップＳ９９）。
また、ステップＳ９９において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８より大きかった場合（ステップＳ９９のＹＥＳ）、まず頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂがしきい値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ１００）。

また、ステップＳ９６において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ９６のＹＥＳ）、ステップＳ９７からステップＳ９９におけるマスク領域の判定は行わず、ステップＳ１００へ進み、頭部、あるいは上半身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂがしきい値ＴＨ１９（歩行者の頭部、あるいは上半身を区別できる幅として適当な値）以下か否かを判定する（ステップＳ１００）。

次に、ステップＳ１００において、２値化対象物の幅ΔＷｂがしきい値ＴＨ１９より大きかった場合（ステップＳ１００のＮＯ）、少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者を判定するために、２値化対象物の幅ΔＷｂがしきい値ＴＨ９（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ１０１）。
更に、ステップＳ１０１において、２値化対象物の幅ΔＷｂがしきい値ＴＨ９より大きかった場合（ステップＳ１０１のＮＯ）、複数の歩行者が並列歩行を行っているか否かを判定するために、２値化対象物の幅ΔＷｂがしきい値ＴＨ２（歩行者の胴体幅として適当な値）以下か否かを判定する（ステップＳ１０２）。

また、以上の判定では、ステップＳ９７において、グレースケール対象物の高さΔＨｇがしきい値ＴＨ１６以下であった場合（ステップＳ９７のＮＯ）、あるいはステップＳ９８において、マスク領域ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１がしきい値ＴＨ１７以下であった場合（ステップＳ９８のＮＯ）、あるいはステップＳ９９において、マスク領域ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２がしきい値ＴＨ１８以下であった場合（ステップＳ９９のＮＯ）、更にはステップＳ１０２において、２値化対象物の幅ΔＷｂがしきい値ＴＨ２より大きかった場合（ステップＳ１０２のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ１０３）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

一方、ステップＳ１００において、２値化対象物の幅ΔＷｂがしきい値ＴＨ１９以下であった場合（ステップＳ１００のＹＥＳ）、対象物は、頭部あるいは上半身が２値化処理により抽出された歩行者であるとして、図１６のステップＳ１０４へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、しきい値ＴＨ２０以上ＴＨ２１以下（歩行者の頭部や上半身として適当な値）か否かを判定する（ステップＳ１０４）。

図１６は、２値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ１０４において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ２０以上ＴＨ２１以下であった場合（ステップＳ１０４のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満か否かを判定する（ステップＳ１０５）。
ステップＳ１０５において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満であった場合（ステップＳ１０５のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ１０６）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。

一方、ステップＳ１０４において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ２０未満か、またはＴＨ２１より大きかった場合（ステップＳ１０４のＮＯ）、あるいはステップＳ１０５において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５以上であった場合（ステップＳ１０５のＮＯ）、検出された対象物は歩行者ではないと判定して（ステップＳ１０７）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

また、図１５のステップＳ１０１において、２値化対象物の幅ΔＷｂがしきい値ＴＨ９以下であった場合（ステップＳ１０１のＹＥＳ）、対象物は少なくとも歩行者の上半身、または全身が２値化処理により抽出された歩行者であるとして、図１７のステップＳ１０８へ進み、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、しきい値ＴＨ１３以上ＴＨ２１以下（歩行者の上半身や全身として適当な値）か否かを判定する（ステップＳ１０８）。

図１７は、２値化処理によって上半身や全身が抽出された歩行者を識別するための処理手順が示されており、ステップＳ１０８において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ１３以上ＴＨ２１以下であった場合（ステップＳ１０８のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満か否かを判定する（ステップＳ１０９）。
ステップＳ１０９において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満であった場合（ステップＳ１０９のＹＥＳ）、フラグ「Ｒａｉｎ＿ｆｌａｇ」が「１」であるか否かを判定することにより、自車両１０の周囲が降雨の影響を受けている状態か否かを判定する（ステップＳ１１０）。

そして、（ステップＳ１１０）において、自車両１０の周囲が降雨の影響を受けている状態ではなかった場合（ステップＳ１１０のＮＯ）、対象物には、歩行者以外の対象物、例えば、車両の前部などが含まれるため、２値化対象物の上部マスク領域ＡＲＥＡ１において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する（ステップＳ１１１）。

ステップＳ１１１において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在する場合（ステップＳ１１１のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ１１２）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。
また、（ステップＳ１１０）において、自車両１０の周囲が降雨の影響を受けている状態であった場合（ステップＳ１１０のＹＥＳ）、ステップＳ１１１におけるマスク領域の判定は行わず、ステップＳ１１２へ進み、検出された対象物は歩行者であると判定して（ステップＳ１１２）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。

一方、ステップＳ１０８において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ１３未満か、または以上ＴＨ２１より大きかった場合（ステップＳ１０８のＮＯ）、あるいはステップＳ１０９において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５以上であった場合（ステップＳ１０９のＮＯ）、更にはステップＳ１１１において、２値化対象物の上部マスク領域ＡＲＥＡ１に予め登録した頭部パタンと相関度が高い部位が存在しない場合（ステップＳ１１１のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ１１３）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

また、図１５のステップＳ１０２において、２値化対象物の幅ΔＷｂがしきい値ＴＨ２以下であった場合（ステップＳ１０２のＹＥＳ）、対象物は複数の歩行者が並列歩行を行っているので、対象物の外接四角形内には背景領域が多く含まれていると判断し、図１８のステップＳ１１４へ進み、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅがしきい値ＴＨ２２未満か否かを判定する（ステップＳ１１４）。

図１８は、対象物が複数の歩行者が並列歩行を行っている場合の処理手順が示されており、ステップＳ１１４において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅがしきい値ＴＨ２２未満であった場合（ステップＳ１１４のＹＥＳ）、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐが、しきい値ＴＨ２３以上ＴＨ１４以下（歩行者の並列歩行を判断するのに適当な値）か否かを判定する（ステップＳ１１５）。

ステップＳ１１５において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ２３以上ＴＨ１４以下であった場合（ステップＳ１１５のＹＥＳ）、前述の外接四角形重心１０２と２値化対象物の重心Ｇ１００との実空間での距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満か否かを判定する（ステップＳ１１６）。
ステップＳ１１６において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５未満であった場合（ステップＳ１１６のＹＥＳ）、検出された対象物は歩行者であると判定して（ステップＳ１１７）歩行者判定処理を終了し、図１０に示すステップＳ６４のＹＥＳとして図１０のステップＳ６５へ進み、人工構造物判定を行う。

一方、ステップＳ１１４において、規定時間内の外接四角形の面積と２値化対象物の面積比率であるＲａｔｅがしきい値ＴＨ２２以上であった場合（ステップＳ１１４のＮＯ）、あるいはステップＳ１１５において、２値化対象物の外接四角形の縦横比ＡＳＰＥＣＴを表すＡｓｐがしきい値ＴＨ２３未満か、またはＴＨ１４より大きかった場合（ステップＳ１１５のＮＯ）、更にはステップＳ１１６において、距離Ｄｉｓ＿ｃがしきい値ＴＨ１５以上であった場合（ステップＳ１１６のＮＯ）のいずれかであった場合は、検出された対象物は歩行者ではないと判定して（ステップＳ１１８）歩行者判定処理を終了し、図１０に示すステップＳ６４のＮＯとして図１０のステップＳ６７へ進み、対象物は警報対象ではないと判定する。

なお、上述の実施例では、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差を所定値ΔＨと比較することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別したが、これは、図２に示すように、赤外線カメラ２Ｒ、２Ｌが、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に横に並べて配置された場合の例であって、赤外線カメラ２Ｒ、２Ｌが垂直方向に縦に並べて配置された場合は、グレースケール対象物の幅と２値化対象物の幅との差を所定値と比較することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別すれば良い。

また、本実施例では、画像処理ユニット１が、２値化対象物抽出手段と、２値化対象物特徴量算出手段と、対象物画像抽出手段と、対象物画像特徴量算出手段と、特徴量比較手段と、物体状態判定手段と、歩行者認識手段とを含んでいる。より具体的には、図３のステップＳ７、及び図７のステップＳ３１の処理が２値化対象物抽出手段に相当し、図３のステップＳ８、及び図１３のステップＳ７１の処理が２値化対象物特徴量算出手段に相当し、図７のステップＳ３３、及び図１３のステップＳ７３の処理が対象物画像抽出手段と対象物画像特徴量算出手段に相当する。また、図７のステップＳ３４の処理が特徴量比較手段に相当し、図７及び図８のステップＳ３５からステップＳ５２の処理が物体状態判定手段に相当し、図１３から図１８のステップＳ７２、ステップＳ７４からステップＳ１１８の処理が歩行者認識手段に相当する。

以上説明したように、本実施例の車両周辺監視装置は、通常時にはグレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとは区別することが可能であるが、カメラレンズに付着した雨滴や、空気中の水蒸気や雨滴、あるいは濡れたことによる物体の状態の影響を受けた場合、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの間に差がなくなる傾向にあるため、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差を所定値ΔＨと比較することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別する。
従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ物体の状態判断の信頼性を向上させ、的確に物体の状態を判断可能な車両周辺監視装置を実現することができるという効果が得られる。

更に、歩行者認識手段が、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態（降雨の影響を受けていない状態）であった場合は、グレースケール画像の輝度変化により、グレースケール画像から２値化対象物を包含する範囲のグレースケール対象物を抽出し、更にグレースケール対象物の領域に複数の探索領域を設定して、探索領域の形状や探索領域の輝度分散に基づいて該探索領域中の歩行者を認識する。具体的には、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合、これらの物体を対象物の画像から除去すると共に、これらを満たす歩行者の特徴として、輝度分散が高く頭部に相当する部分があるか、あるいは輝度分散が高く胴部に相当する部分があるか、更には壁等の輝度分散の低いものではないか等の判定を行い、対象物の画像から輝度分散が歩行者を撮影した画像と異なる物体の画像を除去する。

また、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが降雨による影響を受けている状態であった場合は、２値化対象物の存在条件についてのみ判定し、画像中の２値化対象物の高さや大きさ等から２値化画像中の歩行者を認識する。具体的には、対象物が放射する赤外線量が減少するので、輝度分散による判定は行わず、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合にこれらの物体を対象物の画像から除去することのみを行い、輝度分散を用いた判定による歩行者の誤検出を防止する。

従って、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ歩行者認識の信頼性を向上させ、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。更に、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌの状態にかかわらず、歩行者の検出精度を維持することができるという効果が得られる。また、例えば画像全体のヒストグラムの状態を降雨判定に用いる場合と異なり、物体の状態を直接判断することができるので、背景の内容等に影響されず、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。

また、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとを比較する物体（対象物）の数や、自車両１０周囲の状態やカメラレンズの状態を判断する画像フレームの数を増やし、物体あるいは画像フレームの総数に対する判断結果の割合から、総合的に自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別することで、物体状態判定手段における物体の状態判断の信頼性、あるいは歩行者認識手段における歩行者認識の信頼性を更に向上させ、状態判断の誤判断や歩行者の誤認識を防止することができるという効果が得られる。

更に、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとを比較することで、赤外線カメラ２Ｒ、２Ｌが２台横に並べて配置された場合に、物体状態判定手段における正確な物体の状態判断、あるいは歩行者認識手段における正確な歩行者の認識を実行させることができる。また、２値化対象物の幅とグレースケール対象物の幅とを比較することで、赤外線カメラが２台縦に並べて配置された場合に、物体状態判定手段における正確な物体の状態判断、あるいは歩行者認識手段における正確な歩行者の認識を実行させることができる。
従って、赤外線カメラ２Ｒ、２Ｌのどのような配置にも対応可能な車両周辺監視装置を実現することができるという効果が得られる。

次に、本発明の第２の実施例について説明する。
（全体構成）
本発明の第２の実施例の車両周辺監視装置の構成は、図１に示す第１の実施例の車両周辺監視装置の構成と同一であるので、ここでは説明を省略する。具体的に、第１の実施例の車両周辺監視装置と第２の実施例の車両周辺監視装置との違いについて説明すると、第１の実施例の車両周辺監視装置が、グレースケール対象物の高さΔＨｇと２値化対象物の高さΔＨｂとの差を所定値ΔＨと比較することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別していたのに対し、第２の実施例の車両周辺監視装置は、赤外線画像のグレースケール画像を複数の輝度しきい値によって２値化することにより、物体を輝度しきい値の異なる２種類の２値化対象物として抽出し、同一の物体に対応する２種類の２値化対象物の特徴量の違いから、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別することを特徴とする。

以下に、本実施例の具体的な動作について図面を参照して説明する。
（対象物検出・警報動作）
図２１及び図２２は、本実施例の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
図２１において、まず画像処理ユニット１は、変数Ｉと変数Ｃとを「ゼロ」にリセットする（ステップＳ１２１）。
次に、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１２２）、Ａ／Ｄ変換し（ステップＳ１２３）、グレースケール画像を画像メモリに格納する（ステップＳ１２４）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

ステップＳ１２４においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、これを２つの輝度しきい値（ＴＨ＿１、ＴＨ＿２、但しＴＨ＿２＞ＴＨ＿１）によって２値化することにより、画像上の複数の物体を輝度しきい値ＴＨ＿１による２値化対象物のグループと、輝度しきい値ＴＨ＿２による２値化対象物のグループとして抽出すると共に、それぞれの２値化対象物の特徴量を算出する（ステップＳ１２５）。なお、ステップＳ１２５の２つの輝度しきい値（ＴＨ＿１、ＴＨ＿２）による２値化処理と２値化対象物の特徴量算出処理については詳細を後述する。

次に、画像処理ユニット１は、それぞれのグループの中から、同一位置の物体（対象物）に対応する２値化対象物を探索する同一位置対象物の探索を実行する（ステップＳ１２６）。ここで、具体的に同一位置対象物の探索について説明すると、図２３（１）に示す輝度しきい値ＴＨ＿１を用いて２値化した２値化対象物の外接四角形の内部に、図２３（２）に示す輝度しきい値ＴＨ＿２を用いて２値化した２値化対象物の重心位置ｑ２＝（ｘｃ２、ｙｃ２）が存在する場合、異なる輝度しきい値により２値化された２種類の２値化対象物は、同一の物体に対応する２値化対象物であると判定する。数式で示すと、輝度しきい値ＴＨ＿１を用いて２値化した２値化対象物の外接四角形基準点を（ｘｓ１、ｙｓ１）、外接四角形の幅をＷ１、高さをＨ１として、輝度しきい値ＴＨ＿２を用いて２値化した２値化対象物の重心位置ｑ２＝（ｘｃ２、ｙｃ２）が（ｘｓ１＜ｘｃ２＜ｘｓ１＋Ｗ１）で、かつ（ｙｓ１＜ｙｃ２＜ｙｓ１＋Ｈ１）であれば良い。

そして、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物が特定できたら、それぞれの２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下であるか否かを判定する（ステップＳ１２７）。すなわち、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態では、１つの物体に注目した場合、温度が低い部分や高い部分が混在しているので、２値化する時のしきい値を変化させると、２値化する時のしきい値を高くする程この物体を捉えた２値化対象物の面積が小さくなる。しかし、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態ではなく、降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）では、同様に１つの物体に注目した場合、カメラレンズに付着した雨滴や、空気中の水蒸気や雨滴、あるいは濡れたことによる物体の状態の影響を受けて各部分の温度差を検出することができないため、２値化する時のしきい値を変化させても、この物体を捉えた２値化対象物の面積は変化しない傾向にある。

従って、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）を所定値と比較して、面積が変化したか否かを判定することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態ではなく、降雨による影響を受けているか否かを判断することができる。
もし、ステップＳ１２７において、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下である場合（ステップＳ１２７のＹＥＳ）、画像処理ユニット１は変数Ｃを「１」だけカウントアップし、降雨の影響を受けていると考えられる２値化対象物として、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下であるものの数を計数する（ステップＳ１２８）。
次に、変数Ｉを「１」だけカウントアップする（ステップＳ１２９）。

もし、ステップＳ１２７において、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値より大きい場合（ステップＳ１２７のＮＯ）、画像処理ユニット１はステップＳ１２９へ進み、変数Ｉのみを「１」だけカウントアップする（ステップＳ１２９）。
そして、変数Ｉが輝度しきい値ＴＨ＿１を用いて２値化した２値化対象物の総数Ｎ２以上となったか否かを判定し（ステップＳ１３０）、変数Ｉが２値化対象物の総数Ｎ２未満であった場合（ステップＳ１３０のＮＯ）、画像処理ユニット１は、ステップＳ１２２へ戻り、上述の処理を繰り返す。なお、変数Ｉが輝度しきい値ＴＨ＿１を用いて２値化した２値化対象物の総数Ｎ２以上となったか否かを判定するのは、輝度しきい値ＴＨ＿１＜輝度しきい値ＴＨ＿２であって、輝度しきい値ＴＨ＿１を用いて２値化した２値化対象物の方が全ての物体を含んでいる確率が高いからである。

一方、ステップＳ１３０において、変数Ｉが２値化対象物の総数Ｎ２以上であった場合（ステップＳ１３０のＹＥＳ）、変数Ｃの２値化対象物の総数Ｎ２に対する割合「Ｃ／Ｎ２」、すなわち同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下であるものの数Ｃの２値化対象物の総数Ｎ２に対する割合「Ｃ／Ｎ２」が、所定値Ｘ２より大きいか否かを判定する（ステップＳ１３１）。

ステップＳ１３１において、面積の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下であるものの数Ｃの２値化対象物の総数Ｎ２に対する割合「Ｃ／Ｎ２」が、所定値Ｘ２より大きい場合（ステップＳ１３１のＹＥＳ）、歩行者判定処理の動作モードを降雨モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「１」を設定する（ステップＳ１３２）。
またステップＳ１３１において、面積の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下であるものの数Ｃの２値化対象物の総数Ｎ２に対する割合「Ｃ／Ｎ２」が、所定値Ｘ２以下の場合（ステップＳ１３１のＮＯ）、歩行者判定処理の動作モードを通常モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「０」を設定する（ステップＳ１３３）。

歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」を設定することができたら、次に、画像処理ユニット１は、図２２のステップＳ９へ進み、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。また、同時に画像処理ユニット１は、図２２のステップＳ１１へ進み、ステップＳ１１からステップＳ１３の処理で、対象物と自車両１０との距離ｚを算出する処理を行う。
なお、ステップ９からステップＳ２０までの処理は、第１の実施例で図３を用いて説明した対象物検出・警報動作の処理と同一の処理であるので、ここでは説明を省略する。また、本実施例では、第１の実施例で実行したステップＳ２１の処理は実行しない。

更に、第１の実施例の対象物検出・警報動作の処理では、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、あるいはステップＳ１８において、自車両１０の運転者のブレーキ操作により衝突が回避されると判定された場合（ステップＳ１８のＮＯ）、あるいは画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示した（ステップＳ２０）あとは、ステップＳ１へ戻る処理手順としたが、本実施例では、ステップＳ１２１へ戻り上述の処理を繰り返す処理手順とする。

（第２の実施例における対象物検出・警報動作の別の形態）
図２１に示すステップＳ１２１からステップＳ１３３の処理では、ロバスト性を向上させるために複数の物体について降雨の判定を行い、その集計結果から歩行者判定処理の動作モードを決定する手順について示したが、本実施例における対象物検出・警報動作では、処理手順を簡略化するために、複数の物体についての集計結果を用いず１つの物体についての判定結果を歩行者判定処理の動作モードとしても良い。具体的には、図２１に示すステップＳ１２７において、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値以下である場合（ステップＳ１２７のＹＥＳ）、画像処理ユニット１はステップＳ１３２へ進み、歩行者判定処理の動作モードを降雨モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「１」を設定する（ステップＳ１３２）。

また、ステップＳ１２７において、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）が所定値より大きい場合（ステップＳ１２７のＮＯ）、画像処理ユニット１はステップＳ１３３へ進み、歩行者判定処理の動作モードを通常モードと判定して、歩行者判定処理の動作モードを示すフラグ「Ｒａｉｎ＿ｆｌａｇ」に「０」を設定する（ステップＳ１３３）。
なお、複数の画像フレームについての集計結果を用いずに、１つの画像フレームの判定結果を歩行者判定処理の動作モードとする場合、その後のステップＳ１２８からステップＳ１３１により実行される複数の物体の判定内容の集計処理は実行しなくて良い。

（２つの輝度しきい値による２値化処理と２値化対象物の特徴量算出処理）
次に、図２４に示すフローチャートを参照して、図２１に示したフローチャートのステップＳ１２５における２つの輝度しきい値（ＴＨ＿１、ＴＨ＿２）による２値化と２値化対象物の特徴量算出処理について更に詳細に説明する。
図２４において、まず画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌによりグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号を輝度しきい値ＴＨ＿１を用いて２値化処理、すなわち、輝度しきい値ＴＨ＿１より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ１４１）。

また、赤外線画像から輝度しきい値ＴＨ＿１を用いて２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ１４２）。
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ１４３）ことにより、２値化対象物を抽出する処理を行う（ステップＳ１４４）。
２値化対象物の抽出が完了したら、次に、第１の実施例で図３を用いて説明した対象物検出・警報動作のステップＳ８の処理と同様の方法で、抽出した２値化対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ１４５）。

次に、画像処理ユニット１は、同様に赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号を輝度しきい値ＴＨ＿２を用いて２値化処理する（ステップＳ１４６）。
また、赤外線画像から輝度しきい値ＴＨ＿２を用いて２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ１４７）。
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ１４８）ことにより、２値化対象物を抽出する処理を行う（ステップＳ１４９）。
２値化対象物の抽出が完了したら、次に、第１の実施例で図３を用いて説明した対象物検出・警報動作のステップＳ８の処理と同様の方法で、抽出した２値化対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出し（ステップＳ１４９）、２つの輝度しきい値による２値化処理と２値化対象物の特徴量算出処理を終了する。

なお、本実施例の警報判定処理、及び歩行者判定処理は、第１の実施例の警報判定処理、及び歩行者判定処理と同一であるので、ここでは説明を省略する。
また、本実施例では、画像処理ユニット１が、２値化対象物抽出手段と、２値化対象物特徴量算出手段と、対象物画像抽出手段と、対象物画像特徴量算出手段と、特徴量比較手段と、物体状態判定手段と、歩行者認識手段とを含んでいる。より具体的には、図２１のステップＳ１２５、及び図２４のステップＳ１４１とステップＳ１４６の処理が２値化対象物抽出手段に相当し、図１３のステップＳ７１、図２１のステップＳ１２５、及び図２４のステップＳ１４２からステップＳ１４５、ステップＳ１４７からステップＳ１５０の処理が２値化対象物特徴量算出手段に相当し、図７のステップＳ３３、及び図１３のステップＳ７３の処理が対象物画像抽出手段と対象物画像特徴量算出手段に相当する。また、図２１のステップＳ１２６からステップＳ１３０の処理が特徴量比較手段に相当し、図２１のステップＳ１３１からステップＳ１３３の処理が物体状態判定手段に相当し、図１３から図１８のステップＳ７２、ステップＳ７４からステップＳ１１８の処理が歩行者認識手段に相当する。

以上説明したように、本実施例の車両周辺監視装置は、通常時には２値化する時のしきい値を高くする程１つの物体を捉えた２値化対象物の面積が小さくなるが、カメラレンズに付着した雨滴や、空気中の水蒸気や雨滴、あるいは濡れたことによる物体の状態の影響を受けた場合、２値化する時のしきい値を変化させても１つの物体を捉えた２値化対象物の面積は変化しない傾向にあるため、同一の物体に対応する輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）を所定値と比較して、面積が変化したか否かを判定することで、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別する。
従って、第１の実施例と同様に、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ物体の状態判断の信頼性を向上させ、的確に物体の状態を判断可能な車両周辺監視装置を実現することができるという効果が得られる。

更に、第１の実施例と同様に、歩行者認識手段が、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態（降雨の影響を受けていない状態）と、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが降雨による影響を受けている状態とで歩行者の検出方法を変更することで、輝度分散を用いた判定による歩行者の誤検出を防止する。

従って、第１の実施例と同様に、例えばワイパーの動作信号や雨滴センサの検出信号等を利用しなくても物体の状態を判断することができるので、これらを利用するためのセンサ等を設ける必要がなく、コストを削減しつつ歩行者認識の信頼性を向上させ、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。更に、自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌの状態にかかわらず、歩行者の検出精度を維持することができるという効果が得られる。また、例えば画像全体のヒストグラムの状態を降雨判定に用いる場合と異なり、物体の状態を直接判断することができるので、背景の内容等に影響されず、安定して歩行者のみを認識可能な車両周辺監視装置を実現することができるという効果が得られる。

また、輝度しきい値の異なる２種類の２値化対象物の面積Ｓ１、Ｓ２の差分の絶対値（｜Ｓ１−Ｓ２｜）を所定値と比較する際、比較する物体（対象物）の数を増やし、物体の総数に対する判断結果の割合から、総合的に自車両１０の周囲の物体や赤外線カメラ２Ｒ、２Ｌが通常の状態であるか、あるいは降雨による影響を受けている状態（カメラレンズが汚れている場合を含む）であるかを判別することで、物体状態判定手段における物体の状態判断の信頼性、あるいは歩行者認識手段における歩行者認識の信頼性を更に向上させ、状態判断の誤判断や歩行者の誤認識を防止することができるという効果が得られる。

本発明の第１の実施例の車両周辺監視装置の構成を示すブロック図である。 同実施例の車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。 同実施例における車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。 ２値化対象物形状特徴量について示す図である。 グレースケール対象物の抽出方法及び特徴量について示す図である。 同実施例における降雨判定処理動作を示すフローチャートである。 同実施例における降雨判定処理動作を示すフローチャートである。 グレースケール対象物の高さと２値化対象物の高さとについて、通常の状態と降雨による影響を受けている状態とを示す図である。 同実施例における警報判定処理動作を示すフローチャートである。 衝突が発生しやすい場合を示す図である。 車両前方の領域区分を示す図である。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例における歩行者判定処理動作を示すフローチャートである。 同実施例におけるマスク領域設定について示す図である。 対象物が歩行者の一部あるいは全体である場合や、壁の場合のマスク領域ＡＲＥＡ３の輝度分散を示した図である。 第２の実施例における車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。 第２の実施例における車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。 ２つの輝度しきい値による２値化対象物からの中から、同一位置の物体に対応する２値化対象物を探索する方法を示す図である。 同実施例における２つの輝度しきい値による２値化処理と２値化対象物の特徴量算出処理を示すフローチャートである。

符号の説明

２Ｒ、２Ｌ 赤外線カメラ
１０ 自車両（車両）
Ｓ７、Ｓ３１ ２値化対象物抽出手段（第１の実施例）
Ｓ８、Ｓ７１ ２値化対象物特徴量算出手段（第１の実施例）
Ｓ３３、Ｓ７３ 対象物画像抽出手段、対象物画像特徴量算出手段
Ｓ３４ 特徴量比較手段（第１の実施例）
Ｓ３５〜Ｓ５２ 物体状態判定手段（第１の実施例）
Ｓ７２、Ｓ７４〜Ｓ１１８ 歩行者認識手段
Ｓ１２５、Ｓ１４１、Ｓ１４６ ２値化対象物抽出手段（第２の実施例）
Ｓ７１、Ｓ１２５、Ｓ１４２〜Ｓ１４５、Ｓ１４７〜Ｓ１５０ ２値化対象物特徴量算出手段（第２の実施例）
Ｓ１２６〜Ｓ１３０ 特徴量比較手段（第２の実施例）
Ｓ１３１〜Ｓ１３３ 物体状態判定手段（第２の実施例）

Claims (8)

1. 赤外線カメラにより撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
   前記赤外線画像のグレースケール画像を２値化することにより、前記物体を２値化対象物として抽出する２値化対象物抽出手段と、
   前記２値化対象物の高さもしくは幅を特徴量として算出する２値化対象物特徴量算出手段と、
   前記グレースケール画像から前記２値化対象物に対応するグレースケール対象物を抽出する対象物画像抽出手段と、
   前記グレースケール対象物の高さもしくは幅を特徴量として算出する対象物画像特徴量算出手段と、
   前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較する特徴量比較手段と、
   前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断する物体状態判定手段とを備えたことを特徴とする車両周辺監視装置。
2. 前記特徴量比較手段が、複数の物体に対して、前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較し、
   前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記特徴量比較手段が、複数の画像フレームに渡って、前記２値化対象物特徴量算出手段により抽出された特徴量と前記対象物画像特徴量算出手段により抽出された特徴量とを比較し、
   前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である画像フレームの割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする請求項１、または請求項２に記載の車両周辺監視装置。
4. 少なくとも前記２値化対象物特徴量算出手段により算出された特徴量と前記対象物画像特徴量算出手段により算出された特徴量とを用いて歩行者を認識する歩行者認識手段を備え、
   前記歩行者認識手段が、前記物体状態判定手段によって物体もしくは前記赤外線カメラが降雨の影響を受けていると判断された場合、前記歩行者の認識処理方法を降雨モードに変更することを特徴とする請求項１〜３のいずれかに記載の車両周辺監視装置。
5. 赤外線カメラにより撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
   前記赤外線画像のグレースケール画像を複数の輝度しきい値によって２値化することにより、前記物体を輝度しきい値の異なる複数の２値化対象物として抽出する２値化対象物抽出手段と、
   輝度しきい値の異なる前記複数の２値化対象物の面積を特徴量としてそれぞれ算出する２値化対象物特徴量算出手段と、
   前記２値化対象物特徴量算出手段により抽出された輝度しきい値の異なる前記複数の２値化対象物の特徴量を相互に比較する特徴量比較手段と、
   前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断する物体状態判定手段とを備えたことを特徴とする車両周辺監視装置。
6. 前記特徴量比較手段が、複数の物体に対して、前記２値化対象物特徴量算出手段により抽出された輝度しきい値の異なる前記複数の２値化対象物の特徴量を相互に比較し、
   前記物体状態判定手段が、前記特徴量比較手段による比較の結果、前記特徴量の差が所定値以内である物体の割合が所定値以上である場合に、前記物体もしくは前記赤外線カメラが降雨の影響を受けている状態であると判断することを特徴とする請求項５に記載の車両周辺監視装置。
7. 少なくとも前記２値化対象物特徴量算出手段により算出された特徴量と前記対象物画像特徴量算出手段により算出された特徴量とを用いて歩行者を認識する歩行者認識手段を備え、
   前記歩行者認識手段が、前記物体状態判定手段によって物体もしくは前記赤外線カメラが降雨の影響を受けていると判断された場合、前記歩行者の認識処理方法を降雨モードに変更することを特徴とする請求項５又は６に記載の車両周辺監視装置。
8. 前記歩行者認識手段は、降雨モードの歩行者認識方法では、輝度分散による判定を行わないことを特徴とする請求項４又は７に記載の車両周辺監視装置。

Images