JP3934119B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、赤外線画像の２値化処理により、対象物の抽出を行う車両周辺監視装置に関する。

従来、赤外線撮像手段（赤外線カメラ）により捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出する車両周辺監視装置がある。具体的に説明すると、この装置は赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探し、この２値化対象物の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、２値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部を判定することができたら、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。このように、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる（例えば、特許文献１参照。）。

また、このような車両周辺監視装置には、車両周囲の天候が降雨状態で、歩行者が傘等の雨具に隠れてしまう状況にある場合には、歩行者検知警報を抑制するものもある。具体的に説明すると、赤外線センサを使用して歩行者検知を行う場合には、アスファルトや建物の熱を検出してしまうことによる検出精度の低下に加えて、降雨時に歩行者が傘等の雨具に隠れて正確に体温を検出できないことによる検出精度の低下も考えられるため、降雨量が一定値以上、つまり歩行者が傘等の雨具を必要とする程度の降雨であり、雨具の使用により歩行者が隠れてしまうという状況にあることを検出することにより、歩行者検知精度が低下したことを運転者に知らせ、歩行者検知警報の出力を停止する。これにより、車両周囲の天候が降雨状態である時の不適切な歩行者検知警報を抑制することができる（例えば、特許文献２参照。）。
特開平１１−３２８３６４号公報 特開２０００−２１１４５３号公報

上述のように、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴は、いつでも赤外線カメラにより捉えられるとは限らない。例えば、傘を差した歩行者を捉えた赤外線画像（グレースケール画像）を示す図１３のように、歩行者が傘を深く差している場合（図１３の白丸で囲った部分）、歩行者の頭部が隠された状態となり、歩行者を認識することが困難になる可能性が生じるという問題がある。
従って、運転者に対するより効果的な視覚補助を行うには、特許文献１に記載の装置のように、身長相当の存在に基づく形状判定や頭部と胴部の存在に基づく形状判定、あるいは頭部のみによる形状判定等、比較的判別しやすい身体的特徴を用いて歩行者の抽出を行うだけでなく、歩行者の比較的判別しやすい身体的特徴以外の特徴からも歩行者を認識し、歩行者の認識率を向上させる必要がある。
また、たとえ車両周囲の天候が雨天であっても、車両の周囲に歩行者が存在する場合には、特許文献２に記載の装置のように歩行者検知警報の出力を停止せず、雨天で視界が悪いからこそ、積極的に歩行者検出を行うと共に警報を出力して、車両の運転者に注意を促すべきである。

本発明は、上記課題に鑑みてなされたもので、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の認識を行う車両周辺監視装置を提供することを目的とする。

上記課題を解決するために、請求項１の発明に係る車両周辺監視装置は、赤外線撮像手段（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮像されたグレースケール画像を利用して車両（例えば後述する実施例の自車両１０）周囲の対象物を抽出する車両周辺監視装置において、歩行者の脚部の特徴値を記憶した歩行者脚部特徴値記憶手段（例えば後述する実施例の画像処理ユニット１に備えられた歩行者脚部特徴値記憶手段）と、前記グレースケール画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４からステップＳ７の処理）と、前記２値化対象物抽出手段により抽出された前記２値化対象物の特徴値と前記歩行者の脚部の特徴値とを比較して、前記２値化対象物が前記歩行者の脚部であるか否かを判定する脚部判断手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４４の処理）と、前記脚部判断手段により前記２値化対象物が前記歩行者の脚部であると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識する歩行者認識手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４５の処理）とを備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、赤外線撮像手段により撮像されたグレースケール画像から２値化対象物抽出手段により２値化対象物を抽出し、抽出された２値化対象物の特徴値を歩行者脚部特徴値記憶手段に記憶された歩行者の脚部の特徴値と比較することで、脚部判断手段が２値化対象物が歩行者の脚部であるか否かを判定する。そして、脚部判断手段が歩行者の脚部であると判定した場合に、歩行者認識手段が該２値化対象物を含む対象物を歩行者として認識することで、赤外線撮像手段により撮像された歩行者の脚部の存在から車両周囲の歩行者を認識することができる。

請求項２の発明に係る車両周辺監視装置は、赤外線撮像手段（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮像されたグレースケール画像を利用して車両（例えば後述する実施例の自車両１０）周囲の対象物を抽出する車両周辺監視装置において、歩行者が差している状態の傘の特徴値を記憶した傘部特徴値記憶手段（例えば後述する実施例の画像処理ユニット１に備えられた傘部特徴値記憶手段）と、前記グレースケール画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４からステップＳ７の処理）と、前記２値化対象物抽出手段により抽出された前記２値化対象物の前記グレースケール画像上での外周領域を算出する外周領域算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理においてグレースケール対象物領域１０１を求める処理）と、前記外周領域算出手段にて算出された前記外周領域の上端と前記２値化対象物との間の領域に探索領域を設定する探索領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理）と、前記探索領域設定手段により設定された前記探索領域の特徴値と前記歩行者が差している状態の傘の特徴値とを比較して、前記探索領域に前記傘が存在するか否かを判定する傘部判断手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４７からステップＳ４９の処理）と、前記傘部判断手段により前記探索領域に前記歩行者が差している傘が存在すると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識する歩行者認識手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４５の処理）とを備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、赤外線撮像手段により撮像されたグレースケール画像から２値化対象物抽出手段により２値化対象物を抽出すると共に、外周領域算出手段により２値化対象物のグレースケール画像上での外周領域を算出し、更に、探索領域設定手段により、外周領域算出手段にて算出された外周領域の上端と該２値化対象物との間の領域に探索領域を設定する。そして、設定された探索領域の特徴値を傘部特徴値記憶手段に記憶された歩行者が差している状態の傘の特徴値と比較することで、傘部判断手段が探索領域に歩行者が差している傘が存在するか否かを判定し、傘部判断手段が探索領域に歩行者が差している傘が存在すると判定した場合に歩行者認識手段が該２値化対象物を含む対象物を歩行者として認識することで、赤外線撮像手段により撮像された歩行者が差している傘の存在から車両周囲の歩行者を認識することができる。

請求項３の発明に係る車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記２値化対象物抽出手段により抽出された前記２値化対象物の前記グレースケール画像上での外周領域を算出する外周領域算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理においてグレースケール対象物領域１０１を求める処理）を備え、前記脚部判断手段が、前記２値化対象物の幅が所定範囲内で、かつ前記２値化対象物の縦横比が所定縦横しきい値以上で、更に前記２値化対象物が前記外周領域の下端から所定範囲の前記外周領域内に存在する場合に、前記２値化対象物を前記歩行者の脚部であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、外周領域算出手段が、２値化対象物抽出手段により抽出された２値化対象物のグレースケール画像上での外周領域を算出し、脚部判断手段が、２値化対象物の幅が所定範囲内で、かつ２値化対象物の縦横比が所定縦横しきい値以上で、更に２値化対象物が外周領域の下端から所定範囲の外周領域内に存在する場合に、該２値化対象物を歩行者の脚部であると判断することにより、２値化対象物が歩行者の脚部として適当な横幅か、あるいは２値化対象物が歩行者の脚部として適当な縦長形状か、更に２値化対象物が外周領域の下方に存在するか否かを判断して歩行者の存在を判断することができる。

請求項４の発明に係る車両周辺監視装置は、請求項３に記載の車両周辺監視装置において、前記２値化対象物抽出手段により抽出された前記２値化対象物の時系列的な輝度変化の有無を検出する輝度変化検出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４４の処理）を備え、前記脚部判断手段が、前記輝度変化検出手段により前記２値化対象物の時系列的な輝度変化が検出された場合に、前記２値化対象物を前記歩行者の脚部であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、輝度変化検出手段が２値化対象物に時系列的な輝度変化を検出した場合に、脚部判断手段が該２値化対象物を歩行者の脚部であると判断することで、歩行者の歩行による時系列的な輝度変化を検出して対象物が歩行者であるか否かを判断することができる。

請求項５の発明に係る車両周辺監視装置は、請求項４に記載の車両周辺監視装置において、歩行者が差している状態の傘の特徴値を記憶した傘部特徴値記憶手段（例えば後述する実施例の画像処理ユニット１に備えられた傘部特徴値記憶手段）と、前記輝度変化算出手段により時系列的な輝度変化が検出されなかった前記２値化対象物の前記グレースケール画像上での前記外周領域の上端と該２値化対象物との間の領域に探索領域を設定する探索領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理）と、前記探索領域設定手段により設定された前記探索領域の特徴値と前記歩行者が差している状態の傘の特徴値とを比較して、前記探索領域に前記傘が存在するか否かを判定する傘部判断手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４７からステップＳ４９の処理）とを備え、前記歩行者認識手段が、前記脚部判断手段により前記２値化対象物が前記歩行者の脚部であると判定された場合、あるいは前記傘部判断手段により前記探索領域に前記歩行者が差している傘が存在すると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識することを特徴とする。

以上の構成を備えた車両周辺監視装置は、探索領域設定手段により、輝度変化算出手段にて時系列的な輝度変化が検出されなかった２値化対象物のグレースケール画像上での外周領域の上端と該２値化対象物との間の領域に探索領域を設定する。そして、設定された探索領域の特徴値を傘部特徴値記憶手段に記憶された歩行者が差している状態の傘の特徴値と比較することで、傘部判断手段が探索領域に歩行者が差している傘が存在するか否かを判定し、傘部判断手段が探索領域に歩行者が差している傘が存在すると判定した場合、歩行者認識手段は時系列的な輝度変化が検出されなかった２値化対象物を含む対象物でも歩行者として認識することができる。

請求項６の発明に係る車両周辺監視装置は、請求項２、または請求項５に記載の車両周辺監視装置において、前記赤外線撮像手段を２つ備えると共に、２つの前記赤外線撮像手段により撮像された２つのグレースケール画像を利用して、該グレースケール画像に含まれる前記２値化対象物までの距離を算出する距離算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理）と、前記探索領域の左右に副探索領域を設定する副探索領域設定手段と、前記探索領域に含まれる前記２値化対象物と前記副探索領域に含まれる前記２値化対象物との距離が同一である場合に、前記探索領域と前記副探索領域とを統合した統合探索領域を設定する統合探索領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４６の処理）と、前記統合探索領域設定手段により設定された前記統合探索領域の横幅を測定する横幅測定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４８の処理）と、前記統合探索領域設定手段により設定された前記統合探索領域の平均輝度を算出する平均輝度算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４７の処理）とを備え、前記傘部判断手段が、前記統合探索領域の横幅が所定範囲内で、かつ前記統合探索領域の平均輝度が所定輝度しきい値以下である場合に、前記探索領域に前記傘が存在すると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、副探索領域設定手段が、探索領域の左右に副探索領域を設定し、統合探索領域設定手段が、距離算出手段により算出された、探索領域に含まれる２値化対象物と副探索領域に含まれる２値化対象物との距離が同一である場合に、探索領域と副探索領域とを統合した統合探索領域を設定する。そして、傘部判断手段が、横幅測定手段により測定された統合探索領域の横幅が所定範囲内で、かつ平均輝度算出手段により算出された統合探索領域の平均輝度が所定輝度しきい値以下である場合に、探索領域に前記傘が存在すると判断することで、統合探索領域に含まれる２値化対象物が歩行者の差している傘として適当な横幅と平均輝度であるか否かを判断して歩行者の存在を判断することができる。

請求項７の発明に係る車両周辺監視装置は、請求項６に記載の車両周辺監視装置において、前記２値化対象物抽出手段により抽出された前記２値化対象物の重心の位置を算出する２値化対象物重心位置算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４９の処理）と、前記統合探索領域設定手段により設定された前記統合探索領域の重心の位置を算出する領域重心位置算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４９の処理）とを備え、前記傘部判断手段が、前記統合探索領域の横幅が所定範囲内で、かつ前記統合探索領域の平均輝度が所定輝度しきい値以下であり、更に前記２値化対象物の重心と前記統合探索領域の重心との横方向の位置の差が所定距離しきい値以下ある場合に、前記探索領域に前記傘が存在すると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、傘部判断手段が、横幅測定手段により測定された統合探索領域の横幅が所定範囲内で、かつ平均輝度算出手段により算出された統合探索領域の平均輝度が所定輝度しきい値以下であり、更に２値化対象物重心位置算出手段により算出された２値化対象物の重心と、領域重心位置算出手段により算出された統合探索領域の重心との横方向の位置の差が所定距離しきい値以下ある場合に、探索領域に傘が存在すると判断することで、統合探索領域が歩行者の差している傘として適当な横幅と平均輝度であり、更に歩行者と思われる２値化対象物の重心の位置と歩行者の差している傘の範囲と思われる統合探索領域の重心の位置とが適当な位置関係にあるか否かを判断して歩行者の存在を判断することができる。

請求項８の発明に係る車両周辺監視装置は、請求項１から請求項７のいずれかに記載の車両周辺監視装置において、前記車両周囲の降雨状態を検知する雨天検知手段（例えば後述する実施例の自車両１０に備えられたワイパー作動状態検出手段、あるいは雨滴センサ）を備え、前記歩行者認識手段が、前記雨天検知手段により前記車両周囲の降雨状態が検知された場合にのみ、前記グレースケール画像中の前記歩行者の脚部あるいは前記歩行者が差している傘の存在から前記歩行者を認識する処理を実行することを特徴とする。

以上の構成を備えた車両周辺監視装置は、雨天検知手段を備えて車両周囲の降雨状態を検知し、車両周囲の降雨状態が検知された場合にのみ、歩行者認識手段がグレースケール画像中の歩行者の脚部あるいは歩行者が差している傘の存在から歩行者を認識する処理を実行することで、車両周囲が雨天の場合にのみ、雨天の時の歩行者の特徴から歩行者を認識することができる。

請求項９の発明に係る車両周辺監視装置は、請求項１から請求項８のいずれかに記載の車両周辺監視装置において、前記歩行者認識手段が前記２値化対象物を含む前記対象物を歩行者として認識した場合に該歩行者に関する警報を出力する警報出力手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ１９、Ｓ２０の処理）を備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が、歩行者認識手段により２値化対象物を含む対象物を歩行者として認識した場合に該歩行者に関する警報を出力することで、歩行者として認識した対象物にのみ警報を出力することができる。

請求項１０の発明に係る車両周辺監視装置は、請求項９に記載の車両周辺監視装置において、前記赤外線撮像手段により撮像された前記車両周囲の映像を表示する表示手段（例えば後述する実施例の画像表示装置７）を備え、前記警報出力手段が、前記歩行者認識手段により前記歩行者として認識された前記対象物と、前記歩行者として認識されなかった前記対象物とを、前記表示手段に識別可能に表示することを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が、歩行者認識手段により歩行者として認識された対象物と歩行者として認識されなかった対象物とを、表示手段に識別して表示することで、歩行者認識手段により歩行者として認識された対象物を目立たせることができる。

請求項１１の発明に係る車両周辺監視装置は、請求項１０に記載の車両周辺監視装置において、前記警報出力手段が、前記歩行者認識手段により前記歩行者として認識された前記対象物と、前記歩行者として認識されなかった前記対象物とを、前記表示手段に識別可能に表示すると共に、警告音を出力することを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が、歩行者認識手段により歩行者として認識された対象物と歩行者として認識されなかった対象物とを、表示手段に識別して表示すると共に警告音を出力することで、歩行者認識手段により歩行者として認識された対象物を目立たせ、更に周囲に報知することができる。

請求項１２の発明に係る車両周辺監視装置は、請求項１０、または請求項１１に記載の車両周辺監視装置において、前記歩行者認識手段が前記２値化対象物を含む前記対象物を歩行者として認識した場合に、該歩行者が警報を出力するべき対象であるか否かを判定する警報判定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ１８の処理）を備え、前記警報出力手段が、前記警報判定手段により警報を出力するべき歩行者であると判定された前記対象物と、警報を出力するべき歩行者であると判定されなかった前記対象物とを、前記表示手段に識別可能に表示することを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報判定手段が、歩行者認識手段が２値化対象物を含む対象物を歩行者として認識した場合に、該歩行者が警報を出力するべき対象であるか否かを判定し、警報出力手段が、警報判定手段により警報を出力するべき歩行者であると判定された対象物と、警報を出力するべき歩行者であると判定されなかった対象物とを、表示手段に識別可能に表示することで、警報を出力するべき歩行者と判定された対象物だけを目立たせることができる。

請求項１３の発明に係る車両周辺監視装置は、請求項１０から請求項１２のいずれかに記載の車両周辺監視装置において、前記警報出力手段が、前記表示手段に前記対象物を識別可能に表示する場合に、該対象物を強調表示することを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が、表示手段に対象物を強調表示することで、目立たせたい対象物を容易に判別することができる。

請求項１に記載の車両周辺監視装置によれば、脚部判断手段が２値化対象物を歩行者の脚部であると判定した場合に、歩行者認識手段が該２値化対象物を含む対象物を歩行者として認識することで、赤外線撮像手段により撮像された歩行者の脚部の存在から車両周囲の歩行者を認識することができる。
従って、赤外線画像を利用して車両周囲の歩行者を認識する場合に、従来のように歩行者の身体的特徴の判定が容易な歩行者の頭部を検出することができなくても、赤外線画像から歩行者の脚部の存在を判定することにより、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の認識を行う車両周辺監視装置を実現することができるという効果が得られる。

請求項２に記載の車両周辺監視装置によれば、傘部判断手段が２値化対象物の上方の探索領域に歩行者が差している傘が存在すると判定した場合に、歩行者認識手段が該２値化対象物を含む対象物を歩行者として認識することで、赤外線撮像手段により撮像された歩行者が差している傘の存在から車両周囲の歩行者を認識することができる。
従って、赤外線画像を利用して車両周囲の歩行者を認識する場合に、歩行者が傘を差していることで歩行者の身体的特徴の判定が容易な歩行者の頭部を検出することができなくても、赤外線画像から歩行者の差している傘の存在を判定することにより、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の認識を行う車両周辺監視装置を実現することができるという効果が得られる。

請求項３に記載の車両周辺監視装置によれば、２値化対象物が歩行者の脚部として適当な横幅か、あるいは２値化対象物が歩行者の脚部として適当な縦長形状か、更に２値化対象物が外周領域の下方に存在するか否かを判断して歩行者の存在を判断することができる。
従って、例えば２値化対象物として歩行者の脚部と類似する形状の看板等を抽出した場合でも、形状や画像中で存在する場所が歩行者の脚部として適当でない２値化対象物を除外することで、２値化対象物の形状が歩行者の脚部と類似する形状の看板等を歩行者の脚部と認識することを防止できるという効果が得られる。

請求項４に記載の車両周辺監視装置によれば、歩行者の歩行による時系列的な輝度変化を検出して対象物が歩行者であるか否かを判断することができる。
従って、従来は歩行者を認識するときの妨げになっていた歩行者の歩行に伴う脚部の輝度変化を利用して対象物が歩行者であるか否かを判断するので、歩行者の認識率を向上させることができるという効果が得られる。

請求項５に記載の車両周辺監視装置によれば、傘部判断手段が探索領域に歩行者が差している傘が存在すると判定した場合、歩行者認識手段は時系列的な輝度変化が検出されなかった２値化対象物を含む対象物でも歩行者として認識することができる。
従って、歩行者の歩行に伴う脚部の輝度変化を利用して対象物が歩行者であるか否かを判断することで、逆に歩行せずに停止している歩行者の脚部が検出できない場合が発生しても、歩行者の差している傘の存在から歩行者を認識することができるので、歩行者の歩行の如何を問わず対象物が歩行者であるか否かを判断することが可能となり、歩行者の認識率を向上させることができるという効果が得られる。

請求項６に記載の車両周辺監視装置によれば、統合探索領域に含まれる２値化対象物が歩行者の差している傘として適当な横幅と平均輝度であるか否かを判断して歩行者の存在を判断することができる。
従って、横幅や平均輝度が歩行者の差している傘として適当でない２値化対象物を除外することで、正確に赤外線撮像手段により撮像された歩行者の差している傘の存在を判断し、歩行者の認識率を向上させることができるという効果が得られる。

請求項７に記載の車両周辺監視装置によれば、統合探索領域が歩行者の差している傘として適当な横幅と平均輝度であり、更に歩行者と思われる２値化対象物の重心の位置と歩行者の差している傘の範囲と思われる統合探索領域の重心の位置とが適当な位置関係にあるか否かを判断して歩行者の存在を判断することができる。
従って、横幅や平均輝度が歩行者の差している傘として適当でないものや、歩行者と思われる部分の重心の位置と歩行者の差している傘と思われる部分の重心の位置とがずれていて、適当な位置関係にないものを除外することで、歩行者が差している傘と判断できない他の傘、あるいは他の対象物の存在から歩行者を認識することを防止できるという効果が得られる。

請求項８に記載の車両周辺監視装置によれば、車両周囲が雨天の場合にのみ、雨天の時の歩行者の特徴から歩行者を認識することができる。
従って、車両周囲が雨天の場合には雨天の時の歩行者の特徴から歩行者を認識し、その他の場合には雨天の時の歩行者の特徴を利用しないことで、車両周囲が雨天でない時に歩行者の脚部あるいは歩行者の差している傘でない対象物を検出することを防止し、歩行者の認識率を向上させることができるという効果が得られる。

請求項９に記載の車両周辺監視装置によれば、歩行者認識手段により２値化対象物を含む対象物を歩行者として認識した場合に該歩行者に関する警報を出力することで、歩行者として認識した対象物にのみ警報を出力することができる。
従って、歩行者以外の対象物に不要な警報を出力せずに、歩行者のみに対する注意を車両の運転者に促すことができるという効果が得られる。

請求項１０に記載の車両周辺監視装置によれば、歩行者認識手段により歩行者として認識された対象物を目立たせることができる。
従って、歩行者の存在をより強く目立たせ、歩行者に対する注意を車両の運転者に促すことができるという効果が得られる。

請求項１１に記載の車両周辺監視装置によれば、歩行者認識手段により歩行者として認識された対象物を目立たせ、更に周囲に報知することができる。
従って、表示手段に表示された歩行者の存在を見逃す可能性を排除して、歩行者の存在をより強く目立たせ、歩行者に対する注意をより強く車両の運転者に促すことができるという効果が得られる。

請求項１２に記載の車両周辺監視装置によれば、警報を出力するべき歩行者と判定された対象物だけを目立たせることができる。
従って、歩行者以外の対象物に不要な警報を出力せずに、更に歩行者であっても、例えば車両との衝突の可能性が高い歩行者等、特に注意が必要な歩行者のみに対する注意を車両の運転者に促すことができるという効果が得られる。

請求項１３に記載の車両周辺監視装置によれば、目立たせたい対象物を容易に判別することができる。
従って、注意が必要な歩行者の存在をわかりやすくすることにより明確に車両の運転者に意識させ、歩行者に対する注意をより強く車両の運転者に促すことができるという効果が得られる。

以下、図面を参照して本発明の実施例について説明する。

（全体構成）
図１は、本発明の一実施例の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施例の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。

また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

また、画像処理ユニット１は、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合でも車両周囲の歩行者を認識するために、歩行者判定処理において利用する、歩行者の脚部の特徴値を記憶した歩行者脚部特徴値記憶手段、及び歩行者が差している状態の傘の特徴値を記憶した傘部特徴値記憶手段を備えている。

また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

次に、本実施例の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施例の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
図３において、まず画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度しきい値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。

次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
２値化対象物の抽出が完了したら、次に、抽出した２値化対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。

ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

２値化対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。

なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施例では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。

一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出する（ステップＳ１１）。

次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ４を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。

ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離ｚの算出が完了したら、次に、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１４）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。

また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１５）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。

次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。

また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。

ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが加速度しきい値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。

また、加速度Ｇｓが加速度しきい値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
なお、加速度しきい値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。

（警報判定処理）
次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳細に説明する。
図５は、本実施例の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。

図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。

次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。

更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。

一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。なお、歩行者判定処理については、詳細を後述する。

また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、対象物画像に、例えば以下の（ａ）から（ｄ）に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
（ａ）対象物の画像に直線エッジを示す部分が含まれる場合。
（ｂ）対象物の画像の角が直角である場合。
（ｃ）対象物の画像に同じ形状のものが複数含まれている場合。
（ｄ）対象物の画像が予め登録された人口構造物の形状と一致する場合。

従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。

一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。

（歩行者判定処理）
次に、図８に示すフローチャート及び図９から図１２に示す模式図を参照して、図５に示したフローチャートのステップＳ３４における歩行者判定処理について更に詳細に説明する。図８は、本実施例における車両周囲が降雨状態の場合の歩行者判定処理動作を示すフローチャートである。

本実施例の歩行者判定処理では、車両周囲が降雨状態ではない場合は、従来通り歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴についての形状判定により対象物から歩行者を認識する。一方、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合でも歩行者を認識するために、本実施例の歩行者判定処理は、グレースケール画像中の歩行者の脚部の存在かあるいは歩行者が差している傘の存在を確かめて、歩行者を認識する。また、本実施例の歩行者判定処理は、車両周囲が降雨状態である場合、図８に示す一連の処理を例えば１００［ｍｓｅｃ］周期で実行する。
なお、車両周囲が降雨状態であるか否かは、自車両１０にワイパーの作動状態を検出するワイパー作動状態検出手段を備え、自車両１０に備えられたワイパーの作動状態から判定したり、自車両１０に雨滴を検出する雨滴センサを備え、雨滴センサの出力信号から判定すれば良い。

車両周囲が降雨状態である場合の歩行者判定処理について詳細に説明すると、図８において、画像処理ユニット１は、グレースケール画像中の歩行者の脚部の存在を確かめるために、まず、歩行者の脚部存在判定を行う際の２値化対象物とグレースケール対象物領域の位置関係を示す図９のように、目的の２値化対象物１００の実空間での幅ＷＢが歩行者の脚部として適当な幅であり、２値化対象物１００の実空間での幅ＷＢが所定範囲内か否かを判定する（ステップＳ４１）。具体的には、下記（１）式により算出される２値化対象物１００の実空間での幅ＷＢが、予め設定された脚部最小幅（例えば、３０［ｃｍ］）以上で、かつ予め設定された脚部最大幅（例えば、７０［ｃｍ］）以下であるか否かを判定する。

ＷＢ＝ｗｂ×Ｄｉｓｔａｎｃｅ／（Ｆ／ｐ） ・・・（１）

なお、（１）式において、ｗｂは、図９に示すように、２値化対象物１００の画像上での幅（２値化対象物の外接四角形の幅）を示し、またＤｉｓｔａｎｃｅは２値化対象物１００の実空間における自車両１０からの距離［ｍ］、Ｆは赤外線カメラ２Ｒ、２Ｌの焦点距離［ｍ］、ｐは画素ピッチ［ｍ／ｐｉｘｅｌ］をそれぞれ示す。

もし、ステップＳ４１において、２値化対象物１００の実空間での幅ＷＢが、脚部最小幅（例えば、３０［ｃｍ］）以上で、かつ脚部最大幅（例えば、７０［ｃｍ］）以下であり、目的の２値化対象物１００の実空間での幅ＷＢが歩行者の脚部として適当な幅であると判定された場合（ステップＳ４１のＹＥＳ）、次に、画像処理ユニット１は、目的の２値化対象物１００が縦長形状であるか否かを判定する（ステップＳ４２）。具体的には、２値化対象物１００の画像上での高さ（２値化対象物の外接四角形の高さ）ｈｂと２値化対象物１００の画像上での幅ｗｂとの比（ｈｂ／ｗｂ）が、縦横比率しきい値（例えば、１）以上であるか否かを判定し、「（ｈｂ／ｗｂ）≧縦横比率しきい値」の場合、２値化対象物１００は縦長形状であると判定する。

そして、ステップＳ４２において、「（ｈｂ／ｗｂ）≧縦横比率しきい値」であり、目的の２値化対象物１００が縦長形状であると判定された場合（ステップＳ４２のＹＥＳ）、画像処理ユニット１は、２値化対象物１００の下端位置が、グレースケール対象物（グレースケール画像上の対象物）領域の下部（下半分）に存在するか否かを判定する（ステップＳ４３）。具体的には、図９に示すように、２値化対象物１００を包含するグレースケール画像上の対象物の領域であるグレースケール対象物領域１０１を設定し、２値化対象物１００の位置が該グレースケール対象物領域１０１の高さｈｇに対して下記（２）式を満足するか否かを判定する。

ｙｂ＋ｈｂ≧ｙｇ＋ｈｇ／２ ・・・（２）

なお、（２）式において、ｙｂは、図９に示すように、グレースケール画像の左上端を原点（０、０）とした場合の、２値化対象物１００の左上端座標（ｘｂ、ｙｂ）のＹ軸座標を示す。またｙｇは、同様に、グレースケール画像の左上端を原点（０、０）とした場合の、グレースケール対象物領域１０１の左上端座標（ｘｇ、ｙｇ）のＹ軸座標を示す。

また、画像処理ユニット１は、所定の大きさのマスク領域を２値化対象物外接四角形の上端から複数個並べてグレースケール画像上に設定し、マスク領域内の輝度変化が大きく（対象物と背景画像とが含まれている）、かつ左右の画像間のマスク領域の相関度が高いと共に、更に２値化対象物と同距離（同視差）であるマスク領域を包含する領域を抽出することで、グレースケール対象物領域１０１を求める。

また、ステップＳ４３において、２値化対象物１００の位置がグレースケール対象物領域１０１の高さｈｇに対して（２）式を満足し、２値化対象物１００の下端位置が、グレースケール対象物領域１０１の下部（下半分）に存在すると判定された場合（ステップＳ４３のＹＥＳ）、画像処理ユニット１は、２値化対象物１００に時系列的な輝度変化があるか否かを判定する（ステップＳ４４）。この処理は、２値化対象物１００が歩行者の脚部であれば、歩行者の歩行動作に連動して画像上の形状が変化するので、その変化を検出するために行われる。

具体的には、２値化対象物の外接四角形内の輝度分散を求め、該輝度分散のばらつきから、輝度分散の標準偏差σを算出する。次に、算出された標準偏差σが輝度分散判定しきい値σＴＨ以上であるか否かを判定する。なお、画像処理ユニット１は、輝度分散の標準偏差σを算出する場合、処理の実行周期は例えば０．５［秒］程度として、この０．５［秒］間に得られるｍ個の輝度分散のばらつきから輝度分散の標準偏差σを算出する。

そして、ステップＳ４４において、算出された標準偏差σが輝度分散判定しきい値σＴＨ以上で、２値化対象物１００に時系列的な輝度変化があると判定された場合、該２値化対象物１００は歩行者の脚部であると認識し（ステップＳ４４のＹＥＳ）、画像処理ユニット１は、検出された対象物は歩行者であると判定して（ステップＳ４５）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。

一方、２値化対象物１００に時系列的な輝度変化があるか否かを判定する場合は、歩行している歩行者の脚部を認識することができるものの、歩行者が静止している場合には、２値化対象物１００が歩行者の脚部であっても、時間の経過によって画像上の形状が変化することがなく、歩行者の脚部として認識することができない。そこで、ステップＳ４４において、算出された標準偏差σが輝度分散判定しきい値σＴＨ未満で、２値化対象物１００に時系列的な輝度変化がないと判定された場合（ステップＳ４４のＮＯ）、画像処理ユニット１は、グレースケール画像中の歩行者が差している傘の存在を確かめて、歩行者を認識する。

詳細に説明すると、まず画像処理ユニット１は、歩行者が差している傘と思われる傘領域の設定を行う（ステップＳ４６）。具体的には、歩行者の差している傘存在判定を行う際の傘領域のエッジを示す図１０のように、まず微分フィルタを用いてグレースケール画像を微分し、更に２値化処理することにより、歩行者が差している傘１０２と思われる領域のエッジ部分１０３の存在を判定する。そして、２値化対象物１００の上方向に存在し、輝度変化が大きいエッジ部分１０３があれば、エッジ部分１０３のＹ軸座標を求め、これを傘領域の下端位置Ａｙとする。一方、グレースケール対象物領域１０１の上端位置のＹ軸座標を傘領域の上端位置Ｂｙとする。

また、エッジ部分１０３が存在する場合、歩行者の差している傘存在判定を行う際の傘領域とグレースケール対象物領域の位置関係を示す図１１のように、グレースケール対象物領域１０１の左右に、傘領域の下端位置Ａｙと傘領域の上端位置Ｂｙとで囲まれた幅Ｍｗの複数のマスク領域Ｍ１、Ｍ２、Ｍ３、Ｍ４・・・を設定し、それぞれのマスク領域Ｍ１、Ｍ２、Ｍ３、Ｍ４・・・の自車両１０からの距離を算出する。そして、歩行者の差している傘存在判定を行う際の傘領域と２値化対象物及びグレースケール対象物領域の位置関係を示す図１２のように、２値化対象物１００と同一距離に存在するマスク領域を全て統合して、歩行者が差している傘１０２と思われる領域を示す傘領域１０４を推定する。

すなわち、図１１に示す例では、マスク領域Ｍ１、Ｍ２、Ｍ３を統合して、２値化対象物１００と同一距離に存在するマスク領域Ｍ１の右端のＸ軸座標を求め、これを傘領域の右端位置Ｃｘとすると共に、同様に２値化対象物１００と同一距離に存在するマスク領域Ｍ３の左端のＸ軸座標を求め、これを傘領域の左端位置Ｄｘとし、図１２に示すように、座標Ａｙ、Ｂｙ、Ｃｘ、Ｄｘで囲まれた領域を傘領域１０４とする。

一方、ステップＳ４６において、歩行者が差している傘１０２と思われる傘領域１０４の設定を行うことができたら、画像処理ユニット１は、設定された傘領域１０４の輝度判定を行い、２値化対象物１００の上方に温度の低い領域（輝度が低い領域）が存在するか否かを判定する（ステップＳ４７）。具体的には、傘領域１０４の平均輝度ＡＶＥが傘判定輝度しきい値ＴＨ１より低いか否かを判定する。

また、ステップＳ４７において、傘領域１０４の平均輝度ＡＶＥが傘判定輝度しきい値ＴＨ１より低く、２値化対象物１００の上方に温度の低い領域（輝度が低い領域）が存在すると判定された場合（ステップＳ４７のＹＥＳ）、画像処理ユニット１は、傘領域１０４の横幅が歩行者の差している傘として適当な横幅であり、傘領域１０４の横幅が所定範囲内か否かを判定する（ステップＳ４８）。具体的には、傘領域１０４の横幅（＝｜Ｃｘ−Ｄｘ｜）について下記（３）式を満足するか否かを判定する。

ＴＨ２≦｜Ｃｘ−Ｄｘ｜≦ＴＨ３ ・・・（３）

なお、（３）式において、ＴＨ２は傘領域の幅の下限しきい値、ＴＨ３は傘領域の幅の上限しきい値をそれぞれ示す。また、一例として、傘領域の幅の下限しきい値ＴＨ２は、歩行者の肩幅を想定して例えば７０［ｃｍ］とする。同様に、一例として、傘領域の幅の上限しきい値ＴＨ３は、歩行者の差している一般的な傘の幅を想定して例えば１５０［ｃｍ］とする。

また、ステップＳ４８において、傘領域１０４の横幅（＝｜Ｃｘ−Ｄｘ｜）が（３）式を満足し、傘領域１０４の横幅が歩行者の差している傘として適当な横幅であると判定された場合（ステップＳ４８のＹＥＳ）、画像処理ユニット１は、歩行者と該歩行者の差している傘とが適当な位置関係であり、傘領域１０４の重心位置と２値化対象物１００の重心位置との位置関係が条件内か否かを判定する（ステップＳ４９）。具体的には、図１２に示すように、傘領域１０４の重心位置座標（Ｕｘ、Ｕｙ）のＸ軸座標Ｕｘと２値化対象物１００の重心位置座標（Ｌｘ、Ｌｙ）のＸ軸座標Ｌｘとの関係が下記（４）式を満足するか否かを判定する。

｜Ｕｘ−Ｌｘ｜≦ＴＨ４ ・・・（４）

なお、（４）式において、ＴＨ４は重心ずれに対する重心ずれしきい値を示す。また、一例として、重心ずれしきい値ＴＨ４は、想定した歩行者の肩幅の半分として例えば３５［ｃｍ］とする。

そして、ステップＳ４９において、傘領域１０４の重心位置座標のＸ軸座標Ｕｘと２値化対象物１００の重心位置座標のＸ軸座標Ｌｘとの関係が下記（４）式を満足し、傘領域１０４の重心位置座標と２値化対象物１００の重心位置座標との位置関係が、歩行者と該歩行者の差している傘との位置関係として適当であると判定された場合、該２値化対象物１００の上方には歩行者の差している傘が存在すると認識し（ステップＳ４９のＹＥＳ）、画像処理ユニット１は、検出された対象物は歩行者であると判定して（ステップＳ４５）歩行者判定処理を終了し、図５に示すステップＳ３４のＹＥＳとして図５のステップＳ３５へ進み、人工構造物判定を行う。

一方、ステップＳ４１において、２値化対象物１００の実空間での幅ＷＢが、脚部最小幅（例えば、３０［ｃｍ］）未満か、あるいは脚部最大幅（例えば、７０［ｃｍ］）より大きく、目的の２値化対象物１００の実空間での幅ＷＢが歩行者の脚部として適当な幅でないと判定された場合（ステップＳ４１のＮＯ）、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ４２において、「（ｈｂ／ｗｂ）＜縦横比率しきい値」であり、目的の２値化対象物１００が縦長形状でないと判定された場合（ステップＳ４２のＮＯ）も、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ４３において、２値化対象物１００の位置がグレースケール対象物領域１０１の高さｈｇに対して（２）式を満足せず、２値化対象物１００の下端位置が、グレースケール対象物領域１０１の下部（下半分）に存在しないと判定された場合（ステップＳ４３のＮＯ）も、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ４７において、傘領域１０４の平均輝度ＡＶＥが傘判定輝度しきい値ＴＨ１以上で、２値化対象物１００の上方に温度の低い領域（輝度が低い領域）が存在しないと判定された場合（ステップＳ４７のＮＯ）も、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ４８において、傘領域１０４の横幅（＝｜Ｃｘ−Ｄｘ｜）が（３）式を満足せず、傘領域１０４の横幅が歩行者の差している傘として適当な横幅でないと判定された場合（ステップＳ４８のＮＯ）も、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、ステップＳ４９において、傘領域１０４の重心位置座標のＸ軸座標Ｕｘと２値化対象物１００の重心位置座標のＸ軸座標Ｌｘとの関係が下記（４）式を満足せず、傘領域１０４の重心位置座標と２値化対象物１００の重心位置座標との位置関係が、歩行者と該歩行者の差している傘との位置関係として適当でないと判定された場合（ステップＳ４９のＮＯ）も、画像処理ユニット１は、検出された対象物は歩行者ではないと判定して（ステップＳ５０）歩行者判定処理を終了し、図５に示すステップＳ３４のＮＯとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

また、本実施例では、画像処理ユニット１が、２値化対象物抽出手段と、警報判定手段と、警報出力手段と、脚部判断手段と、輝度変化検出手段と、歩行者認識手段とを含んでいる。より具体的には、図３のステップＳ４からステップＳ７の処理が２値化対象物抽出手段に相当し、図３のステップＳ１８の処理が警報判定手段に相当し、図３のステップＳ１９、ステップＳ２０の処理が警報出力手段に相当し、図８のステップＳ４１からステップＳ４４の処理が脚部判断手段に相当し、図８のステップＳ４４の処理が輝度変化検出手段に相当し、図８のステップＳ４５の処理が歩行者認識手段に相当する。

更に、本実施例では、画像処理ユニット１が、外周領域算出手段と、探索領域設定手段と、距離算出手段と、統合探索領域設定手段とを含んでいる。より具体的には、図８のステップＳ４６の処理が外周領域算出手段、探索領域設定手段、距離算出手段、統合探索領域設定手段の全てを含んでいる。

更に、本実施例では、画像処理ユニット１が、傘部判断手段と、平均輝度算出手段と、横幅測定手段と、２値化対象物重心位置算出手段と、領域重心位置算出手段とを含んでいる。より具体的には、図８のステップＳ４７からステップＳ４９の処理が傘部判断手段に相当し、図８のステップＳ４７の処理が平均輝度算出手段に相当し、図８のステップＳ４８の処理が横幅測定手段に相当し、図８のステップＳ４９の処理が２値化対象物重心位置算出手段と領域重心位置算出手段に相当する。

以上説明したように、本実施例の車両周辺監視装置は、車両周囲が降雨状態ではない場合は、従来通り歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴についての形状判定により対象物から歩行者を認識する一方、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合には、グレースケール画像中の歩行者の脚部の存在か、あるいは歩行者が差している傘の存在を確かめて、歩行者を認識する。

具体的には、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、図９に示すように、目的の２値化対象物１００の実空間での幅ＷＢが歩行者の脚部として適当な幅であるという条件と、同様に、目的の２値化対象物１００が縦長形状であるという条件と、同様に、目的の２値化対象物１００の下端位置がグレースケール対象物領域１０１の下部（下半分）に存在するという条件と、同様に、目的の２値化対象物１００に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の２値化対象物１００は歩行者の脚部であり、検出された対象物は歩行者であると認識する。

一方、目的の２値化対象物１００に時系列的な輝度変化がないときに、グレースケール画像中の歩行者が差している傘の存在を確かめて歩行者を認識する場合は、図１２に示すように、目的の２値化対象物１００の上方に傘領域１０４として温度の低い領域（輝度が低い領域）が存在するという条件と、傘領域１０４の横幅が歩行者の差している傘として適当な横幅であるという条件と、傘領域１０４の重心位置座標と２値化対象物１００の重心位置座標との位置関係が、歩行者と該歩行者の差している傘との位置関係として適当であるという条件とを全て満足する場合に、目的の２値化対象物１００の上方に歩行者の差している傘が存在するので、検出された対象物は歩行者であると認識する。

従って、赤外線画像を利用して車両周囲の歩行者を認識する場合に、従来のように歩行者の身体的特徴の判定が容易な歩行者の頭部を検出することができなくても、赤外線画像から歩行者の脚部の存在を判定することにより、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の認識を行う車両周辺監視装置を実現することができるという効果が得られる。また、歩行者が傘を差していることで従来のように歩行者の身体的特徴の判定が容易な歩行者の頭部を検出することができず、更に歩行者の脚部を認識することができなくても、赤外線画像から歩行者の差している傘の存在を判定することにより、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、安定した歩行者の認識を行う車両周辺監視装置を実現することができるという効果が得られる。

また、特に歩行者の脚部の存在を判定する場合、２値化対象物１００が歩行者の脚部として適当な横幅か、あるいは２値化対象物１００が歩行者の脚部として適当な縦長形状か、更に２値化対象物１００が外周領域の下方に存在するか否かを判断することで、例えば２値化対象物１００として歩行者の脚部と類似する形状の看板等を抽出した場合でも、形状や画像中で存在する場所が歩行者の脚部として適当でない２値化対象物を除外することで、看板等を歩行者の脚部として認識することを防止できるという効果が得られる。

また、歩行者の歩行に伴う脚部の輝度変化を利用して２値化対象物１００が歩行者であるか否かを判断し、歩行者の認識率を向上させることができるものの、逆に歩行せずに停止している歩行者の脚部が検出できない場合が発生しても、歩行者の差している傘の存在から歩行者を認識することができるので、歩行者の歩行の如何を問わず対象物が歩行者であるか否かを判断することが可能となり、歩行者の認識率を向上させることができるという効果が得られる。

また、特に歩行者の差している傘の存在を判定する場合、傘と思われる領域が歩行者の差している傘として適当な横幅と平均輝度であり、更に歩行者と思われる２値化対象物の重心の位置と歩行者の差している傘の範囲と思われる領域の重心の位置とが適当な位置関係にあるか否かを判断して歩行者の存在を判断することで、横幅や平均輝度、更にはその位置が歩行者の差している傘として適当でないものを除外し、歩行者が差している傘と判断できない他の傘、あるいは他の対象物の存在から歩行者を認識することを防止できるという効果が得られる。

また、車両周囲が雨天の場合には歩行者の脚部あるいは歩行者の差している傘の存在から歩行者を認識し、その他の場合にはこれらの特徴を利用しないことで、車両周囲が雨天でない時に歩行者の脚部あるいは歩行者の差している傘でない対象物を検出することを防止し、歩行者の認識率を向上させることができるという効果が得られる。
なお、歩行者として認識した対象物にのみ警報を出力する、更に歩行者であっても、例えば車両との衝突の可能性が高い歩行者等、特に注意が必要な歩行者にのみ警報を出力することで、注意が必要な歩行者の存在をより強く目立たせ、歩行者に対する注意をより強く車両の運転者に促すことができるという効果が得られる。

本発明の一実施例の車両周辺監視装置の構成を示すブロック図である。 同実施例の車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。 同実施例における車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。 同実施例における警報判定処理動作を示すフローチャートである。 衝突が発生しやすい場合を示す図である。 車両前方の領域区分を示す図である。 同実施例における車両周囲が降雨状態の場合の歩行者判定処理動作を示すフローチャートである。 歩行者判定処理において歩行者の脚部存在判定を行う際の２値化対象物とグレースケール対象物領域の位置関係を示す図である。 歩行者判定処理において歩行者の差している傘存在判定を行う際の傘領域のエッジを示す図である。 歩行者判定処理において歩行者の差している傘存在判定を行う際の傘領域とグレースケール対象物領域の位置関係を示す図である。 歩行者判定処理において歩行者の差している傘存在判定を行う際の傘領域と２値化対象物及びグレースケール対象物領域の位置関係を示す図である。 傘を差した歩行者を捉えた赤外線画像（グレースケール画像）を示す図である。

符号の説明

１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ（赤外線撮像手段）
７ 画像表示装置（表示手段）
１０ 自車両（車両）
Ｓ４〜Ｓ７ ２値化対象物抽出手段
Ｓ１８ 警報判定手段
Ｓ１９、Ｓ２０ 警報出力手段
Ｓ４１〜Ｓ４４ 脚部判断手段
Ｓ４４ 輝度変化検出手段
Ｓ４５ 歩行者認識手段
Ｓ４６ 外周領域算出手段、探索領域設定手段、距離算出手段、統合探索領域設定手段
Ｓ４７〜Ｓ４９ 傘部判断手段
Ｓ４７ 平均輝度算出手段
Ｓ４８ 横幅測定手段
Ｓ４９ ２値化対象物重心位置算出手段、領域重心位置算出手段

Claims (13)

1. 赤外線撮像手段により撮像されたグレースケール画像を利用して車両周囲の対象物を抽出する車両周辺監視装置において、
   歩行者の脚部の特徴値を記憶した歩行者脚部特徴値記憶手段と、
   前記グレースケール画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段と、
   前記２値化対象物抽出手段により抽出された前記２値化対象物の特徴値と前記歩行者の脚部の特徴値とを比較して、前記２値化対象物が前記歩行者の脚部であるか否かを判定する脚部判断手段と、
   前記脚部判断手段により前記２値化対象物が前記歩行者の脚部であると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識する歩行者認識手段と
   を備えることを特徴とする車両周辺監視装置。
2. 赤外線撮像手段により撮像されたグレースケール画像を利用して車両周囲の対象物を抽出する車両周辺監視装置において、
   歩行者が差している状態の傘の特徴値を記憶した傘部特徴値記憶手段と、
   前記グレースケール画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段と、
   前記２値化対象物抽出手段により抽出された前記２値化対象物の前記グレースケール画像上での外周領域を算出する外周領域算出手段と、
   前記外周領域算出手段にて算出された前記外周領域の上端と前記２値化対象物との間の領域に探索領域を設定する探索領域設定手段と、
   前記探索領域設定手段により設定された前記探索領域の特徴値と前記歩行者が差している状態の傘の特徴値とを比較して、前記探索領域に前記傘が存在するか否かを判定する傘部判断手段と、
   前記傘部判断手段により前記探索領域に前記歩行者が差している傘が存在すると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識する歩行者認識手段と
   を備えることを特徴とする車両周辺監視装置。
3. 前記２値化対象物抽出手段により抽出された前記２値化対象物の前記グレースケール画像上での外周領域を算出する外周領域算出手段を備え、
   前記脚部判断手段が、前記２値化対象物の幅が所定範囲内で、かつ前記２値化対象物の縦横比が所定縦横しきい値以上で、更に前記２値化対象物が前記外周領域の下端から所定範囲の前記外周領域内に存在する場合に、前記２値化対象物を前記歩行者の脚部であると判断する
   ことを特徴とする請求項１に記載の車両周辺監視装置。
4. 前記２値化対象物抽出手段により抽出された前記２値化対象物の時系列的な輝度変化の有無を検出する輝度変化検出手段を備え、
   前記脚部判断手段が、前記輝度変化検出手段により前記２値化対象物の時系列的な輝度変化が検出された場合に、前記２値化対象物を前記歩行者の脚部であると判断する
   ことを特徴とする請求項３に記載の車両周辺監視装置。
5. 歩行者が差している状態の傘の特徴値を記憶した傘部特徴値記憶手段と、
   前記輝度変化算出手段により時系列的な輝度変化が検出されなかった前記２値化対象物の前記グレースケール画像上での前記外周領域の上端と該２値化対象物との間の領域に探索領域を設定する探索領域設定手段と、
   前記探索領域設定手段により設定された前記探索領域の特徴値と前記歩行者が差している状態の傘の特徴値とを比較して、前記探索領域に前記傘が存在するか否かを判定する傘部判断手段と
   を備え、
   前記歩行者認識手段が、前記脚部判断手段により前記２値化対象物が前記歩行者の脚部であると判定された場合、あるいは前記傘部判断手段により前記探索領域に前記歩行者が差している傘が存在すると判定された場合に、前記２値化対象物を含む前記対象物を歩行者として認識する
   ことを特徴とする請求項４に記載の車両周辺監視装置。
6. 前記赤外線撮像手段を２つ備えると共に、
   ２つの前記赤外線撮像手段により撮像された２つのグレースケール画像を利用して、該グレースケール画像に含まれる前記２値化対象物までの距離を算出する距離算出手段と、
   前記探索領域の左右に副探索領域を設定する副探索領域設定手段と、
   前記探索領域に含まれる前記２値化対象物と前記副探索領域に含まれる前記２値化対象物との距離が同一である場合に、前記探索領域と前記副探索領域とを統合した統合探索領域を設定する統合探索領域設定手段と、
   前記統合探索領域設定手段により設定された前記統合探索領域の横幅を測定する横幅測定手段と、
   前記統合探索領域設定手段により設定された前記統合探索領域の平均輝度を算出する平均輝度算出手段と
   を備え、
   前記傘部判断手段が、前記統合探索領域の横幅が所定範囲内で、かつ前記統合探索領域の平均輝度が所定輝度しきい値以下である場合に、前記探索領域に前記傘が存在すると判断する
   ことを特徴とする請求項２、または請求項５に記載の車両周辺監視装置。
7. 前記２値化対象物抽出手段により抽出された前記２値化対象物の重心の位置を算出する２値化対象物重心位置算出手段と、
   前記統合探索領域設定手段により設定された前記統合探索領域の重心の位置を算出する領域重心位置算出手段と
   を備え、
   前記傘部判断手段が、前記統合探索領域の横幅が所定範囲内で、かつ前記統合探索領域の平均輝度が所定輝度しきい値以下であり、更に前記２値化対象物の重心と前記統合探索領域の重心との横方向の位置の差が所定距離しきい値以下ある場合に、前記探索領域に前記傘が存在すると判断する
   ことを特徴とする請求項６に記載の車両周辺監視装置。
8. 前記車両周囲の降雨状態を検知する雨天検知手段を備え、
   前記歩行者認識手段が、前記雨天検知手段により前記車両周囲の降雨状態が検知された場合にのみ、前記グレースケール画像中の前記歩行者の脚部あるいは前記歩行者が差している傘の存在から前記歩行者を認識する処理を実行する
   ことを特徴とする請求項１から請求項７のいずれかに記載の車両周辺監視装置。
9. 前記歩行者認識手段が前記２値化対象物を含む前記対象物を歩行者として認識した場合に該歩行者に関する警報を出力する警報出力手段
   を備えることを特徴とする請求項１から請求項８のいずれかに記載の車両周辺監視装置。
10. 前記赤外線撮像手段により撮像された前記車両周囲の映像を表示する表示手段を備え、
    前記警報出力手段が、前記歩行者認識手段により前記歩行者として認識された前記対象物と、前記歩行者として認識されなかった前記対象物とを、前記表示手段に識別可能に表示する
    ことを特徴とする請求項９に記載の車両周辺監視装置。
11. 前記警報出力手段が、前記歩行者認識手段により前記歩行者として認識された前記対象物と、前記歩行者として認識されなかった前記対象物とを、前記表示手段に識別可能に表示すると共に、警告音を出力する
    ことを特徴とする請求項１０に記載の車両周辺監視装置。
12. 前記歩行者認識手段が前記２値化対象物を含む前記対象物を歩行者として認識した場合に、該歩行者が警報を出力するべき対象であるか否かを判定する警報判定手段を備え、
    前記警報出力手段が、前記警報判定手段により警報を出力するべき歩行者であると判定された前記対象物と、警報を出力するべき歩行者であると判定されなかった前記対象物とを、前記表示手段に識別可能に表示する
    ことを特徴とする請求項１０、または請求項１１に記載の車両周辺監視装置。
13. 前記警報出力手段が、前記表示手段に前記対象物を識別可能に表示する場合に、該対象物を強調表示する
    ことを特徴とする請求項１０から請求項１２のいずれかに記載の車両周辺監視装置。
    
    
    
    

Images