JP4687160B2 - 周辺監視装置 - Google Patents

Description

本発明は、第１撮像手段と第２撮像手段で撮像した画像を差分処理して立体物を抽出し、抽出した立体物の中から車両にぶつかりそうな立体物を障害物として検出する周辺監視装置に関する。

従来より、車両の周囲に存在する障害物を検出する周辺監視装置としては、例えば、特許文献１に記載されるものが知られている。図１４は、従来の周辺監視装置１００の概略構成図である。
従来の周辺監視装置１００は、第１，第２撮像装置１０１，１０２が、撮影範囲が重なるように取付方向を調整されて車両の前方に設置されている。第１，第２撮像装置１０１，１０２は、Ａ／Ｄ変換器１０３，１０４を介して障害物検出用計算機１０５に接続し、障害物検出用計算機１０５で得られた障害物に対する警告、距離等を警告又は距離表示手段１０９に表示する。障害物検出用計算機１０５は、立体検出手段１０６が立体物を検出すると、障害物検出手段１０７が立体検出手段１０６が検出した立体物の中から障害物を検出し、視差計算手段１０８が自車両から障害物検出手段１０７で検出された障害物までの距離を算出し、危険度の高い障害物から順に検出して表示手段１０９に表示させる。

周辺監視装置１００の動作について具体的に説明する。図１５は、従来の周辺監視装置１００に設置された第１，第２撮像装置１０１，１０２が撮像した画像の合成について説明する図である。
第１撮像装置１０１は、図１５（ａ）に実線で示す画像を撮像し、障害物検出用計算機１０５に出力する。また、第２撮像装置１０２は、図１５（ｂ）に点線で破線で示す画像を撮像し、障害物検出用計算機１０５に出力する。障害物検出用計算機１０５は、図１５（ａ）に示すように、第１撮像装置１０１が撮像した画像と第２撮像装置１０２が撮像した画像を差分処理し、図１５（ｂ）の斜線部に示すように残った領域を立体物として抽出する。

図１６は、従来の周辺監視装置１００が、視界を複数の領域に区切り、最も危険な領域に存在する立体物を障害物として検出する例を示す図である。
障害物検出用計算機１０５は、自車両の位置からの距離、自車両の走行する中心線をパラメータとして、表示手段１０９に表示される視界を自車両に近い位置から遠い位置に向かって複数の危険領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５に区切り、最も近い危険領域Ｒ１から順に立体物の存在を検出する。つまり、認識したい立体物から順に検出する。立体物の検出を一定の順序で行う過程の中で、自車両の進行方向上にある最も危険な位置に存在する立体物があるか否かを判断し、あると判断した場合に、その立体物を障害物として検出し、その検出結果を警報又は距離表示手段１０９に表示する。これにより、周辺監視装置１００は、自車両の走行進路上の危険を効率的に発見して運転手に知らせることができる。

特開平７−２９４２５１号公報（段落００１４〜００２１及び図５参照）。

しかしながら、従来の周辺監視装置１００は、図１６に示すように、危険領域Ｒ１〜Ｒ５を含む画像を取得するように第１，第２撮像装置１０１，１０２を車両に設置し、表示手段１０９の視界のほぼ全域で障害物を検出するようにしていた。そのため、従来の周辺監視装置１００は、複数の撮像装置１０１，１０２を同じような場所に同じような高さで設置し、同じような領域の画像を取得する場合には、完全な形状の障害物を自車両との位置関係を含めて表示手段１０９に表示することができるが、複数の撮像装置１０１，１０２が撮像する画像が一部分でしか重複しない場合には、重複範囲の境界にある障害物を完全な形状で正確な位置に表示できないことがあった。そのため、運転手がディスプレイ上のどこに障害物があるのかを確認しにくかった。

そこで、本発明は、上記問題点を解決するためになされたものであり、障害物を表示手段にわかりやすく表示して、運転手に視認しやすくすることができる周辺監視装置を提供することを目的とする。

本発明に係る周辺監視装置は、上記課題を解決するために以下の構成を有している。
（１）第１撮像手段と第２撮像手段で撮像した画像に基づいて立体物を抽出し、抽出した立体物の中から車両にぶつかりそうな立体物を障害物として検出する周辺監視装置において、障害物に施す強調表示を作成する強調表示処理手段と、表示手段に表示される画像上に、前記強調表示手段が作成した強調表示を描画する描画処理手段と、を有することを特徴とする。

（２）（１）に記載の発明において、第１撮像手段と第２撮像手段が車両側面に設置されており、第１撮像手段が撮像した画像の使用範囲と、第２撮像手段が撮像した画像の使用範囲の境界線の位置を第１撮像手段と第２撮像手段とが配置される位置を結ぶ直線上に設定し、第１撮像手段が撮像した画像と第２撮像手段が撮像した画像とを合成して表示手段に表示する合成画像を作成する合成画像作成手段を有することを特徴とする。

（３）（１）又は（２）に記載の発明において、車速を検出する車速検出手段と、車両の移動方向を検出する移動方向検出手段とから車速と車両の移動方向を入力し、車両が移動する軌跡を推定する推定軌跡作成処理手段と、推定軌跡生成処理手段が推定した推定軌跡上に立体物があるか否かを判断し、推定軌跡上に立体物があると判断した場合に、当該立体物を障害物と判定し、強調表示処理手段に該障害物に施す強調表示を作成させる第１衝突判定処理手段と、を有することを特徴とする。

（４）（３）に記載の発明において、障害物の位置変化を検出して障害物の移動方向と移動速度を演算し、所定時間経過後における障害物の位置を推定する障害物移動方向及び速度演算処理手段と、障害物移動方向及び速度演算処理手段が推定した障害物の位置が、推定軌跡上にある場合に、強調表示処理手段に該障害物に施す強調表示を作成させる第２衝突判定処理手段と、を有することを特徴とする。

（５）（１）乃至（４）の何れか一つに記載の発明において、第１撮像手段が撮像する画像、又は、第２撮像手段が撮像する画像の中から、障害物の形状と相似な画像を検出する相似画像検出手段を有し、強調表示処理手段が、相似画像検出手段が検出した画像に施す強調表示を作成するものであることを特徴とする。

（６）（１）乃至（５）の何れか一つに記載の発明において、描画手段が、強調表示処理手段が作成した強調表示を合成画像に描画したものを表示手段に表示させるときに、警報音を発生する警報音出力手段を有することを特徴とする。

（７）（１）乃至（６）の何れか一つに記載の発明において、表示手段が表示する画像に自車両を示すアイコンを描画するものであることを特徴とする。

次に、上記構成を有する周辺監視装置の作用効果について説明する。
本発明の周辺監視装置は、第１撮像手段と第２撮像手段が撮像した画像の中から検出した障害物に施す強調表示を作成し、表示手段に表示される画像に強調表示を描画するので、障害物の位置や範囲などを表示手段にわかりやすく表示して、運転手に視認しやすくすることができる。

特に、第１撮像手段と第２撮像手段が車両側面に設置されている場合には、第１撮像手段が撮像する画像と第２撮像手段が撮像する画像とが重複する部分があり、そのまま合成しても、障害物の形状が欠けたり、位置ずれするおそれがある。そこで、第１撮像手段が撮像した画像の使用範囲と、第２撮像手段が撮像した画像の使用範囲との境界線を、第１撮像手段と第２撮像手段が配置される位置を結ぶ直線上に設定することにより、重複範囲において何れか一方の画像を使用するので、重複範囲に存在する障害物をシームレスに明確に表示できる。また、障害物の数や位置関係が合成画像上に正しく表示され、運転手が車両と障害物との位置関係を把握しやすい。

本発明の周辺監視装置は、車速検出手段から車速を入力するとともに、移動方向検出手段から車両の移動方向を入力して車両が移動する軌跡を推定しており、この推定軌跡上に立体物があるときには、車両がその立体物に接近してぶつかる可能性がある。そこで、その立体物を障害物と判定して強調表示し、表示手段に合成画像とともに表示するようにする。これにより、運転手に障害物の存在を早くから知らせることができる。

また、障害物が移動する場合には、障害物の位置変化を検出して障害物の移動方向と移動速度を演算すると、所定時間経過後の障害物の位置を推定することが可能である。推定した障害物が推定軌跡上にある場合には、例えば車両が直進している場合であっても、障害物が車両に近寄ってきてぶつかる可能性がある。そこで、その障害物に施す強調表示を作成し、合成画像とともに表示手段に表示する。これにより、運転手に障害物が近寄って来て衝突するおそれがあることを早くから知らせることができる。

ところで、立体物は、第１撮像手段と第２撮像手段が撮像した画像を差分処理することにより検出される。そのため、第１撮像手段と第２撮像手段の画像が重複していない範囲では、立体物を検出できず、さらには障害物を検出できない。一方、障害物は、厳密には見る位置によって形状が異なるが、瞬時に形状が識別できないほど変化するものは殆どないと考えられる。そこで、障害物と相似な画像を第１撮像手段と第２撮像手段が撮像した画像の中から相似な物体を検出し、その画像を強調表示して表示手段に合成画像とともに表示するようにすれば、第１撮像手段と第２撮像手段の画像が重複しない範囲内であっても、実質的に障害物を検出して強調表示することができる。よって、第１，第２撮像手段が撮像する画像の全範囲で障害物を検出して強調表示することができ、運転手の視認性を良好にすることができる。

なお、強調表示処理手段が作成した強調表示を合成画像に描画したものを表示手段に表示するときに、警報音を発生するので、警報音によってディスプレイに障害物が表示されていることを運転手に知らせ、表示手段を見ることを促すことができる。この場合、警報音は、自車両の推定軌跡上に障害物がある場合に発せられるものとし、自車両の推定軌跡上に障害物がない場合には、警報音を鳴らさずに強調表示のみ表示してもよい。
また、表示手段に自車両のアイコンを表示するので、運転手は強調表示した障害物と自車両との位置関係を一目で認識できる。

次に、本発明に係る周辺監視装置の一実施形態について図面を参照して説明する。図１は、周辺監視システム１の概略構成図である。
周辺監視システム１は、車両２、第１カメラ３、第２カメラ４、ディスプレイ５、スピーカ６、周辺監視ＥＣＵ７、ヨーレートセンサ８、右後輪車輪速センサ９、左後輪車輪速センサ１０などで構成されている。本実施形態では、周辺監視ＥＣＵ７が「周辺監視装置」を構成する。

周辺監視システム１は、第１カメラ３と第２カメラ４を用いて助手席側前方周辺の画像を取得するステレオカメラ方式を採用する。第１カメラ３は、前側フェンダーの助手席側前方端部付近に取り付けられ、光軸が前方斜め下向きになるように設置される。また、第２カメラ４は、助手席側ドアミラー１１の下面に取り付けられ、光軸が前方斜め下向きになるように設置される。第１，第２カメラ３，４自体は、図中一点鎖線で示すように、広角レンズにより左右１４０度の視野を確保し、前方３０ｍ程度まで撮像できるようになっている。なお、本実施形態では、第１カメラ３を前側フェンダーに取り付けたが、前側バンパーに取り付けても良い。

ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられている。ディスプレイ５は、例えば、第１，第２カメラ３，４が撮像した画像や、その画像に重ね合わせて強調表示枠Ｗを表示する。
スピーカ６は、車両２のステレオ等にも共用される。スピーカ６は、警報や警告アナウンス等を聴覚的に出力する。

周辺監視ＥＣＵ７は、第１，第２カメラ３，４で撮像した画像から障害物を検出し、その障害物を強調表示枠Ｗで囲ってディスプレイ５に表示するものである。周辺監視ＥＣＵ７の詳細な構成については後述する。
ヨーレートセンサ８は、インパネの内側に取り付けられ、ヨーレートを検出して周辺監視ＥＣＵ７に出力している。
右後輪車輪速センサ９及び左後輪車輪速センサ１０は、車両２の車輪に取り付けられたアクティブ車輪速センサからなり、車輪の回転速度を検出して周辺監視ＥＣＵ７に速度信号を出力している。

次に、周辺監視ＥＣＵ７の構成について説明する。図２は、周辺監視ＥＣＵ７のブロック図である。図２の矢印は、処理の流れを示している。
図２に示すように、周辺監視ＥＣＵ７は、切替手段２１、画像入力手段２２、座標変換処理手段２５、描画手段２８により第１，第２カメラ３，４が撮像した画像を合成し、その合成画像をディスプレイ５に表示する。

周辺監視ＥＣＵ７は、第１，第２カメラ３，４で撮像した画像を切替手段２１によって所定時間毎に交互に切り替えて、映像入力手段２２に入力する。映像入力手段２２は、第１カメラ３が撮像した画像を第１キャプチャバッファ２３に格納する一方、第２カメラ４が撮像した画像を第２キャプチャバッファ２４に格納している。つまり、第１，第２カメラ３，４が撮像した画像を区別して認識できるように、別々に格納している。座標変換処理手段２５は、第１キャプチャバッファ２３と第２キャプチャバッファ２４から画像データを読み出し、予め作成しておいた座標変換テーブル２６の情報に従って合成画像を作成する。なお、座標テーブル２６には、合成画像において境界線を規定するために、第１カメラ３における撮像画像の使用範囲と、第２カメラ４における撮像画像の使用範囲の情報が作成されている。作成した合成画像は、表示バッファ２７に入力される。描画処理手段２８は、描画処理（車両の軌跡や、後述する強調表示枠を合成画像上に加える処理など）を行った後にディスプレイ５に出力される。

また、周辺監視ＥＣＵ７は、差分処理手段３０、障害物検出処理手段３１、障害物移動方向及び速度演算処理手段３２、推定軌跡作成処理手段３３、衝突判定処理手段３４、強調表示処理手段３５、表示バッファ２７を介し、描画処理手段２８により、障害物を囲む枠を作成して合成画像に表示する。

差分処理手段３０は、第１，第２キャプチャバッファ２３，２４から第１，第２カメラ３，４が撮像した画像を取り込んでマッチングをとり、視差をもとに路面からの立体物を検出する。差分処理手段３０は、障害物検出の基本となる立体物を検出するものであるから、立体物をできる限り正確な位置や形状で検出し、ディスプレイ５上に表示できるようにすることが望ましい。しかし、第１，第２カメラ３，４の撮像範囲の重複範囲Ｖ３が狭いため、立体物を検出するための工夫が必要となる。

図３は、第１カメラ３と第２カメラ４の撮像範囲を示す図である。
第１，第２カメラ３，４は、前方を１４０度の広角で撮像するが、第２カメラ４は、撮像画像に車両２が映るため、実際に周辺を映すことができるのは領域Ｖ２となる。そのため、第１カメラ３の撮像範囲Ｖ１と第２カメラ４の撮像範囲Ｖ２とは、重複範囲Ｖ３において重複し、差分処理手段３０は、重複範囲Ｖ３内で立体物を検出することが可能である。

図４は、第１カメラ３と第２カメラ４の撮像範囲の使用範囲Ａ１，Ａ２とその境界線Ｂを示す図である。
一方、第１カメラ３と第２カメラ４の撮像画像は、境界線Ｂを基準に合成される。すなわち、上述した座標変換処理手段２５は、境界線Ｂを第１カメラ３と第２カメラ４とが配置される位置を結ぶ直線上とするように画像の変換処理を行う。つまり、第１カメラ３と第２カメラ４の光軸の中心とカメラ先端部を結んだ直線を境界線Ｂとし、図中境界線Ｂの右側を第１カメラ３の撮像画像の使用範囲Ａ１とし、図中境界線Ｂの左側を第２カメラ４の撮像画像の使用範囲Ａ２とする。従って、第１カメラ３と第２カメラ４が撮像する画像が同じパターンであれば、境界線Ｂを境に使用範囲Ａ１と画像と使用範囲Ａ２の画像をつないで合成しても、立体物がほぼ正確な形状で画像表示されると考えられる。

図５は、立体物Ｘと撮像範囲との位置関係を示す図である。
ところが、境界線Ｂで使用範囲Ａ１，Ａ２を区切ると、第２カメラ４の撮像画像の使用範囲Ａ２に車両２のフェンダー部が映り、そのまま使用範囲Ａ２の画像を使用して合成画像を作成すると、ディスプレイ５の画像中央部に車両２が縦に映り、画像がみにくくなることがある。そのため、この場合には、周辺監視ＥＣＵ７がフェンダー部を含まないように使用範囲Ａ２を使用範囲Ａ２’に修正する。このように、使用範囲Ａ２を使用範囲Ａ２’に修正すると、境界線Ａ３と使用範囲Ａ２’との間に第２カメラ４の撮像画像を使用しない空白の領域Ａ３が生じるため、領域Ａ３については第１カメラ３の撮像画像を使用することになる。これに対し、第１カメラ３と第２カメラ４は、設置位置が異なり、視点が車両前後方向や車両幅方向、さらには車高方向に異なるため、同一立体物Ｘを撮像する場合でも、立体物Ｘの見え方が異なり、立体物Ｘを正確な位置や形状で表示できないことがある。

図６は、図５に示す場合における第１カメラ３と第２カメラ４によって取得される画像を示す図であって、（ａ）は第１カメラ３が取得した画像を示し、（ｂ）は第２カメラ４が取得した画像を示し、（ｃ）は合成画像を示す。
第１カメラ３は、第２カメラ４と比べて立体物Ｘに対する視点が車両後方及び車両右側（運転席側）にずれているため、図６（ａ）に示すように、立体物Ｘが左側に傾いて映る。一方、第２カメラ４は、視点が立体物Ｘに対してぼぼ正面にあるため、図６（ｂ）に示すように、立体物Ｘが路面から垂直に立った状態で映る。第２カメラ４の撮像画像を使用範囲Ａ３で使用する場合、第１カメラ３の使用範囲Ａ１の画像と第２カメラ４の使用範囲Ａ３の画像をそのまま繋げて合成すると、図６（ｃ）に示すように、合成画像上で立体物Ｘが欠け、正確な形状を認識できなくなることがある。また、マッチングをとっても、立体物の形状や位置を正確に認識できないおそれがある。よって、第１カメラ３を車両２のフェンダー側に近づけて領域Ａ３をできる限り狭め、立体物Ｘの映る角度に違和感を生じにくくすることが望ましい。本実施形態では、車両２が四駆自動車であり、補助ミラー１２（図１参照。）の直下に第１カメラ３を設置している。

図７は、図５に示す場合における第１，第２カメラ３，４と立体物Ｘの距離差を説明する図である。
また、第１，第２カメラ３，４は、設置位置が車両前後方向及び高さ方向に異なっており、立体物Ｘの頂部までの距離ｌ１，Ｌ１と、立体物Ｘが接地する路面までの距離ｌ２，Ｌ２がそれぞれ異なる。この場合、第１カメラ３の合成縮尺ｌ２／ｌ１と、第２カメラ４の合成縮尺Ｌ２，Ｌ１とが一致しない。かかる場合に、差分処理手段３０が、路面からの立体物を検出するために、路面に合わせて縮尺を設定すると、図８に示すように、第１カメラ３と第２カメラ４とで同一立体物Ｘの映り方が変わってしまう。

図８は、図５に示す場合におけるカメラ距離差による立体物Ｘの見え方を示す図であって、（ａ）は第１カメラ３が撮像した画像のイメージ図であり、（ｂ）は第２カメラ４が撮像した画像のイメージ図である。
すなわち、第１カメラ３は、立体物Ｘを近距離から斜め下方に向かって撮像するため、図８（ａ）に示すように、立体物Ｘの頂部に向かって拡大する画像となる。一方、第２カメラ４は、立体物Ｘを第１カメラ３より後方に離れた位置で正面から撮像するため、図８（ｂ）に示すように、立体物Ｘをほぼ正しい形状で撮像できる。この場合に、単に使用範囲Ａ１の画像と使用範囲Ａ２（もしくは使用範囲Ａ２’）の画像をつなぎ合わせても、立体物の形状や位置を正しく認識できない。また、マッチングをとっても立体物の形状や位置を正しく認識できないおそれがある。そのため、座標変換処理手段２５や差分処理手段３０は、立体物のある高さを基準にした縮尺と、路面を基準にした縮尺との差が許容範囲を超えている場合には、路面ではなく、立体物Ｘ（高さ方向）に縮尺を変えて画像を補正し、立体物Ｘを検出するようにしている。

図９は、補正後の立体物の見え方を示す図であって、（ａ）は第１カメラ３が撮像した画像の補正後のイメージ図であり、（ｂ）は第２カメラ４が撮像した画像の補正後のイメージ図である。
立体物の高さ方向に縮尺を合わせた場合、第１カメラ３が撮像した画像は、図９（ａ）に示すように、立体物Ｘの高さ方向に圧縮され、第１カメラ３が撮像した立体物Ｘの画像パターンが図９（ｂ）に示す第２カメラ４が撮像した立体物Ｘの画像パターンに近づけられる。よって、差分処理手段３０は、縮尺を変えた後に差分処理を行えば、ミスマッチングを低減させ、立体物の検出精度を向上させることが可能である。

図２に戻って、差分処理手段３０の処理結果は、障害物検出処理手段３１に出力され、検出された立体物の中から障害物となりうる障害物候補を検出する。ここで、「障害物」とは、車両２の走行に邪魔になる立体物をいい、車種毎に定められる。車種によって、車高や車幅、内輪差などが異なり、障害物となる基準が異なるからである。本実施形態では、車両２が四駆自動車であり、障害物検出処理手段３１は２０ｃｍ以上の高さを有する立体物を障害物候補として検出するものとする。障害物検出処理手段３１の検出結果は、障害物移動方向及び速度演算処理手段３２に出力される。

また、障害物検出手段３１は、図３に示す第１，第２カメラ３，４の撮像画像の重複範囲Ｖ３から外に障害物が移動すると、差分処理手段３０が当該障害物を立体物として認識できなくなり、強調表示枠Ｗで囲って表示できなくなるおそれがあるため、重複範囲Ｖ３を出た障害物についても障害物候補として検出している。すなわち、障害物の外形は大きく変化するものではなく、第１，第２カメラ３，４に同じような画像パターンで映ると考えられる。そのため、障害物検出手段３１は、過去に障害物として検出した立体物の画像パターンに基づいて相似形を作成し、その相似形に類似する画像パターンが第１，第２カメラ３，４の撮像画像内にあるか否かを判断する。そして、相似形に似た画像パターンを発見した場合には、その画像パターンも障害物候補として検出し、検出結果を障害物移動方向及び速度演算処理手段３２に出力する。

障害物移動方向及び速度演算処理手段３２は、障害物検出処理手段３１の検出結果を所定数蓄積し、蓄積した検出結果をもとに、障害物候補がどれくらいの速さでどちら方向に移動しているかを検出する。つまり、障害物移動方向及び速度演算処理手段３２は、障害物候補の推定移動軌跡を予測する。障害物移動方向及び速度演算処理手段３２は、障害物候補の推定移動軌跡を衝突判定処理手段３４に出力する。

一方、推定軌跡作成処理手段３３は、ヨーレートセンサ８、右後輪車輪速センサ９及び左後輪車輪速センサ１０からヨーレートと車速をそれぞれ入力し、車両２が走行するであろう推定軌跡を推定する。推定軌跡作成処理手段３３は、推定軌跡を推定衝突判定処理手段３４に出力する。

衝突判定処理手段３４は、推定軌跡上にある障害物候補を障害物として認定する。障害物候補として検出されたものであっても、車両２の推定軌跡上にない障害物候補は、車両２にぶつかる可能性が低い。このような障害物候補を障害物と判定して強調表示や警報等を出力すると、かえって運転手を惑わすおそれがある。そのため、衝突判定処理手段３４は、障害物移動方向及び速度演算処理手段３２から入力した障害物候補の推定移動軌跡と、推定軌跡作成手段２８から入力した推定軌跡を比較して、所定時間経過後（本実施形態では１秒後）に障害物候補が推定軌跡上にあるかどうかを判定する。推定軌跡上に障害物候補がないと判定した場合には、他の処理手段に信号を出力することなく、次に衝突判定を行うまで待機する。一方、推定軌跡上に障害物候補があると判定した場合には、その障害物候補の形状や位置を含む障害物データを強調表示処理手段３５に出力する。

図１０は、車両２が障害物に寄っていく様子をイメージ的に示す図である。
すなわち、衝突判定処理手段３４は、障害物候補Ｘが停止している場合、推定軌跡Ｍが障害物候補Ｘ上を通過していれば、車両２が当該障害物候補Ｘに衝突する可能性が高いので、当該障害物候補を障害物と判定し、障害物Ｘの障害物データを強調表示処理手段３５に出力する。

図１１は、障害物が車両２に寄っていく様子をイメージ的に示す図である。
また、衝突判定処理手段３４は、障害物候補ＸがＸ’からＸ”まで移動したため、数秒後にはＸ１まで移動し推定移動軌跡Ｍに侵入すると判定した場合には、当該障害物候補Ｘを障害物と判定し、障害物データを強調表示処理手段３５に出力する。

図２に戻って、強調表示処理手段３５は、衝突判定処理手段３４から障害物データを入力すると、障害物データが示す障害物全体を囲むように強調表示枠Ｗを作成し、強調表示枠Ｗの枠データを表示バッファ２７に出力する。強調表示枠Ｗは、障害物の存在位置をわかりやすくするために、できる限り障害物の外縁に沿って形成することが望ましい。描画処理手段２８は、表示バッファ２７に格納されている合成画像と強調表示枠Ｗを読み出し、合成画像上に強調表示枠Ｗを加えて、ディスプレイ５に出力する。

なお、ディスプレイ５に障害物を強調表示枠Ｗで囲って表示するだけでなく、障害物と自車両との位置関係が分かれば、運転手に便利である。第１，第２カメラ３，４の撮像画像に車両２が映っている場合、その画像から合成画像上における車両２の位置を特定することが可能である。この場合に、第１，第２カメラ３，４の撮像画像を合成して車両２の画像を作成すると、車両旋回時にタイヤがバンパより前方に飛び出すことがある。そのため、周辺監視ＥＣＵ７は、座標変換テーブル２６に予め車両２を斜め後方から見た形のアイコンを記憶させておき、座標変換処理手段２５において第１，第２カメラ３，４の撮像画像から検出した車両２の位置に座標変換テーブル２６に記憶されている車両のアイコンＪを合成画像上に表示するようにしている。

また、単に、ディスプレイに強調表示枠Ｗを表示するだけでは、運転手がディスプレイに５に障害物が表示されていることに気づかず、見落とすおそれがある。そのため、衝突判定処理手段３４は、車両２にぶつかりそうな障害物があると判定したときには、障害物検出信号を警報音出力手段３６に出力し、描画処理手段２８が強調表示枠Ｗを合成画像に描画するのに同期して、障害物の存在を運転手に知らせる警報や警告アナウンスをスピーカ６から出力させる。

次に、本実施形態の周辺監視システム１の動作について具体的事例を用いて説明する。まず、乗り物に乗った子供Ｋを検出する動作（障害物が車両２に近寄ってくる事例）について説明する。図１２は、子供Ｋを障害物として検出する場合に表示される画像のイメージ図である。
子供Ｋが横断歩道をわたっている交差点を車両２が左折する場合、子供Ｋは、差分処理手段３０において立体物として検出され、高さが２０ｃｍ以上あるので障害物検出処理手段３１で障害物候補として認識される。子供Ｋは、車両２が左折する際の推定軌跡上にいるため、衝突判定処理手段３４で障害物として認定される。そこで、子供Ｋを囲う強調表示枠Ｗが作成され、描画処理手段２８において合成画像に描画され、ディスプレイ５に表示される。このとき、スピーカ６から「ピーピー！」といった警報音と、「危険です！」という警告アナウンスが流れ、運転手の注意を喚起する。ディスプレイ５には、合成画像上に斜め後方から見た車両２のアイコンＪが表示されており、運転手は、強調表示枠Ｗで表示された子供Ｋと車両２の相対位置関係をディスプレイ５上で確認できる。

その後、子供Ｋが横断歩道上を移動して第１，第２カメラ３，４の撮像画像の重複範囲Ｖ３から外に出ても、障害物検出処理手段３１が重複範囲Ｖ３で検出した子供Ｋの画像をもとに子供Ｋの相似形を作成し、その相似形に類似する画像を第１，第２カメラ３，４の撮像画像から探し出して障害物候補として認識するので、子供Ｋを強調表示枠Ｗで囲い続けることが可能である。

次に、車両２を縦列駐車する場合について説明する。図１３は、縦列駐車する際に前方駐車車両Ｐを障害物として検出する場合の画像イメージ図である。
縦列駐車する場合には、運転手は、運転席から車両２の前方コーナ部分と前方駐車車両Ｐとの車間距離が分からず、車両２が前方駐車車両Ｐに衝突するか否かの判断が困難である。これに対して、周辺監視システム１では、第２カメラ４の撮像画像によれば、車両２のコーナ部分と前方駐車車両Ｐのコーナ部分との車間距離が分かり、また、第１カメラ３の撮像画像によれば、車両２と前方駐車車両Ｐとの前後方向の車間距離が分かる。

この場合に、図１３に示すように、第１，第２カメラ３，４の撮像画像を合成して前方駐車車両Ｐを強調表示枠Ｗで囲み、ディスプレイ５に車両２のアイコンＪとともに表示してもよい。
また、運転手は、第１，第２カメラ３，４の撮像画像を個別に表示させ、好みの視点から前方駐車車両Ｐと車両２の車間距離を確認するようにしてもよい。この場合には、前方駐車車両Ｐがディスプレイ５に大きく表示されるが、合成画像上の前方駐車車両Ｐの位置に対応する画像を第１，第２カメラ３，４の撮像画像から抽出し、その撮像画像を囲む強調表示枠Ｗを作成してディスプレイ５に表示するようにすれば、夜間などで周辺画像をディスプレイ５で見にくくても、障害物となる前方駐車車両Ｐをディスプレイ５上で確認しやすい。

従って、本実施形態の周辺監視ＥＣＵ７によれば、第１カメラ３と第２カメラ４が撮像した画像の中から検出した障害物に施す強調表示枠Ｗを作成し、ディスプレイ５に表示される障害物を強調表示枠Ｗで囲って強調表示するので（図１２参照）、障害物の位置や範囲などをディスプレイ５にわかりやすく表示して、運転手に視認しやすくすることができる。

特に、第１カメラ３と第２カメラ４が車両２の側面に設置され、第１カメラ３が撮像する画像と第２カメラ４が撮像する画像とが重複する部分があり、そのまま合成しても、障害物の形状が欠けたり、位置ずれするおそれがある。そこで、第１カメラ３が撮像した画像の使用範囲と、第２カメラ４が撮像した画像の使用範囲との境界線を、第１カメラ３と第２カメラ４が配置される位置を結ぶ直線上に設定することにより、重複範囲において何れか一方の画像を使用するので（図４参照）、重複範囲に存在する障害物をシームレスに明確に表示できる。また、障害物の数や位置関係が合成画像上に正しく表示され、運転手が車両２と障害物との位置関係を把握しやすい。

本実施形態の周辺監視ＥＣＵ７は、右後輪車輪速センサ９及び左後輪車輪速センサ１０から車速を入力するとともに、ヨーレートセンサ８から車両２のヨーレートを入力して車両２の移動方向を検出し、車両２が移動する軌跡を推定している。推定軌跡上に立体物があるときには、車両２がその立体物に接近してぶつかる可能性がある。そこで、その立体物を障害物と判定して強調表示枠Ｗを作成し、ディスプレイ５に合成画像とともに表示するようにする（図１０参照）。これにより、運転手に障害物の存在を早くから知らせることができる。

また、障害物が移動する場合には、障害物の位置変化を検出して障害物の移動方向と移動速度を演算すると、所定時間経過後の障害物の位置を推定することが可能である。推定した障害物が推定軌跡上にある場合には、例えば車両２が直進している場合であっても、障害物が車両に近寄ってきてぶつかる可能性がある。そこで、その障害物に施す強調表示枠Ｗを作成し、合成画像とともにディスプレイ５に表示する（図１１参照）。これにより、運転手に障害物が近寄って来て衝突するおそれがあることを早くから知らせることができる。

また、本実施形態の周辺監視ＥＣＵ７は、障害物と相似な画像を第１カメラ３と第２カメラ４が撮像した画像の中から検出し、その画像を強調表示枠Ｗで囲って強調表示してディスプレイ５に合成画像とともに表示するので、第１カメラ３と第２カメラ４の画像が重複しない範囲内であっても、実質的に障害物を検出して強調表示することができる。よって、第１，第２カメラ３，４が撮像する画像の全範囲で障害物を検出して強調表示することができ、運転手の視認性を良好にすることができる。

なお、強調表示処理手段３５が作成した強調表示枠Ｗを合成画像に描画したものをディスプレイ５に表示するときに、警報音（警告アナウンスを含む。）を発生するので、警報音等によってディスプレイ５に障害物が表示されていることを運転手に聴覚的に知らせ、ディスプレイ５を見ることを促すことができる。この場合、警報音は、自車両２の推定軌跡上に障害物がある場合に発せられるものとし、自車両２の推定軌跡上に障害物がない場合には、警報音を鳴らさずにディスプレイ５に強調表示枠Ｗのみ表示してもよい。
また、ディスプレイ５に自車両２のアイコンＪを表示するので（図１２参照）、運転手は強調表示枠Ｗで囲った障害物と自車両２との位置関係を一目で認識できる。

尚、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、色々な応用が可能である。

（１）例えば、上記実施形態では、第１，第２カメラ３，４で車両２の助手席側前方コーナ付近の画像を取得するようにしたが、立体物を検出するものであれば、第１，第２カメラの取付位置や、画像の撮像範囲はこれに限定されない。すなわち、例えば、車両２の助手席側後方コーナ付近の画像を取得するように第１，第２カメラ３，４を設置してもよいし、運転席側のコーナ付近の画像を取得するように第１，第２カメラ３，４を設置してもよい。

（２）例えば、上記実施形態では、車両２の片側の画像を取得するように、第１，第２カメラ３，４を車両３の側面に設置した。これに対して、第１，第２カメラ３，４で車両前方又は後方の画像を広角的に取得するものであってもよい。この場合にも、障害物を強調表示すれば、例えば、ディスプレイ５の画面が暗くて障害物を認識しにくい場合でも、障害物の位置や表示領域を運転手が知ることができる。

（３）例えば、上記実施形態では、車両２の移動方向を検出するためにヨーレートセンサ８を使用したが、ヨーレートセンサに変えてステアリングセンサ等を用いてもよい。また、ヨーレートセンサ８の取付位置は、インパネの内側に限らず、車両２の下面等であってもよい。

（４）例えば、上記実施形態では、障害物を強調表示枠Ｗで囲って強調表示したが、障害物を塗りつぶして強調表示したり、障害物の最も車両２に近い位置に直線等の印をつけて強調表示してもよい。

本発明の実施形態に係り、周辺監視システムの概略構成図である。 同じく、周辺監視ＥＣＵの概略構成図である。 同じく、第１カメラと第２カメラの撮像範囲を示す図である。 同じく、第１カメラと第２カメラの撮像範囲の使用範囲とその境界線を示す図である。 同じく、立体物と撮像範囲との位置関係を示す図である。 同じく、図５に示す場合における第１カメラと第２カメラによって取得される画像を示す図であって、（ａ）は第１カメラが取得した画像を示し、（ｂ）は第２カメラが取得した画像を示し、（ｃ）は合成画像を示す。 同じく、図５に示す場合におけるカメラと立体物の距離差を説明する図である。 同じく、図５に示す場合におけるカメラ距離差による立体物の見え方を示す図であって、（ａ）は第１カメラが撮像した画像のイメージ図であり、（ｂ）は第２カメラが撮像した画像のイメージ図である。 同じく、補正後の立体物の見え方を示す図であって、（ａ）は第１カメラが撮像した画像の補正後のイメージ図であり、（ｂ）は第２カメラが撮像した画像の補正後のイメージ図である。 同じく、車両が障害物に寄っていく様子をイメージ的に示す図である。 同じく、障害物が車両に寄ってくる様子をイメージ的に示す図である。 同じく、子供を障害物として検出する場合に表示される画像のイメージ図である。 同じく、縦列駐車する際に前方駐車車両を障害物として検出する場合の画像イメージ図である。 従来の障害物検出装置の概略構成図である。 従来の障害物検出装置に設置された第１，第２撮像手段が撮像した画像の合成について説明する図であって、（ａ）は各撮像手段が撮像した画像のイメージ図であり、（ｂ）は第１，第２撮像手段が撮像した画像を合成した画像のイメージ図を示す。 従来の障害物検出装置が、視界を複数の領域に区切り、最も危険な領域に存在する立体物を障害物として検出する例を示す図である。

符号の説明

２ 車両
３ 第１カメラ
４ 第２カメラ
５ ディスプレイ
７ 周辺監視ＥＣＵ
８ ヨーレートセンサ
９ 右後輪車輪速センサ
１０ 左後輪車輪速センサ
２３ 第１キャプチャバッファ
２４ 第２キャプチャバッファ
２７ 表示バッファ
２８ 描画処理手段
３０ 差分処理手段
３２ 障害物移動方向及び速度演算処理手段
３３ 推定軌跡作成処理手段
３４ 衝突判定処理手段
３５ 強調表示処理手段

Claims (6)

1. 第１撮像手段と第２撮像手段で撮像した画像に基づいて立体物を抽出し、抽出した立体物が車両に衝突するか否か判定し、前記車両に衝突すると判定された立体物を障害物として検出する周辺監視装置において、
   前記障害物に施す強調表示を作成する強調表示処理手段と、
   表示手段に表示される画像上に、前記強調表示処理手段が作成した強調表示を描画する描画処理手段と、
   前記第１撮影手段の撮影範囲と、前記第２撮影手段の撮影範囲とは、重複している重複範囲があり、前記重複範囲で前記立体物を検出すると共に、前記第１撮像手段の撮影範囲、又は、第２撮像手段の撮影範囲の中から、前記障害物の形状と相似な画像を検出する相似画像検出手段とを有すること、
   前記強調表示処理手段が、前記相似画像検出手段が検出した画像に施す強調表示を作成するものであることを特徴とする周辺監視装置。
2. 請求項１に記載する周辺監視装置において、
   前記第１撮像手段と前記第２撮像手段が車両側面に設置されており、前記第１撮像手段が、前記第１撮像手段の撮影範囲で撮像した画像の使用範囲と、前記第２撮像手段が、第２撮像手段の撮影範囲で撮像した画像の使用範囲の境界線の位置を前記第１撮像手段と前記第２撮像手段とが配置される位置を結ぶ直線上に設定し、前記第１撮像手段が撮像した画像と前記第２撮像手段が撮像した画像とが、前記境界線を基準に合成して前記表示手段に表示する合成画像を作成する合成画像作成手段を有することを特徴とする周辺監視装置。
3. 請求項１又は請求項２に記載する周辺監視装置において、
   車速を検出する車速検出手段と、車両の移動方向を検出する移動方向検出手段とから車速と車両の移動方向を入力し、車両が移動する軌跡を推定する推定軌跡作成処理手段と、
   前記推定軌跡作成処理手段が推定した前記推定軌跡上に前記立体物があるか否かを判断し、前記推定軌跡上に前記立体物があると判断した場合に、当該立体物を障害物と判定し、前記強調表示処理手段に該障害物に施す強調表示を作成させる第１衝突判定処理手段と、を有することを特徴とする周辺監視装置。
4. 請求項３に記載する周辺監視装置において、
   前記障害物の位置変化を検出して前記障害物の移動方向と移動速度を演算し、所定時間経過後における前記障害物の位置を推定する障害物移動方向及び速度演算処理手段と、
   前記障害物移動方向及び速度演算処理手段が推定した障害物の位置が、前記推定軌跡上にある場合に、前記強調表示処理手段に該障害物に施す強調表示を作成させる第２衝突判定処理手段と、を有することを特徴とする周辺監視装置。
5. 請求項１乃至請求項４の何れか一つに記載する周辺監視装置において、
   前記描画処理手段が、前記強調表示処理手段が作成した強調表示を合成画像に描画したものを前記表示手段に表示させるときに、警報音を発生する警報音出力手段を有することを特徴とする周辺監視装置。
6. 請求項１乃至請求項５の何れか一つに記載する周辺監視装置において、
   前記表示手段が表示する画像に自車両を示すアイコンを描画するものであることを特徴とする周辺監視装置。

Images