JP5703192B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両に搭載された撮像部から出力された撮像画像に基づいて、前記車両の周辺における監視対象物を検出する車両周辺監視装置に関する。

従来の車両周辺監視装置として、赤外線カメラによる車両前方の画像を運転席前方のＨＵＤ（Head Up Display）に表示するとともに、当該画像から検出された歩行者の画像部位を強調表示する装置が知られている。

特開２００３−２８４０５７号公報

監視対象物がどの範囲に存在するか等を詳細に知りたい場合、運転者は、ディスプレイを見ることで、監視対象物を認識するが、従来の車両周辺監視装置においては、撮像された画像を表示するので、色々な情報が表示されてしまい、監視対象物を瞬時に把握することが困難であった。

本発明は上記した問題を解決するためになされたもので、画像から検出された監視対象物の存否及び位置を極めて容易に把握可能な車両周辺監視装置を提供することを目的とする。

本発明に係る車両周辺監視装置は、車両に搭載された撮像部が前記車両前方の風景が撮像することによって得られた撮像画像に基づいて、前記車両の前方にいる監視対象物を検出する車両周辺監視装置であって、前記撮像画像に基づいて前記監視対象物を検出する監視対象物検出部と、前記撮像画像は予め決められた複数の画像分割領域に分けられ、検出された前記監視対象物が前記撮像画像のどの前記画像分割領域に存在するかを判断する画像分割領域判断部と、前記撮像画像を第１表示部に表示する第１表示制御部と、判断された前記画像分割領域に対応する第２表示部の表示分割領域に、前記監視対象物をシンボル化したマークを表示することで、前記監視対象物の存在を表示させる第２表示制御部と、を備え、前記第２表示制御部は、前記監視対象物が同一の前記画像分割領域に複数存在する場合は、前記監視対象物の存在を強調して表示させることを特徴とする。

このように、運転者は第２表示部を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物が同じエリアにかたまって多数存在する場合は、監視対象物が飛び出してくる可能性が高くなるので、監視対象物の存在を強調して表示させることで、運転者に注意喚起を促すことができる。

第２表示制御部は、前記監視対象物が同一の前記画像分割領域に複数存在する場合は、前記マークを表示させる前記表示分割領域を拡張し、複数の前記表示分割領域に前記マークを表示させることで、前記監視対象物の存在を強調して表示させてもよい。このように、監視対象物が同じエリアにかたまって多数存在する場合は、監視対象物が飛び出してくる可能性が高くなるので、マークを表示させる表示分割領域を拡張することで、監視対象物が飛び出してくるかもしれないエリアに対しても運転者に注意喚起を促すことができる。

検出された前記監視対象物の移動方向を検出する移動方向検出部を備え、第２表示制御部は、前記監視対象物が同一の前記画像分割領域に複数存在する場合は、前記監視対象物の移動方向に応じて、前記マークを表示させる前記表示分割領域を拡張してもよい。これにより、監視対象物が同じエリアに多数存在し、少なくとも何れか１つの監視対象物が車両に接近している場合は、監視対象物と車両とが接触する可能性が高いので、マークを表示させる表示分割領域を拡張することで、監視対象物が飛び出してくるエリアに対しても運転者に注意喚起を促すことができる。

前記第２表示制御部は、前記検出された前記監視対象物が前記撮像画像の中央にある前記画像分割領域に複数存在する場合は、前記マークを表示させる前記表示分割領域を拡張しなくてもよい。

本発明に係る車両周辺監視装置によれば、運転者は第２表示部を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物が同じエリアにかたまって多数存在する場合は、少なくとも１つが飛び出してくる可能性が高いので、監視対象物の存在を強調して表示させることで、運転者に注意喚起を促すことができる。

実施の形態に係る車両周辺監視装置の構成を示す電気ブロック図である。 図１に示す車両周辺監視装置が組み込まれた車両の概略斜視図である。 図２に示す車両の、運転者側から視た前方内観図である。 図４Ａは、図３に示す汎用ディスプレイの正面図である。図４Ｂは、図３に示すＭＩＤの正面図である。 撮像画像の画像分割領域及び撮像画像の画像分割領域に対応する表示分割領域を示す図である。 図１に示す車両周辺監視装置の動作説明に供されるフローチャートである。 図７Ａは、ステップＳ１で取得した撮像画像の一例を示し、図７Ｂは、図７Ａに示す撮像画像を取得した場合に、ステップＳ６でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。 図８Ａは、ステップＳ１で取得した撮像画像の一例を示し、図８Ｂは、図８Ａに示す撮像画像を取得した場合に、ステップＳ７でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。 図１に示す車両周辺監視装置の動作説明に供されるフローチャートである。 図１０Ａは、ステップＳ１１で取得した撮像画像であって、監視対象物が右側画像分割領域に複数存在する場合の撮像画像の一例を示し、図１０Ｂは、図１０Ａに示す撮像画像ＩＬを取得した場合に、ステップＳ１６でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。 図１１Ａは、ステップＳ１１で取得した撮像画像であって、監視対象物が中央画像分割領域に複数存在する場合の撮像画像の一例を示し、図１１Ｂは、図１１Ａに示す撮像画像を取得した場合に、ステップＳ１６でＭＩＤの第２表示領域に表示される模擬画像の一例を示す図である。

以下、本発明に係る車両周辺監視装置について好適な実施形態を挙げ、添付の図面を参照して説明する。

図１は、本実施の形態に係る車両周辺監視装置１０の構成を示す電気ブロック図である。図２は、図１に示す車両周辺監視装置１０が組み込まれた車両１２の概略斜視図である。図３は、図２に示す車両１２の、運転者側から視た前方内観図である。なお、この車両１２は、自動車が右側走行することを取り決められている国の道路を走行している状況を示しており、車両１２は左ハンドル車として図示されている。

車両周辺監視装置１０は、この車両周辺監視装置１０を制御する画像処理部１４と、画像処理部１４に接続される左右の赤外線カメラ１６Ｌ、１６Ｒ（撮像部）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者による図示しないブレーキペダルの操作量Ｂｒ（ブレーキ操作量Ｂｒ）を検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｌ、１６Ｒから出力された撮像画像を表示する汎用ディスプレイ２６と、車両１２の運転の際の付随情報を可視化して表示するＭＩＤ（Multi-Information Display）２８と、記憶部３０とを備える。

図２に示すように、ステレオカメラとして機能する赤外線カメラ１６Ｌ、１６Ｒは、車両１２前方の風景を撮像するものであり、車両１２の前部バンパー部に、車両１２の車幅方向中心部に対してほぼ対称な位置に配置されている。２つの赤外線カメラ１６（赤外線カメラ１６Ｌ、１６Ｒ）の光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１６Ｌ、１６Ｒは、監視対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

ここで、赤外線カメラ１６を２つ備える理由としては、監視対象物までの距離を算出するためである。従って、赤外線カメラ１６Ｌ、１６Ｒのうち何れか一方の赤外線カメラ１６で得られた撮像画像が基本的に用いられ、他方の赤外線カメラ１６で撮像して得られた撮像画像は、監視対象物までの距離の算出時のみ用いられる。本実施の形態では、赤外線カメラ１６Ｌによって得られた撮像画像（以下、撮像画像ＩＬ）を基本的に用い、赤外線カメラ１６Ｒによって得られた撮像画像（以下、撮像画像ＩＲ）は、監視対象物までの距離の算出時のみ用いられる。

なお、本発明の撮像部は、図２に示す構成例に限られることなく、種々の構成を採り得る。例えば、撮像部は、複眼カメラ（ステレオカメラ）であっても単眼カメラ（１つのカメラ）であってもよい。単眼カメラの場合、別の測距手段（レーダ装置、測距センサ等）を併せて備えていてもよく、ＴＯＦ（Time Of Flight）法を用いて被写体まで距離を算出してもよい。ＴＯＦ法とは、簡単に説明すると、光源から出た光が対象物で反射し、カメラに届くまでの光の飛行時間(遅れ時間)と光の速度とから、被写体までの距離を得る手法である。また、赤外線カメラに代替して、主に可視光領域の波長を有する光を利用するカメラ（カラーカメラともいう。）を用いてもよく、あるいは両方を併せ備えてもよい。また、撮像部は、複数のカメラを有してもよい。

図２及び図３に示すように、ダッシュボード４０には、その下部から図示しない運転席の方へ突出するハンドル４２が配設されている。ハンドル４２の中心位置に揃えた位置であり、且つ、計器盤４４の上側近傍のダッシュボード４０（あるいは、計器盤４４内）の部位には、ＭＩＤ（第２表示部）２８が配設されている。これにより、運転者は、車両１２の前方へ顔を向けたままの状態で、ＭＩＤ２８を正視することができ、ＭＩＤ２８への視認性が向上する。なお、汎用ディスプレイ（第１表示部）２６は、ダッシュボード４０の所定部位（具体的には、ＭＩＤ２８の配設位置に対して右方の部位）に配設されている。

図４Ａは汎用ディスプレイ２６の正面図であり、図４ＢはＭＩＤ２８の正面図である。

図４Ａに示す汎用ディスプレイ２６の略全面には、横方向に長尺な矩形状の第１表示領域４６が設けられている。本図では、赤外線カメラ１６Ｌから出力された撮像画像ＩＬを、第１表示領域４６内に表示した状態を表している。汎用ディスプレイ２６は、カラー画像又はモノクロ画像が表示可能なモジュールであり、例えば液晶パネル、有機ＥＬ（Electro-Luminescence）、無機ＥＬパネル等で構成されてもよい。この場合、汎用ディスプレイ２６は、任意の画像、例えば、カーナビゲーション用の各種画像（道路地図、サービス情報等）、動画コンテンツ等も表示可能である。

図４Ｂに示すＭＩＤ２８の略全面には、横方向に長尺な矩形状の第２表示領域４８が設けられている。第２表示領域４８には、第１表示領域４６に表示される所定の特徴部位のみを抽出して模擬化した模擬画像５０が表示されている。具体的には、模擬画像５０は、車両前方に見える道路を模式化した道路５２を有し、道路５２は、ライン５２Ｌ、５２Ｃ、５２Ｒを含む。道路５２は、遠近法を用いて表され、詳しくは、ライン５２Ｌ、５２Ｒ間の幅は、上側になるほど狭くなっている。このライン５２Ｌ、５２Ｃ、５２Ｒにより、運転席から前方を眺めた時の直線道路を運転者に想起させることができる。なお、ＭＩＤ２８は、このライン５２Ｌ、５２Ｃ、５２Ｒを電気的に表示するのではなく、機械的若しくは構造的に表示させてもよい。例えば、予めＭＩＤ２８の第２表示領域４８にライン５２Ｌ、５２Ｃ、５２Ｒを示す部材を貼り付けることで、模式的に道路５２を表示してもよい。つまり、ＭＩＤ２８には、車両前方に見える道路を模式化された道路５２が表されていればよい。

ＭＩＤ２８は、汎用ディスプレイ２６よりも構成が簡便で、且つ、安価な表示モジュールである。ＭＩＤ２８は、燃費、現在時刻、計器盤４４に関する情報等を表示可能であってもよい。

画像処理部１４は、入力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、各種演算処理を実行するＣＰＵ（中央処理装置；コンピュータ）等を有し（図示略）、記憶部３０に記憶されたプログラムを読み込むことによって、本実施の形態の画像処理部１４として機能する。記憶部３０は、デジタル信号に変換された撮像画像ＩＬ、ＩＲ、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、あるいは、実行プログラム、テーブル、若しくはマップ等を記憶するＲＯＭ（Read Only Memory）等で構成されている。

赤外線カメラ１６Ｌ、１６Ｒ、車速センサ１８、ブレーキセンサ２０及びヨーレートセンサ２２の各出力信号は、デジタル信号として画像処理部１４に供給可能に構成されている。

画像処理部１４は、対象物検出部６０、画像分割領域判断部６２、移動方向検出部６４、危険度評価部６６、表示分割領域選択部６８、第１表示制御部７０、及び第２表示制御部７２を有する。この画像処理部１４による各種処理により、画像処理部１４は、赤外線カメラ１６Ｌ、１６Ｒが撮像した車両１２前方の撮像画像（赤外線画像）ＩＬ、ＩＲと、車両１２の走行状態を示す各種信号（例えば、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）等とから、車両１２の前方に存在する監視対象物を検出し、監視対象物に車両１２が接触する可能性が高いと判断したとき、スピーカ２４等を通じて警報を発する。

対象物検出部６０は、赤外線カメラ１６Ｌが撮像して得られた撮像画像ＩＬに基づいて、該撮像画像ＩＬ内に監視対象物（人間）が存在するか否かを検出する。検出手法としては、例えば、パターンマッチング手法（人間の特徴を示す特徴データと撮像された撮像画像ＩＬとをマッチングすることで、人間を検出する手法）等を採用してもよい。

画像分割領域判断部６２は、対象物検出部６０が検出した監視対象物が撮像画像ＩＬのどの画像分割領域に存在するかを判断する。対象物検出部６０が複数の監視対象物を検出した場合は、画像分割領域判断部６２は、それぞれの監視対象物が撮像画像ＩＬのどの画像分割領域に存在するかを判断する。なお、撮像画像ＩＬは、後述するように予め決められた複数の画像分割領域に分けられる。

移動方向検出部６４は、対象物検出部６０が検出した監視対象物の移動方向を検出する。移動方向検出部６４は、監視対象物の動きベクトルを算出することで、移動方向を検出する。例えば、移動方向検出部６４は、前回検出された監視対象物が今回撮像された撮像画像ＩＬのどこにいるかをブロックマッチング法等によって検出して、前回検出された監視対象物の位置とブロックマッチング法等によって検出された今回の監視対象物の位置とから動きベクトルを求めることで、監視対象物の移動方向を検出する。

危険度評価部６６は、監視対象物が飛び出してくる確率（危険度）の高さを評価する。詳しくは、危険度評価部６６は、監視対象物が同一の画像分割領域に複数存在する場合は、危険度が高いと評価する。同一の画像分割領域に監視対象物が複数存在する場合は、監視対象物が車両１２の進行方向に対して飛び出してくる確率が高くなるからである。なお、危険度評価部６６は、監視対象物が同一の画像分割領域に複数存在する場合であって、何れかの監視対象物が車両１２の進行方向に向かって移動している場合に、危険度が高いと評価してもよい。

表示分割領域選択部６８は、画像分割領域判断部６２が判断した監視対象物が存在する画像分割領域に対応するＭＩＤ２８の第２表示領域４８の表示分割領域を選択する。この表示分割領域については、後で詳しく説明する。表示分割領域選択部６８は、危険度評価部６６により危険度が高いと評価された場合は、選択する表示分割領域を拡張し、複数の表示分割領域を選択してもよい。なお、危険度評価部６６により危険度が高いと評価された場合であっても、検出された監視対象物が撮像画像ＩＬの中央にある画像分割領域に複数存在する場合は、選択する表示分割領域を拡張しない。

第１表示制御部７０は、赤外線カメラ１６Ｌが撮像して得られた撮像画像ＩＬを汎用ディスプレイ２６の第１表示領域４６に表示させる。第２表示制御部７２は、表示分割領域選択部６８が選択した表示分割領域に、監視対象物をシンボル化したマーク（図７Ｂ、図８Ｂ等参照）１００を表示させる。表示されるマーク１００の数は、表示分割領域につき１つだけ表示させ、１つの表示分割領域に同一のマーク１００を複数表示させない。また、第２表示制御部７２は、監視対象物が同一の画像分割領域に複数存在する場合は、監視対象物の存在を強調表示させる。

この監視対象物の強調表示の方法としては、例えば、監視対象物が複数存在する画像分割領域に対応する表示分割領域にマーク１００を強調表示させることで、監視対象物の存在を強調表示させてもよい。マーク１００の強調表示としては、マーク１００の色を変える、マーク１００を動かす、マーク１００を点滅表示させる等がある。また、表示分割領域選択部６８が、選択する表示分割領域を拡張した場合は、選択した各表示分割領域にマーク１００を表示させることで、監視対象物の存在を強調表示させてもよい。

図５は、撮像画像ＩＬの画像分割領域及び撮像画像ＩＬの画像分割領域に対応する表示分割領域を示す図である。撮像画像ＩＬは、３つの画像分割領域、左から順に、左側画像分割領域８２、中央画像分割領域８４、右側画像分割領域８６に分けられており、ＭＩＤ２８の第２表示領域４８は、３つの表示分割領域、左から順に、左側表示分割領域９２、中央表示分割領域９４、右側表示分割領域９６に分けられている。左側画像分割領域８２は左側表示分割領域９２に、中央画像分割領域８４は中央表示分割領域９４に、右側画像分割領域８６は右側表示分割領域９６にそれぞれ対応付けられている。点９２ａは、左側表示分割領域９２におけるマーク１００の表示位置を示し、点９４ａは、中央表示分割領域９４におけるマーク１００の表示位置を示し、点９６ａは、右側表示分割領域９６におけるマーク１００の表示位置を示している。なお、画像分割領域及び表示分割領域は、ＭＩＤ２８の第２表示領域４８に表示される道路５２のライン５２Ｌ、５２Ｒに沿う形（ハの字）に分割されていてもよい。また、画像分割領域及び表示分割領域は、第１表示領域４６、第２表示領域４８を４つ以上に分割した領域であってもよい。

表示分割領域選択部６８は、監視対象物が左側画像分割領域８２に存在する場合は、左側表示分割領域９２を選択し、第２表示制御部７２は、表示分割領域選択部６８が選択した左側表示分割領域９２の表示位置９２ａにマーク１００を表示させる。また、表示分割領域選択部６８は、監視対象物が中央画像分割領域８４に存在する場合は、中央表示分割領域９４を選択し、第２表示制御部７２は、表示分割領域選択部６８が選択した中央表示分割領域９４の表示位置９４ａにマーク１００を表示させる。また、表示分割領域選択部６８は、監視対象物が右側画像分割領域８６に存在する場合は、右側表示分割領域９６を選択し、第２表示制御部７２は、表示分割領域選択部６８が選択した右側表示分割領域９６の表示位置９６ａにマーク１００を表示させる。従って、第２表示制御部７２は、複数の監視対象物が同一の画像分割領域に存在する場合であっても、該画像分割領域に対応する表示分割領域には１つのマーク１００しか表示させないことになる。

本実施の形態に係る車両周辺監視装置１０は、基本的には以上のように構成される。続いて、この車両周辺監視装置１０の動作の一例を、図６のフローチャートに沿って、他の図面を適宜参照しながら説明する。

画像処理部１４は、赤外線カメラ１６Ｌ、１６Ｒによって得られた撮像画像ＩＬ、ＩＲを取得する（ステップＳ１）。赤外線カメラ１６Ｌ、１６Ｒは、所定のフレームレート、例えば、３０ｆｐｓ（１秒間に３０フレームを撮像するフレームレート）で撮像を行うものとする。なお、図６のフローチャートに示す動作は、１／３０秒周期で実行するものとする。つまり、赤外線カメラ１６Ｌ、１６Ｒが１回撮像するたびに図６のフローチャートに示す動作が実行される。

次いで、対象物検出部６０は、ステップＳ１で取得した撮像画像ＩＬに基づいて、撮像画像ＩＬ内に存在する監視対象物を検出する（ステップＳ２）。対象物検出部６０は、撮像画像ＩＬ内に複数の監視対象物が存在する場合は、複数の監視対象物を検出する。

次いで、画像分割領域判断部６２は、ステップＳ２で検出された監視対象物が撮像画像ＩＬのどの画像分割領域に存在するかを判断する（ステップＳ３）。画像分割領域判断部６２は、複数の監視対象物が検出された場合は、それぞれの監視対象物がどの画像分割領域に存在するかを判断する。

次いで、表示分割領域選択部６８は、ステップＳ３で判断した監視対象物が存在する画像分割領域に対応するＭＩＤ２８の第２表示領域４８の表示分割領域を選択する（ステップＳ４）。例えば、画像分割領域判断部６２により監視対象物が右側画像分割領域８６に存在すると判断された場合は、表示分割領域選択部６８は、右側表示分割領域９６を選択する。

次いで、危険度評価部６６は、複数の監視対象物が同一の画像分割領域に存在するか否かを判断する（ステップＳ５）。この判断は、ステップＳ３の判断結果に基づいて判断する。

ステップＳ５で、複数の監視対象物が同一の画像分割領域に存在しない場合は、危険度評価部６６は危険度が低いと評価してステップＳ６に進み、ステップＳ５で、複数の監視対象物が同一の画像分割領域に存在する場合は、危険度評価部６６は危険度が高いと評価してステップＳ７に進む。

ステップＳ６に進むと、第２表示制御部７２は、ステップＳ４で選択した表示分割領域の表示位置で、監視対象物をシンボル化したマーク１００をＭＩＤ２８に表示させて、ステップＳ８に進む。

図７Ａは、ステップＳ１で取得した撮像画像ＩＬの一例を示し、図７Ｂは、図７Ａに示す撮像画像ＩＬを取得した場合に、ステップＳ６でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。

図７Ａに示すように、中央画像分割領域８４に監視対象物Ｈ１が存在し、右側画像分割領域８６に監視対象物Ｈ２が存在し、同一の画像分割領域には複数の監視対象物が存在しないことがわかる。

図７Ａは、監視対象物Ｈ１、Ｈ２が中央画像分割領域８４と右側画像分割領域８６に存在するので、ステップＳ４で、選択される表示分割領域は、中央表示分割領域９４と右側表示分割領域９６となり、図７Ｂに示すように、ステップＳ６で、マーク１００は、中央表示分割領域９４の表示位置９４ａと、右側表示分割領域９６の表示位置９６ａとに表示される。これにより、監視対象物の存在がＭＩＤ２８に表示され、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、監視対象物の存否、監視対象物が存在する場合にはその位置を容易且つ瞬時に把握することができる。なお、マーク１００は、所定の色（例えば、黄色）で表示される。

一方、ステップＳ７に進むと、第２表示制御部７２は、ステップＳ４で選択した表示分割領域の表示位置で、監視対象物をシンボル化したマーク１００を強調してＭＩＤ２８に表示させて、ステップＳ８に進む。これにより、監視対象物の存在が強調表示されることになる。このシンボル化したマーク１００の強調表示は、監視対象物が複数存在すると判断された画像分割領域に対応する表示分割領域に対してのみ行い、１つの監視対象物しか存在しない画像分割領域に対応する表示分割領域には、マーク１００を強調しないで単に表示させる。

図８Ａは、ステップＳ１で取得した撮像画像ＩＬの一例を示し、図８Ｂは、図８Ａに示す撮像画像ＩＬを取得した場合に、ステップＳ７でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。図８Ａに示すように、右側画像分割領域８６に複数の監視対象物Ｈ１、Ｈ２、Ｈ３が存在することがわかる。

図８Ａは、監視対象物Ｈ１、Ｈ２、Ｈ３が右側画像分割領域８６に存在するので、ステップＳ４で、選択される表示分割領域は右側表示分割領域９６となり、図８Ｂに示すように、ステップＳ７で、マーク１００は、右側表示分割領域９６の表示位置９６ａに表示される。ここで、右側画像分割領域８６には、複数の監視対象物Ｈ１、Ｈ２、Ｈ３が存在するので、右側表示分割領域９６に、マーク１００を強調して表示させる。図８Ｂに示す例では、便宜上、マーク１００を斜線で表すことで強調表示しているが、ステップＳ６で表示されるマーク１００の色（所定の色）とは異なる色（例えば、赤色）でマーク１００を強調表示させてもよいし、マーク１００を左右又は上下に震動させることで、マーク１００を強調表示させてもよい。また、マーク１００を点滅させて表示させることでマーク１００を強調表示させてもよい。このように、マーク１００自体を強調表示させることで、監視対象物の存在を強調してＭＩＤ２８に表示させることができる。

ステップＳ８に進むと、第１表示制御部７０は、ステップＳ１で直近に取得した撮像画像ＩＬを汎用ディスプレイ２６の第１表示領域４６に表示させる。

次に、車両周辺監視装置１０の動作の別の一例を、図９のフローチャートに沿って、他の図面を適宜参照しながら説明する。

画像処理部１４は、赤外線カメラ１６Ｌ、１６Ｒによって得られた撮像画像ＩＬ、ＩＲを取得する（ステップＳ１１）。赤外線カメラ１６Ｌ、１６Ｒは、所定のフレームレート、例えば、３０ｆｐｓ（１秒間に３０フレームを撮像するフレームレート）で撮像を行うものとする。なお、図９のフローチャートに示す動作は、１／３０秒周期で実行するものとする。つまり、赤外線カメラ１６Ｌ、１６Ｒが１回撮像するたびに図９のフローチャートに示す動作が実行される。

次いで、対象物検出部６０は、ステップＳ１１で取得した撮像画像ＩＬに基づいて、撮像画像ＩＬ内に存在する監視対象物を検出する（ステップＳ１２）。対象物検出部６０は、撮像画像ＩＬ内に複数の監視対象物が存在する場合は、複数の監視対象物を検出する。

次いで、画像分割領域判断部６２は、ステップＳ１２で検出された監視対象物が撮像画像ＩＬのどの画像分割領域に存在するかを判断する（ステップＳ１３）。画像分割領域判断部６２は、複数の監視対象物が検出された場合は、それぞれの監視対象物がどの画像分割領域に存在するかを判断する。

次いで、表示分割領域選択部６８は、ステップＳ１３で判断した監視対象物が存在する画像分割領域に対応するＭＩＤ２８の第２表示領域４８の表示分割領域を選択する（ステップＳ１４）。例えば、画像分割領域判断部６２により監視対象物が右側画像分割領域８６に存在すると判断された場合は、表示分割領域選択部６８は、右側表示分割領域９６を選択する。

次いで、危険度評価部６６は、複数の監視対象物が同一の画像分割領域に存在するか否かを判断する（ステップＳ１５）。この判断は、ステップＳ１３の判断結果に基づいて判断する。ステップＳ１５で、複数の監視対象物が同一の画像分割領域に存在しない場合は、危険度評価部６６は危険度が低いと評価してステップＳ１６に進む。

ステップＳ１６に進むと、第２表示制御部７２は、ステップＳ１４で選択した表示分割領域の表示位置で、監視対象物をシンボル化したマーク１００をＭＩＤ２８に表示させて、ステップＳ２１に進む。このステップＳ１１〜ステップＳ１６、ステップＳ２１の動作は、図６のステップＳ１〜ステップＳ６、ステップＳ８の動作と同様である。

ステップＳ１５で、複数の監視対象物が同一の画像分割領域に存在すると判断すると、移動方向検出部６４は、同一の画像分割領域に存在すると判断した複数の監視対象物の移動方向をそれぞれ検出する（ステップＳ１７）。

次いで、危険度評価部６６は、同一の画像分割領域に存在すると判断した複数の監視対象物のうち、少なくとも１つが車両１２に接近しているか否かを判断する（ステップＳ１８）。例えば、監視対象物が車両１２の進行方向に向かって移動している場合や監視対象物が前方から車両１２に向かって移動している場合等は、監視対象物が車両１２に接近していると判断する。ステップＳ１８の判断は、ステップＳ１７で検出された監視対象物の移動方向に基づいて判断する。

ステップＳ１８で、監視対象物が車両１２に接近していると判断すると、危険度評価部６６は、危険度が高いと評価してステップＳ１９に進み、ステップＳ１８で、監視対象物が車両１２に接近していないと判断すると、危険度評価部６６は、危険度が低いと評価してステップＳ１６に進む。

ステップＳ１９に進むと、表示分割領域選択部６８は、該複数の監視対象物が存在する画像分割領域は、中央画像分割領域８４であるか否かを判断する。

ステップＳ１９で、複数の監視対象物が存在する画像分割領域は、中央画像分割領域８４である判断すると、ステップＳ１６に進む。ステップＳ１６に進むと、第２表示制御部７２は、ステップＳ１４で選択した表示分割領域の表示位置で、監視対象物をシンボル化したマーク１００をＭＩＤ２８に表示させて、ステップＳ２１に進む。

一方、ステップＳ１９で、複数の監視対象物が存在する画像分割領域は、中央画像分割領域８４でないと判断すると、選択する表示分割領域を拡張して、更に表示分割領域を選択する（ステップＳ２０）。複数の監視対象物が存在する場合は、つまり、ステップＳ１４で選択した表示分割領域に加え、更に表示分割領域を選択する。更に選択する表示分割領域は、ステップＳ１４で選択した表示分割領域であって、複数の監視対象物が存在する画像分割領域に対応する表示分割領域より車両１２の進行方向（第２表示領域４８の中央）寄りの表示分割領域である。複数の監視対象物が同一の画像分割領域にいる場合であって、監視対象物が車両１２に接近している場合は、監視対象物が飛び出して来ると予測できる画像分割領域に対応する表示分割領域を更に選択する。

具体的に説明すると、例えば、右側画像分割領域８６に複数の監視対象物が存在し、ステップＳ１４で、右側表示分割領域９６が選択された場合は、ステップＳ２０で、右側表示分割領域９６より車両１２の進行方向寄りの中央表示分割領域９４を更に選択する。また、左側画像分割領域８２に複数の監視対象物が存在し、ステップＳ１４で、左側表示分割領域９２が選択された場合は、ステップＳ２０で、左側表示分割領域９２より車両１２の進行方向寄りの中央表示分割領域９４を更に選択する。

ステップＳ２０で、選択する表示分割領域を拡張すると、ステップＳ１６に進み、第２表示制御部７２は、ステップＳ１４で選択した表示分割領域の表示位置と、ステップＳ２０で選択した表示分割領域の表示位置とで、監視対象物をシンボル化したマーク１００をＭＩＤ２８に表示させて、ステップＳ２１に進む。

図１０Ａは、ステップＳ１１で取得した撮像画像ＩＬであって、監視対象物が右側画像分割領域８６に複数存在する場合の撮像画像ＩＬの一例を示し、図１０Ｂは、図１０Ａに示す撮像画像ＩＬを取得した場合に、ステップＳ１６でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。図１０Ａに示すように、右側画像分割領域８６に複数の監視対象物Ｈ１、Ｈ２、Ｈ３が存在することがわかる。

図１０Ａは、監視対象物Ｈ１、Ｈ２、Ｈ３が右側画像分割領域８６に存在するので、ステップＳ１４で選択される表示分割領域は右側表示分割領域９６となり、図１０Ｂに示すように、ステップＳ１６で、マーク１００は、右側表示分割領域９６の表示位置９６ａに表示される。ここで、右側画像分割領域８６には、複数の監視対象物Ｈ１、Ｈ２、Ｈ３が存在し、監視対象物Ｈ２は、車両１２の進行方向に向かって移動しているので、ステップＳ２０で、更に選択される表示分割領域は、右側表示分割領域９６より車両１２の進行方向寄りの中央表示分割領域９４となり、ステップＳ１６で、マーク１００は、中央表示分割領域９４の表示位置９４ａにも表示される。これにより、監視対象物の存在が強調表示されることになる。

ここで、車両１２の進行方向は、ハンドル４２が切られていない状態では、撮像画像ＩＬの中央にある目的物に向かう方向（直進方向）であり、ハンドル４２が切られている場合は、撮像画像ＩＬの中央にある目的物に向かう方向と、ヨーレートセンサ２２が検出したヨーレートＹｒとから進行方向を求めることができる。図１０Ａでは、ハンドル４２が切られていない状態とする。例えば、ハンドル４２が右に切られている場合は、撮像画像ＩＬの中央にある目的物に向かう方向をヨーレートＹｒに相当する角度だけ右側に回転させた方向が直進方向となり、ハンドル４２が左に切られている場合は、撮像画像ＩＬの中央にある目的物に向かう方向をヨーレートＹｒに相当する角度だけ左側に回転させた方向が直進方向となる。図１０Ａの一点鎖線Ｐ１は、車両１２の予測軌道を示しており、車両１２の進行方向を示している。

図１１Ａは、ステップＳ１１で取得した撮像画像ＩＬであって、監視対象物が中央画像分割領域８４に複数存在する場合の撮像画像ＩＬの一例を示し、図１１Ｂは、図１１Ａに示す撮像画像ＩＬを取得した場合に、ステップＳ１６でＭＩＤ２８の第２表示領域４８に表示される模擬画像５０の一例を示す図である。図１１Ａに示すように、中央画像分割領域８４に複数の監視対象物Ｈ１、Ｈ２、Ｈ３が存在することがわかる。

図１１Ａは、監視対象物Ｈ１、Ｈ２、Ｈ３が中央画像分割領域８４に存在するので、ステップＳ１４で選択される表示分割領域は中央表示分割領域９４となり、図１１Ｂに示すように、ステップＳ１６で、マーク１００は、中央表示分割領域９４の表示位置９４ａに表示される。ここで、複数の監視対象物が中央画像分割領域８４に存在するので、更に表示分割領域が選択されることはない。従って、ステップＳ１４で選択した中央表示分割領域９４のみにマーク１００が表示されることになる。

ステップＳ２１に進むと、第１表示制御部７０は、ステップＳ１１で直近に取得した撮像画像ＩＬを汎用ディスプレイ２６の第１表示領域４６に表示させる。

このように、監視対象物が存在する画像分割領域に対応する第２表示領域４８の表示分割領域にマークを表示させるので、運転者は、視線を前方に向けたままの状態でＭＩＤ２８を一見するだけで、監視対象物の存否、監視対象物が存在する場合はその位置を容易且つ瞬時に把握することができる。また、監視対象物が同じエリアにかたまって多数存在する場合は、少なくとも１つが飛び出してくる可能性が高いので、監視対象物の存在を強調して表示させることで、運転者に注意喚起を促すことができる。

また、監視対象物の存在の強調表示として、表示させるマークを強調表示させてもよい。これにより、マークが強調表示される表示分割領域に監視対象物が複数いることを運転者は瞬時に認識することができ、注意を払うことができる。

また、監視対象物の存在の強調表示として、マークを表示させる表示分割領域を拡張してもよい。これにより、監視対象物が飛び出してくるかもしれないエリアに対しても運転者に注意喚起を促すことができる。更に、監視対象物の移動方向を検出し、監視対象物が車両１２に接近する可能性がある場合に、マークを表示させる表示分割領域を拡張してもよい。これにより、監視対象物が飛び出してくるエリアに対して運転者に注意喚起を促すことができる。

上記実施の形態は、以下のように変形してもよい。

（変形例１）上記実施の形態の図９のフローチャートに示す動作では、複数の監視対象物が同一の画像分割領域に存在する場合であって、その何れかの監視対象物が車両１２に接近している場合に、選択する表示分割領域を拡張してマーク１００を表示させるようにしたが、監視対象物が車両１２に接近していなくても、複数の監視対象物が同一の画像分割領域に存在する場合は、選択する表示分割領域を拡張してマーク１００を表示させるようにしてもよい。

即ち、図９のステップＳ１５で、複数の監視対象物が１つの画像分割領域に存在すると判断すると、ステップＳ１７、ステップＳ１８の動作を飛ばして、ステップＳ１９に進むようにしてもよい。監視対象物が同一の画像分割領域に複数存在する場合は、監視対象物が飛び出してくる可能性が高いと評価できるからである。

（変形例２）上記実施の形態では、人間を監視対象物として検出するようにしたが、人間以外のもの、例えば、犬、猫、鹿等の動物等を監視対象物として検出するようにしてもよい。この場合は、監視対象物に応じてＭＩＤ２８に表示させるマークを異ならせるようにしてもよい。

（変形例３）上記図９のフローチャートに示す動作においては、複数の監視対象物が同一の画像分割領域に存在する場合は、選択する表示分割領域を拡張したが、表示分割領域を拡張することで、全ての表示分割領域、又は一定の割合（例えば、８０％）以上の表示分割領域が選択されてしまう場合は、選択する表示分割領域を拡張しなくてもよい。例えば、左側画像分割領域８２に監視対象物が１つ存在し、右側画像分割領域８６に複数の監視対象物が存在する場合は、ステップＳ１４で左側表示分割領域９２と右側表示分割領域９６が選択され、ステップＳ２０で更に、中央表示分割領域９４が選択されることになり、全ての表示分割領域が選択され、全ての表示分割領域にマーク１００が表示されることになる。このように、一定の割合以上の表示分割領域にマーク１００が表示されると、運転者が混乱してしまうので、このような場合は、選択する表示分割領域の拡張を行わないようにしてもよい。

（変形例４）上記変形例１〜３を任意に組み合わせた態様であってもよい。

以上、本発明について好適な実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０…車両周辺監視装置 １２…車両
１４…画像処理部 １６Ｌ、１６Ｒ…赤外線カメラ
２６…汎用ディスプレイ ２８…ＭＩＤ
３０…記憶部 ４０…ダッシュボード
４２…ハンドル ４６…第１表示領域
４８…第２表示領域 ５２…道路
５２Ｌ、５２Ｃ、５２Ｒ…ライン ６０…対象物検出部
６２…画像分割領域判断部 ６４…移動方向検出部
６６…危険度評価部 ６８…表示分割領域選択部
７０…第１表示制御部 ７２…第２表示制御部
８２…左側画像分割領域 ８４…中央画像分割領域
８６…右側画像分割領域 ９２…左側表示分割領域
９２ａ、９４ａ、９６ａ…表示位置 ９４…中央表示分割領域
９６…右側表示分割領域 １００…マーク

Claims (3)

1. 車両に搭載された撮像部が前記車両前方の風景が撮像することによって得られた撮像画像に基づいて、前記車両の前方にいる監視対象物を検出する車両周辺監視装置であって、
   前記撮像画像に基づいて前記監視対象物を検出する監視対象物検出部と、
   前記撮像画像は予め決められた複数の画像分割領域に分けられ、検出された前記監視対象物が前記撮像画像のどの前記画像分割領域に存在するかを判断する画像分割領域判断部と、
   前記撮像画像を第１表示部に表示する第１表示制御部と、
   判断された前記画像分割領域に対応する第２表示部の表示分割領域に、前記監視対象物をシンボル化したマークを表示することで、前記監視対象物の存在を表示させる第２表示制御部と、
   を備え、
   前記第２表示制御部は、前記監視対象物が同一の前記画像分割領域に複数存在する場合は、前記マークを表示させる前記表示分割領域を拡張し、複数の前記表示分割領域に前記マークを表示させることで、前記監視対象物の存在を強調して表示させる
   ことを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置において、
   検出された前記監視対象物の移動方向を検出する移動方向検出部を備え、
   前記第２表示制御部は、前記監視対象物が同一の前記画像分割領域に複数存在する場合は、前記監視対象物の移動方向に応じて、前記マークを表示させる前記表示分割領域を拡張する
   ことを特徴とする車両周辺監視装置。
3. 請求項１又は２に記載の車両周辺監視装置において、
   前記第２表示制御部は、前記検出された前記監視対象物が前記撮像画像の中央にある前記画像分割領域に複数存在する場合は、前記マークを表示させる前記表示分割領域を拡張しない
   ことを特徴とする車両周辺監視装置。

Images