以下、図面を参照して発明を実施するための形態について説明する。
図1は、本実施形態に係る車両周辺監視装置1の構成の一例を示すブロック図である。
車両周辺監視装置1は、車両に搭載され、カメラ10、操舵角センサ20、方向指示スイッチ30、車速センサ40、障害物検出部50、ナビゲーション装置60、ECU70、ディスプレイ80を含む。
カメラ10は、当該車両周辺を撮像する撮像手段である。カメラ10は、車両の前方を撮像する前方カメラ10a、車両の後方を撮像する後方カメラ10b、車両の左側方を撮像する左側方カメラ10c、車両の右側方を撮像する右側方カメラ10dを含む。
前方カメラ10aは、例えば、当該車両のフロントグリル中央部に設けられ、当該車両の前方を撮像する。
後方カメラ10bは、例えば、当該車両のリアウインドウ上端中央部に設けられ、当該車両の後方を撮像する。
左側方カメラ10cは、例えば、当該車両左側のドアミラー下部に設けられ、当該車両の左側方を撮像する。
右側方カメラ10dは、例えば、当該車両右側のドアミラー下部に設けられ、当該車両の右側方を撮像する。
前方カメラ10a、後方カメラ10b、左側方カメラ10c、及び、右側方カメラ10dは、それぞれ、ECU70とじか線や車載LAN等により通信可能に構成され、撮像された画像は、ECU70に送信される。
操舵角センサ20は、当該車両の操舵角を検出する操舵角検出手段である。また、操舵角センサ20は、操舵方向を検出することも可能である。操舵角センサ20は、ECU70とじか線や車載LAN等により通信可能に構成され、操舵方向を含む操舵角に対応する信号(操舵角信号)をECU70に送信する。例えば、ステアリングの中立位置から右方向への操舵、及び、左方向への操舵に対して、一方の操舵角に正の値、他方の操舵角に負の値を割り当てることにより、操舵角と操舵方向とを含む信号として操舵角信号を送信することができる。
方向指示スイッチ(ウィンカスイッチ)30は、当該車両の車室外に設けられる方向指示器(ウィンカランプ)を操作するスイッチである。方向指示スイッチ30をON操作することにより、方向指示器が作動する。この際、方向指示スイッチ30は、方向指示器による左方向の方向指示を行うためのON操作と右方向の方向指示を行うためのON操作とを行うことが可能に構成される。方向指示スイッチ30は、ECU70とじか線や車載LAN等により通信可能に構成され、ECU70にON信号(左方向の方向指示に対応する左ON信号と右方向の方向指示に対応する右ON信号を含む)及びOFF信号を送信する。
車速センサ40は、当該車両の車速を検出する車速検出手段である。車速センサ40は、ECU70とじか線や車載LAN等により通信可能に構成され、車速に対応する車速信号(パルス信号)をECU70に送信する。
障害物検出部50は、当該車両周辺の障害物を検出する障害物検出手段である。障害物検出部50は、車両周辺の障害物を検出すると共に、当該障害物との距離を計測することが可能に構成される。障害物検出部50は、例えば、超音波式のクリアランスソナーや電波式のレーザーレーダー、ミリ波レーダー、UWB(Ultra Wide Band)レーダー等を含んでよい。障害物検出部50は、ECU70とじか線や車載LAN等により通信可能に構成され、検出された障害物との距離を含む物標情報をECU70に送信する。
ナビゲーション装置60は、自車両の位置、地図情報、通信手段を介して受信した交通情報(プローブ情報、VICS(登録商標))等に基づいて、目的地までの経路案内を行う経路案内手段である。ナビゲーション装置60は、自車両の位置及び自車両の位置に対応する地図情報等に基づいて、地図画面(経路案内画面)を生成し、ディスプレイ80に表示させる。ナビゲーション装置60は、例えば、GPS(Global Positioning System)衛星からのGPS信号を受信し、自車両の位置を検出することができる。また、ナビゲーション装置60は、道路に関する情報(道路情報)を含む地図情報を内部の記憶装置に格納している。道路情報には、地図上の各道路の道幅、交通量、危険度(例えば、交通事故の発生率や死角の多さ等)等の道路環境に関する情報が含まれてよい。ナビゲーション装置60は、ECU70とじか線や車載LAN等により通信可能に構成され、自車両の位置、自車両の位置に対応する地図情報(道路情報)、交通情報等をECU70に送信する。
ECU70は、車両周辺監視装置1における主たる制御手段である。例えば、マイクロコンピュータにより構成され、RAMに格納されたプログラムをCPU上で実行することにより各種制御処理を実行してよい。
具体的には、カメラ10(10a〜10d)から送信された車両周辺の画像に基づいて、当該車両の運転者が車両周辺の状況を確認(監視)するための画像(監視画像)を生成し、ディスプレイ80に表示させる。より具体的には、カメラ10から送信された車両周辺の画像に基づいて、運転者がより車両周辺を確認しやすい形態に画像を変換し、変換後の画像(監視画像)をディスプレイ80に表示させる。ECU70は、ディスプレイ80とじか線や車載LAN等により通信可能に構成され、生成した監視画像を含む画面(監視画面)に対応する画像信号をディスプレイ80に送信する。ECU70による画像変換により生成される監視画像の詳細については、後述する。
なお、ECU70は、画像変換を行うことなく、カメラ10により撮像された画像をそのまま監視画像としてディスプレイ80に表示させてもよい。
また、ECU70は、操舵角センサ20、方向指示スイッチ30、車速センサ40、障害物検出部50、ナビゲーション装置60から送信された信号、情報等に基づいて、ディスプレイ80に表示させる監視画面(監視画像)の形態を変更させる(切り替える)。より具体的には、当該車両の状況(直進時又は旋回時(右左折時)、走行速度の高低)や当該車両の周辺環境(道路の状況(道幅等)、近接した障害物の有無)等に応じて、ディスプレイ80に表示させる監視画像の形態を変更させる(切り替える)。当該表示の切替の詳細についても、後述する。
なお、ECU70の機能は、任意のハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより実現されてもよい。また、ECU70の機能の一部又は全部は、他のECUにより実現されてもよい。また、ECU70は、他のECUの機能の一部又は全部を実現するものであってもよい。例えば、ECU70の機能の一部又は全部はディスプレイ80内の制御部により実現されてもよい。即ち、ECU70は、ディスプレイ80に表示させる監視画像を決定し、当該決定に応じて、ディスプレイ80内の制御部(画像処理部)が具体的な監視画像(画像信号)の生成を実行してもよい。
ディスプレイ80は、ECU70から送信された画像信号に応じて、監視画像を表示する表示手段であり、例えば、液晶パネル等により構成されてよい。
なお、ディスプレイ80は、ECU70から送信された監視画像以外の画像(画面)を表示可能に構成されてよく、例えば、上述したナビゲーション装置60による地図画面(経路案内画面)や他の車載装置の操作画面等を表示してもよい。
次に、本実施形態に係る車両周辺監視装置1(ECU70)による特徴的な動作について説明をする。
図2は、本実施形態に係る車両周辺監視装置1(ECU70)によりディスプレイ80に表示される監視画面の一例を示す図である。図2(a)は、当該車両の直進時においてディスプレイ80に表示される監視画像を含む監視画面を示し、図2(b)は、当該車両の旋回時においてディスプレイ80に表示される監視画像を含む監視画面を示す。以下、車両周辺監視装置1による車両周辺を確認するための監視画面がディスプレイ80に常時表示されている前提で説明を行う。
なお、監視画面のディスプレイ80への表示は、運転者による切替スイッチ(不図示)のON操作により開始されてよいし、当該切り替えスイッチのOFF操作により終了されてよい(即ち、他の画面への切替が行われてよい)。また、監視画面のディスプレイ80への表示は、所定の条件(運転者が車両周辺を確認する必要性が高いか否かに関する条件)を満足した場合に車両周辺監視装置1(ECU70)により自動的に開始されてもよい。例えば、ECU70がナビゲーション装置60から送信された道路情報に基づいて、道幅が所定以下の道路を走行していること等を検出した場合に、監視画面のディスプレイ80への表示が自動的に開始されてよい。
図2(a)を参照するに、当該車両の直進時において、ディスプレイ80の画面上には、仮想線100を境にして、左側に監視画像110、右側に監視画像120が表示される。
監視画像110には、当該車両の上方から車両周辺を俯瞰した周辺俯瞰画像111が含まれている。そして、当該車両の向きに合わせて、周辺俯瞰画像111に当該車両を表し、当該車両を上方から俯瞰した画像である車両俯瞰画像112が合成され、当該車両及びその周辺を当該車両の上方から俯瞰した仮想的な俯瞰画像(仮想俯瞰画像)として、監視画像110が構成されている。また、監視画像110は、当該車両俯瞰画像112の前方がディスプレイ80の画面上おいて上方向となるように表示される。周辺俯瞰画像111は、カメラ10(10a〜10d)により撮像された当該車両の前方、後方、左側方、右側方の4つの画像に基づいて、既知の視点変換処理を行うことにより生成されてよい。そして、生成された周辺俯瞰画像111に予めECU70内のメモリ等に格納された車両俯瞰画像112を合成することで、監視画像110(仮想俯瞰画像)は生成されてよい。
また、監視画像120は、当該車両前方を通常の前方カメラ10aによる撮像範囲を超えて幅広で表示した画像(前方ワイドビュー画像)である。具体的には、前方カメラ10aにより撮像された画像に加えて、左側方カメラ10c、右側方カメラ10dにより撮像された画像を合成し、既知の視点変換処理を行うことにより、監視画像120(前方ワイドビュー画像)は生成されてよい。
以下、当該車両の直進時にディスプレイ80に表示されている監視画像110(仮想俯瞰画像)の態様を第1の表示態様と呼ぶ。
続いて、図2(b)を参照するに、当該車両の左折時(左方向の旋回時)において、ディスプレイ80の画面には、監視画像110(仮想俯瞰画像)のみが第1の表示態様よりも拡大されて、全体に表示されている。また、仮想俯瞰画像は、車両俯瞰画像112の前方がディスプレイ80の画面上において旋回方向(左方向)となるように表示されている。また、仮想俯瞰画像には、旋回方向を示すガイド線GLが付加されて表示されている。なお、ECU70は、操舵角センサ20からの操舵角信号に基づいて、ガイド線GLを生成、付加してよい。なお、周辺俯瞰画像111には、曲がり角の障害物(縁石)OBが含まれている。
また、図2(c)を参照するに、当該車両の右折時(右方向の旋回時)において、ディスプレイ80の画面には、監視画像110(仮想俯瞰画像)のみが第1の表示態様よりも拡大されて、全体に表示されている。また、仮想俯瞰画像は、車両俯瞰画像112の前方がディスプレイ80の画面上において旋回方向(右方向)となるように表示されている。なお、周辺俯瞰画像111には、曲がり角の障害物(縁石)OBが含まれている。
即ち、当該車両の旋回時において、ディスプレイ80の画面には、第1の表示態様よりも拡大された仮想俯瞰画像であって、車両俯瞰画像112の前方が画面上において旋回方向に向いている仮想俯瞰画像が表示される。
以下、当該車両の旋回時にディスプレイ80に表示される監視画像110(仮想俯瞰画像)の態様を第2の表示態様と呼ぶ。
このように、本実施形態に係る車両周辺監視装置1(ECU70)は、当該車両の旋回時に、仮想俯瞰画像(監視画像110)を第1の表示態様より拡大した第2の表示態様で表示する。特に、ディスプレイ80は、通常、縦方向(上下方向)より横方向(左右方向)の方が長い場合が多いため、車両俯瞰画像112の向きを横方向(左方向、又は、右方向)にすることで、より高い拡大率で仮想俯瞰画像全体を拡大表示することができる。これにより、曲がり角の縁石や障害物を巻き込む等、障害物と接近する可能性が高い旋回時(右左折時)に、画面上で、当該車両周辺の障害物との関係(障害物との距離)をより確実に把握することができる。そのため、障害物と接触することなく運転することが容易となる。
また、本実施形態に係る車両周辺監視装置1(ECU70)は、仮想俯瞰画像(監視画像110)に旋回方向を示すガイド線GLを付加するため、運転者は、旋回方向も含めて、当該車両周辺の障害物との関係(障害物との距離)を更に確実に把握することができる。
また、第2の表示態様として仮想俯瞰画像を表示させる際に、仮想俯瞰画像のみがディスプレイ80に表示されることになり、運転者の意識が仮想俯瞰画像に集中するため、運転者は、障害物との関係(障害物との距離)をより確実に把握することができる。
また、第2の表示態様で表示された仮想俯瞰画像は、車両俯瞰画像112の向きが旋回方向(左方向又は右方向)に合わせて表示されるため、車両俯瞰画像112が横向きに表示された場合でも、運転者に与える違和感を軽減することができる。
また、第2の表示態様で表示された仮想俯瞰画像には、旋回方向を示すガイド線GLが付加されるため、運転者は、ガイド線GLを確認することにより旋回方向を認識することができる。そのため、車両俯瞰画像112が横向きとなるように仮想俯瞰画像が表示された場合であっても、運転者に与える違和感を軽減することができる。
次に、上述した本実施形態に係る車両周辺監視装置1(ECU70)の特徴的な動作を実現するためのECU70における具体的な処理の説明をする。
図3は、車両周辺監視装置1(ECU70)による仮想俯瞰画像の表示切替処理の一例を示すフローチャートである。当該フローチャートは、車両周辺監視装置1が動作し、ディスプレイ80に仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている間、所定時間間隔で実行される。
図3を参照するに、ステップS101では、操舵角センサ20からの操舵角信号に基づいて、操舵角が所定角度α以上であるか否かを判定する。即ち、当該車両が旋回しているか(右左折を行っているか)否かを判定する。なお、上述したとおり、操舵方向を示すため、操舵角に正の角度、負の角度を割り当てることが可能であるが、本ステップにおける操舵角は、方向に関わらない絶対値を意味する。操舵角が所定角度α以上である場合、ステップS102に進み、所定角度α以下である場合、今回の処理を終了する。
ステップS102では、車両俯瞰画像112の前方が旋回方向に向くように、ディスプレイ80における仮想俯瞰画像(監視画像110)を拡大表示させる。即ち、仮想俯瞰画像(監視画像110)を第1の表示態様よりも拡大すると共に、車両俯瞰画像112の前方を画面上において旋回方向に向けた第2の表示態様でディスプレイ80に表示させる。なお、ECU70は、操舵角センサ20からの操舵角信号に基づいて、旋回方向を検出し、当該旋回方向に応じて、仮想俯瞰画像を第2の表示態様で表示させる際の車両俯瞰画像112の向きを決定してよい。
ステップS103では、操舵角が所定角度α以上の状態が継続しているか否かを判定する。継続して操舵角が所定角度α以上の場合、本ステップの判定を繰り返し、操舵角が所定角度αより小さくなった場合、ステップS104に進む。
ステップS104では、ディスプレイ80の表示を通常表示に復帰させて、今回の処理を終了する。即ち、ディスプレイ80における仮想俯瞰画像(監視画像110)を第1の表示態様による表示に戻して、今回の処理を終了する。
なお、所定角度αは、右折、左折以外の旋回動作、例えば、車線変更や道路上の緩やかなカーブを曲がる場合等、比較的小さい操舵角による当該車両の旋回動作を排除できる程度の値に設定されてよい。これにより、車線変更や緩やかなカーブを曲がる場合等、縁石等の障害物に接近する可能性が低い場面で表示が切り替えられることによる煩わしさを運転者に与えることがなくなる。また、道路条件によっては、比較的小さい操舵角での操舵が頻繁に行われる可能性もあるため、表示の切替が頻繁に行われることによる煩わしさを運転者に与えることもなくなる。
また、図3の例では、操舵角に基づいて、当該車両の旋回の有無を判定(検出)しているが、方向指示スイッチ30からの信号に基づいて、当該車両の旋回の有無を判定(検出)してもよい。
図4は、車両周辺監視装置1(ECU70)による仮想俯瞰画像の表示切替処理の他の例を示すフローチャートである。当該フローチャートは、図3の例と同様、車両周辺監視装置1が動作し、ディスプレイ80に仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている間、所定時間間隔で実行される。
図4を参照するに、ステップS201では、方向指示スイッチ30からON信号(右ON信号又は左ON信号)が入力されているか否かを判定する。ON信号が入力されている場合、ステップS202に進み、ON信号が入力されていない場合、即ち、OFF信号が入力されている場合、今回の処理を終了する。
ステップS202では、ステップS102と同様、車両俯瞰画像112の前方が旋回方向に向くように、ディスプレイ80の監視画面における仮想俯瞰画像(監視画像110)を拡大表示させる。即ち、仮想俯瞰画像を第1の表示態様よりも拡大すると共に、車両俯瞰画像112の前方を画面上において旋回方向に向けた第2の表示態様でディスプレイ80に表示させる。なお、ECU70は、方向指示スイッチ30からのON信号(右ON信号又は左ON信号)に基づいて、旋回方向を検出し、当該旋回方向に応じて、仮想俯瞰画像を第2の表示態様で表示させる際の車両俯瞰画像112の向きを決定してよい。
ステップS203では、方向指示スイッチ30からのON信号の入力が継続しているか否かを判定する。継続してON信号が入力されている場合、本ステップの判定を繰り返し、ON信号が入力されなくなった場合、即ち、OFF信号が入力された場合、ステップS204に進む。
ステップS204では、ステップS104と同様、ディスプレイ80の表示を通常表示に復帰させて、今回の処理を終了する。即ち、ディスプレイ80における仮想俯瞰画像(監視画像110)を第1の表示態様による表示に戻して、今回の処理を終了する。
このように、本例では、方向指示スイッチ30により当該車両の旋回の有無を判定する。これにより、具体的に、右折、左折のための操舵が行われる前から仮想俯瞰画像(監視画像110)の拡大表示がされるため、運転者は、前もって当該車両周辺の障害物との関係(障害物との距離)を把握することができる。
なお、図3の例におけるステップS101と図4の例におけるステップS201を並列に実行し、何れかの判定条件を満足した場合に、当該車両が旋回していると判定してもよい。この場合、ステップS101の判定条件により当該車両の旋回が検出され、仮想俯瞰画像の拡大表示(第2の表示態様による表示)が行われた場合、ステップS103の判定条件によって、通常表示(仮想俯瞰画像の第1の表示態様による表示)への復帰が実行されるとよい。また、ステップS201の判定条件により当該車両の旋回が検出され、仮想俯瞰画像の拡大表示(第2の表示態様による表示)が行われた場合、ステップS203の判定条件によって、通常表示(仮想俯瞰画像の第1の表示態様による表示)への復帰が実行されるとよい。
また、当該車両の旋回の有無の判定(検出)は、操舵角と方向指示スイッチ30からの信号の双方により行われてもよい。
図5は、車両周辺監視装置1(ECU70)による仮想俯瞰画像の表示切替処理の更に他の例を示すフローチャートである。当該フローチャートは、図3、4の例と同様、車両周辺監視装置1が動作し、ディスプレイ80に仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている間、所定時間間隔で実行される。
図5を参照するに、ステップS301では、ステップS101と同様、操舵角センサ20からの操舵角信号に基づいて、操舵角が所定角度α以上であるか否かを判定する。操舵角が所定角度α以上である場合、ステップS302に進み、所定角度α以下である場合、今回の処理を終了する。
ステップS302では、ステップS201と同様、方向指示スイッチ30からON信号(右ON信号又は左ON信号)が入力されているか否かを判定する。ON信号が入力されている場合、ステップS303に進み、ON信号が入力されていない場合、即ち、OFF信号が入力されている場合、今回の処理を終了する。
ステップS303では、ステップS102、S202と同様、車両俯瞰画像112の前方が旋回方向に向くように、ディスプレイ80の監視画面における仮想俯瞰画像(監視画像110)を拡大表示させる。即ち、仮想俯瞰画像(監視画像110)を第1の表示態様よりも拡大すると共に、車両俯瞰画像112の前方を画面上において旋回方向に向けた第2の表示態様でディスプレイ80に表示させる。なお、ECU70は、操舵角センサ20からの操舵角信号と方向指示スイッチ30からのON信号の少なくとも一方に基づいて、旋回方向を検出し、当該旋回方向に応じて、仮想俯瞰画像を第2の表示態様で表示させる際の車両俯瞰画像112の向きを決定してよい。
ステップS304では、ステップS103と同様、操舵角が所定角度α以上の状態が継続しているか否かを判定する。継続して操舵角が所定角度α以上の場合、ステップS305に進み、操舵角が所定角度αより小さくなった場合、ステップS306に進む。
ステップS305では、ステップS203と同様、方向指示スイッチ30からのON信号の入力が継続しているか否かを判定する。継続してON信号が入力されている場合、ステップS304に戻り、ON信号が入力されなくなった場合、即ち、OFF信号が入力された場合、ステップS306に進む。
即ち、当該車両の旋回を検出する条件(ステップS301及びS302の判定条件)の全てを満足する状態が継続している場合は、ステップS304、S305の判定を繰り返す。当該車両の旋回を検出する条件の何れか一つでも満足しなくなった場合は、ステップS306に進む。
ステップS306では、ステップS104、S204と同様、ディスプレイ80の表示を通常表示に復帰させて、今回の処理を終了する。即ち、ディスプレイ80における仮想俯瞰画像(監視画像110)を第1の表示態様による表示に戻して、今回の処理を終了する。
このように、本例では、操舵角及び方向指示スイッチ30からの信号の双方により当該車両の操舵の有無を判定(検出)する。これにより、仮想俯瞰画像(監視画像110)の第2の表示態様による表示(拡大表示)への不必要な切替を抑止することができる。即ち、仮想俯瞰画像の拡大表示の必要性が高い場合(右左折時)に限って、仮想俯瞰画像(監視画像110)の拡大表示への切替を行うことができる。例えば、曲率半径が大きなカーブを曲がっている場合、操舵角のみでは、第2の表示形態への表示の切替が行われるが、方向指示スイッチ30からの信号を用いることで、第2の表示形態への表示の切替を抑制することができる。また、誤って方向指示スイッチ30を操作してしまった場合、方向指示スイッチ30からの信号のみでは、第2の表示形態への表示の切替が行われるが、操舵角を用いることで、第2の表示形態への表示の切替を抑制することができる。そのため、表示の切替が頻繁に行われることによる運転者に与える煩わしさを防止することができる。
また、図3〜5の例では、当該車両の旋回が検出された場合に、仮想俯瞰画像(監視画像110)の第2の表示態様による表示(拡大表示)への切替を行ったが、当該車両の旋回に加えて、他の条件を追加してもよい。即ち、当該車両の旋回時において、仮想俯瞰画像の第2の表示態様による表示(拡大表示)が特に必要な場面に限定して、仮想俯瞰画像の表示の切替を実行してもよい。
図6は、車両周辺監視装置1(ECU70)による仮想俯瞰画像の表示切替処理の更に他の例を示すフローチャートである。当該フローチャートは、図3〜5の例と同様、車両周辺監視装置1が動作し、ディスプレイ80に仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている間、所定時間間隔で実行される。
図6を参照するに、ステップS401では、ステップS101、S301と同様、操舵角センサ20からの操舵角信号に基づいて、操舵角が所定角度α以上であるか否かを判定する。操舵角が所定角度α以上である場合、ステップS402に進み、所定角度α以下である場合、今回の処理を終了する。
ステップS402では、ステップS201、S302と同様、方向指示スイッチ30からON信号(右ON信号又は左ON信号)が入力されているか否かを判定する。ON信号が入力されている場合、ステップS403に進み、ON信号が入力されていない場合、即ち、OFF信号が入力されている場合、今回の処理を終了する。
ステップS403では、車速センサ40からの車速信号に基づき、当該車両の車速が所定速度Vth以下であるか否かを判定する。即ち、当該車両が低速走行を行っているか否かを判定する。当該車両の車速が所定速度Vth以下である場合、ステップS404に進み、所定速度Vthより高い場合、今回の処理を終了する。
ステップS404では、ステップS102、S202、S303と同様、車両俯瞰画像112の前方が旋回方向に向くように、ディスプレイ80の監視画面における仮想俯瞰画像(監視画像110)を拡大表示する。即ち、仮想俯瞰画像(監視画像110)を第1の表示態様よりも拡大すると共に、車両俯瞰画像112の前方を画面上において旋回方向に向けた第2の表示態様でディスプレイ80に表示させる。なお、ECU70は、操舵角センサ20からの操舵角信号と方向指示スイッチ30からのON信号の少なくとも一方に基づいて、旋回方向を検出し、当該旋回方向に応じて、仮想俯瞰画像を第2の表示態様で表示させる際の車両俯瞰画像112の向きを決定してよい。
ステップS405では、ステップS103、S304と同様、操舵角が所定角度α以上の状態が継続しているか否かを判定する。継続して操舵角が所定角度α以上の場合、ステップS406に進み、操舵角が所定角度αより小さくなった場合、ステップS408に進む。
ステップS406では、ステップS203、S305と同様、方向指示スイッチ30からのON信号の入力が継続しているか否かを判定する。継続してON信号が入力されている場合、ステップS407に進み、ON信号が入力されなくなった場合、即ち、OFF信号が入力された場合、ステップS408に進む。
ステップS407では、車速センサ40からの車速信号に基づき、当該車両の車速が所定速度Vth以下の状態が継続しているか否かを判定する。即ち、当該車両が低速走行を継続しているか否かを判定する。当該車両の車速が継続して所定速度Vth以下である場合、ステップS405に戻り、所定速度Vthより高くなった場合、ステップS408に進む。
即ち、仮想俯瞰画像を第2の表示形態で表示するための判定条件(ステップS401〜S403)の全てを満足する状態が継続している場合は、ステップS405〜S407の判定を繰り返す。仮想俯瞰画像を第2の表示形態で表示するための判定条件の何れか一つでも満足しなくなった場合は、ステップS408に進む。
ステップS408では、ステップS104、S204、S306と同様、ディスプレイ80の表示を通常表示に復帰させて、今回の処理を終了する。即ち、ディスプレイ80における仮想俯瞰画像(監視画像110)を第1の表示態様による表示に戻して、今回の処理を終了する。
このように、本例では、当該車両の旋回が検出され、かつ、当該車両が低速走行を行っている場合に、仮想俯瞰画像(監視画像110)を第2の表示態様による表示に切り替える。これにより、仮想俯瞰画像の拡大表示が特に必要な低速走行時に限定して、仮想俯瞰画像の表示の切替を行うことができる。即ち、細い道や路上付近に障害物が多い道等を走行する場合等、右左折時において、特に障害物と接近する可能性が高い道路環境では、比較的低い速度での走行が行われる。そのため、当該車両の旋回時であって、低速走行を行っている場合に、仮想俯瞰画像を第2の表示態様による表示に切り替えることで、特に障害物との距離を把握する必要がある場面で、適切に周囲の障害物との距離を把握することができる。また、比較的高い速度で走行している場合は、広い道や路上付近の障害物が少ない道等を走行していると想定ができるため、当該車両の低速時に限定して、仮想俯瞰画像を第2の表示形態による表示に切り替えることで、不必要な表示の切替を抑制することができる。そして、運転者が頻繁に表示が切り替えられることによる煩わしさを感じないようにすることができる。
なお、本例では、当該車両の旋回の判定(検出)を操舵角と方向指示スイッチ30からの信号の双方で行っているが、図3、4の例と同様、操舵角と方向指示スイッチ30からの信号のいずれか一方で行ってもよい。
また、当該車両が低速走行をしていることに加えて、具体的な走行環境に関する条件(走行環境条件)に合致した場合に、仮想俯瞰画像(監視画像110)を第2の表示形態による表示に切り替えてもよい。即ち、旋回時(右左折時)に接近する可能性がある障害物が存在するような走行環境にある場合に、仮想俯瞰画像(監視画像110)を第2の表示形態による表示に切り替えてもよい。例えば、障害物検出部50により当該車両の近距離(当該車両から所定距離以下の範囲内)に障害物が検出されている場合、旋回時(右左折時)に障害物と接近する可能性が高いと想定できる。また、当該車両が走行する道路の道幅が所定以下の場合や当該車両が走行する道路に死角となる場所が多い場合等には、旋回時に障害物と接近する可能性が高いと想定できる。なお、ナビゲーション装置60に格納された道路情報に含まれる道幅、死角の有無等の情報に基づいて、当該車両が走行する道路の道幅が所定以下であるか否か、死角となる場所が多いか否かを判断することができる。そこで、仮想俯瞰画像を第2の表示形態に切り替えるための条件として、このような具体的な走行環境条件を付加する。
図7は、車両周辺監視装置1(ECU70)による仮想俯瞰画像の表示切替処理の更に他の例を示すフローチャートである。当該フローチャートは、図3〜6の例と同様、車両周辺監視装置1が動作し、ディスプレイ80に仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている間、所定時間間隔で実行される。
図7を参照するに、ステップS501では、ステップS101、S301、S401と同様、操舵角センサ20からの操舵角信号に基づいて、操舵角が所定角度α以上であるか否かを判定する。操舵角が所定角度α以上である場合、ステップS502に進み、所定角度α以下である場合、今回の処理を終了する。
ステップS502では、ステップS201、S302、S402と同様、方向指示スイッチ30からON信号(右ON信号又は左ON信号)が入力されているか否かを判定する。ON信号が入力されている場合、ステップS503に進み、ON信号が入力されていない場合、即ち、OFF信号が入力されている場合、今回の処理を終了する。
ステップS503では、ステップS403と同様、車速センサ40からの車速信号に基づき、当該車両の車速が所定速度Vth以下であるか否かを判定する。即ち、当該車両が低速走行をしているか否かを判定する。当該車両の車速が所定速度Vth以下である場合、ステップS504に進み、所定速度Vthより高い場合、今回の処理を終了する。
ステップS504では、当該車両周辺の状況が所定の走行環境条件に合致するか否かを判定する。所定の走行環境条件としては、例えば、上述したとおり、当該車両から所定距離以下の範囲内に障害物が検出されているか否かが含まれてよい。この場合、障害物検出部50からの物標情報に基づいて、当該車両から所定距離以下の範囲内に障害物が検出されているか否かを判断してよい。また、上述したとおり、当該車両が走行する道路が所定の条件(例えば、道幅が所定幅以下の細い道であるか否か、死角となる場所が存在するか否か等)を満足するか否かが含まれてよい。この場合、ナビゲーション装置60から
送信される当該車両の現在位置及び地図情報から当該車両が位置する道路を特定し、地図情報に含まれる道路情報に基づいて、当該車両が走行する道路が所定の条件を満足するか否かを判断してよい。
なお、所定の走行環境条件の中に、上述したように複数の条件が含まれる場合、いずれか一つの条件に合致した場合に、所定の走行環境条件に合致したと判定してもよいし、全ての条件に合致した場合に、所定の走行環境条件に合致したと判定してもよい。
ステップS504にて、当該車両周辺の状況が所定の走行環境条件に合致する場合、ステップS505に進み、所定の走行環境条件に合致しない場合、今回の処理を終了する。
ステップS505では、ステップS102、S202、S303、S404と同様、車両俯瞰画像112の前方が旋回方向に向くように、ディスプレイ80の監視画面における仮想俯瞰画像(監視画像110)を拡大表示させる。即ち、仮想俯瞰画像を第1の表示態様よりも拡大すると共に、車両俯瞰画像112の前方を画面上において旋回方向に向けた第2の表示態様でディスプレイ80に表示させる。なお、ECU70は、操舵角センサ20からの操舵角信号と方向指示スイッチ30からのON信号の少なくとも一方に基づいて、旋回方向を検出し、当該旋回方向に応じて、仮想俯瞰画像を第2の表示態様で表示させる際の車両俯瞰画像112の向きを決定してよい。
ステップS506では、ステップS103、S304、S405と同様、操舵角が所定角度α以上の状態が継続しているか否かを判定する。継続して操舵角が所定角度α以上の場合、ステップS507に進み、操舵角が所定角度αより小さくなった場合、ステップS510に進む。
ステップS507では、ステップS203、S305、S406と同様、方向指示スイッチ30からのON信号の入力が継続しているか否かを判定する。継続してON信号が入力されている場合、ステップS508に進み、ON信号が入力されなくなった場合、即ち、OFF信号が入力された場合、ステップS510に進む。
ステップS508では、ステップS407と同様、車速センサ40からの車速信号に基づき、当該車両の車速が所定速度Vth以下の状態が継続しているか否かを判定する。即ち、当該車両が低速走行を継続しているか否かを判定する。当該車両の車速が継続して所定速度Vth以下である場合、ステップS509に進み、所定速度Vthより高くなった場合、ステップS510に進む。
ステップS509では、当該車両周辺の状況が所定の走行環境条件に合致している状態が継続しているか否かを判定する。継続して所定の走行環境条件に合致している場合、ステップS506に戻り、所定の走行環境条件に合致しなくなった場合、ステップS510に進む。
即ち、仮想俯瞰画像を第2の表示形態で表示するための判定条件(ステップS501〜S504)の全てを満足する状態が継続している場合は、ステップS506〜S509の判定を繰り返す。仮想俯瞰画像を第2の表示形態で表示するための判定条件の何れか一つでも満足しなくなった場合は、ステップS510に進む。
なお、所定の走行環境条件の中に、上述したように複数の条件が含まれ、当該複数の条件のいずれか一つの条件を満足した際に、所定の走行環境条件に合致したと判定する場合、ステップS509では、ステップS504で満足した条件が継続しているか否かを判定してよい。また、ステップS509では、ステップS504で満足した条件を満足しなくなった場合であっても、他の条件を満足するようになっていたら、所定の走行環境条件に合致する状態が継続していると判定してもよい。
ステップS510では、ステップS104、S204、S306、S408と同様、ディスプレイ80の表示を通常表示に復帰させて、今回の処理を終了する。即ち、ディスプレイ80における仮想俯瞰画像(監視画像110)を第1の表示態様による表示に戻して、今回の処理を終了する。
このように、本例では、当該車両の旋回が検出され、かつ、当該車両が低速走行を行っており、かつ、当該車両周辺の状況が具体的に障害物が接近する可能性が高い走行環境にある場合に仮想俯瞰画像(監視画像110)を第2の表示態様による表示に切り替える。これにより、具体的に障害物が接近する可能性が高い状況下(走行環境)にある場合に限定して、仮想俯瞰画像の表示の切替を行うことができる。即ち、特に障害物との距離を把握する必要がある場面である、障害物が接近する可能性が高い状況下で、適切に周囲の障害物との距離を把握することができる。また、当該車両周辺に障害物が検出されていない場合や道路の道幅が広く、死角がないような場合等においては、障害物が接近する可能性が低いことが想定される。そのため、障害物が接近する可能性が高い状況下に限定して、仮想俯瞰画像を第2の表示形態による表示に切り替えることで、不必要な表示の切替を抑制することができる。そして、運転者が頻繁に表示が切り替えられることによる煩わしさを感じないようにすることができる。
なお、本例では、当該車両の旋回の判定(検出)を操舵角と方向指示スイッチ30からの信号の双方で行っているが、図3、4の例と同様、操舵角と方向指示スイッチ30からの信号のいずれか一方で行ってもよい。また、本例では、当該車両の旋回が検出され、かつ、当該車両の車速に関する条件(低速走行をしているか)と走行環境条件の双方を満足した場合に、仮想俯瞰画像を第2の表示形態による表示(拡大表示)に切り替えるが、いずれか一方を満足した場合に、表示の切替を行ってもよい。また、当該車両の車速に関する条件を設けず、当該車両の旋回が検出され、かつ、走行環境条件を満足した場合に、仮想俯瞰画像を第2の表示形態による表示に切り替えてもよい。
ここで、上述した図3〜7では、第1の表示態様による仮想俯瞰画像を含む監視画面が表示されている状態から第2の表示態様による仮想俯瞰画像を含む監視画面への切替を行う例を説明したが、監視画面以外の他の画面が表示されている状態からの切替が行われてもよい。
図8は、本実施形態に係る車両周辺監視装置1(ECU70)による監視画面以外の他の画面から監視画面にディスプレイ80の表示を切り替える動作の一例を説明する図である。具体的には、ディスプレイ80に車両周辺監視装置1による監視画面以外の他の画面(ナビゲーション装置60の地図画面)が表示されている状態で、当該車両の旋回が検出された場合におけるECU70によるディスプレイ80の表示の切替動作を表している。図8(a)は、当該車両の直進時において、ディスプレイ80に表示されているナビゲーション装置60の地図画面を示している。また、図8(b)は、当該車両の左折開始時(左方向への旋回開始時)において、ECU70によりディスプレイ80に表示される監視画像を含む監視画面を示し、図8(c)は、その後、当該車両の左折時(左方向への旋回時)においてディスプレイ80に表示される監視画像を含む監視画面を示す。
図8(a)を参照するに、直進時には、ナビゲーション装置60によりディスプレイ80には、地図画面が表示されている。
ここで、ECU70は、当該車両の旋回(本図の場合、左方向の旋回)を検出すると、ディスプレイ80の表示を切り替えて、図8(b)に示す監視画面を表示させると共に、その後、当該車両の旋回時(旋回が検出されている間)、図8(c)に示す監視画面を表示させる。
図8(b)は、図2(a)と同様の監視画面であり、仮想俯瞰画像(監視画像110)が第1の表示態様で表示されている。
また、図8(c)は、図2(b)と同様の監視画面であり、仮想俯瞰画像(監視画像110)が第1の表示態様よりも拡大されると共に、車両俯瞰画像の前方がディスプレイ80の画面上において旋回方向となる第2の表示態様で表示されている。
このように、本実施形態に係る車両周辺監視装置1は、ディスプレイ80に監視画面以外の他の画面(ナビゲーション装置60の地図画面等)が表示されている状態で、当該車両の旋回を検出した場合、まず、仮想俯瞰画像を第1の表示態様で表示する。そして、その後、ディスプレイ80の監視画面における仮想俯瞰画像を第2の表示態様に切り替えて、当該車両の旋回が検出されている間、仮想俯瞰画像を第2の表示態様で表示する。
即ち、ディスプレイ80に監視画面以外の他の画面が表示されている状態から第2の表示態様により表示された仮想俯瞰画像を含む監視画面に切り替える場合、まず、第1の表示態様による表示を行った後に、第2の表示態様による表示を行う。これにより、直接、車両俯瞰画像112の前方が左右方向を向いている仮想俯瞰画像が表示されることによりユーザーに与える違和感を緩和することができる。
なお、図8では、上述した図3〜5の例に対応して、当該車両の旋回が検出された場合に、第2の表示態様により表示された仮想俯瞰画像を含む監視画面に切り替える一例を示したが、図6〜7の例に対応して同様の表示切替が行われてよい。即ち、当該車両の旋回が検出された場合であって、他の条件(当該車両の車速条件、所定の走行環境条件等)を満足した場合に、まず、仮想俯瞰画像を第1の表示態様で表示する。そして、その後、ディスプレイ80の監視画面における仮想俯瞰画像を第2の表示態様に切り替えて、当該車両の旋回が検出され、かつ、上記他の条件を満足している間、仮想俯瞰画像を第2の表示態様で表示する。これにより、同様の作用・効果を奏する。
監視画面以外の他の画面から第2の表示態様による仮想俯瞰画像を含む監視画面への表示切替を行う場合のECU70による具体的な処理は、基本的に、上述した図3〜7の例と同様である。但し、図3〜7の例において、ディスプレイ80に仮想俯瞰画像(監視画像110)を第2の表示態様で表示させる際には、まず、仮想俯瞰画像を第1の表示態様で表示し、所定時間経過後、仮想俯瞰画像を第2の表示態様で表示させるようにするとよい。また、図3〜7の例において、仮想俯瞰画像を第2の表示態様による表示に切り替えるための判定条件を満足しなくなった場合には、第2の表示態様による仮想俯瞰画像を含む監視画面に切り替える前にディスプレイ80に表示されていた他の画面に復帰させるとよい。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した第2の表示態様における仮想俯瞰画像(監視画像110)は、図2(b)に示したものには限られない。
図9は、車両周辺監視装置1(ECU70)によりディスプレイ80に表示される監視画面の他の例を示す図である。即ち、上述した第2の表示態様における仮想俯瞰画像の他の例を示す図である。
図9を参照するに、当該車両の旋回時において、ディスプレイ80の画面には、当該車両の直進時(図2(a))と同様、仮想線100を境にして、左側に監視画像110、右側に監視画像120が表示される。即ち、仮想線100を境にして、ディスプレイ80の画面の左側には、監視画像110(仮想俯瞰画像)が表示され、ディスプレイ80の画面の右側には、監視画像120(前方ワイドビュー画像)が表示される。しかしながら、当該車両の旋回時における監視画像110(仮想俯瞰画像)の表示態様は、当該車両の直進時(第1の表示態様)における監視画像110と異なり、具体的には、監視画像110が第1の表示態様よりも拡大表示されている。
このように、仮想俯瞰画像の第2の表示態様として、ディスプレイ80の画面上、車両俯瞰画像112の前方が上向きのままで、仮想俯瞰画像を第1の表示態様より拡大表示してもよい。
また、図10は、車両周辺監視装置1(ECU70)によりディスプレイ80に表示される監視画面の更に他の例を示す図である。即ち、上述した第2の表示態様における仮想俯瞰画像の更に他の例を示す図である。
図10を参照するに、ディスプレイ80の画面には、図9と同様、仮想線100を境にして、左側に監視画像110、右側に監視画像120が表示される。しかし、図9と異なり、監視画像110(仮想俯瞰画像)は、車両俯瞰画像112の一部(車両俯瞰画像左側の後部)とその周辺部分を表す周辺俯瞰画像111が第1の表示態様よりも拡大されて表示されている。
このように、仮想俯瞰画像の第2の表示態様として、ディスプレイ80の画面上、車両俯瞰画像112の一部にフォーカスして仮想俯瞰画像を拡大表示してもよい。
特に、当該車両の旋回時(右左折時)において、内輪差により当該車両の側後部と障害物(縁石等)とが接近しやすい。そのため、当該車両の一部(側後部)にフォーカスした仮想俯瞰画像の拡大表示を行うことにより、仮想俯瞰画像の拡大率が上がり、運転者は、当該車両周辺の障害物との関係(障害物との距離)をより確実に把握することができる。
なお、本例の仮想俯瞰画像は、当該車両の左方向への旋回時(左折時)を表している。当該車両の右方向への旋回時(右折時)における仮想俯瞰画像は、車両俯瞰画像112の右側の後部とその周辺の周辺俯瞰画像111が第1の表示態様よりも拡大されて表示されたものであってよい。
また、図11は、車両周辺監視装置1(ECU70)によりディスプレイ80に表示される監視画面の更に他の例を示す図である。即ち、上述した第2の表示態様における仮想俯瞰画像の更に他の例を示す図である。
図11を参照するに、第1の表示態様(図2(a))と同様の監視画像110(仮想俯瞰画像)のみがディスプレイ80の左右方向における中央に表示されている。
このように、仮想俯瞰画像の第2の表示態様として、第1の表示態様からの拡大表示の有無に関わらず、仮想俯瞰画像のみをディスプレイ80に表示するようにしてもよい。