以下、図面を参照して、本発明の第1及び第2実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
本明細書において自動運転とは、自車両の操舵、制動及び駆動の少なくとも1つが運転支援装置1により自動的に制御されている運転状態を意味する。即ち、本明細書における自動運転は、乗員(運転者)が関与せずに自車両の操舵、制動及び駆動のすべてが自動的に制御される完全自動運転の他、自車両の操舵、制動及び駆動の少なくとも1つが自動的に制御される運転支援を含む。自動運転は、先行車追従制御、車間距離制御、車線逸脱防止制御等であってもよい。一方、本明細書における手動運転とは、操舵、制動及び駆動のすべてが運転者の操作により操作される運転状態を意味する。
(第1実施形態)
本発明の第1実施形態に係る車両用表示装置は、図1に示すように、運転支援装置1の一部として実現される。運転支援装置1は、運転支援装置1を搭載する車両(以下、「自車両」と表記する)の周囲の走行環境に基づき自車両の自動運転制御を行う。自車両は、運転支援装置1による自動運転制御又は運転者の手動運転により走行可能である。
運転支援装置1は、周囲環境センサ群10、測位装置11、高精度地図記憶部12、車両センサ群20、コントローラ30、表示装置31及び車両制御アクチュエータ群40を備える。このうち、例えば、周囲環境センサ群10、測位装置11、高精度地図記憶部12、コントローラ30及び表示装置31が、本発明の第1実施形態に係る車両用表示装置を構成し得る。
周囲環境センサ群10は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。周囲環境センサ群10は、測距装置13、カメラ14及び通信機15を含む。測距装置13及びカメラ14は、自車両の周囲に存在する車線境界線、交差点、信号機、停止位置等の地物、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等の自車両の周囲環境のデータを検出する。
測距装置13は、例えば、レーザレンジファインダ(LRF)やレーダであってよい。カメラ14は、例えばステレオカメラであってよい。カメラ14は、単眼カメラであってもよく、単眼カメラにより複数の視点で同一の物体を撮影して、物体までの距離を計算してもよい。測距装置13とカメラ14は、検出した周囲環境の情報である周囲環境情報をコントローラ30へ出力する。通信機15は、他車両との車車間通信、路側機との路車間通信、又は交通情報センタとの通信等を行うことにより、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等を自車両の周囲環境のデータとして受信し、受信した周囲環境のデータをコントローラ30へ出力する。
測位装置11は、自車両の現在位置を測定する。測位装置11は、例えば全地球測位システム(GPS)受信機であってよい。測位装置11は、GLONASS(Global Navigation Satellite System)等の他の衛星測位システムの衛星信号に基づき自車両の現在位置を測定してもよい。測位装置11は、慣性航法装置であってもよい。測位装置11は、自車両の現在位置の情報である測位情報をコントローラ30へ出力する。
高精度地図記憶部12に記憶される高精度地図情報は、例えば、従来のナビ地図情報よりも高精度の地図情報であり、道路単位の情報よりも詳細な車線単位の情報を含む。例えば、高精度地図情報は、車線単位の情報として、車線基準線(例えば中央の線)上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、車線の種類、車線境界線の種類、車線の形状、車線基準線の形状を含む。
高精度地図情報は、交差点の大きさ、形状を含む。高精度地図情報は、更に車線上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道、壁等の地物の種類及び位置座標と、地物の位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の地物の情報を含む。コントローラ30は、自車両の測位情報に基づき自車両の周囲の高精度地図情報を高精度地図記憶部12から読み出す。
車両センサ群20は、車両の走行状態を検出するセンサと、運転者による運転操作を検出するセンサとを含む。車両の走行状態を検出するセンサは、車速センサ21、加速度センサ22及びジャイロセンサ23を含む。運転操作を検出するセンサは、操舵角センサ24、アクセルセンサ25及びブレーキセンサ26を含む。
車速センサ21は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ22は、自車両の前後方向の加速度、車幅方向の加速度及び上下方向の加速度を検出する。ジャイロセンサ23は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの自車両の回転角度の角速度を検出する。
操舵角センサ24は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在操舵角を検出する。アクセルセンサ25は、車両のアクセル開度を検出する。例えばアクセルセンサ25は、車両のアクセルペダルの踏み込み量をアクセル開度として検出する。ブレーキセンサ26は、運転者によるブレーキ操作量を検出する。例えばブレーキセンサ26は、車両のブレーキペダルの踏み込み量をブレーキ操作量として検出する。車両センサ群20の各センサが検出した自車両の速度、加速度、角速度、操舵角、アクセル開度、ブレーキ操作量の情報を総称して「車両情報」と表記する。車両センサ群20は車両情報をコントローラ30へ出力する。
コントローラ30は、自車両の運転制御を行う電子制御ユニット(ECU)である。コントローラ30は、プロセッサ32と、記憶装置33等の周辺部品とを含む。プロセッサ32は、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。記憶装置33は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置33は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ30を実現してもよい。例えば、コントローラ30はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。
コントローラ30は、自車両の自動運転制御が実行される自動運転モードと、操舵、制動及び駆動のすべてが運転者により操作される手動運転モードを切り替え可能である。自動運転モードでは、コントローラ30は、周囲環境センサ群10から入力した周囲環境情報と、車両センサ群20から入力した車両情報とに基づき、自車両を走行させる走行軌跡を生成する。コントローラ30は、生成した走行軌跡を自車両が走行するように車両制御アクチュエータ群40を駆動して自動的に車両を走行させる。なお、コントローラ30は、周囲環境情報及び車両情報に加えて、測位装置11から入力した測位情報と、高精度地図記憶部12から読み出した高精度地図情報とに基づき走行軌跡を生成してもよい。
車両制御アクチュエータ群40は、コントローラ30からの制御信号に応じて、自車両のステアリングホイール、アクセル開度及びブレーキ装置を操作して、自車両の車両挙動を発生させる。車両制御アクチュエータ群40は、ステアリングアクチュエータ41、アクセル開度アクチュエータ42及びブレーキ制御アクチュエータ43を備える。ステアリングアクチュエータ41は、自車両のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータ42は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ43は、自車両のブレーキ装置の制動動作を制御する。
一方、手動運転モードでは、コントローラ30は、例えば、車両センサ群20により検出された操舵角、アクセル開度及びブレーキ操作量に応じて車両制御アクチュエータ群40を駆動して、運転者の操作に応じた車両挙動を発生させる。コントローラ30は、乗員の操作を検出することにより、自動運転モードを終了し、手動運転モードに切り替えるようにしてもよい。
さらに、コントローラ30は、自車両の周囲の情報を運転者に知らせるHMI(Human Machine Interface)画像を生成する。例えば、自車両が自動運転中に走行経路Rに沿って走行中であり、交差点を左折する場面において、HMI画像Gは、図2に示すように生成される。表示画像Gは、自車両の表示(自車両アイコン)H、走行経路の表示R、走行車線の表示K、車線境界線の表示J等を含んでよい。図示を省略するが、HMI画像Gは、自車両の周囲に他車両が有る場合には、他車両の表示(他車両アイコン)を含んでよい。
HMI画像Gは、例えば、自車両に対する所定の位置に設定され、所定の画角(視野)を有する仮想視点から見た画像である。仮想視点は、自車両を基準とする仮想空間に設定された視点である。仮想視点からの視線方向は、主として自車両側に向けられる。HMI画像Gは、自車両の斜め上方に設定された仮想視点から自車両を見る鳥瞰図であってもよく、自車両の直上に設定された仮想視点から自車両を見る俯瞰図であってもよい。HMI画像Gは、コンピュータグラフィックス(CG)画像等の仮想画像を含んでもよく、カメラ14等により撮像された実環境の画像を含んでもよい。
コントローラ30は、生成したHMI画像を表示装置31に表示する。表示装置31は、例えば自車両に搭載されたナビゲーション装置のディスプレイ装置であってもよく、自車両のメータパネルに配置されたディスプレイ装置であってもよく、ヘッドアップディスプレイ(HUD)装置でもよい。
コントローラ30は、図3に示すように、自車位置算出部50、交差点検出部51、交差点情報検出部52、仮想視点演算部53、表示画像描画部54、HMI描画部55及び画像合成部56を備える。自車位置算出部50、交差点検出部51、交差点情報検出部52、仮想視点演算部53、表示画像描画部54、HMI描画部55及び画像合成部56の機能は、コントローラ30のプロセッサ32が、記憶装置33に格納されたコンピュータプログラムを実行することによって実現されてよい。
自車位置算出部50は、測位装置11により得られた測位情報と、高精度地図記憶部12に記憶された高精度地図情報とに基づき、高精度地図情報上の自車両の現在位置を算出する。
交差点検出部51は、高精度地図記憶部12に記憶された高精度地図情報と、自車位置算出部50により算出された現在位置とから、自車両が進入する予定の交差点を検出する。交差点検出部51は、自車両の進行方向における直近の交差点を検出してもよく、自車両の進行方向において自車両の現在位置から所定の距離範囲内の交差点を検出してもよい。或いは、自車両の現在位置から目的地までの走行経路が設定されている場合には、交差点検出部51は、走行経路上に存在する交差点を検出するようにしてもよい。
交差点情報検出部52は、交差点検出部51により検出された交差点に関する交差点情報を検出する。交差点情報は、交差点の大きさ、交差点における注意対象を含む。交差点情報検出部52は、例えば、高精度地図記憶部12に記憶された高精度地図情報から、注意対象として、交差点、交差点における車両用の停止位置、横断歩道、信号機等を検出する。交差点情報検出部52は、高精度地図情報の代わりに、測距装置13、カメラ14及び通信機15の少なくともいずれかを用いて注意対象を検出するようにしてもよい。その他、交差点情報検出部52は、周囲環境センサ群10を用いて、交差点に進入する他車両、自車両の周囲の他車両、交差点又は自車両の周囲の歩行者等を注意対象として検出するようにしてもよい。
仮想視点演算部53は、交差点情報検出部52により検出された注意対象を含む画像となるような仮想視点の位置である目標位置を設定する。換言すれば、目標位置に位置する仮想視点から見える画像には、交差点情報検出部52により検出された注意対象が含まれる。例えば注意対象が交差点の場合、仮想視点Xの目標位置の高さは、交差点の大きさによって異なる。仮想視点演算部53は、車両に対する仮想視点の現在位置(基準位置)から目標位置まで移動する仮想視点の軌跡を算出する。基準位置から目標位置まで移動する間、仮想視点から見た画像には常に自車両の表示Hが含まれ得る。また、目標位置cは、自車両Vから注意対象までの距離に基づいて設定されるようにしてもよい。仮想視点は、例えば視線方向が常に自車両に向けられ、自車両を回転中心とし、自車両の水平方向に対する角度及び自車両までの距離を変更することにより、移動される。
表示画像描画部54は、仮想視点演算部53により算出された軌跡に沿って仮想視点を移動させ、基準位置から目標位置までの間に仮想視点から見える表示画像を逐次描画する。表示画像描画部54は、例えば、高精度地図記憶部12に記憶された高精度地図情報に基づいて、2次元又は3次元の仮想空間に、予め決定されたアイコンやテクスチャを用いて、自車両周辺の道路、車線境界線、横断報道及び信号機等の地物を描画する。表示画像描画部54は、周囲環境センサ群10により検出された周囲環境のデータに基づいて、地物が描画された仮想空間に、他車両や歩行者等の移動物体と、自車両とを重ねて描画する。更に、表示画像描画部54は、基準位置から目標位置まで移動する間に仮想視点から仮想空間を見た表示画像を逐次描画する。
表示画像描画部54は、カメラ14により撮像された実環境の画像の歪みを補正して、自車両を基準とする2次元又は3次元の投影面にマッピングし、基準位置から目標位置まで移動する間に仮想視点から投影面を見た表示画像を逐次描画するようにしてもよい。実環境の画像は、カメラ14の他、例えば、路側機に設けられたカメラや他車両のカメラから、通信機15を介して取得されてもよい。或いは、表示画像描画部54は、仮想視点から見た表示画像として、仮想画像と実環境の画像とが混在する画像を描画するようにしてもよい。例えば、表示画像描画部54は、路側機に設けられたカメラにより取得された交差点周辺の地物の画像と、周囲環境センサ群10により検出された他車両や歩行者等の移動物体のアイコンとを用いて、仮想視点から見える表示画像を描画するようにしてもよい。
HMI描画部55は、例えば、自車両の後方且つ上方の位置(基準位置)に設定された仮想視点から自車両の前方を見たHMI画像(図2参照)を、自車両の現在位置及び高精度地図情報に基づいて描画する。HMI描画部55は、自車両の進行に伴い、自車両の前方の状況を示すHMI画像を逐次生成する。
このように、表示画像描画部54及びHMI描画部55は、高精度地図記憶部12に着御講された高精度地図情報を用いることにより、自車両と、周囲環境センサ群10等により検出された他車両等の移動物体との時々刻々の位置関係を表現することが可能となる。
画像合成部56は、表示画像描画部54により描画された表示画像と、HMI描画部55により描画されたHMI画像とを互いに対応するように合成し、表示装置31に出力する。画像合成部56は、例えば、表示画像描画部54が表示画像を描画していない間はHMI画像を表示装置31に出力し、表示画像描画部54が表示画像を描画している間は表示画像を表示装置31に出力する。画像合成部56により合成された画像は、連続的に移動する過程を含む1つの仮想視点から見た画像である。
<車両用表示方法>
図4のフローチャートを参照しながら、本発明の第1実施形態に係る車両用表示装置による車両用表示方法の一例を説明する。
ステップS101において、コントローラ30は、自動運転中であるか否かを判定する。自動運転中でないと判定された場合は処理を完了し、自動運転中であると判定された場合はステップS102に移行する。
ステップS102において、表示装置31は、例えば図2に示すように、通常時のHMI画像Gを表示する。即ち、HMI描画部55は、高精度地図情報及び自車両の現在位置に基づいて、自車両に対する相対的な仮想空間において、自車両の後方且つ上方の所定の位置に設定された仮想視点から自車両の前方を見た通常時のHMI画像を生成する。画像合成部56が、HMI描画部55により描画されたHMI画像を表示装置31に出力することにより、表示装置31は通常時のHMI画像を表示する。
ステップS103において、交差点検出部51は、高精度地図情報及び自車両の現在位置から、自車両の走行車線における自車両から所定の距離範囲内の交差点を検出することにより、自車両が進入する予定の交差点が接近したか否かを判定する。交差点が接近したと判定された場合はステップS104に進み、交差点が接近していないと判定された場合はステップS102に戻る。
ステップS104において、交差点情報検出部52は、ステップS103で検出された交差点に関する交差点情報を検出する。交差点情報検出部52は、高精度地図記憶部12に記憶された高精度地図情報から、交差点の大きさ、交差点における注意対象を検出する。交差点の注意対象は、交差点、交差点における車両用の停止位置、横断歩道、信号機等を採用可能である。
ステップS105において、交差点情報検出部52は、周囲環境センサ群10を用いて、自車両の周囲の他車両を周囲状況として検出する。交差点情報検出部52は、例えばカメラ14により取得された画像に基づいて、自車両から所定の距離範囲に存在する他車両の位置を検出する。
ステップS106において、仮想視点演算部53は、ステップS105の他車両の検出結果に基づいて、自車両の周囲に他車両が存在するか否かを判定する。仮想視点演算部53は、自車両の進行方向車線を走行する他車両が自車両の周囲に存在するか否かを判定するようにしてもよい。自車両の周囲に他車両が存在しない場合、ステップS107に進み、周囲に他車両が存在する場合、ステップS109に進む。
ステップS107において、仮想視点演算部53は、ステップS103で検出された交差点に対応する範囲の画像となる仮想視点の高さを算出し、目標位置として設定する。仮想視点は、自車両に対する相対的な仮想空間において、自車両の上方に設定される。仮想視点演算部53は、ステップS102で表示したHMI画像の仮想視点の位置(基準位置)から、ステップS107で設定された目標位置まで移動する仮想視点の軌跡を算出する。仮想視点の移動軌跡は、例えば、移動前の基準位置から目標位置まで、常に視野に自車両が含まれるように線形に算出される。
例えば図5に示すように、仮想視点Xの軌跡は、基準位置aから、自車両Vの真上の位置d、更に上方の位置cに順に移動する軌跡であってもよい。仮想視点Xの軌跡の始点となる基準位置aは、自車両Vを基準とする仮想空間において、自車両Vの後方且つ上方に設定される。位置dは、自車両Vまでの距離を基準位置aから維持した状態で、例えば自車両Vを回転中心として仮想視点Xの視線方向(例えば画角の中心線)と自車両Vの水平方向(ヨー軸に直交する平面方向)とがなす角を約90°になるように仮想視点Xを回転させた位置である。位置cは、仮想視点Xの軌跡の終点であり、目標位置である。
ステップS108において、表示画像描画部54は、ステップS107で算出した移動軌跡に沿って仮想視点を目標位置に移動させる。表示画像描画部54は、基準位置から目標位置までの間に仮想視点から見える表示画像を逐次描画する。目標地点に到達した仮想視点から見える表示画像は、ステップS104で検出した交差点の全領域及び交差点における注意対象を含む。
例えば図6に示すように、自車両Vが交差点P1に進入する場面において、交差点情報検出部52は、交差点P1の全領域と、交差点P1における停止位置(停止線)T1,T2とを注意対象として検出する。この場合、仮想視点演算部53は、自車両Vが交差点P1の手前に位置するとき、表示画像が交差点P1及び停止位置T1,T2を包含する範囲Q1に対応するように、仮想視点の目標位置を設定する。表示装置31に表示される画像は、通常時のHMI画像から、仮想視点の移動に伴い連続的に範囲Q1に対応する表示画像に変化する。
図7に示すように、交差点P2に進入する車線の全てに停止位置T1~T4が設けられている場合、停止位置T1~T4注意対象として検出し、全ての停止位置T1~T4を包含する範囲Q2に対応する表示画像となるように、仮想視点の目標位置が設定されてよい。注意対象は、交差点P2の横断歩道U1~U4の全てを含むようにしてもよく、交差点P2の周囲の他車両Fを含むようにしてもよい。また、各横断歩道U1~U4は、必ずしも全ての範囲を注意対象としなくてもよい。例えば、自車両Vに走行経路Rが設定されている場合、自車両が交差点P2から退出する車線に対応する範囲を選択的に注意対象としてもよい。更に、注意対象は、歩行者の移動方向及び速度と自車両Vの進行方向とに基づいて算出される、自車両Vと歩行者とが接近する箇所を含んでもよい。
ステップS109において、仮想視点演算部53は、自車両の周囲に他車両が存在する場合の仮想視点の移動軌跡を算出する。ステップS109では、図5に示すように、自車両Vの周囲に先行車W1や後続車W2の他車両が存在する。この場合、仮想視点Xが位置dのときに、先行車W1及び後続車W2が仮想視点Xの画角θから一旦フレームアウトしてしまう可能性がある。これにより、乗員は、運転支援装置1が他車両を認識しているか不安になったり、違和感を覚えたりする可能性がある。更に乗員は、再びフレームインした他車両とフレームアウト前の他車両とが同一の車両であることを認識できなくなる可能性がある。
これに対して、仮想視点演算部53は、図8に示すように、通常時のHMI画像の仮想視点Xの位置である基準位置aから、一旦後方の位置bに移動した次に目標位置cに移動する軌跡を算出する。詳細には、位置bは、基準位置aのときの仮想視点Xの視線方向と自車両Vの水平方向とがなす角を維持した状態で、自車両Vまでの距離を長くした(ズームアウトした)位置である。目標位置cは、自車両Vまでの距離を位置bのときから維持した状態で、仮想視点Xの視線方向と自車両Vの水平方向とがなす角を約90°まで大きくした位置である。これにより、先行車W1及び後続車W2が画角内に連続して含まれる時間が長くなるため、同一の車両を連続して把握することが容易になる。
特に、コントローラ30が先行車追従制御を含む自動運転を行っている場合、先行車W1が画角内に継続して含まれることにより、乗員は、先行車W1を示す表示画像を表示装置31により視認することができる。このため、乗員は運転支援装置1が先行車W1を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。同様に、コントローラ30が合流等の場面において自動運転を行っている場合、後続車W2が画角内に含まれることにより、乗員は運転支援装置1が先行車W1を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。更に、乗員は、表示画像により周囲状況を良好に把握できるため、運転支援装置1による自動運転制御が乗員の意図と異なる場合、即座に自車両Vの運転操作を行うことにより手動運転を開始することができる。
このように算出された軌跡に沿って仮想視点Xを移動させるように、ステップS110において、表示画像描画部54は、仮想視点Xを後方の位置bに移動させ、ステップS111において、仮想視点Xを目標位置cに移動させる。仮想視点Xの視線方向は常に自車両V側に向けられる。表示画像描画部54は、基準位置aから目標位置cまでの間に仮想視点Xから見える表示画像を逐次描画する。
なお、ステップS109~S111の一連の処理は、必ずしも実行される必要はない。例えば図9に示すように、自車両Vの先行車W1までの距離が短い場合、仮想視点Xは、例えば、基準位置a、位置e、目標位置cを通る直線状の軌跡に沿って移動されてもよい。即ち、仮想視点Xの移動軌跡は、仮想視点Xが目標位置cに移動するまでの間、先行車W1又は後続車W2が画角内に連続して含まれるような軌跡であればよい。
ステップS112において、ステップS106に検出された他車両が自車両Vの前方に存在するか否かを判定する。他車両が自車両Vの前方である場合、ステップS116に進み、後方である場合、ステップS113に進む。他車両が自車両Vの前方及び後方の両方に存在する場合、乗員の操作によりいずれかを選択するようにしてもよく、自車両Vに最も接近する他車両が前方か否かを判定するようにしてもよい。
ステップS113において、表示画像描画部54は、目標位置cに到達した仮想視点Xから見た表示画像を、表示画像と鏡像対称性を有する鏡像画像に変換する。即ち、ステップS114において、仮想視点Xから見た画像を上下反転させることにより、鏡像画像が生成される。
ステップS115において、表示画像描画部54は、仮想視点Xを自車両Vの前方に移動させる。仮想視点Xは、例えば図10に示すように、目標位置cから、自車両Vの前方の位置fに移動した後、自車両Vに近い位置gに移動し、自車両Vの後方に向けられる。詳細には、位置fは、例えば自車両Vを回転中心として仮想視点Xを目標位置cから自車両Vの前方に回転させた位置である。位置gは、自車両Vまでの距離を位置fから短くした距離である。位置g及び位置fは、仮想視点Xから見た表示画像がステップS104で検出された注意対象を含むように設定されてもよい。基準位置a及び位置g、位置b及び位置fのそれぞれは、自車両Vを通り、自車両Vの前後方向に直交する平面に関して鏡像対称性を有するようにしてもよい。
仮に、図11に示すように、仮想視点Xが、基準位置aから、例えば自車両Vを回転中心として自車両Vの前方に回転させることにより、位置d、位置hに順に移動する合、後続車W2は、仮想視点Xが位置hに到達するまで完全に表示画像に映らない可能性がある。これに対して、表示画像描画部54は、図10に示すように、仮想視点Xが位置bから位置gに移動するまでの間、継続して後続車W2を表示画像含めることが可能となる。更に、表示画像は、ルームミラーに映る鏡像のような画像となり、乗員は、自車両Vの後方の状況を把握することが容易になる。これにより、例えば運転支援装置1が自動運転中の場合、乗員は運転支援装置1が後続車W2を認識していることを容易に把握でき、自動運転に対する不安や違和感を低減することができる。
ステップS116において、表示画像描画部54は、移動が完了した状態で仮想視点Xを保持する。
ステップS117において、表示画像描画部54は、高精度地図情報及び自車両Vの現在位置から、ステップS103で検出した交差点を通過したか否かを判定する。交差点を通過したと判定する場合、ステップS118に進み、未だ交差点を通過しないと判定する場合、ステップS116に戻る。交差点の通過は、自車両の後端が交差点の終端に到達したことと定義してもよく、自車両の前端が交差点の終端に到達したことと定義してもよい。また、交差点の終端は、交差点の周縁の境界に対して所定の差を有するように定義されてもよい。
ステップS118において、表示画像描画部54は、仮想視点Xを移動前の位置(基準位置)aに戻す。仮想視点Xが基準位置aに戻る軌跡は、例えば、基準位置aからステップS116における位置までの軌跡の逆を辿ればよい。即ち、例えば運転支援装置1が自動運転を行っている場合、仮想視点Xは、図8に示す目標位置c、位置b、基準位置aの順に通る軌跡に沿って移動することが好ましい。これにより、乗員は運転支援装置1が他車両を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。但し、表示画像の描画の途中で他車両が自車両Vの周囲から存在しなくなった場合、基準位置aに戻るための軌跡は、他の軌跡であってもよい。
ステップS119において、コントローラ30は、自動運転が終了したか否かを判定する。自動運転が終了したと判定された場合、処理を完了する。一方、自動運転が終了していないと判定された場合、ステップS102に戻る。
<第1実施形態の効果>
第1実施形態に係る車両用表示装置によれば、自車両Vが進入する予定の交差点における注意対象を含む画像となる仮想視点Xの目標位置を設定し、仮想視点を移動前の基準位置から目標位置に移動させる。よって、仮想視点から見た画像は、車両が進入する交差点及び交差点において注意すべき注意対象を含むものとなる。これにより、乗員は車両が通過する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置は、自車両Vから注意対象までの距離に基づいて、仮想視点Xの目標位置を表示画像が注意対象を含むように適切に設定できる。このため、乗員は、自車両Vが通過する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の停止位置を検出するため、表示画像は、交差点の停止位置を含むものとなる。これにより、乗員は交差点に進入する他車両を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の全ての停止位置を検出可能であるため、表示画像を、交差点の全て停止位置を含むものとすることができる。これにより、乗員は交差点に進入する全ての他車両を把握することが容易になるため、自車両の周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置は、注意対象として、自車両の周囲に存在する歩行者を検出し、歩行者に基づいて目標位置を設定することができる。これにより、乗員は、自車両の周囲に存在する歩行者の状況を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置は、注意対象として、交差点の横断歩道を検出し、横断歩道に基づいて目標位置を設定することができる。これにより、乗員は、横断歩道の状況を把握することが容易になるため、車両周囲状況を良好に把握できるようになる。
また、第1実施形態に係る車両用表示装置では、自車両との距離を変更した後に、仮想視点の視線方向及び自車両の水平方向がなす角を変更するように、仮想視点Xが基準位置から目標位置まで移動する。これにより、仮想視点が移動する間において周囲の他車両が一旦フレームアウトすることなく、表示画像に継続して映るようすることができる。よって、乗員は自車両の周囲の他車両の状況を把握することが容易になるため、車両の周囲状況を良好に把握できるようになる。
(第2実施形態)
本発明の第2実施形態に係る車両用表示装置は、図12に示すように、コントローラ30が信号状態検出部57、先行車検出部58及び停止可能性演算部59を更に備える点で第1実施形態と異なる。第2実施形態において説明しない構成、作用及び効果は、第1実施形態と実質的に同様であり、重複するため省略する。
信号状態検出部57は、例えばカメラ14により撮像された画像から、交差点検出部51により検出された交差点における信号機の点灯状態である信号状態を検出する。信号状態検出部57は、通信機15を介して路側機から受信する情報に基づいて信号状態を検出するようにしてもよい。信号状態は、信号機の各色の点灯状態の他、点灯時間(点灯周期)を含み得る。
先行車検出部58は、例えば測距装置13により検出された周囲環境のデータから、自車両の進行方向に走行する自車両の先行車の情報を検出する。先行車検出部58は、先行車の情報として、自車両から所定の距離範囲に存在する先行車の位置、速度、数等を検出する。更に、先行車検出部58は、自車両の進行方向車線の先行車による混雑状況を、先行車の情報として検出する。先行車検出部58は、例えば、自車両の走行経路Rが予め設定されている等、自車両の進行方向決定されている場合、自車両の進行方向における先行車の情報を検出する。例えば、先行車検出部58は、自車両の方向指示器により交差点を左折することを検出すると、左折先の道路における先行車の情報を検出するようにしてもよい。
停止可能性演算部59は、信号状態検出部57により検出された信号状態及び先行車検出部58により検出された先行車の情報を含む周囲状況に基づいて、自車両が交差点内に停止する可能性を算出する。即ち、停止可能性演算部59は、自車両が交差点に進入した後、進行方向車線の先行車による混雑のために交差点を退出できず、交差点内で停止する可能性を算出する。また、停止可能性演算部59は、信号機等による交通整理が行われている交差点の他、横断歩道、自転車横断帯、踏切、停止禁止部分の道路標示により区画された部分等に、先行車による混雑のため自車両が停止する可能性を算出するようにしてもよい。
<車両用表示方法>
図13のフローチャートを参照しながら、本発明の第2実施形態に係る車両用表示装置による車両用表示方法の一例を説明する。図13のステップS201~S204の一連の処理は、図4のステップS101~S104の一連の処理と実質的に同様であるため、重複する説明を省略する。
ステップS205において、信号状態検出部57は、ステップS203(ステップS103に相当)で検出された交差点における信号機の点灯状態を検出する。また、先行車検出部58は、自車両の進行方向に走行する自車両の先行車の情報を検出する。
ステップS206において、停止可能性演算部59は、信号状態検出部57により検出された信号状態及び先行車検出部58により検出された先行車の混雑状況に基づいて、自車両が交差点内に停止する可能性を算出する。即ち、停止可能性演算部59は、自車両が交差点に進入した場合において、進行方向車線の先行車が交差点内又は交差点付近に停止しているために、自車両が交差点内で停止せずに交差点から退出できない可能性を算出する。
ステップS207において、停止可能性演算部59は、ステップS206で算出した可能性が、所定の閾値より高いか否かを判定する。交差点内で停止する可能性が閾値より高いと判定する場合、ステップS208に進み、閾値より高くないと判定する場合、ステップS209に進む。
ステップS208において、仮想視点演算部53は、ステップS203で検出された交差点に対応する範囲より広い拡張範囲の画像となる仮想視点Xの高さ(h2>h1)を算出し、自車両の上方において目標位置cとして設定する。仮想視点演算部53は、ステップS202(ステップS102に相当)で表示したHMI画像の仮想視点Xの基準位置aから、高さ(h2)の目標位置cまで移動する仮想視点Xの軌跡を算出する。
ステップS209において、仮想視点演算部53は、ステップS203で検出された交差点に対応する範囲の画像となる仮想視点Xの高さ(h1)を算出し、自車両の上方において目標位置として設定する。仮想視点演算部53は、ステップS202で表示したHMI画像の仮想視点Xの基準位置aから、高さ(h1)の目標位置cまで移動する仮想視点Xの軌跡を算出する。
例えば図14に示すように、自車両Vが交差点P1に進入する場面において、停止可能性演算部59が、自車両が交差点P1に進入した場合に交差点P1内で停止する可能性が閾値より高いと判定したとする。このとき、仮想視点演算部53は、交差点P1における注意対象に対応する範囲Q1より広い拡張範囲Q1Aを設定し、拡張範囲Q1Aの画像となる仮想視点Xの目標位置cを算出する。拡張範囲Q1Aは、例えば、交差点P1から退出する道路の方向に範囲Qから距離Bだけ拡張した範囲である。距離Bは、少なくとも車両1台分に相当する距離(例えば5m程度)であることが望ましい。このような拡張範囲Q1Aの表示画像を表示装置31に表示することにより、乗員は、自車両が交差点P1から退出するスペースがあるか否かを示す周囲状況を把握することができる。
更に、注意対象は、対向車線に存在する他車両Fを含むようにしてもよい。これにより、乗員は、信号待ちや右折待ちをしている他車両Fの存在を把握することができる。また、自車両の走行経路Rが予め設定されている等、自車両の進行方向決定されている場合、自車両が交差点P1から退出する車線に存在するする他車両F1~F3を選択的に注意対象としてもよい。これにより乗員は、例えば単車線の道路等、進行方向における見通しが悪い道路であっても、進行方向における先行車による混雑状況を把握することができる。道路又は車線の幅により、目標位置cの高さを変更するようにしてもよい。
また図15に示すように、自車両Vが交差点P2に進入する場面において、停止可能性演算部59が、自車両が交差点P2に進入した場合に交差点P2内で停止する可能性が閾値より高いと判定したとする。このとき、交差点P2の全ての停止位置T1~T4を包含する範囲Q2より広い拡張範囲Q2Aを設定し、拡張範囲Q2Aの画像となる仮想視点の目標位置cを算出する。注意対象は、交差点P2の横断歩道U1~U4の全てを含むようにしてもよい。
なお、ステップS208又はS209で算出する移動軌跡は、第1実施形態の図9と同様に、基準位置aから目標位置cまで線形に仮想視点が移動する軌跡であってもよい。また、自車両の周囲に先行車又は後続車が存在する場合において、ステップS208又はS209で算出する軌跡は、図8に示すように、基準位置aから一旦後方の位置bに移動した後、自車両の上方の目標位置cに仮想視点Xが移動する軌跡であってもよい。
ステップS210において、表示画像描画部54は、ステップS208又がS209で算出された軌跡に沿って仮想視点Xを移動させる。表示画像描画部54は、基準位置aから目標位置cまでの間に仮想視点Xから見える表示画像を逐次描画する。
ステップS211において、表示画像描画部54は、ステップS208又がS209で算出された目標位置cに仮想視点Xが到達したか否かを判定する。仮想視点Xが目標位置cに到達したと判定する場合、ステップS212に進み、未だ目標地点に到達していないと判定する場合、ステップS210に戻る。
ステップS212において、表示画像描画部54は、移動が完了した状態で仮想視点Xを保持する。
ステップS213において、表示画像描画部54は、高精度地図情報及び自車両Vの現在位置から、ステップS203で検出した交差点を通過したか否かを判定する。交差点を通過したと判定する場合、ステップS214に進み、未だ交差点を通過しないと判定する場合、ステップS212に戻る。
ステップS214において、表示画像描画部54は、仮想視点Xを移動前の位置である基準位置aに戻す。仮想視点Xが基準位置aに戻る軌跡は、例えば、基準位置aから目標位置cまでの軌跡の逆を辿ればよい。第1実施形態と同様に、基準位置aに戻る軌跡は、必ずしも目標位置cに移動する軌跡の逆でなくてもよい。
ステップS215において、コントローラ30は、自動運転が終了したか否かを判定する。自動運転が終了したと判定された場合、処理を完了する。一方、自動運転が終了していないと判定された場合、ステップS202に戻る。
<第2実施形態の効果>
第2実施形態に係る車両用表示装置によれば、自車両の進行方向の車線の先行車による混雑状況を検出し、混雑状況に基づいて、仮想視点Xの目標位置cを変更することができる。これにより、乗員は自車両の前方における混雑状況を把握することが容易になるため、自車両の周囲状況を良好に把握できるようになる。また、乗員は、運転支援装置1による自動運転が実行されている場合、運転支援装置1が自車両の進行方向の状況を認識していることを把握でき、自動運転に対する不安や違和感を低減することができる。更に、自車両の周囲状況を把握できるようになるため、運転支援装置1による自動運転制御が乗員の意図と異なる場合、即座に自車両Vの運転操作を行うことにより手動運転を開始することができる。
また、第2実施形態に係る車両用表示装置は、自車両が交差点内に停止する可能性を算出し、停止する可能性に基づいて仮想視点の目標位置を変更する。これにより、広い範囲を示す表示画像とすることが望ましい場合に、仮想視点を高くして表示画像の視野を拡張することができ、自車両の周囲状況を良好に把握できるようになる。
(その他の実施形態)
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
例えば、図16に示すように、自車両Vが交差点において左折を待機する場面において、交差点の周囲の他車両E1~E3、二輪車である他車両D1~D3、その他の歩行者や自転車を注意対象として検出しているとする。このとき、交差点情報検出部52は、他車両E1~E2の予想軌跡t1~t2、他車両D1~D2の予想軌跡u1~u2、歩行者及び自転車の予想軌跡v等を算出ようにしてもよい。他車両E1は、対向車線から右折しようとする車両である。特に自車両Vと接近する可能性のある注意対象を表示画像においてズームインするようにしてもよい。このとき、仮想視点Xを目標位置cに移動させた後に特定の注意対象にズームインすることにより、注意対象の位置が把握しやすくなる。
交差点情報検出部52は、走行経路R等の自車両Vの進行方向に応じて、注意対象を検出する範囲Yを変更するようにしてもよい。これにより、周囲環境センサ群10による検出のための範囲を選択的に設定することができ、検出のための演算負荷を低減することができる。また、表示画像描画部54は、例えば自車両Vが右折しようとする場合、自車両から見て交差点の左右方向の範囲を拡張して表示画像を生成し、左折しようとする場合、右方向の範囲を拡張して表示画像を生成するようにすればよい。これにより、右左折時において注意すべき範囲の状況を把握することができるようになる。
また、図4及び図13のフローチャートでは、自車両が自動運転モードの場合に一連の処理を実行するようにしているが、手動運転の場合に一連の処理を実行するようにしてもよい。運転支援装置1が手動運転モードの場合であっても、注意対象を含む画像を表示装置31に表示することにより、自動運転の場合は、周囲の状況を把握することができるようになるため、乗員は、自車両が進入する交差点における注意対象を容易に把握することができるようになり、車両の周囲状況を良好に把握できるようになる。
また、交差点情報検出部52は、乗員の視線を検出するセンサを用いて、乗員の視線方向に存在する対象を注意対象として検出するようにしてもよい。更に、交差点情報検出部52は、他車両や歩行者等の移動物体の位置、移動方向、速度、種類等の自車両の周囲環境から、自車両Vと接近する可能性がある移動物体を注意対象として検出するようにしてもよい。
また、表示画像描画部54及びHMI描画部55は、信号機の状態を示すアイコンを画像に表示するようにしてもよい。更に、右左折用の矢印信号等を表示するようにしてもよい。特に、日本において右折用の矢印信号がない場合、表示画像の範囲を広くすることにより、右折の可否を判断する材料として交差点の周囲状況を把握することが可能となる。
また、第2実施形態において、停止可能性演算部59は、横断歩道等に存在する歩行者や自転車の混雑状況に基づいて、交差点内等の停止禁止部分で停止する可能性を算出するようにしてもよい。
また、第1及び第2実施形態では、基準位置から目標位置までの仮想視点Xの移動において、移動の過程を表示装置31等に表示するようにしてもよい。これにより、乗員は、基準位置と目標位置の関係を正確に把握することができる為、仮想視点を目標位置に移動させたとしても、周囲状況を正確に把握することができるようになる。
また、第1及び第2実施形態に係る車両用表示装置は、仮想視点演算部53により生成された基準位置から目標位置までの移動軌跡と、移動軌跡を生成した自車両Vの位置とを
記憶し、仮想視点演算部53が基準位置及び目標位置を設定した位置が、移動軌跡を生成した位置と所定距離以下の場合、記憶された移動軌跡を用いて、仮想視点Xを基準位置から目標位置に移動させるようにしてもよい。これにより、移動軌跡を生成した位置において、以前用いた移動軌跡、つまりは一貫した移動軌跡により、仮想視点Xを移動させることができる為、仮想視点Xの移動に伴う乗員の周囲状況の理解を妨げることを抑制することができる。
また、第1及び第2実施形態に係る車両用表示装置は、仮想視点演算部53により生成された基準位置から目標位置までの移動軌跡と、移動軌跡における自車両Vに対する基準位置及び目標位置とを記憶し、仮想視点演算部53が設定した基準位置及び目標位置が、記憶した目標位置及び基準位置とそれぞれ一致するか否か判定し、それぞれ一致すると判定した場合に、記憶した移動軌跡を用いて、仮想視点Xを基準位置から目標位置に移動させるようにしてもよい。これにより、基準位置と目標位置とがそれぞれ一致する場合に、以前用いた移動軌跡、つまりは一貫した移動軌跡により、仮想視点を移動させることができる為、仮想視点の移動に伴う乗員の周囲状況の理解を妨げることを抑制することができる。
その他、上記の実施形態において説明される各構成を任意に応用した構成等、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。