JP7088643B2 - 情報提供装置及び情報提供方法 - Google Patents

Description

本発明は、車両の乗員に情報を提供する技術に関する。

近年、自動運転機能を有する車両の開発が精力的に進められている。例えば、運転者の操作が不要な自動運転によって駐車を行うことができる車両が市販されている。

特開２０１６－１８２８９１号公報

しかしながら、従来の自動運転機能を有する車両は、自動運転において当該車両がこれからどのような挙動をするかを乗員に予め知らせることができなかったので、自動運転中の当該車両の挙動に不慣れな乗員に恐怖感を抱かせるおそれがあった。

なお、特許文献１で開示されている車輌用画像表示システムでは、自動運転システムが自車輌に予定した走行行動と異なる予定外の走行行動を取らせようとする場合に、事前に予定外の走行行動を仮想車輌によって視覚的に表すイメージ画像を予告表示している。特許文献１で開示されている車輌用画像表示システムは、自動運転システムが自車輌に予定した走行行動と異なる予定外の走行行動を取らせようとする場合を想定しているため、自動運転システムが自車輌に予定した走行行動を取らせている場合に仮想車輌を含むイメージ画像を表示することができない。

また、自動運転でない場合でも、車両に慣れ親しんでいない乗員であれば、これからの車両の走行に対する見通しがたっていないと、不安感を抱くおそれがある。

本発明は、上記課題に鑑みて、自車両の乗員に安心感を与えることができる情報提供技術を提供することを目的とする。

本発明に係る情報提供装置は、仮想車両を表す像を生成する生成部と、自車両の周辺の風景を表す風景画像に前記仮想車両を表す像を重畳する重畳部と、を備え、前記仮想車両を表す像は、前記風景画像中の前記自車両がこれから走行する位置に対応する領域に重畳され、前記自車両がこれから走行する位置は、前記自車両の目的地までの走行予定経路に沿って移動するとともに、前記走行予定経路上に少なくとも一つの中間位置を設け、前記自車両がこれから走行する位置が前記中間位置を通過すると、前記仮想車両を表す像の残像が前記風景画像中の前記中間位置に対応する領域に重畳される構成（第１の構成）である。

上記第１の構成の情報提供装置において、前記仮想車両を表す像は、前記風景画像中において、前記自車両の現在位置に出現し、その後前記目的地まで移動する構成（第２の構成）であってもよい。

上記第１または第２の構成の情報提供装置において、前記自車両が自動運転を行ってこれから走行する位置が前記中間位置を通過すると、前記仮想車両を表す像の残像が前記風景画像中の前記中間位置に対応する領域に重畳される構成（第３の構成）であってもよい。

上記第１～第３いずれかの構成の情報提供装置において、前記仮想車両を表す像の残像は、前記仮想車両を表す像と異なる態様である構成（第４の構成）であってもよい。

上記第１～第４いずれかの構成の情報提供装置において、前記中間位置は、前記自車両の進行方向が切り替わる位置である構成（第５の構成）であってもよい。

上記第１～第５いずれかの構成の情報提供装置において、前記生成部は、前記自車両がこれから走行する位置が移動した移動経路を表す像を生成し、前記重畳部は、前記風景画像に前記移動経路を表す像を重畳する構成（第６の構成）であってもよい。

本発明に係る情報提供方法は、仮想車両を表す像を生成する生成工程と、自車両の周辺の風景を表す風景画像に前記仮想車両を表す像を重畳する重畳工程と、を備え、前記仮想車両を表す像は、前記風景画像中の前記自車両がこれから走行する位置に対応する領域に重畳され、前記自車両がこれから走行する位置は、前記自車両の目的地までの走行予定経路に沿って移動するとともに、前記走行予定経路上に少なくとも一つの中間位置を設け、前記自車両がこれから走行する位置が前記中間位置を通過すると、前記仮想車両を表す像の残像が前記風景画像中の前記中間位置に対応する領域に重畳される構成（第７の構成）である。

本発明によると、自車両がこれからどのような挙動をするかを自車両の乗員に予め知らせることができるので、自車両の乗員に安心感を与えることができる。

情報提供装置の構成例を示す図 ４つの車載カメラが車両に配置される位置を例示する図 仮想投影面の例を示す図 情報提供装置の動作例を示すフローチャート 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図 出力画像の一例を示す図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．情報提供装置の構成例＞
図１は情報提供装置の構成例を示す図である。図１に示す情報提供装置２０１は、例えば自動車などの車両に搭載されている。以下、情報提供装置２０１が搭載される車両を「自車両」という。また、自車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方」という。また、自車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」という。

図１に示すフロントカメラ１１、バックカメラ１２、左サイドカメラ１３、右サイドカメラ１４、車両制御ＥＣＵ１５、情報提供装置２０１、表示装置３１、及びスピーカ３２は自車両に搭載される。

図２は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）が自車両Ｖ１に配置される位置を例示する図である。

フロントカメラ１１は自車両Ｖ１の前端に設けられる。フロントカメラ１１の光軸１１ａは上からの平面視で自車両Ｖ１の前後方向に沿っている。フロントカメラ１１は自車両Ｖ１の前方向を撮影する。バックカメラ１２は自車両Ｖ１の後端に設けられる。バックカメラ１２の光軸１２ａは上からの平面視で自車両Ｖ１の前後方向に沿っている。バックカメラ１２は自車両Ｖ１の後方向を撮影する。フロントカメラ１１及びバックカメラ１２の取付位置は、自車両Ｖ１の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

左サイドカメラ１３は自車両Ｖ１の左側ドアミラーＭ１に設けられる。左サイドカメラ１３の光軸１３ａは上からの平面視で自車両Ｖ１の左右方向に沿っている。左サイドカメラ１３は自車両Ｖ１の左方向を撮影する。右サイドカメラ１４は自車両Ｖ１の右側ドアミラーＭ２に設けられる。右サイドカメラ１４の光軸１４ａは上からの平面視で自車両Ｖ１の左右方向に沿っている。右サイドカメラ１４は自車両Ｖ１の右方向を撮影する。なお、自車両Ｖ１がいわゆるドアミラーレス車である場合には、左サイドカメラ１３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ１４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。

各車載カメラの水平方向の画角θは１８０度以上である。このため、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）によって、自車両Ｖ１の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数を４つとしているが、車載カメラの撮影画像を用いて後述する俯瞰画像を作成するために必要な車載カメラの数は４つに限られることはなく、複数のカメラであればよい。一例として、各車載カメラの水平方向の画角θが比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき俯瞰画像を生成してもよい。さらに、別の例として、各車載カメラの水平方向の画角θが比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき俯瞰画像を生成してもよい。

図１に戻って、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）は、撮影画像を情報提供装置２０１に出力する。車両制御ＥＣＵ１５は、自車両の自動運転に関する制御情報を情報提供装置２０１に出力する。車両制御ＥＣＵ１５は、例えば車載カメラの撮影画像の解析結果を用いたり、自車両に搭載したレーダ装置から出力される情報、クラウドセンターとの通信、車車間通信、路車間通信などで得られる情報などを用いたりすることで、自動運転での走行予定経路を立案する。

情報提供装置２０１は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）から出力される撮影画像を処理し、処理後の画像を表示装置３１に出力する。また、情報提供装置２０１は、音声をスピーカ３２から出力させる制御を行う。

表示装置３１は、自車両のドライバーが表示装置３１の表示画面を視認できる位置に設けられ、情報提供装置２０１から出力される画像を表示する。表示装置３１としては、例えばセンターコンソールに設置されるディスプレイ、運転席の対向位置に設置されるメータディスプレイ、フロントガラスに画像を投影するヘッドアップディスプレイなどを挙げることができる。

スピーカ３２は、情報提供装置２０１の制御に従って音声を出力する。

情報提供装置２０１は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて情報提供装置２０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。

情報提供装置２０１は、撮影画像取得部２１と、画像生成部２２と、音声制御部２３と、を備える。

撮影画像取得部２１は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、撮影画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。撮影画像取得部２１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、画像生成部２２に出力する。

画像生成部２２は、俯瞰画像生成部２２ａと、仮想車両生成部２２ｂと、走行予定経路取得部２２ｃと、重畳部２２ｄと、を備える。

俯瞰画像生成部２２ａは、撮影画像取得部２１によって取得された撮影画像を仮想投影面に投影して投影画像に変換する。具体的には、俯瞰画像生成部２２ａは、図３に示す仮想的な三次元空間における仮想投影面１００の第１領域Ｒ１にフロントカメラ１１の撮影画像を投影して、フロントカメラ１１の撮影画像を第１の投影画像に変換する。同様に、俯瞰画像生成部２２ａは、図３に示す仮想投影面１００の第２～第４領域Ｒ２～Ｒ４それぞれにバックカメラ１２の撮影画像、左サイドカメラ１３の撮影画像、及び右サイドカメラ１４の撮影画像を投影して、バックカメラ１２の撮影画像、左サイドカメラ１３の撮影画像、及び右サイドカメラ１４の撮影画像それぞれを第２～第４の投影画像に変換する。

図３に示す仮想投影面１００は、例えば略半球状（お椀形状）をしている。仮想投影面１００の中心部分（お椀の底部分）は、自車両Ｖ１が存在する位置として定められている。このように仮想投影面１００が曲面を含むようにすることで、自車両Ｖ１から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１～第４領域Ｒ１～Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。

俯瞰画像生成部２２ａは、複数の投影画像に基づいて仮想視点からみた仮想視点画像を生成する。具体的には、俯瞰画像生成部２２ａは、第１～第４の投影画像を仮想投影面１００の第１～第４領域Ｒ１～Ｒ４に仮想的に貼り付ける。

また、俯瞰画像生成部２２ａは、自車両Ｖ１の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両Ｖ１のモデルは、仮想投影面１００が設定される仮想的な三次元空間において、自車両Ｖ１が存在する位置として定められた位置（仮想投影面１００の中心部分）に第１領域Ｒ１が前側、第４領域Ｒ４が後ろ側に成るように配置される。

さらに、俯瞰画像生成部２２ａは、仮想投影面１００が設定される仮想的な三次元空間において、仮想視点を設定する。仮想視点は、視点位置及び視野方向によって規定される。仮想投影面１００の少なくとも一部が視野に入る限り、仮想視点の視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。本実施形態では、仮想視点の視点位置を自車両より後方且つ上方とし、仮想視点の視野方向を自車両の前方且つ下方とする。これにより、俯瞰画像生成部２２ａが生成する仮想視点画像が俯瞰画像となる。また、仮想視点の視点位置を自車両より後方且つ上方とし、仮想視点の視野方向を自車両の前方且つ下方とすることで、運転者は自車両と後述する仮想車両との位置関係をより的確に確認することができる。なお、本実施形態とは異なり、例えば視点位置を標準的な運転者の目の位置とし、視野方向を自車両の前方にしてもよい。

俯瞰画像生成部２２ａは、設定した仮想視点に応じて、仮想投影面１００における必要な領域（仮想視点からみえる領域）の画像を仮想的に切り出す。また、俯瞰画像生成部２２ａは、設定した仮想視点に応じて、ポリゴンのモデルに関してレンダリングを行い、自車両Ｖ１のレンダリング像を生成する。そして、俯瞰画像生成部２２ａは、切り出した画像に対して自車両Ｖ１のレンダリング像を重畳した俯瞰画像を生成する。すなわち、俯瞰画像生成部２２ａは、自車両を表す像を生成している。また、自車両Ｖ１のレンダリング像（自車両を表す像）は、俯瞰画像中の自車両の現在位置に対応する領域に重畳されている。

仮想車両生成部２２ｂは、ＣＧ（Computer Graphics）を用いて仮想車両を表す像を生成する。

走行予定経路取得部２２ｃは、自動運転が実行されたときの自車両の現在位置から目的地までの走行予定経路に関する情報（走行予定経路情報）を取得する。例えば、走行予定経路取得部２２ｃは、車両制御ＥＣＵ１６から走行予定経路情報を取得する。

重畳部２２ｄは、仮想車両を表す像を俯瞰画像に重畳する。仮想車両を表す像は、俯瞰画像中の自車両が自動運転を行ってこれから走行する位置に対応する領域に重畳される。自車両が自動運転を行ってこれから走行する位置は、自動運転が実行されたときの自車両の目的地までの走行予定経路に沿って移動する。

音声制御部２３は、例えば俯瞰画像中で仮想車両が移動している期間に、仮想車両が移動していることを報知する通知音（例えば一定リズムの電子音）をスピーカ３２に発生させる。

＜２．情報提供装置の動作例＞
図４は、情報提供装置２０１の動作例を示すフローチャートである。情報提供装置２０１は、自車両が自動運転を行う直前に図４に示すフロー動作を開始する。本実施形態では、自車両が自動運転によって自動駐車を行うものとする。したがって、本実施形態では、駐車位置が目的地となる。

図４に示すフロー動作が開始されると、まず撮影画像取得部２１が４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）から撮影画像を取得する（ステップＳ１０）。

次に俯瞰画像生成部２２ａが撮影画像取得部２１によって取得された撮影画像を用いて俯瞰画像を生成する（ステップＳ２０）。なお、後述する図５～図１３の俯瞰図では駐車車両の図示を省略している。

次に仮想車両生成部２２ｂが仮想車両を表す像を生成する（ステップＳ３０）。

次に重畳部２２ｄが仮想車両を表す像を俯瞰画像に重畳する（ステップＳ４０）。

本実施形態では、仮想車両を表す像が、俯瞰画像中において、自車両の現在位置に出現し、その後自車両が自動運転を行ってこれから走行する位置まで移動するように、重畳部２２ｄが仮想車両を表す像を俯瞰画像に重畳する。

具体的には、仮想車両を表す像が俯瞰画像に重畳されていない状態で、ステップＳ４０の処理を行う場合には、仮想車両を表す像は、俯瞰画像中の自車両の現在位置に対応する領域に重畳される。したがって、ステップＳ４０の処理により、情報提供装置２０１から表示装置３１に出力される俯瞰画像は、例えば図５に示す俯瞰画像から図６に示す俯瞰画像に変化する。図５に示す俯瞰画像には自車両のレンダリング像ＶＲ１が重畳されており、図６に示す俯瞰画像には自車両のレンダリング像ＶＲ１及び仮想車両を表す像Ｖ２が重畳されている。なお、仮想車両を表す像Ｖ２は、後述する図８～図１１では透過性を有するように図示されていないが、実際には透過性を有する像である。

また、画像生成部２２は、仮想車両を表す像Ｖ２を俯瞰画像に重畳する場合、図６に示す俯瞰画像の左下隅に、横軸を俯瞰画像中の仮想車両の位置から自動運転での停止位置までの距離、縦軸を俯瞰画像中の仮想車両の位置における自動運転での自車両の車速としたグラフも俯瞰画像に重畳する。グラフ内の車両の向きは仮想車両が停止位置まで進行方向を示しており、図６では仮想車両が停止位置まで前進することを示している。グラフ内の黒丸は仮想車両の状態（位置及び速度）を示している。このグラフにより、自動運転において自車両がこれからどのような挙動をするかをより明確に自車両の乗員に予め知らせることができる。

一方、すでに仮想車両を表す像が俯瞰画像に重畳されている状態で、ステップＳ４０の処理を行う場合には、仮想車両を表す像は、俯瞰画像中の自車両が自動運転を行ってこれから走行する位置に対応した領域に重畳される。したがって、ステップＳ４０の処理が繰り返されることにより、情報提供装置２０１から表示装置３１に出力される俯瞰画像は、例えば図６に示す俯瞰画像から図７に示す俯瞰画像に変化する。そして、その後、仮想車両を表す像が俯瞰画像中の目的地まで移動する（後述する図８及び図９参照）。

上記のように俯瞰画像中で仮想車両が自動運転における自車両の目的地までの走行予定経路に沿って移動するので、自動運転において自車両がこれからどのような挙動をするかを自車両の乗員に予め知らせることができる。これにより、自車両の乗員に安心感を与えることができる。

また、上記のように自車両と仮想車両が俯瞰画像に含まれるため、自車両の乗員は自車両と仮想車両との位置関係を直感的に把握することができる。したがって、自車両の乗員は、自動運転において自車両がこれからどのような挙動をするかを直感的に把握することができる。これにより、自車両の乗員の安心感が増す。

また、上記のように仮想車両を表す像が自車両の現在位置に出現し、その後自車両が自動運転を行ってこれから走行する位置に移動することで、仮想車両があたかも自車両から分離するように見えるため、運転者は仮想車両の走行経路が自動運転における自車両の目的地までの走行予定経路であることを直感的に把握することができる。

ステップＳ４０に続くステップＳ５０において、画像生成部２２は、仮想車両が走行予定経路上の中間位置に到着したか否かを判定する。本実施形態では、自動運転において、自車両の進行方向が前進から後進に切り替わる位置を走行予定経路上の中間位置としている。なお、走行予定経路上の中間位置は、例えば、自車両の進行方向が後進から前進に切り替わる位置、自車両がＵターンする位置、自車両が左折する位置、自車両が右折する位置などであってもよい。

仮想車両が走行予定経路上の中間位置に到着していなければ、ステップＳ１０に戻る。一方、仮想車両が走行予定経路上の中間位置に到着していれば、ステップＳ６０に移行する。

ステップＳ６０において、重畳部２２ｄは、仮想車両を表す像の残像を俯瞰画像に重畳する。仮想車両を表す像の残像は、俯瞰画像中の走行予定経路上の中間位置に対応する領域に重畳される。

ステップＳ６０に続くステップＳ７０において、画像生成部２２は、仮想車両が目的地に到着したか否かを判定する。

自車両が目的地に到着していなければ、直ちにステップＳ１０に戻る。一方、仮想車両が目的地に到着していれば、フロー動作を終了する。

ステップＳ６０の処理が実行される直前の俯瞰画像は例えば図８に示すようになり、フロー動作が終了する直前の俯瞰画像は例えば図９に示すようになる。図９に示す俯瞰画像中の仮想車両を表す像の残像Ａ１は、仮想車両を表す像Ｖ２と異なる態様である。例えば、点滅の有無や色などによって互いに異なる態様にすればよい。仮想車両を表す像の残像Ａ１と仮想車両を表す像Ｖ２とを異なる態様にすることで、自車両の乗員が仮想車両を表す像の残像Ａ１と仮想車両を表す像Ｖ２とを混同することを防止することができる。

上記のように走行予定経路上の中間位置に仮想車両を表す像の残像を残すことで、自車両の乗員は、走行予定経路上のどの位置が中間位置であるかを明確に把握することができる。

また、中間位置を自動運転中に自車両の進行方向が切り替わる位置とすることで、自車両の乗員は、自動運転において自車両の挙動が大きく変化する位置を明確に把握することができ、安心感が増す。ここで、自車両の進行方向が切り替わる位置とは、自車両の進行方向の変化率が閾値より大きくなる位置を意味している。例えば、閾値を比較的大きく設定することで、自車両の進行方向が切り替わる位置は、自車両の前進と後進とが切り替わる位置のみになる。一方、閾値を比較的小さく設定することで、自車両の進行方向が切り替わる位置は、自車両の前進と後進とが切り替わる位置のみならず、縦列駐車などにおいて操舵角を大きく変化させる位置等も含むことになる。

＜３．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の変形例は可能な範囲で組み合わせて実施されてよい。

例えば、自車両が自動運転を行ってこれから走行する位置が移動した移動経路を表す像を画像生成部２２が生成し、重畳部２２ｄが俯瞰画像にその移動経路を表す像を重畳するようにしてもよい。この場合、情報提供装置２０１は、フロー動作が終了する直前の俯瞰画像として、図９に示す俯瞰画像の代わりに図１０に示す俯瞰画を生成する。図１０に示す俯瞰画像には、上記の移動経路を表す像Ｗ１が重畳されている。これにより、自動運転において自車両がこれからどのような挙動をするかをより明確に自車両の乗員に予め知らせることができる。

また例えば、仮想車両を表す像が後進するときは、俯瞰画像生成部２３ａが、例えば図１１に示す俯瞰画像のように、仮想視点の視点位置を自車両のほぼ真上に変更し、仮想視点の視野方向をほぼ真下（ほぼ重力方向）に変更してもよい。これにより、仮想車両を表す像が後進するときの仮想車両を表す像の動きを自車両の乗員が把握し易くなる。

また例えば、情報提供装置２０１は、図４に示すフロー動作を開始する前に、他車両がもうすぐ出庫する予定であることを検知した場合、図１２に示すような俯瞰画像を生成するようにしてもよい。図１２に示すような俯瞰画像には、他車両の出庫予定進路を示す指標Ｂ１と、自車両の停止を促す指標Ｂ２とが重畳されている。これにより、自車両ともうすぐ出庫する予定である他車両との接触を防止することができる。また、自動運転の目的地までの走行予定経路に、もうすぐ出庫する予定である他車両の駐車位置を含めることが可能となる。他車両がもうすぐ出庫する予定であることの検知には、例えば車載カメラの撮影画像の解析結果を用いたり、自車両に搭載したレーダ装置から出力される情報、クラウドセンターとの通信、車車間通信、路車間通信などで得られる情報などを用いたりすることができる。

また例えば、画像生成部２３は、俯瞰画像生成部２２ａによって生成される俯瞰画像の他に、自車両の周辺状況を模式的に示す上面図を表す画像を生成し、例えば図１３に示すように、俯瞰画像生成部２２ａによって生成される俯瞰画像と、自車両の周辺状況を模式的に示す上面図を表す画像とを、表示装置３１の表示画面に同時に表示するようにしてもよい。これにより、自車両の乗員は、自車両の周辺状況を容易に把握することができる。自車両の周辺状況を模式的に示す上面図を表す画像は、例えばクラウドセンターとの通信、車車間通信、路車間通信などで得られる情報などを用いて作成することができる。

また例えば、情報提供装置２０１は、自動運転の目的地までの走行予定経路として複数の候補ルートがある場合、各候補ルートの概要を示す画像を表示装置３１に表示させ、自車両の乗員に複数の候補ルートから一つのルートを選択させるようにしてもよい。或いは、情報提供装置２０１は、自動運転の目的地までの走行予定経路として複数の候補ルートがある場合、各候補ルートについて図４に示すフロー動作を実行して、その後、自車両の乗員に複数の候補ルートから一つのルートを選択させるようにしてもよい。

また、上述した実施形態では、仮想車両を表す像の出現位置が自車両の現在位置であったが、仮想車両を表す像の出現位置が出現当初から自車両が自動運転を行ってこれから走行する位置であってもよい。

また、上述した実施形態では、情報提供装置２０１から表示装置３１に出力される画像（出力画像）の生成に撮影画像を用いたが、撮影画像を用いずに自車両周辺の風景を表すＣＧ（Computer Graphics）を用いて出力画像を生成してもよい。自車両周辺の風景を表すＣＧを用いて出力画像を生成する場合には、情報提供装置２０１は例えば自車両に搭載されているナビゲーション装置から自車両周辺の風景を表すＣＧを取得するようにすればよい。

また、情報提供装置２０１から表示装置３１に出力される出力画像に、自車両の車速情報や自車両のシフトレバーのレンジ情報などを含めてもよい。

また、図４に示すフローチャートにおいて、ステップＳ５０及びＳ６０を省いてもよい。

また、仮想車両を表す像が重畳されている俯瞰画像において、仮想車両と障害物との距離が閾値以下である場合に、その障害物の近傍位置に、仮想車両に近接する障害物であることを示す指標を重畳してもよい。これにより、自車両の乗員は、自動運転システムが仮想車両と障害物との接近を正しく認識できていることを知ることができるので、安心感が増す。

上記実施形態及び上記変形例では、自車両が自動運転を行ってこれから走行する位置に対応する領域に、仮想車両を表す像を重畳しているが、自車両が自動運転を行わずにこれから走行する位置に対応する領域に、仮想車両を表す像を重畳してもよい。この場合、目的地までの走行予定路は、例えば、ナビゲーション装置によって案内される案内経路を用いることができる。そして、例えば見通しの悪いＳ字カーブやクランク路の途中に中間位置を設けることで、出力画像上で仮想車両が隠れている状態であっても、自車両の乗員は仮想車両の残像を頼りにして仮想車両に自車両を追従させる運転を行うことができる。これにより、出力画像上で仮想車両が隠れた場合であっても自車両の乗員に安心感を与えることができる。

また、上述した実施形態及び上記変形例では、運転者が自車両と仮想車両との位置関係を直感的に把握できるように、仮想車両を表す像だけでなく自車両を表す像も俯瞰画像に重畳したが、自車両を表す像を俯瞰画像に重畳しないようにしてもよい。

また、上述した実施形態及び上記変形例では、情報提供装置が出力する出力画像は俯瞰画像であったが、情報提供装置が出力する出力画像は俯瞰画像に限定されることはなく、例えばフロントカメラ１１の撮影画像に仮想車両を表す像などを重畳してもよい。

２１ カメラ画像取得部
２２ 画像生成部
２３ 音声制御部
２０１ 情報提供装置

Claims (8)

1. 仮想車両を表す像を生成する生成部と、
   自車両の周辺の風景を表す風景画像に前記仮想車両を表す像を重畳する重畳部と、を備え、
   前記仮想車両を表す像は、前記風景画像中の前記自車両がこれから走行する位置に対応する領域に重畳され、
   前記自車両がこれから走行する位置は、前記自車両の目的地までの走行予定経路に沿って移動するとともに、
   前記走行予定経路上に少なくとも一つの中間位置を設け、前記仮想車両を表す像が前記風景画像中の前記中間位置に対応する領域を通過すると、前記仮想車両を表す像の残像が前記風景画像中の前記中間位置に対応する領域に重畳され、
   前記仮想車両を表す像が前記風景画像中の前記中間位置に対応する領域を通過してから前記風景画像中の前記目的地に対応する領域に到達する迄の間、前記仮想車両を表す像と前記残像とが同時に前記前記周辺画像に重畳される、情報提供装置。
2. 前記仮想車両を表す像は、前記風景画像中において、前記自車両の現在位置に出現し、その後前記目的地まで移動する、請求項１に記載の情報提供装置。
3. 前記自車両は、自動運転を行って前記走行予定経路を走行する、請求項１または請求項２に記載の情報提供装置。
4. 前記仮想車両を表す像の残像は、前記仮想車両を表す像と異なる態様である、請求項１～３のいずれか一項に記載の情報提供装置。
5. 前記中間位置は、前記自車両の進行方向が切り替わる位置である、請求項１～４のいずれか一項に記載の情報提供装置。
6. 前記生成部は、前記自車両がこれから走行する位置が移動した移動経路を表す像を生成し、
   前記重畳部は、前記風景画像に前記移動経路を表す像を重畳する、請求項１～５のいずれか一項に記載の情報提供装置。
7. 仮想車両を表す像を生成する生成工程と、
   自車両の周辺の風景を表す風景画像に前記仮想車両を表す像を重畳する重畳工程と、を備え、
   前記仮想車両を表す像は、前記風景画像中の前記自車両がこれから走行する位置に対応する領域に重畳され、
   前記自車両がこれから走行する位置は、前記自車両の目的地までの走行予定経路に沿って移動するとともに、
   前記走行予定経路上に少なくとも一つの中間位置を設け、前記仮想車両を表す像が前記風景画像中の前記中間位置に対応する領域を通過すると、前記仮想車両を表す像の残像が前記風景画像中の前記中間位置に対応する領域に重畳され、
   前記仮想車両を表す像が前記風景画像中の前記中間位置に対応する領域を通過してから前記風景画像中の前記目的地に対応する領域に到達する迄の間、前記仮想車両を表す像と前記残像とが同時に前記前記周辺画像に重畳される、情報提供方法。
8. 前記重畳部は、前記自車両の現在位置から前記目的地までの距離と前記自車両の車速とが対応付けられ尚且つ前記自車両の進行方向が示された図も前記風景画像に重畳する、請求項１～６のいずれか一項に記載の情報提供装置。

Images