JP7077083B2 - 表示システム、表示方法、およびプログラム - Google Patents

Description

本発明は、表示システム、表示方法、およびプログラムに関する。

近年、車両を自動的に制御することについて研究が進められている。これに関連して、自動運転により車両の走行を制御して、現在の走行車線から隣接車線に車線変更を行う場合に、自動運転における車線変更の進行状況を画面表示する技術が知られている（特許文献１参照）。

特開２０１６－１９９２０４号公報

しかしながら、従来の技術では、車両の周辺状況によって自動運転が継続できずに手動運転に切り替わる場合に、自動運転で実行されていたイベントを乗員に引き継がせることができず、円滑な運転の切り替えができない場合があった。

本発明は、このような事情を考慮してなされたものであり、円滑な運転の切り替えを実現することができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。

（１）：画像を表示する表示部と、車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵または加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを実行する運転制御部と、前記表示部を制御する表示制御部と、を備え、前記表示制御部は、前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると前記運転制御部により判定された場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御部により実行されていた車両の挙動の変化を前記第２運転モードで実現するように促す情報を前記表示部に表示させる、表示システムである。

（２）：（１）において、前記乗員の状況を取得する乗員状況取得部を更に備え、前記表示制御部は、前記乗員状況取得部により取得された乗員の状況が、前記第２運転モードを実行することが可能な状況である場合に、仮に前記第１運転モードで前記イベントが継続されていたならば、前記運転制御部により実行されていた挙動の変化を前記第２運転モードで実行するように促す情報を前記表示部に表示させるものである。

（３）：（１）または（２）において、前記表示制御部は、前記イベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された場合に、前記第２運転モードへの切り替えが必要になった理由を前記表示部に表示させるものである。

（４）：（１）～（３）のうち何れか一つにおいて、前記イベントは、前記車両を車線変更させるイベントを含むものである。

（５）：（１）～（４）のうち何れか一つにおいて、前記イベントによる前記車両の挙動の変化を前記第２運転モードで実行するように促す情報は、前記第１運転モードの実行時に設定された前記車両の走行推奨車線に対応する領域を示す図形と、前記車両の進路変更方向を示す図形とが含まれるものである。

（６）：前記表示制御部は、前記イベントを実行する緊急度合に基づいて、前記イベントによる前記車両の挙動の変化を前記第２運転モードで実行するように促す情報を強調して前記表示部に表示させるものである。

（７）：表示システムが、画像を表示部に表示し、車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵または加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを含む運転制御を実行し、前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御により実行されていた挙動の変化を前記第２運転モードで実現するように促す情報を前記表示部に表示させる、表示方法である。

（８）：表示システムに、画像を表示部に表示させ、車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵または加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを含む運転制御を実行させ、前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御により実行されていた挙動の変化を前記第２運転モードで実現するように促す情報を前記表示部に表示させる、プログラムである。

（１）～（８）によれば、円滑な運転の切り替えを実現することができる。

実施形態の表示システムを含む車両システム１の構成図である。 自車両ＭにおけるＨＭＩ４００の一例を示す図である。 第２運転モードが実行している場面で表示される画面ＩＭ１の一例を示す図である。 第１運転モードで走行している場面で表示される画面ＩＭ２の一例を示す図である。 車線変更が開始される場面で表示される画面ＩＭ３の一例を示す図である。 乗員の操作による第２運転モードの実行を促す画面ＩＭ４の一例を示す図である。 第２運転モードによる走行時に表示される画面ＩＭ５の一例を示す図である。 車線変更イベントによる自車両Ｍの挙動の変化を、乗員の操作により実現させるために表示される画面ＩＭ６の一例を示す図である。 右左折イベントによる自車両Ｍの挙動の変化を、乗員の操作により実現させるために表示される画面ＩＭ７の一例を示す図である。 マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。 マスター制御部１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の表示システム、表示方法、およびプログラムの実施形態について説明する。なお、実施形態では、車両が自動運転（自律運転）を行うにあたり、表示システムが車両の周辺を認識した結果を表示させる場合を一例として示す。自動運転とは、車両の操舵または加減速のうち一方または双方を制御して車両を走行させることをいい、運転支援の一種である。以下、運転支援において、車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵または加減速のうち一方または双方を制御するモードを第１運転モードと称し、第１運転モードよりも車両の乗員の操作に依存する度合が高いモードを第２運転モードと称するものとする。

第１運転モードと第２運転モードの組み合わせパターンとしては、第１運転モードが乗員の操作に寄らずに車両の操舵および加減速を制御して車両を走行させるモードであり、第２運転モードがいわゆる手動運転を行うモードである第１のパターンと、第１運転モードが車両の操舵または加減速のうち少なくとも一方を制御して車両を走行させるモードであり、第２運転モードが車線維持制御や車間距離維持制御等の運転支援を受けながら走行させるモードである第２のパターンと、第１運転モードが乗員の操作に寄らずに車両の操舵および加減速を制御して車両を走行させるモードであり、第２運転モードが乗員の操作に寄らずに車両の操舵および加減速を制御して車両を走行させるが、乗員に課される注意監視義務が高い（例えば、ステアリングホイールの把持義務、前方監視義務がある）モードである第３のパターン等がある。以下では、第２のパターンを用いて説明する。また、実施形態における「乗員」とは、例えば、運転席すなわち運転操作子が設けられた座席に着座した乗員であるものとする。また、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。

［全体構成］
図１は、実施形態の表示システムを含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、車両センサ７０と、運転操作子８０と、車室内カメラ９０と、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、ＨＭＩ（Human Machine Interface）４００と、走行駆動力出力装置５００と、ブレーキ装置５１０と、ステアリング装置５２０と、を備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、ＨＭＩ４００と、ＨＭＩ制御部１２０とを合わせたものが「表示システム」の一例である。また、ＨＭＩ４００は、「表示部」の一例である。また、切替制御部１１０と、運転支援制御部２００と、自動運転制御ユニット３００とを合わせたものが「運転制御部」の一例である。また、ＨＭＩ制御部１２０は、「表示制御部」の一例である。また、操作子状態判定部１３０と、乗員状態監視部１４０とを合わせたものが「乗員状況取得部」の一例である。

カメラ１０は、自車両Ｍの周辺を撮像し、撮像画像を生成する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に取り付けられる。自車両Ｍの周辺とは、自車両Ｍの前方を含み、自車両Ｍの側方又は後方を含んでいてもよい。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転支援制御部２００および自動運転制御ユニット３００に出力する。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置２０は、車外の人物が所持する端末装置と通信する。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、後述するＨＭＩ４００と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（例えば、目的地まで走行するときの経由地に関する情報を含む）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット３００、もしくは、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０のうち一部または全部に出力される。

車室内カメラ９０は、例えば、車室内に設置されたシートに着座する乗員の顔を中心に撮像する。車室内カメラ９０は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ９０は、例えば、周期的に乗員を撮像する。車室内カメラ９０により撮像された画像は、マスター制御部１００に出力される。

［マスター制御部］
マスター制御部１００は、例えば、切替制御部１１０と、ＨＭＩ制御部１２０と、操作子状態判定部１３０と、乗員状態監視部１４０とを備える。これらの構成要素は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めマスター制御部１００のＨＤＤやフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでマスター制御部１００のＨＤＤやフラッシュメモリにインストールされてもよい。

切替制御部１１０は、例えば、ＨＭＩ４００に含まれる所定のスイッチから入力される操作信号に基づいて運転モードを切り替える。また、切替制御部１１０は、例えば、アクセルペダルやブレーキペダル、ステアリングホイール等の運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて運転モードを切り替えてもよい。また、切替制御部１１０は、行動計画生成部３２３により生成される行動計画に基づいて、運転モードを切り替えてもよい。

また、切替制御部１１０は、自車両Ｍの周辺状況に基づいて、第１運転モードから第２運転モードへの切り替えが必要であると判定された場合に、自車両Ｍの運転モードを第１運転モードから第２運転モードに切り替える制御を実行する。切替制御部１１０の機能の詳細については、後述する。

ＨＭＩ制御部１２０は、運転モードに関する情報および運転モードの切り替えに関連する通知等を、ＨＭＩ４００に出力させる。また、ＨＭＩ制御部１２０は、ＨＭＩ４００により受け付けられた情報を運転支援制御部２００または自動運転制御ユニット３００の一方または双方に出力してもよい。ＨＭＩ制御部１２０の機能の詳細については後述する。

操作子状態判定部１３０は、例えば、運転操作子８０に含まれるステアリングホイールが操作されている状態（具体的には、現に意図的な操作を行っている場合、直ちに操作可能な状態、または把持状態を指すものとする）であるか否かを判定する。操作子状態判定部１３０の機能の詳細については後述する。

乗員状態監視部１４０は、車室内カメラ９０により撮像された画像に基づいて、自車両Ｍの乗員の状態を監視し、乗員が自車両Ｍの周囲を監視しているか否かを判定する。乗員状態監視部１４０の機能の詳細については後述する。なお、上述したマスター制御部１００の各構成は、例えば自動運転制御ユニット３００に設けられてもよい。

［運転支援制御部］
運転支援制御部２００は、例えば、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）、その他の運転支援制御を実行する。例えば、運転支援制御部２００は、ＡＣＣを実行する際には、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置５００およびブレーキ装置５１０を制御する。すなわち、運転支援制御部２００は、前走車両との車間距離に基づく加減速制御を行う。また、運転支援制御部２００は、ＬＫＡＳを実行する際には、自車両Ｍが、現在走行中の走行車線を維持（レーンキープ）しながら走行するようにステアリング装置５２０を制御する。すなわち、運転支援制御部２００は、車線維持のための操舵制御を行う。

［自動運転制御ユニット］
自動運転制御ユニット３００は、例えば、第１制御部３２０と、第２制御部３４０とを備える。第１制御部３２０と、第２制御部３４０とは、それぞれ、ＣＰＵ等のプロセッサがプログラムを実行することで実現される。また、これらの各機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御ユニット３００のＨＤＤやフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御ユニット３００のＨＤＤやフラッシュメモリにインストールされてもよい。

第１制御部３２０は、例えば、外界認識部３２１と、自車位置認識部３２２と、行動計画生成部３２３とを備える。外界認識部３２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

外界認識部３２１は、上述した周辺車両、障害物（例えば、ガードレールや電柱、駐車車両、歩行者等の人物）、道路形状、その他の物体のうち、少なくとも一つを認識してもよい。

自車位置認識部３２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部３２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。自車位置認識部３２２は、走行車線に対する自車両Ｍの位置や姿勢を認識してもよい。

行動計画生成部３２３は、自車両Ｍが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部３２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。自動運転におけるイベントには、自車両Ｍの挙動の変化を伴うイベントと、自車両Ｍの挙動の変化を伴わないイベントとが含まれる。自車両Ｍの挙動の変化を伴うベントには、例えば、自車両Ｍの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Ｍを目的の方向に走行させる分岐イベント、交差道路で自車両Ｍを右左折させる右左折イベント、自車両Ｍを緊急停車させる緊急停車イベントが含まれる。また、自車両Ｍの挙動の変化を伴わないイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速（例えば４０［ｋｍ／ｈ］以下）を条件に、前走車両に追従する低速追従イベントが含まれる。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄等）に基づいて、回避のための行動が計画される場合もある。また、行動計画生成部３２３は、上述した各種イベント等に対応付けて自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。

第２制御部３４０は、例えば、走行制御部３４２を備える。走行制御部３４２は、行動計画生成部３２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０を制御する。

ＨＭＩ４００は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。ＨＭＩ４００は、例えば、各種表示装置、発光部、スピーカ、ブザー、タッチパネル、各種操作スイッチ、キー等のうち一部または全部を含む。また、ＨＭＩ４００は、例えば、運転支援の開始または終了を切り替えたり、運転モードを切り替えるための操作部４１０を備える。操作部４１０は、例えば、乗員によるスイッチ操作を受け付けることで、運転モードの切り替えに関する情報を、切替制御部１１０に出力する。

走行駆動力出力装置５００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置５００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ブレーキ装置５１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置５２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。ステアリングＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［ＨＭＩ４００の構成］
以下、実施形態のＨＭＩ４００の構成例について説明する。図２は、自車両ＭにおけるＨＭＩ４００の一例を示す図である。ＨＭＩ４００は、例えば、自車両Ｍの車室内に一以上の表示装置Ａ～Ｅと、一以上の発光部Ｆ～Ｋとを備える。ここで、表示装置Ａ～Ｅおよび発光部Ｆ～Ｋのうち少なくとも一つは、「表示部」の一例である。

表示装置Ａは、例えば、インストルメントパネルにおける運転席の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な表示装置である。表示装置Ａは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示装置Ａには、運転モードに関する情報、自車両Ｍの手動運転時または自動運転時の走行に必要な情報、または乗員への指示に関する情報が表示される。手動運転時の自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。また、自動運転時における自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの将来の軌道、乗員に対する指示等の情報である。

表示装置Ｂは、例えば、ＨＵＤ（Head Up Display）である。表示装置Ｂは、表示装置Ａよりも高い位置に配置される。表示装置Ｂは、所定の結像部に映像を投影する。例えば、表示装置Ｂは、例えば、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。

表示装置Ｃは、例えば、インストルメントパネルの中央部に取り付けられる。表示装置Ｃは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示装置Ｃは、例えば、ナビゲーション装置５０により実行されるナビゲーション処理に対応する画像等を表示する。また、表示装置Ｃは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。

表示装置Ｄは、自車両Ｍの後方を撮影したカメラ画像を表示する。表示装置Ｄは、例えば、ＬＣＤや有機ＥＬ表示装置等である。また、表示装置Ｄは、例えば、表示面の少なくとも一部がミラーであってもよい。

表示装置Ｅは、例えば、自車両Ｍの前方を撮影するためにフロントウインドシールドの上部に設置されたカメラ１０をカバーするカバー部材に設けられている。表示装置Ｅは、例えば、ＬＣＤや有機ＥＬ表示装置等である。

発光部Ｆ～Ｋは、例えば、ＬＥＤ（Light Emitting Diode）等の照明機器、またはインジケータである。発光部Ｆ～Ｋは、例えば、自車両Ｍに対する運転支援が開始されるタイミング、運転モードが切り替わる場合、自車両Ｍの挙動の変化を第２運転モードで実現するように促す場合、乗員による運転操作子８０への操作を急がせる場合、または後述する表示制御を行う幾つかの場面において、所定の色で点灯または点滅する。

操作部４１０と、発光部ＦおよびＧとは、運転操作子８０の一つであるステアリングホイール８２に設けられている。なお、ステアリングホイール８２には、乗員がステアリングホイール８２を把持したことを検知する把持センサ８２Ａが設けられてよい。

発光部Ｈは、例えば、表示装置Ｃの一部または近傍に設けられる。近傍とは、発光部Ｈと、表示装置Ｃとの最短距離が例えば数［ｃｍ］（より具体的には３［ｃｍ］程度）以下の範囲である。図２の例では、表示装置Ｃの画面形状を形成する少なくとも一つの辺に沿って延在する発光部Ｈが取り付けられている。発光部Ｉは、例えば、インストルメントパネルにおける助手席の正面付近に設けられる。発光部ＪおよびＫは、例えば、自車両Ｍの左前方および右前方のドアにそれぞれ設けられる。

［運転支援に関連するＨＭＩ４００の表示制御］
次に、運転支援に関連するＨＭＩ４００の表示制御について説明する。なお、以下に示す表示画面の例は、表示装置Ａに表示される画面とし、表示画面におけるレイアウトについては、あくまで一例であり、任意に変更可能である。レイアウトとは、配置、色彩、縮尺、その他をいう。また、表示画面の一部または全部の領域は、表示装置Ａ～Ｅのうちの複数の表示装置に表示させてよい。ＨＭＩ制御部１２０は、自車両Ｍに対する運転モードに基づく各場面において、ＨＭＩ４００に情報を出力させる。以下、幾つかの場面に対応する表示制御について説明する。

＜場面（１）＞
場面（１）は、例えば、車両システム１が第２運転モードを実行している場面である。この場面では、ＡＣＣやＬＫＡＳ等の運転制御が実行されるとともに、乗員には、ステアリングホイールを把持する動作が要求される。この場面の画面例を、図３に示す。

図３は、第２運転モードが実行している場面で表示される画面ＩＭ１の一例を示す図である。画面ＩＭ１には、運転支援に関する情報を表示する領域として、運転支援状態表示領域６００－１、周辺情報表示領域６２０－１、および走行状態表示領域６４０－１が含まれる。以下、画面ＩＭ１－Ｘにおけるそれぞれの領域を運転支援状態表示領域６００－Ｘ、周辺情報表示領域６２０－Ｘ、および走行状態表示領域６４０－Ｘと称する。

ＨＭＩ制御部１２０は、運転支援状態表示領域６００－１に、自車両Ｍが実行可能な運転支援（自動運転を含む）の状態の候補を示す情報を全て表示させる。図３の例では、運転支援の状態の候補を示す情報として、「ＡＣＣ／ＬＫＡＳ」、「Ｐａｒｔｉａｌ Ａｕｔｏ」、「Ｔｒａｆｆｉｃ Ｊａｍ Ｐｉｌｏｔ」の三つのインジケータを示す画像６０２－１が示されている。例えば、それぞれのインジケータ単体で、または複数のインジケータの組み合わせによって、運転モードが表される。

インジケータ「ＡＣＣ／ＬＫＡＳ」は、自車両Ｍが、ＡＣＣやＬＫＡＳ等の運転支援による第２運転モードを実行している、或いは、第２運転モードから第１運転モードに遷移可能な状態であることを示す。インジケータ「Ｐａｒｔｉａｌ Ａｕｔｏ」は、自車両Ｍが、乗員が運転操作子８０に対する操作を行わなくてよいが、乗員に周辺監視義務が課される第１運転モードで運転支援を実行している状態、或いは、第２運転モードでの運転支援に遷移可能な状態であることを示す。なお、第２運転モードで運転支援を実行しているか、或いは、第１運転モードでの運転支援に遷移可能な状態であるかについては、後述する要求動作通知画像６０４によって把握することができる。

インジケータ「Ｔｒａｆｆｉｃ Ｊａｍ Ｐｉｌｏｔ（以下、ＴＪＰと称する）」は、自車両Ｍが、ＴＪＰで運転支援を実行している、或いは、ＴＪＰでの運転支援に遷移可能な状態であることを示す。ＴＪＰとは、例えば、所定速度（例えば、４０［ｋｍ／ｈ］）以下で前走車両に追従する制御態様である。ＴＪＰは、例えば、自車両Ｍの速度が所定速度以下であり、且つ前走車両との車間距離が所定距離以内であるときに発動してもよく、操作部４１０が乗員の操作を受け付けることにより発動してもよい。ＴＪＰを実行しているか、或いは、ＴＪＰの運転支援に遷移可能な状態であるかについては、要求動作通知画像６０４によって把握することができる。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－１に、「ＡＣＣ／ＬＫＡＳ」、「Ｐａｒｔｉａｌ Ａｕｔｏ」、「Ｔｒａｆｆｉｃ Ｊａｍ Ｐｉｌｏｔ」の三つのインジケータを示す画像６０２－１に対応する表示位置で、要求動作通知画像６０４－１を表示させる。「対応する」とは、横並び、縦並び、対応付けを示すガイドラインがある等、人によって対応関係が認識可能な様をいう。一例として「画像６０２－１に対応する表示位置」とは、画像６０２－１に隣接する表示位置であり、画像６０２－１の表示位置を基準として上下左右の少なくとも一方に数［ｃｍ］以下（例えば、３［ｃｍ］以下）の表示位置を示す。要求動作通知画像６０４－１は、例えば、乗員が運転操作子８０に対して行う所定の動作を示す画像である。要求動作通知画像６０４－１は、例えば、運転操作子８０を示す画像と、乗員の所定の部位を示す画像とを含む。要求動作通知画像６０４－１は、例えば、ステアリングホイール８２と乗員の手との位置関係を模式的に示す画像である。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－１に、第２地図情報６２から取得した自車両Ｍの前方の道路に擬した画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により認識された周辺車両を示す画像とを表示させる。なお、ＨＭＩ制御部１２０は、外界認識部３２１により認識された全ての周辺車両を示す画像を表示させてもよく、全ての周辺車両のうち自車両Ｍの将来の軌道に影響を与える周辺車両のみを表示させてもよい。

また、ＨＭＩ制御部１２０は、走行状態表示領域６４０－１に、自車両Ｍの速度を示す画像６４２－１を表示させる。図３の例では、第２運転モードにより、自車両Ｍの現在速度（４８［ｋｍ／ｈ］）から、行動計画生成部３２３により定められた目標速度（例えば、７０［ｋｍ／ｈ］）まで加速する例を示している。または、ＨＭＩ制御部１２０は、走行状態表示領域６４０－１に、自車両Ｍの現在のギアの種類に関する情報を表示させてもよい。以降の画面例において、走行状態表示領域６４０の表示内容は、略同様であるため、同一の説明については省略する。

場面（１）において、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－１に、三つのインジケータの画像６０２－１のうち、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を他のインジケータと異なる色（第１の色）で表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－１に、乗員の手がステアリングホイール８２を把持する旨を示す要求動作通知画像６０４－１を表示させる。このとき、要求動作通知画像６０４－１の色は、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像の色と同系色である。同系色とは、例えば、日本色研配色体系（ＰＣＣＳ：Practical Color Co-ordinate System）の２４色相環において、同色に分類されるとともに、明度や彩度においても同一カテゴリに分類されるものである。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－１に表示される自車両Ｍが走行する道路に擬した車線Ｌ１の画像と、車線Ｌ１を区画する左右の道路区画線ＬＬ１、ＬＲ１の画像と、自車両Ｍの画像とが示されている。車線Ｌ１は、例えば、推奨車線決定部６１により決定された推奨車線である。また、ＨＭＩ制御部１２０は、車線Ｌ１に対応する領域画像６２２－１を所定色で表示させる。領域画像６２２－１とは、例えば、道路区画線ＬＬおよびＬＲで区画された領域のうち、約９０［％］以上の領域である。また、領域画像６２２－１とは、例えば、１００［％］（道路区画線ＬＬ１およびＬＲ１に対応する部分を除く）の領域でもよく、道路区画線ＬＬ１およびＬＲ１との間にオフセットを設けた結果、９０［％］以上の割合となる領域であってもよい。所定色とは、例えば、第１の色と同系色である。

また、ＨＭＩ制御部１２０は、走行状態表示領域６４０－１に表示させる自車両の速度を示す画像６４２－１のうち、少なくとも一部を第１の色と同系色で表示させてもよい。これにより、現在の自車両Ｍの運転モードを乗員に容易に把握させることができる。

＜場面（２）＞
場面（２）は、例えば、車両システム１が第１運転モードで走行している場面を示している。この場面では、自動運転制御ユニット３００による制御が実行されるとともに、乗員には、ステアリングホイール８２を把持しなくてもよい旨の画像が表示される。この場面の画面例を、図４に示す。

図４は、第１運転モードで走行している場面で表示される画面ＩＭ２の一例を示す図である。場面（２）において、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－２に、三つのインジケータの画像６０２－２のうち、「Ｐａｒｔｉａｌ Ａｕｔｏ」のインジケータを示す画像を他のインジケータと異なる色で表示させる。この場合、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－２に、「Ｐａｒｔｉａｌ Ａｕｔｏ」のインジケータを示す画像を、上述した第１の色とは異なる第２の色で表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－２に、乗員の手をステアリングホイール８２から離すように要求する要求動作通知画像を表示させる。このとき、要求動作通知画像６０４－２の色は、第２の色と同系色であってもよい。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－２に表示される自車両Ｍが走行する道路に擬した車線Ｌ１の領域画像６２２－２を第２の色と同系色で表示装置Ａに表示させる。更に、ＨＭＩ制御部１２０は、行動計画生成部３２３により生成される目標軌道の画像６２４－２を、車線Ｌ１よりも狭い領域に表示させる。狭い領域とは、例えば、車線Ｌ１の車幅に対して、約２０［％］程度の幅を有する領域である。ＨＭＩ制御部１２０は、画像６２４－２を、車線Ｌ１の画像に重畳して表示させてもよく、車線Ｌ１の道路面から所定の高さで浮いているように立体的に表示させてもよい。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－２に、周辺車両ｍ１の画像を表示させる。

また、ＨＭＩ制御部１２０は、車線Ｌ１の表示色と、目標軌道を示す画像６２４－２の表示色とを、同系色であって且つ乗員が視認しやすい色合いで表示装置Ａに表示させる。例えば、ＨＭＩ制御部１２０は、車線Ｌ１の領域画像６２２－２を第２の色の薄い色で表示し、目標軌道を示す画像６２４－２を、第２の色の濃い色で表示する。

また、ＨＭＩ制御部１２０は、走行状態表示領域６４０－２に表示させる自車両Ｍの速度を示す画像６４２－２のうち、少なくとも一部を第２の色と同系色で表示させてもよい。これにより、場面（２）において、場面（１）と異なる第２の色を用いて表示させることにより、運転モードの違いを乗員に容易に把握させることができる。また、運転支援に関する情報の視認性を向上させ、乗員に運転支援の状態を直感的に視認させることができる。

＜場面（３）＞
場面（３）は、例えば、車両システム１が第１運転モードを実行している場合において、車線変更を開始する場面を示している。この場面では、自動運転制御ユニット３００は、第１運転モードにおける車線変更イベントを実行することで車線変更を実施する。この場面の画面例を、図５に示す。

図５は、車線変更が開始される場面で表示される画面ＩＭ３の一例を示す図である。ＨＭＩ制御部１２０は、運転支援状態表示領域６００－３の三つのインジケータの画像６０２－３のうち「Ｐａｒｔｉａｌ Ａｕｔｏ」のインジケータを示す画像と、乗員の手をステアリングホイール８２から離すように要求する要求動作通知画像６０４－３を、場面（２）と同様の第２の色で表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－３に、自車両Ｍの進路変更の方向を示すウインカインジケータ６０６－３を表示させる。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－３に、自車両Ｍが走行する道路に擬した車線Ｌ１の画像と、車線変更先の道路に擬した車線Ｌ２の画像とを表示させる。車線Ｌ２は、道路区画線ＬＬ２とＬＲ２とで区画される領域である。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－３に、車線変更を実行する前に自車両Ｍが走行する車線Ｌ１の一部の領域を示す領域画像６２２－３ａと、自車両Ｍの車線変更が可能となる車線Ｌ２の一部の領域を示す領域画像６２２－３ｂとを表示させる。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－３に、目標軌道の画像６２４－３を表示させる。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－３に、自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更することを予告する進路変更方向画像６２６－３を表示させる。進路変更方向画像６２６－３は、例えば、テキスト情報を含まない画像である。図５の例において、進路変更方向画像６２６－３は、道路幅方向に沿って自車両Ｍの進路変更方向を示す図形である。また、ＨＭＩ制御部１２０は、進路変更方向画像６２６－３として、例えば、自車両Ｍの進路変更方向を示す図形に外枠を付与し、付与した外枠画像を周辺情報表示領域６２０－３に表示させる。また、ＨＭＩ制御部１２０は、外枠で囲まれた図形の内側を所定の色で塗りつぶしてもよい。また、ＨＭＩ制御部１２０は、進路変更方向画像６２６－３を、アニメーション画像で表示させてもよい。アニメーション画像とは、例えば、アイコン、文字、サンプル画像等の外形を示す多角形等で表した画像等である。アニメーション画像は、例えば、静止画でもよく、動画でもよい。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－３に、自車両Ｍが右側の車線に車線変更を行うことを乗員に通知するためのテキスト画像６２８－３を表示させてもよい。これらの表示により、乗員は、車線変更先の車線Ｌ２を、車線変更による自車両Ｍの挙動が変化する前に把握することができる。

ここで、自動運転制御ユニット３００は、車線Ｌ１から車線Ｌ２への車線変更が行えると判定された場合に、車線Ｌ２へ車線変更するための目標軌道が生成され、生成された目標軌道に沿って自車両Ｍを走行させることで、車線変更が実現される。一方、自動運転制御ユニット３００は、車線変更が完了する前に、第１運転モードから第２運転モードへの切り替えが必要であるか否かを判定し、例えば、周辺車両等の障害物が存在したり、視界の悪化や渋滞等の理由で、第１運転モードが継続できず、第２運転モードへの切り替えが必要であると判定された場合に、切替制御部１１０により第１運転モードから第２運転モードに切り替える制御を実行させる。

＜場面（４）＞
場面（４）は、例えば、自車両Ｍの周辺に複数の周辺車両が存在するため、車線変更ができずに、乗員の操作による第２運転モードの実行を促す画面を表示する場面を示している。この場面の画面例を、図６に示す。

図６は、乗員の操作による第２運転モードの実行を促す画面ＩＭ４の一例を示す図である。場面（４）において、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－４に、三つのインジケータの画像６０２－４のうち、「Ｐａｒｔｉａｌ Ａｕｔｏ」のインジケータを示す画像を、第１および第２の色とは異なる色であって、他のインジケータと異なる色（第３の色）で表示させる。また、ＨＭＩ制御部１２０は、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を他のインジケータと異なる色（第４の色）で表示させる。更に、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－４に、乗員にステアリングホイール８２を把持させることを促す要求動作通知画像６０４－４を表示させる。このとき、要求動作通知画像６０４－４の色は、第３の色と同系色である。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－４に、車線Ｌ２の画像上に走行する領域を示す画像６２２－４を表示させる。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－４に、現状の目標軌道を示す画像６２４－４を表示させる。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－４に、第１運転モードから第２運転モードへの切り替えが必要となった理由や、乗員に手動運転を実行させることを促すテキスト画像６２８－４を表示させてもよい。図６の例では、渋滞により自動車線変更を行うことができないため、手動運転の開始を促すテキスト画像６２８－４が表示されている。

また、ＨＭＩ制御部１２０は、第１運転モードが実行できない理由となった周辺車両の画像を、他の周辺車両の画像と区別して表示させてもよい。図６の例では、第１運転モードによる車線変更が実行できなくなった理由である周辺車両ｍ１～ｍ３の画像を、他の周辺車両と区別可能に表示させる。区別可能に表示させるとは、例えば、他の周辺車両と異なる色で表示させたり、点滅表示させたりすることである。これにより、ＨＭＩ制御部１２０は、乗員に対して現在の状況と、手動運転を行う理由を明確に通知することができる。

＜場面（５）＞
場面（５）は、例えば、第１運転モードから第２運転モードに切り替わった直後の場面を示している。この場面では、自車両Ｍは、乗員の操作による手動運転が実行されるとともに、ＡＣＣやＬＫＡＳ等の運転支援が実行される。この場面の画面例を、図７に示す。

図７は、第２運転モードによる走行時に表示される画面ＩＭ５の一例を示す図である。ＨＭＩ制御部１２０は、運転支援状態表示領域６００－５に、三つのインジケータの画像６０２－５のうち、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を他のインジケータと異なる色で表示させる。これにより、乗員に、第２運転モードが実行されているが、ＡＣＣおよびＬＫＡＳの運転支援が実行されていることを通知することができる。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－５に、車線変更イベントの完了前に、第１運転モードから第２運転モードへの切り替えが行われた場合に、第１運転モードの実行時に設定された車線変更先である車線Ｌ２の領域を他の車線とは異なる色（第５の色）の領域画像６３０－５で表示する。車線変更イベントの完了前とは、例えば、車線変更イベントが開始してから、自車両Ｍの全てが車線変更先の車線Ｌ２の領域内に含まれる前の状態であり、自車両Ｍの挙動が車線Ｌ２の方向に変化する前の状態も含まれる。領域画像６３０－５は、図形の一例である。これにより、第１運転モードによるイベントの途中で第２運転モードに切り替わった場合であっても、第１運転モードで設定された自車両Ｍの走行推奨車線を乗員に通知することができる。

＜場面（６）＞
場面（６）は、例えば、第２運転モードにモードが切り替わった後に、仮に第１運転モードで車線変更イベントが継続されていたならば、運転制御部（例えば、運転支援制御部２００、自動運転制御ユニット３００）により実行されていた挙動の変化を、乗員の手動運転により実現させる場面を示している。この場面では、操作子状態判定部１３０により乗員がステアリングホイール８２を把持していることを把持センサ８２Ａで検知するとともに、乗員状態監視部１４０による乗員の視線が自車両Ｍの進行方向を見ている（言い換えると、周辺監視できている）と判定された後の場面を示している。また、この場面では、自車両Ｍは、乗員の操作による運転が実行されるとともに、ＡＣＣやＬＫＡＳ等の運転支援も実行されているものとする。この場面の画面例を、図８に示す。

図８は、車線変更イベントによる自車両Ｍの挙動の変化を、乗員の操作により実現させるために表示される画面ＩＭ６の一例を示す図である。場面（６）において、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－６に、三つのインジケータの画像６０２－６のうち、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を、上述した場面で表示した色とは異なる色であって、且つ、他のインジケータと異なる色（第６の色）で表示させる。更に、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－６に、乗員の手がステアリングホイール８２を把持したまま、右側に旋回させることを促す要求動作通知画像６０４－６を表示させる。この場合、ＨＭＩ制御部１２０は、要求動作通知画像６０４－６の色を、第６の色と同系色で表示させる。また、ＨＭＩ制御部１２０は、乗員による操作によって、ウインカ操作がなされた場合に、操作された自車両Ｍの進路変更の方向を示すウインカインジケータ６０６－６を表示させてもよい。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－６に、仮に車線変更イベントが継続されていたならば、運転制御部により実行されていた挙動の変化を示す車線変更先の車線Ｌ２の領域を強調する領域画像６３０－６を表示する。領域画像６３０－６は、図形の一例である。領域画像６３０－６には、例えば、車線Ｌ２を区画する左右の道路区画線ＬＬ２およびＬＲ２が強調されるように、それぞれの道路区画線に沿った直線画像６３０－６Ｌおよび６３０－６Ｒが含まれてもよい。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－６に、自車両Ｍを車線Ｌ２に車線変更することを促すための進路変更方向画像６２６－６を表示させてもよい。また、ＨＭＩ制御部１２０は、領域画像６３０－６および進路変更方向画像６２６－６の色を、第６の色と同系色で表示させてもよい。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－６に、乗員の操作によって自車両Ｍを右側の車線に車線変更させることを促すテキスト画像６２８－６を表示させてもよい。これにより、第１運転モードに実行されたイベントの完了前に、第２運転モードに切り替わった場合であっても、乗員に自車両Ｍの状況を詳細に把握させることができる。また、仮に第１運転モードで車線変更イベントが継続されていたならば、運転制御部により実行されていた挙動の変化を、乗員の手動運転によって実現させることができる。

また、ＨＭＩ制御部１２０は、例えば、車線変更可能距離の残りの距離が所定距離以下になった場合や、車線変更先の車線Ｌ２の渋滞距離が所定長以上である等の理由により、車線変更を早めに行った方がよいと推定された場合に、その緊急度合に基づいて、ＨＭＩ４００から手動運転を促す情報を強調して出力させてもよい。緊急度合は、例えば、車線変更可能距離の残りの距離が短くなるほど、または渋滞距離が長くなるほど大きくなる値である。また、強調して出力させるとは、例えば、ＨＭＩ４００のスピーカから警告音等の音声を出力させたり、要求動作通知画像６０４－６、領域画像６３０－６、進路変更方向画像６２６－６、テキスト画像６２８等を第６の色と異なる色で表示または点滅表示させることである。また、ＨＭＩ制御部１２０は、緊急度合が高くなるほど、要求動作通知画像６０４－６、領域画像６３０－６、進路変更方向画像６２６－６、テキスト画像６２８等が点滅する間隔を短くしてもよく、緊急度合が、所定値以上になった場合に、一発光部Ｆ～Ｋのうち少なくとも一つを発光または点滅させてもよい。これにより、車線変更等の手動運転を実行することの緊急性の高さを乗員に容易に把握させることができる。

なお、手動運転により、乗員がステアリングホイール８２を右側に旋回させて、自車両Ｍの挙動が車線Ｌ１から車線Ｌ２側に所定距離だけ移動した場合には、運転支援制御部２００は、ＡＣＣおよびＬＫＡＳによる運転支援を一時的に終了してもよい。この場合、ＨＭＩ制御部１２０は、三つのインジケータの画像６０２－６のうち、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を、他のインジケータと同様の色で表示する。

また、運転支援制御部２００は、車線Ｌ２への車線変更が完了した場合（例えば、自車両Ｍの全体が、車線Ｌ２内の領域に含まれる場合）に、ＡＣＣおよびＬＫＡＳによる運転支援を再び開始してもよい。この場合、ＨＭＩ制御部１２０は、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を、第６の色と同系色で再表示する。

また、渋滞等により車線変更ができない場合であって、車線変更を自車両Ｍの挙動の変化を伴わない場合、自動運転制御ユニット３００は、第１運転モードにより低速追従イベントを実行する。この場合、ＨＭＩ制御部１２０は、三つのインジケータの画像６０２のうち、「Ｔｒａｆｆｉｃ Ｊａｍ Ｐｉｌｏｔ」のインジケータを示す画像を他のインジケータと異なる色で表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６００に、乗員の手をステアリングホイールから離す要求動作通知画像を表示させる。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０に表示される自車両Ｍが走行する道路に擬した車線Ｌ１の領域画像６２２を表示させるとともに、目標軌道の画像６２４を、車線Ｌ１よりも狭い領域に表示させる。

［変形例］
また、ＨＭＩ制御部１２０は、車線変更イベントに代えて、右左折イベントの完了前に、第１運転モードから第２運転モードへの切り替え制御が行われる場合に、仮に第１運転モードで右左折イベントが継続されていたならば、運転制御部により実行されていた挙動の変化を、第２運転モードで実現するように促す情報を表示装置Ａに表示させてもよい。

図９は、右左折イベントによる自車両Ｍの挙動の変化を、乗員の操作により実現させるために表示される画面ＩＭ７の一例を示す図である。図９の例では、自車両Ｍが走行する道路Ｒ１と、自車両の右折先の道路Ｒ２とが交差点ＣＲで交差しているものとし、自車両Ｍが第１運転モードにより交差点ＣＲを右折する右左折イベントの完了前に、第２運転モードによる手動運転に切り替わっているものとする。

この場合、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－７に、三つのインジケータの画像６０２－７のうち、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像を他のインジケータと異なる色で表示させる。更に、ＨＭＩ制御部１２０は、運転支援状態表示領域６００－７に、乗員の手がステアリングホイール８２を把持したまま、右側に旋回させることを促す要求動作通知画像６０４－７を表示させる。この場合、ＨＭＩ制御部１２０は、要求動作通知画像６０４－７の色を「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像の色と同系色で表示させる。また、ＨＭＩ制御部１２０は、乗員による操作によって、ウインカ操作がなされた場合に、操作された自車両Ｍの進路変更の方向を示すウインカインジケータ６０６－７を表示させてもよい。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－７に、右折先の道路Ｒ２に走行領域を強調する領域画像６３０－７を表示する。領域画像６３０－７には、走行領域を区画する左右の道路区画線が強調されるように、それぞれの道路区画線に沿って点線の直線画像６３０－７Ｌ、６３０－７Ｒが含まれる。

また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－７に、乗員の操作により自車両Ｍを交差点ＣＲ１で右折させるための進路変更方向画像６２６－７を表示させてもよい。ＨＭＩ制御部１２０は、領域画像６３０－７および進路変更方向画像６２６－７の色を、「ＡＣＣ／ＬＫＡＳ」のインジケータを示す画像の色と同系色で表示させてもよい。また、ＨＭＩ制御部１２０は、周辺情報表示領域６２０－７に、乗員の操作によって自車両Ｍに交差点ＣＲを右折させることを促すテキスト画像６２８－７を表示させてもよい。これにより、第１運転モードに実行されたイベントの完了前に、第２運転モードに切り替わった場合であっても、乗員に自車両Ｍの状況を詳細に把握させることができる。また、仮に第１運転モードでイベントが継続されていたならば、運転制御部により実行されていた挙動の変化を、乗員の手動運転によって実現させることができる。これにより、円滑な運転の切り替えを実現することができる。

［処理フロー］
図１０は、マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。図１０の処理は、例えば、所定のタイミングで繰り返し実行される。また、図１０に示す処理の開始前には、すでに第１運転モードにおける自動運転が実行されているものとする。

まず、ＨＭＩ制御部１２０は、第１運転モードにより実行される自車両Ｍの挙動の変化を伴う所定のイベントの完了前に第１運転モードから第２運転モードへの切り替えが必要であるか否かを判定する（ステップＳ１０２）。所定内のイベントの完了前に第１運転モードから第２運転モードへの切り替えが必要であると判定された場合、切替制御部１１０は、操作子状態判定部１３０による判定結果、および乗員状態監視部１４０による監視結果に基づいて、乗員の状況を取得する（ステップＳ１０４）。次に、切替制御部１１０は、乗員が第２運転モードを実行可能な状況であるか否かを判定する（ステップＳ１０６）。

乗員が第２運転モードを実行可能な状況である場合、ＨＭＩ制御部１２０は、仮に第１運転モードで所定のイベントが継続されていたならば、運転制御部により実行されていた挙動の変化を、第２運転モードで実現するように促す情報を表示装置Ａに表示させる（ステップＳ１０８）。これにより、本フローチャートは、終了する。また、ステップＳ１０２の処理において、イベント完了前に第１運転モードから第２運転モードへの切り替えが必要でないと判定された場合、またはステップＳ１０６の処理において、乗員が第２運転モードを実行可能な状況でないと判定された場合、所定のイベントが継続した場合に生じる自車両Ｍの挙動の変化を第２運転モードで実現するように促す情報の表示をせずに、本フローチャートの処理は、終了する。

以上説明した実施形態によれば、自車両Ｍの挙動の変化を伴うイベントの完了前に、乗員に第２運転モードを実行させるとともに、イベントにより実行されていた自車両Ｍの挙動の変化を乗員の手動運転により実現させる画面を表示することで、運転の切り替え後に乗員が行うべき運転内容を視認させることができる。したがって、円滑な運転の切り替えを実現することができる。また、乗員は、周辺状況に基づいて好適な運転操作を実現することができる。

なお、本実施形態は、操舵による自車両Ｍの挙動の変化を伴うイベントに代えて、または加えて、自車両Ｍの加減速による自車両Ｍの挙動の変化を伴うイベントに対して、イベントの完了前に、第１運転モードから第２運転モードへ切り替えが必要であると判定された場合に、仮に第１運転モードで所定のイベントが継続されていたならば、運転制御部により実行されていた挙動の変化を第２運転モードで実現するように促す情報を表示部に表示させてもよい。

［ハードウェア構成］
図１２は、マスター制御部１００のハードウェア構成の一例を示す図である。図示するように、マスター制御部１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ１００－３、ブートプログラム等を格納するＲＯＭ１００－４、フラッシュメモリやＨＤＤ等の記憶装置１００－５、ドライブ装置１００－６等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、マスター制御部１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）等によってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、マスター制御部１００の切替制御部１１０、ＨＭＩ制御部１２０、操作子状態判定部１３０、および乗員状態監視部１４０のうち一部または全部が実現される。また、図１２に示すハードウェア構成は、例えば、運転支援制御部２００および自動運転制御ユニット３００においても同様である。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
画像を表示部に表示し、
車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵または加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを含む運転制御を実行し、
前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、
前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御により実行されていた挙動の変化を前記第２運転モードで実現するように促す情報を前記表示部に表示させる、
ように構成されている、表示システム。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、５０…ナビゲーション装置、６０…ＭＰＵ、７０…車両センサ、８０…運転操作子、９０…車室内カメラ、１００…マスター制御部、１１０…切替制御部、１２０…ＨＭＩ制御部、１３０…操作子状態判定部、１４０…乗員状態監視部、２００…運転支援制御部、３００…自動運転制御ユニット、３２０…第１制御部、３４０…第２制御部、４００…ＨＭＩ、５００…走行駆動力出力装置、５１０…ブレーキ装置、５２０…ステアリング装置、Ｍ…自車両

Claims (8)

1. 画像を表示する表示部と、
   車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵および加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを実行する運転制御部と、
   前記表示部を制御する表示制御部と、を備え、
   前記表示制御部は、
   前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、
   前記所定のイベントの実行中に、前記運転制御部により実行される前記車両の将来の挙動の変化を示す画像を前記表示部に表示させ、
   前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると前記運転制御部により判定された後、前記第１運転モードから前記第２運転モードに切り替わった場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御部により実行されていた挙動の変化を前記第２運転モードにおいて前記乗員の操作によって実現するように促す情報を前記表示部に表示させる、
   表示システム。
2. 前記乗員の状況を取得する乗員状況取得部を更に備え、
   前記表示制御部は、前記第１運転モードから前記第２運転モードに切り替わった場合であって、且つ前記乗員状況取得部により取得された乗員の状況が前記第２運転モードを実行することが可能な状況である場合に、仮に前記第１運転モードで前記イベントが継続されていたならば、前記運転制御部により実行されていた挙動の変化を前記第２運転モードで実行するように促す情報を前記表示部に表示させる、
   請求項１に記載の表示システム。
3. 前記表示制御部は、前記イベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された場合に、前記第２運転モードへの切り替えが必要になった理由を前記表示部に表示させる、
   請求項１または２に記載の表示システム。
4. 前記イベントは、前記車両を車線変更させるイベントを含む、
   請求項１から３のうち何れか１項に記載の表示システム。
5. 前記イベントによる前記車両の挙動の変化を前記第２運転モードで実行するように促す情報は、前記第１運転モードの実行時に設定された前記車両の走行推奨車線に対応する領域を示す図形と、前記車両の進路変更方向を示す図形とが含まれる、
   請求項１から４のうち何れか１項に記載の表示システム。
6. 前記表示制御部は、前記イベントを実行する緊急度合に基づいて、前記イベントによる前記車両の挙動の変化を前記第２運転モードで実行するように促す情報を強調して前記表示部に表示させる、
   請求項１から５のうち何れか１項に記載の表示システム。
7. 表示システムが、
   画像を表示部に表示し、
   車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵および加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを含む運転制御を実行し、
   前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、
   前記所定のイベントの実行中に、前記運転制御により実行される前記車両の将来の挙動の変化を示す画像を前記表示部に表示させ、
   前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された後、前記第１運転モードから前記第２運転モードに切り替わった場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御により実行されていた挙動の変化を前記第２運転モードにおいて前記乗員の操作によって実現するように促す情報を前記表示部に表示させる、
   表示方法。
8. 表示システムに、
   画像を表示部に表示させ、
   車両の挙動の変化を伴う所定のイベントに基づいて前記車両の操舵および加減速のうち一方または双方を制御する第１運転モード、または前記第１運転モードよりも前記車両の乗員の操作に依存する度合が高い第２運転モードを含む運転制御を実行させ、
   前記第１運転モードにより実行される前記所定のイベントの発生を示す画像を、前記車両の挙動が変化する前のタイミングで前記表示部に表示させ、
   前記所定のイベントの実行中に、前記運転制御により実行される前記車両の将来の挙動の変化を示す画像を前記表示部に表示させ、
   前記所定のイベントの完了前に前記第１運転モードから前記第２運転モードへの切り替えが必要であると判定された後、前記第１運転モードから前記第２運転モードに切り替わった場合に、仮に前記第１運転モードで前記所定のイベントが継続されていたならば、前記運転制御により実行されていた挙動の変化を前記第２運転モードにおいて前記乗員の操作によって実現するように促す情報を前記表示部に表示させる、
   プログラム。

Images