JP7658472B2 - 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法 - Google Patents

Description

本開示は、車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法に関するものである。

特許文献１には、車両の手動運転モードから自動運転モードへの切り替えを段階的に行う技術が開示されている。特許文献１には、手動運転モードから自動運転モードへ段階的に切り替える際の自動化レベルを、通知インジケータによって表示する技術が開示されている。

自動化レベルとしては、例えばＳＡＥが定義しているレベル０～５に区分された自動化レベルが知られている。レベル０は、システムが介入せずに運転者が全ての運転タスクを実施するレベルである。レベル０は、いわゆる手動運転に相当する。レベル１は、システムが操舵と加減速とのいずれかを支援するレベルである。レベル２は、システムが操舵と加減速とのいずれをも支援するレベルである。レベル１～２の自動運転は、安全運転に係る監視義務（以下、単に監視義務）が運転者にある自動運転である。レベル３は、高速道路等の特定の場所ではシステムが全ての運転タスクを実施可能であり、緊急時に運転者が運転操作を行うレベルである。レベル４は、対応不可能な道路，極限環境等の特定状況下を除き、システムが全ての運転タスクを実施可能なレベルである。レベル５は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。

特開２０１５－２４７４６号公報

特許文献１に開示されているような手動運転モードから自動運転モードへの切り替えだけでなく、自動運転モードにおいて自動化レベルの低い自動運転に切り替えることも考えられる。ここで、監視義務のないレベル３以上の自動運転から監視義務のあるレベル２の自動運転に切り替わる場合、同じ自動化レベルであっても、運転者に要求される作業が異なる場合が考えられる。詳しくは、レベル２の自動運転では、運転者の運転操作が必要ないため、ステアリングホイールの把持が要求されるハンズオンのモードの場合もあれば、ステアリングホイールの把持が要求されないハンズオフのモードの場合もあると考えられる。このような問題に対して、特許文献１に開示されているように自動化レベルを表示する構成では、自動化レベルの切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者に認識させることができない。

この開示のひとつの目的は、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることを可能とする車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

上記目的を達成するために、本開示の車両用表示制御装置は、運転者の監視義務がない自動運転である監視義務なし自動運転から運転者の監視義務がある自動運転である監視義務あり自動運転に切り替えが可能な車両で用いられ、車両の周辺状況を示すための画像である周辺状況画像を、車両の車室内で用いられる表示器（９１，９１ｂ）に表示させる表示制御部（１０６，１０６ａ，１０６ｂ，１０６ｃ）とを備え、表示制御部は、監視義務なし自動運転中に周辺状況画像を表示させている状態において自動運転の段階が自動化のより低い段階に切り替わる場合には、その自動運転の段階の切り替わりから所定時間経過後に、切り替わり前の自動運転の段階に応じた周辺状況画像の表示から切り替わり後の自動運転の段階に応じた周辺状況画像の表示に変化させる。

上記目的を達成するために、本開示の車両用表示制御方法は、運転者の監視義務がない自動運転である監視義務なし自動運転から運転者の監視義務がある自動運転である監視義務あり自動運転に切り替えが可能な車両で用いられる車両用表示制御方法であって、少なくとも１つのプロセッサにより実行される、車両の周辺状況を示すための画像である周辺状況画像を、車両の車室内で用いられる表示器（９１，９１ｂ）に表示させる表示制御工程と、車両が監視義務あり自動運転において実行するのが、車両のステアリングホイールの把持を必要とするハンズオンモードの自動運転か、ステアリングホイールの把持を必要としないハンズオフモードの自動運転かを特定するモード特定工程とを含み、表示制御工程では、監視義務なし自動運転中に周辺状況画像を表示させている状態において自動運転の段階が自動化のより低い段階に切り替わる場合には、その自動運転の段階の切り替わりから所定時間経過後に、切り替わり前の自動運転の段階に応じた周辺状況画像の表示から切り替わり後の自動運転の段階に応じた周辺状況画像の表示に変化させる。

以上の構成によれば、監視義務なし自動運転から、監視義務あり自動運転のうちの、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかに応じて、車両の車室内で用いられる表示器に表示させる周辺状況画像の表示を異ならせることになる。よって、車両の運転者は、周辺状況画像の表示の違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。その結果、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることが可能になる。

上記目的を達成するために、本開示の車両用表示制御システムは、車両の車室内に表示面が向くように車両に設けられる表示器（９１，９１ｂ）と、前述の車両用表示制御装置（１０，１０ａ，１０ｂ，１０ｃ）とを含む。

これによれば、前述の車両用表示制御装置を含むので、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることが可能になる。

車両用システム１の概略的な構成の一例を示す図である。 ＨＣＵ１０の概略的な構成に一例を示す図である。 周辺状況画像の一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 実施形態１におけるＨＣＵ１０での第１表示制御関連処理の流れの一例を示すフローチャートである。 実施形態２におけるＨＣＵ１０での第１表示制御関連処理の流れの一例を示すフローチャートである。 ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例を説明するための図である。 ＨＣＵ１０ａの概略的な構成に一例を示す図である。 自車がレベル３以上の自動運転中に周辺状況画像を表示させるか否かに応じた、表示の切り替えのタイミングの違いについて説明するための図である。 車両用システム１ｂの概略的な構成の一例を示す図である。 ＨＣＵ１０ｂの概略的な構成に一例を示す図である。 実施形態６におけるＨＣＵ１０ｂでの第２表示制御関連処理の流れの一例を示すフローチャートである。 ＨＣＵ１０ｃの概略的な構成に一例を示す図である。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜車両用システム１の概略構成＞
以下、本開示の実施形態１について図面を用いて説明する。図１に示す車両用システム１は、自動運転が可能な車両（以下、自動運転車両）で用いられる。車両用システム１は、図１に示すように、ＨＣＵ（Human Machine Interface Control Unit）１０、通信モジュール２０、ロケータ３０、地図データベース（以下、地図ＤＢ）４０、車両状態センサ５０、周辺監視センサ６０、車両制御ＥＣＵ７０、自動運転ＥＣＵ８０、表示器９１、把持センサ９２、及びユーザ入力装置９３を含んでいる。この車両用システム１が車両用表示制御システムに相当する。車両用システム１を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。

自動運転車両の自動運転の度合い（以下、自動化レベル）としては、例えばＳＡＥが定義しているように、複数のレベルが存在し得る。自動化レベルは、例えば以下のようにレベル０～５に区分される。

レベル０は、システムが介入せずに運転者が全ての運転タスクを実施するレベルである。運転タスクは動的運転タスクと言い換えてもよい。運転タスクは、例えば操舵、加減速、及び周辺監視とする。レベル０は、いわゆる手動運転に相当する。レベル１は、システムが操舵と加減速とのいずれかを支援するレベルである。レベル１は、いわゆる運転支援に相当する。レベル２は、システムが操舵と加減速とのいずれをも支援するレベルである。レベル２は、いわゆる部分運転自動化に相当する。レベル１～２も自動運転の一部であるものとする。

例えば、レベル１～２の自動運転は、安全運転に係る監視義務（以下、単に監視義務）が運転者にある自動運転とする。監視義務としては、目視による周辺監視がある。レベル１～２の自動運転は、セカンドタスクが許可されない自動運転と言い換えることができる。セカンドタスクとは、運転者に対して許可される運転以外の行為であって、予め規定された特定行為である。セカンドタスクは、セカンダリアクティビティ，アザーアクティビティ等と言い換えることもできる。セカンドタスクは、自動運転システムからの運転操作の引き継ぎ要求にドライバが対応することを妨げてはならないとされる。一例として、動画等のコンテンツの視聴，スマートフォン等の操作，読書，食事等の行為が、セカンドタスクとして想定される。

レベル３は、高速道路等の特定の場所ではシステムが全ての運転タスクを実施可能であり、緊急時に運転者が運転操作を行うレベルである。レベル３では、システムから運転交代の要求があった場合に、運転手が迅速に対応可能であることが求められる。この運転交代は、車両側のシステムから運転者への周辺監視義務の移譲と言い換えることもできる。レベル３は、いわゆる条件付運転自動化に相当する。レベル４は、対応不可能な道路，極限環境等の特定状況下を除き、システムが全ての運転タスクを実施可能なレベルである。レベル４は、いわゆる高度運転自動化に相当する。レベル５は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。レベル５は、いわゆる完全運転自動化に相当する。

例えば、レベル３～５の自動運転は、監視義務が運転者にない自動運転とする。レベル３～５の自動運転は、セカンドタスクが許可される自動運転と言い換えることができる。レベル３～５の自動運転のうち、レベル４以上の自動運転が、運転者の睡眠が許可される自動運転（以下、睡眠可能自動運転）とする。レベル３～５の自動運転のうち、レベル３の自動運転が、運転者の睡眠が許可されない自動運転（以下、睡眠不可能自動運転）とする。本実施形態では、レベル３以上の自動化レベルとレベル２以下の自動化レベルとの切り替えで監視義務の有無が切り替わるものとする。よって、レベル３以上の自動化レベルからレベル２以下の自動化レベルに切り替わる場合に、安全運転に係る監視が運転者に要求されることになるものとする。一方、運転者への運転制御権の移譲については、例えばレベル２以上の自動化レベルからレベル１以下の自動化レベルに切り替わる場合に要求される構成としてもよい。本実施形態では、レベル２以上の自動化レベルからレベル１以下の自動化レベルに切り替わる場合に、運転者への運転制御権の移譲が行われる場合を例に挙げて説明を行う。

本施形態の自動運転車両は、自動化レベルが切り替え可能であるものとする。自動化レベルは、レベル０～５のうちの一部のレベル間でのみ切り替え可能な構成であってもよい。本実施形態では、自動運転車両が、自動化レベル３の自動運転と、自動化レベル２の自動運転と、自動化レベル１の自動運転若しくは手動運転とを切り替え可能な場合を例に挙げて説明を行う。本実施形態では、例えば自動化レベル３の自動運転は、渋滞時に限定して許可されるものとする。なお、本実施形態では、自動化レベル３の自動運転は、渋滞時且つ高速道路若しくは自動車専用道路といった特定道路区間の走行時に限定して許可される構成としてもよい。以下では、自動化レベル３の自動運転は、渋滞時且つ高速道路若しくは自動車専用道路といった特定道路区間の走行時に限定して許可される場合を例に挙げて説明を行う。

また、本実施形態では、自動化レベル２の自動運転には、自車のステアリングホイールの把持を必要とするハンズオンモードの自動運転と、自車のステアリングホイールの把持を必要としないハンズオフモードの自動運転とがある。一例として、ハンズオンモードとハンズオフモードとの使い分けは以下のようにすればよい。例えば、自動化レベル３から自動化レベル２への切り替えが、予め予測できる状況に基づく計画的なものである場合には、ハンズオフモードの自動運転に切り替える構成とすればよい。一方、自動化レベル３から自動化レベル２への切り替えが、予め予測できない状況に基づく非計画的（つまり、突発的）なものである場合には、ハンズオンモードの自動運転に切り替える構成とすればよい。これは、自動化レベル３から自動化レベル２への切り替えが突発的なものである場合には、比較的大きな車両挙動が発生する可能性が高く、運転者によるステアリングホイールの把持の必要性が高いと考えられるためである。なお、自動化レベル１の自動運転はハンズオンモードの自動運転に該当する。

なお、上述した例に限らず、高精度地図データが存在する区間か否かでハンズオンモードとハンズオフモードとを使い分ける構成としてもよい。例えば、高精度地図データが存在する区間ではハンズオフモードとする一方、高精度地図データが存在しない区間ではハンズオンモードとすればよい。高精度地図データについては、後述する。また、特定の地点に近づいているか否かでハンズオンモードとハンズオフモードとを使い分ける構成としてもよい。例えば、特定の地点に近づいていない場合はハンズオフモードとする一方、特定の地点に近づいている場合にはハンズオンモードとすればよい。特定の地点に近づいているか否かは、特定の地点までの距離が任意の所定値以下か否かで判断すればよい。特定の地点の例としては、上述の特定道路区間の料金所，上述の特定道路区間の出口，合流地点，交差点，対面通行区間，車線数が減少する地点等が挙げられる。特定の地点は、運転者によるステアリングホイールの把持が必要となる可能性がより高いと推定される地点と言い換えることもできる。

通信モジュール２０は、他車との間で、無線通信を介して情報の送受信を行う。つまり、車車間通信を行う。通信モジュール２０は、路側に設置された路側機との間で、無線通信を介して情報の送受信を行ってもよい。つまり、路車間通信を行ってもよい。路車間通信を行う場合、通信モジュール２０は、路側機を介して、自車の周辺車両から送信されるその周辺車両の情報を受信してもよい。また、通信モジュール２０は、自車の外部のセンタとの間で、無線通信を介して情報の送受信を行ってもよい。つまり、広域通信を行ってもよい。広域通信を行う場合、通信モジュール２０は、センタを介して、自車の周辺車両から送信されるその周辺車両の情報を受信してもよい。他にも、広域通信を行う場合、通信モジュール２０は、センタから自車周辺の渋滞情報，天候情報等を受信してもよい。

ロケータ３０は、ＧＮＳＳ（Global Navigation Satellite System）受信機及び慣性センサを備えている。ＧＮＳＳ受信機は、複数の測位衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。ロケータ３０は、ＧＮＳＳ受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ３０を搭載した自車の車両位置（以下、自車位置）を逐次測位する。自車位置は、例えば緯度経度の座標で表されるものとする。なお、自車位置の測位には、車両に搭載された車速センサから逐次出力される信号から求めた走行距離も用いる構成としてもよい。

地図ＤＢ４０は、不揮発性メモリであって、高精度地図データを格納している。高精度地図データは、ナビゲーション機能での経路案内に用いられる地図データよりも高精度な地図データである。地図ＤＢ４０には、経路案内に用いられる地図データも格納していてもよい。高精度地図データには、例えば道路の三次元形状情報，車線数情報，各車線に許容された進行方向を示す情報等の自動運転に利用可能な情報が含まれている。他にも、高精度地図データには、例えば区画線等の路面標示について、両端の位置を示すノード点の情報が含まれていてもよい。なお、ロケータ３０は、道路の三次元形状情報を用いることで、ＧＮＳＳ受信機を用いない構成としてもよい。例えば、ロケータ３０は、道路の三次元形状情報と、道路形状及び構造物の特徴点の点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）若しくは周辺監視カメラ等の周辺監視センサ６０での検出結果とを用いて、自車位置を特定する構成としてもよい。道路の三次元形状情報は、ＲＥＭ（Road Experience Management）によって撮像画像をもとに生成されたものであってもよい。

なお、通信モジュール２０は、外部サーバから配信される地図データを例えば広域通信で受信し、地図ＤＢ４０に格納してもよい。この場合、地図ＤＢ４０を揮発性メモリとし、通信モジュール２０が自車位置に応じた領域の地図データを逐次取得する構成としてもよい。

車両状態センサ５０は、自車の各種状態を検出するためのセンサ群である。車両状態センサ５０としては、車速を検出する車速センサ，操舵角を検出する操舵センサ等がある。車両状態センサ５０は、検出したセンシング情報を車内ＬＡＮへ出力する。なお、車両状態センサ５０で検出したセンシング情報は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。

周辺監視センサ６０は、自車の周辺環境を監視する。一例として、周辺監視センサ６０は、歩行者，他車等の移動物体、及び路上の落下物等の静止物体といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線等の路面標示を検出する。周辺監視センサ６０は、例えば、自車周辺の所定範囲を撮像する周辺監視カメラ、自車周辺の所定範囲に探査波を送信するミリ波レーダ、ソナー、ＬＩＤＡＲ等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として自動運転ＥＣＵ８０へ逐次出力する。ソナー、ミリ波レーダ、ＬＩＤＡＲ等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として自動運転ＥＣＵ８０へ逐次出力する。周辺監視センサ６０で検出したセンシング情報は、自動運転ＥＣＵ８０を介して車内ＬＡＮへ出力される構成とすればよい。

車両制御ＥＣＵ７０は、自車の走行制御を行う電子制御装置である。走行制御としては、加減速制御及び／又は操舵制御が挙げられる。車両制御ＥＣＵ７０としては、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等がある。車両制御ＥＣＵ７０は、自車に搭載された電子制御スロットル、ブレーキアクチュエータ、ＥＰＳ（Electric Power Steering）モータ等の各走行制御デバイスへ制御信号を出力することで走行制御を行う。

自動運転ＥＣＵ８０は、例えばプロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することで自動運転に関する処理を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。

自動運転ＥＣＵ８０は、第１自動運転ＥＣＵ８１及び第２自動運転ＥＣＵ８２を備える。第１自動運転ＥＣＵ８１及び第２自動運転ＥＣＵ８２が、それぞれプロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備えるものとして以降の説明を行う。なお、仮想化技術によって共通のプロセッサが第１自動運転ＥＣＵ８１及び第２自動運転ＥＣＵ８２の機能を担う構成としてもよい。

第１自動運転ＥＣＵ８１は、前述のレベル２以下の自動運転の機能を担う。言い換えると、第１自動運転ＥＣＵ８１は、監視義務のある自動運転を、実施可能にする。例えば、第１自動運転ＥＣＵ８１は、自車の縦方向制御及び横方向制御の少なくともいずれかを実行可能である。縦方向とは、自車の前後方向と一致する方向である。横方向とは、自車の幅方向と一致する方向である。第１自動運転ＥＣＵ８１は、縦方向制御として、自車の加減速制御を実行する。第１自動運転ＥＣＵ８１は、横方向制御として、自車の操舵制御を実行する。第１自動運転ＥＣＵ８１は、機能ブロックとして、第１環境認識部、ＡＣＣ制御部、ＬＴＡ制御部、及びＬＣＡ制御部等を備える。

第１環境認識部は、周辺監視センサ６０から取得するセンシング情報に基づき、自車の周囲の走行環境を認識する。一例として、第１環境認識部は、自車の走行車線（以下、自車線）の左右の区画線等の情報から、走行車線における自車の詳細な位置を認識する。他にも、第１環境認識部は、自車の周囲の車両等の障害物の位置及び速度を認識する。第１環境認識部は、自車線における車両等の障害物の位置及び速度を認識する。また、第１環境認識部は、自車線の周辺車線における車両等の障害物の位置及び速度を認識する。周辺車線とは、例えば自車線の隣接車線としてもよい。他にも、周辺車線は、自車が位置する道路区間における自車線以外の車線としてもよい。なお、第１環境認識部は、後述の第２環境認識部と同様の構成としてもよい。

ＡＣＣ制御部は、目標速度での自車の定速走行、又は先行車への追従走行を実現するＡＣＣ（Adaptive Cruise Control）制御を実行する。ＡＣＣ制御部は、第１環境認識部で認識した自車の周囲の車両の位置及び速度を用いて、ＡＣＣ制御を実行すればよい。ＡＣＣ制御部は、車両制御ＥＣＵ７０で加減速制御を行わせることでＡＣＣ制御を実行すればよい。

ＬＴＡ制御部は、自車の車線内走行を維持するＬＴＡ（Lane Tracing Assist）制御を実行する。ＬＴＡ制御部は、第１環境認識部で認識した自車線における自車の詳細な位置を用いて、ＬＴＡ制御を実行すればよい。ＬＴＡ制御部は、車両制御ＥＣＵ７０で操舵制御を行わせることでＬＴＡ制御を実行すればよい。なお、ＡＣＣ制御は縦方向制御の一例である。ＬＴＡ制御は横方向制御の一例である。

ＬＣＡ制御部は、自車を自車線から隣接車線に自動で車線変更させるＬＣＡ（Lane Change Assist）制御を実行する。ＬＣＡ制御部は、第１環境認識部で認識した自車の周囲の車両の位置及び速度を用いて、ＬＣＡ制御を実行すればよい。例えば、自車の先行車の速度が所定値以下の低速であって、自車の側方から後側方に接近する周辺車両が存在しない場合に、ＬＣＡ制御を実行すればよい。例えば、ＬＣＡ制御部は、車両制御ＥＣＵ７０で加減速制御及び操舵制御を行わせることでＬＣＡ制御を実行すればよい。

第１自動運転ＥＣＵ８１は、ＡＣＣ制御及びＬＴＡ制御の両方を実行することで、レベル２の自動運転を実現する。ＬＣＡ制御については、例えばＡＣＣ制御及びＬＴＡ制御の実行時に実行可能とすればよい。第１自動運転ＥＣＵ８１は、ＡＣＣ制御及びＬＴＡ制御のいずれか一方を実行することで、レベル１の自動運転を実現してもよい。

一方、第２自動運転ＥＣＵ８２は、前述のレベル３以上の自動運転の機能を担う。言い換えると、第２自動運転ＥＣＵ８２は、監視義務のない自動運転を、実施可能にする。第２自動運転ＥＣＵ８２は、機能ブロックとして、第２環境認識部、行動判断部、及び軌道生成部等を備える。

第２環境認識部は、周辺監視センサ６０から取得するセンシング情報、ロケータ３０から取得する自車位置、地図ＤＢ４０から取得する地図データ、及び通信モジュール２０で取得する他車の情報等に基づき、自車の周囲の走行環境を認識する。一例として、第２環境認識部は、これらの情報を用いて、実際の走行環境を再現した仮想空間を生成する。

第２環境認識部は、自車の走行地域における手動運転エリア（以下、ＭＤエリア）の判別を行う。第２環境認識部は、自車の走行地域における自動運転エリア（以下、ＡＤエリア）の判別を行う。第２環境認識部は、ＡＤエリアにおけるＳＴ区間の判別を行う。第２環境認識部は、ＡＤエリアにおける非ＳＴ区間の判別を行う。

ＭＤエリアは、自動運転が禁止されるエリアである。言い換えると、ＭＤエリアは、自車の縦方向制御、横方向制御、及び周辺監視の全てを運転者が実行すると規定されたエリアである。例えば、ＭＤエリアは、一般道路とすればよい。

ＡＤエリアは、自動運転が許可されるエリアである。言い換えると、ＡＤエリアは、縦方向制御、横方向制御、及び周辺監視のうちの１つ以上を、自車が代替すること可能と規定されたエリアである。例えば、ＡＤエリアは、高速道路，自動車専用道路とすればよい。

ＡＤエリアは、レベル２以下の自動運転が可能な非ＳＴ区間と、レベル３以上の自動運転が可能なＳＴ区間とに区分される。本実施形態では、レベル１の自動運転が許可される非ＳＴ区間と、レベル２の自動運転が許可される非ＳＴ区間とを分けて区分しないものとする。ＳＴ区間は、例えば渋滞が発生している走行区間（以下、渋滞区間）とすればよい。また、ＳＴ区間は、例えば高精度地図データが整備された走行区間とすればよい。非ＳＴ区間は、ＳＴ区間に該当しない区間とすればよい。

行動判断部は、第２環境認識部での走行環境の認識結果等に基づいて、自車に予定される行動（以下、将来行動）を判断する。行動判断部は、自動運転によって自車を走行させるための将来行動を判断する。行動判断部は、目的地に到着するために自車が取るべき振る舞いの類型を将来行動として決定すればよい。この類型としては、例えば直進，右折，左折，車線変更等が挙げられる。

また、行動判断部は、運転交代が必要であると判断した場合に、交代要請を生成し、ＨＣＵ１０へと出力する。運転交代が必要となる場合の一例としては、自車がＡＤエリアのＳＴ区間から非ＳＴ区間に移る場合が挙げられる。他にも、運転交代が必要となる場合の一例としては、自車がＡＤエリアのＳＴ区間からＭＤエリアに移る場合が挙げられる。他にも、運転交代の原因（以下、交代原因）としては、渋滞の解消，高精度地図データの不足が挙げられる。

高精度地図データの不足は予測できる。行動判断部は、高精度地図データの不足を、ロケータ３０で測位する自車位置と、地図ＤＢ４０に格納されている高精度地図データとを用いて、自車の予定進路の高精度地図データの不足を予測すればよい。そして、行動判断部は、高精度地図データの不足を予測した場合に、運転交代が必要と判断し、高精度地図データの不足が予測される地点に自車が達するよりも前に、交代要請をＨＣＵ１０へ出力すればよい。

渋滞の解消は、予測できる場合と予測できない場合とがある。詳しくは、通信モジュール２０で、渋滞情報，周辺車両の情報を受信できる場合は、これらの情報から渋滞の解消を予測できる。行動判断部は、ロケータ３０で測位する自車位置と、通信モジュール２０で受信する渋滞情報とを用いて、自車の予定進路の渋滞の解消を予測すればよい。他にも、行動予測部は、通信モジュール２０で受信する周辺車両の情報から特定される周辺車両の台数，速度を用いて、自車の予定進路の渋滞の解消を予測してもよい。そして、行動判断部は、渋滞の解消を予測した場合に、運転交代が必要と判断すればよい。

一方、通信モジュール２０で、渋滞情報，周辺車両の情報を受信できない場合は、渋滞の解消が予測できないものとする。渋滞の解消が予測できない場合には、周辺監視センサ６０を用いて第２環境認識部で認識した周辺車両の台数，速度等を用いて、渋滞の解消を判断すればよい。そして、行動判断部は、渋滞の解消を判断した場合に、運転交代が必要と判断すればよい。

また、渋滞の解消，高精度地図データの不足以外の原因で運転交代が必要となる場合も存在する。例えば、道路構造の変化，急なセンサロスト，急な天候不良等が挙げられる。運転交代が必要となる道路構造の変化としては、中央分離帯の存在する区間の終了，車線数の減少，工事区間への進入等が挙げられる。これらの道路構造の変化が運転交代の原因となるのは、走行環境の認識精度が低下する可能性があるためである。道路構造の変化は予測できる。行動判断部は、ロケータ３０で測位する自車位置と、地図ＤＢ４０に格納されている高精度地図データとを用いて、自車の予定進路の中央分離帯の存在する区間の終了，車線数の減少といった道路構造の変化を予測すればよい。また、行動判断部は、周辺監視センサ６０を用いて第２環境認識部で認識した工事中の看板等の存在から、自車の工事区間への進入といった道路構造の変化を予測すればよい。そして、行動判断部は、これらの道路構造の変化を予測した場合に、運転交代が必要と判断すればよい。

急なセンサロストは、周辺監視センサ６０の故障，周辺監視センサ６０を用いた走行環境の認識の失敗等である。急な天候不良は、豪雨，雪，霧等である。急な天候不良が運転交代の原因となるのは、周辺監視センサ６０を用いた走行環境の認識精度が低下する可能性があるためである。他にも、急な天候不良が運転交代の原因となるのは、通信モジュール２０での通信に不具合が生じる可能性があるためである。急なセンサロスト，急な天候不良は予測できない。行動判断部は、第２環境認識部での走行環境の認識結果等から、急なセンサロスト，急な天候不良を判断すればよい。また、行動判断部は、急なセンサロスト若しくは急な天候不良を判断した場合に、運転交代が必要と判断すればよい。

軌道生成部は、第２環境認識部での走行環境の認識結果、及び行動判断部で決定された将来行動に基づき、自動運転を実行可能な区間での自車の走行軌道を生成する。走行軌道には、例えば進行に応じた自車の目標位置及び各目標位置での目標速度等が含まれる。軌道生成部は、生成した走行軌道を、自動運転において自車が従う制御指令として車両制御ＥＣＵ７０に逐次提供する。

以上の自動運転ＥＣＵ８０を含んで構成される自動運転システムにより、自車においてレベル２以下、及びレベル３以上の自動運転が実行可能となる。また、例えば自動運転ＥＣＵ８０は、必要に応じて自車の自動運転の自動化レベルを切り替える構成とすればよい。一例として、自車がＡＤエリアのうちのＳＴ区間から非ＳＴ区間に移る場合に、レベル３の自動運転からレベル２以下の自動運転に切り替えればよい。また、自動運転ＥＣＵ８０は、自車がＡＤエリアのうちのＳＴ区間からＭＤエリアに移る場合に、レベル３の自動運転から手動運転に切り替えればよい。

自動運転ＥＣＵ８０は、レベル３の自動運転からレベル２の自動運転への交代原因が発生し、且つ、その交代原因が予測できていた場合には、レベル２の自動運転のうちのハンズオフモードの自動運転に切り替えればよい。一方、自動運転ＥＣＵ８０は、レベル３の自動運転からレベル２の自動運転への交代原因が発生し、且つ、その交代原因が予測できていなかった場合には、レベル２の自動運転のうちのハンズオンモードの自動運転に切り替えればよい。なお、レベル３の自動運転からレベル１の自動運転へ切り替える場合には、ハンズオンモードの自動運転に切り替わることになるものとする。運転交代によってハンズオンモードとハンズオフモードとのいずれの自動運転に切り替わるかは、例えば行動判断部で判断すればよい。

表示器９１は、自車に設けられる表示装置である。表示器９１は、自車の車室内に表示面が向くように設けられる。例えば、表示器９１は、自車の運転席正面に表示面が位置するように設けられる。表示器９１としては、液晶ディスプレイ，有機ＥＬディスプレイ，ヘッドアップディスプレイ（以下、ＨＵＤ）等の種々のディスプレイを用いることができる。

把持センサ９２は、運転者による自車のステアリングホイールの把持を検出する。把持センサ９２は、ステアリングホイールのリム部分に設けられる構成とすればよい。ユーザ入力装置９３は、ユーザからの入力を受け付ける。ユーザ入力装置９３は、ユーザからの操作入力を受け付ける操作デバイスとすればよい。操作デバイスとしては、メカニカルなスイッチであってもよいし、表示装置と一体となったタッチスイッチであってもよい。なお、ユーザ入力装置９３は、ユーザからの入力を受け付ける装置であれば、操作入力を受け付ける操作デバイスに限らない。例えば、ユーザからの音声によるコマンドの入力を受け付ける音声入力装置であってもよい。

ＨＣＵ１０は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるコンピュータを主体として構成され、表示器９１と車内ＬＡＮとに接続されている。ＨＣＵ１０は、不揮発性メモリに記憶された制御プログラムを実行することにより、表示器９１での表示を制御する。このＨＣＵ１０が車両用表示制御装置に相当する。なお、表示器９１での表示の制御に関するＨＣＵ１０の構成については以下で詳述する。

＜ＨＣＵ１０の概略構成＞
続いて、図２を用いてＨＣＵ１０の概略構成についての説明を行う。ＨＣＵ１０は、表示器９１での表示の制御に関して、図２に示すように、交代要請取得部１０１、モード特定部１０２、割込み推定部１０３、車線変更特定部１０４、把持特定部１０５、及び表示制御部１０６を機能ブロックとして備える。また、コンピュータによってＨＣＵ１０の各機能ブロックの処理が実行されることが、車両用表示制御方法が実行されることに相当する。なお、ＨＣＵ１０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ１０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

交代要請取得部１０１は、自動運転ＥＣＵ８０から出力される交代要請を取得する。交代要請取得部１０１は、自動運転ＥＣＵ８０から交代要請が出力された場合に、この交代要請を取得する。

モード特定部１０２は、自車が自動化レベル２以下の自動運転において実行するのが、ハンズオンモードの自動運転か、ハンズオフモードの自動運転かを特定する。このモード特定部１０２での処理がモード特定工程に相当する。自動化レベル２以下の自動運転は、監視義務あり自動運転と言い換えることができる。モード特定部１０２は、自動運転ＥＣＵ８０の行動判断部での、運転交代によってハンズオンモードとハンズオフモードとのいずれの自動運転に切り替わるかの判断結果から、上述の特定を行えばよい。モード特定部１０２は、上述の特定結果を、自車の自動化レベルが切り替わるまで維持すればよい。なお、モード特定部１０２は、自動化レベル２、且つ、ハンズオフモードの自動運転から、自動化レベル１の自動運転に切り替わった場合には、ハンズオンモードの自動運転と特定すればよい。

割込み推定部１０３は、自車の走行車線（つまり、自車線）への自車の周辺車両の割込みを推定する。割込み推定部１０３は、例えば自動運転ＥＣＵ８０の第１環境認識部で認識した走行環境のうちの自車の周辺車両の認識結果から、自車線への周辺車両の割込みがあることを推定すればよい。例えば、周辺車両の自車線側への加速度が閾値以上となった場合に、自車線への周辺車両の割込みがあると推定すればよい。また、周辺車両の自車線側のウィンカランプの点灯から、自車線への周辺車両の割込みがあると推定してもよい。周辺車両のウィンカランプの点灯は、周辺監視カメラの撮像画像に対する画像解析によって第１環境認識部で認識される構成とすればよい。他にも、通信モジュール２０で受信した周辺車両の情報に、自車線への周辺車両の割込みを伝える情報が含まれる場合に、この情報を用いて、自車線への周辺車両の割込みがあると推定してもよい。

車線変更特定部１０４は、自車が自動運転によって車線変更を行うことを特定する。車線変更特定部１０４は、例えば自動運転ＥＣＵ８０のＬＣＡ制御部でＬＣＡ制御が実行されることから、自車が自動運転によって車線変更を行うことを特定すればよい。

把持特定部１０５は、運転者による自車のステアリングホイールの把持を特定する。例えば、把持特定部１０５は、把持センサ９２での検出結果から、運転者のステアリングホイールの把持を特定すればよい。なお、把持特定部１０５は、把持センサ９２での検出結果以外から、運転者のステアリングホイールの把持を特定してもよい。例えば、ＤＳＭ（Driver Status Monitor）で撮像した運転者の画像に対して画像認識を行うことで、運転者のステアリングホイールの把持を特定してもよい。

表示制御部１０６は、表示器９１での表示を制御する。この表示制御部１０６での処理が表示制御工程に相当する。表示制御部１０６は、自車がレベル２以下の自動運転中、若しくは手動運転中には、自車の周辺状況を示すための画像（以下、周辺状況画像）を表示器９１に表示させる。表示制御部１０６は、自動運転ＥＣＵ８０で認識した走行環境のうちの、自車と周辺車両との位置関係を用いて、自車よりも上方の仮想視点から見た、自車と周辺車両との位置関係を示す俯瞰画像としての周辺状況画像を表示器９１に表示させればよい。この仮想視点は、自車の直上であってもよいし、自車の直上からずれた位置であってもよい。例えば、自車よりも上方且つ後方の仮想視点から見た俯瞰図であってもよい。なお、周辺状況画像は、自車の周辺状況を示すための仮想的な画像であってもよいし、周辺監視センサ６０のうちの周辺監視カメラで撮像した撮像画像を加工したものであってもよい。

ここで、図３を用いて周辺状況画像の一例について説明を行う。図３のＳｃが表示器９１の表示画面を示す。図３のＰＬＩが車線の区画線を表す画像（以下、区画線画像）を示す。図３のＨＶＩが自車を表す画像（以下、自車画像）を示す。図３のＯＶＩが自車の周辺車両を表す画像（以下、周辺車両画像）を示す。図３～図１１では、この周辺車両が自車の先行車である場合の例を示す。図３のＶｅが、自車の車速を表す画像（以下、車速画像）を示す。

図３に示すように、周辺状況画像は、自車画像，周辺車両画像，区画線画像，車速画像を含む。この自車画像，周辺車両画像，区画線画像，車速画像が周辺状況画像の画像要素に相当する。周辺状況画像は、図３に示すように、自車の周辺状況を示す画像である自車画像，周辺車両画像，区画線画像以外の画像要素を含んでもよい。

なお、周辺状況画像として自車の前景を表す画像を用いる場合には、周辺状況画像に自車画像を含まない構成としてもよい。また、周辺状況画像には、支援実行画像，ハンズオンオフ画像，背景画像等の画像要素を含む構成としてもよい。支援実行画像は、自車で実行中の運転支援に関する制御を示す画像である。運転支援に関する制御の一例としては、前述したＡＣＣ制御，ＬＴＡ制御が挙げられる。ハンズオンオフ画像は、自車がハンズオンモードの自動運転中かハンズオフモードの自動運転中かを示す画像である。背景画像は、周辺状況画像のうちの背景を示す画像である。

一方、表示制御部１０６は、自車がレベル３以上の自動運転中には、例えば周辺状況画像を表示させずに、セカンドタスクとして許可された行為を説明する画像，自車の車速を示す画像等を表示器９１に表示させればよい。周辺状況画像を表示させない他の例としては、自車画像と自車線にあたる区画線画像とを表示させるが、周辺車両画像を表示させない例がある。これは、周辺監視センサ６０で周辺車両を検出していても周辺車両画像を表示させないことを示す。

表示制御部１０６は、自車が、レベル３の自動運転からレベル２以下の自動運転に切り替わる場合に、モード特定部１０２でハンズオンモードの自動運転と特定したかハンズオフモードの自動運転と特定したかに応じて、周辺状況画像の表示を異ならせる。なお、自動化レベル３の自動運転は、監視義務なし自動運転と言い換えることができる。以降では、自車がレベル３の自動運転からレベル２の自動運転に切り替わる場合の、ハンズオンモードとハンズオフモードとでの周辺状況画像の表示態様の違いの一例について、図４～図１１を用いて説明を行う。図４～図１１のＨＯＮがハンズオンモードでの表示態様を示す。一方、図４～図１１のＨＯＦＦがハンズオフモードでの表示態様を示す。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、自車線と周辺車線とを表示させればよい。一方、モード特定部１０２でハンズオフモードの自動運転と特定した場合には、自車線と周辺車線とのうちの自車線のみを表示させればよい。周辺車線とは、例えば自車線の隣接車線とすればよい。他にも、周辺車線とは、自車が位置する道路区間における自車線以外の車線としてもよい。具体例としては、図４に示すように、ハンズオンモードでは、自車線と周辺車線とのいずれの区画線画像も表示させればよい。一方、ハンズオフモードでは、自車線と周辺車線とのうちの自車線のみの区画線画像を表示させればよい。

ハンズオンモードよりも安全が確保されている可能性が高いハンズオフモードでは、運転者は自車の、より近傍の状況を知るだけで十分と考えられる。逆に、ハンズオンモードでは、運転者は自車からより遠方までの状況を知りたい要求があると考えられる。これに対して、以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりも多くの車線の状況を表示させることになる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。また、自車がハンズオンモードかハンズオフモードかで、周辺状況画像に表示させる車線数を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、モード特定部１０２でハンズオフモードの自動運転と特定した場合よりも、周辺状況画像での表示対象に対して遠くの仮想視点から見た周辺状況画像を表示させればよい。一方、モード特定部１０２でハンズオフモードの自動運転と特定した場合には、モード特定部１０２でハンズオンモードの自動運転と特定した場合よりも、表示対象に対して近くの仮想視点から見た周辺状況画像を表示させればよい。ここで言うところの表示対象とは、周辺状況画像で表される物体，区画線等である。具体例としては、図５に示すように、ハンズオンモードでは、ハンズオフモードよりも自車の周辺状況を遠くから見たような周辺状況画像を表示させればよい。一方、ハンズオフモードでは、ハンズオンモードよりも自車の周辺状況を近くから見たような周辺状況画像を表示させればよい。

以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりも広い範囲の状況を表示させることになる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。また、自車がハンズオンモードかハンズオフモードかで、周辺状況画像の仮想視点の遠近を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、モード特定部１０２でハンズオフモードの自動運転と特定した場合よりも、上方から俯瞰する仮想視点から見た周辺状況画像を表示させればよい。一方、モード特定部１０２でハンズオフモードの自動運転と特定した場合には、モード特定部１０２でハンズオンモードの自動運転と特定した場合よりも、下方から俯瞰する仮想視点から見た周辺状況画像を表示させる。具体例としては、図６に示すように、ハンズオンモードでは、ハンズオフモードよりも、自車の状況を高い視点から見たような周辺状況画像を表示させればよい。一方、ハンズオフモードでは、ハンズオンモードよりも自車の周辺状況を低い視点から見たような周辺状況画像を表示させればよい。

以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりも広い範囲の状況を表示させることになる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。また、自車がハンズオンモードかハンズオフモードかで、周辺状況画像の仮想視点の高低を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、モード特定部１０２でハンズオフモードの自動運転と特定した場合よりも、周辺状況画像として表示させる自車の周辺の領域を広くさせればよい。一方、モード特定部１０２でハンズオフモードの自動運転と特定した場合には、モード特定部１０２でハンズオンモードの自動運転と特定した場合よりも、周辺状況画像として表示させる自車の周辺の領域を狭くさせればよい。具体例としては、図７に示すように、ハンズオンモードでは、ハンズオフモードよりも、自車の周辺を切り出した範囲が広い周辺状況画像を表示させればよい。一方、ハンズオフモードでは、ハンズオンモードよりも自車の周辺を切り出した範囲が狭い周辺状況画像を表示させればよい。

以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりも広い範囲の状況を表示させることになる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。また、自車がハンズオンモードかハンズオフモードかで、周辺状況画像に示す自車の周辺の範囲を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定したかハンズオフモードの自動運転と特定したかに応じて、周辺状況画像の少なくとも一部の色調を異ならせればよい。具体例としては、図８に示すように、ハンズオンモードとハンズオフモードとで、支援実行画像（図８のＡＣＣ，ＬＴＡ参照）の色調を異ならせればよい。図８のＡＣＣが、ＡＣＣ制御を実行中であることを表す支援実行画像を示す。図８のＬＴＡが、ＬＴＡ制御を実行中であることを表す支援実行画像を示す。図８の例では、ハンズオンモードとハンズオフモードとで、支援実行画像の色調を異ならせる例を示したが、必ずしもこれに限らない。例えば、周辺状況画像のうちの、支援実行画像以外の画像要素の色調を異ならせる構成としてもよい。

以上の構成によれば、自車がハンズオンモードかハンズオフモードかで、周辺状況画像のうちの画像要素の色調を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

また、表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、モード特定部１０２でハンズオフモードの自動運転と特定した場合よりも、注意喚起を促しやすい色調で周辺状況画像のうちの画像要素を表示させることが好ましい。例えば、ハンズオンモードと特定した場合には、赤色といった興奮系の色調で表示させればよい。一方、ハンズオフモードと特定した場合には、青色とった鎮静系の色調で表示させればよい。

ハンズオンモードは、ハンズオフモードよりも運転者が自車の走行に注意を払う必要性が高いと考えられる。これに対して、以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりも注意喚起を促しやすい色調で周辺状況画像のうちの画像要素を表示させることになる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定したかハンズオフモードの自動運転と特定したかに応じて、周辺状況画像のうちの画像要素の配置及び大きさの比率の少なくともいずれかを異ならせればよい。具体例としては、図９に示すように、ハンズオンモードとハンズオフモードとで、画像要素の配置を異ならせればよい。図９のＨＭが、ハンズオンオフ画像を示す。図９の例では、周辺状況画像のうちの自車の周辺状況を示す画像要素とハンズオンオフ画像との左右の配置を、ハンズオンモードとハンズオフモードとで異ならせている。

以上の構成によれば、自車がハンズオンモードかハンズオフモードかで、周辺状況画像のうちの画像要素の配置を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

また、表示制御部１０６は、図１０に示すように、モード特定部１０２でハンズオンモードの自動運転と特定した場合には、モード特定部１０２でハンズオフモードの自動運転と特定した場合よりも、ハンズオンオフ画像の大きさの比率を大きくさせることが好ましい。

ハンズオフモードでは、運転者がステアリングホイールを把持する動作を行わなくてもよいが、ハンズオンモードでは、運転者がステアリングホイールを把持する動作を行わなければならない。よって、ハンズオンモードでは、ハンズオフモードよりもハンズオンオフ画像に運転者が気付きやすくなっていることが好ましい。これに対して、以上の構成によれば、自車がハンズオンモードの場合、自車がハンズオフモードの場合よりもハンズオンオフ画像を大きく表示させるので、運転者がハンズオンオフ画像により気付きやすくなる。よって、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。

表示制御部１０６は、モード特定部１０２でハンズオンモードの自動運転と特定したかハンズオフモードの自動運転と特定したかに応じて、周辺状況画像のうちの背景画像を異ならせればよい。具体例としては、図１１に示すように、ハンズオンモードとハンズオフモードとで、背景画像を異ならせればよい。図１１のＢＩが、背景画像を示す。一例としては、背景画像として何らかの模様を表示させる場合には、この模様を異ならせればよい。他にも、ハンズオンモードではハンズオフモードよりも背景画像を明瞭に表示させる等してもよい。

以上の構成によれば、自車がハンズオンモードかハンズオフモードかで、周辺状況画像のうちの背景画像を異ならせるので、車両の運転者は、この違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。

表示制御部１０６は、図４～図１１で例示した、ハンズオンモードかハンズオフモードかに応じた各種の表示態様の切り替えのうちの一部のみを実施する構成としてもよいし、複数を組み合せて実施する構成としてもよい。なお、自車がレベル３の自動運転からレベル１の自動運転又は手動運転に切り替わる場合に、表示制御部１０６は、ハンズオフモードの表示態様で周辺状況画像を表示させてもよい。

表示制御部１０６は、自車がハンズオフモードの自動運転に切り替わった状態において、自車が自動運転によって車線変更を行う場合、及び自車線への周辺車両の割り込みが推定される場合の少なくともいずれかの場合には、ハンズオフモードの自動運転が継続される場合であっても、モード特定部１０２でハンズオンモードの自動運転と特定した場合の周辺状況画像の表示に切り替えさせることが好ましい。つまり、モード特定部１０２で自車がハンズオフモードの自動運転と特定している場合であっても、ハンズオンモードと同様の表示態様に周辺状況画像の表示を切り替えさせることが好ましい。自車が自動運転によって車線変更を行うことは、車線変更特定部１０４で特定すればよい。自車線への周辺車両の割り込みは、割込み推定部１０３で推定すればよい。

自車が自動運転によって車線変更を行う場合及び自車線への周辺車両の割り込みが推定される場合には、ハンズオフモード中であっても、比較的大きな車両挙動が発生する可能性が高まり、ハンズオンモードに移行する可能性が高くなると考えられる。これに対して、以上の構成によれば、ハンズオフモードの自動運転が継続される場合であっても、ハンズオンモードに移行する可能性が高くなる場合には、運転者がハンズオンモードへの移行に備えやすくなる。

表示制御部１０６は、自車がハンズオフモードの自動運転に切り替わった状態において、この切り替わりからの経過時間が規定時間に達した場合には、ハンズオフモードの自動運転が継続される場合であっても、モード特定部１０２でハンズオンモードの自動運転と特定した場合の周辺状況画像の表示に切り替えさせることが好ましい。ここで言うところの規定時間は、任意に設定可能な時間とする。

自車がハンズオフモードの場合よりも自車がハンズオンモードの場合の方が、運転者が確認しなければならない情報量が増えると考えられる。これに対して、以上の構成によれば、ハンズオフモードからハンズオンモードに切り替わる前から、周辺状況画像の表示はハンズオンモードと同様の表示に切り替えさせることになる。よって、ハンズオフモードからハンズオンモードに切り替わる場合に新たに増加する情報量を減らし、運転者の負担を減らすことが可能になる。

表示制御部１０６は、自車がハンズオフモードの自動運転に切り替わった状態において、把持特定部１０５でステアリングホイールの把持を特定した場合には、ハンズオフモードの自動運転が継続される場合であっても、モード特定部１０２でハンズオンモードの自動運転と特定した場合の周辺状況画像の表示に切り替えさせることが好ましい。

自車がハンズオフモードの場合であっても、運転者がステアリングホイールを把持する場合には、自車がハンズオンモードであるのと変わらず、ハンズオンモードと同様の周辺状況画像を表示させる方が好ましいと考えられる。これに対して、以上の構成によれば、自車がハンズオフモードの場合であっても、運転者がステアリングホイールを把持する場合には、ハンズオンモードと同様の周辺状況画像を表示させることが可能になる。

また、表示制御部１０６は、運転者の好みに応じて、ハンズオンモードの場合とハンズオフモードの場合との表示を、逆転させたりカスタマイズしたりする構成としてもよい。一例としては、ユーザ入力装置９３で受け付ける入力に応じて、ハンズオンモードの場合とハンズオフモードの場合との表示を、逆転させたりカスタマイズしたりする構成とすればよい。

＜ＨＣＵ１０での第１表示制御関連処理＞
ここで、図１２のフローチャートを用いて、ＨＣＵ１０でのハンズオンモードかハンズオフモードかに応じた表示の制御に関する処理（以下、第１表示制御関連処理）の流れの一例について説明を行う。図１２のフローチャートは、例えば自車がＬＶ３の自動運転を開始した後、運転交代が行われる場合に開始される構成とすればよい。ＨＣＵ１０は、運転交代が行われることを、交代要請取得部１０１で交代要請を取得したことから判断すればよい。また、表示制御部１０６は、前述したように、ＬＶ３の自動運転中は、周辺状況画像を表示させず、例えばセカンドタスクとして許可された行為を説明する画像等を表示器９１に表示させればよい。

まず、ステップＳ１では、モード特定部１０２が、運転交代後に自車が実行するのがハンズオンモードの自動運転かハンズオフモードの自動運転かを特定する。そして、ハンズオンモードと特定した場合（Ｓ１でＹＥＳ）には、ステップＳ２に移る。一方、ハンズオフモードと特定した場合（Ｓ１でＮＯ）には、ステップＳ３に移る。

ステップＳ２では、表示制御部１０６が、前述したハンズオンモードの表示態様で、周辺状況画像を表示器９１に表示させ、ステップＳ８に移る。一方、ステップＳ３では、表示制御部１０６が、前述したハンズオフモードの表示態様で、周辺状況画像を表示器９１に表示させる。

ステップＳ４では、車線変更特定部１０４が、自車が自動運転によって車線変更を行うことを特定した場合（Ｓ４でＹＥＳ）には、Ｓ２に移る。一方、車線変更特定部１０４が、自車が自動運転によって車線変更を行うことを特定していない場合（Ｓ４でＮＯ）には、ステップＳ５に移る。

ステップＳ５では、割込み推定部１０３が、自車線への周辺車両の割り込みを推定した場合（Ｓ５でＹＥＳ）には、Ｓ２に移る。一方、割込み推定部１０３が、自車線への周辺車両の割り込みを推定していない場合（Ｓ５でＮＯ）には、Ｓ６に移る。

ステップＳ６では、把持特定部１０５が、ステアリングホイールの把持を特定した場合（Ｓ６でＹＥＳ）には、Ｓ２に移る。一方、把持特定部１０５が、ステアリングホイールの把持を特定していない場合（Ｓ６でＮＯ）には、Ｓ７に移る。

ステップＳ７では、運転交代してからの経過時間が規定時間に達した場合（Ｓ７でＹＥＳ）には、Ｓ２に移る。一方、運転交代してからの経過時間が規定時間に達していない場合（Ｓ７でＮＯ）には、ステップＳ８に移る。

ステップＳ８では、第１表示制御関連処理の終了タイミングであった場合（Ｓ８でＹＥＳ）には、第１表示制御関連処理を終了する。一方、第１表示制御関連処理の終了タイミングでなかった場合（Ｓ８でＮＯ）には、Ｓ１に戻って処理を繰り返す。第１表示制御関連処理の終了タイミングの一例としては、パワースイッチがオフになったこと，レベル３以上の自動運転に切り替わった場合等が挙げられる。

＜実施形態１のまとめ＞
実施形態１の構成によれば、監視義務なしの自動運転から、監視義務ありの自動運転のうちの、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかに応じて、自車の車室内で用いられる表示器９１に表示させる周辺状況画像の表示を異ならせることになる。よって、自車の運転者は、周辺状況画像の表示の違いから、ハンズオンモードの自動運転に切り替わるか、ハンズオフモードの自動運転に切り替わるかをより容易に認識することが可能になる。その結果、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることが可能になる。

また、ハンズオンモードの自動運転とハンズオフモードの自動運転とでは、前述したように、要求される表示態様が異なると考えられる。これに対して、実施形態１の構成によれば、自車がハンズオンモードかハンズオフモードかに応じた表示態様で周辺状況画像を表示させることが可能になる。この点でも、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることが可能になる。

（実施形態２）
実施形態１では、表示制御部１０６が、自車がハンズオフモードの自動運転に切り替わった状態において、把持特定部１０５でステアリングホイールの把持を特定した場合に、モード特定部１０２でハンズオンモードの自動運転と特定した場合の周辺状況画像の表示に切り替えさせる構成を示したが、必ずしもこれに限らない。例えば、以下で示す実施形態２の構成としてもよい。以下では、実施形態２の一例について図を用いて説明する。実施形態２の車両用システム１は、自車がハンズオフモードの自動運転に切り替わった状態において把持特定部１０５でステアリングホイールの把持を特定した場合の表示制御部１０６での処理の一部が異なる点を除けば、実施形態１の車両用システム１と同様である。

実施形態２の表示制御部１０６は、自車がハンズオフモードの自動運転に切り替わった状態において、把持特定部１０５でステアリングホイールの把持を特定した場合には、把持特定部１０５でステアリングホイールの把持を特定してから所定時間は、モード特定部１０２でハンズオフモードの自動運転と特定した場合の周辺状況画像の表示を継続させた後、ハンズオフモードの自動運転が継続される場合であっても、モード特定部１０２でハンズオンモードの自動運転と特定した場合の周辺状況画像の表示に切り替えさせることが好ましい。ここで言うところの所定時間は、任意に設定可能な時間とする。

ここで、図１３のフローチャートを用いて、実施形態２のＨＣＵ１０での第１表示制御関連処理の流れの一例について説明を行う。図１３のフローチャートは、図１２のフローチャートと同様の条件で開始される構成とすればよい。

ステップＳ２１では、モード特定部１０２が、運転交代後に自車が実行するのがハンズオンモードの自動運転かハンズオフモードの自動運転かを特定する。そして、ハンズオンモードと特定した場合（Ｓ２１でＹＥＳ）には、ステップＳ２２に移る。一方、ハンズオフモードと特定した場合（Ｓ２１でＮＯ）には、ステップＳ２３に移る。

ステップＳ２２では、表示制御部１０６が、実施形態１で前述したハンズオンモードの表示態様で、周辺状況画像を表示器９１に表示させ、ステップＳ２９に移る。一方、ステップＳ２３では、表示制御部１０６が、実施形態１で前述したハンズオフモードの表示態様で、周辺状況画像を表示器９１に表示させる。

ステップＳ２４～ステップＳ２６までの処理は、前述したＳ１～Ｓ６までの処理と同様とすればよい。ステップＳ２７では、運転交代してからの経過時間が規定時間に達した場合（Ｓ２７でＹＥＳ）には、Ｓ２８に移る。一方、運転交代してからの経過時間が規定時間に達していない場合（Ｓ２７でＮＯ）には、ステップＳ２９に移る。ステップＳ２８では、Ｓ２６でステアリングホイールの把持を特定してから所定時間は、ハンズオフモードの表示態様での周辺状況画像の表示を継続させた後、Ｓ２２に移る。

ステップＳ２９では、第１表示制御関連処理の終了タイミングであった場合（Ｓ２９でＹＥＳ）には、第１表示制御関連処理を終了する。一方、第１表示制御関連処理の終了タイミングでなかった場合（Ｓ２９でＮＯ）には、Ｓ２１に戻って処理を繰り返す。

実施形態２の構成によっても、実施形態１と同様に、監視義務のない自動運転から監視義務のある自動運転に切り替わる場合に、切り替わり後の自動運転がハンズオンのモードかハンズオフのモードかを運転者により容易に認識させることが可能になる。また、実施形態２の構成によれば、自車がハンズオフモードの場合には、運転者がステアリングホイールを把持する場合であっても、所定時間はハンズオフモードの表示態様で周辺状況画像を表示させる。よって、運転者にステアリングホイールを把持しなくても構わないことを認識させることが可能になる。

（実施形態３）
実施形態１では、ハンズオフモードで、自車線と周辺車線とのうちの自車線のみの区画線画像を表示させる構成を示したが、周辺車線に障害物を検出している場合に、以下の実施形態３の構成のようにすればよい。以下では、実施形態３の一例について図を用いて説明する。以下では、障害物として周辺車両を例に挙げて説明する。

実施形態３の例では、図１４に示すように、周辺状況画像に周辺車両画像も含まれる場合の表示例について説明する。図１４のＯＶＩＨが、自車線に位置する周辺車両を表す画像を示す。図１４のＯＶＩＯが、自車線の周辺車線に位置する周辺車両を表す画像を示す。実施形態３では、表示制御部１０６は、実施形態１で説明したように、モード特定部１０２でハンズオフモードの自動運転と特定した場合に、自車線と周辺車線とのうちの自車線のみを表示させる。一方、表示制御部１０６は、自車線のみを表示させる場合であっても、周辺車両画像については、自車線に対応する周辺車両を示す画像と周辺車線に対応する周辺車両を示す画像とのいずれをも表示可能とさせる。

以上の構成によれば、実施形態１の図４で示した例と同様に、周辺車線を表示させる場合に比べて、表示を絞り込むことで必要な情報が厳選され、運転者にとってわかり易くなる。周辺車線の表示を省略した場合であっても、周辺車線に位置する周辺車両を示す画像を表示させることで、周辺車線についての状況を運転者は認識できる。周辺車線の表示を省略することで、表示の煩わしさを抑えることができる可能性も高まる。例えば、地図データと周辺監視センサ６０での区画線の認識結果とから車線の位置を逐次特定して車線の表示が行われるものとする。この場合、車線の表示が更新される際に表示がぶれる不具合が生じ得る。これに対して、表示する車線数が多いほど、このぶれが目立ち、煩わしさを感じさせ易くなる。よって、周辺車線の表示を省略することで、このぶれを目立ちにくくし、表示の煩わしさを抑えることが可能になる。

（実施形態４）
実施形態１では、レベル３の自動運転からレベル２の自動運転に運転交代をする場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、レベル４以上の自動運転からレベル２以下の自動運転又は手動運転に運転交代をする場合に適用してもよい。

（実施形態５）
前述の実施形態では、自車がレベル３以上の自動運転中には、周辺状況画像を表示させない構成を示したが、必ずしもこれに限らない。例えば、自車がレベル３以上の自動運転中にも、周辺状況画像を表示させることが可能な構成（以下、実施形態５）としてもよい。以下では、実施形態５の一例について図を用いて説明する。実施形態５の車両用システム１は、ＨＣＵ１０の代わりにＨＣＵ１０ａを含む点を除けば、実施形態１の車両用システム１と同様である。

ここで、図１５を用いてＨＣＵ１０ａの概略構成についての説明を行う。ＨＣＵ１０ａは、表示器９１での表示の制御に関して、図１５に示すように、交代要請取得部１０１、モード特定部１０２、割込み推定部１０３、車線変更特定部１０４、把持特定部１０５、及び表示制御部１０６ａを機能ブロックとして備える。ＨＣＵ１０ａは、表示制御部１０６の代わりに表示制御部１０６ａを備える点を除けば、実施形態１のＨＣＵ１０と同様である。このＨＣＵ１０ａも車両用表示制御装置に相当する。また、コンピュータによってＨＣＵ１０ａの各機能ブロックの処理が実行されることも、車両用表示制御方法が実行されることに相当する。

表示制御部１０６ａは、自車がレベル３以上の自動運転中にも周辺状況画像を表示させることが可能な点と、この点に関連した処理を行う点とを除けば、実施形態１の表示制御部１０６と同様である。以下では、実施形態１の表示制御部１０６と異なる処理について説明を行う。

例えば、表示制御部１０６ａは、自車がレベル３以上の自動運転中にも周辺状況画像を表示させる。レベル３以上の自動運転は、監視義務なし自動運転と言い換えることができる。表示制御部１０６ａは、自車がレベル３以上の自動運転中に周辺状況画像を表示させている状態において自動運転の段階（つまり、自動化レベル）が自動化のより低い段階に切り替わる場合には、ハンズオンモードの自動運転かハンズオフモードの自動運転かにかかわらず、その自動化レベルの切り替わりから所定時間経過後に、切り替わり前の自動化レベルに応じた周辺状況画像の表示から切り替わり後の自動化レベルに応じた周辺状況画像の表示に変化させる。ここで言うところの所定時間は、任意に設定可能とすればよい。以上の構成によれば、自動化レベルの切り替わり後に周辺状況画像の表示を変化させるので、運転者が混乱するのを防ぐことが可能になる。

なお、自動化レベルの切り替わり後の周辺状況画像の表示については、実施形態１と同様に、ハンズオンモードの自動運転かハンズオフモードの自動運転かで切り替えればよい。また、自動化レベルに応じた周辺状況画像の表示の例として、例えば以下のようにすればよい。レベル３では、自車線と周辺車線とのうちの自車線のみの区画線画像を表示させればよい。レベル２では、自車線と周辺車線とのいずれの区画線画像も表示させればよい。周辺車両画像についても、レベル３では自車線のみ表示可能とする一方、レベル２では周辺車線にも表示可能とすればよい。この場合、レベル２でのハンズオンモードかハンズオフモードかでの周辺状況画像の表示の切り替えとして、図４で示した例の適用を除外すればよい。

また、実施形態１で述べたように、自車がレベル３以上の自動運転中には周辺状況画像を表示させない場合は、以下のようにすればよい。表示制御部１０６は、レベル３以上の自動運転中に周辺状況画像を表示させていない状態において自動化レベルが自動化のより低い段階に切り替わる場合には、ハンズオンモードの自動運転かハンズオフモードの自動運転かにかかわらず、その自動化レベルの切り替わりと同時若しくはその自動運転の段階の切り替わりの前から、切り替わり後の自動化レベルに応じた周辺状況画像の表示に変化させればよい。ここで言うところの同時とは、実質的に同時と言える誤差も含むものとすればよい。以上の構成によれば、運手者により早く自車の周辺の情報を伝えることが可能になる。

ここで、図１６を用いて、自車がレベル３以上の自動運転中に周辺状況画像を表示させるか否かに応じた、表示の切り替えのタイミングの違いについて説明する。図１６のＹが、自車がレベル３以上の自動運転中に周辺状況画像を表示させる場合の例を示す。図１６のＮが、自車がレベル３以上の自動運転中に周辺状況画像を表示させない場合の例を示す。図１６のＬＣが、自動化レベルの切り替わりのタイミングを示す。図１６のＳが、切り替わり後の自動化レベルに応じた周辺状況画像の表示の開始タイミングを示す。図１６に示すように、自車がレベル３以上の自動運転中に周辺状況画像を表示させる場合には、自動化レベルの切り替えよりも後に、切り替わり後の自動化レベルに応じた周辺状況画像の表示を開始させる。一方、自車がレベル３以上の自動運転中に周辺状況画像を表示させない場合には、少なくとも自動化レベルの切り替え時点以前に、切り替わり後の自動化レベルに応じた周辺状況画像の表示を開始させる。

なお、自車がレベル３以上の自動運転中に周辺状況画像を表示させるか否かが固定されている構成に限られない。例えば、自車がレベル３以上の自動運転中に周辺状況画像を表示させるか否かの設定が切り替え可能な構成としてもよい。設定の切り替えについては、ユーザ入力装置９３で受け付けるユーザからの入力に応じて行う構成としてもよい。この場合、表示制御部１０６ａは、上述した処理を、周辺状況画像を表示させるか否かで使い分ける構成とすればよい。

（実施形態６）
自車がレベル４以上の自動運転からＬＶ３の自動運転に切り替える場合の構成として、以下に例を挙げる実施形態６の構成としてもよい。以下では、実施形態６の一例について図を用いて説明する。

まず、図１７を用いて、実施形態６の車両用システム１ｂについて説明する。車両用システム１ｂは、図１７に示すように、ＨＣＵ１０ｂ、通信モジュール２０、ロケータ３０、地図ＤＢ４０、車両状態センサ５０、周辺監視センサ６０、車両制御ＥＣＵ７０、自動運転ＥＣＵ８０、表示器９１ｂ、把持センサ９２、ユーザ入力装置９３、及びＤＳＭ（Driver Status Monitor）９４を含んでいる。車両用システム１ｂは、ＨＣＵ１０及び表示器９１の代わりにＨＣＵ１０ｂ及び表示器９１ｂを含む点と、ＤＳＭ９４を含む点とを除けば、実施形態１の車両用システム１と同様である。なお、この車両用システム１ｂも車両用表示制御システムに相当する。

表示器９１ｂは、図１７に示すように、運転者側表示器９１１と同乗者側表示器９１２とを有する。表示器９１ｂは、運転者側表示器９１１と同乗者側表示器９１２との２種類の表示装置を有する点を除けば、実施形態１の表示器９１と同様である。

運転者側表示器９１１は、自車の運転席の前方に表示面が位置する表示装置である。運転者側表示器９１１としては、メータＭＩＤ（Multi Information Display），ＨＵＤ（Head-Up Display）を用いることができる。メータＭＩＤは、車室内のうちの運転席の正面に設けられる表示装置である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。ＨＵＤは、車室内のうちの例えばインストルメントパネルに設けられる。ＨＵＤは、プロジェクタによって形成される表示像を、投影部材としてのフロントウインドシールドに既定された投影領域に投影する。フロントウインドシールドによって車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。これにより、ドライバは、フロントウインドシールドの前方にて結像される表示像の虚像を、前景の一部と重ねて視認可能となる。ＨＵＤは、フロントウインドシールドの代わりに、運転席の正面に設けられるコンバイナに表示像を投影する構成としてもよい。ＨＵＤの表示面は、メータＭＩＤの表示面よりも上方に位置する。運転者側表示器９１１としては、複数の表示装置を用いても構わない。

同乗者側表示器９１２は、運転者側表示器９１１以外の、自車の同乗者から視認可能な場所に表示面が位置する表示装置である。同乗者とは、運転者以外の自車の乗員である。同乗者側表示器９１２としては、助手席から視認可能な表示装置，後部座席から視認可能な表示装置が挙げられる。助手席から視認可能な表示装置の例としては、ＣＩＤ（Center Information Display）が挙げられる。ＣＩＤは、自車のインスツルメントパネルの中央に配置される表示装置である。後部座席から視認可能な表示装置としては、前部座席のシートバック，天井等に設けられる表示装置が挙げられる。同乗者側表示器９１２としては、複数の表示装置を用いても構わない。

ＤＳＭ９４は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。ＤＳＭ９４は、近赤外カメラを自車の運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面に配置される。ＤＳＭ９４は、近赤外光源によって近赤外光を照射された運転者の頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、撮像画像を画像解析して抽出した運転者の特徴量をもとに、運転者の覚醒度を検出する。覚醒度の検出としては、少なくとも覚醒状態と睡眠状態とを区別して検出する。

続いて、図１８を用いてＨＣＵ１０ｂの概略構成についての説明を行う。ＨＣＵ１０ｂは、表示器９１ｂでの表示の制御に関して、図１８に示すように、交代要請取得部１０１、モード特定部１０２、割込み推定部１０３、車線変更特定部１０４、把持特定部１０５、表示制御部１０６ｂ、及び状態特定部１０７を機能ブロックとして備える。ＨＣＵ１０ｂは、表示制御部１０６の代わりに表示制御部１０６ｂを備える点と、状態特定部１０７を備える点とを除けば、実施形態１のＨＣＵ１０と同様である。このＨＣＵ１０ｂも車両用表示制御装置に相当する。また、コンピュータによってＨＣＵ１０ｂの各機能ブロックの処理が実行されることも、車両用表示制御方法が実行されることに相当する。

状態特定部１０７は、運転者の状態を特定する。状態特定部１０７は、ＤＳＭ９４で逐次検出する運転者の覚醒度から、運転者の覚醒に関する状態を特定する。状態特定部１０７は、運転者が覚醒している覚醒状態と、運転者が眠っている睡眠状態とを少なくとも区別して特定する。ここでは、ＤＳＭ９４の制御ユニットで運転者の覚醒状態を検出する構成を示したが、この制御ユニットの機能の一部を状態特定部１０７が担ってもよい。また、状態特定部１０７は、ＤＳＭ９４の検出結果以外から運転者の覚醒に関する状態を特定してもよい。例えば、運転者の脈波を検出する生体センサの検出結果から、運転者の覚醒に関する状態を特定してもよい。

表示制御部１０６ｂは、一部の処理が異なる点を除けば、表示制御部１０６，１０６ａと同様である。以下では、表示制御部１０６，１０６ａと異なる処理について説明を行う。表示制御部１０６ｂは、自車の走行に関連する情報（以下、走行関連情報）を表示器９１ｂに表示させる。表示器９１ｂに表示させる走行関連情報には、周辺状況画像及び周辺状況画像に該当しない画像が含まれる。つまり、走行関連情報は、周辺状況画像も分類に含む。周辺状況画像に該当しない画像には、セカンドタスクとして許可された行為を説明する画像（以下、ＳＴ説明画像），車速画像，自車画像，自車線の区画線画像（以下、自車線画像）が含まれる。

表示制御部１０６ｂは、睡眠可能自動運転から睡眠不可自動運転に切り替わる場合には、睡眠可能自動運転中の場合に表示器９１ｂに表示させる走行関連情報の情報量よりも、睡眠不可自動運転中の場合に表示器９１ｂに表示させる走行関連情報の情報量を多くさせる。この場合の比較の対象は、同一の表示装置について表示させる情報量としてもよいし、複数の表示装置を併せた情報量としてもよい。睡眠可能自動運転は、前述したように、ＬＶ４以上の自動運転である。以下ではＬＶ４の自動運転を例に挙げて説明する。睡眠不可自動運転は、前述したように、ＬＶ３の自動運転である。ここで言うところの情報量とは、情報の種類別の要素の量とすればよい。例えば、情報の種類別の要素の例としては、自車画像、自車線画像、周辺車線の区画線画像（以下、周辺車線画像）、自車線の周辺車両画像、周辺車線の周辺車両画像、車速画像等が挙げられる。

例えば、ＬＶ４の自動運転時よりもＬＶ３の自動運転時の表示の情報量を多くする例としては、以下のようにすればよい。ＬＶ４の自動運転時に、自車画像と自車線画像とを表示するが周辺車両画像を表示させない場合には、ＬＶ３の自動運転時に、自車画像と自車線画像とに加えて周辺車両画像を表示させればよい。また、ＬＶ４の自動運転時に、自車画像を表示するが自車線画像を表示させない場合には、ＬＶ３の自動運転時に、自車画像に加えて自車線画像を表示させればよい。

表示制御部１０６ｂは、睡眠可能自動運転から、自動化が監視義務あり自動運転以下の段階の運転に切り替わる場合にも、睡眠可能自動運転中の場合に表示器９１ｂに表示させる走行関連情報の情報量よりも、その監視義務あり自動運転以下の段階の運転に切り替わってから表示器９１ｂに表示させる走行関連情報の情報量を多くさせればよい。監視義務あり自動運転以下の段階の運転には、自動化がレベル１～２の自動運転、及び自動化がレベル０の手動運転が含まれる。また、この場合、表示制御部１０６ｂは、監視義務あり自動運転以下の段階の運転に切り替わってから、睡眠可能自動運転中の場合よりも表示器９１ｂに表示させる走行関連情報の情報量を多くさせることが好ましい。これによれば、周辺監視が必要となるＬＶ２以下の運転への切り替え時にドライバが表示に着目しすぎることで周辺監視を怠ってしまうことを防ぐことが可能になる。

例えば、睡眠可能自動運転時よりも自動化が監視義務あり自動運転以下の段階の運転時の表示の情報量を多くする例としては、以下のようにすればよい。ＬＶ４の自動運転時に、自車画像を表示するが自車線画像を表示させない場合には、自動化レベルがＬＶ２以下の運転時に、自車画像に加えて自車線画像と周辺車両画像とを表示させればよい。この場合、ＬＶ３の自動運転時には、自車画像に加えて自車線画像を表示させる構成とすればよい。

表示制御部１０６ｂは、ＬＶ４の自動運転中には、状態特定部１０７で運転者が覚醒状態と特定している場合に表示器９１ｂに表示させる走行関連情報の情報量よりも、状態特定部１０７で運転者が睡眠状態と特定している場合に表示器９１ｂに表示させる走行関連情報の情報量を多くさせることが好ましい。これによれば、ＬＶ４の自動運転中に運転者が眠っている場合であっても、同乗者がより詳細な自車の走行に関する情報を確認することが可能になる。よって、ＬＶ４の自動運転中に運転者が眠っている場合であっても、同乗者に安心感を与えることが可能になる。ここでは、表示器９１ｂに走行関連情報を表示させる場合を例に挙げたが、表示器９１に走行関連情報を表示させる場合にも適用可能である。

例えば、ＬＶ４の自動運転時に運転者の覚醒状態時よりも運転者の睡眠状態時の表示の情報量を多くする例としては、以下のようにすればよい。運転者が睡眠状態の場合には、車速画像を表示するが自車画像と自車線画像とを表示させないのに対して、運転者が睡眠状態の場合に、車速画像に加えて自車画像と自車線画像とを表示させればよい。他にも、運転者が睡眠状態の場合には、車速画像と自車画像と自車線画像とを表示させるが自車線の周辺車両画像を表示させないのに対して、運転者が睡眠状態の場合に、車速画像と自車画像と自車線画像とに加えて自車線の周辺車両を表示させてもよい。

表示制御部１０６ｂは、ＬＶ４の自動運転中に状態特定部１０７で運転者が睡眠状態と特定している場合には、状態特定部１０７で運転者が覚醒状態と特定している場合よりも、運転者側表示器９１１に比較して同乗者側表示器９１２に表示させる走行関連情報の情報量を多くさせることが好ましい。この場合、一例として運転者側表示器９１１は、状態特定部１０７で運転者が睡眠状態と特定している場合も覚醒状態と特定している場合も、同じ情報量の走行関連情報を表示させればよい。一方、ＬＶ４の自動運転中に状態特定部１０７で運転者が覚醒状態と特定している場合には、運転者側表示器９１１と同乗者側表示器９１２とで、同じ情報量の走行関連情報を表示させればよい。これによれば、ＬＶ４の自動運転中に運転者が眠っている場合に、無駄な表示を省きつつ、同乗者にとって必要な情報を効率的に同乗者に提供することが可能になる。

例えば、ＬＶ４の自動運転時における運転者の状態に応じて表示の情報量を異ならせる例としては、以下のようにすればよい。運転者が覚醒状態の場合には、運転者側表示器９１１と同乗者側表示器９１２との両方に、車速画像を表示するが自車画像と自車線画像とを表示させない構成とすればよい、一方、運転者が睡眠状態の場合には、運転者側表示器９１１に車速画像を表示するが自車画像と自車線画像とを表示させないのに対して、同乗者側表示器９１２に車速画像に加えて自車画像と自車線画像とを表示させればよい。

表示制御部１０６ｂは、ＬＶ４の自動運転中に運転者が睡眠状態となっていないことを状態特定部１０７で特定した場合には、ＬＶ４の自動運転からＬＶ３の自動運転への切り替わり後に、切り替わり後のＬＶ３の自動運転の段階に応じた情報の表示に変化させることが好ましい。運転者がＬＶ４の自動運転中に睡眠をとっていない場合には、自車の周囲の状況が把握できている。よって、ＬＶ３の自動運転に切り替わる前に表示器９１ｂに表示される走行関連情報の情報量を増やさなくても運転者が自車の周囲の状況を把握できる。従って、ＬＶ３の自動運転に切り替わり後に表示器９１ｂに表示される走行関連情報の情報量を増やしても問題ない。

一方、表示制御部１０６ｂは、ＬＶ４の自動運転中に運転者が睡眠状態から覚醒状態に移行したと状態特定部１０７で特定していた場合には、ＬＶ４の自動運転からＬＶ３の自動運転への切り替わり前に、切り替わり後のＬＶ３の自動運転の段階に応じた情報の表示に変化させることが好ましい。運転者がＬＶ４の自動運転中に睡眠をとっていた場合には、自車の周囲の状況が把握できていない可能性がある。よって、ＬＶ３の自動運転に切り替わる前に、表示器９１ｂに表示される走行関連情報の情報量を増やすことで、運転者が自車の周囲の状況を把握しやすくなる。その結果、運転者にとっての利便性が向上する。

ここで、図１９のフローチャートを用いて、ＨＣＵ１０ｂでの睡眠可能自動運転から睡眠不可自動運転にかけての表示の制御に関する処理（以下、第２表示制御関連処理）の流れの一例について説明を行う。図１９のフローチャートは、例えば自車がＬＶ４以上の自動運転を開始した場合に開始される構成とすればよい。

まず、ステップＳ４１では、状態特定部１０７が、運転者の状態を特定する。ステップＳ４２では、Ｓ４１で運転者が睡眠状態と特定した場合（Ｓ４２でＹＥＳ）には、ステップＳ４３に移る。一方、Ｓ４１で運転者が覚醒状態と特定した場合（Ｓ４２でＮＯ）には、ステップＳ４４に移る。

ステップＳ４３では、表示制御部１０６ｂが、運転者側表示器９１１に比較して同乗者側表示器９１２に表示させる走行関連情報の情報量を多くさせ、ステップＳ４５に移る。一方、ステップＳ４４では、表示制御部１０６ｂが、運転者側表示器９１１と同乗者側表示器９１２とで、同じ情報量の走行関連情報を表示させ、ステップＳ４５に移る。

ステップＳ４５では、ＬＶ３の自動運転への切り替えが行われる場合（Ｓ４５でＹＥＳ）には、ステップＳ４６に移る。一方、ＬＶ３の自動運転への切り替えが行われない場合（Ｓ４５でＮＯ）には、Ｓ４１に戻って処理を繰り返す。ＬＶ３の自動運転への切り替えが行われるとは、切り替えがこれから行われるが切り替えが開始していない状態を指す。ＬＶ３の自動運転は、睡眠不可自動運転であるので、ＬＶ３の自動運転への切り替えが行われる場合には、運転者は覚醒状態であるものとする。

ステップＳ４６では、Ｓ４１で運転者が睡眠状態と特定したことがあった場合（Ｓ４６でＹＥＳ）には、ステップＳ４７に移る。一方、Ｓ４１で運転者が睡眠状態と特定したことがなかった場合（Ｓ４６でＮＯ）には、ステップＳ４８に移る。

ステップＳ４７では、表示制御部１０６ｂが、ＬＶ３の自動運転への切り替え切り替わり前に、切り替わり後のＬＶ３の自動運転の段階に応じた情報の表示に変化させ、第２表示制御関連処理を終了する。一方、ステップＳ４８では、表示制御部１０６ｂが、ＬＶ３の自動運転への切り替え切り替わり後に、切り替わり後のＬＶ３の自動運転の段階に応じた情報の表示に変化させ、第２表示制御関連処理を終了する。

（実施形態７）
実施形態６の構成に限らず、以下に例を挙げる実施形態７の構成としてもよい。以下では、実施形態７の一例について図を用いて説明する。実施形態７の車両用システム１ｂは、ＨＣＵ１０ｂの代わりにＨＣＵ１０ｃを含む点を除けば、実施形態６の車両用システム１ｂと同様である。

ここで、図２０を用いてＨＣＵ１０ｃの概略構成についての説明を行う。ＨＣＵ１０ｃは、表示器９１ｂでの表示の制御に関して、図２０に示すように、交代要請取得部１０１、モード特定部１０２、割込み推定部１０３、車線変更特定部１０４、把持特定部１０５、表示制御部１０６ｃ、及び状態特定部１０７を機能ブロックとして備える。ＨＣＵ１０ｃは、表示制御部１０６ｂの代わりに表示制御部１０６ｃを備える点を除けば、実施形態６のＨＣＵ１０ｂと同様である。このＨＣＵ１０ｃも車両用表示制御装置に相当する。また、コンピュータによってＨＣＵ１０ｃの各機能ブロックの処理が実行されることも、車両用表示制御方法が実行されることに相当する。

表示制御部１０６ｃは、一部の処理が異なる点を除けば、表示制御部１０６ｂと同様である。以下では、表示制御部１０６ｂと異なる処理について説明を行う。表示制御部１０６ｃは、睡眠可能自動運転から睡眠不可自動運転へ切り替わる場合において、切り替わり予定のタイミングの所定時間よりも前から運転者が覚醒状態と状態特定部１０７で特定していた場合には、睡眠可能自動運転から睡眠不可自動運転への切り替わり後に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる。一方、切り替わり予定のタイミング前の所定時間内に運転者が睡眠状態から覚醒状態に移行したと状態特定部１０７で特定していた場合には、睡眠可能自動運転から睡眠不可自動運転への切り替わり前に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる。睡眠可能自動運転は、前述したように、ＬＶ４以上の自動運転である。以下ではＬＶ４の自動運転を例に挙げて説明する。睡眠不可自動運転は、前述したように、ＬＶ３の自動運転である。ここで言うところの所定時間は、運転者が睡眠状態から覚醒状態に移行してから自車の周辺状況を認識できるまでの要すると推定される時間以上であればよい。ここで言うところの所定時間は、任意に設定可能とすればよい。

実施形態７では、図１９のフローチャートのＳ４６の処理を、以下のように変更すればよい。実施形態７では、Ｓ４６の処理において、ＬＶ３の自動運転への切り替わり予定のタイミングの所定時間よりも前から、状態特定部１０７で覚醒状態と継続して特定していた場合に、ステップＳ４７に移ればよい。一方、ＬＶ３の自動運転への切り替わり予定のタイミングの所定時間内に、状態特定部１０７で睡眠状態と特定されていた場合には、ステップＳ４８に移ればよい。

（実施形態８）
実施形態６及び実施形態７では、ＨＣＵ１０ｂ，１０ｃに状態特定部１０７を備える構成を示したが、必ずしもこれに限らない。例えば、ＨＣＵ１０ｂ，１０ｃに状態特定部１０７を備えず、運転者が覚醒状態か睡眠状態かに応じた表示の制御を行わない構成としてもよい。

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１，１ｂ 車両用システム（車両用表示制御システム）、１０，１０ａ，１０ｂ，１０ｃ ＨＣＵ（車両用表示制御装置）、９１，９１ｂ 表示器、９３ ユーザ入力装置、１０２ モード特定部、１０３ 割込み推定部、１０４ 車線変更特定部、１０５ 把持特定部、１０６，１０６ａ，１０６ｂ，１０６ｃ 表示制御部、１０７ 状態特定部、９１１ 運転者側表示器、９１２ 同乗者側表示器

Claims (9)

1. 運転者の監視義務がない自動運転である監視義務なし自動運転から運転者の監視義務がある自動運転である監視義務あり自動運転に切り替えが可能な車両で用いられ、
   前記車両の周辺状況を示すための画像である周辺状況画像を、前記車両の車室内で用いられる表示器（９１，９１ｂ）に表示させる表示制御部（１０６，１０６ａ，１０６ｂ，１０６ｃ）とを備え、
   前記表示制御部は、前記監視義務なし自動運転中に前記周辺状況画像を表示させている状態において前記自動運転の段階が自動化のより低い段階に切り替わる場合には、その自動運転の段階の切り替わりから所定時間経過後に、切り替わり前の自動運転の段階に応じた前記周辺状況画像の表示から切り替わり後の自動運転の段階に応じた前記周辺状況画像の表示に変化させる車両用表示制御装置。
2. 請求項１において、
   前記自動運転の段階として、運転者の監視義務がない自動運転である監視義務なし自動運転と前記監視義務あり自動運転とが少なくとも切り替え可能な車両であって、且つ、前記監視義務なし自動運転として、前記運転者の睡眠が許可される睡眠可能自動運転と、前記運転者の睡眠が許可されない睡眠不可自動運転とが少なくとも可能な車両で用いられるものであって、
   前記表示制御部（１０６ｂ，１０６ｃ）は、前記車両の走行に関する走行関連情報を前記表示器に表示させるものであり、
   前記表示制御部は、前記睡眠可能自動運転から前記睡眠不可自動運転に切り替わる場合には、前記睡眠可能自動運転中の場合に前記表示器に表示させる前記走行関連情報の情報量よりも、前記睡眠不可自動運転中の場合に前記表示器に表示させる前記走行関連情報の情報量を多くさせる車両用表示制御装置。
3. 請求項２において、
   前記運転者の状態を特定する状態特定部（１０７）を備えるものであって、
   前記表示制御部（１０６ｂ）は、前記睡眠可能自動運転中に前記運転者が睡眠状態となっていないことを前記状態特定部で特定した場合には、前記睡眠可能自動運転から前記睡眠不可自動運転への切り替わり後に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる一方、前記睡眠可能自動運転中に前記運転者が睡眠状態から覚醒状態に移行したと前記状態特定部で特定していた場合には、前記睡眠可能自動運転から前記睡眠不可自動運転への切り替わり前に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる車両用表示制御装置。
4. 請求項２において、
   前記運転者の状態を特定する状態特定部（１０７）を備えるものであって、
   前記表示制御部（１０６ｃ）は、前記睡眠可能自動運転から前記睡眠不可自動運転へ切り替わる場合において、切り替わり予定のタイミングの所定時間よりも前から前記運転者が覚醒状態と前記状態特定部で特定していた場合には、前記睡眠可能自動運転から前記睡眠不可自動運転への切り替わり後に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる一方、切り替わり予定のタイミング前の所定時間内に前記運転者が睡眠状態から覚醒状態に移行したと前記状態特定部で特定していた場合には、前記睡眠可能自動運転から前記睡眠不可自動運転への切り替わり前に、切り替わり後の自動運転の段階に応じた情報の表示に変化させる車両用表示制御装置。
5. 請求項１～４のいずれか１項において、
   前記自動運転の段階として、運転者の監視義務がない自動運転である監視義務なし自動運転と前記監視義務あり自動運転とが少なくとも切り替え可能な車両であって、且つ、前記監視義務なし自動運転として、前記運転者の睡眠が許可される睡眠可能自動運転と、前記運転者の睡眠が許可されない睡眠不可自動運転とが少なくとも可能な車両で用いられるものであって、
   前記表示制御部（１０６ｂ，１０６ｃ）は、前記車両の走行に関する走行関連情報を前記表示器に表示させるものであり、
   前記運転者の状態を特定する状態特定部（１０７）を備え、
   前記表示制御部は、前記睡眠可能自動運転中には、前記状態特定部で前記運転者が覚醒状態と特定している場合に前記表示器に表示させる前記走行関連情報の情報量よりも、前記状態特定部で前記運転者が睡眠状態と特定している場合に前記表示器に表示させる前記走行関連情報の情報量を多くさせる車両用表示制御装置。
6. 請求項５において、
   前記表示制御部（１０６ｂ，１０６ｃ）は、情報を前記表示器（９１ｂ）に表示させるものであって、前記表示器として、前記車両の運転席の前方に表示面が位置する運転者側表示器（９１１）と、前記運転者側表示器以外の、前記車両の同乗者から視認可能な場所に表示面が位置する同乗者側表示器（９１２）とでの表示を制御するものであり、
   前記表示制御部は、前記睡眠可能自動運転中に前記状態特定部で前記運転者が睡眠状態と特定している場合には、前記状態特定部で前記運転者が覚醒状態と特定している場合よりも、前記運転者側表示器に比較して前記同乗者側表示器に表示させる前記走行関連情報の情報量を多くさせる車両用表示制御装置。
7. 請求項１～６のいずれか１項において、
   運転者の監視義務がない自動運転である監視義務なし自動運転と前記監視義務あり自動運転とが少なくとも切り替え可能な車両であって、且つ、前記監視義務なし自動運転として、前記運転者の睡眠が許可される睡眠可能自動運転と、前記運転者の睡眠が許可されない睡眠不可自動運転とが少なくとも可能な車両で用いられるものであって、
   前記表示制御部（１０６ｂ，１０６ｃ）は、前記車両の走行に関する走行関連情報を前記表示器に表示させるものであり、
   前記表示制御部は、前記睡眠可能自動運転から自動化が前記監視義務あり自動運転以下の段階の運転に切り替わる場合には、その監視義務あり自動運転以下の段階の運転に切り替わってから、前記睡眠可能自動運転中の場合よりも前記表示器に表示させる走行関連情報の情報量を多くさせる車両用表示制御装置。
8. 車両の車室内に表示面が向くように前記車両に設けられる表示器（９１，９１ｂ）と、
   請求項１～７のいずれか１項に記載の車両用表示制御装置（１０，１０ａ，１０ｂ，１０ｃ）とを含む車両用表示制御システム。
9. 運転者の監視義務がない自動運転である監視義務なし自動運転から運転者の監視義務がある自動運転である監視義務あり自動運転に切り替えが可能な車両で用いられる車両用表示制御方法であって、
   少なくとも１つのプロセッサにより実行される、
   前記車両の周辺状況を示すための画像である周辺状況画像を、前記車両の車室内で用いられる表示器（９１，９１ｂ）に表示させる表示制御工程と、
   前記車両が前記監視義務あり自動運転において実行するのが、前記車両のステアリングホイールの把持を必要とするハンズオンモードの自動運転か、前記ステアリングホイールの把持を必要としないハンズオフモードの自動運転かを特定するモード特定工程とを含み、
   前記表示制御工程では、前記監視義務なし自動運転中に前記周辺状況画像を表示させている状態において前記自動運転の段階が自動化のより低い段階に切り替わる場合には、その自動運転の段階の切り替わりから所定時間経過後に、切り替わり前の自動運転の段階に応じた前記周辺状況画像の表示から切り替わり後の自動運転の段階に応じた前記周辺状況画像の表示に変化させる車両用表示制御方法。

Images