JPWO2018220827A1 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

Abstract

車両制御システムは、自車両の乗員の操作を受け付ける受付部と、情報を出力する情報出力部と、前記自車両を自動的に走行させる自動運転を実行する自動運転制御部と、前記自動運転制御部に前記自動運転を実行させる自動運転モード、または前記受付部に対する操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替える切替制御部と、前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、前記情報出力部に所定情報を出力させる出力制御部と、を備え、前記切替制御部は、前記受付部により所定操作が受け付けられた場合、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定する。

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。

従来、自動操舵中に乗員が操舵のオーバーライドをしたときに、手動運転に移行させる技術が知られている（例えば、特許文献１参照）。

特開２０１７−６１２２４号公報

しかしながら、従来の技術では、乗員の意思に反して手動運転に移行してしまう場合があった。

本発明は、このような事情を考慮してなされたものであり、より忠実に乗員の意思通りに手動運転に移行させることができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。

（１）：自車両の乗員の操作を受け付ける受付部と、情報を出力する情報出力部と、前記自車両を自動的に走行させる自動運転を実行する自動運転制御部と、前記自動運転制御部に前記自動運転を実行させる自動運転モード、または前記受付部に対する操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替える切替制御部と、前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、前記情報出力部に所定情報を出力させる出力制御部と、を備え、前記切替制御部が、前記受付部により所定操作が受け付けられた場合、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定する車両制御システムである。

（２）：（１）に記載の車両制御システムは、前記切替制御部が、前記受付部により第１操作が受け付けられた場合に、前記自車両の運転モードを、前記手動運転モードから、前記自動運転モードに比して制御度合の低い運転支援モードに切り替え、前記第１操作後に、前記受付部により第２操作が受け付けられた場合に、前記自車両の運転モードを、前記運転支援モードから前記自動運転モードに切り替え、前記自動運転モード下において、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以前である場合、前記自車両の運転モードを、前記自動運転モードから前記運転支援モードに切り替え、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降である場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替えるものである。

（３）：（２）に記載の車両制御システムは、前記運転支援モード下において、少なくとも走行車線を逸脱しないように前記自車両の操舵制御を行う運転支援制御部を更に備えるものである。

（４）：（１）に記載の車両制御システムは、前記切替制御部が、前記受付部により第１操作および第２操作の二段階の操作が受け付けられた場合に、前記自車両の運転モードを、前記手動運転モードから前記自動運転モードに切り替え、前記自動運転モード下において、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以前である場合、前記自動運転モードを継続し、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降である場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替えるものである。

（５）：（１）から（４）のうちいずれか１つに記載の車両制御システムは、前記受付部が、ステアリングホイールを含み、前記出力制御部が、前記乗員に前記ステアリングホイールを操作することを要求する情報、手動運転を前記乗員に要求する情報、または前記自動運転モード下において前記自車両を停止させる自動運転が行われることを示す情報のうちいずれかを、前記所定情報として前記情報出力部に出力させるものである。

（６）：（５）に記載の車両制御システムは、前記切替制御部が、前記自動運転モード下において前記自動運転制御部により前記自車両を停止させる自動運転が行われた以降に、前記ステアリングホイールにより操作が受け付けられた場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替えるものである。

（７）：（１）から（６）のうちいずれか１つに記載の車両制御システムは、前記情報出力部が、表示部を含み、前記出力制御部が、前記自車両の運転モードが前記自動運転モードから前記手動運転モードに切り替わるまで、前記表示部に第１画面を表示させ、前記自動運転モードから前記手動運転モードに切り替わった場合、前記表示部に前記第１画面と異なる第２画面を表示させるものである。

（８）：（１）から（７）のうちいずれか１つに記載の車両制御システムは、前記自車両の周辺の物標を認識し、前記物標の認識結果を所定の周期で更新する認識部を更に備え、前記自動運転制御部が、前記認識部の認識結果に基づいて、前記自動運転を実行し、前記認識部が、前記切替制御部により前記自車両の運転モードが前記自動運転モードから前記手動運転モードに切り得られた場合、前記認識結果を更新せずに所定時間保持するものである。

（９）：車載コンピュータが、自車両の乗員の操作を受け付け、前記自車両を自動的に走行させる自動運転を実行し、前記自動運転を実行する自動運転モード、または前記受け付けた操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替え、前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、所定情報を出力し、前記所定操作を受け付けた場合、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定する車両制御方法である。

（１３）：車載コンピュータに、自車両の乗員の操作を受け付けさせ、前記自車両を自動的に走行させる自動運転を実行させ、前記自動運転を実行させる自動運転モード、または前記受け付けさせた操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替え、前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、所定情報を出力させ、前記所定操作が受け付けられた場合、前記所定操作が受け付けられたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定させる車両制御プログラムである。

（１）〜（１０）によれば、より忠実に乗員の意思通りに手動運転に移行させることができる。

実施形態の車両制御システムを含む車両システム１の構成図である。 自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 車線変更の際の処理について説明するための図である。 車線変更の際の処理について説明するための図である。 自車両ＭにおけるＨＭＩ４００の一例を示す図である。 第３の表示部４７０と発光部４６２の位置関係の一つの側面を例示した図である。 第３の表示部４７０と発光部４６２の位置関係の他の側面を例示した図である。 第３の表示部４７０の画面の一部の領域を用いて、第３の表示部４７０が使用可能であること通知することについて説明するための図である。 手動運転から運転支援に切り替えられた後、運転支援による車線変更が実行されるまでの各種場面を示す図である。 手動運転時に表示される第１画面ＩＭ１−１および第２画面ＩＭ２−１の一例を示す図である。 メインスイッチ３１２が操作されたことで表示される第３画面ＩＭ３−１および第４画面ＩＭ４−１の一例を示す図である。 オートスイッチ３１４が操作されたときに、第１の表示部４５０およびＨＵＤ４６０に表示される画面ＩＭ３−２およびＩＭ４−２の一例を示す図である。 第２の度合の運転支援において、第１の表示部４５０およびＨＵＤ４６０に表示される画面の一例を示す図である。 自車両Ｍを上から見た時の車室内の構造を模式的に示す図である。 自車両Ｍの挙動が変化する前の第１のタイミングにおいて表示される第３画面ＩＭ３−４および第４画面ＩＭ４−４の一例を示す図である。 自車両Ｍの挙動が変化する前の第２のタイミングにおいて表示される第３画面ＩＭ３−５および第４画面ＩＭ４−５の一例を示す図である。 車線変更開始時に第１角度範囲Δθ１の基準とする向きが変更される様子を模式的に示した図である。 場面（１）〜（３）において、マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。 第２の度合の運転支援から第３の度合の運転支援に切り替わり、その後、第３の度合の運転支援から第２の度合の運転支援に切り替わるまでの各種場面を示す図である。 自車両Ｍの加速制御時に表示される第３画面ＩＭ３−６および第４画面ＩＭ４−６の一例を示す図である。 低速追従走行時に表示される第３画面ＩＭ３−７および第４画面ＩＭ４−７の一例を示す図である。 乗員に周辺監視を行わせるために表示される第３画面ＩＭ３−８、第４画面ＩＭ４−８の一例を示す図である。 第３の度合の運転支援から第２の度合の運転支援に切り替わった場合の第３画面ＩＭ３−９、第４画面ＩＭ４−９の一例を示す図である。 場面（４）〜（６）において、マスター制御部１００および自動運転制御ユニット３００により実行される処理の流れの一例を示すフローチャートである。 第２の度合の運転支援から手動運転による走行に切り替わるまでの各種場面を示す図である。 手動運転時への切り替え要求時に表示される第３画面ＩＭ３−１０、第４画面ＩＭ４−１０の一例を示す図である。 乗員に手動運転を実行させるための警告を強めた第３画面ＩＭ３−１１および第４画面ＩＭ４−１１の一例を示す図である。 自動運転を終了する旨の情報を表示する第３画面ＩＭ３−１２および第４画面ＩＭ４−１２の一例を示す図である。 代替制御時における第３画面ＩＭ３−１３および第４画面ＩＭ４−１３の一例を示す図である。 場面（７）〜（９）において、ＨＭＩ制御部１２０により実行される処理の流れの一例を示すフローチャートである。 ハンズオンの要求前にハンズオンとなる場面の一例を示す図である。 ハンズオンの要求後にハンズオンとなる場面の一例を示す図である。 ハンズオンの要求後にハンズオンとならない場面の一例を示す図である。 マスター制御部１００により実行される処理の流れの他の例を示すフローチャートである。 現在実施されている制御が維持される場面の一例を示す図である。 現在実施されている制御が変更される場面の一例を示す図である。 運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。 物体認識装置１６による一連の処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。実施形態では、車両制御システムは、自動運転（自律運転）可能な自動運転車両に適用される。自動運転は、原則として乗員による操作を必要としない状態で車両を走行させることをいい、運転支援の一種であると考えられる。なお、自動運転車両は手動運転により走行させることもできる。手動運転は、乗員の運転操作子に対する操作に応じて車両を走行させることをいう。以下の説明において、「乗員」とは、運転席すなわち運転操作子が設けられたシートに着座した乗員を指すものとする。

本実施形態において、運転支援の度合には、例えば、第１の度合と、第１の度合よりも制御度合（自動化率）が高い第２の度合と、第２の度合よりも制御度合が高い第３の度合とがあるものとする。第１の度合の運転支援では、例えば、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）等の運転支援装置が作動することで運転支援制御が実行される。第２の度合および第３の度合の運転支援では、例えば、原則として乗員による運転操作子の操作を必要とせずに、車両の加減速および操舵の双方を自動的に制御する自動運転が実行される。これらの運転支援の実行に伴って、乗員にはその運転支援の度合に応じたタスク（責務）が課される。例えば、第１の度合および第２の度合の運転支援では、乗員に周辺監視義務が課されるのに対し、第３の度合の運転支援では、乗員に周辺監視義務が課されない（或いは周辺監視義務の程度が低い）。乗員が周辺監視義務を果たさない場合、例えば、運転支援の度合が低下する。第２の度合または第３の度合の運転支援が行われる状態は、「自動運転モード」の一例であり、第１の度合の運転支援が行われる状態は、「運転支援モード」の一例であり、運転支援が行われない状態は、「手動運転モード」の一例である。

［全体構成］
図１は、実施形態の車両制御システムを含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、車両センサ７０と、運転操作子８０と、車室内カメラ９０と、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、ＨＭＩ（Human Machine Interface）４００と、走行駆動力出力装置５００と、ブレーキ装置５１０と、ステアリング装置５２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

例えば、車両システム１が備える車室内カメラ９０と、マスター制御部１００と、自動運転制御ユニット３００とを合わせたものは、「車両制御システム」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を自動運転制御ユニット３００に出力する。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置２０は、車外の人物が所持する端末装置と通信する。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、後述するＨＭＩ４００と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（例えば、目的地まで走行するときの経由地に関する情報を含む）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所等が存在する場合、自車両Ｍが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含んでよい。運転操作子８０には、操作量あるいは操作の有無を検出する操作検出センサが取り付けられており、その検出結果は、マスター制御部１００、運転支援制御部２００、自動運転制御ユニット３００、もしくは、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０のうち、何れか一つまたは複数に出力される。運転操作子８０は、「受付部」の一例である。

車室内カメラ９０は、例えば、車室内に設置されたシートに着座する乗員（特に、運転席に着座する乗員）の顔を中心に撮像する。車室内カメラ９０は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ９０は、例えば、周期的に乗員を撮像する。車室内カメラ９０の撮像画像は、マスター制御部１００に出力される。

［各種制御装置］
車両システム１は、制御系の構成として、例えば、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００とを備える。なお、マスター制御部１００は、運転支援制御部２００または自動運転制御ユニット３００のどちらかに統合されてもよい。
［マスター制御部］
マスター制御部１００は、運転支援の度合の切り替えと、それに関連するＨＭＩ４００の制御等を行う。マスター制御部１００は、例えば、切替制御部１１０と、ＨＭＩ制御部１２０と、操作子状態判定部１３０と、乗員状態監視部１４０とを備える。切替制御部１１０、ＨＭＩ制御部１２０、操作子状態判定部１３０、および乗員状態監視部１４０は、それぞれ、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

切替制御部１１０は、例えば、ＨＭＩ４００に含まれる所定のスイッチ（例えば後述するメインスイッチおよびオートスイッチ）から入力される操作信号に基づいて、運転支援の度合を手動運転の状態から第１以上の度合に、或いは第１以上の度合から手動運転の状態に切り替える。また、切替制御部１１０は、例えば、アクセスペダルやブレーキペダル、ステアリングホイール等の運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて、運転支援の度合を第１以上の度合から手動運転の状態に切り替えてもよい。

例えば、第１の度合の運転支援（運転支援制御）では、自車両Ｍの設定車速（下限速度および上限速度）が所定の速度範囲（例えば５０〜１００［ｋｍ／ｈ］程度）に設定される。この設定車速は、乗員操作により適宜変更されてよい。

例えば、第２の度合の運転支援（自動運転制御）では、自車両Ｍの設定車速（下限速度および上限速度）が法定速度などの基準速度に設定される。例えば、自車両Ｍが高速道路を走行する場合、その高速道路の法定速度に合わせて、上限速度は、８０［ｋｍ／ｈ］や１００［ｋｍ／ｈ］程度に設定され、下限速度は、５０［ｋｍ／ｈ］程度に設定される。

また、第３の度合の運転支援（自動運転制御）では、自車両Ｍの上限速度が第２の度合の運転支援のときよりも小さい速度に設定される。例えば、上限速度は、６０［ｋｍ／ｈ］程度に設定される。また、下限速度は、第２の度合の運転支援のときと同じ速度（５０［ｋｍ／ｈ］程度）やそれよりも小さい速度（例えば３０［ｋｍ／ｈ］程度）に設定される。

また、第３の度合の運転支援（自動運転制御）では、第２の度合の運転支援と同様の設定車速が設定される。第３の度合の運転支援は、例えば、第２の度合の運転支援下において、前走車両の速度が所定速度以下である場合に開始される。前走車両とは、自車両Ｍが走行する走行車線（自車線）において、自車両Ｍの前方の所定距離（例えば５０［ｍ］程度）以内に存在する車両である。また、所定速度とは、例えば、６０［ｋｍ／ｈ］である。

また、切替制御部１１０は、ナビゲーション装置５０により特定された自車両Ｍの位置が、自車位置認識部３２２によって自車両の走行車線が認識されるエリアに存在する場合に、運転支援の度合を第３の度合に切り替えてもよい。言い換えれば、切替制御部１１０は、地図情報において車線数や各車線の幅員などの情報を含む区間を自車両Ｍが走行する場合に、運転支援の度合を第３の度合に切り替えてよい。

ＨＭＩ制御部１２０は、運転支援の度合の切り替えに関連する通知等を、ＨＭＩ４００に出力させる。また、ＨＭＩ制御部１２０は、操作子状態判定部１３０または乗員状態監視部１４０の一方または双方による判定結果に関する情報を、ＨＭＩ４００に出力させてもよい。また、ＨＭＩ制御部１２０は、ＨＭＩ４００により受け付けられた情報を運転支援制御部２００または自動運転制御ユニット３００の一方または双方に出力してもよい。ＨＭＩ制御部１２０の機能の詳細については後述する。ＨＭＩ４００は、「情報出力部」の一例であり、ＨＭＩ制御部１２０は、「出力制御部」の一例である。また、ＨＭＩ４００は、「受付部」の他の例でもある。

操作子状態判定部１３０は、例えば、運転操作子８０に含まれるステアリングホイールが操作されている状態（具体的には、現に意図的な操作を行っている場合、直ちに操作可能な状態、または把持状態を指すものとする）であるか否かを判定する。以下、ステアリングホイールが乗員によって操作されている状態を「ハンズオン」と称し、そうでない状態を「ハンズオフ」と称して説明する。ステアリングホイールを操作すること（ハンズオン）は、「第２操作」の他の例である。

また、操作子状態判定部１３０は、運転操作子８０に含まれるブレーキペダルやアクセルペダルが操作されている状態（ペダルが踏み込まれている状態）であるか否かを判定する。操作子状態判定部１３０の機能の詳細については後述する。

乗員状態監視部１４０は、例えば、画像処理部１４０Ａと、監視判定部１４０Ｂとを備える。画像処理部１４０Ａは、乗員状態監視部１４０の代わりに車室内カメラ９０が備えていてもよい。画像処理部１４０Ａは、例えば、車室内カメラ９０の撮像画像を解析して、運転席の乗員の視線の向きや顔の向きを検出する。監視判定部１４０Ｂは、画像処理部１４０Ａにより検出された視線または顔の向きに基づいて、運転席の乗員が自車両Ｍの周囲を監視しているか否かを判定する。以下、乗員が自車両Ｍの周囲を監視している状態を「アイズオン」と称し、そうでない状態を「アイズオフ」と称して説明する。乗員状態監視部１４０の機能の詳細については後述する。

［運転支援制御部］
運転支援制御部２００は、例えば、自車両Ｍの運転支援の度合が第１の度合である場合に、ＡＣＣやＬＫＡＳその他の運転支援制御を実行する。例えば、運転支援制御部２００は、ＡＣＣを実行する際には、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置５００およびブレーキ装置５１０を制御する。前走車両とは、自車両Ｍが走行する走行車線（自車線）において、自車両Ｍの直前に存在する車両である。言い換えれば、運転支援制御部２００は、前走車両との車間距離に基づく加減速制御（速度制御）を行う。また、運転支援制御部２００は、ＬＫＡＳを実行する際には、自車両Ｍが、現在走行中の走行車線を維持（レーンキープ）しながら走行するようにステアリング装置５２０を制御する。すなわち、運転支援制御部２００は、車線維持のための操舵制御を行う。第１の度合の運転支援の種類に関しては、運転操作子８０への操作を要求しない自動運転（第２の度合および第３の度合の運転支援）以外の種々の制御を含んでよい。

［自動運転制御ユニット］
自動運転制御ユニット３００は、自車両Ｍの運転支援の度合が第２の度合または第３の度合である場合に、自動運転制御を実行する。自動運転制御ユニット３００は、例えば、第１制御部３２０と、第２制御部３４０とを備える。第１制御部３２０と、第２制御部３４０とは、それぞれ、ＣＰＵ等のプロセッサがプログラムを実行することで実現される。また、これらの各機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。自動運転制御ユニット３００は、「自動運転制御部」の一例である。

第１制御部３２０は、例えば、外界認識部３２１と、自車位置認識部３２２と、行動計画生成部３２３とを備える。

外界認識部３２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

外界認識部３２１は、上述した周辺車両、障害物（例えば、ガードレールや電柱、駐車車両、歩行者等の人物）、道路形状、その他の物体のうち、少なくとも一つの位置を認識してもよい。

自車位置認識部３２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部３２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

そして、自車位置認識部３２２は、例えば、走行車線に対する自車両Ｍの位置や姿勢を認識する。図２は、自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部３２２は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部３２２は、走行車線Ｌ１の何れかの側端部に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部３２２により認識される自車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部３２３に提供される。

行動計画生成部３２３は、自車両Ｍが目的地等に対して自動運転を実行するための行動計画を生成する。例えば、行動計画生成部３２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速度（例えば６０［ｋｍ／ｈ］以下）を条件に、前走車両に追従する低速追従イベント、自車両Ｍの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Ｍを目的の方向に走行させる分岐イベント、自車両Ｍを緊急停車させる緊急停車イベント等がある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄等）に基づいて、回避のための行動が計画される場合もある。

行動計画生成部３２３は、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度（目標加速度を含む）が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

例えば、行動計画生成部３２３は、運転支援の度合に対応した設定車速の範囲内で、自車両Ｍの目標速度を決定する。例えば、運転支援の度合が第１の度合である場合、行動計画生成部３２３は、５０〜１００［ｋｍ／ｈ］の範囲内で目標速度を決定する。また、運転支援の度合が第２の度合である場合、行動計画生成部３２３は、５０〜８０［ｋｍ／ｈ］または５０〜１００［ｋｍ／ｈ］の範囲内で目標速度を決定する。また、運転支援の度合が第３の度合であり、且つ前走車両が存在しない場合、行動計画生成部３２３は、運転支援の度合が第２の度合であるときと同様に、５０〜８０［ｋｍ／ｈ］または５０〜１００［ｋｍ／ｈ］の範囲内で目標速度を決定し、前走車両が存在する場合、少なくとも前走車両の速度以下に目標速度を決定する。

図３は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部３２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように障害物を回避するための目標軌道が生成される。

また、行動計画生成部３２３は、車線変更イベントを起動すると、車線変更のための目標軌道を生成する。図４および図５は、車線変更の際の処理について説明するための図である。まず、行動計画生成部３２３は、自車両Ｍが走行する自車線Ｌ１に対して隣接する隣接車線であって、車線変更先の隣接車線Ｌ２を走行する周辺車両から２台の周辺車両を選択し、これらの周辺車両の間に車線変更ターゲット位置ＴＡｓを設定する。以下、隣接車線において車線変更ターゲット位置ＴＡｓの直前を走行する周辺車両を前方基準車両ｍＢと称し、隣接車線において車線変更ターゲット位置ＴＡｓの直後を走行する周辺車両を後方基準車両ｍＣと称して説明する。車線変更ターゲット位置ＴＡｓは、自車両Ｍと前方基準車両ｍＢおよび後方基準車両ｍＣとの位置関係に基づく相対的な位置である。

図４の例では、行動計画生成部３２３が車線変更ターゲット位置ＴＡｓを設定した様子を示している。図中、ｍＡは前走車両を表し、ｍＢは前方基準車両を表し、ｍＣは後方基準車両を表している。また、矢印ｄは自車両Ｍの進行（走行）方向を表している。図４の例の場合、行動計画生成部３２３は、隣接車線Ｌ２上において、前方基準車両ｍＢと後方基準車両ｍＣとの間に車線変更ターゲット位置ＴＡｓを設定する。

次に、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓに（すなわち前方基準車両ｍＢと後方基準車両ｍＣとの間に）車線変更が可能か否かを判定するための一次条件を満たすか否かを判定する。

一次条件は、例えば、隣接車線に設けた禁止領域ＲＡに周辺車両が一部でも存在せず、且つ、自車両Ｍと、前方基準車両ｍＢおよび後方基準車両ｍＣとのＴＴＣがそれぞれ閾値よりも大きいことである。なお、この判定条件は、自車両Ｍの側方に車線変更ターゲット位置ＴＡｓを設定した場合の一例である。一次条件を満たさない場合、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓを再設定する。この際に、一次条件を満たすような車線変更ターゲット位置ＴＡｓが設定できるタイミングまで待機したり、或いは車線変更ターゲット位置ＴＡｓを変更し、車線変更ターゲット位置ＴＡｓの側方に移動するための速度制御が行われてもよい。

図４に示すように、行動計画生成部３２３は、例えば、自車両Ｍを車線変更先の車線Ｌ２に射影し、前後に若干の余裕距離を持たせた禁止領域ＲＡを設定する。禁止領域ＲＡは、車線Ｌ２の横方向の一端から他端まで延在する領域として設定される。

禁止領域ＲＡ内に周辺車両が存在しない場合、行動計画生成部３２３は、例えば、自車両Ｍの前端および後端を車線変更先の車線Ｌ２側に仮想的に延出させた延出線ＦＭおよび延出線ＲＭを想定する。行動計画生成部３２３は、延出線ＦＭと前方基準車両ｍＢの衝突余裕時間ＴＴＣ（Ｂ）、および延出線ＲＭと後方基準車両ｍＣの衝突余裕時間ＴＴＣ（Ｃ）を算出する。衝突余裕時間ＴＴＣ（Ｂ）は、延出線ＦＭと前方基準車両ｍＢとの距離を、自車両Ｍおよび前方基準車両ｍＢの相対速度で除算することで導出される時間である。衝突余裕時間ＴＴＣ（Ｃ）は、延出線ＲＭと後方基準車両ｍＣとの距離を、自車両Ｍおよび後方基準車両ｍＣの相対速度で除算することで導出される時間である。行動計画生成部３２３は、衝突余裕時間ＴＴＣ（Ｂ）が閾値Ｔｈ（Ｂ）よりも大きく、且つ衝突余裕時間ＴＴＣ（Ｃ）が閾値Ｔｈ（Ｃ）よりも大きい場合に、一次条件を満たすと判定する。閾値Ｔｈ（Ｂ）とＴｈ（Ｃ）は同じ値であってもよいし、異なる値であってもよい。

一次条件を満たす場合、行動計画生成部３２３は、車線変更のための軌道の候補を生成する。図５の例では、行動計画生成部３２３は、前走車両ｍＡ、前方基準車両ｍＢおよび後方基準車両ｍＣが所定の速度モデルで走行するものと仮定し、これら３台の車両の速度モデルと自車両Ｍの速度とに基づいて、自車両Ｍが前走車両ｍＡと干渉せずに、将来のある時刻において前方基準車両ｍＢと後方基準車両ｍＣとの間に位置するように軌道の候補を生成する。例えば、行動計画生成部３２３は、現在の自車両Ｍの位置から、将来のある時刻における前方基準車両ｍＢの位置や、車線変更先の車線の中央、且つ車線変更の終了地点までをスプライン曲線等の多項式曲線を用いて滑らかに繋ぎ、この曲線上に等間隔あるいは不等間隔で軌道点Ｋを所定個数配置する。この際、行動計画生成部３２３は、軌道点Ｋの少なくとも１つが車線変更ターゲット位置ＴＡｓ内に配置されるように軌道を生成する。

各種場面において、行動計画生成部３２３は、複数の目標軌道の候補を生成し、その時点で目的地までの経路に適合する最適な目標軌道を選択する。

第２制御部３４０は、例えば、走行制御部３４２を備える。走行制御部３４２は、行動計画生成部３２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０を制御する。

走行制御部３４２は、例えば、目標軌道に含まれる目標速度に応じて、走行駆動力出力装置５００およびブレーキ装置５１０の制御量を決定し、この制御量で走行駆動力出力装置５００およびブレーキ装置５１０を制御することで、自車両Ｍの速度制御を行う。

また、走行制御部３４２は、例えば、目標軌道に含まれる、ある任意の軌道点ｋ_ｉとその前に到達すべき軌道点ｋ_ｉ−１とを結ぶ線と、軌道点ｋ_ｉの次に到達すべき軌道点ｋ_ｉ＋１とを結ぶ線とのなす角度に基づいて、軌道点ｋ_ｉにおける自車両Ｍの目標舵角を決定し、この目標舵角分の変位を車輪に与えるようにステアリング装置５２０における電動モータの制御量を決定する。そして、走行制御部３４２は、決定した制御量でステアリング装置５２０を制御することで自車両Ｍの操舵制御を行う。

ＨＭＩ４００は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。ＨＭＩ４００は、例えば、各種表示装置、発光部、スピーカ、ブザー、タッチパネル、各種操作スイッチ、キー等のうち一部または全部を含む。また、ＨＭＩ４００は、シートに着座した乗員をシートベルトによって保持するシートベルト装置の一部が含まれてよい。ＨＭＩ４００の機能の詳細については後述する。

走行駆動力出力装置５００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置５００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーＥＣＵ（Electronic Control Unit）とを備える。パワーＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置５１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置５１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置５１０は、上記説明した構成に限らず、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置５１０は、油圧や電動などの複数系統のブレーキ装置を備えていてもよい。

ステアリング装置５２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

なお、手動運転時には、運転操作子８０からの入力情報が、直接的に走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力される。また、運転操作子８０からの入力情報は、自動運転制御ユニット３００を介して走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力されてもよい。走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０の各ＥＣＵは、運転操作子８０等からの入力情報に基づいて、それぞれの動作を行う。

［ＨＭＩ４００の構成］
以下、実施形態のＨＭＩ４００の構成例について説明する。図６は、自車両ＭにおけるＨＭＩ４００の一例を示す図である。ＨＭＩ４００は、例えば、第１の操作部４１０と、第２の操作部４２０と、発光部４３０Ｒ、４３０Ｌと、第３の操作部４４０と、第１の表示部４５０と、ＨＵＤ（Head Up Display）４６０と、第３の表示部４７０とを備える。

第１の操作部４１０、第２の操作部４２０、および発光部４３０Ｒ、４３０Ｌは、運転操作子８０の一つであるステアリングホイール８２に設けられている。また、ステアリングホイール８２には、把持センサ８２Ａが設けられている。把持センサ８２Ａは、例えば、ステアリングホイール８２の周方向に沿うように設けられた静電容量センサである。把持センサ８２Ａは、検出対象の領域に物体が近接または接触したことを、静電容量の変化として検出する。把持センサ８２Ａは、検出した静電容量が閾値以上である場合、所定の検出信号をマスター制御部１００の操作子状態判定部１３０に出力する。この閾値は、例えば、乗員がステアリングホイール８２を把持している場合に生じる静電容量よりも低い値に設定されている。また、把持センサ８２Ａは、閾値以上であるか否かに関わらずに、静電容量を示す検出信号を操作子状態判定部１３０に出力してもよい。

また、ステアリングホイール８２には、把持センサ８２Ａに代えて、或いは加えて、操舵トルクセンサ８２Ｂが設けられてもよい。操舵トルクセンサ８２Ｂは、例えば、ステアリングホイール８２のシャフトに与えられた操舵トルクを検出し、検出した操舵トルクが閾値以上である場合、所定の検出信号を操作子状態判定部１３０に出力する。この閾値は、例えば、乗員がステアリングホイール８２を操作している場合にシャフトに与えられる操舵トルクよりも低い値に設定されている。また、操舵トルクセンサ８２Ｂは、閾値以上であるか否かに関わらずに、操舵トルクを示す検出信号を操作子状態判定部１３０に出力してもよい。

第１の操作部４１０は、例えば、メインスイッチ３１２と、オートスイッチ３１４とを備える。メインスイッチ３１２は、運転支援を開始可能な状態（待機状態）にするためのスイッチである。換言すれば、メインスイッチ３１２は、後述する、運転支援を実行する前の準備段階における処理（内部処理）を開始するためのスイッチ、或いは運転支援を開始可能な状態か否かを判定することを可能にするためのスイッチである。メインスイッチ３１２をオフ状態にする操作と、オートスイッチ３１４をオフ状態またはオン状態にする操作は、「第１操作」の一例である。また、オートスイッチ３１４をオフ状態またはオン状態にする操作は、「第２操作」の一例でもある。

メインスイッチ３１２が操作された場合、運転支援がすぐさま開始されるのではなく、手動運転下において運転支援を実行するための事前処理が行われる。事前処理とは、例えば、物体認識装置１６に物体認識の処理（具体的にはカルマンフィルタを用いた物標の逐次認識処理等）を予め所定時間継続させる処理である。メインスイッチ３１２が操作されて待機状態となった後に（すなわち操作されてから、ある程度の時間が経過した後）、更にオートスイッチ３１４が操作されると、最も度合の小さい第１の度合の運転支援が開始される。すなわち、オートスイッチ３１４は、手動運転から運転支援制御へと切り替えるためのスイッチである。

第２の操作部４２０は、画像付き通話機能（以下、テレビ電話とも称する）の提供を開始させるための操作スイッチ４２２を備える。発光部４３０Ｒ、４３０Ｌは、例えば、ステアリングホイール８２の中央のボス部から環状のリム部に向かって延びるスポーク部に配置される。発光部３３０Ｒは、ＨＭＩ制御部１２０の制御により点灯状態が制御される。

第３の操作部４４０は、例えば、乗員から見て手前側に突出する回動操作部４４２と、スイッチ操作部４４４とを備える。回動操作部４４２は、略円筒状に形成され、軸線回りに回転操作可能である。スイッチ操作部４４４は、回動操作部４４２の周辺や、回動操作部４４２の天面に設けられる。第３の操作部４４０は、回動操作部４４２の回転角度と回転速度を検出するエンコーダ等の図示しない回転センサと、スイッチ操作部４４４の変位を検出する図示しない変位センサとを備え、それぞれのセンサから出力される検出値をマスター制御部１００に出力する。マスター制御部１００に出力される検出値は、第３の表示部４７０の画面に出力される矢印や選択ボタン、確定ボタン等の操作や、入力文字の選択や確定等に用いられる。

また、第３の操作部４４０は、表示画面を指先でタッチすることによって選択や確定操作等を行う、いわゆるタッチパネル式の操作部でもよい。第３の操作部４４０の近傍には、所定の色で発光可能な発光部４４６が設けられている。

第１の表示部４５０は、例えば、インストルメントパネルにおける運転席の正面付近に設けられ、乗員がステアリングホイール８２の間隙から、或いはステアリングホイール８２越しに視認可能な表示装置である。第１の表示部４５０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。第１の表示部４５０には、自車両Ｍの手動運転時または自動運転時の走行に必要な情報、あるいは乗員への指示に関する情報が表示される。手動運転時の自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。一方、自動運転時における自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの将来の軌道、運転支援の度合、乗員に対する指示等の情報である。

ＨＵＤ４６０は、例えば、第１の表示部４５０よりも高い位置に配置される。ＨＵＤ４６０は、所定の結像部に映像を投影する。例えば、ＨＵＤ４６０は、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。ＨＵＤ４６０により投影される画像の表示領域は、第１の表示部４５０における画像の表示領域に比して小さい。これは、ＨＵＤ４６０により投影された画像によって、その先にある現実の物体を乗員が見逃すことを抑制するためである。なお、実施形態では、ＨＵＤ４６０の代わりに、自車両Ｍのフロントウインドシールドを第２の表示部４２０としてもよい。この場合、例えば、インストルメントパネルに組み込まれたＬＥＤ（Light Emitting Diode）を発光させ、フロントウインドシールドでＬＥＤの発光を反射させてもよい。

第３の表示部４７０は、インストルメントパネルの中央部に設けられる。第３の表示部４７０は、例えば、ＬＣＤや有機ＥＬ表示装置等である。第３の表示部４７０は、例えば、ナビゲーション装置５０により実行されるナビゲーション処理に対応する画像またはテレビ電話における通話相手を映した映像等を表示する。また、第２の表示部３６０は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。

また、第３の表示部４７０には、発光部４６２が設けられてもよい。図７は、第３の表示部４７０と発光部４６２の位置関係の一つの側面（aspect）を例示した図である。例えば、発光部４７２は、第３の表示部４７０の一部または近傍に設けられる。「近傍」とは、発光部４７２と、第３の表示部４７０との最短距離が例えば数［ｃｍ］（より具体的には３［ｃｍ］程度）以下の近い範囲である。図７の例では、例えば、第３の表示部の画面形状を形成する少なくとも一つの辺に沿って延在する発光部４６２が取り付けられている。

図８は、第３の表示部４７０と発光部４６２の位置関係の他の側面を例示した図である。図８の例では、第３の表示部４７０は、その前方の上部にあるインストルメントパネル部のバイザー部３７４の下部に設けられる。また、発光部４６２の発光は、３７４に遮られずに、乗員により視認可能である。この形態を採用することで、バイザー部３７４が、発光部４６２に差し込む日光等の外光を遮蔽するため、乗員による発光の視認性を向上させることができる。

発光部４６２は、第３の表示部４７０が使用可能である場合に発光するようにＨＭＩ制御部１２０によって制御される。使用可能とは、例えば、第２の操作部４２０が操作されることで画像付通話機能に関する画面が第３の表示部４７０に表示されたり、第３の操作部４４０の操作によって、映画やテレビ番組に関する画像が第３の表示部４７０に表示されたりすることができることである。

図９は、第３の表示部４７０の画面の一部の領域を用いて、第３の表示部４７０が使用可能であること通知することについて説明するための図である。ＨＭＩ制御部１２０は、第３の表示部４７０の全画面領域に対して、第１の表示領域４６６と、第２の表示領域４６８とを割り当てる。第１の表示領域４６６は、第３の表示部４７０の画面全体のうち、何れかの辺に沿って延在する領域の画素領域である。ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能となった場合に、第１の表示領域４６６を所定の色または模様で点灯または点滅させる。これにより、発光部４７２を設けずに第３の表示部４７０が使用可能な状態であることを乗員に通知することができる。

また、ＨＭＩ制御部１２０は、第２の表示領域４６８に、第２の操作部４２０または第３の操作部４４０で操作された内容、或いは操作により実行される内容を表示する。

［自動運転に関連するＨＭＩ４００の表示制御］
次に、自動運転に関連するＨＭＩ４００の表示制御について説明する。なお、以下に示す表示画面におけるレイアウトについては、あくまで一例であり、任意に変更可能である。レイアウトとは、配置、色彩、縮尺、その他をいう。

図１０は、手動運転から運転支援に切り替えられた後、運転支援による車線変更が実行されるまでの各種場面を示す図である。図１０の例において、場面（１）は、自車両Ｍが手動運転により一般道路から高速道路に進入する場面である。場面（２）は、手動運転から第１の度合の運転支援に切り替わる場面である。場面（３）は、自車両Ｍが自動運転制御により車線変更を実行する場面である。以下場面（１）〜（３）のそれぞれの場面に対応する表示制御について説明する。

＜場面（１）＞
場面（１）は、例えば、高速道路に進入する前の場面である。この場面では、第１の操作部４１０のメインスイッチ３１２およびオートスイッチ３１４が操作されていないため、運転支援が実行されず、手動運転が行われる。手動運転が行われる場合、ＨＭＩ制御部１２０は、運転席の乗員が運転操作子８０を用いて、自車両Ｍを手動運転するために必要な情報を第１の表示部４５０に画像として表示させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０に表示されている情報のうち一部の情報をＨＵＤ４６０に画像として表示させる。この場合の画面を図１１に示す。

図１１は、手動運転時に表示される第１画面ＩＭ１−１および第２画面ＩＭ２−１の一例を示す図である。第１画面ＩＭ１−１は、第１の表示部４５０により表示される画面であり、第２画面ＩＭ２−１は、ＨＵＤ４６０により投影されることで乗員の眼に映る画面である。ＨＭＩ制御部１２０は、第１画面ＩＭ１−１に、手動運転時の自車両Ｍの走行に必要な情報として、例えば、自車両Ｍのバッテリ残量、回転速度、シフトポジション、室内気温、走行距離、走行速度、燃料残量等の情報を表示させる。また、ＨＭＩ制御部１２０は、第２画面ＩＭ２−１に、第１画面ＩＭ１−１に表示された画像のうち、速度の情報を、第１画面ＩＭ１−１よりも小さく表示させる。前述したように、ＨＵＤ４６０により投影されることで乗員の眼に映る画像の認識領域は、第１の表示部４５０による画像の表示領域に比して小さい。このため、ＨＭＩ制御部１２０は、第１の表示部４５０に、自車両Ｍの運転支援に関する比較的詳細な詳細情報（第１の情報）を表示させ、ＨＵＤ４６０には、運転支援に関する簡易情報（第２の情報）を表示させる。簡易情報とは、例えば、詳細情報に対して情報量が少ない情報である。また、簡易情報とは、表示する項目の種類や数が、詳細情報として表示する項目の種類や数に比して少ない情報であってもよい。また、簡易情報とは、詳細情報として表示する画像に対し、解像度を低下させたり、単純化あるいはデフォルメさせた画像であってもよい。また、簡易情報は、詳細情報のうち、重要度の高い情報や緊急性の高い情報であってもよい。手動運転時に表示される第１画面ＩＭ１−１および第２画面ＩＭ２−１は、請求の範囲における「第２画面」の一例である。

例えば、ＨＭＩ制御部１２０は、詳細情報の一部を抜粋した情報を簡易情報としてＨＵＤ４６０に表示させる。例えば、図１１において、ＨＭＩ制御部１２０は、第１画面ＩＭ１−１に表示された詳細の情報のうち、自車両Ｍの速度を示す情報を抜粋し、抜粋した情報を第２画面ＩＭ２−１に表示させる。このように、第１の表示部４５０に詳細情報を表示させ、ＨＵＤ４６０に簡易情報を表示させることで、運転支援に関する情報を適切に提供すると共に、乗員の眼を疲れさせないようにすることができる。

＜場面（２）＞
場面（２）では、自車両Ｍが高速道路に進入している。ＨＭＩ制御部１２０は、乗員によりメインスイッチ３１２が操作されたことを受け付けると、第１の表示部４５０およびＨＵＤ４６０に表示される画面を変更する。変更後の画面を、図１２に示す。

図１２は、メインスイッチ３１２が操作されたことで表示される第３画面ＩＭ３−１および第４画面ＩＭ４−１の一例を示す図である。第３画面ＩＭ３−１は、第１の表示部４５０により表示される画面であり、第４画面ＩＭ４−１は、ＨＵＤ４６０により投影される画面である。以下の図面に示す第３画面ＩＭ３−Ｘ（Ｘは任意の自然数）および第４画面ＩＭ４−Ｘについても同様とする。第３画面ＩＭ３−Ｘおよび第４画面ＩＭ４−Ｘは、運転支援が実行可能な状態および運転支援が実行中の状態において継続的に表示される。第３画面ＩＭ３−Ｘおよび第４画面ＩＭ４−Ｘは、請求の範囲における「第１画面」の一例である。

第３画面ＩＭ３−１には、運転支援を開始可能な状態（待機状態）であることを表示する領域として、周辺検知情報表示領域６００−１、運転支援状態表示領域６２０−１、および運転支援開始操作ガイド領域６４０−１が含まれている。以下、第３画面ＩＭ３−Ｘにおけるそれぞれの領域を周辺検知情報表示領域６００−Ｘ、運転支援状態表示領域６２０−Ｘ、および運転支援開始操作ガイド領域６４０−Ｘと称する。

ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−１に、例えば、第２地図情報６２から取得した自車両Ｍが走行している道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により認識された周辺車両ｍを示す画像とを表示させる。なお、ＨＭＩ制御部１２０は、外界認識部３２１により認識された全ての周辺車両ｍを示す画像を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、外界認識部３２１により認識された全ての周辺車両ｍのうち、自車両Ｍの将来の軌道に影響を与える周辺車両ｍのみを第１の表示部４５０に表示させてもよい。これにより、乗員が監視する対象の車両を減らすことができ、監視負担を軽減することができる。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−１に、自車両Ｍが実行可能な運転支援（自動運転を含む）の度合を示す情報を表示させる。図１２の例では、運転支援の度合を示す情報として、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ Ｏｆｆ（ハンズオフ）」、「Ｅｙｅｓ Ｏｆｆ（アイズオフ）」の３つのインジケータを示す画像６２１が示されている。それぞれのインジケータ単体で、または複数のインジケータの組み合わせによって、運転支援の度合が表される。

インジケータ「Ａｓｓｉｓｔ」は、第１の度合の運転支援が実行されている状態（オン状態）、或いは、第１の度合の運転支援に遷移可能な状態（オフ状態）であることを示すインジケータである。

インジケータ「Ｈａｎｄｓ Ｏｆｆ」とは、第２の度合の運転支援が実行されている状態（オン状態）、或いは、第２の度合の運転支援に遷移可能な状態（オフ状態）であることを示すインジケータである。

インジケータ「Ｅｙｅｓ Ｏｆｆ」は、第３の度合の運転支援が実行されている状態（オン状態）、或いは、第３の度合の運転支援に遷移可能な状態（オフ状態）であることを示すインジケータである。

これらのインジケータは、運転支援が実行されている状態と運転支援に遷移可能な状態とのそれぞれに対応するインジケータが用意されてもよい。各度合の運転支援が実行されているのか、或いは、各度合の運転支援に遷移可能な状態であるかについては、後述する要求動作通知画像６２２によって把握することができる。各インジケータは、例えば、対応する度合の運転支援が実行されている場合、ハイライト表示され、対応する度合の運転支援に遷移可能な場合、グレーアウト表示される。図１２の例では、全てのインジケータがグレーアウト表示されていることから、いずれの度合の運転支援が実行されていない、すなわち手動運転であることを示している。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−１に、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ Ｏｆｆ」、「Ｅｙｅｓ Ｏｆｆ」の３つのインジケータを示す画像６２１に対応する表示位置で、要求動作通知画像６２２を表示させる。「対応する」とは、横並び、縦並び、対応付けを示すガイドラインがある等、人によって対応関係が認識可能な様をいう。一例として「インジケータの画像６２１に対応する表示位置」とは、画像６２１に隣接する表示位置であり、画像６２１の表示位置を基準として上下左右の少なくとも一方に数［ｃｍ］以下（例えば、３［ｃｍ］以下）の表示位置を示す。要求動作通知画像６２２は、例えば、乗員が運転操作子８０に対して行う所定の動作を示す画像である。要求動作通知画像６２２は、例えば、運転操作子８０を示す画像と、乗員の所定の部位を示す画像とを含む。要求動作通知画像６２２は、例えば、ステアリングホイール８２と乗員の手との位置関係を模式的に示す画像である。

ＨＭＩ制御部１２０は、運転支援開始操作ガイド領域６４０−１に、運転支援を開始させるための乗員の操作について案内する情報を表示させる。図１２の例では、運転支援開始操作ガイド領域６４０−１において、乗員がオートスイッチ４１４を操作することで運転支援が開始されることが案内される。

ＨＭＩ制御部１２０は、乗員がオートスイッチ４１４を操作することで運転支援が開始されることを運転支援開始操作ガイド領域６４０−１に表示することに加えて、或いは代えて、乗員がオートスイッチ４１４を操作することで運転支援が開始される旨を示す音声をＨＭＩ４００に含まれるスピーカから出力させてもよい。

周辺検知情報表示領域６００−１、運転支援状態表示領域６２０−１、および運転支援開始操作ガイド領域６４０−１のそれぞれに表示される情報の少なくとも一部は、他の表示領域に表示されてもよい。また、第３画面ＩＭ３−１には、自車両Ｍの走行距離、車内温度、燃料、速度、シフトポジションに関する情報が示されていてもよい。

ＨＭＩ制御部１２０は、第３画面ＩＭ３−１に表示された詳細情報に対して、ＨＵＤ４６０の第４画面ＩＭ４−１に、詳細情報の一部を抜粋した簡易情報を表示させる。ＨＵＤ４６０の第４画面ＩＭ４−１には、第１の表示部４５０の第３画面ＩＭ３−１に表示される運転支援に関する情報のうち、自車両Ｍの前方の道路形状に関する情報および自車両Ｍの速度を示す情報が表示される。

図１２に示す状態において、乗員によりオートスイッチ３１４が操作されたことを検知すると、マスター制御部１００は、運転支援制御部２００に第１の度合の運転支援を実行させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に表示する画面を、例えば図１３に示す画面に変更する。

図１３は、オートスイッチ３１４が操作されたときに表示される第３画面ＩＭ３−２および第４画面ＩＭ４−２の一例を示す図である。ＨＭＩ制御部１２０は、実行されている運転支援の度合を示す画像を、他の運転支援の度合を示す画像と識別可能に表示させる（例えばハイライト表示とグレーアウト表示）。例えば、ＨＭＩ制御部１２０は、第３画面ＩＭ３−２の運転支援状態表示領域６２０−２に、第１の度合の運転支援に対応した「Ａｓｓｉｓｔ」のインジケータがハイライト表示させる。これにより、乗員は、第１の度合の運転支援が行われていることを把握することができる。

ここで、ＨＭＩ制御部１２０は、要求動作通知画像６２２として、「Ｈａｎｄｓ Ｏｆｆ」に対応する運転支援の度合（自動運転）に移行するために必要な動作を乗員に要求する動画像を要求動作通知画像６２２として表示させる。動画像とは、例えば、所定の物体が時間経過に伴って動的に移動する動的オブジェクトを含む画像である。また、動画像には、アニメーションが含まれてよい。

例えば、ＨＭＩ制御部１２０は、第１の度合の運転支援が実行中であって、且つ、第２の度合の運転支援が実行可能である場合に、第２の度合の運転支援に切り替えさせるための乗員の操作方法に関する情報として、乗員の手をステアリングホイール８２から離した状態にするための乗員の操作内容を模式的に示した要求動作通知画像６２２を、第３画面ＩＭ３−２の運転支援状態表示領域６２０−２に表示させる。

例えば、ＨＭＩ制御部１２０は、第１の度合の運転支援が実行中であって、且つ、第２の度合の運転支援が実行可能である場合に、第２の度合の運転支援に切り替えさせるための乗員の操作方法に関する情報として、乗員の手をステアリングホイール８２から離した状態にするための乗員の操作内容を模式的に示した要求動作通知画像６２２を、第３画面ＩＭ３−２の運転支援状態表示領域６２０−２に表示させる。

また、ＨＭＩ制御部１２０は、アクセルペダルと乗員の足との位置関係を模式的に示す画像、或いは、ブレーキペダルと乗員の足との位置関係を模式的に示す画像を要求動作通知画像６２３として、第３画面ＩＭ３−２の運転支援状態表示領域６２０−２に表示させてもよい。

また、ＨＭＩ制御部１２０は、要求動作通知画像６２２に対応する動作を乗員が実行することで、運転支援が開始される旨を示す情報を、周辺検知情報表示領域６００−２に表示させてもよい。図１３の例では、周辺検知情報表示領域６００−２に、ステアリングホイール８２（図では「ハンドル」）から手を離すことで運転支援（図では「自動走行」）が開始される旨の情報が表示される。

また、ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作を乗員に要求する場合に、ステアリングホイール８２に設けられた発光部４３０Ｒ、４３０Ｌを点灯または点滅させてもよい。

また、ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作を乗員に要求する場合に、その旨を示す音声をＨＭＩ４００に含まれるスピーカから出力させてもよい。ＨＭＩ制御部１２０は、ステアリングホイール８２から手を離す動作に対応する要求動作通知画像６２２の表示、発光部４３０Ｒ、４３０Ｌの点灯または点滅、音声出力の複数を組み合わせて各種機器より出力させてもよい。

ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４−２に、第４画面ＩＭ４−１と同様の情報を表示させる。

ここで、操作子状態判定部１３０は、把持センサ８２Ａから入力される検出信号の有無に基づいて、乗員がハンズオン状態であるのかまたはハンズオフ状態であるのか否かを判定する。例えば、操作子状態判定部１３０は、把持センサ８２Ａから検出信号が入力されると、乗員がハンズオン状態であると判定し、検出信号が入力されないと、乗員がハンズオフ状態であると判定する。また、操作子状態判定部１３０は、例えば、把持センサ８２Ａから入力される検出信号の信号強度などに基づいて、静電容量が閾値以上変化したか否かを判定し、静電容量が閾値以上変化した場合に、乗員がハンズオン状態であると判定してもよい。

また、操作子状態判定部１３０は、操舵トルクセンサ８２Ｂから検出信号が入力された場合、乗員がハンズオン状態であると判定し、検出信号が入力されない場合、ハンズオフ状態であると判定してもよい。また、操作子状態判定部１３０は、操舵トルクセンサ８２Ｂから入力された検出信号の信号強度などに基づいて、操舵トルクが閾値以上であるか否かを判定し、操舵トルクが閾値以上である場合に、乗員がハンズオン状態であると判定してもよい。

また、操作子状態判定部１３０は、静電容量や操舵トルクに代えて、或いは加えて、ステアリングホイール８２が把持されたときの乗員の握力（ホイールに加えられた圧力）や、ステアリング装置５２０における電動モータの制御量（操舵量）に基づいて、乗員がハンズオン状態であるのかまたはハンズオフ状態であるのか否かを判定してもよい。

また、操作子状態判定部１３０は、ブレーキペダルやアクセルベダルに設けられた操作検出センサから入力される検出信号に基づいて、各ペダルが操作されているか否かを判定する。

マスター制御部１００の切替制御部１１０は、オートスイッチ４１４が操作されたことを受けて、運転支援の度合を第１の度合に切り替えた後、操作子状態判定部１３０により乗員がハンズオフ状態であると判定されるまで、運転支援の度合として第１の度合を維持する。一方、切替制御部１１０は、第２の度合の運転支援に移行するための諸条件を満たし、且つ、操作子状態判定部１３０により乗員がハンズオフ状態であると判定された場合、運転支援の度合を第１の度合から第２の度合に切り替える。このような制御によって、乗員がハンズオフ状態になるまでは運転支援制御部２００が運転支援制御を行い、乗員がハンズオフ状態になると運転支援制御部２００から自動運転制御ユニット３００に制御権が移行し、自動運転制御ユニット３００が自動運転制御を開始する。

運転支援の度合が第２の度合であるときに自動運転制御ユニット３００が自動運転制御を実行する場合、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に表示する画面を、例えば図１４に示す画面に変更する。

図１４は、第２の度合の運転支援において、第１の表示部４５０およびＨＵＤ４６０に表示される画面の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３−３の運転支援状態表示領域６２０−３に、第２の度合の運転支援に対応した「Ｈａｎｄｓ Ｏｆｆ」のインジケータをハイライト表示させる。これにより、乗員は、第２の度合の運転支援が行われていることを把握することができる。

また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−３に、例えば、第２地図情報６２から取得した自車両Ｍの前方の道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により取得した周辺車両ｍを示す画像と、行動計画生成部３２３により生成された自車両Ｍの将来の軌道を示す将来軌道画像６０２とを表示させる。また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−３に、第２の度合における運転支援（図では「自動走行」）を開始するが、乗員に周辺の交通状況を継続して監視させる旨の情報を表示させる。

マスター制御部１００の乗員状態監視部１４０は、運転支援の度合が第２の度合である場合、乗員が周辺監視義務を果たしているかどうかを確認するために、車室内カメラ９０の撮像画像に基づいて、乗員がアイズオン状態であるのかアイズオフ状態であるのかを判定する。例えば、乗員状態監視部１４０の画像処理部１４０Ａは、車室内カメラ９０の撮像画像から乗員の顔が含まれる画像領域を抽出し、抽出した画像領域において乗員の瞳孔や虹彩、目頭等の位置を基に乗員の視線の向き、或いは顔の向きを検出する。このとき、画像処理部１４０Ａは、人の顔画像から視線や顔の向きを検出するように予め学習されたニューラルネットワークなどを利用して、自車両Ｍの乗員の視線の向きや顔の向きを検出してよい。

例えば、乗員状態監視部１４０の監視判定部１４０Ｂは、運転支援の度合が第２の度合である場合、画像処理部１４０Ａにより検出された顔または視線の向きが、ある向きを基準とした第１角度範囲Δθ１内であるか否かを判定し、乗員の顔や視線の向きが第１角度範囲Δθ１内であれば、乗員がアイズオン状態であると判定し、そうでなければ乗員がアイズオフ状態であると判定する。第１角度範囲Δθ１の基準となる「ある向き」とは、例えば、運転席のシートに乗員が着座したとき、その乗員が正面（フロントウィンドウシールド側）を向いたときの顔または視線の向きである。例えば、第１角度範囲Δθ１は、その向きを基準に、車幅方向（乗員から見て左右方向）に関して所定角度をとったときの角度範囲として定められる。

監視判定部１４０Ｂにより乗員がアイズオン状態であると判定された場合、すなわち、乗員が周辺監視義務を果たしている場合、切替制御部１１０は、運転支援の度合として第２の度合を維持する。このとき、図１４に示すように、第１の表示部４５０の第３画面ＩＭ３−１の運転支援開始操作ガイド領域６４０−３には何も表示されず、ＨＵＤ４６０の第４画面ＩＭ４−３には、図１３の第４画面ＩＭ４−２と同様の情報に加えて、新たに自車両Ｍの将来の軌道６０２に関する情報が表示される。

一方、監視判定部１４０Ｂにより乗員がアイズオフ状態であると判定された場合、すなわち、乗員が周辺監視義務を果たしていない場合、ＨＭＩ制御部１２０は、ＨＭＩ４００の第１の表示部４５０や第３の表示部４７０に画像を表示させたり、スピーカに音声を出力させたりすることで、乗員に周辺監視をするよう警告する。アイズオフ状態が所定時間以上継続した場合、切替制御部１１０は、運転支援の度合を第２の度合から第１の度合に切り替えることで、運転支援制御部２００に運転支援制御を行わせてよい。

また、切替制御部１１０は、監視判定部１４０Ｂにより乗員がアイズオフ状態であると判定されてからアイズオフ状態が所定時間以上継続した場合、自動運転制御ユニット３００に第２の度合に応じた自動運転制御を行わせるのではなく、代替制御を行わせてよい。代替制御とは、例えば、自車両Ｍを徐々に減速させながら路肩などの停止可能なエリアに停車させる自動運転制御である。これによって、例えば、乗員が意識を失っていて周辺監視を行えないような場合に、乗員の操作なしで自車両Ｍを停止させることができる。

また、監視判定部１４０Ｂは、運転支援の度合が第３の度合である場合、乗員に周辺監視義務が課されないものの、第３の度合の運転支援から周辺監視義務が課される運転支援に切り替わった場合、乗員が速やかに周辺監視を行う必要があるため、乗員がどの程度覚醒しているのかといった監視を継続する。例えば、運転支援の度合が第３の度合の場合、周辺環境の変化に応じて第２の度合の運転支援などのより度合の小さい運転支援へと移行する可能性があることから、システム側から周辺監視の要請があった場合に備えて、乗員は速やかに周辺監視へと移れる態勢でいることが求められる。従って、監視判定部１４０Ｂは、乗員に周辺監視義務が課されない間も、乗員の監視を継続して、乗員が速やかに周辺監視を行える状態か否かを判定する。

例えば、監視判定部１４０Ｂは、画像処理部１４０Ａにより検出された顔または視線の向きが、第１角度範囲Δθ１よりも広い第２角度範囲Δθ２内であるか否かを判定し、乗員の顔や視線の向きが第２角度範囲Δθ２内であれば、乗員が速やかに周辺監視を行える状態であると判定する。

図１５は、自車両Ｍを上から見た時の車室内の構造を模式的に示す図である。図中ＳＴ_Ｄは、運転席のシートを表し、矢印Ｖは、第１角度範囲Δθ１の基準となる向き（方向）を表している。例えば、第１角度範囲Δθ１は、自車両Ｍを上から見た時に、その角度範囲に第１の表示部４５０が含まれるように決定される。また、第２角度範囲Δθ２は、自車両Ｍを上から見た時に、その角度範囲に第１の表示部４５０と第３の表示部４７０の双方が少なくとも含まれるように決定される。なお、図示のように、第１角度範囲Δθ１および第２角度範囲Δθ２は、方向Ｖを基準に左右対称である必要はなく、いずれか一方に角度範囲が偏していてもよい。

監視判定部１４０Ｂにより乗員が速やかに周辺監視を行える状態であると判定された場合、切替制御部１１０は、運転支援の度合として第３の度合を維持する。一方、監視判定部１４０Ｂにより乗員が速やかに周辺監視を行えない状態であると判定された場合、ＨＭＩ制御部１２０は、ＨＭＩ４００の第１の表示部４５０や第３の表示部４７０に画像を表示させたり、スピーカに音声を出力させたりすることで、少なくとも第１の表示部４５０や第３の表示部４７０が視界に入るような態勢をとるよう乗員に警告する。周辺監視を行えない状態が所定時間以上継続した場合、切替制御部１１０は、運転支援の度合を第３の度合から第２の度合に切り替えてよい。

また、乗員状態監視部１４０は、運転支援の度合が第２の度合である場合、乗員がどの程度覚醒しているのかを判定してもよい。例えば、監視判定部１４０Ｂは、画像処理部１４０Ａが車室内カメラ９０の撮像画像から乗員の瞳孔や虹彩を検出できなかった時間、すなわち乗員が目を閉じている時間を計時し、その時間が長いほど乗員の覚醒度が低いと判定する。また、監視判定部１４０Ｂは、運転席のシートＳＴ_Ｄに設けられた圧力センサ（不図示）による検出結果に基づいて、乗員の覚醒の有無を判定してもよい。例えば、圧力センサにより検出された圧力の変化が閾値以下である場合、監視判定部１４０Ｂは、乗員が覚醒していないと判定する。

切替制御部１１０は、乗員状態監視部１４０の判定処理の過程で求められた乗員の覚醒度に応じて、第２の度合の運転支援を継続するのか、または他の度合の運転支援や手動運転に切り替えるのかを決定する。例えば、乗員が覚醒しているときの覚醒度を１とし、覚醒していないときの覚醒度を０とした場合、切替制御部１１０は、覚醒度の数値がある閾値（例えば０．５程度）以上であれば、その乗員が覚醒しているものと判断し、運転支援の度合を第２の度合として継続する。

＜場面（３）＞
場面（３）では、第２の度合の運転支援時に自動運転制御ユニット３００が自動運転制御により自車両Ｍを車線変更させる様子を示している。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に、車線変更の自動運転制御に対応した画面を表示させる。

例えば、ＨＭＩ制御部１２０は、自動運転制御ユニット３００により実行される自車両Ｍの車線変更イベントの発生を示す画像を自車両Ｍの挙動が変化する前の第１のタイミング（例えば、挙動が変化する５秒前）において第１の態様で表示させる。

図１６は、自車両Ｍの挙動が変化する前の第１のタイミングにおいて表示される第３画面ＩＭ３−４および第４画面ＩＭ４−４の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３−４の周辺検知情報表示領域６００−４に、周辺検知情報表示領域６００−３で表示された内容に加えて、例えば、自車両Ｍが車線変更する方向を示す旨を示す画像６０４を表示させる。図１６の例では、自車両Ｍが走行車線に隣接する右車線に車線変更する画像６０４が表示される。

画像６０４は、例えば、テキストを含まない画像である。図１６の例において、画像６０４は道路幅方向に沿って自車両Ｍの進路変更方向を示す図形である。ＨＭＩ制御部１２０は、例えば、自車両Ｍの進路変更方向を示す図形に外枠を付与し、付与した外枠画像を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、画像６０４を複数の領域に区分し、区分された複数の領域のそれぞれに外枠を付与して表示させる。また、ＨＭＩ制御部１２０は、複数の区分されたそれぞれの領域の外枠を、自車両Ｍの進路変更方向に沿って順番に表示させたアニメーションで表示させてもよい。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−４に、自車両Ｍの進路変更を示すウインカインジケータ６２４を表示させる。ウインカインジケータ６２４は、例えば、進路変更方向を示す矢印等の図形である。ＨＭＩ制御部１２０は、ウインカインジケータ６２４を、画像６０４を表示させる第１のタイミングに同期したタイミングで第１の表示部４５０に表示させる。

ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４−４に、第４画面ＩＭ４−３と同様の情報を表示させる。

また、ＨＭＩ制御部１２０は、第１のタイミングよりも後のタイミングであって自車両Ｍの挙動が変化する前の第２のタイミング（例えば、挙動が変化する２秒前）において画像６０４を強調表示した画像を周辺検知情報表示領域６００−４に表示させる。

図１７は、自車両Ｍの挙動が変化する前の第２のタイミングにおいて表示される第３画面ＩＭ３−５および第４画面ＩＭ４−５の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３−５の周辺検知情報表示領域６００−５に、画像６０４を強調表示した画像６０６を表示させる。ＨＭＩ制御部１２０は、例えば、画像６０４の外枠の中を発色させた表示態様を周辺検知情報表示領域６００−５に表示させる。また、ＨＭＩ制御部１２０は、画像６０４において区分された複数の領域のそれぞれの外枠に対して、自車両Ｍの進路変更方向に沿って順番に強調表示されるようにアニメーションで表示させてもよい。また、ＨＭＩ制御部１２０は、第１のタイミングで画像６０６を表示させ、第２のタイミングで画像６０６を点滅表示させてもよい。また、ＨＭＩ制御部１２０は、第１のタイミングで画像６０６を表示させ、第２のタイミングで画像６０６を、第１のタイミングで表示させた色より目立つ色で表示させてもよい。これにより、乗員に進路変更方向を直感的に把握させることができる。

また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−５に表示させた将来軌道画像６０２を、第２のタイミングに同期したタイミングで進路変更方向に対応する方向に変化させる。これにより、乗員は、自車両Ｍの車線変更における挙動の変化が開始されることを直感的に把握することができる。

ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４−５に、第４画面ＩＭ４−４と同様の情報を表示させる。また、ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４−５に表示させる将来軌道画像６０２を、第２のタイミングに同期したタイミングで進路変更に対応する方向に変化して表示させる。

上述したように、第２の度合の運転支援時に自動運転制御によって車線変更が開始される場合、すなわち自車両Ｍの進路方向が変更される場合、乗員状態監視部１４０は、自車両Ｍの将来の進行方向に応じて、第１角度範囲Δθ１の基準とする向き（方向）と、第１角度範囲Δθ１とのうち一方または双方を変更してよい。

図１８は、車線変更開始時に第１角度範囲Δθ１の基準とする向きが変更される様子を模式的に示した図である。例えば、図示のように、右側の隣接車線に車線変更することが予定されている場合、図１８に示すように、第１の表示部４５０には自車両Ｍの進路方向を示す軌道が表示されるため、乗員が正面監視を止めて進路方向先を監視することが想定される。従って、乗員状態監視部１４０は、自車両Ｍの進路方向側（右手側）に第１角度範囲Δθ１の基準とする方向Ｖを傾けることで、乗員が監視することが想定される方向に第１角度範囲Δθ１を移動させる。これによって、乗員が正面から視線を外した場合であっても、周辺監視が継続していると判定される。なお、乗員状態監視部１４０は、第１角度範囲Δθ１を自車両Ｍの進路方向側に広げることで、車線変更時に乗員が正面から視線を外すことに対応してもよい。

＜場面（１）〜（３）に対応する処理フロー＞
図１９は、場面（１）〜（３）において、マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、手動運転時に実行される。

まず、ＨＭＩ制御部１２０は、メインスイッチ４１２が操作されたか否かを判定する（ステップＳ１００）メインスイッチ４１２が操作されていないと判定した場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１−１を表示させ（ステップＳ１０２）、ＨＵＤ４６０に第２画面ＩＭ２−１を表示させる（ステップＳ１０４）。

一方、メインスイッチ４１２が操作されたと判定した場合、ＨＭＩ制御部１２０は、第１の表示部４５０に第３画面ＩＭ３−１を表示させ（ステップＳ１０６）、ＨＵＤ４６０に第４画面ＩＭ４−１を表示させる（ステップＳ１０８）。

次に、切替制御部１１０は、オートスイッチ４１４が操作されたか否かを判定する（ステップＳ１１０）。オートスイッチ４１４が操作されたと判定した場合、切替制御部１１０は、手動運転から第１の度合に切り替えることで、運転支援制御部２００に運転支援制御を開始させる（ステップＳ１１２）。

次に、ＨＭＩ制御部１２０は、第３画面ＩＭ３−１および第４画面ＩＭ４−１に第１の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ１１４）。次に、ＨＭＩ制御部１２０は、第３画面ＩＭ３−２に第２の度合の運転支援を移行するための情報を表示する（ステップＳ１１６）。

次に、操作子状態判定部１３０は、乗員がハンズオフ状態であるか否かを判定する（ステップＳ１１８）。操作子状態判定部１３０により乗員がハンズオン状態であると判定された場合、切替制御部１１０は、Ｓ１１２の処理に戻り、運転支援の度合として第１の度合を維持する。

一方、操作子状態判定部１３０により乗員がハンズオフ状態であると判定された場合、監視判定部１４０Ｂは、乗員の顔または視線の向きが、第１角度範囲Δθ１内であるか否かを判定する（ステップＳ１２０）。

監視判定部１４０Ｂにより乗員の顔または視線の向きが第１角度範囲Δθ１内でないと判定された場合、すなわち、乗員がアイズオフ状態である場合、切替制御部１１０は、Ｓ１１２の処理に戻り、運転支援の度合として第１の度合を維持する。

また、監視判定部１４０Ｂは、画像処理部１４０Ａにより乗員の顔や視線の向きが所定時間以上検出されない場合、乗員がアイズオフ状態であると判定してもよい。

一方、監視判定部１４０Ｂにより乗員の顔または視線の向きが第１角度範囲Δθ１内であると判定された場合、すなわち、乗員がアイズオン状態である場合、切替制御部１１０は、運転支援の度合を第１の度合から第２の度合に切り替える（ステップＳ１２２）。

次に、ＨＭＩ制御部１２０は、第１の表示部４５０の第３画面ＩＭ３−３に、第２の度合の運転支援が実行されていることを示す画像を表示させる（ステップＳ１２４）。これにより、本フローチャートの処理が終了する。

次に、第２の度合の運転支援に移行した後の場面（４）〜（６）について説明する。図２０は、第２の度合の運転支援から第３の度合の運転支援に切り替わり、その後、第３の度合の運転支援から第２の度合の運転支援に切り替わるまでの各種場面を示す図である。図２０の例において、場面（４）は、自車両Ｍが渋滞中の周辺車両ｍに追従することで、第２の度合の運転支援から第３の度合の運転支援に切り替わる場面である。

場面（５）は、第３の度合の運転支援の一例である低速追従走行（ＴＪＰ；Traffic Jam Pilot）が実行されている場面である。低速追従走行とは、所定速度以下で前走車両に追従する制御態様である。所定速度とは、（例えば、６０［ｋｍ／ｈ］以下）である。低速追従走行は、前走車両ｍの速度が所定速度以下であり、且つ前走車両ｍとの車間距離が所定距離（例えば、５０［ｍ］程度）以内であるときを条件に実行される。低速追従走行では、混雑した道路で前走車両に追従するという、比較的容易な自動運転制御を継続することで、乗員に周辺監視義務を課さない自動運転、或いは乗員に義務として課す周辺監視の度合を低下させた自動運転を実現することができる。「周辺監視の度合を低下させた」とは、上述したように第１角度範囲Δθ１を第２角度範囲Δθ２まで拡大し、乗員の顔や視線の向きとして許容する空間を大きくすることで、周辺監視義務がより継続され易くすることである。また、例えば、低速追従走行では、制御開始から所定時間（例えば５秒間）経過するまでは周辺監視を不要とすることで、周辺監視義務の度合を低下させてもよい。なお、低速追従走行は、所定速度以下、または前走車両に追従していることのいずれか一方を発動条件としてもよい。

場面（６）は、第３の度合の運転支援から第２の度合の運転支援に切り替わる場面である。以下、場面（４）〜（６）のそれぞれの場面に対応する表示制御について説明する。

＜場面（４）＞
場面（４）では、自動運転制御ユニット３００は、まだ低速追従走行に至らず、自車両Ｍの加速制御を行っている。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、運転支援に対応する画面を表示させる。

図２１は、自車両Ｍの加速制御時に表示される第３画面ＩＭ３−６および第４画面ＩＭ４−６の一例を示す図である。この図に示す場面では、まだ低速追従走行の発動条件を満たしていない。ＨＭＩ制御部１２０は、第３画面ＩＭ３−６の周辺検知情報表示領域６００−６に、加速制御が実行されていることを示す画像６０８を表示させる。画像６０８は、自車両Ｍの加速を示す図形である。画像６０８は、自車両Ｍを示す画像の前方に表示される。この場合、ＨＭＩ制御部１２０は、自車両Ｍが加速する前の第１のタイミングにおいて、画像６０８の外枠を付与した第１の表示態様で表示させ、自車両Ｍが加速する前の第２のタイミングにおいて、画像の外枠の中を着色する第２の表示態様で表示させてもよい。また、ＨＭＩ制御部１２０は、加速時には、画像６０８が自車両の進行方向に向かって移動するようなアニメーションを表示させてもよい。この逆に、ＨＭＩ制御部１２０は、減速時には、画像６０８が自車両に向かって移動するようなアニメーションを表示させてもよい。これにより、乗員は、自車両Ｍの加速制御が実行されていることを直観的に把握することができる。

＜場面（５）＞
場面（５）では、切替制御部１１０が運転支援の度合を第２の度合から第３の度合に切り替えおり、更に自動運転制御ユニット３００によって低速追従走行が実行されている。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４６０に、第３の度合の運転支援（低速追従走行）に対応する画面を表示させる。

図２２は、低速追従走行時に表示される第３画面ＩＭ３−７および第４画面ＩＭ４−７の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−７に、第３の度合の運転支援が実行されていることを示す周辺検知画像６１０Ａを表示させる。周辺検知画像６１０は、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像である。周辺検知画像６１０は、例えば、自車両Ｍの中心から外側に向かって波紋が広がっていくようなアニメーション（動画）である。

また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−７の運転支援状態表示領域６２０−７に、例えば、乗員に周辺監視義務が課されていないことを示すインジケータ「Ｅｙｅｓ Ｏｆｆ」と、運転操作子８０の操作を必要としないことを示すインジケータ「Ｈａｎｄｓ ＯＦＦ」とをハイライト表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−７に、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像６２６を表示させる。

ＨＭＩ制御部１２０は、ＨＵＤ４６０の第４画面ＩＭ４−７に、第４画面ＩＭ４−６と同様の情報に加えて、第３の度合の運転支援が実行されていることを示す画像６１０を表示させる。

第３の度合の運転支援が行われる場合、乗員に周辺監視義務が課されないことから、乗員は自動運転中に第３の表示部４７０などの第１角度範囲Δθ１外に設置された機器を新たに使用することができる。そのため、ＨＭＩ制御部１２０は、運転支援の度合が大きくなったことで新たに使用可能になった機器を乗員に通知するための制御を行う。

例えば、ＨＭＩ制御部１２０は、切替制御部１１０により運転支援の度合が第２の度合から第３の度合に切り替えられた場合、第３の表示部４７０に設けられた発光部４６２を所定の色で発光するように制御することで、第３の表示部４７０が新たに使用可能となったことを乗員に通知する。これによって、乗員は、第３の表示部４７０を利用してテレビ電話やテレビ番組などのコンテンツを楽しむことができる。

また、第３の表示部４７０に表示される内容の選択等を行うために第３の操作部４４０を操作する必要がある場合、ＨＭＩ制御部１２０は、第３の操作部４４０に設けられた発光部４４６を所定の色で発光させる。例えば、ＨＭＩ制御部１２０は、発光部４６２おおび発光部４４６を同一の色で発光させる。これにより、乗員は、使用可能な機器と、その機器の操作部とを直感的に把握することができる。

例えば、ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能な状態で第３の操作部４４０が操作された場合に、操作内容に対応する画面を第３の表示部４７０に表示する。また、ＨＭＩ制御部１２０は、第３の表示部４７０が使用可能な状態で、第２の操作部４２０の操作スイッチ４２２が操作された場合に、第３の表示部４７０に通話する相手の画像を表示する。これにより、乗員は、第３の表示部４７０に表示される相手を見ながら通話を楽しむことができる。

＜場面（６）＞
場面（６）では、低速追従する対象の前走車両が存在しないため、切替制御部１１０は、運転支援の度合を第３の度合から第２の度合に切り替える。この場合、ＨＭＩ制御部１２０は、図２３に示すように、運転支援の度合の変化に基づいて、乗員に要求する乗員の監視対象または操作対象を示唆する情報を画像として、第１の表示部４５０またはＨＵＤ４６０の一方または双方に表示させる。

図２３は、乗員に周辺監視を行わせるために表示される第３画面ＩＭ３−８、第４画面ＩＭ４−８の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−８に、低速追従走行（図中「渋滞追従自動運転」）が終了する旨の情報と、乗員に周辺の交通状況を確認させる旨を示す情報とを表示させる。

また、ＨＭＩ制御部１２０は、第４画面ＩＭ４−８に、乗員に自車両Ｍの前方を注視させることを要求する前方注視要求画像６５０を表示させる。ＨＭＩ制御部１２０は、例えば、前方注視要求画像６５０は、車両Ｍの前方の所定の領域を示す楕円状の領域である。また、前方注視要求画像６５０は、円状や矩形状等の所定の形状でもよく、乗員に注意を促すマークや記号文字等の情報でもよい。また、ＨＭＩ制御部１２０は、前方注視要求画像６５０を所定の色で点灯または点滅させる。また、ＨＭＩ制御部１２０は、インストルメントパネルに組み込まれたＬＥＤを発光させ、フロントウインドシールドでＬＥＤの発光を反射させることで、乗員に前方への注視を促してもよい。

ＨＭＩ制御部１２０は、切替制御部１１０により運転支援の度合が第３の度合から第２の度合に切り替えられると、第１の表示部４５０およびＨＵＤ４６０に、第２の度合の運転支援に対応する画面を表示させる。

図２４は、第３の度合の運転支援から第２の度合の運転支援に切り替わった場合の第３画面ＩＭ３−９、第４画面ＩＭ４−９の一例を示す図である。図２４の例では、第２の度合の運転支援により、行動計画生成部３２３により定められた目標速度（例えば８０［ｋｍ／ｈ］）まで加速する例を示している。例えば、ＨＭＩ制御部１２０は、第３画面ＩＭ３−９の周辺検知情報表示領域６００Ｈに、加速制御が実行されていることを示す画像６０８を表示させる。

また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−９の運転支援状態表示領域６２０−９に、第２の度合の運転支援に対応する「Ｈａｎｄｓ ＯＦＦ」のインジケータをハイライト表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−９に、第２の度合の運転支援に対応する乗員の操作内容を示す要求動作通知画像６２２を表示させる。これにより、乗員は、第３の度合から第２の度合の運転支援に切り替わったことを直感的に把握することができる。

＜場面（４）〜（６）に対応する処理フロー＞
図２５は、場面（４）〜（６）において、マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、運転支援の度合が第２の度合に切り替えられたときに実行される。

まず、乗員状態監視部１４０は、周辺監視義務が課されていない乗員の覚醒度が閾値以上であるか否かを判定する（ステップＳ２００）。乗員の覚醒度が閾値以上であると判定した場合、乗員状態監視部１４０は、更に、乗員の顔または視線の向きが、第２角度範囲Δθ２内であるか否かを判定する（ステップＳ２０２）。

監視判定部１４０Ｂにより乗員の顔または視線の向きが第２角度範囲Δθ２内であると判定された場合、すなわち、乗員がアイズオン状態である場合、切替制御部１１０は、低速追従走行が可能か否かを判定する（ステップＳ２０４）。

例えば、切替制御部１１０は、前走車両が存在すること、前走車両との車間距離が所定距離以下であること、前走車両の速度が閾値以下であることを全て満たす場合に、低速追従走行が可能であると判定し、運転支援の度合を第３の度合に設定する（ステップＳ２０６）。

次に、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、第３の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ２０８）。次に、ＨＭＩ制御部１２０は、運転支援の度合が第３の度合になったことで新たに使用可能となった機器に対応した発光部を発光させる（ステップＳ２１０）。

一方、乗員の覚醒度が閾値以上でない場合、乗員の顔または視線の向きが第２角度範囲Δθ２内でない場合、或いは低速追従走行が可能でない場合、ＨＭＩ制御部１２０は、ＨＭＩ４００を用いて乗員に周辺監視（アイズオン）を要求する（ステップＳ２１２）。

乗員状態監視部１４０は、周辺監視の要求の結果、乗員の顔または視線の向きが第１角度範囲Δθ１内となったか否かを判定する（ステップＳ２１４）。乗員状態監視部１４０は、乗員の顔または視線の向きが第１角度範囲Δθ１内でない場合、所定時間経過したか否かを判定する（ステップＳ２１６）。

所定時間経過するまでに乗員の顔または視線の向きが第１角度範囲Δθ１内とならなかった場合、切替制御部１１０は、自動運転制御ユニット３００に代替制御を行わせる（ステップＳ２１８）。このとき、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、代替制御が実行されていることを示す画像を表示する（ステップＳ２２０）。

なお、自動運転制御ユニット３００は、所定時間経過するまでに乗員の顔または視線の向きが第１角度範囲Δθ１内とならなかった場合、代替制御を行わずに、第３の度合の運転支援を継続してもよい。この場合、自動運転制御ユニット３００の行動計画生成部３２３は、第３の度合の運転支援を継続する際の目標速度を、基準速度以下の速度（すなわち８０［ｋｍ／ｈ］または１００［ｋｍ／ｈ］以下の速度）や、現在の自車両Ｍの速度以下の速度（すなわち６０［ｋｍ／ｈ］以下の速度）に決定する。これによって、乗員がアイズオン状態でない場合には、第３の度合の運転支援の上限速度として決められた本来の速度まで自車両Ｍを加速させずに、比較的緩やかに自車両Ｍを加速させたり、現在の車速を維持するように走行させたりすることができる。

所定時間経過するまでに乗員の顔または視線の向きが第１角度範囲Δθ１内となった場合、切替制御部１１０は、運転支援の度合を第３の度合から第２の度合に切り替える（ステップＳ２２２）。これを受けて、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、第２の度合の運転支援が実行されていることを示す画像を表示する（ステップＳ２２４）。これによって、本フローチャートの処理が終了する。

次に、場面（７）〜（９）について説明する。図２６は、第２の度合の運転支援から手動運転による走行に切り替わるまでの各種場面を示す図である。図２６の例において、場面（７）は、自車両Ｍが行動計画に基づき高速道路を抜けるための車線変更を行う場面である。場面（８）は、自車両Ｍが手動運転に切り替わる場面である。場面（９）は、自車両Ｍが手動運転により高速道路から一般道路へ移動する場面である。以下場面（７）〜（９）のそれぞれの場面に対応する表示制御について説明する。

＜場面（７）＞
場面（７）では、自動運転制御ユニット３００は、自車両Ｍが左側に車線変更するための運転支援を実行する。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、運転支援に対応する画面を表示する。なお、車線変更の開始時および実行時における表示例については、図１６および図１７に示す自車両Ｍの右車線への車線変更の内容を、左車線への車線変更に置き換えて同様の表示を行うため、ここでの具体的な説明は省略する。

＜場面（８）＞
場面（８）では、自動運転制御ユニット３００は、自車両Ｍが手動運転に切り替わるための制御を行う。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、乗員に手動運転を実行させるための画像を表示する。

図２７は、手動運転時への切り替え要求時に表示される第３画面ＩＭ３−１０、第４画面ＩＭ４−１０の一例を示す図である。ＨＭＩ制御部１２０は、高速道路の出口が近づいているため、第３画面ＩＭ３−１０の周辺検知情報表示領域６００−１０に、乗員にハンズオン（ステアリングホイール８２を操作させること）を要求する旨の要求動作通知画像６２８を表示させる。また、ＨＭＩ制御部１２０は、要求動作通知画像６２８として、ステアリングホイール８２を示す画像から乗員の手を示す画像が近づいていくようなアニメーションを表示させてもよい。乗員にハンズオンを要求する旨の要求動作通知画像６２８を表示することは、「所定情報」を出力することの一例である。

また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−１０の運転支援状態表示領域６２０−１０に、第２の度合の運転支援に対応する「Ｈａｎｄｓ ＯＦＦ」の画像、および第１の度合の運転支援に対応する「Ａｓｓｉｓｔ」の画像をハイライト表示させる。

ここで、操作子状態判定部１３０は、乗員がハンズオン状態であるか否かを判定する。ＨＭＩ制御部１２０は、所定時間経過しても操作子状態判定部１３０により乗員がハンズオン状態であると判定されない場合に、第１の表示部４５０またはＨＵＤ４６０の一方または双方に、例えば図２８に示すような段階的に警告を強めて乗員に手動運転を実行させるための画像を表示させる。

図２８は、乗員に手動運転を実行させるための警告を強めた第３画面ＩＭ３−１１および第４画面ＩＭ４−１１の一例を示す図である。ＨＭＩ制御部１２０は、例えば、第３画面ＩＭ３−１１の運転支援状態表示領域６００−１１に、自車両Ｍの周辺状況の表示よりも強調して、乗員に監視させる監視対象や操作対象を示唆する情報を表示させる。具体的には、ＨＭＩ制御部１２０は、第３画面ＩＭ−１１の運転支援状態表示領域６００−１１に、自車両Ｍの前方の道路形状を示す画像や自車両Ｍを示す画像、自車両Ｍの将来の軌道を示す画像に代えて、乗員のステアリングホイール８２を操作させることを示す情報を重畳して表示させる。

また、ＨＭＩ制御部１２０は、第４画面ＩＭ４−１１に、ステアリングホイール８２と乗員の手との位置関係を模式的に示す要求動作通知画像６６０を表示させる。ＨＭＩ制御部１２０は、要求動作通知画像６６０として、乗員の手を示す画像がステアリングホイール８２を示す画像に近づいて把持するようなアニメーションを表示させてもよい。また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、音声等による警告を行ってもよい。

また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、ステアリングホイール８２に設けられた発光部４３０Ｒ、４３０Ｌを発光させたり、点滅させたり、発光を停止させたりする。これにより、運転支援の度合の変化に伴って乗員に要求する内容を、乗員に認識し易くすることができる。

また、ＨＭＩ制御部１２０は、例えば、自車両Ｍの運転支援の度合に応じて発光部４３０Ｒ、４３０Ｌを発光、点滅させている状態で、乗員にハンズオンを要求する場合に、発光部４３０Ｒ、４３０Ｌの発光状態を、現在の発光状態とは異ならせる。例えば、ＨＭＩ制御部１２０は、現在の発光状態に対して、発光部４３０Ｒ、４３０Ｌの発光、点滅、発光色、発光輝度のうち、少なくとも一つを異ならせる。

また、ＨＭＩ制御部１２０は、運転支援の度合が現在の運転支援の度合よりも低い度合に変化する場合に、発光部４３０Ｒ、４３０Ｌを発光、点滅、または発光を停止させる。これにより、ステアリングホイール８２を把持させる必要性が高い運転支援であることを乗員に伝えることができる。

また、ＨＭＩ制御部１２０は、乗員にハンズオンを要求した後、所定時間を経過するまでに操作子状態判定部１３０によりハンズオン状態であると判定されない場合、段階的に警告を強めてスピーカに音声を出力させてもよい。ＨＭＩ制御部１２０は、乗員が着座するシートまたはシートベルトを振動させるアクチュエータを作動させて、シートまたはシートベルトを段階的な強さで振動させることで、乗員に警告してもよい。

また、図２８に示す画像を表示してから所定時間を経過するまでに操作子状態判定部１３０によりハンズオン状態であると判定されない場合、ＨＭＩ制御部１２０は、図２９に示すように、運転支援（自動運転制御）を終了する旨の画面を表示する。

図２９は、自動運転を終了する旨の情報を表示する第３画面ＩＭ３−１２および第４画面ＩＭ４−１２の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ−１２の運転支援状態表示領域６００−１２に、自車両Ｍの前方の道路形状を示す画像や自車両Ｍを示す画像、自車両Ｍの将来の軌道を示す画像に重畳して、テイクオーバーを要求する情報を表示させる。テイクオーバーの要求とは、運転支援を終了させて手動運転を開始させるために、乗員に運転操作子８０の操作（ハンズオンを含む）を要求することをいう。また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−１２の運転支援状態表示領域６２０−１２に、「Ｈａｎｄｓ Ｏｆｆ」の画像がハイライト表示されるが、図２８に示すハイライト表示とは異なる色等でハイライト表示させてもよい。

また、第４画面ＩＭ４−１２には、ステアリングホイール８２と乗員の手との位置関係を模式的に示す要求動作通知画像６６０が表示される。また、ＨＭＩ制御部１２０は、乗員にステアリングホイール８２を把持させるために、図２９に示す第３画面ＩＭ３−１１および第４画面ＩＭ４−１２を表示させることで警告したのに比べてより強めに警告を行ってもよい。

また、ＨＭＩ制御部１２０は、例えば、第１の表示部４５０に第３画面ＩＭ３−１２を表示し、ＨＵＤ４６０に第４画面ＩＭ４−１２を表示するタイミングでシートやシートベルトを振動させるアクチュエータを作動させることで、シートまたはシートベルトの少なくとも一方を振動させてよい。この場合、ＨＭＩ制御部１２０は、第３画面ＩＭ３−１１および第４画面ＩＭ４−１１を表示させたときの振動に比して強い振動になるように、アクチュエータを作動させてもよい。これにより、乗員は、自動運転が終了することを直感的に把握することができる。

また、図２９に示す画面を表示してから所定時間を経過するまでに操作子状態判定部１３０によりハンズオン状態であると判定されない場合、マスター制御部１００は、自動運転制御ユニット３００に代替制御を実行させる。この場合、ＨＭＩ制御部１２０は、図３０に示すように、代替制御を実行するための自動運転を実行する旨を示す画面を表示する。

図３０は、代替制御時における第３画面ＩＭ３−１３および第４画面ＩＭ４−１３の一例を示す図である。第３画面ＩＭ−１２の運転支援状態表示領域６００−１３には、代替制御として自車両Ｍを停車させる旨の情報（図中では「緊急停止、運転操作を交代してください」）が表示される。

＜場面（９）＞
場面（９）では、乗員がステアリングホイール８２を把持する旨の指示を受けて、運転支援が終了するまでにステアリングホイール８２を把持し、手動運転を開始して、高速道路から一般道路に進入する場面である。切替制御部１１０は、自車両Ｍの走行状態を、乗員の手動運転によって行う状態に切り替える。ＨＭＩ制御部１２０は、第１の表示部４５０に第１画面ＩＭ１−１を表示し、ＨＵＤ４６０に第２画面ＩＭ２−１を表示するように制御する。

＜場面（７）〜（９）に対応する処理フロー＞
図３１は、場面（７）〜（９）において、マスター制御部１００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、第２の度合の運転支援の開始に伴って実行される。

まず、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、第２の度合の運転支援が実行されていることを示す画像を表示させる（ステップＳ３００）。

次に、切替制御部１１０は、手動運転への切り替えが必要か否かを判定する（ステップＳ３０２）。例えば、高速道路の出口付近などの自動運転が可能な区間（車線認識可能な区間）の終了地点に自車両Ｍが到達した場合、切替制御部１１０は、手動運転への切り替えが必要であると判定する。

ＨＭＩ制御部１２０は、切替制御部１１０により手動運転への切り替えが必要であると判定された場合、第３画面ＩＭ３−１０の周辺検知情報表示領域６００−１０に、乗員にハンズオンを要求するための要求動作通知画像６２８を表示させる（ステップＳ３０４）。一方、切替制御部１１０により手動運転への切り替えが必要でないと判定された場合、ＨＭＩ制御部１２０は、ステップＳ３０４の処理を省略する。

次に、操作子状態判定部１３０は、把持センサ８２Ａの検出信号に基づいて、乗員がハンズオン状態であるのかまたはハンズオフ状態であるのか否かを判定する（ステップＳ３０６）。

操作子状態判定部１３０により乗員がハンズオフ状態であると判定された場合、ＨＭＩ制御部１２０は、既に乗員にハンズオンを要求しているか否か（すなわちステップＳ３０４の処理を行っているか否か）を判定する（ステップＳ３０８）。

乗員がハンズオフ状態であり、未だ乗員にハンズオンを要求していない場合、ＨＭＩ制御部１２０は、上述したステップＳ３００に処理を戻す。

一方、乗員がハンズオフ状態であり、既に乗員にハンズオンを要求している場合、ＨＭＩ制御部１２０は、ハンズオンを要求してから第１所定時間が経過したか否かを判定する（ステップＳ３１０）。

ハンズオンを要求してから第１所定時間が経過していないと判定した場合、ＨＭＩ制御部１２０は、上述したステップＳ３０６に処理を戻す。

一方、ハンズオンを要求してから第１所定時間が経過したと判定した場合、ＨＭＩ制御部１２０は、第３画面ＩＭ−１２の運転支援状態表示領域６００−１２に、テイクオーバーを要求する情報を表示させる（ステップＳ３１２）。

次に、操作子状態判定部１３０は、把持センサ８２Ａの検出信号に基づいて、乗員がハンズオン状態であるのかまたはハンズオフ状態であるのか否かを判定する（ステップＳ３１４）。

操作子状態判定部１３０により乗員がハンズオン状態であると判定された場合、ＨＭＩ制御部１２０は、後述するステップＳ３２４に処理を進める。

一方、操作子状態判定部１３０により乗員がハンズオフ状態であると判定された場合、ＨＭＩ制御部１２０は、テイクオーバーを要求してから第２所定時間が経過したか否かを判定する（ステップＳ３１６）。第２所定時間は、第１所定時間と同じ長さであってもよいし、異なる長さであってもよい。

テイクオーバーを要求してから第２所定時間が経過していないと判定した場合、ＨＭＩ制御部１２０は、上述したステップＳ３１４に処理を戻す。

一方、ＨＭＩ制御部１２０によりテイクオーバーを要求してから第２所定時間が経過したと判定された場合、切替制御部１１０は、自動運転制御ユニット３００に代替制御を行わせる（ステップＳ３１８）。このとき、ＨＭＩ制御部１２０は、ＨＭＩ４００の各表示部に代替制御が実行されていることを示す画面を表示させる（ステップＳ３２０）。

一方、上述したステップＳ３０６の処理において、操作子状態判定部１３０により乗員がハンズオン状態であると判定された場合、ＨＭＩ制御部１２０は、既に乗員にハンズオンを要求しているか否か（すなわちステップＳ３０４の処理を行っているか否か）を判定する（ステップＳ３２２）。

乗員がハンズオン状態であり、既に乗員にハンズオンを要求している場合、乗員がハンズオンの要求に応えてハンズオンしたものと判断できることから、切替制御部１１０は、当初の予定通りに、自動運転制御ユニット３００に第２の度合の運転支援（自動運転制御）を停止させ、手動運転に切り替える（ステップＳ３２４）。

なお、切替制御部１１０は、第２の度合の運転支援から手動運転に切り替えるのではなく、第２の度合の運転支援から一旦第１の度合の運転支援に切り替え、第１の度合の運転支援を所定時間継続させた後、第１の度合の運転支援から手動運転に切り替えてもよい。例えば、切替制御部１１０は、一旦第１の度合の運転支援に切り替える場合、自動運転制御ユニット３００に第２の度合の運転支援（自動運転制御）を停止させ、運転支援制御部２００に第１の度合の運転支援（運転支援制御部）を開始させる。この場合、運転支援制御部２００は、第１の度合の運転支援として、例えば、ＬＫＡＳのような走行車線を維持させる操舵制御を行う。走行車線を維持させる操舵制御は、例えば、自車両Ｍが自車線の中央から所定距離以上離れた場合や、自車線を区画線する区画線との距離が所定距離以下となった場合に、転舵輪の向きを車線中央側に変更し、自車両Ｍが自車線内へと復帰するように支援する制御である。なお、運転支援制御部２００は、第１の度合の運転支援として、ＡＣＣのような速度制御を行ってもよい。

次に、ＨＭＩ制御部１２０は、第１の表示部４５０に、手動運転が実行されていることを示す第１画面ＩＭ１を表示させ（ステップＳ３２６）、ＨＵＤ４６０に、同じく手動運転が実行されていることを示す第２画面ＩＭ２を表示させる（ステップＳ３２８）。

一方、乗員がハンズオン状態であり、未だ乗員にハンズオンを要求していない場合、システム側からの要求に関係なく乗員が運転操作をする意思を示したものと判断できることから、切替制御部１１０は、ステアリングホイール８２に対する操作に応じた操舵制御の介入を許可するために、原則として乗員の操作を必要としない第２の度合の運転支援を、乗員のステアリングホイール８２の操作（ハンズオン）を必要とする第２の度合の運転支援に切り替える（ステップＳ３３０）。

自動運転制御ユニット３００の走行制御部３４２は、乗員のステアリングホイール８２の操作を必要とする第２の度合の運転支援として、例えば、行動計画生成部３２３により生成された目標軌道に含まれる目標速度を基に走行駆動力出力装置５００およびブレーキ装置５１０の制御量を決定する。この際、走行制御部３４２は、目標軌道に含まれる軌道点同士の位置関係（なす角度）に基づいてステアリング装置５２０の制御量を決定する処理については中止し、目標軌道に関係なく、自車線を維持させるように操舵制御を行ってよい。これによって、車両システム１は、第２の度合の運転支援（自動運転制御）を見かけ上継続したまま、手動運転によって自車両Ｍの操舵を制御することができる。

また、乗員の操作を必要とする第２の度合の運転支援が実行されている間、ＨＭＩ制御部１２０は、第３画面ＩＭ３および第４画面ＩＭ４に、乗員の操作を必要としない第２の度合の運転支援が実行されるときと同様に、第２の度合の運転支援が実行されていることを示す画像を表示させる。これによって、乗員は、自らの操作によって自車両Ｍの操舵を制御している場合であっても、自動運転制御が継続していると認識することができる。

なお、乗員がハンズオン状態であり、未だ乗員にハンズオンを要求していない場合、切替制御部１１０は、運転支援の度合を第２の度合から第１の度合に切り替えることで、第２の度合の運転支援を中断してもよい。この場合、自動運転制御ユニット３００が自動運転制御を停止し、代わりに運転支援制御部２００がＡＣＣやＬＫＡＳなどの運転支援制御を開始する。

次に、切替制御部１１０は、ステアリングホイール８２の操作検出センサの検出結果に基づいて、乗員によるステアリングホイール８２の操作が終了したか否かを判定し（ステップＳ３３２）、乗員によるステアリングホイール８２の操作が終了するまで、乗員の操作を必要としない第２の度合の運転支援を中断し、乗員の操作を必要とする第２の度合の運転支援を継続させる。

一方、乗員によるステアリングホイール８２の操作が終了した場合、切替制御部１１０は、乗員の操作を必要とする第２の度合の運転支援を中止させ、乗員の操作を必要としない第２の度合の運転支援を再開させる（ステップＳ３３４）。これによって、本フローチャートの処理が終了する。

なお、上述したフローチャートにおいて、切替制御部１１０は、ハンズオンとなったときに、既にハンズオンが要求されていれば手動運転に切り替え、未だハンズオンが要求されていなければ自動運転制御ユニット３００に運転支援を継続させるものとして説明したがこれに限られない。例えば、切替制御部１１０は、ハンズオンとなったときに、テイクオーバーの要求の有無や代替制御の実行画面の表示の有無に応じて、手動運転に切り替えるのか、または運転支援を継続させるのかを決定してもよい。例えば、切替制御部１１０は、ハンズオンとなったときに、既にテイクオーバーが要求されていれば手動運転に切り替え、未だテイクオーバーが要求されていなければ自動運転制御ユニット３００に運転支援の一つである代替制御を行わせる。また、切替制御部１１０は、ハンズオンとなったときに、既に代替制御の実行画面が表示されていれば手動運転に切り替え、未だ代替制御の実行画面が表示されていなければ自動運転制御ユニット３００に代替制御を行わせてもよい。テイクオーバーを要求すること、または代替制御の実行画面を表示することは、「所定情報」を出力することの他の例である。

図３２は、ハンズオンの要求前にハンズオンとなる場面の一例を示す図である。図示のように、乗員が目視などによって自車両Ｍの前方に障害物が存在することを認識した場合、運転支援が行われている場合であっても、障害物を回避しようとしてステアリングホイール８２を操作する場合がある。この場合、切替制御部１１０は、ステアリングホイール８２が操作されている間、乗員の操作を必要としない第２の度合の運転支援を、乗員の操作を必要とする第２の度合の運転支援に切り替えて、ステアリングホイール８２の操作が終了した時点で、元の乗員の操作を必要としない第２の度合の運転支援に復帰させる。この結果、ステアリングホイール８２が操作されている間は、目標軌道に基づく速度制御と、走行車線の区画線に基づく操舵制御が自動運転制御により実施され、ステアリングホイール８２の操作が終了すると、目標軌道に基づく速度制御および操舵制御が自動運転により実施される。また、ステアリングホイール８２の操作前後において絶えず第２の運転支援が継続されるため、メインスイッチ４１２およびオートスイッチ４１は、オン状態に維持される。

図３３は、ハンズオンの要求後にハンズオンとなる場面の一例を示す図である。図示のように、高速道路を下りるときにハンズオンが要求された後、乗員がステアリングホイール８２を操作することでハンズオンとなった場合、切替制御部１１０は、自動運転制御ユニット３００に、第２の度合の運転支援としての自動運転制御を停止させ、手動運転に切り替える。このとき、メインスイッチ４１２は、制御態様の変更に関わらずにオン状態に維持され、オートスイッチ４１は、手動運転への切り替えのタイミングでオフ状態に変更される。なお、ハンズオンの要求後にハンズオンとなった場合、切替制御部１１０は、運転支援の度合を第２の度合から第１の度合に切り替えることで、自動運転制御ユニット３００に第２の度合の運転支援としての自動運転制御を停止させ、運転支援制御部２００に第１の度合の運転支援として、ＬＫＡＳなどの運転支援制御を行わせてもよい。また、メインスイッチ４１２は、オートスイッチ４１と同様に、手動運転への切り替えのタイミングでオフ状態に変更されてもよい。

図３４は、ハンズオンの要求後にハンズオンとならない場面の一例を示す図である。図示の例では、ハンズオンが要求されてから第１所定時間τ１が経過するまでハンズオンとならず更にテイクオーバーが要求されている。このテイクオーバーの要求後、第２所定時間τ２が経過するまでにハンズオンとならないため、切替制御部１１０は、自動運転制御ユニット３００に代替制御を行わせる。このとき、メインスイッチ４１２およびオートスイッチ４１は、オン状態に維持される。

また、マスター制御部１００は、図３１に示すフローチャートとは別に、図３５に示すフローチャートを行う。図３５は、マスター制御部１００により実行される処理の流れの他の例を示すフローチャートである。

まず、操作子状態判定部１３０は、乗員が運転操作子８０に対して所定操作を行ったか否かを判定する（ステップＳ４００）。所定操作とは、上述した、ステアリングホイール８２を操作すること（ハンズオン）、アクセルペダルを踏み込むこと、またはブレーキペダルを踏み込むことである。

操作子状態判定部１３０により所定操作が行われたと判定された場合、切替制御部１１０は、ＨＭＩ制御部１２０によってＨＭＩ４００から所定情報が出力されているか否かを判定する（ステップＳ４０２）。所定情報とは、例えば、ハンズオンを要求するための情報、テイクオーバーを要求するための情報、または代替制御が実行されていることを示す情報である。

切替制御部１１０は、所定情報が既に出力されている場合、現在実施されている制御を変更し（ステップＳ４０４）、所定情報が未だ出力されていない場合、現在実施されている制御を維持する（ステップＳ４０６）。これによって、本フローチャートの処理が終了する。

図３６は、現在実施されている制御が維持される場面の一例を示す図である。図示の例では、乗員にハンズオンを要求してから第１所定時間τ１が経過してもハンズオンとならず、更にテイクオーバーを要求している場面を示している。このような場面において、例えば、乗員が、ブレーキペダルを踏み込んだ場合、すなわち要求と異なる操作を行った場合、切替制御部１１０は、所定操作を要求した後に行う予定の制御（代替制御）が、乗員によって拒否されたものと判定し、現在実施されている制御（第２の度合の運転支援）を他の制御に切り替えずに、引き続き同じ制御を実施させる。このとき、メインスイッチ４１２およびオートスイッチ４１は、オン状態に維持される。なお、図示の例では、テイクオーバーの要求について説明したがハンズオンの要求時も同様である。例えば、乗員にハンズオンを要求してから第１所定時間τ１が経過するまでに、乗員がブレーキペダルやアクセルペダルを踏み込んだ場合、切替制御部１１０は、ハンズオンを要求した後に行う予定の制御（手動運転）が、乗員によって拒否されたものと判定し、現在実施されている制御（第２の度合の運転支援）を他の制御に切り替えずに、引き続き同じ制御を実施させる。

図３７は、現在実施されている制御が変更される場面の一例を示す図である。図示の例では、テイクオーバーの要求後に代替制御が行われたことから、自車両Ｍが路肩などの停止可能なエリアに停車した場面を示している。自車両Ｍが停車した後も代替制御が継続されるため、ＨＭＩ制御部１２０は、ハンズオンとなるまで、第３画面ＩＭ−１２の運転支援状態表示領域６００−１２に、テイクオーバーを要求する情報を表示させ続ける。

例えば、テイクオーバーの要求後に、乗員がブレーキペダルやアクセルペダルを踏み込まずに、ステアリングホイール８２を操作した場合、乗員は要求通りの操作を行ったことになる。この場合、切替制御部１１０は、テイクオーバーを要求した後に行う予定の制御（すなわち手動運転）が、乗員によって拒否されなかったと判定し、現在実施されている制御（第２の度合の運転支援）を手動運転に切り替える。このとき、オートスイッチ４１は、手動運転への切り替えのタイミングでオフ状態に変更され、メインスイッチ４１２は、引き続きオン状態に維持される。なお、メインスイッチ４１２についても、オートスイッチ４１と同様に、手動運転への切り替えのタイミングでオフ状態に変更されてもよい。

このように、切替制御部１１０は、乗員によって所定操作がなされた場合、その所定操作を要求する情報の出力の有無に応じて、システム側が提案する制御が乗員によって拒否されているのか否かを判定する。そして、切替制御部１１０は、システム側が提案する制御が乗員によって拒否されている場合には、現在実施されている制御を維持させ、そうでなければ当初の予定通りに制御を変更させる。これによって、乗員の意思をより反映させながら自車両Ｍを自動運転させることができる。

＜運転支援に関連する各種機器または制御の切り替えタイミング＞
以下、自車両Ｍの運転支援に関連する各種機器または制御の切り替えタイミングについて図を用いて説明する。図３８は、運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。

図３８では、運転支援に関連する切り替えとして、（Ａ）メインスイッチ４１２のオン／オフ、（Ｂ）オートスイッチ４１４のオン／オフ、（Ｃ）手動運転表示のオン／オフ、（Ｄ）運転支援モード表示のオン／オフ、（Ｅ）第１の度合の運転支援のオン／オフ、（Ｆ）ステアリングホイール８２を把持している／把持していない、（Ｇ）第２の度合の運転支援のオン／オフ、（Ｈ）第３の度合の運転支援のオン／オフ、（Ｉ）乗員の運転監視の要／不要の時刻の経過に対する切り替えタイミングを示している。

時刻Ｔ０では、乗員の手動運転により自車両Ｍが走行している。この場合、メインスイッチスイッチ４１２およびオートスイッチ４１４は操作されておらず、第１の表示部４５０およびＨＵＤ４６０には、手動運転での画面（第１画面ＩＭ１、第２画面ＩＭ２）が表示される。また、時刻Ｔ０では、いずれの度合の運転支援も実施されていないことから、必然的に乗員はステアリングホイール８２を操作するとともに周辺監視を行う。

時刻Ｔ１では、乗員によりメインスイッチ４１２をオンにする操作が実行されている。この場合、第１の表示部４５０およびＨＵＤ４６０には、運転支援モードでの画面（第３画面ＩＭ３、第４画面ＩＭ４）が表示される。時刻Ｔ１〜Ｔ２までは、運転支援による走行制御は行われておらず、手動運転が継続されている。

時刻Ｔ２では、乗員によりオートスイッチ４１４をオンにする操作が実行されている。この場合、マスター制御部１００の切替制御部１１０は、運転支援の度合を第１の度合に切り替える。これにより、運転支援制御部２００は、第１の度合の運転支援を実行する。ＨＭＩ制御部１２０は、運転支援モード表示において、乗員がステアリングホイール８２から手を離すことで、第２の度合の運転支援が実行されることを示す画像を表示する。

時刻Ｔ３では、自車両Ｍが第２の度合の運転支援が可能な状態で、乗員がステアリングホイール８２から手を離している。この場合、切替制御部１１０は、運転支援の度合を第１の度合から第２の度合に切り替える。これを受けて、運転支援制御部２００が運転支援制御を停止し、新たに自動運転制御ユニット３００が第２の度合の運転支援（すなわち自動運転制御）を開始する。

時刻Ｔ４では、例えば、低速追従走行の開始条件が成立し、切替制御部１１０が運転支援の度合を第３の度合に切り替える。これによって、自動運転制御ユニット３００が第３の度合の運転支援として低速追従走行を開始する。これに伴って、乗員の周辺監視は不要となる。

時刻Ｔ５では、第３の度合の運転支援が終了し、第２の度合の運転支援に切り替わる。従って、乗員に周辺監視義務が課される。また、時刻Ｔ５では、第２の度合の運転支援から手動運転に切り替えるための表示が行われる。この場合、ＨＭＩ制御部１２０は、運転支援モード表示において、乗員にステアリングホイール８２を操作させるための情報を表示する。

時刻Ｔ６では、乗員がステアリングホイール８２を操作しハンズオン状態となる。この場合、切替制御部１１０は、運転支援の度合を第２の度合から第１の度合に切り替える。これによって、自動運転制御ユニット３００が第２の度合の運転支援を停止し、運転支援制御部２００が第１の度合の運転支援を開始する。このとき、切替制御部１１０は、第１の度合の運転支援が所定時間経過された後、手動運転に切り替えてよい。

時刻Ｔ７では、自車両Ｍが手動運転に切り替わっている。この場合、メインスイッチ４１２およびオートスイッチ４１４は、例えば、自車両Ｍが手動運転に切り替わるタイミングでオフ状態に切り替わる。

以上説明した実施形態によれば、自車両Ｍの乗員の操作を受け付けるＨＭＩ４００および運転操作子８０と、自車両Ｍを自動的に走行させる自動運転制御を実行する自動運転制御ユニット３００と、自動運転制御ユニット３００に自動運転制御を実行させる第２または第３の度合の運転支援を含む複数の運転支援のいずれか、または手動運転に切り替える切替制御部１１０と、第２または第３の度合の運転支援であり、且つ所定条件を満たす場合に、ＨＭＩ４００に所定情報を出力させるＨＭＩ制御部１２０と、を備え、切替制御部１１０は、ＨＭＩ４００または運転操作子８０により所定操作が受け付けられた場合、所定操作を受け付けたタイミングが所定情報の出力開始タイミング以降であるか否かに応じて、運転支援の度合を切り替えるのか、手動運転へ移行するのか、または運転支援を継続するのかといった切替態様を決定する。これによって、例えば、ハンズオンなどの所定情報を出力させた後に、ブレーキペダルの踏み込みなどの所定操作があれば、当初予定された制御を実施し、所定情報の出力前に所定操作があれば、予定された制御を取りやめて現在の制御を継続させることができる。この結果、より忠実に乗員の意思通りに手動運転に移行させることができる。

また、上述した実施形態によれば、ハンズオンを要求した後、テイクオーバーを要求した後、または代替制御の実行画面を表示させた後に、乗員がハンズオンとなった場合、手動運転に切り替え、上記のいずれかを要求していないときにハンズオンとなっても運転支援を継続するため、メインスイッチ３１２などの各種スイッチが頻繁にオフ状態となるのを抑制することができる。*

また、上述した実施形態によれば、代替制御の実施後に自車両Ｍが停止した場合、ステアリングホイール８２が操作されたことを条件に手動運転に切り替えるため、例えば、ブレーキペダルが踏み込まれたことを条件とする場合に比べて、より乗員の意思を汲みとって手動運転に移行させることができる。

また、上述した実施形態によれば、運転支援から手動運転に切り替わるまで、第１の表示部４５０に第３画面ＩＭ３−Ｘを表示させると共に、ＨＵＤ４６０に第４画面ＩＭ４−Ｘを表示させ、運転支援から手動運転に切り替わった場合に、第１の表示部４５０に第１画面を表示させると共に、ＨＵＤ４６０に第２画面を表示させるため、乗員に手動運転に切り替わったことを視認させることができる。

以下、上述した実施形態の変形例について説明する。実施形態の変形例において、物体認識装置１６は、所定の処理周期で繰り返し物体を認識する過程で、切替制御部１１０により運転支援から手動運転に切り替えられた場合、運転支援に復帰したときに備えて一定時間認識結果を保持する。

図３９は、物体認識装置１６による一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の処理周期で繰り返し実行される。

まず、物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部から検出結果を取得する（ステップＳ５００）。次に、物体認識装置１６は、取得した検出結果に対してセンサフュージョン処理を実施して物体を認識する（ステップＳ５０２）。

次に、物体認識装置１６は、認識結果を、自動運転制御ユニット３００に出力すると共に、ＲＡＭやＨＤＤなどの記憶装置に記憶させる（ステップＳ５０４）。

次に、物体認識装置１６は、記憶装置に記憶させた認識結果の更新タイミングが到来するまで待機し（ステップＳ５０６）、更新タイミングが到来すると、切替制御部１１０によって運転支援（例えば第２の度合や第３の度合の運転支援）から手動運転に切り替えられたか否かを判定する（ステップＳ５０８）。更新タイミングは、例えば、記憶装置に認識結果を記憶させてから所定時間（例えば、処理周期よりも短い時間）が経過したタイミングである。

更新タイミングが到来し、且つ運転支援から手動運転に切り替えられていないと判定した場合、物体認識装置１６は、前回の処理周期で記憶装置に記憶させた認識結果を、今回の処理周期で得られた認識結果に更新する（ステップＳ５１０）。

一方、更新タイミングが到来し、且つ運転支援から手動運転に切り替えられたと判定した場合、物体認識装置１６は、所定時間（例えば、処理周期よりも長い時間）が経過したか否かを判定し（ステップＳ５１２）、所定時間が経過した場合には、Ｓ４０８に処理を移し、認識結果に更新し、所定時間が経過していない場合には、手動運転から運転支援に復帰したか否かを判定する（ステップＳ５１４）。

手動運転から運転支援に復帰したと判定した場合、物体認識装置１６は、記憶装置から認識結果を読み出して、これを自動運転制御ユニット３００に出力する（ステップＳ５１６）。そして、物体認識装置１６は、ステップＳ５１０に処理を進め、前回の処理周期で記憶装置に記憶させた認識結果を、今回の処理周期で得られた認識結果に更新する。これによって、本フローチャートの処理が終了する。

このような処理によって、例えば、運転支援が実施されている中でオートスイッチ４１４やメインスイッチ４１２が操作されて手動運転へと切り替わった場合に、運転支援下で得られた物体の認識結果を所定時間保持しておくことができる。この結果、所定時間経過するまでに再度スイッチが操作されて運転支援が復帰した場合には、保持した過去の認識結果を、カルマンフィルタ等を用いた物体の逐次認識処理に利用することができるため、事前処理として、カルマンフィルタ等を動作させるために一定時間認識処理を継続させる必要がなくなる。この結果、より速やかに運転支援を開始することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、５０…ナビゲーション装置、５１…ＧＮＳＳ受信機、５２…ナビＨＭＩ、５３…経路決定部、５４…第１地図情報、６０…ＭＰＵ、６１…推奨車線決定部、６２…第２地図情報、７０…車両センサ、８０…運転操作子、８２…ステアリングホイール、８２Ａ…把持センサ、９０…車室内カメラ、１００…マスター制御部、１１０…切替制御部、１２０…ＨＭＩ制御部、１３０…操作子状態判定部、１４０…乗員状態監視部、１４０Ａ…画像処理部、１４０Ｂ…監視判定部、２００…運転支援制御部、３００…自動運転制御ユニット、３２０…第１制御部、３２１…外界認識部、３２２…自車位置認識部、３２３…行動計画生成部、３４０…第２制御部、３４２…走行制御部、４００…ＨＭＩ、４５０…第１の表示部、４６０…ＨＵＤ、４７０…第３の表示部、５００…走行駆動力出力装置、５１０…ブレーキ装置、５２０…ステアリング装置

Claims (10)

1. 自車両の乗員の操作を受け付ける受付部と、
   情報を出力する情報出力部と、
   前記自車両を自動的に走行させる自動運転を実行する自動運転制御部と、
   前記自動運転制御部に前記自動運転を実行させる自動運転モード、または前記受付部に対する操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替える切替制御部と、
   前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、前記情報出力部に所定情報を出力させる出力制御部と、を備え、
   前記切替制御部は、前記受付部により所定操作が受け付けられた場合、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定する、
   車両制御システム。
2. 前記切替制御部は、
   前記受付部により第１操作が受け付けられた場合に、前記自車両の運転モードを、前記手動運転モードから、前記自動運転モードに比して制御度合の低い運転支援モードに切り替え、
   前記第１操作後に、前記受付部により第２操作が受け付けられた場合に、前記自車両の運転モードを、前記運転支援モードから前記自動運転モードに切り替え、
   前記自動運転モード下において、
   前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以前である場合、前記自車両の運転モードを、前記自動運転モードから前記運転支援モードに切り替え、
   前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降である場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替える、
   請求項１に記載の車両制御システム。
3. 前記運転支援モード下において、少なくとも走行車線を逸脱しないように前記自車両の操舵制御を行う運転支援制御部を更に備える、
   請求項２に記載の車両制御システム。
4. 前記切替制御部は、
   前記受付部により第１操作および第２操作の二段階の操作が受け付けられた場合に、前記自車両の運転モードを、前記手動運転モードから前記自動運転モードに切り替え、
   前記自動運転モード下において、
   前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以前である場合、前記自動運転モードを継続し、
   前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降である場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替える、
   請求項１に記載の車両制御システム。
5. 前記受付部は、ステアリングホイールを含み、
   前記出力制御部は、前記乗員に前記ステアリングホイールを操作することを要求する情報、手動運転を前記乗員に要求する情報、または前記自動運転モード下において前記自車両を停止させる自動運転が行われることを示す情報のうちいずれかを、前記所定情報として前記情報出力部に出力させる、
   請求項１から４のうちいずれか１項に記載の車両制御システム。
6. 前記切替制御部は、前記自動運転モード下において前記自動運転制御部により前記自車両を停止させる自動運転が行われた以降に、前記ステアリングホイールにより操作が受け付けられた場合、前記自車両の運転モードを、前記自動運転モードから前記手動運転モードに切り替える、
   請求項５に記載の車両制御システム。
7. 前記情報出力部は、表示部を含み、
   前記出力制御部は、前記自車両の運転モードが前記自動運転モードから前記手動運転モードに切り替わるまで、前記表示部に第１画面を表示させ、前記自動運転モードから前記手動運転モードに切り替わった場合、前記表示部に前記第１画面と異なる第２画面を表示させる、
   請求項１から６のうちいずれか１項に記載の車両制御システム。
8. 前記自車両の周辺の物標を認識し、前記物標の認識結果を所定の周期で更新する認識部を更に備え、
   前記自動運転制御部は、前記認識部の認識結果に基づいて、前記自動運転を実行し、
   前記認識部は、前記切替制御部により前記自車両の運転モードが前記自動運転モードから前記手動運転モードに切り得られた場合、前記認識結果を更新せずに所定時間保持する、
   請求項１から７のうちいずれか１項に記載の車両制御システム。
9. 車載コンピュータが、
   自車両の乗員の操作を受け付け、
   前記自車両を自動的に走行させる自動運転を実行し、
   前記自動運転を実行する自動運転モード、または前記受け付けた操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替え、
   前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、所定情報を出力し、
   前記所定操作を受け付けた場合、前記所定操作を受け付けたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定する、
   車両制御方法。
10. 車載コンピュータに、
    自車両の乗員の操作を受け付けさせ、
    前記自車両を自動的に走行させる自動運転を実行させ、
    前記自動運転を実行させる自動運転モード、または前記受け付けさせた操作に応じて前記自車両を走行させる手動運転モードを少なくとも含む複数の運転モードのいずれかに、前記自車両の運転モードを切り替え、
    前記自車両の運転モードが前記自動運転モードであり、且つ所定条件を満たす場合に、所定情報を出力させ、
    前記所定操作が受け付けられた場合、前記所定操作が受け付けられたタイミングが前記所定情報の出力開始タイミング以降であるか否かに応じて、前記運転モードの切替態様を決定させる、
    車両制御プログラム。

Images