JPWO2017158764A1 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

Abstract

車両制御システムにおいて、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転制御部であって、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行う自動運転制御部と、前記自車両の乗員の操作を受け付けるとともに情報を出力するインターフェース装置と、前記自動運転制御部が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限するインターフェース制御部と、を備え、前記インターフェース制御部は、前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる。

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。

近年、目的地までの経路に沿って自車両が走行するように、自車両の加減速および操舵のうち、少なくとも一方を自動的に制御する技術（以下、「自動運転」という）についての研究が進められている。これに関連して、自動運転から手動運転に移行することを乗員に通知する通知手段を備えた運転モード制御装置が開示されている（例えば、特許文献１参照）。

特開２０１６−０１８２３８号公報

しかしながら、従来では、手動運転モードに移行する予定であることを音声等の特定の手段で車両乗員に通知するのみであり、自動運転制御に伴って車両乗員の操作が制限される装置に対して適切な通知を行うことができない場合があった。

本発明は、このような事情を考慮してなされたものであり、車両乗員に対し、自動運転の制御中に使用可能な装置の情報を伝えることで、利便性を高めることができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。

請求項１に記載の発明は、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転制御部であって、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行う自動運転制御部（１２０）と、前記自車両の乗員の操作を受け付けるとともに情報を出力するインターフェース装置（７０）と、前記自動運転制御部が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限するインターフェース制御部（１７４）と、を備え、前記インターフェース制御部は、前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、車両制御システム（１００）である。

請求項２に記載の発明は、請求項１に記載の車両制御システムであって、前記インターフェース制御部は、前記自動運転のモードの変更に伴って、前記インターフェース装置の使用が許可されたことを示す情報を出力させるものである。

請求項３に記載の発明は、請求項１に記載の車両制御システムであって、前記インターフェース制御部は、前記インターフェース装置の使用を、手動運転中または前記乗員による周辺監視が必要な自動運転中は制限し、前記乗員による周辺監視が不要な自動運転中は解除するものである。

請求項４に記載の発明は、請求項１に記載の車両制御システムであって、前記インターフェース制御部は、前記自動運転制御部における前記自車両の加減速および／または車線変更に関するイベントと、前記自車両の乗員に対するハンドオーバリクエストとのうち、一方または双方を含む情報を前記インターフェース装置に出力させるものである。

請求項５に記載の発明は、請求項１に記載の車両制御システムであって、前記自車両内の空間を撮像する撮像部（９５）と、前記撮像部により撮像された画像に基づいて前記乗員の視線方向を検出する視線検出部（１７６）と、を更に備え、前記インターフェース制御部は、前記視線検出部により検出された前記乗員の視線方向にあるインターフェース装置に情報を出力させるものである。

請求項６に記載の発明は、請求項５に記載の車両制御システムであって、前記インターフェース制御部は、前記視線検出部により検出された前記乗員の視線方向にあるインターフェース装置に情報を出力させてから所定時間以内に、前記乗員からの操作を受け付けなかった場合に、前記情報を出力させたインターフェース装置以外のインターフェース装置に前記情報を出力させるものである。

請求項７に記載の発明は、請求項１に記載の車両制御システムであって、前記インターフェース装置は、ナビゲーション装置（５０）、表示装置（８２）、および通信端末（９６）のうち、少なくとも１つを含むものである。

請求項８に記載の発明は、請求項１に記載の車両制御システムであって、前記自車両内の空間を撮像する撮像部と、前記撮像部により撮像された画像に基づいて前記乗員の視線を検出する視線検出部と、前記自車両内の空間に画像を投影する投影部（９７）と、を更に備え、前記インターフェース制御部は、前記視線検出部により検出された前記乗員の視線方向に対し、前記自動運転制御部が実施する自動運転のモードの変更に伴って、前記制限が緩和または解除されたインターフェース装置に関する情報を前記投影部から投影させるものである。

請求項９に記載の発明は、請求項８に記載の車両制御システムであって、前記撮像部により撮像された画像から前記自車両の自動運転に関する情報を投影させる対象物の情報を取得し、取得した対象物に基づいて、前記投影部により投影される画像の色、大きさ、および動きのうち、少なくとも１つを設定するものである。

請求項１０に記載の発明は、請求項８に記載の車両制御システムであって、前記インターフェース制御部は、前記自動運転制御部による運転モードの変更に伴って、前記乗員による使用が許可されたインターフェース装置に関する情報を前記乗員の視線方向に投影させるものである。

請求項１１に記載の発明は、車載コンピュータが、自車両の加減速および操舵のうち少なくとも一方を自動的に制御するとともに、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行い、前記自車両の乗員の操作を受け付けるとともにインターフェース装置に情報を出力させ、前記自動運転制御が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限し、前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、車両制御方法である。

請求項１２に記載の発明は、車載コンピュータに、自車両の加減速および操舵のうち少なくとも一方を自動的に制御するとともに、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行い、前記自車両の乗員の操作を受け付けるとともにインターフェース装置に情報を出力させ、前記自動運転制御が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限し、
前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、処理を実行させるための車両制御プログラムである。

請求項１から３、７、８、および１０から１２に記載の発明によれば、例えばインターフェース装置に対する規制解除中に、乗員に視認されている蓋然性が高いインターフェース装置に自車両からの通知を行うため、乗員にすぐに気付かせることができる。したがって、自車両内で使用する装置の利便性を高めることができる。

請求項４に記載の発明によれば、インターフェース装置から自動運転制御による自車両の挙動を容易に取得することができる。

請求項５に記載の発明によれば、乗員が見ている可能性の高いインターフェース装置のみに出力することができるため、乗員に対して、より確実に情報を伝達することができる。

請求項６に記載の発明によれば、インターフェース装置から出力した情報を乗員が見逃してしまった場合に、他のインターフェース装置にも出力することで、乗員に対して、より確実に情報を伝達することができる。

請求項９に記載の発明によれば、乗員に視認しやすい画像を投影することができる。

実施形態の車両制御システム１００が搭載される車両の構成要素を示す図である。 車両制御システム１００を中心とした機能構成図である。 第１の実施形態におけるＨＭＩ７０の構成図である。 自車位置認識部１４０により走行車線Ｌ１に対する自車両Ｍの相対位置が認識される様子を示す図である。 ある区間について生成された行動計画の一例を示す図である。 軌道生成部１４６の構成の一例を示す図である。 軌道候補生成部１４６Ｂにより生成される軌道の候補の一例を示す図である。 軌道候補生成部１４６Ｂにより生成される軌道の候補を軌道点Ｋで表現した図である。 車線変更ターゲット位置ＴＡを示す図である。 ３台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。 第１の実施形態におけるＨＭＩ制御部１７０の構成の一例を示す図である。 モード別操作可否情報１８８の一例を示す図である。 車両乗員の視線検出の内容を説明するための図である。 ナビゲーション装置５０に対する情報表示の一例を示す図である。 表示装置８２に対する情報表示の一例を示す図である。 通信端末９６に対する情報表示の一例を示す図である。 第２の実施形態におけるＨＭＩ７０Ａの構成図である。 自車両Ｍ内における投影装置９７の設置例を示す図である。 投影装置９７により投影される様子の一例を示す図である。 ＨＭＩ制御処理の第１の実施例を示すフローチャートである。 ＨＭＩ制御処理の第２の実施例を示すフローチャートである。 ＨＭＩ制御処理の第３の実施例を示すフローチャートである。

以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。
＜共通構成＞
図１は、実施形態の車両制御システム１００が搭載される車両（以下、自車両Ｍと称する）の構成要素を示す図である。車両制御システム１００が搭載される車両は、例えば、二輪や三輪、四輪等の自動車であり、ディーゼルエンジンやガソリンエンジン等の内燃機関を動力源とした自動車や、電動機を動力源とした電気自動車、内燃機関および電動機を兼ね備えたハイブリッド自動車等を含む。電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。

図１に示すように、自車両Ｍには、ファインダ２０−１から２０−７、レーダ３０−１から３０−６、およびカメラ（撮像部）９４０等のセンサと、ナビゲーション装置（表示部）５０と、車両制御システム１００とが搭載される。

ファインダ２０−１から２０−７は、例えば、照射光に対する散乱光を測定し、対象までの距離を測定するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。例えば、ファインダ２０−１は、フロントグリル等に取り付けられ、ファインダ２０−２および２０−３は、車体の側面やドアミラー、前照灯内部、側方灯付近等に取り付けられる。ファインダ２０−４は、トランクリッド等に取り付けられ、ファインダ２０−５および２０−６は、車体の側面や尾灯内部等に取り付けられる。上述したファインダ２０−１から２０−６は、例えば、水平方向に関して１５０度程度の検出領域を有している。また、ファインダ２０−７は、ルーフ等に取り付けられる。ファインダ２０−７は、例えば、水平方向に関して３６０度の検出領域を有している。

レーダ３０−１および３０−４は、例えば、奥行き方向の検出領域が他のレーダよりも広い長距離ミリ波レーダである。また、レーダ３０−２、３０−３、３０−５、３０−６は、レーダ３０−１および３０−４よりも奥行き方向の検出領域が狭い中距離ミリ波レーダである。

以下、ファインダ２０−１から２０−７を特段区別しない場合は、単に「ファインダ２０」と記載し、レーダ３０−１から３０−６を特段区別しない場合は、単に「レーダ３０」と記載する。レーダ３０は、例えば、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体を検出する。

カメラ４０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の個体撮像素子を利用したデジタルカメラである。カメラ４０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ４０は、例えば、周期的に繰り返し自車両Ｍの前方を撮像する。カメラ４０は、複数のカメラを含むステレオカメラであってもよい。

なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

＜第１の実施形態＞
図２は、車両制御システム１００を中心とした機能構成図である。自車両Ｍには、ファインダ２０、レーダ３０、およびカメラ４０等を含む検知デバイスＤＤと、ナビゲーション装置５０と、通信装置５５と、車両センサ６０と、ＨＭＩ（Human Machine Interface）７０と、車両制御システム１００と、走行駆動力出力装置２００と、ステアリング装置２１０と、ブレーキ装置２２０とが搭載される。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、請求の範囲における車両制御システムは、「車両制御システム１００」のみを指しているのではなく、車両制御システム１００以外の構成（検知デバイスＤＤやＨＭＩ７０等）を含んでもよい。

ナビゲーション装置５０は、ＧＮＳＳ（Global Navigation Satellite System）受信機や地図情報（ナビ地図）、ユーザインターフェースとして機能するタッチパネル式表示装置、スピーカ、マイク等を有する。ナビゲーション装置５０は、ＧＮＳＳ受信機によって自車両Ｍの位置を特定し、その位置からユーザによって指定された目的地までの経路を導出する。ナビゲーション装置５０により導出された経路は、車両制御システム１００の目標車線決定部１１０に提供される。自車両Ｍの位置は、車両センサ６０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。また、ナビゲーション装置５０は、車両制御システム１００が手動運転モードを実行している際に、目的地に至る経路について音声やナビ表示によって案内を行う。なお、自車両Ｍの位置を特定するための構成は、ナビゲーション装置５０とは独立して設けられてもよい。また、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。この場合、端末装置と車両制御システム１００との間で、無線または有線による通信によって情報の送受信が行われる。

通信装置５５は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用した無線通信を行う。

車両センサ６０は、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

図３は、第１の実施形態におけるＨＭＩ７０の構成図である。ＨＭＩ７０は、例えば運転操作系の構成と、非運転操作系の構成とを備える。これらの境界は明確なものではなく、運転操作系の構成が非運転操作系の機能を備える（或いはその逆）ことがあってもよい。また、これらの運転操作系は、自車両Ｍの車両乗員（乗員）の操作を受け付ける操作受付部の一例である。また、非運転操作系には、インターフェース装置が含まれる。

ＨＭＩ７０は、運転操作系の構成として、例えばアクセルペダル７１、アクセル開度センサ７２およびアクセルペダル反力出力装置７３と、ブレーキペダル７４およびブレーキ踏量センサ（或いはマスター圧センサ等）７５と、シフトレバー７６およびシフト位置センサ７７と、ステアリングホイール７８、ステアリング操舵角センサ７９およびステアリングトルクセンサ８０と、その他運転操作デバイス８１とを含む。

アクセルペダル７１は、車両乗員による加速指示（或いは戻し操作による減速指示）を受け付けるための操作子である。アクセル開度センサ７２は、アクセルペダル７１の踏み込み量を検出し、踏み込み量を示すアクセル開度信号を車両制御システム１００に出力する。なお、車両制御システム１００に出力するのに代えて、走行駆動力出力装置２００、ステアリング装置２１０、またはブレーキ装置２２０に直接出力することがあってもよい。以下に説明する他の運転操作系の構成についても同様である。アクセルペダル反力出力装置７３は、例えば車両制御システム１００からの指示に応じて、アクセルペダル７１に対して操作方向と反対向きの力（操作反力）を出力する。

ブレーキペダル７４は、車両乗員による減速指示を受け付けるための操作子である。ブレーキ踏量センサ７５は、ブレーキペダル７４の踏み込み量（或いは踏み込み力）を検出し、検出結果を示すブレーキ信号を車両制御システム１００に出力する。

シフトレバー７６は、車両乗員によるシフト段の変更指示を受け付けるための操作子である。シフト位置センサ７７は、車両乗員により指示されたシフト段を検出し、検出結果を示すシフト位置信号を車両制御システム１００に出力する。

ステアリングホイール７８は、車両乗員による旋回指示を受け付けるための操作子である。ステアリング操舵角センサ７９は、ステアリングホイール７８の操作角を検出し、検出結果を示すステアリング操舵角信号を車両制御システム１００に出力する。ステアリングトルクセンサ８０は、ステアリングホイール７８に加えられたトルクを検出し、検出結果を示すステアリングトルク信号を車両制御システム１００に出力する。なお、ステアリングホイール７８に関する制御として、例えば反力モータ等によりステアリング軸にトルクを出力することで、ステアリングホイール７８に対して操作反力を出力してもよい。

その他運転操作デバイス８１は、例えば、ジョイスティック、ボタン、ダイヤルスイッチ、ＧＵＩ（Graphical User Interface）スイッチ等である。その他運転操作デバイス８１は、加速指示、減速指示、旋回指示等を受け付け、車両制御システム１００に出力する。

ＨＭＩ７０は、非運転操作系の構成として、例えば、表示装置（表示部）８２、スピーカ８３、接触操作検出装置８４およびコンテンツ再生装置８５と、各種操作スイッチ８６と、シート８８およびシート駆動装置８９と、ウインドウガラス９０およびウインドウ駆動装置９１と、車室内カメラ（撮像部）９５と、通信端末９６とを含む。

表示装置８２は、例えば、インストルメントパネルの各部、助手席や後部座席に対向する任意の箇所等に取り付けられる、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置等である。また、表示装置８２は、フロントウインドシールドやその他のウインドウに画像を投影するＨＵＤ（Head Up Display）であってもよい。スピーカ８３は、音声を出力する。接触操作検出装置８４は、表示装置８２がタッチパネルである場合に、表示装置８２の表示画面における接触位置（タッチ位置）を検出して、車両制御システム１００に出力する。なお、表示装置８２がタッチパネルでない場合、接触操作検出装置８４は省略されてよい。

コンテンツ再生装置８５は、例えば、ＤＶＤ（Digital Versatile Disc）再生装置、ＣＤ（Compact Disc）再生装置、テレビジョン受信機、各種案内画像の生成装置等を含む。表示装置８２、スピーカ８３、接触操作検出装置８４およびコンテンツ再生装置８５は、一部または全部がナビゲーション装置５０と共通する構成であってもよい。

各種操作スイッチ８６は、車室内の任意の箇所に配置される。各種操作スイッチ８６には、自動運転の開始（或いは将来の開始）および停止を指示する自動運転切替スイッチ８７を含む。自動運転切替スイッチ８７は、ＧＵＩ（Graphical User Interface）スイッチ、機械式スイッチの何れであってもよい。また、各種操作スイッチ８６は、シート駆動装置８９やウインドウ駆動装置９１を駆動するためのスイッチを含んでもよい。

シート８８は、車両乗員が着座する座席シートである。シート駆動装置８９は、シート８８のリクライニング角、前後方向位置、ヨー角等を自在に駆動する。ウインドウガラス９０は、例えば各ドアに設けられる。ウインドウ駆動装置９１は、ウインドウガラス９０を開閉駆動する。

車室内カメラ９５は、ＣＣＤやＣＭＯＳ等の個体撮像素子を利用したデジタルカメラである。車室内カメラ９５は、バックミラーやステアリングボス部、インストルメントパネル等、運転操作を行う車両乗員の少なくとも頭部を撮像可能な位置に取り付けられる。車室内カメラ９５は、例えば、周期的に繰り返し車両乗員を撮像する。

通信端末９６は、通信装置５５との無線通信によりＨＭＩ制御部１７０からの情報を受信して画面上に表示することができる端末であり、ＨＭＩ制御部１７０に情報を送信することもできる。通信端末９６は、上述したナビゲーション装置５０、表示装置８２、またはコンテンツ再生装置８５により表示される情報を画面に表示することができる。また、通信端末９６は、インターネット等に接続して外部装置からの情報を取得したり、電子メール機能によりメールの送受信を行うこともできる。通信端末９６と通信を行うための情報（例えば、アドレス情報）等は、予め記憶部１８０に記憶される。通信端末９６は、例えばスマートフォンまたはタブレット端末等であるが、これに限定されるものではない。

車両制御システム１００の説明に先立って、走行駆動力出力装置２００、ステアリング装置２１０、およびブレーキ装置２２０について説明する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、自車両Ｍが内燃機関を動力源とした自動車である場合、エンジン、変速機、およびエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）を備え、自車両Ｍが電動機を動力源とした電気自動車である場合、走行用モータおよび走行用モータを制御するモータＥＣＵを備え、自車両Ｍがハイブリッド自動車である場合、エンジン、変速機、およびエンジンＥＣＵと走行用モータおよびモータＥＣＵとを備える。走行駆動力出力装置２００がエンジンのみを含む場合、エンジンＥＣＵは、後述する走行制御部１６０から入力される情報に従って、エンジンのスロットル開度やシフト段等を調整する。走行駆動力出力装置２００が走行用モータのみを含む場合、モータＥＣＵは、走行制御部１６０から入力される情報に従って、走行用モータに与えるＰＷＭ信号のデューティ比を調整する。走行駆動力出力装置２００がエンジンおよび走行用モータを含む場合、エンジンＥＣＵおよびモータＥＣＵは、走行制御部１６０から入力される情報に従って、互いに協調して走行駆動力を制御する。

ステアリング装置２１０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、車両制御システム１００から入力される情報、或いは入力されるステアリング操舵角またはステアリングトルクの情報に従って電動モータを駆動し、転舵輪の向きを変更させる。

ブレーキ装置２２０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、制動制御部とを備える電動サーボブレーキ装置である。電動サーボブレーキ装置の制動制御部は、走行制御部１６０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。電動サーボブレーキ装置は、ブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２２０は、上記説明した電動サーボブレーキ装置に限らず、電子制御式油圧ブレーキ装置であってもよい。電子制御式油圧ブレーキ装置は、走行制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する。また、ブレーキ装置２２０は、走行駆動力出力装置２００に含まれ得る走行用モータによる回生ブレーキを含んでもよい。

［車両制御システム］
以下、車両制御システム１００について説明する。車両制御システム１００は、例えば、一以上のプロセッサまたは同等の機能を有するハードウェアにより実現される。車両制御システム１００は、ＣＰＵ（Central Processing Unit）等のプロセッサ、記憶装置、および通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、或いはＭＰＵ（Micro-Processing Unit）等が組み合わされた構成であってよい。

図２に戻り、車両制御システム１００は、例えば、目標車線決定部１１０と、自動運転制御部１２０と、走行制御部１６０と、ＨＭＩ制御部１７０と、記憶部１８０とを備える。自動運転制御部１２０は、例えば、自動運転モード制御部１３０と、自車位置認識部１４０と、外界認識部１４２と、行動計画生成部１４４と、軌道生成部１４６と、切替制御部１５０とを備える。目標車線決定部１１０、自動運転制御部１２０の各部、および走行制御部１６０のうち一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

記憶部１８０には、例えば、高精度地図情報１８２、目標車線情報１８４、行動計画情報１８６、モード別操作可否情報１８８等の情報が格納される。記憶部１８０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部１８０に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部１８０にインストールされてもよい。また、車両制御システム１００のコンピュータ（車載コンピュータ）は、複数のコンピュータ装置によって分散化されたものであってもよい。

目標車線決定部１１０は、例えば、ＭＰＵにより実現される。目標車線決定部１１０は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、高精度地図情報１８２を参照してブロックごとに目標車線を決定する。目標車線決定部１１０は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部１１０は、例えば、経路において分岐箇所や合流箇所等が存在する場合、自車両Ｍが、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部１１０により決定された目標車線は、目標車線情報１８４として記憶部１８０に記憶される。

高精度地図情報１８２は、ナビゲーション装置５０が有するナビ地図よりも高精度な地図情報である。高精度地図情報１８２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、高精度地図情報１８２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。交通規制情報には、工事や交通事故、渋滞等によって車線が封鎖されているといった情報が含まれる。

自動運転制御部１２０は、目的地までの経路に沿って自車両Ｍが走行するように、自車両Ｍの加減速および操舵のうち少なくとも一方を自動的に制御する。

自動運転モード制御部１３０は、自動運転制御部１２０が実施する自動運転のモードを決定する。本実施形態における自動運転のモードには、以下のモードが含まれる。なお、以下はあくまで一例であり、自動運転のモード数は任意に決定されてよい。

［第１モード］
第１モードは、他のモードと比べて最も自動運転の度合が高いモードである。第１モードが実施されている場合、複雑な合流制御等、全ての車両制御が自動的に行われるため、車両乗員は自車両Ｍの周辺や状態を監視する必要がない。

［第２モード］
第２モードは、第１モードの次に自動運転の度合が高いモードである。第２モードが実施されている場合、原則として全ての車両制御が自動的に行われるが、場面に応じて自車両Ｍの運転操作が車両乗員に委ねられる。このため、車両乗員は、車両Ｍの周辺や状態を監視している必要がある。

［第３モード］
第３モードは、第２モードの次に自動運転の度合が高いモードである。第３モードが実施されている場合、車両乗員は、場面に応じた確認操作をＨＭＩ７０に対して行う必要がある。第３モードでは、例えば、車線変更のタイミングが車両乗員に通知され、車両乗員がＨＭＩ７０に対して車線変更を指示する操作を行った場合に、自動的な車線変更が行われる。このため、車両乗員は自車両Ｍの周辺や状態を監視している必要がある。

自動運転モード制御部１３０は、ＨＭＩ７０に対する車両乗員の操作、行動計画生成部１４４により決定されたイベント、軌道生成部１４６により決定された走行態様等に基づいて、自動運転のモードを決定する。自動運転のモードは、ＨＭＩ制御部１７０に通知される。また、自動運転のモードには、自車両Ｍの検知デバイスＤＤの性能等に応じた限界が設定されてもよい。例えば、検知デバイスＤＤの性能が低い場合には、第１モードは実施されないものとしてよい。

何れのモードにおいても、ＨＭＩ７０における運転操作系の構成に対する操作によって、手動運転モードに切り替えること（オーバーライド）は可能である。オーバーライドは、例えば自車両Ｍの車両乗員によるＨＭＩ７０の運転操作系に対する操作が、所定時間以上継続した場合、所定の操作変化量（例えばアクセルペダル７１のアクセル開度、ブレーキペダル７４のブレーキ踏量、ステアリングホイール７８のステアリング操舵角）以上の場合、または運転操作系に対する操作を所定回数以上行った場合に開始される。上述の所定時間、操作変化量、所定回数等は、オーバーライドを行うか否かを判定する条件（閾値）の一例である。

自動運転制御部１２０の自車位置認識部１４０は、記憶部１８０に格納された高精度地図情報１８２と、ファインダ２０、レーダ３０、カメラ４０、ナビゲーション装置５０、または車両センサ６０から入力される情報とに基づいて、自車両Ｍが走行している車線（走行車線）、および、走行車線に対する自車両Ｍの相対位置を認識する。

自車位置認識部１４０は、例えば、高精度地図情報１８２から認識される道路区画線のパターン（例えば実線と破線の配列）と、カメラ４０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

図４は、自車位置認識部１４０により走行車線Ｌ１に対する自車両Ｍの相対位置が認識される様子を示す図である。自車位置認識部１４０は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置として認識する。なお、これに代えて、自車位置認識部１４０は、自車線Ｌ１の何れかの側端部に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部１４０により認識される自車両Ｍの相対位置は、行動計画生成部１４４に提供される。

外界認識部１４２は、ファインダ２０、レーダ３０、カメラ４０等から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両とは、例えば、自車両Ｍの周辺を走行する車両であって、自車両Ｍと同じ方向に走行する車両である。周辺車両の位置は、他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、上記各種機器の情報に基づいて把握される、周辺車両の加速度、車線変更をしているか否か（あるいは車線変更をしようとしているか否か）を含んでもよい。また、外界認識部１４２は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。

行動計画生成部１４４は、自動運転のスタート地点、および／または自動運転の目的地を設定する。自動運転のスタート地点は、自車両Ｍの現在位置であってもよいし、自動運転を指示する操作がなされた地点でもよい。行動計画生成部１４４は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。なお、これに限らず、行動計画生成部１４４は、任意の区間について行動計画を生成してもよい。

行動計画は、例えば、順次実行される複数のイベントで構成される。イベントには、例えば、自車両Ｍを減速させる減速イベントや、自車両Ｍを加速させる加速イベント、走行車線を逸脱しないように自車両Ｍを走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、自車両Ｍに前走車両を追い越させる追い越しイベント、分岐ポイントにおいて所望の車線に変更させたり、現在の走行車線を逸脱しないように自車両Ｍを走行させたりする分岐イベント、本線に合流するための合流車線において自車両Ｍを加減速させ、走行車線を変更させる合流イベント、自動運転の開始地点で手動運転モードから自動運転モードに移行させたり、自動運転の終了予定地点で自動運転モードから手動運転モードに移行させたりするハンドオーバイベント等が含まれる。行動計画生成部１４４は、目標車線決定部１１０により決定された目標車線が切り替わる箇所において、車線変更イベント、分岐イベント、または合流イベントを設定する。行動計画生成部１４４によって生成された行動計画を示す情報は、行動計画情報１８６として記憶部１８０に格納される。

図５は、ある区間について生成された行動計画の一例を示す図である。図５に示すように、行動計画生成部１４４は、目標車線情報１８４が示す目標車線上を自車両Ｍが走行するために必要な行動計画を生成する。なお、行動計画生成部１４４は、自車両Ｍの状況変化に応じて、目標車線情報１８４に拘わらず、動的に行動計画を変更してもよい。例えば、行動計画生成部１４４は、車両走行中に外界認識部１４２によって認識された周辺車両の速度が閾値を超えたり、自車線に隣接する車線を走行する周辺車両の移動方向が自車線方向に向いたりした場合に、自車両Ｍが走行予定の運転区間に設定されたイベントを変更する。例えば、レーンキープイベントの後に車線変更イベントが実行されるようにイベントが設定されている場合において、外界認識部１４２の認識結果によって当該レーンキープイベント中に車線変更先の車線後方から車両が閾値以上の速度で進行してきたことが判明した場合、行動計画生成部１４４は、レーンキープイベントの次のイベントを、車線変更イベントから減速イベントやレーンキープイベント等に変更してよい。この結果、車両制御システム１００は、外界の状態に変化が生じた場合においても、安全に自車両Ｍを自動走行させることができる。

図６は、軌道生成部１４６の構成の一例を示す図である。軌道生成部１４６は、例えば、走行態様決定部１４６Ａと、軌道候補生成部１４６Ｂと、評価・選択部１４６Ｃとを備える。

走行態様決定部１４６Ａは、例えば、レーンキープイベントを実施する際に、定速走行、追従走行、低速追従走行、減速走行、カーブ走行、障害物回避走行等のうち何れかの走行態様を決定する。例えば、走行態様決定部１４６Ａは、自車両Ｍの前方に他車両が存在しない場合に、走行態様を定速走行に決定する。また、走行態様決定部１４６Ａは、前走車両に対して追従走行するような場合に、走行態様を追従走行に決定する。また、走行態様決定部１４６Ａは、渋滞場面等において、走行態様を低速追従走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により前走車両の減速が認識された場合や、停車や駐車等のイベントを実施する場合に、走行態様を減速走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により自車両Ｍがカーブ路に差し掛かったことが認識された場合に、走行態様をカーブ走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により自車両Ｍの前方に障害物が認識された場合に、走行態様を障害物回避走行に決定する。

軌道候補生成部１４６Ｂは、走行態様決定部１４６Ａにより決定された走行態様に基づいて、軌道の候補を生成する。図７は、軌道候補生成部１４６Ｂにより生成される軌道の候補の一例を示す図である。図７は、自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更する場合に生成される軌道の候補を示している。

軌道候補生成部１４６Ｂは、図７に示すような軌道を、例えば、将来の所定時間ごとに、自車両Ｍの基準位置（例えば重心や後輪軸中心）が到達すべき目標位置（軌道点Ｋ）の集まりとして決定する。図８は、軌道候補生成部１４６Ｂにより生成される軌道の候補を軌道点Ｋで表現した図である。軌道点Ｋの間隔が広いほど、自車両Ｍの速度は速くなり、軌道点Ｋの間隔が狭いほど、自車両Ｍの速度は遅くなる。従って、軌道候補生成部１４６Ｂは、加速したい場合には軌道点Ｋの間隔を徐々に広くし、減速したい場合は軌道点の間隔を徐々に狭くする。

このように、軌道点Ｋは速度成分を含むものであるため、軌道候補生成部１４６Ｂは、軌道点Ｋのそれぞれに対して目標速度を与える必要がある。目標速度は、走行態様決定部１４６Ａにより決定された走行態様に応じて決定される。

ここで、車線変更（分岐を含む）を行う場合の目標速度の決定手法について説明する。軌道候補生成部１４６Ｂは、まず、車線変更ターゲット位置（或いは合流ターゲット位置）を設定する。車線変更ターゲット位置は、周辺車両との相対位置として設定されるものであり、「どの周辺車両の間に車線変更するか」を決定するものである。軌道候補生成部１４６Ｂは、車線変更ターゲット位置を基準として３台の周辺車両に着目し、車線変更を行う場合の目標速度を決定する。図９は、車線変更ターゲット位置ＴＡを示す図である。図中、Ｌ１は自車線を表し、Ｌ２は隣接車線を表している。ここで、自車両Ｍと同じ車線で、自車両Ｍの直前を走行する周辺車両を前走車両ｍＡ、車線変更ターゲット位置ＴＡの直前を走行する周辺車両を前方基準車両ｍＢ、車線変更ターゲット位置ＴＡの直後を走行する周辺車両を後方基準車両ｍＣと定義する。自車両Ｍは、車線変更ターゲット位置ＴＡの側方まで移動するために加減速を行う必要があるが、この際に前走車両ｍＡに追いついてしまうことを回避しなければならない。このため、軌道候補生成部１４６Ｂは、３台の周辺車両の将来の状態を予測し、各周辺車両と干渉しないように目標速度を決定する。

図１０は、３台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。図中、ｍＡ、ｍＢおよびｍＣから延出する直線は、それぞれの周辺車両が定速走行したと仮定した場合の進行方向における変位を示している。自車両Ｍは、車線変更が完了するポイントＣＰにおいて、前方基準車両ｍＢと後方基準車両ｍＣとの間にあり、且つ、それ以前において前走車両ｍＡよりも後ろにいなければならない。このような制約の下、軌道候補生成部１４６Ｂは、車線変更が完了するまでの目標速度の時系列パターンを、複数導出する。そして、目標速度の時系列パターンをスプライン曲線等のモデルに適用することで、上述した図７に示すような軌道の候補を複数導出する。なお、３台の周辺車両の運動パターンは、図９に示すような定速度に限らず、定加速度、定ジャーク（躍度）を前提として予測されてもよい。

評価・選択部１４６Ｃは、軌道候補生成部１４６Ｂにより生成された軌道の候補に対して、例えば、計画性と安全性の二つの観点で評価を行い、走行制御部１６０に出力する軌道を選択する。計画性の観点からは、例えば、既に生成されたプラン（例えば行動計画）に対する追従性が高く、軌道の全長が短い場合に軌道が高く評価される。例えば、右方向に車線変更することが望まれる場合に、一旦左方向に車線変更して戻るといった軌道は、低い評価となる。安全性の観点からは、例えば、それぞれの軌道点において、自車両Ｍと物体（周辺車両等）との距離が遠く、加減速度や操舵角の変化量等が小さいほど高く評価される。

切替制御部１５０は、自動運転切替スイッチ８７から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。また、切替制御部１５０は、ＨＭＩ７０における運転操作系の構成に対する加減速または操舵を指示する操作に基づいて、自動運転モードから手動運転モードに切り替える。例えば、切替制御部１５０は、ＨＭＩ７０における運転操作系の構成から入力された信号の示す操作量が閾値を超えた状態が、基準時間以上継続した場合に、自動運転モードから手動運転モードに切り替える（オーバーライド）。なお、切替制御部１５０は、オーバーライドによる手動運転モードへの切り替えの後、所定時間の間、ＨＭＩ７０における運転操作系の構成に対する操作が検出されなかった場合に、自動運転モードに復帰させてもよい。また、切替制御部１５０は、例えば自動運転の終了予定地点で自動運転モードから手動運転モードに移行するハンドオーバ制御を行う場合に、車両乗員に対して事前にハンドオーバリクエストを通知するため、その旨の情報を、ＨＭＩ制御部１７０に出力する。

走行制御部１６０は、軌道生成部１４６によって生成された軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ステアリング装置２１０、およびブレーキ装置２２０を制御する。

ＨＭＩ制御部１７０は、自動運転制御部１２０により運転モードの情報が通知されると、ＨＭＩ７０を制御する。例えば、ＨＭＩ制御部１７０は、運転モードに基づいて、ＨＭＩ７０の非運転操作系やナビゲーション装置５０等に対する車両乗員による操作の可否を制御する。

図１１は、第１の実施形態におけるＨＭＩ制御部１７０の構成の一例を示す図である。図１１に示すＨＭＩ制御部１７０は、使用可否判定部１７２と、インターフェース制御部１７４と、視線検出部１７６とを備える。

使用可否判定部１７２は、自動運転制御部１２０から得られるモード情報と、記憶部１８０に記憶されたモード別操作可否情報１８８とに基づいて、ＨＭＩ７０またはナビゲーション装置５０に関する操作の可否を判定する。

図１２は、モード別操作可否情報１８８の一例を示す図である。図１２に示すモード別操作可否情報１８８は、運転モードの項目として「手動運転モード」、「自動運転モード」とを有する。また、「自動運転モード」として、上述した「第１モード」、「第２モード」、および「第３モード」等を有する。また、モード別操作可否情報１８８は、非運転操作系の項目として、ナビゲーション装置５０に対する操作である「ナビゲーション操作」、コンテンツ再生装置８５に対する操作である「コンテンツ再生操作」、表示装置８２に対する操作である「インストルメントパネル操作」、通信端末９６に対する操作である「通信端末操作」等を有する。上述したナビゲーション装置５０、コンテンツ再生装置８５、表示装置８２、および通信端末９６は、非運転操作系のインターフェース装置の一例である。図１２に示すモード別操作可否情報１８８の例では、上述した運転モードごとに非運転操作系に対する車両乗員の操作の可否が設定されているが、対象のインターフェース装置は、これに限定されるものではない。

使用可否判定部１７２は、自動運転制御部１２０から取得した運転モードに基づいてモード別操作可否情報１８８を参照することで、使用等の制限の緩和または解除により使用が許可されるインターフェース装置（操作系）と、制限により使用が許可されないインターフェース装置とを判定する。なお、使用とは、例えば車両乗員による操作の受け付け、およびインターフェース装置への情報の出力の一方または双方である。インターフェース制御部１７４は、使用可否判定部１７２による判定結果に基づいて、非運転操作系のインターフェース装置に対する車両乗員からの操作の受け付けの可否を制御する。

例えば、自車両Ｍが手動運転モードの場合、車両乗員は、ＨＭＩ７０の運転操作系（例えば、アクセルペダル７１、ブレーキペダル７４、シフトレバー７６、およびステアリングホイール７８等）を操作する。また、自動運転モードの第２モード、第３モード等である場合、車両乗員は、自車両Ｍの周辺や状態を監視する必要がある。このような場合、車両乗員の運転以外の行動（操作等）により注意が散漫になること（ドライバーディストラクション）を防止するため、インターフェース制御部１７４は、ＨＭＩ７０の非運転操作系の一部または全部に対する操作を受け付けないように制御を行う。また、自動運転の第１モードである場合、インターフェース制御部１７４は、ドライバーディストラクション規制を緩和し、操作を受け付けていなかった非運転操作系に対する車両乗員の操作を受け付ける制御を行う。つまり、インターフェース制御部１７４は、ＨＭＩ７０の非運転操作系の一部または全部に対する使用を、手動運転中または車両乗員による周辺監視が必要な自動運転中は制限し、車両乗員による周辺監視が不要な自動運転中は解除する。

この場合、インターフェース制御部１７４は、例えば自動運転のモードの変更に伴って、自車両Ｍから車両乗員に対して通知すべき情報が発生した場合に、自動運転のモードの変更に伴い制限が緩和または解除されたインターフェース装置に、所定の情報（例えば、制限の緩和または解除により使用が許可されたことを示す情報等の車両乗員に対して通知すべき情報）を出力させる。このように、車両乗員に対し、自車両Ｍの自動運転の制御中に使用可能なインターフェース装置の情報を伝えることで、インターフェース装置の利便性を高めることができる。

また、インターフェース制御部１７４は、自動運転制御部１２０における自車両の加減速および／または車線変更に関するイベント情報を、使用が許可されたインターフェース装置に出力してもよい。また、インターフェース制御部１７４は、自動運転制御部１２０からハンドオーバリクエストを受け付けた場合には、その旨を使用が許可されたインターフェース装置に出力してもよい。この場合、インターフェース制御部１７４は、上述したイベント情報と、車両乗員に対するハンドオーバリクエストとのうち、一方または双方を含む情報をインターフェース装置に出力させる。これにより、車両乗員は、自動運転制御による自車両Ｍの運転状態を容易に把握することができる。

なお、第１の実施形態において、インターフェース制御部１７４は、自車両Ｍの車両乗員の視線方向を取得し、取得した視線方向にあるインターフェース装置に対して、上述した各種情報の出力制御を行ってもよい。その場合、視線検出部１７６は、車室内カメラ９５により撮像された車室内空間の画像から車両乗員の視線を検出する。視線検出部１７６は、例えば撮像された画像の輝度および形状等の特徴情報に基づいて、車両乗員の目頭の位置と、虹彩の位置とを検出し、その目頭と虹彩との位置関係から、視線を検出することができる。なお、視線検出手法については、上述した例に限定されるものではない。

図１３は、車両乗員の視線検出の内容を説明するための図である。図１３の例において、自車両Ｍ内の空間を撮像する車室内カメラ９５は、自車両Ｍ内に設置されたシート８８に着座している車両乗員Ｐを含む画像を撮影する。車室内カメラ９５で撮影された画像は、視線検出部１７６に出力される。視線検出部１７６は、車室内カメラ９５により撮像された画像から車両乗員Ｐの視線方向を検出し、検出した視線方向の情報をインターフェース制御部１７４に出力する。

インターフェース制御部１７４は、自動運転制御部１２０から得られる運転モードに基づいて、上述したモード別操作可否情報１８８から、使用が許可された非運転操作系のインターフェース装置を取得する。また、インターフェース制御部１７４は、視線検出部１７６から得られる車両乗員Ｐの視線情報から、使用が許可された非運転操作系のインターフェース装置のうち、車両乗員Ｐの視線方向にあるインターフェース装置を推定し、推定したインターフェース装置に対して、使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報のうち、少なくとも１つの情報を出力させる。これにより、車両乗員Ｐが見ている可能性の高いインターフェース装置のみに出力することができるため、車両乗員Ｐに対して、より確実に情報を伝達することができる。

インターフェース装置の推定については、例えば車室内カメラ９５の撮像範囲（画角）が固定である場合、インターフェース制御部１７４は、撮像画像上におけるナビゲーション装置５０、表示装置８２、コンテンツ再生装置８５のそれぞれの画像上の位置と、視線方向の情報とから、視線方向にあるインターフェース装置を推定することができる。また、インターフェース制御部１７４は、車室内カメラ９５により撮像された画像から色や形状等の特徴情報を抽出し、抽出した特徴情報から通信端末９６の位置を推定してもよい。

図１３の例では、車室内カメラ９５により撮像された撮像画像から車両乗員Ｐの視線方向を検出し、視線方向が矢印ａの場合、インターフェース制御部１７４は、車両乗員Ｐがナビゲーション装置５０を見ているものと推定し、ナビゲーション装置５０に対して、上述した使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報を出力させる。また、視線方向が矢印ｂの場合、インターフェース制御部１７４は、例えばインストルメントパネル等の表示装置８２を見ているものと推定し、表示装置８２に対して、上述した各種情報を出力させる。また、視線方向が矢印ｃの場合、インターフェース制御部１７４は、車両乗員Ｐが通信端末９６を見ているものと推定し、通信端末９６に対して、上述した各種情報を出力させる。これにより、例えばインターフェース装置に対する規制解除中に、乗員に視認されている蓋然性が高いインターフェース装置に自車両Ｍからの通知を行うため、車両乗員Ｐにすぐに気付かせることができる。したがって、装置の利便性を向上させることができる。

なお、インターフェース制御部１７４は、ハンドオーバリクエスト等を通知した後、所定時間が経過しても車両乗員Ｐによるステアリングホイール７８等の運転操作系等への操作がない場合、使用が許可された複数のインターフェース装置のうち、他のインターフェース装置に情報を出力させたり、音声等により情報を出力して、車両乗員Ｐに通知してもよい。これにより、車両乗員に対して、より確実に情報を伝達することができる。また、インターフェース制御部１７４は、運転モードに対する情報を通知してもよい。

図１４は、ナビゲーション装置５０に対する情報表示の一例を示す図である。図１４の例に示すナビゲーション装置５０は、フロント面５０Ａに、経路案内や設定画面等を表示する表示画面５０Ｂと、目的地等を設定する設定ボタン５０Ｃ等が設けられている。ここで、第１の実施形態において、ナビゲーション装置５０が、自動運転のモードの変更に伴って、車両乗員Ｐの使用が許可されたインターフェース装置となった場合、表示画面５０Ｂ上に、使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報のうち、少なくとも１つの情報がメッセージ画面５０Ｄとして表示される。図１４の例では、ハンドオーバリクエストに対応して、車両乗員Ｐに手動運転の準備をお願いする旨の表示がメッセージ画面５０Ｄが表示されているが、表示内容については、これに限定されるものではない。表示させる内容については、予め記憶部１８０に記憶される。インターフェース制御部１７４は、メッセージ画面５０Ｄを、例えば所定時間経過後、または、次のメッセージを表示する場合に消去してもよく、点滅表示や背景色に対応させて強調表示してもよい。

図１５は、表示装置８２に対する情報表示の一例を示す図である。図１５の例に示す表示装置８２は、フロント面８２Ａに、速度メーターやトルクの回転数を表示するメーター表示部８２Ｂと、ＤＶＤ等の再生映像や経路案内、テレビ番組等の娯楽、エンターテイメントに関する各種コンテンツを表示する表示画面８２Ｃ等が設けられている。このように、表示画面８２Ｃ等に表示される各種コンテンツは、上述したドライバーディストラクション規制が解除されたときに表示できるコンテンツの一例である。

ここで、第１の実施形態において、表示装置８２が、自動運転のモードの変更に伴って、使用が許可されたインターフェース装置となった場合、表示画面８２Ｃ上に、車両乗員Ｐの使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報のうち、少なくとも１つの情報がメッセージ画面８２Ｄとして表示される。図１５の例では、図１４と同様に、ハンドオーバリクエストに対応するメッセージ画面８２Ｄが表示されているが、表示内容については、これに限定されるものではない。インターフェース制御部１７４は、メッセージ画面８２Ｄを、例えば所定時間経過後、または、次のメッセージを表示する場合に消去してもよく、点滅表示や背景色に対応させて強調表示してもよい。

図１６は、通信端末９６に対する情報表示の一例を示す図である。図１６の例に示す通信端末９６は、フロント面９６Ａに、表示画面９６Ｂと、操作ボタン９６Ｃ等が設けられている。ここで、第１の実施形態において、通信端末９６が、自動運転のモードの変更に伴って、使用が許可されたインターフェース装置となった場合、表示画面９６Ｂ上に、車両乗員Ｐの使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報のうち、少なくとも１つの情報がメッセージ画面９６Ｄとして表示される。図１６の例では、図１４および図１５と同様に、ハンドオーバリクエストに対応するメッセージ画面９６Ｄが表示されているが、表示内容については、これに限定されるものではない。インターフェース制御部１７４は、メッセージ画面９６Ｄを、例えば所定時間経過後、または、次のメッセージを表示する場合に消去してもよく、点滅表示や背景色に対応させて強調表示してもよい。

＜第２の実施形態＞
次に、第２の実施形態について説明する。上述した第１の実施形態では、ＨＭＩ制御部１７０が、自動運転制御部１２０が実施する自動運転のモードに応じてインターフェース装置の使用を制限し、自動運転のモードの変更に伴って、使用が許可されたインターフェース装置に、使用が許可されたことを示す情報等を出力させていた。しかしながら、車両乗員Ｐは、自動運転時に、使用が許可されていないインターフェース装置を見ていたり、雑誌等の他の対象物を見ている場合も想定される。第２の実施形態では、ＨＭＩ７０の非運転操作系として、自車両Ｍの車室内に投影する投影装置（例えば、プロジェクタ等）を設け、車両乗員の視線方向にある視線対象物に対して、第１の実施形態で示した使用が許可されたことを示す情報、イベント情報、およびハンドオーバリクエスト等の情報を表示する。

図１７は、第２の実施形態におけるＨＭＩ７０Ａの構成図である。また、図１８は、自車両Ｍ内における投影装置９７の設置例を示す図である。図１７に示すように、ＨＭＩ７０Ａは、上述した第１の実施形態におけるＨＭＩ７０と比較すると、非運転操作系に投影装置（投影部）９７が追加で設けられている。したがって、以下では、投影装置９７についての説明を行い、他の構成等に関する説明は省略する。また、第２の実施形態におけるＨＭＩ７０Ａは、図２に示す車両制御システム１００を中心とした機能構成図におけるＨＭＩ７０と置き換わるものである。また、第２の実施形態においては、図２の記憶部１８０に示すモード別操作可否情報１８８を有していなくてもよい。

投影装置９７は、図１８の自車両Ｍの天井等に設けられている。投影装置９７は、上述したインターフェース制御部１７４から投影方向および投影する画像を取得し、取得した投影方向に対して画像を照射する。

第２の実施形態におけるＨＭＩ制御部１７０の構成は、上述した第１の実施形態と同様に、使用可否判定部１７２と、インターフェース制御部１７４と、視線検出部１７６とを備える。以下の説明では、特に第１の実施形態とは異なる処理内容について説明し、同一の処理内容についてのここでの説明は、省略する。

第２の実施形態において、インターフェース制御部１７４は、視線検出部１７６により検出された車両乗員の視線方向に対し、車両乗員に注視させたいインターフェース装置に関する情報等を投影装置９７から投影させる。例えば、インターフェース制御部１７４は、自動運転制御部１２０から得られるモード情報を取得し、取得したモード情報から、投影装置９７によって自動運転に自車両の運転状態を通知する運転モードか否かを判定する。例えば、手動運転モードである場合には、視線方向になんらか画像が投影されると、運転の妨げになる。そのため、インターフェース制御部１７４は、例えば自動運転モードの第１モードまたは第２のモードのときに、自車両の運転モードを通知する対象であると判定する。

例えば、自動運転制御部１２０から取得した運転モードが、自動運転に自車両の運転状態を通知する対象である場合、インターフェース制御部１７４は、視線検出部１７６により検出された視線方向に基づいて、視線方向にある視線対象物に、使用等の制限が緩和または解除されたインターフェース装置の情報を投影装置９７に投影させる。例えば、インターフェース制御部１７４は、自動運転制御部１２０による運転モードの変更に伴って、車両乗員による使用が許可されたインターフェース装置がどのインターフェース装置であるか（注視させたいインターフェース装置）を車両乗員の視線方向に投影させることができる。これにより、車両乗員は、操作可能になったインターフェース装置の情報を容易に把握することができる。

また、インターフェース制御部１７４は、第１の実施形態と同様に、自動運転におけるイベントまたはハンドオーバリクエスト等を視線対象物に投影してもよい。投影対象物としては、図１８に示すように、ナビゲーション装置５０のフロント面や表示装置８２のフロント面、通信端末９６のフロント面に上述した各種情報（投影画像）を投影することができ、またステアリングホイール７８の前面等にも投影することができる。

また、インターフェース制御部１７４は、視線対象物が雑誌や会話中の他の車両乗員等のように、ＨＭＩ７０のインターフェース装置ではない場合であっても、投影装置９７により上述した各種情報を投影させることができる。また、インターフェース制御部１７４は、車室内カメラ９５により撮像された画像から投影させる対象物の情報を取得し、取得した対象物に基づいて、投影装置９７により投影される画像の色、大きさ、および動きのうち、少なくとも１つを設定する。これにより、投影領域の背景色に対応させて車両乗員が視認しやすい色や大きさで表示させることができる。また、画像を動かすことで、その画像を車両乗員が気付き易くすることができる。また、インターフェース制御部１７４は、自動運転制御部１２０による運転モードの変更に伴って、車両乗員による使用が許可されたインターフェース装置がどのインターフェース装置であるかを車両乗員の視線方向に投影させることができる。

図１９は、投影装置９７により投影される様子の一例を示す図である。図１９（Ａ）〜図１９（Ｃ）では、それぞれ上述したナビゲーション装置５０と、表示装置８２と、通信端末９６とに対して、投影装置９７から情報（投影画像）を投影させた例を示している。図２０（Ａ）の例では、ナビゲーション装置５０のフロント面５０Ａに投影装置９７から投影された画像５０Ｅが表示されている。インターフェース制御部１７４は、画像５０Ｅをフロント面の色に対応させて車両乗員Ｐが視認できる色で強調表示させてもよく、画像５０Ｅを点滅表示したり、所定の周期で揺らす等の動きのある表示を行ってもよい。

また同様に、図１９（Ｂ）の例では、表示装置８２のフロント面８２Ａに、投影装置９７から投影された画像８２Ｅが表示されている。また、図１９（Ｃ）の例では、通信端末９６のフロント面９６Ａに画像９６Ｅが投影されている。なお、投影装置９７により投影される対象は、上述したナビゲーション装置５０、表示装置８２、および通信端末９６に限定されるものではなく、例えば車両乗員Ｐが読んでいる雑誌や、運転席用のシート８８に着座していない他の車両乗員（自車両Ｍ内で会話している対象者）の顔や体に投影されてもよい。このように、第２の実施形態では、車両乗員Ｐの視線対象に対して自動運転に関連する情報を投影するため、車両乗員Ｐは、自動運転に関連する情報を迅速に把握することができる。

＜処理フロー＞
以下、本実施形態に係る車両制御システム１００よる処理の流れについて説明する。なお、以下の説明では、車両制御システム１００のおける各種処理のうち、主にＨＭＩ制御部１７０により実施される車両乗員への通知に関するＨＭＩ制御処理の流れについて説明する。

［第１の実施例］
図２０は、ＨＭＩ制御処理の第１の実施例を示すフローチャートである。図２０の例において、使用可否判定部１７２は、自動運転制御部１２０から自車両Ｍの運転モードに関する情報を取得し（ステップＳ１００）、取得した運転モードに対応して車両乗員が使用可能なインターフェース装置を判定する（ステップＳ１０２）。

次に、インターフェース制御部１７４は、使用可否判定部１７２の判定結果に基づいて、運転モードの変更に伴って、車両乗員による使用が許可されたインターフェース装置があるか否かを判定する（ステップＳ１０４）。使用が許可されたインターフェース装置がある場合、インターフェース制御部１７４は、その使用が許可されたインターフェース装置に対して、使用が許可されたことを示す情報を表示する（ステップＳ１０６）。ステップＳ１０６の処理で表示される内容としては、例えば「運転モードが自動運転モードに切り替わりましたので、操作が可能になりました。」等のメッセージを表示するが、表示内容については、これに限定されるものではない。

次に、インターフェース制御部１７４は、使用が許可されているインターフェース装置に対して、自動運転におけるイベントまたはハンドオーバリクエスト等を表示する（ステップＳ１０８）。ステップＳ１０８の処理で表示される内容としては、例えば「車線変更イベントを実施しています。」や上述した「手動運転の準備をお願いします」等のメッセージを表示するが、表示内容については、これに限定されるものではない。なお、上述したステップＳ１０４の処理において、運転モードの変更に伴って使用が許可されたインターフェース装置がない場合であっても、インターフェース制御部１７４は、すでに使用が許可されているインターフェース装置に対して自動運転におけるイベントまたはハンドオーバリクエスト等を表示してもよい。

［第２の実施例］
図２１は、ＨＭＩ制御処理の第２の実施例を示すフローチャートである。なお、図２１に示すステップＳ２００〜Ｓ２０４の処理については、上述したステップＳ１００〜Ｓ１０４と同様であるため、ここでの具体的な説明は省略する。

ステップＳ２０４の処理において、車室内カメラ９５で撮像した画像を取得し、取得した画像に基づいて車両乗員の視線方向を検出する（ステップＳ２０６）。次に、インターフェース制御部１７４は、視線方向にあって、且つ、使用が許可されたインターフェース装置に対して、使用が許可されたことを示す情報を表示する（ステップＳ２０８）。次に、インターフェース制御部１７４は、表示対象のインターフェース装置に自動運転におけるイベントまたはハンドオーバリクエスト等を表示する（ステップＳ２１０）。上述したステップＳ２０４の処理において、運転モードの変更に伴って使用が許可されたインターフェース装置がないお場合、インターフェース制御部１７４は、すでに使用が許可されている表示対象のインターフェース装置に対して自動運転におけるイベントまたはハンドオーバリクエスト等を表示してもよい。

次に、インターフェース制御部１７４は、ステップＳ２１０による表示処理を行った後、車両乗員の操作がない状態が所定時間以上か否かを判定する（ステップＳ２１２）。車両乗員の操作がない状態が所定時間以上である場合、インターフェース制御部１７４は、使用が許可された他のインターフェース装置にイベントまたはハンドオーバリクエスト等を表示する（ステップＳ２１４）。これにより、例えばハンドオーバリスエスト等による車両乗員のステアリング操作、アクセル操作、およびブレーキ操作等のうち、少なくとも１つの操作が必要な場合に、その旨の情報を車両乗員に確実に通知することができる。なお、インターフェース制御部１７４は、表示だけでなく、音や車両乗員が着座するシートへの振動等により車両乗員に通知を気付かせる制御を行ってもよい。

［第３の実施例］
図２２は、ＨＭＩ制御処理の第３の実施例を示すフローチャートである。なお、図２２に示すステップＳ３００〜Ｓ３０２の処理については、上述した第１の実施例のステップＳ１００〜Ｓ１０２と同様であるため、ここでの具体的な説明は省略する。

ステップＳ３０２の処理をした後、インターフェース制御部１７４は、自車両の運転状態を通知する運転モードか否かを判定する（ステップＳ３０４）。自車両Ｍの運転状態を通知する運転モードである場合、インターフェース制御部１７４は、車室内カメラで撮像した画像に基づいて車両乗員の視線方向を検出し（ステップＳ３０６）、視線方向にある視線対象物に、使用が許可されたインターフェース装置の情報を投影する（ステップＳ３０８）。ステップＳ３０８の処理で表示される内容としては、例えば「ナビゲーション装置が使用可能となりました」等のメッセージを表示するが、表示内容については、これに限定されるものではない。

次に、インターフェース制御部１７４は、対象物に自動運転におけるイベントまたはハンドオーバリクエスト等を表示する（ステップＳ３１０）。なお、インターフェース制御部１７４は、自車両Ｍの運転状態を通知する運転モードではない場合、投影による通知を行わない。なお、実施形態としては、上述した各実施例の一部または全部を組み合わせてもよい。

なお、上記実施形態は、以下のように表現することができる。
自車両内の空間を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて車両乗員の視線を検出する視線検出部と、
前記自車両内の空間に画像を投影する投影部と、
前記視線検出部により検出された前記車両乗員の視線方向に対し、前記車両乗員に注視させたいインターフェース装置に関する情報を前記投影部から投影させるインターフェース制御部と、
を備える車両制御システム。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

本発明は、自動車製造産業に利用することができる。

２０…ファインダ、３０…レーダ、４０…カメラ、ＤＤ…検知デバイス、５０…ナビゲーション装置、５５…通信装置、６０…車両センサ、７０…ＨＭＩ、１００…車両制御システム、１１０…目標車線決定部、１２０…自動運転制御部、１３０…自動運転モード制御部、１４０…自車位置認識部、１４２…外界認識部、１４４…行動計画生成部、１４６…軌道生成部、１４６Ａ…走行態様決定部、１４６Ｂ…軌道候補生成部、１４６Ｃ…評価・選択部、１５０…切替制御部、１６０…走行制御部、１７０…ＨＭＩ制御部、１７２…使用可否判定部、１７４…インターフェース制御部、１７６…視線検出部、１８０…記憶部、２００…走行駆動力出力装置、２１０…ステアリング装置、２２０…ブレーキ装置、Ｍ…自車両

Claims (12)

1. 自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転制御部であって、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行う自動運転制御部と、
   前記自車両の乗員の操作を受け付けるとともに情報を出力するインターフェース装置と、
   前記自動運転制御部が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限するインターフェース制御部と、を備え、
   前記インターフェース制御部は、前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、
   車両制御システム。
2. 前記インターフェース制御部は、
   前記自動運転のモードの変更に伴って、前記インターフェース装置の使用が許可されたことを示す情報を出力させる、
   請求項１に記載の車両制御システム。
3. 前記インターフェース制御部は、
   前記インターフェース装置の使用を、手動運転中または前記乗員による周辺監視が必要な自動運転中は制限し、前記乗員による周辺監視が不要な自動運転中は解除する、
   請求項１に記載の車両制御システム。
4. 前記インターフェース制御部は、
   前記自動運転制御部における前記自車両の加減速および／または車線変更に関するイベントと、前記自車両の乗員に対するハンドオーバリクエストとのうち、一方または双方を含む情報を前記インターフェース装置に出力させる、
   請求項１に記載の車両制御システム。
5. 前記自車両内の空間を撮像する撮像部と、
   前記撮像部により撮像された画像に基づいて前記乗員の視線方向を検出する視線検出部と、を更に備え、
   前記インターフェース制御部は、前記視線検出部により検出された前記乗員の視線方向にあるインターフェース装置に情報を出力させる、
   請求項１に記載の車両制御システム。
6. 前記インターフェース制御部は、
   前記視線検出部により検出された前記乗員の視線方向にあるインターフェース装置に情報を出力させてから所定時間以内に、前記乗員からの操作を受け付けなかった場合に、前記情報を出力させたインターフェース装置以外のインターフェース装置に前記情報を出力させる、
   請求項５に記載の車両制御システム。
7. 前記インターフェース装置は、ナビゲーション装置、表示装置、および通信端末のうち、少なくとも１つを含む、
   請求項１に記載の車両制御システム。
8. 前記自車両内の空間を撮像する撮像部と、
   前記撮像部により撮像された画像に基づいて前記乗員の視線を検出する視線検出部と、
   前記自車両内の空間に画像を投影する投影部と、を更に備え、
   前記インターフェース制御部は、前記視線検出部により検出された前記乗員の視線方向に対し、前記自動運転制御部が実施する自動運転のモードの変更に伴って、前記制限が緩和または解除されたインターフェース装置に関する情報を前記投影部から投影させる、
   請求項１に記載の車両制御システム。
9. 前記インターフェース制御部は、
   前記撮像部により撮像された画像から前記自車両の自動運転に関する情報を投影させる対象物の情報を取得し、取得した対象物に基づいて、前記投影部により投影される画像の色、大きさ、および動きのうち、少なくとも１つを設定する、
   請求項８に記載の車両制御システム。
10. 前記インターフェース制御部は、
    前記自動運転制御部による運転モードの変更に伴って、前記乗員による使用が許可されたインターフェース装置に関する情報を前記乗員の視線方向に投影させる、
    請求項８に記載の車両制御システム。
11. 車載コンピュータが、
    自車両の加減速および操舵のうち少なくとも一方を自動的に制御するとともに、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行い、
    前記自車両の乗員の操作を受け付けるとともにインターフェース装置に情報を出力させ、
    前記自動運転制御が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限し、
    前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、
    車両制御方法。
12. 車載コンピュータに、
    自車両の加減速および操舵のうち少なくとも一方を自動的に制御するとともに、自動運転の度合が異なる複数のモードの何れかで自動運転制御を行い、
    前記自車両の乗員の操作を受け付けるとともにインターフェース装置に情報を出力させ、
    前記自動運転制御が実施する自動運転のモードに応じて、前記インターフェース装置に対する前記自車両の乗員の操作の受け付け、または前記インターフェース装置における前記情報の出力を制限し、
    前記自車両から前記乗員に対して通知すべき情報が発生した場合に、前記自動運転のモードの変更に伴い前記制限が緩和または解除されたインターフェース装置に前記通知すべき情報を出力させる、
    処理を実行させるための車両制御プログラム。

Images