JP7051263B2 - 運転計画変更指示装置および運転計画変更指示方法 - Google Patents

Description

この発明は、車両の自動運転計画の変更指示に関する。

車両走行制御の一部または全部を車両システムが実施する自動運転システムが開発されている。この自動運転システムでは、運転者が車両の走行制御を指示することができる。例えば、特許文献１では、運転者がウィンカーレバーを操作することによって右車線または左車線への車線変更を指示する方法が開示されている。ウィンカーレバーは、運転者が手動運転時に操作する運転補助装置であるため、これを用いて自動運転の走行制御を指示することにより、手動運転時との違和感なく指示することができる。

特開２０１７－１０２５１９号公報

ウィンカーレバー等の運転補助装置は、手動運転時に操作されるものであるため、例えばステアリング付近など、運転者が運転姿勢をとったときに操作することが可能な車両内の位置に設けられている。一方、高次の自動運転レベルの自動運転では、運転者は走行環境の視認と運転操作から解放されるため、運転姿勢をとらないことが想定される。従って、特許文献１のような運転操作機器を用いて車両の走行制御を指示する方法は、低次の自動運転レベルには適しているものの、高次の自動運転レベルにおいては運転者にとっての利便性が低いという問題があった。

本発明は上記の課題に鑑み、乗員が運転姿勢をとらなくても車両の運転計画の変更を指示することを目的とする。

本発明の運転計画変更指示装置は、運転計画に沿って対象車両の自動運転を行う運転制御装置に、現在実行中の第１運転計画から第２運転計画への変更を指示する運転計画変更指示装置であって、対象車両の乗員の視線方向の情報を含む視線情報に基づき乗員の視線が第２運転計画に対応する方向の操作視線であるか否かを判断する視線判断部と、対象車両に搭載され乗員の操作を受け付ける入力装置から、対象車両の運転計画を第１運転計画から第２運転計画へ変更する旨の直接操作情報を取得する直接操作取得部と、対象車両の自動運転レベルが予め定められた第１レベル以上かつ第１レベルより高い予め定められた第２レベル未満である場合に、操作視線に基づき第１運転計画に代えて第２運転計画を実行する旨の第１指示と、直接操作情報に基づき第１運転計画に代えて第２運転計画を実行する旨の第２指示とを運転制御装置に行い、対象車両の自動運転レベルが第１レベル未満である場合に、直接操作情報に基づき第２指示を運転制御装置に行い、対象車両の自動運転レベルが第２レベル以上である場合に、操作視線に基づき第１指示を運転制御装置に行う指示部と、を備え、乗員の予め定められたジェスチャーまたは発話を操作行動として検出する操作行動検出部をさらに備え、指示部は、操作視線と操作行動に基づき第１指示を行い、指示部は、操作行動検出部による操作行動の検出時刻と視線判断部による操作視線の検出時刻との時間差が予め定められた第１時間内である場合に、第１指示を行い、第１時間は、対象車両の自動運転レベルに応じて定められ、対象車両の自動運転レベルが第１レベル以上かつ第２レベル未満である場合に、指示部は、乗員の視線が操作視線である場合に、操作視線に基づき第１指示を運転制御装置に行い、乗員の視線が操作視線でない場合に、直接操作情報に基づき第２指示を運転制御装置に行う。

本発明の運転計画変更指示装置は、操作視線に基づき、第１運転計画に代えて第２運転計画を実行する旨の指示を運転制御装置に行う。従って、乗員が運転姿勢をとらなくても操作視線により、車両の運転計画の変更を指示することが可能となる。本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１の運転計画変更指示装置の構成を示すブロック図である。 対象車両が左車線を定速走行している状態を示す図である。 対象車両が先行車両に追いついた状態を示す図である。 操作視線を規定する注視範囲を示す図である。 対象車両が先行車両を追い越す状態を示す図である。 実施の形態１の運転計画変更指示装置の動作を示すフローチャートである。 実施の形態２の運転計画変更指示装置の動作を示すフローチャートである。 実施の形態３の運転計画変更指示装置の構成を示すブロック図である。 実施の形態３の運転計画変更指示装置の動作を示すフローチャートである。 実施の形態４の運転計画変更指示装置の構成を示すブロック図である。 実施の形態４の運転計画変更指示装置の動作を示すフローチャートである。 ＨＵＤにおける通知オブジェクトの表示例を示す図である。 ＨＵＤにおける通知オブジェクトの表示例を示す図である。 ＨＵＤにおける通知オブジェクトの表示例を示す図である。 実施の形態５の運転計画変更指示装置の構成を示すブロック図である。 実施の形態５の運転計画変更指示装置の動作を示すフローチャートである。 操作視線とジェスチャーの時間関係を示す図である。 操作視線とジェスチャーの時間関係を示す図である。 操作視線とジェスチャーの時間関係を示す図である。 実施の形態６の運転計画変更指示装置の構成を示すブロック図である。 運転計画変更指示装置のハードウェア構成図である。 運転計画変更指示装置のハードウェア構成図である。 対象車両とサーバによる実施の形態１の運転計画変更指示装置の構成例を示す図である。

＜Ａ．実施の形態１＞
図１は、実施の形態１の運転計画変更指示装置１０１の構成を示すブロック図である。運転計画変更指示装置１０１は、計画変更判断部１１、視線判断部１２および指示部１３を備えている。また、運転計画変更指示装置１０１は、視線検出装置２１、周辺情報検出装置２２および運転制御装置２３と接続され、これらを利用可能に構成されている。

視線検出装置２１は、対象車両に搭載され、対象車両の運転者を撮影するカメラ（図示せず）を備えている。視線検出装置２１は、カメラの撮影画像を基に運転者の視線方向を検出し、視線判断部１２に出力する。本明細書では、視線検出装置２１により視線方向を検出される運転者が搭乗する車両を「対象車両」と称し、それ以外の車両を「周辺車両」、「先行車両」または「後続車両」等と称する。

周辺情報検出装置２２は、対象車両に搭載された各種のセンサを用いて対象車両の周辺物の位置情報を検出する。各種のセンサとは、例えばカメラ、ミリ波レーダ、超音波センサまたはレーザレーダ等である。ここで対象車両の周辺物は、道路、白線、ガードレールといった周辺の地物と、先行車両または後続車両といった周辺の移動体とを含む。周辺情報検出装置２２は、検出した周辺物の位置情報を周辺情報として運転制御装置２３と運転計画変更指示装置１０１の計画変更判断部１１に出力する。

運転制御装置２３は、運転計画に沿って走行駆動系２４を制御し、車両の自動運転を行う。走行駆動系２４は、操舵ＥＣＵ（Electronic Control Unit）、加速ＥＣＵおよび制動ＥＣＵを含み、運転制御装置２３の命令に基づき走行制御を実施する。運転制御装置２３は、例えば自動運転用の道路地図データベース（ＤＢ）を有しており、これに基づき長期の運転計画を作成する。また、運転制御装置２３は、周辺情報検出装置２２から周辺情報を取得し、周辺情報、対象車両の位置情報、および道路地図ＤＢに基づき、短期の運転計画を作成する。なお、運転制御装置２３は、周辺情報と対象車両の位置情報のみを用いて運転計画を作成しても良く、道路地図ＤＢは必須の構成ではない。

運転計画変更指示装置１０１は、例えば対象車両に搭載された装置として構成される。計画変更判断部１１は、周辺情報検出装置２２から取得した周辺情報に基づき、運転計画の変更が可能か否かを判断する。ここで、運転制御装置２３が現在実行中の運転計画を第１運転計画とし、変更後の運転計画を第２運転計画とする。すなわち、計画変更判断部１１は、運転制御装置２３が運転計画を第１運転計画から第２運転計画へ変更可能であるか否かを判断する。

図２および図３を用いて、第２運転計画の変更可否判断例を説明する。図２は、対象車両Ａが２車線道路の左車線を時速１００ｋｍで定速走行している状態を示している。ここで、「先行車両に追いつくまで時速１００ｋｍで定速走行し、先行車両に追いついた後、速度差が時速１０ｋｍ未満であれば追従走行し、速度差が時速１０ｋｍ以上であれば車線変更して追い越す」を第１運転計画とする。図２では、先行車両が存在しないため、対象車両Ａは第１運転計画に沿って矢印４１に示すように左車線を定速走行する。

図３は、対象車両Ａが先行車両Ｂに追いついた状態を示している。先行車両Ｂに追いついた状態とは、例えば対象車両Ａと先行車両Ｂの車間距離が１００ｍ以内になった状態であり、計画変更判断部１１は周辺情報検出装置２２から取得した周辺情報に基づきこれを判断している。先行車両Ｂの速度を時速９５ｋｍとすると、対象車両Ａの速度は時速１００ｋｍであり、両者の速度差は時速５ｋｍである。両者の速度差が時速１０ｋｍ未満であるため、第１運転計画によれば、対象車両Ａは先行車両Ｂに追従走行することになる。一方、右車線における周辺車両の走行状況によっては、対象車両Ａは右車線に車線変更して先行車両Ｂを追い越すことも可能である。そこで、計画変更判断部１１は、周辺情報に基づき、車線変更後の車線である右車線に周辺車両が走行していないかを判断し、周辺車両の走行状況に応じて、先行車両Ｂを追い越す第２運転計画が可能であると判断する。ここで、第２運転計画は、例えば「先行車両に追いつくまで時速１００ｋｍで定速走行し、先行車両に追いついた後、常に車線変更して追い越す」となる。

視線判断部１２は、視線検出装置２１から運転者の視線方向の情報を含む視線情報を取得し、これに基づき運転者の視線が操作視線であるか否かを判断する。操作視線とは、運転計画変更指示装置１０１が運転制御装置２３に運転計画の変更を指示するトリガとなる視線のことである。操作視線の方向は、運転計画変更指示装置１０１において、第２運転計画に応じて予め定められている。視線判断部１２は、運転者の視線が、一定時間以上、例えば５秒以上連続して第２運転計画に対応する方向である場合に、当該視線を操作視線と判断する。図３の例では、第２運転計画が隣接車線である右車線への車線変更を伴う。そのため、図４に示すように、先行車両Ｂの右前方の隣接車線上の注視範囲４３を運転者が対象車両Ａから視認する方向の視線が、操作視線となる。このように、第２運転計画による対象車両の挙動に関係する周辺物を視認する方向が、操作視線の方向となるため、運転者にとっては視認すべき方向を直感的に把握しやすい。

指示部１３は、計画変更判断部１１が運転計画を第２運転計画に変更可能であると判断し、かつ視線判断部１２が運転者の視線を操作視線であると判断した場合に、第１運転計画に代えて第２運転計画を実行する旨の指示である第１指示を運転制御装置２３に行う。第１指示を受けた運転制御装置２３は、第２運転計画に沿って対象車両の自動運転を実行する。その結果、対象車両Ａは図５の矢印４２で示すように、右車線へ車線変更して先行車両Ｂを追い越した後、左車線へ戻る。なお、左車線へ戻った対象車両Ａは、第１運転計画に戻っても良いし、第２運転計画のまま走行しても良い。

図６は、運転計画変更指示装置１０１の動作を示すフローチャートである。以下、図６に沿って運転計画変更指示装置１０１の動作を説明する。図６のフローは、例えば対象車両が、第１運転計画で走行を開始したタイミングで開始する。

まず、計画変更判断部１１が、第２運転計画を実施可能か否かを判断する（ステップＳ１０１）。ステップＳ１０１において第２運転計画を実施可能でない場合、フローはステップＳ１０１を繰り返す。

ステップＳ１０１において第２運転計画を実施可能である場合、視線判断部１２が、運転者の視線が操作視線であるか否かを判断する（ステップＳ１０２）。ステップＳ１０２において運転者の視線が操作視線でない場合、フローはステップＳ１０１に戻る。

ステップＳ１０２において運転者の視線が操作視線である場合、指示部１３が、運転計画を第１運転計画から第２運転計画へ変更するように運転制御装置２３へ指示する（ステップＳ１０３）。

図４では、右車線への車線変更を伴う第２運転計画に対して、先行車両Ｂの右前方の注視範囲４３を視認する方向の視線が操作視線となったが、これは一例である。同様の状況において、先行車両Ｂを運転者が視認する方向、または先行車両の前方の走行車線を運転者が視認する方向の視線が操作視線であっても良い。

図４の例では、操作視線の方向が先行車両Ｂとの位置関係によって、すなわち周辺物との関係によって定められた。図１における周辺情報検出装置２２から視線判断部１２への矢印はこのことを反映している。しかし、視線判断部１２は、操作視線を判断するために必ずしも周辺情報を用いなくても良い。例えば、図２に示すように、対象車両Ａの走行車線の前方の一定距離内、例えば１００ｍ以内に先行車両がいない状況で、計画変更判断部１１は定速走行の設定速度を大きくすることが可能と判断しても良い。すなわち、「時速１００ｋｍでの定速走行」が第１運転計画であり、「時速１１０ｋｍでの定速走行」が第２運転計画である。このように、第２運転計画が定速走行の設定速度を大きくする計画である場合、操作視線の方向は、運転者が対象車両Ａの走行車線の前方の遠くの道路を見る方向、例えば５０ｍ以上先の道路を見る方向であっても良い。このとき、操作視線の方向は、対象車両Ａとの位置関係のみによって特定される。

また、対象車両Ａの走行車線の後方の一定距離内、例えば１００ｍ以内に後続車両がいない状況で、計画変更判断部１１は定速走行の設定速度を小さくすることが可能と判断しても良い。すなわち、「時速１００ｋｍでの定速走行」が第１運転計画であり、「時速９０ｋｍでの定速走行」が第２運転計画である。このように、第２運転計画が定速走行の設定速度を小さくする計画である場合、操作視線の方向は、運転者が対象車両Ａの走行車線の前方の近くの道路を見る方向、例えば１０ｍ先から３０ｍ先までの道路を見る方向であっても良い。あるいは、操作視線の方向は、運転者が対象車両Ａの後方の走行車線を見る方向、例えば対象車両Ａの後方５０ｍの走行車線を見る方向であっても良い。このとき、操作視線の方向は、対象車両Ａとの位置関係のみによって特定される。

操作視線は、視線の方向に加えて、視線の移動方向によって定義されても良い。すなわち、操作視線は視線ジェスチャーであっても良い。例えば、第２運転計画が定速走行の設定速度を大きくする計画である場合、視線判断部１２は、対象車両の前方の走行車線、例えば５０ｍ先の走行車線から前方に視点を移動する視線ジェスチャーを、操作視線と判断しても良い。また、第２運転計画が定速走行時の設定速度を小さくする計画である場合、視線判断部１２は、対象車両の前方の走行車線、例えば５０ｍ先の走行車線から対象車両Ａ側に視点を移動する視線ジェスチャーを、操作視線と判断しても良い。このように、視線ジェスチャーにおける視線の移動方向が第２運転計画における設定速度の上昇または低下と関連付けられていても良い。

また、視線ジェスチャーにおける視線の移動速度または移動距離が、第２運転計画のパラメータに関連づけられていても良い。例えば、第２運転計画が定速走行の設定速度の変更を伴う計画である場合、操作視線となる視線ジェスチャーにおける視線の移動速度が速いほど、あるいは視線の移動距離が大きいほど、設定速度の変更幅が大きくても良い。

上記の説明では、視線判断部１２は対象車両の運転者の視線が操作視線であるか否かを判断したが、運転者以外の対象車両の乗員の視線が操作視線であるか否かを判断しても良い。すなわち、運転計画変更指示装置１０１は、運転者以外の対象車両の乗員の視線に基づいて、運転制御装置２３に運転計画の変更を指示しても良い。

図３および図４では、運転計画が第１運転計画から第２運転計画へ変わることにより、対象車両Ａが直ちに車線変更して先行車両Ｂを追い越すことについて説明した。しかし、第２運転計画は、必ずしも対象車両の挙動を直ちに変えるものでなくても良い。例えば、図３に示す状況で、計画変更判断部１１は、「先行車両に追いつくまで時速１００ｋｍで定速走行し、先行車両に追いついた後、速度差が時速８ｋｍ未満であれば追従走行し、時速８ｋｍ以上であれば車線変更して追い越す」を第２運転計画としても良い。このとき、対象車両Ａと先行車両Ｂの時速差は５ｋｍであるため、運転計画が第２運転計画に変更されても、対象車両Ａは先行車両Ｂの追い越しを行わない。その後、先行車両Ｂの速度が時速９２ｋｍ未満になれば、対象車両Ａの定速走行の設定速度との速度差が時速８ｋｍ以上となるため、対象車両Ａは先行車両Ｂを追い越す。このように、第２運転計画は必ずしも対象車両の挙動を直ちに変化させず、自動運転に関する制御パラメータを変更するものであっても良い。

また、上記の説明では、視線判断部１２は運転者が第２運転計画に対応する方向を５秒以上連続して視認した場合に、当該視線を操作視線と判断した。この操作視線を判断する条件となる連続視認時間は、必ずしも５秒でなくても良い。連続視認時間は、対象車両の自動運転レベルに応じて定められても良い。つまり、自動運転レベルが高いほど運転者は運転操作から解放されるため、連続視認時間が長く設定され、自動運転レベルが低いほど連続視認時間が短く設定されていても良い。

実施の形態１の運転計画変更指示装置１０１は、対象車両の乗員の視線方向の情報を含む視線情報に基づき乗員の視線が第２運転計画に対応する方向の操作視線であるか否かを判断する視線判断部１２と、操作視線に基づき、第１運転計画に代えて第２運転計画を実行する旨の指示である第１指示を運転制御装置２３に行う指示部１３と、を備える。従って、乗員は、運転姿勢をとらなくても、自身の視線を用いて、運転計画の変更を指示することができる。

＜Ｂ．実施の形態２＞
実施の形態２の運転計画変更指示装置１０２の構成は、図１に示した実施の形態１の運転計画変更指示装置１０１と同様である。但し、運転計画変更指示装置１０２は、対象車両の自動運転レベルが高次の場合、すなわち予め定められた第１レベル以上の場合に限って操作視線による運転計画の変更指示を行うという点で、運転計画変更指示装置１０１と異なる。

図７は、運転計画変更指示装置１０２の動作を示すフローチャートである。以下、図７に沿って運転計画変更指示装置１０２の動作を説明する。図７のフローは、例えば対象車両が、第１運転計画で走行を開始したタイミングで開始する。なお、図７のステップＳ２０１，Ｓ２０３，Ｓ２０４は図６のステップＳ１０１，Ｓ１０２，Ｓ１０３と同様であるため、適宜説明を省略する。計画変更判断部１１が第２運転計画の実施を可能と判断すると（ステップＳ２０１でＹｅｓ）、指示部１３は現時点の対象車両の自動運転レベルが３以上であるか否かを判断する（ステップＳ２０２）。ここでは、レベル３以上を高次の自動運転レベルとしている。

ステップＳ２０２において自動運転レベルが３未満であれば、運転計画変更指示装置１０２の動作はステップＳ２０１に戻る。ステップＳ２０２において自動運転レベルが３以上であれば、運転計画変更指示装置１０２の動作はステップＳ２０３の視線判断部１２による処理に進む。

このように、運転計画変更指示装置１０２において、指示部１３は、対象車両の自動運転レベルが予め定められた第１レベル以上、例えばレベル３以上の場合に限って操作視線に基づく運転計画の変更指示（第１指示）を行う。なお、本明細書では、自動運転レベルの定義として、ＳＡＥ（Society of Automotive Engineers） Ｉｎｔｅｒｎａｔｉｏｎａｌによる６段階の自動運転レベルの定義を用いる。レベル３では、運転者は基本的に運転タスクを実行しないため、ステアリングを握った運転姿勢を保持しないことが想定される。このような場合でも、運転計画変更指示装置１０２によれば、運転者は視線により運転計画の変更を指示することが可能であるため、自動運転の利便性が損なわれない。

＜Ｃ．実施の形態３＞
実施の形態１，２の運転計画変更指示装置１０１，１０２は、運転者の操作視線に基づいて運転制御装置２３に運転計画の変更を指示した。運転者は自身の視線を特定の方向へ向けるだけで、入力装置を操作することなく運転計画の変更を行うことができる。本明細書では、このような入力装置の操作を必要としない指示方法を「間接操作」と称し、これに対して、入力装置を操作して運転計画の変更を指示することを「直接操作」と称する。実施の形態３の運転計画変更指示装置１０３は、操作視線という間接操作と直接操作を併用する。

図８は、運転計画変更指示装置１０３の構成を示すブロック図である。運転計画変更指示装置１０３は、実施の形態２の運転計画変更指示装置１０２の構成に加えて、直接操作取得部１４を備えている。また、運転計画変更指示装置１０３は、運転補助装置２５およびインジケータ２６と接続され、これらを利用可能に構成されている。その他の運転計画変更指示装置１０３の構成は実施の形態２の運転計画変更指示装置１０２と同様である。

運転補助装置２５は、運転計画変更指示装置１０３に対する入力装置であり、対象車両に設けられる。運転補助装置２５は、運転者から運転計画の変更を指示する直接操作を受け付け、運転計画変更指示装置１０３の直接操作取得部１４に直接操作情報として出力する。このように、運転補助装置２５は直接操作を行うための入力装置として機能する。さらに、運転補助装置２５は、運転者から対象車両の自動運転レベルの切替を指示する操作を受け付けて運転計画変更指示装置１０３の直接操作取得部１４に出力する。このように、運転補助装置２５は自動運転レベルの切り替えを行うための入力装置としても機能する。運転者が運転補助装置２５を用いて自動運転レベルの切り替えを指示すると、その操作情報が運転計画変更指示装置１０３の指示部１３を介して運転制御装置２３に入力される。運転補助装置２５は、専用のレバー等であっても良いし、ウィンカーレバー等、対象車両の手動操作に用いられる装置と兼用しても良い。

インジケータ２６は、対象車両に設けられ、指示部１３の制御を受けて現在の対象車両の自動運転レベルなど、自動運転状態に関する情報を表示する。運転者は、インジケータ２６により現在の自動運転レベルを把握することができる。

図９は、運転計画変更指示装置１０３の動作を示すフローチャートである。以下、図９に沿って運転計画変更指示装置１０３の動作を説明する。図９のフローは、例えば対象車両のアクセサリ電源がオンになったタイミングで開始する。なお、図９のステップＳ３０４，Ｓ３０５，Ｓ３０６，Ｓ３０８は図７のステップＳ２０１，Ｓ２０２，Ｓ２０３，Ｓ２０４と同様であるため、適宜説明を省略する。

まず、運転制御装置２３が対象車両の自動運転レベルを０に設定する（ステップＳ３０１）。指示部１３は、運転制御装置２３から自動運転レベルの情報を取得し、インジケータ２６に表示させる。インジケータ２６には、自動運転レベルが０であることの表示が行われる。このように、対象車両はアクセサリ電源がオンになった直後の初期状態においては手動運転モードになっている。運転者は運転補助装置２５を操作して指示部１３に対し自動運転レベルの変更を指示することが可能である。

ステップＳ３０１の後、指示部１３は、一定時間自動運転レベルの変更指示を待機する（ステップＳ３０２）。待機時間中に運転補助装置２５から直接操作取得部１４に自動運転レベルの変更指示がなければ（ステップＳ３０２でＮｏ）、フローはステップＳ３０４に進む。

一方、待機時間中に運転補助装置２５から直接操作取得部１４に自動運転レベルの変更指示があれば（ステップＳ３０２でＹｅｓ）、指示部１３は自動運転レベルの変更指示を運転制御装置２３に出力し、運転制御装置２３は変更指示に従い自動運転レベルを変更する（ステップＳ３０３）。指示部１３は、変更後の自動運転レベルをインジケータ２６に表示させる。

ステップＳ３０３の後、またはステップＳ３０２でＮｏの場合、フローはステップＳ３０４に進む。ステップＳ３０４において、計画変更判断部１１が、第２運転計画を実施可能か否かを判断する。ステップＳ３０４において第２運転計画を実施可能でない場合、フローはステップＳ３０２に戻る。

ステップＳ３０４において第２運転計画を実施可能な場合、指示部１３は、変更後の自動運転レベルが３以上であるか否かを判断する（ステップＳ３０５）。ステップＳ３０５において自動運転レベルが３未満である場合、運転者は常に少なくとも一部の運転タスクを実行しているため、ステアリングを把持した運転姿勢を保っている。従って、運転者が直接操作を行うことに不都合はない。そのため、運転計画変更指示装置１０３は操作視線の判断処理を行わずにステップＳ３０７の処理に進む。

一方、高次の自動運転レベルでは運転者が実行する運転タスクは少ないか、または存在せず、それに伴い運転者は運転姿勢を保持しなくなる。そのため、運転計画の変更指示をするために運転者が運転補助装置２５を操作するのは利便性が悪い。従って、ステップＳ３０５において自動運転レベルが３以上であれば、運転計画変更指示装置１０３は操作視線を受け付ける。すなわち、視線判断部１２において、運転者の視線が操作視線であるか否かを判断する（ステップＳ３０６）。ステップＳ３０６において運転者の視線が操作視線でない場合、フローはステップＳ３０７に進む。

ステップＳ３０７において、指示部１３は運転補助装置２５における直接操作があるか、すなわち運転補助装置２５から直接操作情報を取得したかを判断する。ステップＳ３０６において操作視線がある場合、またはステップＳ３０７において直接操作がある場合、指示部１３は、運転計画を第１運転計画から第２運転計画へ変更するように運転制御装置２３へ指示する（ステップＳ３０８）。この指示は、直接操作情報に基づき行われるため、操作視線に基づき行われる第１指示とは区別して第２指示とも称する。

上記のフローでは、レベル３未満の自動運転レベルにおいて直接操作のみを有効とし、レベル３以上の自動運転レベルにおいて直接操作と操作視線の両方を有効とした。操作視線を有効とする自動運転レベルの境界は必ずしもレベル３に限らず、操作視線を有効とする高次の自動運転レベルが規定されていれば良い。

直接操作と操作視線の併用について以下の変形例が想定される。例えば、高次の自動運転レベルでは、直接操作が無効であっても良い。すなわち、レベル３以上などの高次の自動運転レベルでは、運転者が運転補助装置２５から直接操作を行っても、運転計画変更指示装置１０３は運転計画の変更を指示しない。すなわち、指示部１３は、対象車両の自動運転レベルが予め定められた第２レベル未満である場合にのみ、直接操作情報に基づく第２指示を運転制御装置に伝達する。これにより、運転者が低次の自動運転レベルの自動運転時に不意に運転補助装置に触れてしまい、意図しない走行指示を行うことが防止される。

第２レベルは、操作視線を有効とする自動運転レベルの下限である第１レベルと同じでも異なっていても良い。上記の例では自動運転レベルをレベル３以上の高次の自動運転レベルとレベル３未満の低次の自動運転レベルに分類したが、より細かく分類されても良い。例えば、自動運転レベルが高レベル、中レベルおよび低レベルの３段階に分類されても良い。そして、高レベルでは操作視線のみが有効であり、中レベルでは操作視線と直接操作の両方が有効であり、低レベルでは直接操作のみが有効であっても良い。

実施の形態３の運転計画変更指示装置１０３は、実施の形態２の運転計画変更指示装置１０２の構成に加えて、対象車両に搭載され車両の乗員の操作を受け付ける入力装置である運転補助装置２５から、対象車両の運転計画を第１運転計画から第２運転計画へ変更する旨の直接操作情報を取得する直接操作取得部１４を備える。そして、指示部１３は、計画変更判断部１１が運転計画の変更を可能と判断した場合に、直接操作情報に基づき、第１運転計画に代えて第２運転計画を実行する旨の指示である第２指示を運転制御装置２３に行う。このように、運転計画変更指示装置１０３は、操作視線による運転計画の変更指示に加えて、直接操作による運転計画の変更指示を行うことができる。

＜Ｄ．実施の形態４＞
図１０は、実施の形態４の運転計画変更指示装置１０４の構成を示すブロック図である。運転計画変更指示装置１０４は、指示部１３が表示装置２７およびスピーカ２８と接続されている点が実施の形態２の運転計画変更指示装置１０２と異なる。表示装置２７とスピーカ２８は、対象車両に搭載され、第２運転計画が実施可能である旨を運転者に通知するための出力装置である。

表示装置２７は、指示部１３の制御を受けて、第２運転計画が実施可能である旨を運転者に通知するためのオブジェクト（以下、「通知オブジェクト」と称する）を表示する。すなわち、指示部１３は表示装置２７の表示を制御する。表示装置２７は、例えば液晶ディスプレイまたはＨＵＤ（Head-Up Display）である。

スピーカ２８は、指示部１３の制御を受けて、第２運転計画が実施可能である旨を運転者に通知するための音声出力を行う。すなわち、指示部１３はスピーカ２８の音声出力を制御する。なお、運転計画変更指示装置１０４は、第２運転計画が実施可能であることを、表示と音声の少なくともいずれかで通知できればよい。従って、指示部１３は、表示装置２７とスピーカ２８の少なくともいずれかに接続されていれば良い。以下では、表示装置２７を用いた運転者への通知について説明する。

図１１は、運転計画変更指示装置１０４の動作を示すフローチャートである。以下、図１１に沿って運転計画変更指示装置１０４の動作を説明する。図１１のフローは、例えば対象車両が、第１運転計画で走行を開始したタイミングで開始する。なお、図１１のステップＳ４０１，Ｓ４０２，Ｓ４０４，Ｓ４０６は図７のステップＳ２０１，Ｓ２０２，Ｓ２０３，Ｓ２０４と同様であるため、適宜説明を省略する。

ステップＳ４０２において、指示部１３は現時点の対象車両の自動運転レベルが３以上であるか否かを判断する。ステップＳ４０２において、自動運転レベルが３以上であれば、指示部１３は表示装置２７に通知アイコンを表示させる（ステップＳ４０３）。

図１２は、ＨＵＤ４４における通知アイコン４５の表示例を示している。ＨＵＤ４４は表示装置２７の一例である。この表示例は、図３に示す対象車両Ａが先行車両Ｂに追いついた状況におけるものであり、第２運転計画は「車線変更して先行車両Ｂを追い越した後、左車線に戻る」という計画であるものとする。図１２に示すように、ＨＵＤ４４上に「追い越し」というテキストを含む通知アイコン４５が表示される。この通知アイコン４５により、運転者は先行車両Ｂの追い越しが可能であることを知り、必要であれば操作視線による指示を行う。

図１１のフローに戻って、ステップＳ４０３の後、視線判断部１２は一定時間、操作視線があるか否かを判断する（ステップＳ４０４）。ステップＳ４０４において操作視線がなければ、運転計画変更指示装置１０４の動作はステップＳ４０１に戻る。ステップＳ４０４において操作視線があれば、指示部１３は通知アイコン４５を消去し（ステップＳ４０５）、運転計画を第１運転計画から第２運転計画へ変更するように運転制御装置２３へ指示する（ステップＳ４０６）。なお、図１１のフローにおいて、ステップＳ４０４でＮｏの場合に、ステップＳ４０１へ戻る前に、指示部１３が通知アイコン４５を消去しても良い。これにより、運転者が第２運転計画を採用する意思がないにも関わらず、いつまでもＨＵＤ４４上に通知アイコン４５が表示されることを防ぐことができる。

ＨＵＤ４４が表示装置２７として用いられる場合、通知アイコン４５はＨＵＤ４４上の操作視線に重なる位置に表示されることが望ましい。これにより、通知アイコン４５を視認する視線がそのまま操作視線となるため、運転者は通知アイコン４５に気づくと、そのまま通知アイコン４５を一定時間見続けることによって、操作視線による指示を行うことができる。

なお、図１２に示す通知アイコン４５は通知オブジェクトの一例であり、他の通知オブジェクトが表示されても良い。例えば、図１２と同様の状況下で、図１３に示すように車線変更時に車線が走行する経路を表す矢印４６が通知オブジェクトとしてＨＵＤ４４上に表示されても良い。このような表示によれば、運転者は第２運転計画が、右車線への車線変更を伴うことを直感的に把握することができる。また、矢印４６と同系統の色で目を表すオブジェクトがＨＵＤ４４上に表示されてもよい。

ここまでの説明は、変更可能な運転計画、すなわち第２運転計画が一つの場合を前提としていたが、第２運転計画は複数あっても良い。その場合、指示部１３は、複数の第２運転計画から選択した１つの第２運転計画に対応する１つの通知オブジェクトを表示装置２７に表示させても良いし、複数の第２運転計画に対応する複数の通知オブジェクトを表示装置２７に表示させても良い。後者の場合の表示例を以下に説明する。

例えば、図１２と同様の状況下で、「車線変更して先行車両Ｂを追い越した後、左車線に戻る」という第２運転計画の他、「車線変更して先行車両Ｂを追い越した後、右車線を走行する」という第２運転計画が可能であるとする。このとき、ＨＵＤ４４には、図１４に示すように、前者の第２運転計画を通知する「追い越し（左車線）」というテキストを含む通知アイコン４７と、後者の第２運転計画を通知する「追い越し（右車線）」というテキストを含む通知アイコン４８が表示される。それぞれの第２運転計画に対応する操作視線と重なるＨＵＤ４４上の位置に通知アイコン４７，４８が表示される場合、運転者は、いずれの通知アイコン４７，４８を視認するかによって所望の第２運転計画を選択し、選択した第２運転計画への変更を運転計画変更指示装置１０４に指示させることができる。

このように、実施の形態４の運転計画変更指示装置１０４は、運転計画を第１運転計画から第２運転計画に変更することが可能か否かを判断する計画変更判断部１１を備え、指示部１３は、計画変更判断部１１が、運転計画を第１運転計画から第２運転計画に変更することが可能と判断した場合に、その旨の通知を対象車両に搭載された出力装置に出力させる。従って、運転者は当該通知により第２運転計画の実施が可能であることを把握することができる。そして、運転者は当該通知に応じて操作視線による指示を行うことにより、第２運転計画が実施できない状況で無駄に操作視線による指示を行うことを防ぐことができる。

なお、図１０では、運転者に通知するための出力装置として表示装置２７とスピーカ２８を示しているが、出力装置はこれらに限らない。出力装置は、対象車両に搭載されるものであるが、必要に応じて対象車両に持ち込んで使用される携帯端末、例えば運転者が携帯するスマートフォンなどの携帯通信端末も、出力装置に含まれる。運転計画変更指示装置１０４は、運転者の携帯通信端末を予め登録しておき、第２運転計画の実施が可能になった際にはその旨の通知を指示部１３から通信端末に送信することができる。これにより、例えば運転者が携帯通信端末を操作している場合でも、第２運転計画の実施が可能なことに気づくことができる。

＜Ｅ．実施の形態５＞
図１５は、実施の形態５の運転計画変更指示装置１０５の構成を示すブロック図である。運転計画変更指示装置１０５は、実施の形態１の運転計画変更指示装置１０１の構成に加えて、操作行動検出部１５を備えている。

ジェスチャー入力装置２９は、対象車両の車室内の空間における運転者の手の動きなどのジェスチャーを、操作行動検出部１５に入力する。マイク３０は、運転者の発話音声を操作行動検出部に入力する。操作行動検出部１５は、ジェスチャー入力装置２９から入力されたジェスチャーまたはマイク３０から入力された発話音声が、操作行動であるか否かを判断する。操作行動とは、運転計画の変更を運転計画変更指示装置１０５に指示するための、操作視線とは異なる間接操作であり、予め定められたジェスチャーまたは発話である。図１５では、ジェスチャー入力装置２９とマイク３０が操作行動検出部１５に接続されている例を示しているが、いずれか一方が操作行動検出部１５に接続されていても良い。すなわち、操作行動検出部１５はジェスチャーのみから操作行動を検出しても良いし、発話音声のみから操作行動を検出しても良い。運転計画変更指示装置１０５では、特定のジェスチャーおよび特定のキーワードを含む発話が、操作行動として予め設定されている。ここで、特定のジェスチャーとは、例えば手を回転する、手を前後に振る、または指を特定の形状にするなどであり、予め定められた、どのような空間的なジェスチャーであってもよい。また、特定のキーワードとは、「もっと速く」、「もっと遅く」、「車線変更」など、運転計画の内容を言語化したものである。

指示部１３は、第２運転計画の実施が可能な状況下で、第２運転計画に対応する操作視線と操作行動が連続的に行われたときに、運転計画を第１運転計画から第２運転計画へ変更する指示を運転制御装置２３に行う。

図１６は、運転計画変更指示装置１０５の動作を示すフローチャートである。以下、図１６に沿って運転計画変更指示装置１０５の動作を説明する。図１６のフローは、例えば対象車両が、第１運転計画で走行を開始したタイミングで開始する。なお、図１６のステップＳ５０１，Ｓ５０２，Ｓ５０４は図６のステップＳ１０１，Ｓ１０２，Ｓ１０３と同様であるため、適宜説明を省略する。

計画変更判断部１１が第２運転計画を実行可能と判断すると（ステップＳ５０１でＹｅｓ）、指示部１３は対象車両の自動運転レベルを３以上か否かを判断する（ステップＳ５０２）。指示部１３はステップＳ５０２において対象車両の自動運転レベルを３以上と判断すると、操作視線と操作行動が連続的に実施されたか否かを判断する（ステップＳ５０３）。ステップＳ５０３において操作視線と操作行動が連続的に実施されなければ、運転計画変更指示装置１０５の動作はステップＳ５０１に戻る。ステップＳ５０３において操作視線と操作行動が連続的に実施されれば、指示部１３が、運転計画を第１運転計画から第２運転計画へ変更するように運転制御装置２３へ指示する（ステップＳ５０４）。

ステップＳ５０３で指示部１３が判断する操作視線と操作行動の連続性について、以下に説明する。図１７から図１９は、操作視線とジェスチャーの時間関係を示している。図１７から図１９において、ｔ０は注視開始時刻、ｔ１は操作視線検出時刻、ｔ２は注視終了時刻、ｔｇはジェスチャー検出時刻を表している。注視開始時刻ｔ０は、運転者が第２運転計画に対応する方向を注視し始めた時刻である。操作視線検出時刻ｔ１は、例えば注視開始時刻ｔ０から５秒後など、運転者が第２運転計画に対応する方向を一定期間注視した時点で、視線判断部１２が運転者の視線を操作視線と判断した時刻である。注視終了時刻ｔ２は、運転者が第２運転計画に対応する方向の注視を終了した時刻である。ｔｇは、操作行動検出部１５が運転者のジェスチャーを操作行動と判断した時刻である。図１７は、運転者が操作視線の後にジェスチャーを行う場合を示している。図１８は、運転者が操作視線と同時にジェスチャーを行う場合を示している。図１９は、運転者がジェスチャーの後に操作視線を行う場合を示している。指示部１３は、ジェスチャー検出時刻ｔｇと操作視線検出時刻ｔ１の時間差が、予め定められた第１時間Ｔｄ以下である場合に、操作視線とジェスチャーが連続的に実施されたと判断する。

なお、ジェスチャー検出時刻ｔｇとの時間差を判断する時刻として、操作視線検出時刻ｔ１の代わりに注視開始時刻ｔ０または注視終了時刻ｔ２が用いられても良い。また、第１時間Ｔｄは対象車両の自動運転レベルに応じて定められても良い。例えば、自動運転レベルが高いほど第１時間Ｔｄが長く設定されていても良い。

操作行動検出部１５は、操作視線の方向を指さすジェスチャーを操作行動と判断しても良い。この場合、運転者は、特定の方向を視認し、視認方向を指差すという「指差呼称」に似た自然な動作で指示を行うことができる。

実施の形態５の運転計画変更指示装置１０５は、乗員の予め定められたジェスチャーまたは発話を操作行動として検出する操作行動検出部１５を備えている。指示部１３は、操作視線と操作行動に基づき第１指示を行う。具体的には、操作行動検出部１５による操作行動の検出時刻と視線判断部１２による操作視線の検出時刻との時間差が予め定められた第１時間Ｔｄ内である場合に、指示部１３は第１指示を行う。従って、乗員は操作視線とジェスチャーの両方を行うことによって運転計画の変更を指示することができる。

計画変更判断部１１において実施可能と判断された第２運転計画が１つである場合、当該第２運転計画に対応する方向の視線が操作視線となる。そして、第２運転計画に対応する特定の行動が操作行動となる。第２運転計画が「定速走行の設定速度を上げる」である場合、例えば対象車両の前方の道路を視認する視線が操作視線となる。そして、例えば「もっと速く」という発話音声が操作行動となる。この例では、操作視線と操作行動は共に、「定速走行の設定速度を上げる」という第２運転計画に対応している。言い換えれば、操作視線と操作行動は、「定速走行の設定速度を上げる」という同一の第２運転計画に対応している。

計画変更判断部１１において実施可能と判断された第２運転計画が複数存在する場合、操作視線だけでは第２運転計画を一つに特定できないこともある。例えば、図１４の表示例において、運転者の視点が通知アイコン４７と通知アイコン４８を行き来する場合、視線判断部１２は運転者がどちらの通知アイコンを注視しているか判断することができない。このような場合、「左車線」または「右車線」という発話音声が操作行動に割り当てられていれば、指示部１３は操作行動の発話音声から、指示すべき第２運転計画を一つに特定することができる。このように、操作行動は、操作視線では第２運転計画が一つに特定されない場合に、第２運転計画を一つに特定するものとして用いられても良い。

操作行動における発話音声のキーワード、またはジェスチャーの内容が、第２運転計画のパラメータを特定するものであっても良い。例えば、対象車両の前方の道路を視認する操作視線により、「定速走行の設定速度を上げる」という第２運転計画が特定され、発話音声中のキーワード、もしくはジェスチャーにおいて手が移動する距離または速度により、設定速度の上昇幅が特定される。

運転計画変更指示装置１０５では、操作視線と操作行動が連続的に行われることが運転計画の変更指示をする条件となることについて説明した。しかし、自動運転レベルによっては操作行動が運転計画の変更指示に不要であっても良い。例えば、指示部１３は、高次の自動運転レベルであるレベル３以上では操作視線と操作行動の連続性を、運転計画の変更指示の条件とし、さらに高次の自動運転レベルであるレベル４以上では、操作行動によらずに運転計画の変更指示を行っても良い。言い換えれば、指示部１３は、対象車両の自動運転レベルが第１レベル以上かつ第１レベルよりも高い第３レベル未満である場合には、操作行動検出部１５による操作行動の検出時刻と視線判断部１２による操作視線の検出時刻との時間差が予め定められた第１時間内である場合に、第１指示を行い、対象車両の自動運転レベルが第３レベル以上である場合には、視線判断部１２が操作視線を検出すると、操作行動によらずに第１指示を行う。

＜Ｆ．実施の形態６＞
図２０は、実施の形態６の運転計画変更指示装置１０６の構成を示すブロック図である。運転計画変更指示装置１０６は、撮影映像表示装置３２と接続され、これらを利用可能に構成されている点が実施の形態１の運転計画変更指示装置１０１と異なる。

撮影映像表示装置３２は、対象車両に搭載されたＨＵＤではない液晶ディスプレイなどの表示装置である。撮影映像表示装置３２には、対象車両に搭載されたカメラ３１による対象車両の前方、側方または後方の撮影映像が表示される。第２運転計画に関連する周辺物が対象車両の側方にあれば、撮影映像表示装置３２の側方の撮影映像が表示され、第２運転計画に関連する周辺物が対象車両の後方にあれば、撮影映像表示装置３２の後方の撮影映像が表示される。

視線判断部１２は、視線検出装置２１から運転者の視線方向の情報を含む視線情報を取得し、これに基づき運転者の視線が操作視線であるか否かを判断する。操作視線の方向は、実施の形態１－５においては、第２運転計画に関連する周辺物を運転者が実際に視認する方向の視線として定義されるが、実施の形態６においては、第２運転計画に関連する周辺物を運転者が撮影映像表示装置３２の表示面上で視認する方向の視線として定義される。

その他の運転計画変更指示装置１０６の構成は、実施の形態１の運転計画変更指示装置１０１と同様である。

なお、撮影映像表示装置３２は対象車両に搭載された装置であるが、必要に応じて対象車両に持ち込んで使用される携帯端末、例えば運転者が携帯するスマートフォンなどの携帯通信端末を含んでも良い。この場合、カメラ３１の撮影映像はＢｌｕｅｔｏｏｔｈ（登録商標）または無線ＬＡＮによって携帯通信端末に送信される。また、携帯通信端末を撮影映像表示装置３２として用いる本実施の形態を、実施の形態５で説明したジェスチャーを操作行動として検出する構成と組み合わせても良い。その場合、操作行動検出部１５は、携帯通信端末のタッチパネル上をなぞるジェスチャーを操作行動と検出しても良い。

実施の形態６において、対象車両に搭載された表示装置である撮影映像表示装置３２には、カメラによる対象車両の周辺の撮影映像が表示され、視線判断部１２は、周辺情報に基づき、乗員が表示装置に表示された第２運転計画に関連する周辺物を表示装置の表示面上で視認する方向の視線を操作視線として検出する。従って、乗員は車両の外に視線を向けなくても運転計画の変更を指示することができる。

＜Ｇ．ハードウェア構成＞
上述した運転計画変更指示装置１０１－１０６における、計画変更判断部１１、視線判断部１２、指示部１３、直接操作取得部１４、および操作行動検出部１５は、図２１に示す処理回路８１により実現される。すなわち、処理回路８１は、計画変更判断部１１、視線判断部１２、指示部１３、直接操作取得部１４、および操作行動検出部１５（以下、「視線判断部１２等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。視線判断部１２等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、視線判断部１２等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図２２に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転計画変更指示装置１０１－１０６は、処理回路８１により実行されるときに、対象車両の乗員の視線方向の情報を含む視線情報に基づき、乗員の視線が第２運転計画に対応する方向の操作視線であるか否かを判断するステップと、操作視線に基づき、第１運転計画に代えて第２運転計画を実行する旨の指示である第１指示を運転制御装置２３に行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、視線判断部１２等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、視線判断部１２等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、視線判断部１２等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、計画変更判断部１１については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、上記では運転計画変更指示装置１０１－１０６を車載装置として説明したが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した運転計画変更指示装置１０１－１０６の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図２３は、対象車両ＡとサーバＳによる運転計画変更指示装置１０１の構成例を示している。この構成例では、計画変更判断部１１がサーバＳに配置され、その他の構成が対象車両Ａに配置される。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１１ 計画変更判断部、１２ 視線判断部、１３ 指示部、１４ 直接操作取得部、１５ 操作行動検出部、２１ 視線検出装置、２２ 周辺情報検出装置、２３ 運転制御装置、２４ 走行駆動系、２５ 運転補助装置、２６ インジケータ、２７ 表示装置、２８ スピーカ、２９ ジェスチャー入力装置、３０ マイク、３１ カメラ、３２ 撮影映像表示装置、４３ 注視範囲、４４ ＨＵＤ、４５,４７,４８ 通知アイコン、４６ 矢印、８１ 処理回路、８２ プロセッサ、８３ メモリ、１０１－１０６ 運転計画変更指示装置。

Claims (14)

1. 運転計画に沿って対象車両の自動運転を行う運転制御装置に、現在実行中の第１運転計画から第２運転計画への変更を指示する運転計画変更指示装置であって、
   前記対象車両の乗員の視線方向の情報を含む視線情報に基づき前記乗員の視線が前記第２運転計画に対応する方向の操作視線であるか否かを判断する視線判断部と、
   前記対象車両に搭載され前記乗員の操作を受け付ける入力装置から、前記対象車両の前記運転計画を前記第１運転計画から前記第２運転計画へ変更する旨の直接操作情報を取得する直接操作取得部と、
   前記対象車両の自動運転レベルが予め定められた第１レベル以上かつ前記第１レベルより高い予め定められた第２レベル未満である場合に、前記操作視線に基づき前記第１運転計画に代えて前記第２運転計画を実行する旨の第１指示と、前記直接操作情報に基づき前記第１運転計画に代えて前記第２運転計画を実行する旨の第２指示とを前記運転制御装置に行い、前記対象車両の自動運転レベルが前記第１レベル未満である場合に、前記直接操作情報に基づき前記第２指示を前記運転制御装置に行い、前記対象車両の自動運転レベルが前記第２レベル以上である場合に、前記操作視線に基づき前記第１指示を前記運転制御装置に行う指示部と、を備え、
   前記乗員の予め定められたジェスチャーまたは発話を操作行動として検出する操作行動検出部をさらに備え、
   前記指示部は、前記操作視線と前記操作行動に基づき前記第１指示を行い、
   前記指示部は、前記操作行動検出部による前記操作行動の検出時刻と前記視線判断部による前記操作視線の検出時刻との時間差が予め定められた第１時間内である場合に、前記第１指示を行い、
   前記第１時間は、前記対象車両の自動運転レベルに応じて定められ、
   前記対象車両の自動運転レベルが前記第１レベル以上かつ前記第２レベル未満である場合に、前記指示部は、前記乗員の視線が前記操作視線である場合に、前記操作視線に基づき前記第１指示を前記運転制御装置に行い、前記乗員の視線が前記操作視線でない場合に、前記直接操作情報に基づき前記第２指示を前記運転制御装置に行う、
   運転計画変更指示装置。
2. 前記操作視線の方向は、前記対象車両の周辺物の位置情報に基づき、前記乗員が前記第２運転計画に関連する前記周辺物を視認する方向として定められる、
   請求項１に記載の運転計画変更指示装置。
3. 前記第２運転計画は、前記対象車両が隣接車線に車線変更する計画であり、
   前記操作視線の方向は、前記乗員が前記隣接車線を視認する方向である、
   請求項２に記載の運転計画変更指示装置。
4. 前記第２運転計画は、前記対象車両が隣接車線に車線変更して先行車両を追い越す計画であり、
   前記操作視線の方向は、前記乗員が前記先行車両を視認する方向である、
   請求項２に記載の運転計画変更指示装置。
5. 前記第２運転計画は、前記対象車両の速度を上げる計画であり、
   前記操作視線の方向は、前記対象車両の走行車線の前方を視認する方向である、
   請求項２に記載の運転計画変更指示装置。
6. 前記第２運転計画は、前記対象車両の速度を下げる計画であり、
   前記操作視線の方向は、前記対象車両の走行車線の後方を視認する方向である、
   請求項２に記載の運転計画変更指示装置。
7. 前記第１レベルは、ＳＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌにより定義された自動運転レベルにおけるレベル３である、
   請求項１から請求項６のいずれか１項に記載の運転計画変更指示装置。
8. 前記第１レベルは、前記乗員が実行する運転タスクが存在しない自動運転レベルである、
   請求項１から請求項６のいずれか１項に記載の運転計画変更指示装置。
9. 前記第２レベルは、ＳＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌにより定義された自動運転レベルにおけるレベル３である、
   請求項１から請求項８のいずれか１項に記載の運転計画変更指示装置。
10. 前記運転計画を前記第１運転計画から前記第２運転計画に変更することが可能か否かを判断する計画変更判断部をさらに備え、
    前記指示部は、前記計画変更判断部が前記運転計画を前記第１運転計画から前記第２運転計画に変更することが可能と判断した場合に、その旨の通知を前記対象車両に搭載された出力装置に出力させる、
    請求項１に記載の運転計画変更指示装置。
11. 前記出力装置はＨＵＤであり、
    前記指示部は、前記通知を前記ＨＵＤ上の前記操作視線に重なる位置に表示させる、
    請求項１０に記載の運転計画変更指示装置。
12. 前記指示部は
    前記対象車両の自動運転レベルが前記第１レベル以上かつ前記第１レベルよりも高い第３レベル未満である場合には、前記操作行動検出部による前記操作行動の検出時刻と前記視線判断部による前記操作視線の検出時刻との時間差が予め定められた第１時間内である場合に、前記第１指示を行い、
    前記対象車両の自動運転レベルが前記第３レベル以上である場合には、前記操作行動によらずに前記第１指示を行う、
    請求項１から請求項１１のいずれか１項に記載の運転計画変更指示装置。
13. 前記対象車両に搭載された表示装置には、カメラによる前記対象車両の周辺の撮影映像が表示され、
    前記視線判断部は、前記対象車両の周辺物の位置情報に基づき、前記乗員が前記表示装置に表示された前記第２運転計画に関連する前記対象車両の周辺物を前記表示装置の表示面上で視認する方向の視線を前記操作視線として検出する、
    請求項１から請求項１２のいずれか１項に記載の運転計画変更指示装置。
14. 運転計画に沿って対象車両の自動運転を行う運転制御装置に現在実行中の第１運転計画から第２運転計画への変更を指示する運転計画変更指示方法であって、
    前記対象車両の乗員の視線方向の情報を含む視線情報に基づき前記乗員の視線が前記第２運転計画に対応する方向の操作視線であるか否かを判断し、
    前記対象車両に搭載され前記乗員の操作を受け付ける入力装置から、前記対象車両の前記運転計画を前記第１運転計画から前記第２運転計画へ変更する旨の直接操作情報を取得し、
    前記乗員の予め定められたジェスチャーまたは発話を操作行動として検出し、
    前記対象車両の自動運転レベルが予め定められた第１レベル以上かつ前記第１レベルより高い予め定められた第２レベル未満である場合に、前記操作視線に基づき前記第１運転計画に代えて前記第２運転計画を実行する旨の第１指示と、前記直接操作情報に基づき前記第１運転計画に代えて前記第２運転計画を実行する旨の第２指示とを前記運転制御装置に行い、前記対象車両の自動運転レベルが前記第１レベル未満である場合に、前記直接操作情報に基づき前記第２指示を前記運転制御装置に行い、前記対象車両の自動運転レベルが前記第２レベル以上である場合に、前記操作視線に基づき前記第１指示を前記運転制御装置に行い、
    前記操作視線と前記操作行動に基づき前記第１指示を行い、
    前記操作行動の検出時刻と前記操作視線の検出時刻との時間差が予め定められた第１時間内である場合に、前記第１指示を行い、
    前記第１時間は、前記対象車両の自動運転レベルに応じて定められ、
    前記対象車両の自動運転レベルが前記第１レベル以上かつ前記第２レベル未満である場合には、前記乗員の視線が前記操作視線である場合に、前記操作視線に基づき前記第１指示を前記運転制御装置に行い、前記乗員の視線が前記操作視線でない場合に、前記直接操作情報に基づき前記第２指示を前記運転制御装置に行う
    運転計画変更指示方法。

Images