JP6656393B2 - 運転権限移行判定装置および運転権限移行判定方法 - Google Patents

Description

本発明は、自動運転制御装置から運転者への車両の運転権限の移行可否を判定する技術に関する。

近年、車両の走行制御に関わる各種のアクチュエータを制御して運転者の運転負荷を軽減する自動運転システムの開発が行われている。自動運転システムにより実現する車両の運転自動化には複数の段階があり、例えば日本国の内閣府ではその段階、すなわち自動化レベルを以下のように定義している。

レベル０：ドライバーが常に加速、操舵、および制動の全ての主制御系統の操作を行う手動運転である。

レベル１：加速、操舵、および制動のいずれかをシステムが行う状態。

レベル２：加速、操舵、および制動のうち複数の操作をシステムが行う状態。

レベル３：加速、操舵、および制動を全てシステムが行い、システムが要請したときは運転者が対応する。

レベル４：加速、操舵、および制動を全て運転者以外が行い、運転者が全く関与しない状態。

本明細書では、上記で定義された自動化レベルを用いて発明の説明を行うが、この定義は一例であり、本発明は他の定義による自動化レベルにも適用可能である。

車両の走行中に自動化レベルが低下する場合、すなわち、自動運転システムから運転者へ車両の運転権限の少なくとも一部が移行される場合、運転者にとって運転負荷が増加する。そのため、運転権限移行後の車両運転に運転者がスムーズに対応できるよう、以下のような技術が提案されている。例えば特許文献１では、自動運転から手動運転への切り替えが予定されたインターチェンジへの到達時間を予想し、当該到達時間より、自動運転から手動運転への切り替え操作に要する移行時間だけ早いタイミングで、切替操作を運転者に促す告知を行う自動運転制御装置が開示されている。

特開平９−１６１１９６号公報

特許文献１の技術によれば、音声メッセージを出力したり、シートまたはステアリングを振動させたりすることによって切替操作を促す告知を行うことにより、運転者に覚醒を促し、運転権限の移行に備えさせることが可能である。

しかし、特許文献１の技術では、実際に運転者が覚醒し、運転権限の移行に対して準備ができた状態にあるか否かを確認することができないため、告知を受けても運転者の準備が整っていない場合には、運転権限を移行しても運転者がスムーズに運転操作に対応できないという問題があった。

本発明は上述の問題に鑑み、運転権限の移行に対して運転者の準備が整っているかを判断した上で運転権限の移行可否を判定する技術の提供を目的とする。

本発明に係る第１の運転権限移行判定装置は、車両の自動運転制御装置から加速、操舵および制動のうち少なくとも一部の運転権限を運転者へ移行することに対して運転者の準備が整っているか否かを移行可否として判定する運転権限移行判定装置であって、所定時間継続した身体動作に関するタスクの要求を車両内の出力装置に出力させるタスク要求部と、車両内の入力装置からタスクの実行結果を取得するタスク取得部と、タスクの実行結果に基づき移行可否を判定する移行判定部と、移行判定部の判定結果を自動運転制御装置に出力する判定結果出力部と、を備え、タスク取得部は、車両の室内の操作面又は操作空間における運転者の身体の軌跡をタスクの実行結果として取得する。
本発明に係る第２の運転権限移行判定装置は、車両の自動運転制御装置から運転者への運転権限の移行可否を判定する運転権限移行判定装置であって、所定時間継続した発声又は身体動作に関するタスクの要求を車両内の出力装置に出力させるタスク要求部と、車両内の入力装置からタスクの実行結果を取得するタスク取得部と、タスクの実行結果に基づき移行可否を判定する移行判定部と、移行判定部の判定結果を自動運転制御装置に出力する判定結果出力部と、運転者の撮影画像から運転者の外見特徴を抽出する外見特徴抽出部と、自動運転制御装置から運転者へ運転権限を移行する前に、過去の運転権限移行後と現在とで外見特徴を比較し、両者が異なる場合にその旨を出力装置に報知させる報知制御部と、を備える。

本発明に係る第１の運転権限移行判定方法は、車両の自動運転制御装置から加速、操舵および制動のうち少なくとも一部の運転権限を運転者へ移行することに対して運転者の準備が整っているか否かを移行可否として判定する運転権限移行判定方法であって、所定時間継続した身体動作に関するタスクの要求を車両内の出力装置に出力させ、車両内の入力装置から、車両の室内の操作面又は操作空間における運転者の身体の軌跡をタスクの実行結果として取得し、タスクの実行結果に基づき移行可否を判定し、移行可否の判定結果を自動運転制御装置に出力する。

本発明に係る運転権限移行判定装置によれば、タスク取得部が所定時間継続した発声又は身体動作に関するタスクの実行結果を車両内の入力装置から取得し、移行判定部がタスクの実行結果に基づき自動運転制御装置から運転者への運転権限の移行可否を判定する。従って、タスクの実行結果から、運転権限の移行に対して運転者の準備が整っているかを判断した上で運転権限の移行可否を判定することができる。

本発明に係る運転権限移行判定方法によれば、車両内の入力装置から所定時間継続した発声又は身体動作に関するタスクの実行結果を取得し、タスクの実行結果に基づき移行可否を判定する。従って、タスクの実行結果から、運転権限の移行に対して運転者の準備が整っているかを判断した上で運転権限の移行可否を判定することができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る運転権限移行判定装置の構成を示すブロック図である。 実施の形態１に係る運転権限移行判定装置の動作を示すフローチャートである。 実施の形態２に係る自動運転制御装置の運転権限移行可否判定要求処理を示すフローチャートである。 実施の形態２に係る運転権限移行判定装置の運転権限移行可否判定処理を示すフローチャートである。 タスク要求画面を例示する図である。 タスク実行画面を例示する図である。 タスク実行画面を例示する図である。 タスク実行画面を例示する図である。 タスク実行画面を例示する図である。 タッチパッドを用いてタスクを実行する様子を示す図である。 タッチパッドを用いてタスクを実行する様子を示す図である。 タッチパッドを用いてタスクを実行する様子を示す図である。 タッチパッドを用いてタスクを実行する様子を示す図である。 タスク実行画面を例示する図である。 タスク実行画面を例示する図である。 タスク実行画面を例示する図である。 運転権限移行否判定を取得した自動運転制御装置のその後の動作を示すフローチャートである。 実施の形態３に係る運転権限移行判定装置の構成を示すブロック図である。 実施の形態３に係る運転権限移行判定装置の運転権限移行可否判定処理を示すフローチャートである。 外見特徴に変化がある旨の報知画面例を示す図である。 運転権限移行判定装置のハードウェア構成を示す図である。 運転権限移行判定装置のハードウェア構成を示す図である。 車載装置およびサーバによる運転権限移行判定装置の構成例を示すブロック図である。

＜実施の形態１＞
図１は、実施の形態１に係る運転権限移行判定装置１Ａの構成を示すブロック図である。以下、図１に沿って実施の形態１に係る運転権限移行判定装置１Ａの構成を説明する。

運転権限移行判定装置１Ａは、自動運転制御装置２３により自動運転制御がなされる車両の、自動運転制御装置２３から運転者への少なくとも一部の運転権限の移行について、その可否を判定する。ここで、「少なくとも一部の運転権限」と述べているのは、自動化レベルの低下切替を行う全ての局面で、その可否を判定するという意味である。例えば、上述した自動化レベルの定義によれば、自動化レベル３または４から自動化レベル０への切替によって、加速、操舵、および制動に関する全ての運転権限が自動運転制御装置２３から運転者へ移行される。これに対して、自動化レベル３または４から自動化レベル１又は２への切替によれば、加速、操舵、および制動のうち一部の運転権限しか自動運転制御装置２３から運転者へ移行されない。運転権限移行判定装置１Ａは、これら全ての場面で、その移行可否を判定する。

自動運転制御装置２３は、車両に搭載された車載センサ２５からの情報と、地図データベース２６から取得した地図データと、通信装置２７から取得したＶＩＣＳ(登録商標)情報等の交通情報又は他車両の情報とに基づき、車両の挙動を決定し、車両ＥＣＵ２４を通して操舵、加速、又は制動の各種アクチュエータを制御し、車両の運転制御を行う。

運転権限移行判定装置１Ａは、車両内の出力装置２１と接続されており、出力装置２１の出力を制御することが可能となっている。例えば、出力装置２１に液晶表示装置等の表示装置が適用されている場合には、運転権限移行判定装置１Ａは表示装置の表示を制御することが可能であるし、出力装置２１にスピーカなどの音声出力装置が適用されている場合には、運転権限移行判定装置１Ａは音声出力装置の音声出力を制御することが可能である。

また、運転権限移行判定装置１Ａは、車両内の入力装置２２と接続されており、入力装置２２に入力された情報を取得することが可能となっている。入力装置２２は、例えば出力装置２１に表示装置が適用される場合、当該表示装置と一体的に構成されたタッチパネル、または当該表示装置と別体のタッチパッドが適用されても良い。あるいは、入力装置２２には運転者をカメラで撮影し、運転者のジェスチャー操作を検知する空間ジェスチャー検知装置が適用されても良い。

運転権限移行判定装置１Ａは、出力装置２１に運転者へのタスク要求を出力させるタスク要求部１１と、運転者によるタスクの実行結果を入力装置２２から取得するタスク取得部１２と、自動運転制御装置２３から運転者への運転権限の移行可否を判定する移行判定部１３と、移行可否判定結果を自動運転制御装置２３に出力する判定結果出力部１４とを備えて構成される。

図２は、運転権限移行判定装置１Ａの動作を示すフローチャートである。以下、図２に沿って運転権限移行判定装置１Ａの動作を説明する。図２に示すフローは、車両の自動化レベルが１以上である場合に開始される。

まず、タスク要求部１１が出力装置２１にタスク要求を出力させる（ステップＳ１）。ここで、出力装置２１に表示装置が適用されている場合には、表示装置の表示画面に、タスクの入力を運転者に促すメッセージ等が表示される。あるいは、出力装置２１に音声出力装置が適用されている場合には、音声出力装置からタスクの入力を運転者に促すメッセージ等が音声出力される。タスクの内容は、所定時間継続して発声を行ったり、身体を動かしたりするものである。

このようなタスク要求を受けて運転者がタスクを実行すると、タスク取得部１２が入力装置２２からタスクの実行結果を取得する（ステップＳ２）。

次に、移行判定部１３がステップＳ２で受け付けたタスクの実行結果に基づき、運転権限の移行可否判定を行う（ステップＳ３）。

そして、判定結果出力部１４が自動運転制御装置２３に運転権限の移行可否判定結果を出力する（ステップＳ４）。

実施の形態１に係る運転権限移行判定装置１によれば、タスク取得部１２が所定時間継続した発声又は身体動作に関するタスクの実行結果を車両内の入力装置２２から取得し、それに基づき移行判定部１３が自動運転制御装置２３から運転者への運転権限の移行可否を判定する。従って、タスクの実行結果から、運転者が実際に運転権限の移行に対する準備ができているか否かを判断した上で、運転権限の移行可否を判定することができる。また、タスクは、所定時間継続した発声又は身体動作に関するものであるため、その実行結果から、運転者が運転権限の移行に対する準備ができているか否かを、精度良く判断することができる。

また、実施の形態１に係る運転権限移行判定方法によれば、車両内の入力装置２２から所定時間継続した発声又は身体動作に関するタスクの実行結果を取得し、タスクの実行結果に基づき移行可否を判定する。従って、タスクの実行結果から、運転者が実際に運転権限の移行に対する準備ができているか否かを判断した上で、運転権限の移行可否を判定することができる。また、タスクは、所定時間継続した発声又は身体動作に関するものであるため、その実行結果から、運転者が運転権限の移行に対する準備ができているか否かを、精度良く判断することができる。

＜実施の形態２＞
本発明の実施の形態２に係る運転権限移行判定装置のブロック構成は、図１に示した実施の形態１のブロック構成と同様である。そこで、以下の説明では、実施の形態２の構成要素のうち、実施の形態１と同じ又は類似する構成要素には同じ参照符号を付す。また、実施の形態２では、自動化レベル３から自動化レベル０への切替を運転権限の移行例として説明するが、本発明はいかなる自動化レベルの低下切替にも適用可能である。

実施の形態２の運転権限移行判定装置１Ａは、自動運転制御装置２３から取得した運転権限移行可否判定要求に応じて運転権限移行可否判定処理を行う。そこで、以下、自動運転制御装置２３の運転権限移行判定装置１Ａに対する運転権限移行可否判定要求処理について、図３のフローチャートに沿って説明する。

自動運転制御装置２３は、車両の手動運転中に目的地を設定する（ステップＳ２１）。例えば、ユーザが自動運転制御装置２３に特定の地点を入力した場合に、当該地点を自動運転制御装置２３が目的地に設定する。自動運転制御装置２３は目的地を設定すると、車両の現在地から目的地までの経路を探索し、自動化レベル３の自動運転に移行可能か否かを判定する（ステップＳ１２）。自動運転の移行可否は、例えば車両の走行経路から判定することができる。地図データベース２６に格納された地図データには、例えば、高速道路のある特定の区間では自動化レベル３まで許容されるが、一般道路では自動化レベル２までしか許容されないといった、区間ごとに対応可能な自動化レベルの情報が含まれている。自動運転制御装置２３は、地図データベース２６から取得した地図データを参照し、車両の現在位置が、自動化レベル３での走行が許容された区間であるか否かを判断して、自動化レベル３の自動運転への移行可否を判定する。

自動運転制御装置２３は、自動運転移行可と判定するまでステップＳ１２を繰り返し、自動運転移行可と判定すると車両を自動化レベル３の自動運転に移行する（ステップＳ１３）。

次に、自動運転制御装置２３は、地図データを参照し、車両が走行経路上の手動運転切替地点に近づいたか否かを判断する（ステップＳ１４）。手動運転切替地点とは、当該地点以降は手動運転、すなわち自動化レベル０での走行しか許容されていない地点として、地図データに示された地点のことであり、運転権限移行判定装置１Ａに運転権限移行を否と判定されない限り、運転制御装置２３は手動運転切替地点で自動運転から手動運転へ切り替えることを予定している。すなわち、手動運転切替地点は、運転権限の移行予定地点である。自動運転制御装置２３は、車両と手動運転切替地点との距離が例えば２ｋｍ以内になった場合に手動運転切替地点に近づいたと判断する。自動運転制御装置２３は、車両が手動運転切替地点に近づくまでステップＳ１４を繰り返し、車両が手動運転切替地点に近づくと運転権限移行判定装置１Ａに運転権限移行可否判定要求を行う（ステップＳ１５）。なお、この時点で自動運転制御装置２３は、デフォルト設定として運転権限移行を否とする。

以上で説明したように、自動運転制御装置２３は、車両が手動運転切替地点、すなわち運転権限の移行予定地点に到達する前の時点で余裕をもって運転権限移行可否判定要求を行う。どの程度余裕をもって運転権限移行可否判定要求を行うかについて、上記の説明では車両と手動運転切替地点との距離が２ｋｍ以内となった時点と説明したが、この距離は走行経路の道路形状または交通状況等に応じて適宜調整しても良い。

次に、運転権限移行判定装置１Ａの運転権限移行可否判定処理について、図４のフローチャートに沿って説明する。

まず、運転権限移行判定装置１Ａのタスク要求部１１は、車両の自動運転中に自動運転制御装置２３から運転権限移行可否判定要求を受けると（ステップＳ２１）、出力装置２１にタスク要求を出力させる（ステップＳ２２）。

そして、移行判定部１３が、運転権限の移行可否判定を行う（ステップＳ２３）。具体的には、移行判定部１３は、ステップＳ２２のタスク要求から予め定められた時間Ｔｔｈ内にタスク取得部１２がタスク実行結果を取得しなければ、運転権限移行否と判定する。例えば、運転者が居眠り中、読書中、または携帯機器の操作中等でタスク要求に気づかない場合や、タスク要求に気づいていても飲食中である等の理由で手がふさがっておりタスクの実行が行えない場合等が、上記の場合に該当する。このような場合、移行判定部１３は運転権限移行を否と判定するため、運転権限の移行に対する運転者の準備が整わないまま、運転者に運転権限が移行されることを防ぐことができる。

また、移行判定部１３は、タスク取得部１２がステップＳ２２のタスク要求から予め定められた時間Ｔｔｈ内にタスク実行結果を取得した場合には、タスク実行結果に基づき運転権限の移行可否判定を行う。タスク実行結果に基づく移行可否判定の詳細については後述する。

移行判定部１３が運転権限移行を可と判定すると、判定結果出力部１４が当該判定結果を自動運転制御装置２３に通知する（ステップＳ２４）。また、移行判定部１３が運転権限移行を否と判定すると、判定結果出力部１４が当該判定結果を自動運転制御装置２３に通知する（ステップＳ２５）。

次に、出力装置２１が表示装置である場合を例に、タスクおよび運転権限移行可否判定の具体例について、説明する。

図５は、図４のステップＳ２２でタスク要求部１１が出力装置２１である表示装置に表示させるタスク要求画面の一例を示している。図５のタスク要求画面では、「まもなく手動運転に切り替えます。意識レベル確認のため、タスクを実行して下さい。」というメッセージと、タスク操作に用いることが可能な入力装置２２のアイコン５２，５３が参考のために表示される。アイコン５２は、ハンドルに設置されたタッチパッドを示すアイコンであり、アイコン５３は、シフトノブの周辺に設置されたジョイスティックを示すアイコンである。これらタッチパッドまたはジョイスティックは、入力装置２２の一例である。

タスク要求部１１は、タスク要求画面に続きタスク実行画面を表示装置に表示させる。図６ないし図９は、指の動作に関するタスク実行画面の一例を示している。なお、図６ないし図９では、出力装置２１および入力装置２２がタッチパネルとして一体的に構成され、当該タッチパネルに対するジェスチャー操作によってタスクが実行される例を示している。

図６は、署名を記入するというタスクの実行画面を示している。当該タスクの実行画面には、「署名をして下さい。」というメッセージと共に、署名記入枠が表示される。運転者はタッチパネルにタッチし、署名記入枠に自身の名前を記入することによりタスクを実行する。タッチパネルからタスク取得部１２に、タッチパネルに対する運転者の指の軌跡（以下、これを実行軌跡と呼ぶ）がタスクの実行結果として入力される。

移行判定部１３は、タスク取得部１２が取得した軌跡である実行軌跡を理想的な軌跡として予め定められた軌跡と比較することにより移行可否の判定を行う。理想的な軌跡は、例えば車両が停止した時などの運転者の運転負荷が少ないか無い状況下で、タッチパネルを使って署名させることによって、予め運転権限移行判定装置１Ａに登録されている。移行判定部１３は、実行軌跡の理想的な軌跡に対するずれ量Ｃｍを測定し、ずれ量Ｃｍを予め定められた閾値Ｃｔｈと比較する。そして、移行判定部１３は、Ｃｍ≧Ｃｔｈの場合に移行否と判定し、Ｃｍ＜Ｃｔｈの場合に移行可と判定する。例えば、運転者が十分に覚醒していない場合には、誤った文字を記入したり、正しい文字であっても軌跡が震えたりすると考えられる。そのような場合に、実行軌跡の理想的な軌跡に対するずれ量Ｃｍが大きくなり、移行判定部１３が運転権限移行を否と判断することによって、運転権限の移行に対する運転者の準備が整わないまま、運転者に運転権限が移行されることを防ぐことができる。

図７は、図形をなぞるというタスクの実行画面を示している。当該タスクの実行画面には、「図形をなぞって下さい。」というメッセージと共に、なぞるべき四角形、円、三角形が表示される。運転者はタッチパネルにタッチした指でこれらの図形をなぞることにより、タスクを実行する。このタスクの理想的な軌跡は、図形を正確になぞったときの軌跡である。移行判定部１３は、図６のタスクと同様、実行軌跡を理想的な軌跡と比較し、実行軌跡の理想的な軌跡に対するずれ量Ｃｍから移行可否の判定を行う。

また、移行判定部１３は、実行軌跡における速度変化を滑らかさと定義し、実行軌跡の滑らかさに基づいて移行可否を判定しても良い。例えば、移行判定部１３は、実行軌跡における速度変化が小さい場合に、移行可と判定し、実行軌跡における速度変化が大きい場合に、移行否と判定する。あるいは、移行判定部１３は、上記の理想的な軌跡とのずれに基づく判定と、滑らかさに基づく判定とを組み合わせても良い。

図８は、ドラッグ＆ドロップタスクの実行画面を示している。当該タスクの実行画面には、「ドラッグ＆ドロップして下さい。」というメッセージと共に、鍵アイコン５６および鍵穴アイコン５７が表示される。運転者はタッチパネル上で鍵アイコン５６にタッチし、鍵アイコン５６をドラッグして鍵穴アイコン５７に重ね、その位置でドロップすることによって、鍵アイコン５６を鍵穴アイコン５７に挿入するというタスクを実行する。移行判定部１３は、鍵アイコン５６のドロップ位置の正確性に基づき、移行可否を判定する。例えば、移行判定部１３は、鍵アイコン５６のドロップ位置と鍵穴アイコン５７との距離を測定し、当該距離が予め定められた閾値以上である場合に、移行否と判断する。

図９は、複数の点を順番にタッチするというタスクの実行画面を示している。当該タスクの実行画面には、「順に点を押して下さい。」というメッセージと共に、５つの点５５が表示される。点５５には、夫々１，２，３，４，５という数字が併記されており、運転者はタッチパネル上で数字の順番に点をタッチするというタスクを実行する。移行判定部１３は、点５５にタッチする正確性及び速度に基づき移行可否を判定する。例えば、移行判定部１３は、運転者が点５５をタッチする順番を間違えた場合に、移行否と判定する。あるいは、移行判定部１３は、タスクの実行画面が表示されてから運転者が全ての点５５をタッチするまでの時間が予め定められた時間より遅い場合に、移行否と判定する。なお、タスクが実行される毎に、前回のタスクから点５５の位置を変更しても良いし、あるいは点５５をタッチすべき順番を変更しても良い。これにより、運転者のタスクに対する慣れを防ぐことができる。

図６ないし図９では、タッチパネルを入力装置２２の例とした。しかし、入力装置２２にはタッチパネル以外の装置を用いることも可能である。図１０ないし図１３は、図６ないし図８で説明したタスクを、右手と左手に対応してハンドル６０に設けられた一対のタッチパッド６１Ｒ，６１Ｌを用いて実行する様子を示している。図１０に示すように、運転者は例えば右手側のタッチパッド６１Ｒに人差し指でタッチし、タッチした指を動かすことによって署名を入力する。また、図１１および図１２に示すように、運転者はハンドルを把持したまま右手側のタッチパッド６１Ｒに親指でタッチし、タッチした指をうごかすことによって図形をなぞったり、ドラッグ＆ドロップを行ったりする。

図１３は、右手側のタッチパッド６１Ｒと左手側のタッチパッド６１Ｌを同時に用いてドラッグ＆ドロップのタスクを実行する様子を示している。運転者は、ハンドル６０を把持したまま右手側のタッチパッド６１Ｒを親指で操作することによって、鍵アイコン５６Ｒをドラッグして鍵穴アイコン５７に挿入し、それと同時に左手側のタッチパッド６１Ｌを親指で操作することによって、鍵アイコン５６Ｌをドラッグして鍵穴アイコン５７に挿入する。

図６ないし図１３において、タスク要求画面およびタスク実行画面が表示される表示装置は、車両のセンターディスプレイであっても良いし、メーターディスプレイであっても良いし、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）であっても良い。

ここまでの説明で、入力装置２２はタッチパネル又はタッチパッドといった操作面を有するものであり、タスク取得部１２は当該操作面に対する運転者の手指の接触情報からタスクの実行結果を取得した。しかし、入力装置２２は、非接触のジェスチャー操作、すなわち車両室内の操作空間における運転者の身体動作の軌跡を検出する装置であっても良い。この場合、入力装置２２には、車内の運転者の挙動を撮影するカメラが適用される。例えば、運転者が拳を握ったまま動かす挙動がドラッグ操作と認識され、拳を開く動作がドロップ操作と認識される。

図１４は、非接触のジェスチャー操作によるタスクの実行画面の一例を示している。当該タスクの実行画面には、「上半身の体操をしましょう。」というメッセージと共に、体操をする人物のアニメーションが表示される。運転者はこのアニメーションに従って同じように体操をすると、そのときの運転者の挙動がカメラによって撮影され、撮影画像がタスク取得部１２に入力される。タスク取得部１２は、カメラの撮影画像から運転者の上半身の各部位の軌跡を実行軌跡として取得する。そして、移行判定部１３は、実行軌跡の理想的な軌跡に対するずれ量Ｃｍを測定し、ずれ量Ｃｍを予め定められた閾値Ｃｔｈと比較する。そして、移行判定部１３は、Ｃｍ＜Ｃｔｈの場合に移行可と判定し、Ｃｍ≧Ｃｔｈの場合に移行否と判定する。

以上の説明において、タスクは所定時間継続する指または上半身の動作に関するものであったが、視線又は目の焦点距離を動かす動作に関するものでも良い。この場合、出力装置２１にはＨＵＤが適用され、入力装置２２には運転者の顔を撮影するカメラが適用される。

図１５は、目の焦点距離を動かすタスクの実行画面を示している。当該タスクの実行画面は、例えばＨＵＤに表示され、入力装置２２には運転者の顔を撮影するカメラが適用される。また、当該タスクの実行画面では、「カーソルに目の焦点を合わせて下さい。」というメッセージと共に、カーソル５８が表示される。カーソル５８は、表示画面上の位置は固定だが、表示画面に垂直な方向における結像位置が時間と共に変化する。運転者は、予め定められた時間継続してカーソル５８に目の焦点を合わせるタスクを実行する。タスク取得部１２は、カメラによる運転者の顔の撮影画像を取得し、運転者の両目の瞳孔間距離から目の焦点距離を計測する。移行判定部１３は、タスク実行期間中の運転者の目の焦点距離を、カーソル５８の結像位置と照合し、両者のずれ量Ｃｍを算出する。そして、移行判定部１３は、ずれ量Ｃｍを予め定められた閾値Ｃｔｈと比較し、Ｃｍ＜Ｃｔｈの場合に移行可と判定し、Ｃｍ≧Ｃｔｈの場合に移行否と判定する。

図１６は、視線方向を動かすタスクの実行画面を示している。当該タスクの実行画面は、例えばＨＵＤに表示され、入力装置２２には運転者の顔を撮影するカメラが適用される。また、当該タスクの実行画面では、「カーソルに視線を合わせて下さい。」というメッセージと共に、カーソル５９が表示される。カーソル５９は、表示画面に垂直な方向における結像位置は固定であるが、表示画面上を左上端から中央に向かって移動する。運転者は、予め定められた時間継続してカーソル５９に視線を合わせるタスクを実行する。タスク取得部１２は、カメラによる運転者の顔の撮影画像を取得し、当該撮影画像から視線方向を計測する。移行判定部１３は、運転者の視線方向をカーソル５９の位置と照合し、両者のずれ量Ｃｍを算出する。そして、移行判定部１３は、ずれ量Ｃｍを予め定められた閾値Ｃｔｈと比較し、Ｃｍ＜Ｃｔｈの場合に移行可と判定し、Ｃｍ≧Ｃｔｈの場合に移行否と判定する。

なお、図１５ではカーソル５８の表示画面に垂直な方向における結像位置のみ、図１６ではカーソル５９の表示面上の位置のみをそれぞれ移動させたが、両者を同時に移動させて、視線方向の移動と焦点距離の移動を同時に行わせるタスクを実行させても良い。

以上の説明において、タスクは運転者の指、上半身、目といった身体動作に関するものであったが、発声に関するものであっても良い。この場合、出力装置２１にはスピーカ等の音声出力装置が適用され、入力装置２２には音声認識装置が適用される。例えば、タスク要求部１１は音声出力装置に「あなたの名前を言って下さい。」等の質問を音声で出力させる。このようにタスク要求部１１がタスクとして音声出力させる質問とそれに対する答えは、予め運転権限移行判定装置１Ａに登録されている。運転者が自分の名前を発声すると、運転者の発話音声が音声認識装置によって認識され、認識結果が音声認識装置からタスク取得部１２に入力される。移行判定部１３は、運転者の発話音声の認識結果を登録されている答えと照合し、一致していれば移行可、一致していなければ移行否と判定する。すなわち、移行判定部１３は、運転者の発声の正確性に基づき、移行可否を判定する。あるいは、移行判定部１３は、音量、抑揚の有無又は程度、質問から回答までの時間、等に基づき移行可否を判定しても良い。

また、質問と回答という形式ではなく、予め用意した文章を表示装置に表示して運転者に読み上げさせ、読み上げ音声の抑揚、音量、文章を間違えずに読み上げられているか、発音が明瞭であるか、といった観点から移行可否を判定しても良い。

以上で、様々なタスクの具体例と、各タスクにおける移行可否判定方法とを説明した。なお、運転権限移行判定装置１Ａは、上述したタスクを複数運転者に実行させ、複数のタスクの実行結果から移行可否を判定しても良いし、各タスクにおける複数の移行可否判定方法を組み合わせても良い。

自動運転制御装置２３は、運転権限移行判定装置１Ａから運転権限移行可判定を取得すると、車両が手動運転切替地点に到達したときに手動運転への切替を行うが、運転権限移行判定装置１Ａから運転権限移行否判定を取得した場合には、手動運転への切替を行わない。

図１７は、運転権限移行判定装置１Ａから運転権限移行否判定を取得した自動運転制御装置２３のその後の動作を示すフローチャートである。まず、自動運転制御装置２３は、車両の現在位置が、手動運転切替地点から１ｋｍ以上離れているか否かを判断する（ステップＳ３１）。なお、この１ｋｍという距離の閾値は一例であり、運転権限移行判定装置１Ａが再び移行判定を行う間に車両が走行する距離を考慮し、車両の走行速度、走行経路の道路状況、渋滞状況等に応じて設定しても良い。

車両の現在位置が手動運転切替地点から１ｋｍ以上離れていれば、自動運転制御装置２３は運転権限移行判定装置１Ａに、運転権限移行可否判定の再要求を行う（ステップＳ３４）。そして、運転権限移行判定装置１Ａは再び運転者にタスクの実行を要求し、タスクの実行結果に基づき運転権限の移行可否を判定して自動運転制御装置２３に出力する。

車両の現在位置が手動運転切替地点から１ｋｍ以上離れていない場合、自動運転制御装置２３は出力装置２１に手動運転への切替禁止を通知させる（ステップＳ３２）。そして、自動運転制御装置２３は車両を路側帯に停止させる（ステップＳ３３）。このように、自動運転制御装置２３は手動運転切替地点の前方で車両を停止させるので、運転権限の移行に対する運転者の準備が整わないまま手動運転に移行してしまうことを避けることができる。

＜実施の形態３＞
図１８は、実施の形態３に係る運転権限移行判定装置１Ｂの構成を示すブロック図である。運転権限移行判定装置１Ｂは、実施の形態２に係る運転権限移行判定装置１Ａの構成に加えて、外見特徴抽出部２９、外見特徴格納部３０、および報知制御部３１を備えている。

外見特徴抽出部２９は、車両に設置されたカメラ２８から運転者の撮影画像を取得し、当該撮影画像から運転者の外見特徴を抽出する。外見特徴抽出部２９は、例えば車両の自動化レベルが切り替わる前に、その時点での運転者の外見特徴を抽出する。外見特徴とは、例えば眼鏡着用の有無といった運転者の外見に関する特徴のことである。外見特徴抽出部２９が抽出した外見特徴は、抽出時の車両の自動化レベルに紐付けて、外見特徴格納部３０に格納される。図１８では、外見特徴格納部３０を運転権限移行判定装置１Ｂの中に図示しているが、外見特徴格納部３０は運転権限移行判定装置１Ｂの外部のサーバに構成されていても良い。

報知制御部３１は、外見特徴抽出部２９で抽出された外見特徴に基づき、出力装置２１に運転者に対する報知を行わせる。

以下、図１９のフローチャートに沿って、運転権限移行判定装置１Ｂの運転権限移行可否判定処理について説明する。なお、図１９では、自動化レベル３の自動運転から手動運転への運転権限移行を例にして説明するが、本発明はいかなる自動化レベルの低下切替にも適用可能である。図１９のステップＳ４１，Ｓ４２，Ｓ４３，Ｓ４９は、図４に示した実施の形態２のステップＳ２１，Ｓ２２，Ｓ２３，Ｓ２５と同様であるため、説明を省略する。

ステップＳ４３において移行判定部１３が運転権限移行可と判定した場合、報知制御部３１は、現在の運転者の外見特徴と、過去に今回の運転権限移行後の状態になったとき、すなわち過去の手動運転時の運転者の外見特徴とを比較し、両者に変化があるか判断する（ステップＳ４４）。本ステップにおいて報知制御部３１は、外見特徴抽出部２９から運転者の現在の外見特徴を取得し、外見特徴格納部３０から運転者の過去の手動運転時の外見特徴を取得し、両者を比較する。なお、外見特徴格納部３０に手動運転時の外見特徴が複数格納されている場合、報知制御部３１は例えば直近の外見特徴を取得したり、最も頻度の高い外見特徴を取得したりすればよい。

ステップＳ４４で外見特徴に変化がなければ、報知制御部３１は何ら報知制御を行うことなく、判定結果出力部１４が自動運転制御装置２３に運転権限移行可判定を通知する（ステップＳ４７）。

一方、ステップＳ４４で外見特徴に変化があれば、報知制御部３１は外見特徴に変化がある旨の報知を出力装置２１に行わせる（ステップＳ４５）。図２０は、出力装置２１が表示装置であり、入力装置２２が表示装置と一体的に構成されたタッチパネルである場合に、当該表示装置がステップＳ４５で表示する報知画面例を示している。運転者の現在の外見特徴が「眼鏡なし」であるのに対して、運転者の過去の手動運転時の外見特徴が「眼鏡あり」であるとする。この場合、図２０に示すように報知画面には「眼鏡を付けなくても良いですか？」というメッセージと確認アイコン６２が表示され、運転者は眼鏡の装着を促される。

運転者は、確認アイコン６２にタッチすることにより、当該報知の確認操作を行うことができる。また、入力装置２２に音声認識装置が適用される場合には、「確認した」と発話することにより、音声で確認操作を行うことも可能である。運転権限移行判定装置１Ｂは、こうした運転者の確認操作を取得すると、判定結果出力部１４により自動運転制御装置２３に運転権限移行可判定を通知する（ステップＳ４７）。

一方、ステップＳ４６で運転者の確認操作が行われない場合、運転権限移行判定装置１ＢはステップＳ４５の報知から予め定められた時間が経過したか否かを判断し（ステップＳ４８）、未経過であればステップＳ４４に戻って再び、報知制御部３１が過去の手動運転時と現在とで運転者の外見特徴に変化があるかを判断する。そして、過去の手動運転時と現在とで運転者の外見特徴に変化がなければ、判定結果出力部１４により自動運転制御装置２３に運転権限移行可判定を通知する（ステップＳ４７）。このように、運転者が確認操作を行うことなく眼鏡を装着するような場合に、運転権限移行判定装置１Ｂは、外見特徴の変化の是正を検出して運転権限移行可判定を行うことができる。

運転者の確認操作がないまま、ステップＳ４５の報知から予め定められた時間が経過した場合、判定結果出力部１４は自動運転制御装置２３に運転権限移行否判定を通知する（ステップＳ４９）。このように、運転者が外見特徴の変化に関する報知に何ら応答せず、変化が是正されない場合には、手動運転への移行が制限される。

以上の処理によれば、過去の手動運転時には運転者の外見に顕れていた特徴が今回の手動運転への移行に際して運転者の外見に顕れていない場合に、その旨が運転者に報知されることにより、自動運転から手動運転へのスムーズな移行が可能となる。例えば、普段、眼鏡を装着して手動運転を行っている運転者が、手動運転への切替に際して眼鏡を装着していない場合に、運転権限移行判定装置１Ｂがその旨を運転者に報知するため、運転者は手動運転への切替前に眼鏡を装着することができる。また、運転者は手元に眼鏡が無い場合でも、眼鏡を装着していないことを認識した上で手動運転に備えることができる。

上記の例では単に眼鏡の装着有無を外見特徴とした。しかし、外見特徴抽出部２９は、眼鏡の色、大きさ又は形状等から個々の眼鏡を識別しても良い。これにより、運転権限移行判定装置１Ｂは、運転者が手動運転への移行に際していつもと違う眼鏡をかけている場合に、その旨を報知して運転用の眼鏡の装着を促すことが可能である。

＜ハードウェア構成＞
上述した運転権限移行判定装置１Ａ，１Ｂにおけるタスク要求部１１、タスク取得部１２、移行判定部１３、判定結果出力部１４（以下、「タスク要求部１１等」と記す）は、図２１に示す処理回路８１により実現される。すなわち、処理回路８１は、所定時間継続した発声又は身体動作に関するタスクの要求を車両内の出力装置に出力させるタスク要求部１１と、車両内の入力装置からタスクの実行結果を取得するタスク取得部１２と、タスクの実行結果に基づき移行可否を判定する移行判定部１３と、移行判定部の判定結果を自動運転制御装置に出力する判定結果出力部１４と、を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor等である。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。タスク要求部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、タスク要求部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図２２に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転権限移行判定装置１Ａ，１Ｂは、処理回路８１により実行されるときに、所定時間継続した発声又は身体動作に関するタスクの要求を車両内の出力装置に出力させるステップと、車両内の入力装置からタスクの実行結果を取得するステップと、タスクの実行結果に基づき移行可否を判定するステップと、移行可否の判定結果を自動運転制御装置に出力するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、タスク要求部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Electrically Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置の少なくともいずれか１つが含まれる。

以上、タスク要求部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、タスク要求部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、タスク要求部１１については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、外見特徴格納部３０は、メモリ８３から構成されるが、それらは一のメモリ８３から構成されてもよいし、それぞれが個別のメモリから構成されてもよい。

また、以上で説明した運転権限移行判定装置１Ａ，１Ｂは、車載装置のみから構成される他、車載装置、Portable Navigation Device、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせて構築されるシステムにも適用することができる。この場合、以上で説明した運転権限移行判定装置１Ａ，１Ｂの各機能または各構成要素は、当該システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

その一例として図２３には、車載装置９１およびサーバ９２による運転権限移行判定装置１Ａの構成例を示している。図２３に示すように、タスク要求部１１およびタスク取得部１２が車載装置９１により構成され、移行判定部１３および判定結果出力部１４がサーバ９２により構成される。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１Ａ，１Ｂ 運転権限移行判定装置、１１ タスク要求部、１２ タスク取得部、１３ 移行判定部、１４ 判定結果出力部、２１ 出力装置、２２ 入力装置、２３ 自動運転制御装置、２４ 車両ＥＣＵ、２５ 車載センサ、２６ 地図データベース、２７ 通信装置、２９ 外見特徴抽出部、３０ 外見特徴格納部、３１ 報知制御部、８１ 処理回路、８２ プロセッサ、８３ メモリ、９１ 車載装置、９２ サーバ。

Claims (8)

1. 車両の自動運転制御装置から加速、操舵および制動のうち少なくとも一部の運転権限を運転者へ移行することに対して前記運転者の準備が整っているか否かを移行可否として判定する運転権限移行判定装置であって、
   所定時間継続した身体動作に関するタスクの要求を前記車両内の出力装置に出力させるタスク要求部と、
   前記車両内の入力装置から前記タスクの実行結果を取得するタスク取得部と、
   前記タスクの実行結果に基づき前記移行可否を判定する移行判定部と、
   前記移行判定部の判定結果を前記自動運転制御装置に出力する判定結果出力部と、を備え、
   前記タスク取得部は、前記車両の室内の操作面又は操作空間における前記運転者の身体の軌跡を前記タスクの実行結果として取得する、
   運転権限移行判定装置。
2. 前記移行判定部は、前記タスク取得部が取得した軌跡と予め定められた軌跡との比較に基づき、前記移行可否を判定する、
   請求項１に記載の運転権限移行判定装置。
3. 前記タスクは指の動作に関する、
   請求項１または請求項２に記載の運転権限移行判定装置。
4. 前記移行判定部は、前記タスク取得部が取得した前記運転者の指の軌跡の速度変化に基づき、前記移行可否を判定する、
   請求項３に記載の運転権限移行判定装置。
5. 車両の自動運転制御装置から加速、操舵および制動のうち少なくとも一部の運転権限を運転者へ移行することに対して前記運転者の準備が整っているか否かを移行可否として判定する運転権限移行判定装置であって、
   所定時間継続した発声又は身体動作に関するタスクの要求を前記車両内の出力装置に出力させるタスク要求部と、
   前記車両内の入力装置から前記タスクの実行結果を取得するタスク取得部と、
   前記タスクの実行結果に基づき前記移行可否を判定する移行判定部と、
   前記移行判定部の判定結果を前記自動運転制御装置に出力する判定結果出力部と、
   前記運転者の撮影画像から前記運転者の外見特徴を抽出する外見特徴抽出部と、
   前記自動運転制御装置から前記運転者へ運転権限を移行する前に、過去の運転権限移行後と現在とで前記外見特徴を比較し、両者が異なる場合にその旨を前記出力装置に報知させる報知制御部と、を備える、
   運転権限移行判定装置。
6. 前記移行判定部は、前記タスクの実行の所要時間に基づき、前記移行可否を判定する、
   請求項１から請求項５のいずれか１項に記載の運転権限移行判定装置。
7. 前記タスク要求部は、前記車両が走行経路上に設定された前記運転権限の移行予定地点に到達する前に、自動運転制御装置から移行可否判定要求を取得し、前記移行可否判定要求に応じて前記移行可否を判定する、
   請求項１から請求項６のいずれか１項に記載の運転権限移行判定装置。
8. 車両の自動運転制御装置から加速、操舵および制動のうち少なくとも一部の運転権限を運転者へ移行することに対して前記運転者の準備が整っているか否かを移行可否として判定する運転権限移行判定方法であって、
   所定時間継続した身体動作に関するタスクの要求を前記車両内の出力装置に出力させ、
   前記車両内の入力装置から、前記車両の室内の操作面又は操作空間における前記運転者の身体の軌跡を前記タスクの実行結果として取得し、
   前記タスクの実行結果に基づき前記移行可否を判定し、
   前記移行可否の判定結果を前記自動運転制御装置に出力する、
   運転権限移行判定方法。

Images