JP6627810B2 - 運転モード切替制御装置、方法およびプログラム - Google Patents

Description

この発明は、車両の運転モードを手動運転モードと自動運転モードとの間で切り替えるための運転モード切替制御装置、方法およびプログラムに関する。

近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである。

ところで、自動運転モードは運転者の運転操作の負担軽減や交通渋滞の緩和等の効果が期待できるものの、走行開始から走行終了までのすべての運転操作を自動化することは現実的に困難である。このため、自動運転モードから手動運転モードへの切り替えを適切に行うことが求められている。自動運転モードを手動運転モードに切り替える場合のトリガとしては、例えば、自動運転中の運転者による運転操作（以下、オーバーライド操作という）がある（例えば特許文献１を参照）。オーバーライド操作が検出された場合には、切り替えに先立ち、運転者の状態を検出して手動運転操作可能な状態にあることを判定する必要がある。

特開２０１６−１５１８１５号公報

ところが、以上のようなオーバーライド操作は、通常では運転者が意識的に行う緊急の操作である。ここで、緊急の操作の場合には、迅速な切り替えを運転者が望むのにも関わらず、切り替えに先立って運転者の状態を検出及び判定することになる。このため、緊急の操作から手動運転モードへ切り替えるまでの時間が長くなり、運転者による運転操作が遅れる心配がある。また、手動運転モードに切り替わるまでの間に運転者に不安感を与えることになり、非常に好ましくない。

この発明は上記事情に着目してなされたもので、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮できるようにした運転モード切替制御装置、方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、車両の運転モードを自動運転モードから手動運転モードへ切り替えるための運転モード切替制御装置であって、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得部と、前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定部と、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出部と、前記操作検出部によりオーバーライド操作が検出されると、前記判定部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力部とを具備する。

この発明の第２の態様は、前記判定部が集中度検出部及び集中度判定部を備え、前記集中度検出部により、前記取得されたセンシングデータに基づいて、前記運転者の運転に対する集中度を周期的に検出し、前記集中判定部により、前記検出部により検出された最新の集中度に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定するようにしたものである。

この発明の第３の態様は、前記集中度判定部により、前記集中度検出部により検出された最新の集中度を含む過去の複数の集中度に基づいて、前記判定を実行するようにしたものである。

この発明の第４の態様は、前記集中度判定部により、過去から現在に向かって前記複数の集中度が変動する傾向に基づいて、前記判定を実行するようにしたものである。

この発明の第５の態様は、前記判定部が推定部及び状態判定部を備え、前記推定部により、前記取得されたセンシングデータに基づいて、前記運転者の状態を推定し、前記状態判定部により、前記推定部により推定された状態に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを前記時間間隔ごとに判定するようにしたものである。

この発明の第６の態様は、前記状態判定部により、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定を実行するようにしたものである。

この発明の第７の態様は、前記判定部が調整部をさらに備え、前記調整部により、前記傾向に基づいて、前記時間間隔を調整するようにしたものである。

この発明の第１の態様によれば、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが任意の時間間隔で判定され、前記操作検出部によりオーバーライド操作が検出されると、前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号が出力される。このため、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮することができる。

この発明の第２の態様によれば、前記運転者の運転に対する集中度が周期的に検出され、検出された最新の集中度に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが前記時間間隔ごとに判定される。このため、切り替えに先立ち、運転者の最新の集中度が高いか否かに応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

この発明の第３の態様によれば、検出された最新の集中度を含む過去の複数の集中度に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の直近の過去における複数の集中度に応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

この発明の第４の態様によれば、過去から現在に向かって前記複数の集中度が変動する傾向に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の前記複数の集中度が過去から現在に向かって上昇、略安定、又は下降する傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の集中度が上昇する傾向又は略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の集中度が下降する傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。

この発明の第５の態様によれば、前記運転者の状態が推定され、推定された運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかが前記時間間隔ごとに判定される。このため、切り替えに先立ち、推定された状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

この発明の第６の態様によれば、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定が実行される。このため、切り替えに先立ち、運転者の状態が過去から現在に向かって、何らかの状態から運転に適した状態に変わる傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の状態が運転に適した状態に近づく傾向又は運転に適した状態で略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の状態が運転に適さない状態に近づく傾向又は運転に適さない状態で略安定した傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。

この発明の第８の態様によれば、運転者の集中度又は状態が変動する前記傾向に基づいて、判定部による判定の前記時間間隔が調整される。このため、例えば、手動運転モードによる運転操作を行える状態にある旨の判定結果が得られるように変動する傾向にある場合には、判定の時間間隔が長くなるように調整される。一方、例えば、手動運転モードによる運転操作を行える状態にない旨の判定結果が得られるように変動する傾向にある場合には、判定の時間間隔が短くなるように調整される。

すなわちこの発明によれば、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮できるようにした運転モード切替制御装置、方法およびプログラムを提供することができる。

この発明の第１の実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図。 この発明の第１の実施形態に係る運転モード切替制御装置の機能構成を示すブロック図。 図２に示した運転モード切替制御装置による運転モード切替制御の手順と制御内容を示すフローチャート。 図３に示したフローのうちの手動運転の可否判定の手順と制御内容を示すフローチャート。 図４に示したフローの他の手順と制御内容を示すフローチャート。 図５に示したフローの具体例の手順と制御内容を示すフローチャート。 図６に示したフローのさらなる具体例の手順と制御内容を示すフローチャート。 この発明の第２の実施形態に係る運転モード切替制御装置による手動運転の可否判定の手順と制御内容を示すフローチャート。 図８に示したフローの具体例の手順と制御内容を示すフローチャート。 図９に示したフローのさらなる具体例の手順と制御内容を示すフローチャート。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図で、この自動運転制御システムは乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール４が装備された操舵装置３とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

手動運転モードは、例えば、運転者（以下ドライバとも称する）の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール４の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１において、５は上記自動運転モードによる運転制御を実行するための自動運転制御装置を示している。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

ところで、本実施形態の自動運転制御システムは、上記手動運転モードと自動運転モードとの間の切り替えを行うための装置として、運転モード切替制御装置６と、第１の監視センサとしてのドライバカメラ７と、第２の監視センサとしてのトルクセンサ８と、アラーム発生器９とを備えている。

ドライバカメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転モード切替制御装置６へ出力する。トルクセンサ８は、運転者がステアリングホイール４を操作したときに発生するトルクを検出するもので、その検出信号を運転モード切替制御装置６へ出力する。アラーム発生器９は、スピーカと表示器を有し、運転モード切替制御装置６から出力されたメッセージの音声信号を上記スピーカから出力すると共に、上記メッセージの表示信号を表示器に表示する。

運転モード切替制御装置６は、上記運転モードの切り替えを統括的に制御するもので、以下のように構成される。
図２はその機能構成を示すブロック図である。

すなわち、運転モード切替制御装置６は、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、上記ドライバカメラ７およびトルクセンサ８からそれぞれ出力された映像信号およびトルク検出信号を受信してディジタルデータに変換する。同様に、入出力インタフェースユニット６２は、上記ステアリングセンサ１１、アクセルペダルセンサ１２およびブレーキペダルセンサ１３からそれぞれ出力されたセンシングデータとしての検出信号を受信してディジタルデータに変換する。またそれと共に、制御ユニット６１から出力されたメッセージを音声信号および表示信号に変換してアラーム発生器９へ出力する。さらに制御ユニット６１から出力された切替信号を自動運転制御装置５へ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したもので、本実施形態を実施するために使用する記憶領域として、ドライバ監視映像記憶部６３１と、判定結果記憶部６３２とを備えている。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有し、本実施形態を実施するために必要な制御機能として、ドライバ監視映像取得部６１１と、判定部６１２と、操作検出部６１３と、切替信号出力部６１４とを備えている。なお、これらの制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

ドライバ監視映像取得部６１１は、上記ドライバカメラ７から出力されたドライバの映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだドライバ監視映像データを上記記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる。

判定部６１２は、上記ドライバ監視映像記憶部６３１から予め設定された時間間隔でドライバ監視映像データを読み込む。そして、ドライバ監視映像データを読み込む毎に、当該ドライバ監視映像データに基づいて運転者が手動で運転操作を行える状態にあるか否かを判定する処理を行う。例えば、運転者が眼を閉じていないかどうかを確認して、睡眠状態にないかどうかを判定する。そして、判定部６１２は、その判定結果を表す情報を判定タイミングを表すタイムスタンプと関連付けて判定結果記憶部６３２に保持する。

ここで、判定部６１２は、以下の各処理を実行してもよい。

(A1) ドライバカメラ７から（入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介して）取得されたセンシングデータに基づいて、運転者の運転に対する集中度を周期的に検出する集中度検出処理。この場合、検出した集中度を、検出タイミングを表すタイムスタンプと関連付けて判定結果記憶部６３２に保持することが、複数の集中度に基づく判定を可能とする観点から好ましい。また、判定部６１２は、入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介さずに、ドライバカメラ７からセンシングデータを取得してもよい。これは、以下の各実施形態でも同様である。

(A2) 上記(A1)の集中度検出処理により検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する集中度判定処理。なお、集中度判定処理の時間間隔と、集中度検出処理の検出周期とは、同一でもよく、異なってもよい。また、集中度判定処理の時間間隔は、複数の集中度に基づく判定を可能とする観点から、集中度検出処理の検出周期以上の長さであることが好ましい。

上記(A2)の集中度判定処理は、(A2a) 上記(A1)の集中度検出処理により検出された最新の集中度を含む過去の複数の集中度に基づいて、判定を実行するようにしてもよい。

上記(A2a)の集中度判定処理は、(A2b) 過去から現在に向かって当該複数の集中度が変動する傾向に基づいて、判定を実行するようにしてもよい。

上記(A2b)の集中度判定処理は、(A2c) 上記傾向に基づいて運転者の状態を予測し、この予測結果に基づいて判定を実行するようにしてもよい。ここでいう予測は、予測精度を向上させる観点から、次回の判定タイミングにおける運転者の状態を対象とすることが好ましい。なお、上記(A2a), (A2b), または(A2c)の集中度判定処理は、人間の状態には個人差があることから、運転者ごとの複数の集中度に基づき、運転者固有の処理として実行してもよい。また、各々の運転者は、ドライバ監視映像記憶部６３１に記憶されたセンシングデータから顔認証により識別可能となっている。

ここで、判定部６１２は、さらに、上記(A2b)または(A2c)の傾向に基づいて、上記時間間隔を調整する調整処理を実行するようにしてもよい。

なお、判定部６１２は、上記集中度検出処理を実行する集中度検出部と、上記集中度判定処理を実行する集中度判定部と、上記調整処理を実行する調整部との各部を備えてもよく、当該各部に分散して実装されてもよい。

操作検出部６１３は、運転者による運転操作を検出可能な車載センサとしてのトルクセンサ８から出力された検出信号に基づいて、運転者による緊急のオーバーライド操作または緊急でないオーバーライド操作を検出する。なお、車載センサとしては、これに限らず、ステアリングセンサ１１、アクセルペダルセンサ１２及びブレーキペダルセンサ１３が適宜、使用可能となっている。

切替信号出力部６１４は、操作検出部６１３によりオーバーライド操作が検出されると、判定部６１２により保持されている判定結果のうちオーバーライド操作が検出される直前に対応する判定結果に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にある場合に、自動運転モードを手動運転モードに切り替える切替信号を自動運転制御装置５に出力する。

（動作）
次に、以上のように構成された運転モード切替制御装置の動作を説明する。
図３はその全体の制御手順と制御内容を示すフローチャートである。

（１）ドライバ監視映像の取得
運転が開始されるとドライバカメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で運転モード切替制御装置６は、ドライバ監視映像取得部６１１の制御の下、先ずステップＳ１により上記ドライバカメラ７から出力された映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだドライバ監視映像データをステップＳ２により記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる。

なお、上記ドライバの撮像は、後述する判定部６１２の判定周期より短い周期で間欠的に行ってもよい。また、ドライバカメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、監視映像データの情報量を減らしてドライバ監視映像記憶部６３１の記憶容量を節約することが可能となる。

（２）運転者の状態の判定
上記ドライバ監視映像データの取得が開始されると運転モード切替制御装置６は、次に判定部６１２の制御の下、ステップＳ３により一定時間の経過が判定される毎に、ステップＳ１０により上記ドライバ監視映像記憶部６３１からドライバ監視映像データを読み込む。そして、当該読み込んだドライバ監視映像データの各々から、運転者が手動で運転操作を行える状態にあるか否かを以下のステップＳ１１〜Ｓ１２に示すように判定する。
図４はその制御手順と制御内容を示すフローチャートである。

すなわち、判定部６１２は、ステップＳ１１により、ドライバ監視映像記憶部６３１に記憶されたセンシングデータに基づいて、運転者の運転に対する集中度を周期的に検出する。例えば、ドライバ監視映像データをもとに、運転者の眼の開眼の状態、まばたきの頻度、或いは眼球運動等を検出し、運転者の覚醒度を認識する。この覚醒度は、集中度の一例であり、０〜１００％の範囲内の数値で表される。なお、集中度としては、０〜１００％の範囲内の数値に限らず、例えば、運転者の視線方向が所定範囲にある場合を“１”とし、所定範囲にない場合を“０”とする等のように、“１”または“０”の値（フラグ）を用いてもよい。

また、判定部６１２は、ステップＳ１２により、ステップＳ１１で検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する。例えば、認識した覚醒度を閾値と比較することで、運転者が手動で運転操作を行える状態にあるか否かを判定する。以上により、ステップＳ１０の処理が完了する。

続いて図３に戻り、上記手動運転操作の可否の判定結果が得られると、判定部６１２はステップＳ４により、上記判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて判定結果記憶部６３２に記憶させる。

また、判定部６１２は、ステップＳ５により、ステップＳ１１で検出された集中度に基づいて、ステップＳ１０の判定を実行する時間間隔を調整する。例えば、判定部６１２は、過去から現在に向かって複数の集中度が変動する傾向に基づいて、当該時間間隔を調整する。なお、このステップＳ５は、ステップＳ４の後に限らず、任意の時点で実行してもよく、省略してもよい。

（３）オーバーライド操作の検出
運転モード切替制御装置６は、続いて操作検出部６１３の制御の下、ステップＳ６を実行する。このとき、例えば、車載センサとしてのトルクセンサ８は、運転者による運転操作に応じて検出信号を出力する。運転モード切替制御装置６は、運転操作に応じた検出信号に基づいて、運転者によるオーバーライド操作を検出する。なお、ステップＳ６の結果、オーバーライド操作が検出されなかった場合にはステップＳ１に戻り、オーバーライド操作が検出された場合には、ステップＳ７に移行する。

（４）切替信号の出力制御
運転モード切替制御装置６は、オーバーライド操作が検出されると、切替信号出力部６１４の制御の下、オーバーライド操作が検出される直前の判定部６１２による判定結果を判定結果記憶部６３２から読み込む。

そして、切替信号出力部６１４は、ステップＳ７により、当該読み込んだ判定結果が手動運転操作可能を示すか否かを判定し、否の場合にはステップＳ１に戻る。また、ステップＳ７の判定の結果、手動運転可能を示す場合には、切替信号出力部６１４は、自動運転モードを手動運転モードに切り替える切替信号を自動運転制御装置５に出力する（ステップＳ８）。この結果、自動運転制御装置５は自動運転モードを終了し、以後運転者の手動操作に応じた運転制御が行われる。

（効果）
以上詳述したようにこの発明の第１の実施形態では、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが任意の時間間隔で判定され、操作検出部６１３によりオーバーライド操作が検出されると、オーバーライド操作が検出される直前に対応する判定結果に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にある場合に、自動運転モードを手動運転モードに切り替える切替信号が出力される。このように、直前の判定結果を用いるため、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮できる。

従って、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮することができる。

また、運転者の運転に対する集中度が周期的に検出され、検出された最新の集中度に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが時間間隔ごとに判定される。このため、切り替えに先立ち、運転者の最新の集中度が高いか否かに応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

また、運転者の集中度が変動する傾向に基づいて、判定部６１２による判定の時間間隔が調整される。このため、例えば、手動運転モードによる運転操作を行える状態の方に変動する傾向にある場合には、判定の時間間隔が長くなるように調整される。一方、例えば、手動運転モードによる運転操作を行えない状態の方に変動する傾向にある場合には、判定の時間間隔が短くなるように調整される。従って、運転者の集中度が変動する傾向に応じて、判定の時間間隔を適切に調整することができる。

［その他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、図４に示したフローチャートは、図５に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２に代えて、ステップＳ１１で検出された最新の集中度を含む過去の複数の集中度に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ａ）。この場合、切り替えに先立ち、運転者の直近の過去における複数の集中度に応じて運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

また例えば、図５に示したフローチャートは、図６に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２ａに代えて、過去から現在に向かって複数の集中度が変動する傾向に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ｂ）。この場合、切り替えに先立ち、運転者の複数の集中度が過去から現在に向かって上昇、略安定、又は下降する傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、運転者の集中度が上昇する傾向又は略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の集中度が下降する傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。

また例えば、図６に示したフローチャートは、図７に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１２ｂに代えて、複数の集中度が変動する傾向に基づいて運転者の状態を予測し（ステップＳ１２ｃ−１）、この予測結果に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１２ｃ−２）。この場合、切り替えに先立ち、予測された状態が運転操作を行える状態にあるかないかを示す判定結果を確認できる。

［第２の実施形態］
次に、この発明の第２の実施形態について、前述した図面を参照しながら説明する。

第２の実施形態は、前述した判定部６１２の他の具体例であり、判定部６１２が、前述した集中度を用いず、図８に示すように、推定したドライバ状態を用いる構成となっている。なお、図中、「運転者の状態」を「ドライバ状態」と表記している。

例えば、判定部６１２は、前述同様に、ドライバ監視映像記憶部６３１から予め設定された時間間隔でドライバ監視映像データを読み込む毎に、当該ドライバ監視映像データに基づいて運転者が手動で運転操作を行える状態にあるか否かを判定する処理を行う。

但し、判定部６１２は、前述した各処理(A1), (A2), (A2a), (A2b), (A2c)に代えて、以下の各処理を実行してもよい。なお、以下の各処理は、人間の状態には個人差があることから、運転者ごとの過去のデータに基づき、運転者固有の処理として実行してもよい。各々の運転者は、前述同様に、顔認証により識別可能となっている。

(B1) ドライバカメラ７から（入出力インタフェースユニット６２及びドライバ監視映像記憶部６３１を介して）取得されたセンシングデータに基づいて、運転者の状態を推定する推定処理。この推定処理では、例えば、ドライバ監視映像データをもとに、運転者の喜、怒、哀、楽、平静といった感情の状態を推定する。このような判定部６１２は、例えば、人間の感情を推定可能な人工知能（Artificial Intelligence：ＡＩ）を用いて実装可能である。なお、運転者の状態としては、運転者の感情の状態に限らず、運転に対する集中度に基づく状態を用いてもよい。

(B2) 上記(B1)の推定処理により推定された状態に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する状態判定処理。この状態判定処理では、例えば、推定された感情を予め設定された条件と比較することで、運転者が手動で運転操作を行える状態にあるか否かを判定する。設定された条件としては、例えば、推定された感情の状態が、喜、哀、楽、平静の場合には手動運転可能と定めてもよい。あるいは、設定された条件としては、例えば、推定された感情の状態が、怒の場合には手動運転不可と定めてもよい。

上記(B2)の状態判定処理は、(B2b) 過去から現在に向かって当該推定した状態が変動する傾向に基づいて、判定を実行するようにしてもよい。

上記(B2b)の状態判定処理は、(B2c) 上記傾向に基づいて運転者の状態を予測し、この予測結果に基づいて判定を実行するようにしてもよい。ここでいう予測は、予測精度を向上させる観点から、次回の判定タイミングにおける運転者の状態を対象とすることが好ましい。

ここで、判定部６１２は、さらに、上記(B2b)または(B2c)の傾向に基づいて、上記時間間隔を調整する調整部を実行するようにしてもよい。

なお、判定部６１２は、上記推定処理を実行する推定部と、上記状態判定処理を実行する状態判定部と、上記調整処理を実行する調整部との各部を備えてもよく、当該各部に分散して実装されてもよい。

他の部分の構成は、第１の実施形態と同様である。

（動作）
次に、以上のように構成された運転モード切替制御装置の動作について図３及び図８を用いて説明する。
いま、前述同様に、ステップＳ１〜Ｓ２が実行されたとする。

続いて、運転モード切替制御装置６は、判定部６１２の制御の下、ステップＳ３により一定時間の経過が判定される毎に、ステップＳ１０により上記ドライバ監視映像記憶部６３１からドライバ監視映像データを読み込む。そして、当該読み込んだドライバ監視映像データの各々から、運転者が手動で運転操作を行える状態にあるか否かを以下のステップＳ１５〜Ｓ１６に示すように判定する。
図８はその制御手順と制御内容を示すフローチャートである。

すなわち、判定部６１２は、ステップＳ１５により、ドライバ監視映像記憶部６３１に記憶されたセンシングデータに基づいて、運転者の状態を推定する。例えば、運転者の喜、怒、哀、楽、または平静といった感情の状態を推定する。

また、判定部６１２は、ステップＳ１６により、ステップＳ１５で推定した状態に基づいて、運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかを時間間隔ごとに判定する。例えば、推定された感情の状態が、喜、哀、楽、または平静の場合には手動運転可能と判定される。また、推定された感情の状態が、怒の場合には手動運転不可と判定される。以上により、ステップＳ１０の処理が完了する。

続いて図３に戻り、上記手動運転操作の可否の判定結果が得られると、判定部６１２はステップＳ４により、上記判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて判定結果記憶部６３２に記憶させる。

また、判定部６１２は、ステップＳ５により、ステップＳ１５で推定されたドライバ状態に基づいて、ステップＳ１０の判定を実行する時間間隔を調整する。例えば、判定部６１２は、過去から現在に向かって複数のドライバ状態が変動する傾向に基づいて、当該時間間隔を調整する。なお、このステップＳ５は、ステップＳ４の後に限らず、任意の時点で実行してもよく、省略してもよい。

以下、前述同様に、ステップＳ６〜Ｓ８の処理が実行される。

（効果）
以上詳述したようにこの発明の第２の実施形態では、第１の実施形態と同様にステップＳ１〜Ｓ８が実行される。このため、前述同様に、オーバーライド操作の後に、運転者の状態を検出及び判定する時間が不要となるので、オーバーライド操作から手動運転モードへの切替信号を出力するまでの時間を短縮することができる。従って、オーバーライド操作から手動運転モードへ切り替えるまでの時間を短縮することができる。

また、ステップＳ１０において、運転者の状態が推定され、推定された運転者の状態が手動運転モードによる運転操作を行える状態にあるかないかが時間間隔ごとに判定される。このため、切り替えに先立ち、推定された状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。

［その他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、図８に示したフローチャートは、図９に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１６に代えて、過去から現在に向かって当該推定した状態が変動する傾向に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１６ｂ）。この場合、切り替えに先立ち、運転者の状態が過去から現在に向かって何らかの状態から運転に適した状態に変わる傾向に基づいて、運転者の状態が運転操作を行える状態にあるかないかを示す判定結果を確認することが可能になる。例えば、怒りの感情状態が平静の感情状態に近づく傾向の如き、運転者の状態が運転に適した状態に近づく傾向又は運転に適した状態で略安定した傾向にあるときには、運転操作を行える状態にある旨の判定結果を確認できる。運転者の状態が運転に適さない状態に近づく傾向又は運転に適さない状態で略安定した傾向にあるときには、運転操作を行える状態にない旨の判定結果を確認できる。

また例えば、図９に示したフローチャートは、図１０に示すように変形してもよい。すなわち、判定部６１２は、ステップＳ１６ｂに代えて、推定した状態が変動する傾向に基づいて運転者の状態を予測し（ステップＳ１６ｃ−１）、この予測結果に基づいて、前述した手動運転操作が可能な否かの判定を実行する（ステップＳ１６ｃ−２）。この場合、切り替えに先立ち、予測された状態が運転操作を行える状態にあるかないかを示す判定結果を確認できる。

さらに他の実施形態としては、例えば、以下のものがある。

前記第１または第２の実施形態では、運転者の状態を判定するための手段として、ドライバカメラ７により得られる運転者の顔を含む映像信号を用いる場合を例にとって説明した。しかし、それに限らず、生体センサにより得られる生体信号、例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号をもとに、運転者の状態を判定するようにしてもよい。あるいは、運転者の状態を判定するための手段として、トルクセンサ８により検出される運転者の操舵操作の操舵トルクを用い、所定値以上のトルクが検出された場合に運転者が手動による運転操作を行える状態にあると判定してもよい。これに限らず、ステアリングホイール４に設けられた押しボタンやタッチパネルに設けられたソフトボタン等のように、運転者が手動による運転操作が可能になったことを入力することが可能な操作入力手段を用いて、運転者の状態を判定するようにしてもよい。その他、アクセルペダルの操作等を用いることも可能である。

その他、車両の種類、自動運転制御装置の機能、運転モード切替制御装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。
（付記１）
車両の運転モードを自動運転モードから手動運転モードへ切り替えるための運転モード切替制御装置であって、
運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを判定して得られた判定結果を記憶するメモリと、
前記メモリに接続された少なくとも１つのハードウェアプロセッサと
を具備し、
前記少なくとも１つのハードウェアプロセッサは、
運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得し、
前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を前記メモリに保持し、
前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出し、
前記オーバーライド操作が検出されると、前記記憶部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力するように構成される運転モード切替制御装置。

（付記２）
車両の運転モードを自動運転モードから手動運転モードへ切り替えるための装置が実行する運転モード切替制御方法であって、
少なくとも１つのハードウェアプロセッサを用いて、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記取得されたセンシングデータに基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を少なくとも１つのメモリに保持する判定過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出過程と、
少なくとも１つのハードウェアプロセッサを用いて、前記操作検出過程によりオーバーライド操作が検出されると、前記判定過程により保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力過程と
を具備する運転モード切替制御方法。

１…車両、２…パワーユニット、３…操舵装置、４…ステアリングホイール、５…自動運転制御装置、６…運転モード切替制御装置、７…ドライバカメラ、８…トルクセンサ、９…アラーム発生器、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…ドライバ監視映像取得部、６１２…判定部、６１３…操作検出部、６１４…切替信号出力部、６３１…ドライバ監視映像記憶部、６３２…判定結果記憶部。

Claims (4)

1. 車両の運転モードを自動運転モードから手動運転モードへ切り替えるための運転モード切替制御装置であって、
   運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得部と、
   前記取得されたセンシングデータに基づいて、前記運転者の感情の状態を推定し、前記推定した感情の状態に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定部と、
   前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出部と、
   前記操作検出部によりオーバーライド操作が検出されると、前記判定部に保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力部と
   を具備し、
   前記感情の状態は、喜、怒、哀、楽、または平静の状態であり、
   前記手動運転モードにより運転操作を行える状態は、前記喜、前記哀、前記楽、または前記平静の状態であり、
   前記手動運転モードにより運転操作を行えない状態は、前記怒の状態であり、
   前記判定部は、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定を実行し、
   前記判定部は、前記傾向に基づいて、前記時間間隔を調整する調整部をさらに備え、
   前記判定部は、前記運転者の状態が前記怒の状態に近づく傾向にあるときには、前記手動運転モードにより運転操作を行える状態にない旨を判定し、
   前記調整部は、前記運転者の状態が前記手動運転モードにより運転操作を行える状態にない旨の判定結果が得られるように変動する傾向にある場合には、前記時間間隔を短くするように調整する、運転モード切替制御装置。
2. 前記センシングデータから顔認証により各々の運転者を識別する識別部をさらに備え、
   前記判定部は、前記推定する処理と、前記判定する処理と、前記調整する処理との各処理を、運転者ごとの過去のデータに基づき、前記識別された運転者固有の処理として実行する、請求項１に記載の運転モード切替制御装置。
3. 車両の運転モードを自動運転モードから手動運転モードへ切り替えるための装置が実行する運転モード切替制御方法であって、
   前記装置が、運転者の状態を監視するための監視センサから、前記運転者の状態を表すセンシングデータを取得する取得過程と、
   前記装置が、前記取得されたセンシングデータに基づいて、前記運転者の感情の状態を推定し、前記推定した感情の状態に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にあるかないかを任意の時間間隔で判定し、その判定結果を保持する判定過程と、
   前記装置が、前記運転者による運転操作を検出可能な車載センサから出力された検出信号に基づいて、前記運転者によるオーバーライド操作を検出する操作検出過程と、
   前記装置が、前記操作検出過程によりオーバーライド操作が検出されると、前記判定過程により保持されている判定結果のうち前記オーバーライド操作が検出される直前に対応する判定結果に基づいて、前記運転者の状態が前記手動運転モードによる運転操作を行える状態にある場合に、前記自動運転モードを前記手動運転モードに切り替える切替信号を出力する切替信号出力過程と
   を具備し、
   前記感情の状態は、喜、怒、哀、楽、または平静の状態であり、
   前記手動運転モードにより運転操作を行える状態は、前記喜、前記哀、前記楽、または前記平静の状態であり、
   前記手動運転モードにより運転操作を行えない状態は、前記怒の状態であり、
   前記判定過程は、過去から現在に向かって前記推定した状態が変動する傾向に基づいて、前記判定を実行し、
   前記判定過程は、前記傾向に基づいて、前記時間間隔を調整する調整過程をさらに備え、
   前記判定過程は、前記運転者の状態が前記怒の状態に近づく傾向にあるときには、前記手動運転モードにより運転操作を行える状態にない旨を判定し、
   前記調整過程は、前記運転者の状態が前記手動運転モードにより運転操作を行える状態にない旨の判定結果が得られるように変動する傾向にある場合には、前記時間間隔を短くするように調整する、運転モード切替制御方法。
4. 請求項１または請求項２に記載の運転モード切替制御装置が備える前記各部としてコンピュータを機能させるプログラム。