JP6948559B2 - 運転者監視装置、及び運転者監視方法 - Google Patents

Description

本発明は運転者監視装置、及び運転者監視方法に関し、より詳細には自動運転モードと手動運転モードとを備えた車両の運転者を監視する運転者監視装置、及び運転者監視方法に関する。

近年、車両の走行制御を自動的に行う自動運転の実現に向けて研究開発が活発に行われている。自動運転の技術レベルは、加減速、操舵、制動を含む走行制御のうち少なくとも一部を自動化したレベルから完全自動化のレベルまでいくつかのレベルに分類されている。

車両の操作及び周辺監視の主体を自動運転システムが担う自動化レベル（例えば、加速・操舵・制動を全て自動運転システムが行い、自動運転システムが要請したときは運転者が対応するレベル３）では、交通環境などの要因によって、自動運転モードから運転者による手動運転モードに切り替わる状況が発生することが想定されている。例えば高速道路では自動運転が可能であるが、インターチェンジ付近で自動運転システムが運転者へ手動運転を要請するような状況である。

上記レベル３の自動運転モードでは、基本的に運転者は運転操作から解放されるため、自動運転中に運転者が運転以外の作業を行う可能性や運転者の覚醒度が低下する可能性がある。そのため、自動運転モードから手動運転モードに切り替わる際には、車両の安全を確保するため、車両のハンドル操作やペダル操作が自動運転システムから運転者に引き継ぎ可能な状態にある必要がある。自動運転システムから運転者に引き継ぎ可能な状態とは、例えば運転者がハンドルを把持している状態である。

例えば、運転者によるハンドル操作を検出する構成については、下記の特許文献１に開示されている把持検出装置などを用いることで、自動運転モードから手動運転モードに切り替わる際にハンドルの把持状態を検出することが可能になると考えられる。

［発明が解決しようとする課題］
しかしながら、上記特許文献１記載の把持検出装置では、ハンドルに接触している手が、本当に運転者の手であるか否かを正確に判定することができていない。例えば、運転者以外の同乗者（助手席や後部座席の人）がハンドルを握っている場合であっても、運転者がハンドルを把持しているものと判定されてしまう。
上記把持検出装置を用いた場合、自動運転モードから手動運転モードに切り替わる際に、運転者以外の同乗者がハンドルを把持している場合であっても手動運転に切り替わる虞があるという課題があった。

特開２０１６−２０３６６０号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、自動運転モードから手動運転モードに切り替えられる場合に、手動運転時の本来の運転者がハンドルを把持しているか否かを精度良く検出することができる運転者監視装置、及び運転者監視方法を提供することを目的としている。

上記目的を達成するために本発明に係る運転者監視装置（１）は、自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報と、前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第１の判定処理部と、
該第１の判定処理部による判定結果に基づく所定の信号を出力する第１の信号出力部とを備えていることを特徴としている。

上記運転者監視装置（１）によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報と、前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かが判定され、該判定結果に基づく所定の信号が出力される。
したがって、前記第２の生体情報と前記第１の生体情報とを用いることで、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記手動運転時の前記運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
また、前記第１の判定処理部による判定結果に基づく所定の信号を出力することにより、該所定の信号に基づく所定の処理を外部機器に対して効率良く、迅速に実行させることができ、前記自動運転モードから前記手動運転モードへの切り替え時における前記車両の安全性を高めることが可能となる。

また本発明に係る運転者監視装置（２）は、上記運転者監視装置（１）において、前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
前記手動運転モードにおいて前記画像取得部により取得された第１の運転者画像を記憶する画像記憶部とを備え、
前記第１の判定処理部及び前記第１の信号出力部に代えて、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された前記第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第２の判定処理部と、
該第２の判定処理部による判定結果に基づく所定の信号を出力する第２の信号出力部とを備えていることを特徴としている。

上記運転者監視装置（２）によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された前記第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かが判定され、該判定結果に基づく所定の信号が出力される。
したがって、前記第２の生体情報及び前記第１の生体情報の他に、前記第２の運転者画像及び前記第１の運転者画像を用いることで、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記手動運転時の前記運転者が前記ハンドルを把持しているか否かを一層精度良く検出することができる。
また、前記第２の判定処理部による判定結果に基づく所定の信号を出力することにより、該所定の信号に基づく所定の処理を外部機器に対して効率良く、迅速に実行させることができ、前記自動運転モードから前記手動運転モードへの切り替え時における前記車両の安全性を高めることが可能となる。

また本発明に係る運転者監視装置（３）は、上記運転者監視装置（２）において、前記自動運転モードにおいて前記画像取得部により取得された第３の運転者画像と、前記画像記憶部から読み出した前記第１の運転者画像とに基づいて、前記自動運転モードでの前記運転者と前記手動運転モードでの前記運転者とが一致するか否かを判定する第３の判定処理部と、
該第３の判定処理部による判定結果に基づく所定の信号を出力する第３の信号出力部とを備えていることを特徴としている。

上記運転者監視装置（３）によれば、前記自動運転モードにおいて前記画像取得部により取得された第３の運転者画像と、前記画像記憶部から読み出した前記第１の運転者画像とを用い、前記自動運転モードでの前記運転者と前記手動運転モードでの前記運転者とが一致するか否かが判定され、該判定結果に基づく所定の信号が出力される。
したがって、前記手動運転モードから前記自動運転モードに切り替わった後（自動運転モード中）に、前記運転者、すなわち、前記ハンドルを操作する運転席に座る人が入れ替わったか否かを検出することができる。例えば、前記手動運転モード中に運転者が入れ替わると、前記自動運転モードから前記手動運転モードに切り替わる場合に、運転操作を速やかに引き継ぐことが困難となるが、上記運転者監視装置（３）によれば、前記自動運転モード中での運転者の入れ替わりを防止することができ、前記自動運転モードから前記手動運転モードに切り替わる場合に、前記運転者に運転操作を円滑に引き継がせることが可能となる。

また本発明に係る運転者監視装置（４）は、上記運転者監視装置（１）において、前記第１の信号出力部が、前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴としている。

上記運転者監視装置（４）によれば、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号が出力されるので、前記運転者にハンドル操作が引き継がれた後で前記自動運転モードから前記手動運転モードへの切り替えが実行されることとなり、該切替後の車両の安全を確保することができる。

また本発明に係る運転者監視装置（５）は、上記運転者監視装置（１）において、前記第１の信号出力部が、前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記車両に設けられた警報部に、所定の警告処理を実行させるための信号を出力するものであることを特徴としている。

上記運転者監視装置（５）によれば、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記警報部に、所定の警告処理を実行させるための信号が出力されるので、前記手動運転モードでの前記運転者が前記ハンドルの操作を引き継ぐように注意を促すことができる。

また本発明に係る運転者監視装置（６）は、上記運転者監視装置（１）において、前記第１の信号出力部が、前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転モードの制御を行う自動運転制御部に、自動運転による停車を指示する信号を出力するものであることを特徴としている。

上記運転者監視装置（６）によれば、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転制御部に、自動運転による停車を指示する信号が出力される。したがって、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記手動運転モードでの前記運転者が前記ハンドルを把持しないときには、前記自動運転制御部により前記車両を停止させることができ、前記車両の安全を確保することができる。

また本発明に係る運転者監視装置（７）は、上記運転者監視装置（２）又は（３）において、前記第２の信号出力部が、前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴としている。
上記運転者監視装置（７）によれば、上記運転者監視装置（４）と略同様の効果を得ることができる。

また本発明に係る運転者監視装置（８）は、上記運転者監視装置（２）又は（３）において、前記第２の信号出力部が、前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記車両に設けられた警報部に、所定の警告処理を実行させるための信号を出力するものであることを特徴としている。
上記運転者監視装置（８）によれば、上記運転者監視装置（５）と略同様の効果を得ることができる。

また本発明に係る運転者監視装置（９）は、上記運転者監視装置（２）又は（３）において、前記第２の信号出力部が、前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転モードの制御を行う自動運転制御部に、自動運転による停車を指示する信号を出力するものであることを特徴としている。
上記運転者監視装置（９）によれば、上記運転者監視装置（６）と略同様の効果を得ることができる。

また本発明に係る運転者監視方法は、記憶部と、該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記記憶部が、前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を記憶する生体情報記憶部を備え、
前記ハードウェアプロセッサが、
前記手動運転モードにおいて前記生体情報検出部で検出された第１の生体情報を取得するステップと、
該取得した第１の生体情報を前記生体情報記憶部に記憶させるステップと、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報検出部で検出された第２の生体情報を取得するステップと、
前記生体情報記憶部から前記第１の生体情報を読み出すステップと、
前記第２の生体情報と前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定するステップと、
該判定した結果に基づく所定の信号を出力するステップと、を含んでいることを特徴としている。

上記運転者監視方法によれば、前記ハードウェアプロセッサが、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報検出部から取得した前記第２の生体情報と、前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定し、該判定結果に基づく所定の信号を出力する。したがって、前記第２の生体情報と前記第１の生体情報とを用いることで、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記手動運転時の前記運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
また、前記判定した結果に基づく所定の信号を出力することにより、該所定の信号に基づく所定の処理を外部機器に対して効率良く、迅速に実行させることができ、前記自動運転モードから前記手動運転モードへの切り替え時における前記車両の安全性を高めることが可能となる。

本発明の実施の形態（１）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。 生体センサの設置位置の一例を示すハンドルの正面図である。 実施の形態（１）に係る運転者監視装置のハードウェア構成を示すブロック図である。 実施の形態（１）に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。 実施の形態（１）に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。 実施の形態（２）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。 実施の形態（２）に係る運転者監視装置のハードウェア構成を示すブロック図である。 実施の形態（２）に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。 実施の形態（２）に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。

以下、本発明に係る運転者監視装置、及び運転者監視方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

図１は、実施の形態（１）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。

自動運転システム１は、運転者監視装置１０と自動運転制御装置２０とを含み、自動運転制御装置２０は、車両の加減速、操舵、制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを切り替える構成を備えている。本実施の形態において、運転者とは、車両の運転席に着座する人を示している。

自動運転システム１は、運転者監視装置１０、及び自動運転制御装置２０の他に、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、警報装置３７、始動スイッチ３８、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４など、自動運転及び手動運転の各種制御に必要なセンサや制御装置などが含まれている。これら各種センサや制御装置が通信ライン５０を介して接続されている。

また、車両には、エンジンやモーターなどの動力源であるパワーユニット５１、運転者が操舵するハンドル（ステアリングホイール）５２を備えた操舵装置５３が装備され、ハンドル５２には、生体センサ５４が設けられている。
運転者監視装置１０のハードウェア構成については後述する。

自動運転制御装置２０は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、入力部、出力部などを備えた電子制御ユニットで構成されている。前記制御部は１つ以上のハードウェアプロセッサを含み、前記記憶部に記憶されているプログラムを読み出して、各種の車両制御を実行する。

自動運転制御装置２０は、運転者監視装置１０の他、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などに接続されている。自動運転制御装置２０は、これら各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動制動制御など）を行う。

自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置２０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置２０は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了（解除）する。例えば、自動運転制御装置２０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する。また、自動運転制御装置２０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。

操舵センサ３１は、運転席前方に設けられたハンドル５２に対する操舵量を検出するセンサであり、例えば、車両のステアリングシャフトに設けられ、運転者によりハンドル５２に与えられる操舵トルク又はハンドル５２の操舵角を検出する。操舵センサ３１で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置２０や操舵制御装置３４へ出力される。

アクセルペダルセンサ３２は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサであり、例えばアクセルペダルのシャフト部分に設けられる。アクセルペダルセンサ３２で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置２０や動力源制御装置３５へ出力される。

ブレーキペダルセンサ３３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ３３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置２０や制動制御装置３６へ出力される。

操舵制御装置３４は、車両の操舵装置（例えば、電動パワーステアリング装置）５３を制御する電子制御ユニットである。操舵制御装置３４は、車両の操舵トルクをコントロールするモーターを駆動させることにより、車両の操舵トルクを制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて操舵トルクを制御する。

動力源制御装置３５は、パワーユニット５１を制御する電子制御ユニットである。動力源制御装置３５は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両の駆動力を制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて車両の駆動力を制御する。

制動制御装置３６は、車両のブレーキシステムを制御する電子制御ユニットである。制動制御装置３６は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両の車輪へ付与する制動力を制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて車輪への制動力を制御する。

警報装置３７は、各種警告や案内を音や音声で出力する音声出力部、各種警告や案内を文字や図形で表示したり、又はランプを点灯表示したりする表示出力部（いずれも図示せず）などを含んで構成され、運転者監視装置１０や自動運転制御装置２０から出力された警告指示信号に基づいて動作する。

始動スイッチ３８は、パワーユニット５１を始動、停止させるためのスイッチであり、エンジンを始動させるイグニッションスイッチや走行用モーターを始動させるパワースイッチなどで構成されている。始動スイッチ３８の操作信号が、運転者監視装置１０や自動運転制御装置２０に入力される。

周辺監視センサ３９は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれる。周辺監視センサ３９は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、または、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ３９で検出された対象物の検出データが自動運転制御装置２０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

ＧＰＳ受信機４０は、図示しないアンテナを介して人工衛星からのＧＰＳ信号を受信し、受信したＧＰＳ信号に基づいて自車位置を割り出す処理（ＧＰＳ航法）を行う装置である。ＧＰＳ受信機４０で、割り出された自車位置情報が自動運転制御装置２０やナビゲーション装置４３などへ出力される。

ジャイロセンサ４１は、車両の回転角速度（ヨーレート）を検出するセンサである。ジャイロセンサ４１で検出された回転角速度信号が自動運転制御装置２０やナビゲーション装置４３などへ出力される。

車速センサ４２は、車両の速度を検出するセンサであり、例えば、車輪やドライブシャフトなどに設けて車輪の回転速度を検出する車輪速センサなどで構成されている。車速センサ４２で検出された車速信号が自動運転制御装置２０やナビゲーション装置４３などへ出力される。

ナビゲーション装置４３は、ＧＰＳ受信機４０などで計測された車両の位置情報と地図データベース（図示せず）の地図情報とに基づいて、車両が走行する道路や車線を割り出し、車両の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置４３で求められた、車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置２０へ出力される。走行予定経路の情報には、自動運転区間の開始地点や終了地点、自動運転の開始予告地点や終了（解除）予告地点などの自動運転の切り替え制御に関連する情報も含まれている。ナビゲーション装置４３は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部などを含んで構成されている。

通信装置４４は、無線通信網（例えば、携帯電話網、ＶＩＣＳ（登録商標）、ＤＳＲＣ（登録商標）などの通信網）を介して各種の情報を取得する装置である。通信装置４４は、車々間通信機能や路車間通信機能を備えてもよい。例えば、道路脇に設けられた路側送受信機（例えば光ビーコン、ＩＴＳスポット（登録商標））などとの路車間通信により、車両の進路上の道路環境情報（車線規制情報など）を取得することができる。また、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得することができる。

ハンドル５２に設けられる生体センサ５４（生体情報検出部）は、ハンドル５２に触れた手（特に掌や指の部分）から個人を識別することができる生体情報を検出するセンサである。生体センサ５４には、例えば、ハンドル５２に触れた手（指を含む）の指紋を検出する指紋検出センサ、前記手から脈拍を検出する脈拍検出センサ、前記手の静脈パターンを検出する静脈パターン検出センサ、前記手の掌紋パターンを検出する掌紋パターン検出センサのうちの少なくともいずれが適用され得るが、これらに限定されない。これらセンサを複数組み合わせて用いてもよい。

前記指紋検出センサには、光学式センサや非光学式センサが適用され得る。光学式センサは、手（指）に光を照射し、指紋の隆線と谷線とで光の反射形態が異なる原理を利用して、その濃淡データから指紋を検出するセンサである。非光学式センサは、指紋の隆線と谷線との凹凸により生じる静電容量や温度差を半導体センサなどで電気的に検出して指紋を検出するセンサである。
前記静脈パターン検出センサには、例えば、発光素子から発光された近赤外線の反射の強弱を検出して静脈形状を認識するセンサなどが適用され得る。

前記脈拍検出センサには、例えば、赤外線又は可視光と赤外線を発光する光源と、フォトダイオードとを用い、前記光源を指先に当てて反射光を検出し、透過光量の変化を脈波として検出するセンサなどが適用され得る。

前記掌紋パターン検出センサには、例えば、撮像素子を含む画像センサにより撮像された掌握画像から掌紋部や指関節部の特徴線を抽出し、これら特徴線のマッチングを行う掌紋認証センサなどが適用され得る。

これら生体センサ５４のハンドル５２への設置位置や個数は、特に限定されない。生体センサ５４をハンドル５２の全周にわたり設けてもよい。
図３は、生体センサ５４の設置位置の一例を示すハンドル５２の正面図である。運転者がハンドル５２を両手で正しく握っていることが検出できるように、生体センサ５４を、少なくともアナログ時計の２時（ｔ２）から３時（ｔ３）の範囲と、９時（ｔ９）から１０時（ｔ１０）の範囲に、左右１対以上設置することが好ましい。または、ハンドル５２の左右両側が適正に把持されていることを検出できるように、アナログ時計の２時（ｔ２）から４時（ｔ４）の範囲と、８時（ｔ８）から１０時（ｔ１０）の範囲に、左右１対以設置するようにしてもよい。

図３に示すブロック図に基づいて、実施の形態（１）に係る運転者監視装置１０のハードウェア構成について説明する。
運転者監視装置１０は、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。

入出力Ｉ／Ｆ１１は、生体センサ５４、始動スイッチ３８、自動運転制御装置２０、警報装置３７などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。

制御ユニット１２は、生体センサ信号取得部１２ａ（生体情報取得部）、運転モード判定部１２ｂ、第１の判定処理部１２ｃ、及び第１の信号出力部１２ｅを含んで構成され、Central Processing Unit（ＣＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。

記憶ユニット１３は、生体センサ信号記憶部１３ａ（生体情報記憶部）、及び第１の判定方法記憶部１３ｂを含んで構成され、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。

制御ユニット１２は、記憶ユニット１３と協働して、取得データを記憶ユニット１３に記憶する処理や、記憶ユニット１３に記憶されたデータやプログラムを読み出し、該プログラムを実行するように構成されている。
制御ユニット１２を構成する運転モード判定部１２ｂは、例えば、自動運転制御装置２０から取得した自動運転モードの設定信号、自動運転モードの解除予告信号、自動運転モードの解除信号などに基づいて、自動運転モードや手動運転モードを含む運転モードを判定する処理を実行する。自動運転モードの設定信号は、自動運転モードへの設定（切替）が完了した後に出力される信号である。自動運転モードの解除予告信号は、自動運転モードから手動運転モードへの切替前に（例えば、手動運転操作の引継区間に入った場合などに）出力される信号である。自動運転モードの解除信号は、自動運転モードが解除され、手動運転モードに切り替わった後に出力される信号である。

生体センサ信号取得部１２ａは、運転モード判定部１２ｂにおいて、手動運転モードであると判定された場合に、生体センサ５４から生体センサ信号を取得する処理を実行し、取得した生体センサ信号を、手動運転モード時の生体センサ信号（第１の生体情報）として生体センサ信号記憶部１３ａに記憶する処理を実行する。

また、生体センサ信号取得部１２ａは、運転モード判定部１２ｂにおいて、自動運転モードの解除予告（自動運転モードから手動運転モードへの切り替え予告）が検出された場合に、生体センサ５４から生体センサ信号（第２の生体情報）を取得する処理を実行し、取得した生体センサ信号を第１の判定処理部１２ｃに送る。

第１の判定処理部１２ｃは生体情報照合部１２ｄを含む。生体情報照合部１２ｄは、運転モード判定部１２ｂにおいて自動運転モードの解除予告が検出された場合に、生体センサ信号記憶部１３ａから手動運転モード時の生体センサ信号を読み出し、該読み出した手動運転モード時の生体センサ信号（第１の生体情報）と、自動運転モードの解除予告後に生体センサ５４から取得した生体センサ信号（第２の生体情報）とを照合する処理を実行する。

第１の信号出力部１２ｅは、生体情報照合部１２ｄでの判定結果に基づく信号を出力する。例えば、生体情報照合部１２ｄでの照合結果が一致の場合、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置２０へ出力する。一方、照合結果が不一致の場合、警報装置３７に警告処理を指示する信号を出力したり、自動運転で強制的に車両を退避（停車又は減速）させる強制退避を指示する信号を自動運転制御装置２０に出力したりする処理を実行する。

生体センサ信号記憶部１３ａには、手動運転モード時に生体センサ信号取得部１２ａで取得した生体センサ信号（手の指紋情報、脈拍情報、手の静脈パターン情報など）が記憶される。生体センサ信号は取得時刻などのデータと紐付けて記憶してもよい。
第１の判定方法記憶部１３ｂには、制御ユニット１２の第１の判定処理部１２ｃで実行される第１の判定処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。

図４、５は、実施の形態（１）に係る運転者監視装置１０における制御ユニット１２の行う処理動作を示したフローチャートである。
まず、ステップＳ１では、始動スイッチ３８のオン信号を取得したか否かを判断し、始動スイッチ３８のオン信号を取得したと判断すればステップＳ２に進む。ステップＳ２では、自動運転制御装置２０から自動運転モード又は手動運転モードの運転モードの設定信号を取得し、次にステップＳ３に進む。

ステップＳ３では、手動運転モードであるか否かを判断し、手動運転モードであると判断すればステップＳ４に進む。ステップＳ４では、生体センサ５４で検出された生体センサ信号（第１の生体情報）を取得する処理を行い、その後ステップＳ５に進む。

ステップＳ５では、生体センサ信号（第１の生体情報）を取得したか否かを判断し、生体センサ信号を取得していないと判断すればステップＳ６に進む。ステップＳ６では、警報装置３７に対して、運転者にハンドル５２を握らせるための警告出力を指示する信号を出力し、その後ステップＳ４に戻る。警報装置３７では、運転者監視装置１０からの警告出力指示信号に基づいて、運転者にハンドル５２を握らせるための警告処理が行われる。

一方ステップＳ５において、生体センサ信号を取得したと判断すればステップＳ７に進む。ステップＳ７では、生体センサ信号を生体センサ信号記憶部１３ａに、手動運転モード時の生体センサ信号（第１の生体情報）として記憶する処理を行い、その後ステップＳ８に進む。

ステップＳ８では、自動運転モードへの設定（切替）信号を取得したか否かを判断し、取得していないと判断すればステップＳ９に進む。ステップＳ９では、始動スイッチ３８のオフ信号を取得したか否かを判断し、オフ信号を取得したと判断すれば、その後処理を終える一方、オフ信号を取得していないと判断すればステップＳ８に戻る。

一方ステップＳ３において、手動運転モードではない、すなわち自動運転モードであると判断した場合、またはステップＳ８において、自動運転モードへの設定信号を取得したと判断した場合、図５に示すステップＳ１０に進む。

ステップＳ１０では、自動運転モードの解除予告信号（手動運転モードへの切替予告信号）を取得したか否かを判断し、前記自動運転モードの解除予告信号を取得したと判断すれば、その後ステップＳ１１に進む。ステップＳ１１では、生体センサ５４から生体センサ信号（第２の生体情報）を取得したか否かを判断する。なお、自動運転モードの解除予告信号とは、自動運転モードを解除して手動運転モードに切り替える場合に、運転者にハンドル操作等を引き継がせるための猶予時間を与えるための信号であり、例えば、自動運転制御装置２０から運転者監視装置１０と警報装置３７に出力される。警報装置３７では、自動運転モードの解除予告信号を受けて、運転者に自動運転モードの解除予告を通知する処理が行われてもよい。

ステップＳ１１において、生体センサ５４から生体センサ信号を取得したと判断すればステップＳ１２に進む。ステップＳ１２では、生体センサ信号記憶部１３ａから手動運転モード時の生体センサ信号を読み出す処理を行い、その後ステップＳ１３に進む。ステップＳ１３では、自動運転モードの解除予告後に取得した生体センサ信号（第２の生体情報）と、生体センサ信号記憶部１３ａから読み出した手動運転モード時の生体センサ信号（第１の生体情報）とを照合する処理を行い、その後ステップＳ１４に進む。

ステップＳ１４では、生体センサ信号が一致したか否かを判断し、一致した、すなわち、自動運転モードの解除予告時（すなわち、自動運転モードから手動運転モードに切り替える前）と手動運転モード時（自動運転モードに切り替わる前の手動運転モード時）の運転者が同じである、すなわち、手動運転モード時の運転者がハンドル５２を把持し、運転姿勢が整ったと判断すれば、ステップＳ１５に進む。ステップＳ１５では、自動運転から手動運転への運転モードの切替を許可する信号を自動運転制御装置２０に出力する処理を行い、その後ステップＳ３に戻る。
自動運転制御装置２０では、運転者監視装置１０からの前記運転モードの切替許可信号に基づいて、自動運転モードを解除して、手動運転モードに移行する処理が行われる。

一方ステップＳ１１において、生体センサ５４から生体センサ信号を取得していないと判断すればステップＳ１６に進む。ステップＳ１６では、生体センサ５４から生体センサ信号が取得できていない旨の警告を既に行ったか（警告済み）否かを判断し、警告済みではないと判断すればステップＳ１７に進み、警報装置３７に対して、運転者にハンドル５２を握らせるための警告出力を指示する信号を出力し、ステップＳ１１に戻る。警報装置３７では、運転者監視装置１０からの警告出力指示信号に基づいて、運転者にハンドル５２を握らせるための警告処理が行われる。

一方ステップＳ１６において、生体センサ５４から生体センサ信号が取得できていない旨の警告を既に行った（警告済み）と判断すればステップＳ１８に進む。ステップＳ１８では、自動運転による強制退避を指示する信号を自動運転制御装置２０に出力する処理を行う。自動運転制御装置２０では、運転者監視装置１０からの強制退避指示信号に基づいて、自動運転により車両を安全な場所に停車させる処理が行われる。その後、ステップＳ１９において、自動運転制御装置２０から強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すれば、その後処理を終える。

また、ステップＳ１４において生体センサ信号が一致していないと判断すればステップＳ１６に進む。ステップＳ１６では、生体センサ信号が一致していない旨の警告を既に行ったか（警告済み）否かを判断し、警告済みではないと判断すればステップＳ１７に進む。ステップＳ１７では、警報装置３７に対して、手動運転モード時の運転者に運転させるための警告出力を指示する信号を出力し、ステップＳ１１に戻る。警報装置３７では、運転者監視装置１０からの警告出力指示信号に基づいて、手動運転モード時の運転者に運転させるための警告処理が行われる。

一方ステップＳ１６において、生体センサ信号が一致していない旨の警告を既に行った（警告済み）と判断すればステップＳ１８に進む。ステップＳ１８では、自動運転による強制退避を指示する信号を自動運転制御装置２０に出力する処理を行う。自動運転制御装置２０では、運転者監視装置１０からの強制退避指示信号に基づいて、自動運転により車両を安全な場所に停車させる処理が行われる。その後、ステップＳ１９において、自動運転制御装置２０から強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すれば、その後処理を終える。

上記実施の形態（１）に係る運転者監視装置１０によれば、自動運転モードから手動運転モードに切り替えられる場合（例えば、上記した自動運転モードの解除予告後）に、生体センサ信号取得部１２ａにより取得された生体センサ信号（第２の生体情報）と、生体センサ信号記憶部１３ａから読み出した手動運転モードでの生体センサ信号（第１の生体情報）とを照合することにより、手動運転時の本来の運転者がハンドル５２を把持しているか否かを精度良く判定することができる。また、第１の判定処理部１２ｃによる判定結果に基づく所定の信号を出力することにより、該所定の信号に基づく所定の処理を自動運転制御装置２０などの外部機器に対して効率良く、迅速に実行させることができ、自動運転モードから手動運転モードへの切り替え時における車両の安全性を高めることが可能となる。

また、制御ユニット１２が、手動運転モードでの運転者がハンドル５２を把持していると判定した場合、自動運転制御装置２０に、自動運転モードから手動運転モードへの切り替えを許可する信号を出力するので、運転者にハンドル操作が引き継がれた後で自動運転モードから手動運転モードへの切り替えが実行されることとなり、該切替後の車両の安全を確保することができる。

また、制御ユニット１２が、手動運転モードでの運転者がハンドル５２を把持していないと判定した場合、警報装置３７に警告処理を実行させるための信号を出力するので、手動運転モードでの運転者がハンドル５２の操作を引き継ぐように注意を促すことができる。

また、制御ユニット１２が、手動運転モードでの運転者がハンドル５２を把持していないと判定し、かつ、既に警告済みであると判定した場合、自動運転制御装置２０に、自動運転による停車を指示する信号を出力するので、自動運転モードから手動運転モードに切り替えられる場合に、手動運転モードでの運転者がハンドル５２を把持しない（把持できない）ときには、自動運転制御装置２０による制御により車両を安全に停止させることができる。

図６は、実施の形態（２）に係る運転者監視装置１０Ａを含む自動運転システム１Ａの要部構成を示すブロック図である。なお、図１に示した自動運転システム１の要部構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。

自動運転システム１Ａには、運転者の顔を含む画像を撮像する運転者撮像カメラ５５がさらに装備され、実施の形態（２）に係る運転者監視装置１０Ａが、運転者撮像カメラ５５で撮像された運転者画像を用いた処理を実行する点が、実施の形態（１）に係る運転者監視装置１０と大きく相違している。

運転者撮像カメラ５５は、ハンドル５２を操舵する運転者の顔を含む画像を撮像する装置（撮像部）であり、例えば、昼夜を問わず運転者の状態を撮像できるように、赤外光カメラ部（ＣＣＤ、ＣＭＯＳなどのイメージセンサを含む）、赤外光照射部（ＬＥＤ）、インターフェース部、これら各部を制御するカメラ制御部などを含んで構成されている。カメラ制御部が、赤外光カメラ部及び赤外光照射部を制御し、赤外光照射部から赤外光（近赤外線など）を照射し、赤外光カメラ部で赤外光の反射光を撮像する。運転者撮像カメラ５５で撮像された画像データが運転者監視装置１０Ａに出力される。

運転者撮像カメラ５５の数は、１台でもよいし、２台以上であってもよい。また、運転者撮像カメラ５５は、運転者監視装置１０Ａと別体（別筐体）で構成してもよいし、運転者監視装置１０Ａと一体（同一筐体）で構成してもよい。運転者撮像カメラ５５は、単眼カメラでもよいし、ステレオカメラであってもよい。

運転者撮像カメラ５５の車室内での設置位置は、運転者の顔を含む画像を撮像できる位置であれば特に限定されない。例えば、ハンドル５２、ハンドル５２のコラム部分、メーターパネル部分、ダッシュボードの上、ルームミラー近傍位置、Ａピラー部分、ナビゲーション装置４３などに設置することができる。

図７は、実施の形態（２）に係る運転者監視装置１０Ａのハードウェア構成を示すブロック図である。図３に示した運転者監視装置１０のハードウェア構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
実施の形態（２）に係る運転者監視装置１０Ａは、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２Ａ、及び記憶ユニット１３Ａを含んで構成されている。

入出力Ｉ／Ｆ１１は、運転者撮像カメラ５５、生体センサ５４、始動スイッチ３８、自動運転制御装置２０、警報装置３７などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。

制御ユニット１２Ａは、画像取得部１２ｆ、生体センサ信号取得部１２ａ、運転モード判定部１２ｂ、第２の判定処理部１２ｇ、第２の信号出力部１２ｉ、第３の判定処理部１２ｊ、第３の信号出力部１２ｌを含んで構成され、ＣＰＵなどの１つ以上のハードウェアプロセッサを含んで構成されている。

記憶ユニット１３Ａは、画像記憶部１３ｃ、生体センサ信号記憶部１３ａ、第２の判定方法記憶部１３ｄ、及び第３の判定方法記憶部１３ｅを含んで構成され、ＲＯＭ、ＲＡＭ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。

記憶ユニット１３Ａの画像記憶部１３ｃには、手動運転モード時に運転者撮像カメラ５５で撮像された運転者画像（第１の運転者画像）が記憶される。
生体センサ信号記憶部１３ａには、手動運転モード時に生体センサ信号取得部１２ａで取得された生体センサ信号（第１の生体情報）が記憶される。

第２の判定方法記憶部１３ｄには、制御ユニット１２Ａの第２の判定処理部１２ｇで実行される第２の判定処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。
第３の判定方法記憶部１３ｅには、制御ユニット１２Ａの第３の判定処理部１２ｊで実行される第３の判定処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。

制御ユニット１２Ａは、記憶ユニット１３Ａと協働して、取得データを記憶ユニット１３Ａに記憶する処理や、記憶ユニット１３Ａに記憶されたデータやプログラムを読み出し、該プログラムを実行するように構成されている。
制御ユニット１２Ａを構成する運転モード判定部１２ｂは、例えば、自動運転制御装置２０から取得した自動運転モードの設定信号、自動運転モードの解除予告信号、自動運転モードの解除信号などに基づいて、自動運転モードや手動運転モードを含む運転モードを判定する処理を実行する。

生体センサ信号取得部１２ａは、運転モード判定部１２ｂにおいて、手動運転モードであると判定された場合に、生体センサ５４から生体センサ信号を取得する処理を実行し、取得した生体センサ信号を、手動運転モード時の生体センサ信号（第１の生体情報）として生体センサ信号記憶部１３ａに記憶する処理を実行する。

画像取得部１２ｆは、運転モード判定部１２ｂにおいて、手動運転モードであると判定された場合に、運転者撮像カメラ５５で撮像された運転者画像を取得する処理を実行し、取得した運転者画像を、手動運転モード時の運転者画像（第１の運転者画像）として画像記憶部１３ｃに記憶する処理を実行する。
手動運転モード時の運転者画像（第１の運転者画像）は、第２の判定処理部１２ｇの生体情報・画像照合部１２ｈで実行される画像照合処理、すなわち、運転者の顔認証処理の登録用画像として使用される。画像取得部１２ｆでは、手動運転モード時の運転者画像から、運転者の顔検出、顔器官検出、特徴抽出などを行い、これらデータも画像記憶部１３ｃに記憶してもよい。

また、生体センサ信号取得部１２ａは、運転モード判定部１２ｂにおいて、自動運転モードの解除予告（自動運転モードから手動運転モードへの切り替え予告）が検出された場合に、生体センサ５４から生体センサ信号（第２の生体情報）を取得する処理を実行し、取得した生体センサ信号を第２の判定処理部１２ｇに送る。

また、画像取得部１２ｆは、運転モード判定部１２ｂにおいて、自動運転モードの解除予告が検出された場合に、運転者撮像カメラ５５で撮像された運転者画像を取得する処理を実行し、取得した運転者画像（第２の運転者画像）を第２の判定処理部１２ｇに送る。
自動運転モードの解除予告時の運転者画像（第２の運転者画像）は、第２の判定処理部１２ｇの生体情報・画像照合部１２ｈで実行される画像照合処理、すなわち、運転者の顔認証処理の認証用画像として使用される。画像取得部１２ｆでは、自動運転モードの解除予告時の運転者画像から、運転者の顔検出、顔器官検出、特徴抽出などを行い、これらデータも第２の判定処理部１２ｇに送ってもよい。

また、画像取得部１２ｆは、運転モード判定部１２ｂにおいて、自動運転モードであると判定された場合に、運転者撮像カメラ５５で撮像された運転者画像を取得する処理を実行し、取得した運転者画像（第３の運転者画像）を第３の判定処理部１２ｊに送る。
自動運転モード時の運転者画像（第３の運転者画像）は、第３の判定処理部１２ｊの画像照合部１２ｋで実行される画像照合処理、すなわち、運転者の顔認証処理の認証用画像として使用される。画像取得部１２ｆでは、自動運転モード時の運転者画像から、運転者の顔検出、顔器官検出、特徴抽出などを行い、これらデータも第３の判定処理部１２ｊに送ってもよい。

第２の判定処理部１２ｇの生体情報・画像照合部１２ｈは、運転モード判定部１２ｂにおいて自動運転モードの解除予告が検出された場合に、生体センサ信号記憶部１３ａから手動運転モード時の生体センサ信号を読み出すとともに、画像記憶部１３ｃから手動運転モード時の運転者画像を読み出す。そして、前記読み出した手動運転モード時の生体センサ信号（第１の生体情報）と、自動運転モードの解除予告後に取得した生体センサ信号（第２の生体情報）とを照合するとともに、前記読み出した手動運転モード時の運転者画像（第１の運転者画像）と、自動運転モードの解除予告後に取得した運転者画像（第２の運転者画像）とを照合する（顔認証）処理を実行する。前記顔認証処理には、公知の顔認証技術を採用することができる。

第２の信号出力部１２ｉは、生体情報・画像照合部１２ｈでの判定結果に基づく信号を出力する。例えば、生体情報・画像照合部１２ｈでの照合結果が一致の場合、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置２０へ出力する。一方、照合結果が不一致の場合、警報装置３７に警告処理を指示する信号を出力したり、自動運転で強制的に車両を退避（停車又は減速）させる強制退避を指示する信号を自動運転制御装置２０に出力したりする処理を実行する。

第３の判定処理部１２ｊの画像照合部１２ｋは、運転モード判定部１２ｂにおいて自動運転モードであると判定された場合に、画像記憶部１３ｃから手動運転モード時の運転者画像を読み出すとともに、前記読み出した手動運転モード時の運転者画像（第１の運転者画像）と、自動運転モード時の運転者画像（第３の運転者画像）とを照合する（顔認証）処理を実行する。前記顔認証処理には、公知の顔認証技術を採用することができる。

第３の信号出力部１２ｌは、画像照合部１２ｋでの判定結果に基づく信号を出力する。例えば、画像照合部１２ｋでの照合結果が一致の場合、そのまま自動運転モードを継続する信号を出力する。一方、照合結果が不一致の場合（手動運転モード時と自動運転モード時で運転者が異なる場合）、警報装置３７に警告処理を指示する信号を出力したり、自動運転で強制的に車両を退避（停車又は減速）させる強制退避を指示する信号を自動運転制御装置２０に出力したりする処理を実行する。

図８、９は、実施の形態（２）に係る運転者監視装置１０Ａにおける制御ユニット１２Ａの行う処理動作を示したフローチャートである。
まず、ステップＳ２１では、始動スイッチ３８のオン信号を取得したか否かを判断し、始動スイッチ３８のオン信号を取得したと判断すればステップＳ２２に進む。ステップＳ２２では、自動運転制御装置２０から自動運転モード又は手動運転モードの運転モード設定信号を取得し、ステップＳ２３に進む。

ステップＳ２３では、手動運転モードであるか否かを判断し、手動運転モードであると判断すればステップＳ２４に進む。ステップＳ２４では、生体センサ５４で検出された生体センサ信号（第１の生体情報）を取得する処理を行い、その後ステップＳ２５に進む。

ステップＳ２５では、生体センサ信号（第１の生体情報）を取得したか否かを判断し、生体センサ信号を取得していないと判断すればステップＳ２６に進む。ステップＳ２６では、警報装置３７に対して、運転者にハンドル５２を握らせるための警告出力を指示する信号を出力し、その後ステップＳ２４に戻る。警報装置３７では、運転者監視装置１０Ａからの警告出力指示信号に基づいて、運転者にハンドル５２を握らせるための警告処理が行われる。

一方ステップＳ２５において、生体センサ信号を取得したと判断すればステップＳ２７に進む。ステップＳ２７では、運転者撮像カメラ５５で撮像された運転者画像（第１の運転者画像）を取得する処理を行い、次のステップＳ２８では、手動運転モード時に取得した生体センサ信号（第１の生体情報）を生体センサ信号記憶部１３ａに、運転者画像（第１の運転者画像）を画像記憶部１３ｃに記憶する処理を行い、その後ステップＳ２９に進む。

ステップＳ２９では、自動運転モードへの設定（切替）信号を取得したか否かを判断し、取得していないと判断すればステップＳ３０に進む。ステップＳ３０では、手動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ５５で手動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行う。

その後、ステップＳ３１において、始動スイッチ３８のオフ信号を取得したか否かを判断し、オフ信号を取得したと判断すれば、その後処理を終える一方、オフ信号を取得していないと判断すればステップＳ２９に戻る。

一方ステップＳ２３において、手動運転モードではない、すなわち自動運転モードであると判断した場合、またはステップ２９において自動運転モードへの設定信号を取得したと判断した場合、ステップＳ３２に進む。ステップＳ３２では、自動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ５５で自動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行い、その後図９に示すステップＳ３３に進む。

ステップＳ３３では、自動運転モードの解除予告信号（手動運転モードへの切替予告信号）を取得したか否かを判断し、前記自動運転モードの解除予告信号を取得していない（自動運転モード中）と判断すれば、ステップＳ３４に進む。ステップＳ３４では運転者撮像カメラ５５で撮像された運転者画像（第３の運転者画像）を取得する処理を行う。

次のステップＳ３５では、画像記憶部１３ｃから手動運転モード時に記憶した運転者画像（第１の運転者画像）を読み出し、次のステップＳ３６では、手動運転モード時の運転者画像（第１の運転者画像）と、自動運転モード時に取得した運転者画像（第３の運転者画像）との照合（顔認証）処理を行い、ステップＳ３７に進む。

ステップＳ３７では、運転者画像が一致したか否かを判断し、運転者画像が一致した、すなわち、手動運転モード時と自動運転モード時とで運転者が同じであると判断すれば、ステップＳ３２に戻る一方、運転者が一致していない、すなわち、手動運転モード時と自動運転モード時とで運転者が異なっていると判断すれば、ステップＳ３８に進む。ステップＳ３８では、警報装置３７に対して、手動運転モード時と自動運転モード時とで運転者が異なっていることを警告するための指示信号を出力し、その後ステップＳ３２に進む。警報装置３７では、運転者監視装置１０Ａからの警告出力指示信号に基づいて、手動運転モード時の運転者に運転させるため警告処理が行われる。

一方ステップＳ３３において、自動運転モードの解除予告信号を取得したと判断すれば、ステップＳ３９に進む。ステップＳ３９では、生体センサ５４で検出された生体センサ信号（第２の生体情報）を取得したか否かを判断し、生体センサ信号を取得したと判断すればステップＳ４０に進む。

ステップＳ４０では、運転者撮像カメラ５５で撮像された運転者画像（第２の運転者画像）を取得する処理を行い、ステップＳ４１に進む。ステップＳ４１では、生体センサ信号記憶部１３ａと画像記憶部１３ｃから手動運転モード時の生体センサ信号（第１の生体情報）と運転者画像（第１の運転者画像）をそれぞれ読み出す処理を行い、ステップＳ４２に進む。ステップＳ４２では、自動運転モードの解除予告後に取得した生体センサ信号（第２の生体情報）及び運転者画像（第２の運転者画像）と、手動運転モード時の生体センサ信号（第１の生体情報）及び運転者画像（第１の運転者画像）とを照合する処理を行い、その後ステップＳ４３に進む。

ステップＳ４３では、生体センサ信号及び運転者画像が一致したか否かを判断し、一致した、すなわち、自動運転モードの解除予告時（すなわち、自動運転モードから手動運転モードに切り替える前）と手動運転モード時の運転者が同じである、すなわち、運転者がハンドル５２を把持し、運転姿勢が整ったと判断すればステップＳ４４に進む。ステップＳ４４では、自動運転から手動運転への運転モードの切替を許可する信号を自動運転制御装置２０に出力する処理を行い、その後ステップＳ２３に戻る。自動運転制御装置２０では、運転者監視装置１０Ａからの前記運転モードの切替許可信号に基づいて、自動運転モードを解除して、手動運転モードに移行する処理が行われる。

一方ステップＳ３９において、生体センサ５４から生体センサ信号を取得していないと判断すればステップＳ４５に進む。ステップＳ４５では、生体センサ５４から生体センサ信号が取得できていない旨の警告を既に行ったか（警告済み）否かを判断し、警告済みではないと判断すればステップＳ４６に進み、警報装置３７に対して、運転者にハンドル５２を握らせるための警告出力を指示する信号を出力し、ステップＳ３９に戻る。警報装置３７では、運転者監視装置１０Ａからの警告出力指示信号に基づいて、運転者にハンドル５２を握らせるための警告処理が行われる。

一方ステップＳ４５において、生体センサ５４から生体センサ信号が取得できていない旨の警告を既に行った（警告済み）と判断すればステップＳ４７に進む。ステップＳ４７では、自動運転による強制退避を指示する信号を自動運転制御装置２０に出力する処理を行い、その後ステップＳ４８において、自動運転制御装置２０から強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すれば、その後処理を終える。

また、ステップＳ４３において生体センサ信号及び運転者画像が一致していないと判断すればステップＳ４５に進む。ステップＳ４５では、生体センサ信号及び運転者画像が一致していない旨の警告を既に行ったか（警告済み）否かを判断し、警告済みではないと判断すればステップＳ４６に進む。ステップＳ４６では、警報装置３７に対して、手動運転モード時の運転者に運転させるための警告出力を指示する信号を出力し、ステップＳ３９に戻る。警報装置３７では、運転者監視装置１０Ａからの警告出力指示信号に基づいて、手動運転モード時の運転者に運転させるための警告処理が行われる。

一方ステップＳ４５において、生体センサ信号及び運転者画像が一致していない旨の警告を既に行った（警告済み）と判断すれば、ステップＳ４７に進む。ステップＳ４７では、自動運転による強制退避を指示する信号を自動運転制御装置２０に出力する処理を行い、その後、ステップＳ４８において、自動運転制御装置２０から強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すれば、その後処理を終える。

上記実施の形態（２）に係る運転者監視装置１０Ａによれば、自動運転モードから手動運転モードに切り替えられる場合（例えば、上記した自動運転モードの解除予告後）に、生体センサ信号取得部１２ａにより取得された生体センサ情報（第２の生体情報）及び画像取得部１２ｆにより取得された運転者画像（第２の運転者画像）と、生体センサ信号記憶部１３ａから読み出した手動運転モードでの生体センサ情報（第１の生体情報）、及び画像記憶部１３ｃから読み出した手動運転モードでの運転者画像（第１の運転者画像）とを照合することにより、運転者画像を使用しない上記実施の形態（１）よりもさらに、手動運転モードでの運転者がハンドル５２を把持しているか否かを精度良く判定することができる。

また、運転者監視装置１０Ａによれば、自動運転モードにおいて画像取得部１２ｆにより取得された第３の運転者画像と、画像記憶部１３ｃから読み出した第１の運転者画像とを用い、自動運転モードでの運転者と手動運転モードでの運転者とが一致するか否かが判定される。

したがって、手動運転モードから自動運転モードに切り替わった後（自動運転モード中）に、運転者、すなわち、ハンドル５２を操作する運転席に座る人が入れ替わったか否かを検出することができる。該入れ替わりが検出された場合に警告を行うことで、自動運転モード中での運転者の入れ替わりを防止することができる。

（付記１）
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を記憶する生体情報記憶部を備えたメモリと、
該メモリに接続された少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサは、
前記手動運転モードにおいて前記生体情報検出部で検出された第１の生体情報を取得し、
該取得した第１の生体情報を前記生体情報記憶部に記憶させ、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報検出部で検出された第２の生体情報を取得し、
前記生体情報記憶部から前記第１の生体情報を読み出し、
前記第２の生体情報と前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定し、
該判定した結果に基づく信号を出力する、ように構成されている運転者監視装置。

（付記２）
車両のハンドルに設けられた生体情報検出部で検出された生体情報を記憶する生体情報記憶部を備えたメモリと、
該メモリに接続された少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
自動運転モードと手動運転モードとを備えた前記車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記少なくとも１つのハードウェアプロセッサによって、前記手動運転モードにおいて前記生体情報検出部で検出された第１の生体情報を取得するステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記取得した第１の生体情報を前記生体情報記憶部に記憶させるステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報検出部で検出された第２の生体情報を取得するとともに、前記生体情報記憶部から前記第１の生体情報を読み出すステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記第２の生体情報と前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定するステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記判定した結果に基づく信号を出力するステップと、を含む運転者監視方法。

１、１Ａ 自動運転システム
１０、１０Ａ 運転者監視装置
１１ 入出力Ｉ／Ｆ
１２、１２Ａ 制御ユニット
１２ａ 生体センサ信号取得部（生体情報取得部）
１２ｂ 運転モード判定部
１２ｃ 第１の判定処理部
１２ｄ 第１の信号出力部
１２ｅ 生体信号照合部
１２ｆ 画像取得部
１２ｇ 第２の判定処理部
１２ｈ 生体信号・画像照合部
１２ｉ 第２の信号出力部
１２ｊ 第３の判定処理部
１２ｋ 画像照合部
１２ｌ 第３の信号出力部
１３、１３Ａ 記憶ユニット
１３ａ 生体センサ信号記憶部
１３ｂ 第１の判定方法記憶部
１３ｃ 画像記憶部
１３ｄ 第２の判定方法記憶部
１３ｅ 第３の判定方法記憶部
２０ 自動運転制御装置
３７ 警報装置
５２ ハンドル
５４ 生体センサ（生体情報取得部）
５５ 運転者撮像カメラ（撮像部）

Claims (11)

1. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報と前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第１の判定処理部と、
   該第１の判定処理部による判定結果に基づく所定の信号を出力する第１の信号出力部とを備え、
   該第１の信号出力部が、
   前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴とする運転者監視装置。
2. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報と前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第１の判定処理部と、
   該第１の判定処理部による判定結果に基づく所定の信号を出力する第１の信号出力部とを備え、
   該第１の信号出力部が、
   前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記車両に設けられた警報部に、所定の警告処理を実行させるための信号を出力するものであることを特徴とする運転者監視装置。
3. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報と前記生体情報記憶部から読み出した前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第１の判定処理部と、
   該第１の判定処理部による判定結果に基づく所定の信号を出力する第１の信号出力部とを備え、
   該第１の信号出力部が、
   前記第１の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転モードの制御を行う自動運転制御部に、自動運転による停車を指示する信号を出力するものであることを特徴とする運転者監視装置。
4. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
   前記手動運転モードにおいて前記画像取得部により取得された第１の運転者画像を記憶する画像記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第２の判定処理部と、
   該第２の判定処理部による判定結果に基づく所定の信号を出力する第２の信号出力部とを備え、
   該第２の信号出力部が、
   前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴とする運転者監視装置。
5. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
   前記手動運転モードにおいて前記画像取得部により取得された第１の運転者画像を記憶する画像記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第２の判定処理部と、
   該第２の判定処理部による判定結果に基づく所定の信号を出力する第２の信号出力部とを備え、
   該第２の信号出力部が、
   前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記車両に設けられた警報部に、所定の警告処理を実行させるための信号を出力するものであることを特徴とする運転者監視装置。
6. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
   前記手動運転モードにおいて前記画像取得部により取得された第１の運転者画像を記憶する画像記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第２の判定処理部と、
   該第２の判定処理部による判定結果に基づく所定の信号を出力する第２の信号出力部とを備え、
   該第２の信号出力部が、
   前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転モードの制御を行う自動運転制御部に、自動運転による停車を指示する信号を出力するものであることを特徴とする運転者監視装置。
7. 自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
   前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を取得する生体情報取得部と、
   前記手動運転モードにおいて前記生体情報取得部により取得された第１の生体情報を記憶する生体情報記憶部と、
   前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
   前記手動運転モードにおいて前記画像取得部により取得された第１の運転者画像を記憶する画像記憶部と、
   前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報取得部により取得された第２の生体情報、前記生体情報記憶部から読み出した前記第１の生体情報、前記画像取得部により取得された第２の運転者画像、及び前記画像記憶部から読み出した前記第１の運転者画像に基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定する第２の判定処理部と、
   該第２の判定処理部による判定結果に基づく所定の信号を出力する第２の信号出力部と、
   前記自動運転モードにおいて前記画像取得部により取得された第３の運転者画像と、前記画像記憶部から読み出した前記第１の運転者画像とに基づいて、前記自動運転モードでの前記運転者と前記手動運転モードでの前記運転者とが一致するか否かを判定する第３の判定処理部と、
   該第３の判定処理部による判定結果に基づく所定の信号を出力する第３の信号出力部とを備えていることを特徴とする運転者監視装置。
8. 前記第２の信号出力部が、
   前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴とする請求項７記載の運転者監視装置。
9. 前記第２の信号出力部が、
   前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記車両に設けられた警報部に、所定の警告処理を実行させるための信号を出力するものであることを特徴とする請求項７記載の運転者監視装置。
10. 前記第２の信号出力部が、
    前記第２の判定処理部により、前記手動運転モードでの前記運転者が前記ハンドルを把持していないと判定された場合、前記自動運転モードの制御を行う自動運転制御部に、自動運転による停車を指示する信号を出力するものであることを特徴とする請求項７記載の運転者監視装置。
11. 記憶部と、
    該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、
    自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
    前記記憶部が、前記車両のハンドルに設けられた生体情報検出部で検出された生体情報を記憶する生体情報記憶部を備え、
    前記ハードウェアプロセッサが、
    前記手動運転モードにおいて前記生体情報検出部で検出された第１の生体情報を取得するステップと、
    該取得した第１の生体情報を前記生体情報記憶部に記憶させるステップと、
    前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記生体情報検出部で検出された第２の生体情報を取得するステップと、
    前記生体情報記憶部から前記第１の生体情報を読み出すステップと、
    前記第２の生体情報と前記第１の生体情報とに基づいて、前記手動運転モードでの前記運転者が前記ハンドルを把持しているか否かを判定するステップと、
    該判定した結果に基づく所定の信号を出力するステップと、を含み、
    該所定の信号を出力するステップが、
    前記判定するステップにより、前記手動運転モードでの前記運転者が前記ハンドルを把持していると判定された場合、前記自動運転モードの制御を行う自動運転制御部に、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するステップを含んでいることを特徴とする運転者監視方法。
    

Images