JP6631569B2 - 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム - Google Patents

Description

この発明は、運転者の状態に基づき運転の適否を判定する運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラムに関する。

近年、様々なセンシング技術を適用して運転者の不注意による車両の接触等を防止する技術開発が進められている。
例えば、脇見運転による車両の接触等を防止するために運転者の視線方向を検出する技術が知られているが、さらに、運転者の視線方向の検出結果の妥当性を検証する技術も提案されている（特許文献１参照）。
また、居眠り運転を効果的に防止する技術も提案されている（特許文献２参照）。

さらに、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。

特開２０１０−６６９６８号公報 特開２０１１−６５５６１号公報

注意力を欠いた運転者による運転は危険であり、このような運転者による運転は不適切といえる。また、このような運転不適切な状態を検出する様々な技術が提案されているが未だ十分ではない。安全性向上のため、運転不適切な状態を精度良く検出する技術が要望されている。

この発明は、上記事情に着目してなされたもので、運転適否を精度良く判定することができる運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラムを提供しようとするものである。

上記課題を解決するために、この発明の第１の態様は、車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得する情報取得部と、手動運転モードの実行中における前記操舵方向と前記視線方向の関係に基づき前記手動運転モードの適否を判定する運転状態判定部と、判定結果に応じた信号を出力する信号出力部と、を備える運転状態判定装置である。

この発明の第２の態様は、第１の態様の運転状態判定装置において、前記運転状態判定部は、前記操舵方向と前記視線方向の差分が基準角より大きい場合に前記手動運転モードが不適切であると判定するようにしたものである。

この発明の第３の態様は、第１の態様の運転状態判定装置において、前記運転状態判定部は、前記操舵方向と前記視線方向の差分が基準角より大きい時間が基準時間より長い場合に前記手動運転モードが不適切であると判定するようにしたものである。

この発明の第４の態様は、第１の態様の運転状態判定装置において、前記運転状態判定部は、前記操舵方向と前記視線方向と前記車両の車速の関係に基づき前記手動運転モードの適否を判定するようにしたものである。

この発明の第５の態様は、第４の態様の運転状態判定装置において、前記運転状態判定部は、前記操舵方向と前記視線方向の差分が基準角より大きく前記車速が基準速度より速い場合に前記手動運転モードが不適切であると判定するようにしたものである。

この発明の第６の態様は、第１から第５の態様の何れか１つの態様の運転状態判定装置において、前記情報取得部は、物体の検知に関する情報及び前記運転者による前記物体の認知に関する情報を取得し、前記運転状態判定部は、前記物体が検知され且つ前記物体が未認知の場合に前記手動運転モードが不適切であると判定するようにしたものである。

この発明の第７の態様は、第１から第６の態様の何れか１つの態様の運転状態判定装置において、前記信号出力部は、前記手動運転モードの不適切の判定に基づき前記手動運転モードを自動運転モードへ切り替えるための制御信号を出力するようにしたものである。

この発明の第８の態様は、第１から第６の態様の何れか１つの態様の運転状態判定装置において、前記信号出力部は、前記手動運転モードの不適切の判定に基づき自動運転モードを実行して前記車両を減速又は停止させるための制御信号を出力するようにしたものである。

この発明の第９の態様は、車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得する情報取得過程と、手動運転モードの実行中における前記操舵方向と前記視線方向の関係に基づき前記手動運転モードの適否を判定する運転状態判定過程と、判定結果に応じた信号を出力する信号出力過程と、を備える運転状態判定方法である。

この発明の第１０の態様は、第１から第８の態様の何れか１つの態様の運転状態判定装置が備える各部としてコンピュータを機能させる運転切り替えのためのプログラムである。

この発明の第１の態様によれば、運転状態判定装置は、手動運転モードの実行中における操舵方向と視線方向の関係に基づき手動運転モードの適否を判定することができる。例えば、手動運転モードの実行中における操舵方向と視線方向の関係から運転者の注意力に欠けた状態を手動運転モードが不適切な状態であるとして、運転適否を精度良く判定することができる。例えば、手動運転モードが不適切な状態であると判定された場合には、手動運転モードが不適切であることを示す判定結果に応じた信号を出力することができ、この信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となり、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

この発明の第２の態様によれば、運転状態判定装置は、操舵方向と視線方向の差分が基準角より大きい場合、つまり、操舵方向と視線方向が所定量以上ずれている場合は、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角を設定することにより、過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

この発明の第３の態様によれば、運転状態判定装置は、操舵方向と視線方向の差分が基準角より大きい時間が基準時間より長い場合、つまり、所定時間より長い時間にわたり、操舵方向と視線方向が所定量以上ずれている場合に、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角及び基準時間を設定することにより、過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

この発明の第４の態様によれば、運転状態判定装置は、手動運転モードの実行中における操舵方向と視線方向と車両の速度の関係に基づき手動運転モードの適否を判定することができる。例えば、手動運転モードの実行中における操舵方向と視線方向と車両の速度の関係から運転者の注意力に欠けた状態を手動運転モードが不適切な状態であるとして、運転適否を精度良く判定することができる。

この発明の第５の態様によれば、運転状態判定装置は、操舵方向と視線方向の差分が基準角より大きく車速が基準速度より速い場合、つまり、車両の車速が所定速度より速く、操舵方向と視線方向が所定量以上ずれている場合に、運転者の注意力が欠けた危険な状態の可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角及び基準速度を設定することにより、過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

この発明の第６の態様によれば、運転状態判定装置は、物体が検知され且つ物体が未認知の場合、つまり、本来、視線が向くはずの物体が存在するにもかかわらず、その物体方向に視線が向かないような場合に、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。

この発明の第７の態様によれば、運転状態判定装置は、手動運転モードの不適切の判定に基づき手動運転モードを自動運転モードへ切り替えるための制御信号を出力することができる。この信号に基づき手動運転モードを自動運転モードへ切り替えることが可能となり、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

この発明の第８の態様によれば、運転状態判定装置は、手動運転モードの不適切の判定に基づき自動運転モードを実行して前記車両を減速又は停止させるための制御信号を出力することができる。この信号に基づき自動運転モードを実行して車両を減速又は停止させることができる。これにより、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることができる。

この発明の第９の態様によれば、運転状態判定方法は、上述の第１の態様と同様の効果を得ることができる。即ち、運転状態判定方法は、運転適否を精度良く判定することができる。また、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

この発明の第１０の態様によれば、運転状態判定のためのプログラムは、上述の第１から第８の態様と同様の効果を得ることができる。即ち、運転状態判定のためのプログラムは、運転適否を精度良く判定することができる。また、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

本発明の一実施形態に係る運転状態判定装置を備える車両の全体構成を示す図。 本発明の一実施形態に係る運転状態判定装置の構成を示すブロック図。 本発明の一実施形態に係る情報検出部の構成を示すブロック図。 車両の進行方向を基準とする操舵方向と視線方向との間の差分を説明するための図。 車両の進行方向を基準とする物体方向と視線方向との間の差分を説明するための図。 運転状態判定装置による手動運転モード適否判定から信号出力までの流れの一例を示すフローチャート。 運転状態判定装置による手動運転モード適否判定の第１例を示すフローチャート。 運転状態判定装置による手動運転モード適否判定の第２例を示すフローチャート。 運転状態判定装置による手動運転モード適否判定の第３例を示すフローチャート。 運転状態判定装置による手動運転モード適否判定の第４例を示すフローチャート。

以下、図面を参照してこの発明に係る実施形態について説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る運転状態判定装置２を備えた車両１の全体構成を示す図である。運転状態判定装置２は、乗用車等の車両１に搭載される。運転状態判定装置２の構成については後述する。車両１は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者（以下、ドライバとも称する）が乗る乗り物であってもよい。

車両１は、基本設備として、動力源及び変速装置を含むパワーユニット３と、ステアリングホイール５が装備された操舵装置４とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジン又はモータ、或いはその両方が用いられる。

手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両１を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）又はブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）及び手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール５の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両１の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両１を自動走行させる制御は含まれない。即ち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映させるが、一定条件（例えば車両１の車線逸脱等）の下で車両１の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両１の走行する道路に沿って自動で車両１を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両１を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両１の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映する運転状態も自動運転モードに含まれる。即ち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両１の走行に反映させるが、一定条件の下で車両１の走行に強制的に介入する制御が含まれる。

車両１は、さらに、車外カメラ６と、ステアリングセンサ７と、アクセルペダルセンサ８と、ブレーキペダルセンサ９と、ＧＰＳ受信機１０と、ジャイロセンサ１１と、車速センサ１２と、ナビゲーション装置１３と、自動運転制御装置１４と、ドライバカメラ１５と、音声出力装置１６とを備える。

車外カメラ６は、車両１の外部を撮影することができるように、車両１の任意の位置に設置されている。なお、図１には１つの車外カメラ６を示しているが、車両１は、異なる方向を撮影する複数の車外カメラを備えていてもよい。車外カメラ６は、車両１の近傍の走行環境を連続的に撮影する。車外カメラ６は、車両１の運転開始に応答して起動し、車両１の外部を連続的に撮影する。車外カメラ６は、撮影した画像（以下、車外画像データとも称する）を運転状態判定装置２及び自動運転制御装置１４へ出力する。

ステアリングセンサ７は、操舵角を検出する。ステアリングセンサ７は、検出結果を運転状態判定装置２及び自動運転制御装置１４へ出力する。
アクセルペダルセンサ８は、アクセルペダルの操作量を検出する。アクセルペダルセンサ８は、検出結果を運転状態判定装置２及び自動運転制御装置１４へ出力する。
ブレーキペダルセンサ９は、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ９は、検出結果を運転状態判定装置２及び自動運転制御装置１４へ出力する。
ＧＰＳ受信機１０は、車両１の現在位置情報を受信する。ＧＰＳ受信機１０は、現在位置情報をナビゲーション装置１３及び自動運転制御装置１４へ出力する。
ジャイロセンサ１１は、車両１の挙動を検出する。ジャイロセンサ１１は、検出結果をナビゲーション装置１３及び自動運転制御装置１４へ出力する。
車速センサ１２は、車両１の速度を検出する。車速センサ１２は、検出結果をナビゲーション装置１３及び自動運転制御装置１４へ出力する。

ナビゲーション装置１３は、映像を表示するディスプレイ１３１を備える映像表示装置の一例である。ナビゲーション装置１３は、地図情報を記憶している。ナビゲーション装置１３は、運転者等によって入力される目的地に関する情報と、地図情報と、ＧＰＳ受信機１０からの現在位置情報とを用いて、現在位置から目的地までの経路情報を抽出する。ナビゲーション装置１３は、経路情報をディスプレイ１３１に表示する。ナビゲーション装置１３は、経路情報以外の情報をディスプレイ１３１に表示することもできる。
ナビゲーション装置１３は、経路情報を運転状態判定装置２及び自動運転制御装置１４へ出力する。

また、ナビゲーション装置１３は、ＧＰＳ受信機１０からの現在位置情報と、ジャイロセンサ１１からの検出結果と、車速センサ１２からの検出結果とを用いて、車両走行状態を抽出する。車両走行状態は、現在位置、進行方向、走行速度、走行距離、及び走行時間等の情報を含む。ナビゲーション装置１３は、車両の走行状態をディスプレイ１３１に表示する。
ナビゲーション装置１３は、車両走行状態を運転状態判定装置２及び自動運転制御装置１４へ出力する。

上述の経路情報は、現在位置から目的地までの道順の情報だけでなく、現在位置から目的地までの道路環境に関する情報を含んでいてもよい。
道路環境に関する情報のいくつかの例について説明する。
道路環境に関する情報は、現在位置から目的地までに通過する道路の種別の情報を含んでいてもよい。道路の種別は、例えば、人の通行が制限されている道路又は人の通行が制限されていない道路などに分けられる。人の通行が制限されている道路は、例えば、高速道路である。高速道路は、自動車専用道路ということもできる。人の通行が制限されていない道路は、例えば、一般道路である。

道路環境に関する情報は、現在位置から目的地までに通過する道路の制限速度の情報を含んでいてもよい。
道路環境に関する情報は、現在位置から目的地までに通過する道路上の設置物の位置情報を含んでいてもよい。設置物は、例えば、標識であるが、これ以外に道路に設置されている物であってもよい。
道路環境に関する情報は、現在位置から目的地までに通過する道路近傍の建造物の位置情報を含んでいてもよい。
なお、経路情報は、道路環境に関する情報として、上述の例以外の情報を含んでいてもよい。

ここで、道路環境について一例を挙げて補足する。説明を分かり易くするため、道路環境として二つの例、例えば、第１の道路及び第２の道路を例に取り上げて説明する。第１の道路及び第２の道路は、以下の通り。
第２の道路は、例えば、第１の道路よりも運転者が車両１の運転に集中力及び注意力などを要する道路環境の道路である。なお、第２の道路は上述のように第１の道路とは道路環境の異なる道路であればよく、この例に限られるものではない。

ここでは、第２の道路が第１の道路よりも運転者が車両１の運転に集中力及び注意力などを要する道路環境の道路となるいくつかの例について説明するが、これらに限定されるものではない。
一例では、第１の道路は高速道路であり、第２の道路は一般道路である。高速道路では、通常、人の飛び出しは起こり得ない。他方、一般道路では、人の飛び出しが起こり得る。さらに、高速道路は、一般道路よりも長い直線区間を有する道路である。そのため、一般道路は、運転モードによらず、高速道路よりも運転者が車両１の運転に集中力及び注意力などを要する。

別の例では、第１の道路は一般道路のうち信号の設置されている交差点を含む道路区間であり、第２の道路は一般道路のうち信号の設置されていない交差点を含む道路区間である。信号の設置されている交差点では、人の飛び出しが起こる可能性は低い。他方、信号の設置されていない交差点では、人の飛び出しが起こる可能性が高い。そのため、信号の設置されていない交差点を含む道路区間は、運転モードによらず、信号の設置されている交差点を含む道路区間よりも運転者が車両１の運転に集中力及び注意力などを要する。

自動運転制御装置１４の構成について説明する。
自動運転制御装置１４は、運転モードが自動運転モードである場合に車両１の走行を自動制御する。
自動運転制御装置１４は、各種情報又は各種指示（制御信号含む）に基づき運転モードを自動運転モードに設定して車両１の走行を自動制御したり、運転モードを自動運転モードから手動運転モードに切り替えて車両１の走行の自動制御を停止したりする。手動運転モードに切り替えられると、つまり自動制御が停止されると手動運転が可能になる。例えば、ナビゲーション装置１３は、運転者からの自動運転モードの指示入力を受け取り、自動運転制御装置１４へ自動運転モードを指示し、自動運転制御装置１４が運転モードを自動運転モードに設定し、車両１の走行を自動制御する。また、ナビゲーション装置１３は、記憶している地図情報に対応する自動運転区間の設定情報を受け取り、ＧＰＳ受信機１０からの現在位置情報に基づき車両１が自動運転区間に入ったことが検出されると、自動運転モードを指示し、自動運転制御装置１４が運転モードを自動運転モードに設定し、車両１の走行を自動制御する。

自動運転制御装置１４は、車外カメラ６からの車外画像データと、ステアリングセンサ７からの検出結果と、アクセルペダルセンサ８からの検出結果と、ブレーキペダルセンサ９からの検出結果と、ＧＰＳ受信機１０からの現在位置情報と、ジャイロセンサ１１からの検出結果と、車速センサ１２からの検出結果と、ナビゲーション装置１３からの経路情報とを取得する。自動運転制御装置１４は、例えば、これらの情報と、路車間通信により取得される交通情報とを基にして、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置４を自動で制御する運転状態である。自動操舵にはＬＫＡＳ（Lane Keeping Assist System）が含まれる。ＬＫＡＳは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置４を制御する。なお、ＬＫＡＳの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡＳに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置１４は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置１４は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両１を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

ドライバカメラ１５の構成について説明する。
ドライバカメラ１５は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。ドライバカメラ１５は、運転者を監視するセンサの一例である。ドライバカメラ１５は、車両１の運転開始に応答して起動し、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ１５は、撮影した画像（以下、運転者画像データという）を運転状態判定装置２へ出力する。運転者画像データは、運転者の状態を検出するために用いられる監視データの一例である。運転者の状態は、例えば、運転者の前方注視、眠気、睡眠、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影及び視覚的認知などの指標のうちの少なくとも何れか１つの指標を含む。視覚的認知については、運転者が対象を視覚的にどの程度認知したかの指標である。運転者の状態は、ここに例示する指標以外の指標を含んでいてもよい。

音声出力装置１６は、スピーカ１６１を備える。音声出力装置１６は、種々の情報を音声で出力する。
上述の運転状態判定装置２の構成について説明する。
運転状態判定装置２は、車両の状態及び運転者の状態に関する情報を取得し、車両の状態及び運転者の状態を検出し、車両の状態及び運転者の状態に基づき運転適否を判定し、判定結果に応じた信号を出力する。なお、運転状態判定装置２は、上述の運転者の状態に基づいて運転者の運転集中度を推定し、運転集中度に基づき運転者が車両１の運転に適した状態か否かを判定するようにしてもよい。運転集中度は、運転者が車両１の運転に適した度合いである。運転集中度が高くなるにつれ、運転者は、より車両１の運転に適した状態になる。逆に、運転集中度が低くなるにつれ、運転者は、より車両１の運転に適さない状態になる。

図２は、一例となる運転状態判定装置２の構成を示すブロック図である。
運転状態判定装置２は、入出力インタフェースユニット２１と、記憶ユニット２２と、制御ユニット２３とを備える。

入出力インタフェースユニット２１は、車外カメラ６、ステアリングセンサ７と、アクセルペダルセンサ８と、ブレーキペダルセンサ９と、ＧＰＳ受信機１０、ナビゲーション装置１３、自動運転制御装置１４、ドライバカメラ１５及び音声出力装置１６それぞれを、制御ユニット２３と接続する。

記憶ユニット２２の構成について説明する。
記憶ユニット２２は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込み及び読み出しが可能な不揮発性メモリである。記憶ユニット２２は、監視データ記憶部２２１と、車外画像データ記憶部２２２とを備える。

監視データ記憶部２２１は、制御ユニット２３がドライバカメラ１５から取得する運転者画像データを記憶する。
車外画像データ記憶部２２２は、制御ユニット２３が車外カメラ６から取得する車外画像データを記憶する。

制御ユニット２３の構成について説明する。
制御ユニット２３は、プロセッサ２３１と、メモリ２３２とを備える。
プロセッサ２３１は、例えば、コンピュータを構成するＣＰＵ（Central Processing Unit）である。プロセッサ２３１が備える各部の構成については後述する。なお、図２には１つのプロセッサ２３１を示しているが、制御ユニット２３は、１つ以上のプロセッサを備えていてもよい。
メモリ２３２は、不揮発性メモリ又はＲＡＭ（Random-Access Memory）である。メモリ２３２は、プロセッサ２３１が備える各部の処理をプロセッサ２３１に機能させるプログラムを備える。プログラムは、プロセッサ２３１を動作させる命令ということもできる。プログラムは、記憶ユニット２２に記憶されており、記憶ユニット２２からメモリ２３２に読み出される。メモリ２３２のプログラムは、プロセッサ２３１によって読み出される。一実施形態は、プログラムによって実現されてもよい。

プロセッサ２３１が備える各部の構成について説明する。
プロセッサ２３１は、監視データ取得部２３１１と、車外画像データ取得部２３１２と、車両情報取得部２３１３、経路情報取得部２３１４と、現在位置情報取得部２３１５と、情報検出部２３１６と、信号出力部２３１８とを備える。なお、各部は、１つ以上のプロセッサに分散されていてもよい。

監視データ取得部２３１１は、入出力インタフェースユニット２１を介して、ドライバカメラ１５から運転者画像データを取得する。監視データ取得部２３１１は、運転者画像データを監視データ記憶部２２１に記憶させる。
車外画像データ取得部２３１２は、入出力インタフェースユニット２１を介して、車外カメラ６から車外画像データを取得する。車外画像データ取得部２３１２は、車外画像データを車外画像データ記憶部２２２に記憶させる。

車両情報取得部２３１３は、車両操作に関する情報を取得する。例えば、車両情報取得部２３１３は、ステアリングセンサ７からの操舵角に関する情報、アクセルペダルセンサ８からのアクセルペダルの操作量に関する情報、ブレーキペダルセンサ９からのブレーキペダルの操作量に関する情報を取得する。また、車両情報取得部２３１３は、ステアリングセンサ７からの操舵角に関する情報に基づき操舵方向に関する情報を取得する。さらに、車両情報取得部２３１３は、ナビゲーション装置１３から車両走行状態として、現在位置、進行方向、走行速度、走行距離、及び走行時間等に関する情報等を取得するようにしてもよい。また、車両情報取得部２３１３は、ジャイロセンサ１１からの車両１の挙動に関する情報、及び車速センサ１２からの車両１の速度に関する情報を取得するようにしてもよい。車両情報取得部２３１３は、取得した情報を情報検出部２３１６へ出力する。

経路情報取得部２３１４は、入出力インタフェースユニット２１を介して、ナビゲーション装置１３から経路情報を取得する。経路情報取得部２３１４は、経路情報を情報検出部２３１６へ出力する。
現在位置情報取得部２３１５は、入出力インタフェースユニット２１を介して、ＧＰＳ受信機１０から現在位置情報を取得する。現在位置情報取得部２３１５は、現在位置情報を情報検出部２３１６へ出力する。

情報検出部２３１６は、車両情報取得部２３１３により取得された情報に基づき車両の状態に関する情報を検出する。例えば、情報検出部２３１６は、車両１の操舵方向に関する情報を検出し、また、操舵方向及び経過時間の関係を検出し、また、車両１の車速等を検出する。また、情報検出部２３１６は、監視データ記憶部２２１に記憶されている運転者画像データから運転者の状態に関する情報を検出する。例えば、情報検出部２３１６は、運転者の状態として、運転者の視線方向及び視線角に関する情報を検出する。車両１の進行方向と車両１の運転者の視線方向との間の角を視線角とする。視線方向及び視線角については後に詳しく説明する。また、情報検出部２３１６は、運転者画像データの他に、例えば、車外画像データ、経路情報及び現在位置情報の少なくとも何れか１つを用いて、物体の検知に関する情報、及び運転者によるこの物体の認知に関する情報を検出してもよい。物体に関する情報は、運転者が視覚的認知する可能性のある物体又は運転者が視覚的認知する可能性があり且つ車両１が接触する可能性のある物体を検知したか否かに関する情報、及びその物体角に関する情報である。車両１の進行方向と車両１から物体への物体方向との間の角を物体角とする。なお、物体角については後に詳しく説明する。物体の認知とは、運転者の状態として上述の視覚的認知に相当する。情報検出部２３１６による運転者の状態の検出例については後述する。なお、情報検出部２３１６は、監視データ記憶部２２１を介することなく、監視データ取得部２３１１から運転者画像データを取得してもよい。この場合、記憶ユニット２２は、監視データ記憶部２２１を備えていなくてもよい。
情報検出部２３１６は、車両の状態及び運転者の状態に関する情報を運転状態判定部２３１７へ出力する。

運転状態判定部２３１７は、情報検出部２３１６からの情報に基づき運転の適否を判定する。例えば、運転状態判定部２３１７は、操舵方向と視線方向の関係に基づき手動運転モードの適否を判定する。また、運転状態判定部２３１７は、前記操舵方向と前記視線方向と前記車両の車速の関係に基づき手動運転モードの適否を判定するようにしてもよい。また、運転状態判定部２３１７は、運転者が視覚的認知する可能性のある物体又は運転者が視覚的認知する可能性があり且つ車両１が接触する可能性のある物体の検知に関する情報及び運転者によるその物体の認知に関する情報に基づき手動運転モードの適否を判定するようにしてもよい。運転状態判定部２３１７による手動運転モードの適否判定は後に詳しく説明する。

また、運転状態判定部２３１７は、情報検出部２３１６で検出された運転者の状態に基づいて運転者の運転集中度を推定するようにしてもよい。なお、運転者の状態は上述のように運転者画像データから検出されるので、運転状態判定部２３１７は、運転者画像データから運転者の運転集中度を推定するということもできる。運転状態判定部２３１７は、運転者の状態に含まれる１つ以上の指標それぞれに対応する運転集中度を推定する。運転状態判定部２３１７は、例えば、眠気を指標とした運転集中度を推定すると共に、脇見を指標とした運転集中度も推定する。なお、運転状態判定部２３１７は、例えば、運転者の状態に含まれる複数の指標について総合的に判断して１つの運転集中度を推定してもよい。

一例では、運転状態判定部２３１７は、運転集中度を割合などの数値で推定することができる。運転状態判定部２３１７によって推定される数値は、運転集中度が高くなるにつれ大きくなってもよいし、運転集中度が高くなるにつれ小さくなってもよい。

運転状態判定部２３１７による運転集中度の推定は、機械学習やディープラーニング等のＡＩ（Artificial Intelligence：人工知能）機能を用いて行われてもよい。この場合、運転状態判定部２３１７は、例えば、過去の推定結果を現在の運転集中度の推定に活用することで、高精度に運転者の状態を推定することができる。
運転状態判定部２３１７は、運転集中度と基準とを比較する。運転状態判定部２３１７が複数の指標それぞれについての運転集中度を推定する場合、複数の指標それぞれについての運転集中度を基準と比較してもよい。情報検出部２３１６は、比較結果を信号出力部２３１８へ出力する。なお、基準は、任意に変更可能であってもよい。

信号出力部２３１８は、入出力インタフェースユニット２１を介して、各部へ信号を出力する。以下では、信号出力部２３１８が出力するいくつかの信号の例について説明する。
例えば、信号出力部２３１８は、自動運転制御装置１４へ運転適否の判定結果に応じた信号を出力する。自動運転制御装置１４は、運転適否の判定結果に応じた信号に基づき運転を制御してもよい。運転適否の判定結果に応じた信号の出力、及び判定結果に応じた信号に基づく運転制御については後に詳しく説明する。

また、信号出力部２３１８は、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか１つへ運転適否の判定結果に応じた信号を出力してもよい。例えば、信号出力部２３１８は、運転不適切判定に応じて警告信号を出力する。ナビゲーション装置１３は、警告信号に基づいて、運転者へ注意を与えるメッセージを映像でディスプレイ１３１に表示する。音声出力装置１６は、警告信号に基づいて、運転者へ注意を与えるメッセージを音声でスピーカ１６１から出力する。例えば、信号出力部２３１８は、自動運転モードの実行中の運転不適切判定に応じて第１の警告信号を出力し、また、手動運転モードの実行中の運転不適切判定に応じて第２の警告信号を出力するようにしてもよい。ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか１つは、第１の警告信号に基づき、「運転に不適切な状態であるため手動運転モードへの切り替えを受け付けません」などのメッセージを出力する。また、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか１つは、第２の警告信号に基づき、「運転に不適切な状態であるため手動運転モードを自動運転モードへ切り替えます」、又は「運転に不適切な状態であるため車両を停止（又は減速）します」などのメッセージを出力する。運転者は、メッセージにより、運転者自身が車両１の運転に適した状態ではないことを認識することができる。なお、信号出力部２３１８は、警告信号をナビゲーション装置１３及び音声出力装置１６以外の装置へ出力してもよい。信号出力部２３１８は、例えば、運転者に振動などの外部刺激を与える装置へ警告信号を出力してもよい。

また、信号出力部２３１８は、手動運転モードの不適切の判定に基づき手動運転モードを自動運転モードへ切り替えるための制御信号を自動運転制御装置１４へ出力するようにしてもよい。また、信号出力部２３１８は、手動運転モードの不適切の判定に基づき自動運転モードを実行して車両を減速又は停止させるための制御信号を出力するようにしてもよい。

また、信号出力部２３１８は、運転状態判定部２３１７からの比較結果に基づいて、運転者へ注意を与えるための警告信号を外部装置へ出力するか否かを判断するようにしてもよい。例えば、信号出力部２３１８は、運転状態判定部２３１７によって推定された運転集中度が基準よりも低い場合に、運転者へ警告信号を出力するようにしてもよい。信号出力部２３１８は、例えば、ナビゲーション装置１３及び音声出力装置１６の少なくとも何れか一方へ警告信号を出力する。信号出力部２３１８は、複数の指標から推定された複数の運転集中度のうちの１つ以上の運転集中度が基準よりも低い場合に警告信号を出力することができる。信号出力部２３１８は、複数の指標から推定された複数の運転集中度のうちの所定数以上の運転集中度が基準よりも低い場合に警告信号を出力するようにしてもよい。

次に、情報検出部２３１６による運転者画像データを用いた運転者の状態の検出例について説明する。なお、運転者の状態の検出手法は、ここで説明する例に限られるものではない。
図３は、情報検出部２３１６の構成を示すブロック図である。情報検出部２３１６は、一例として、局所情報検出部２３１６１と、大局情報検出部２３１６２と、運転者情報検出部２３１６３とを備える。

局所情報検出部２３１６１は、運転者画像データ中の運転者の顔に含まれる器官のうちの少なくとも１つの状態を検出する。顔に含まれる器官は、例えば、眼、口、鼻及び耳であるが、これら以外であってもよい。局所情報検出部２３１６１が眼の状態の検出する場合、局所情報検出部２３１６１は、例えば、運転者の眼の開閉度、視線の方向及び顔の向きなどを検出する。局所情報検出部２３１６１は、検出結果（以下、局所的な情報とも称する）を運転者情報検出部２３１６３へ出力する。

大局情報検出部２３１６２は、運転者画像データ中の運転者の大局的な状態うちの少なくとも１つの状態を検出する。大局的な状態は、例えば、運転者の動作及び姿勢などであるが、これら以外であってもよい。大局情報検出部２３１６２は、検出結果（以下、大局的な情報とも称する）を運転者情報検出部２３１６３へ出力する。

運転者情報検出部２３１６３は、局所情報検出部２３１６１からの局所的な情報及び大局情報検出部２３１６２からの大局的な情報を用いて、上述の運転者の状態を検出する。
このように、情報検出部２３１６は、例えば、局所的な情報及び大局的な情報を組み合わせることで、様々な運転者の状態を検出することができる。
例えば、情報検出部２３１６は、車両１の走行情報に基づき車両の進行方向を検出し、車両の進行方向を基準として運転者の視線方向及び視線角を検出することができる。

次に、情報検出部２３１６による視覚的認知のいくつかの検出例について説明する。情報検出部２３１６は、監視データと対象の位置情報とを用いて、視覚的認知を検出することができる。

一例として、情報検出部２３１６は、運転者画像データの他に車外画像データを用いて、以下のように視覚的認知の検出することができる。情報検出部２３１６は、視覚的認知を検出するための対象を車外画像データから抽出する。例えば、情報検出部２３１６は、車外画像データを複数領域に分割して、分割された複数領域から対象を抽出する。これにより、対象の位置（方向）を検出することができる。対象は、例えば、標識及びガードレールなどの設置物、並びに建造物などであるが、運転者が視覚的に認識する可能性のあるものであれば特に限定されない。また、予め、車両に接触する可能性のある危険物の画像を登録しておくことにより、情報検出部２３１６は、抽出された対象と登録された危険物とのパターンマッチングから、抽出された対象が危険物か否かを判定するようにしてもよい。

情報検出部２３１６は、対象を抽出した車外画像データの撮影されたタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。運転者の視線及び顔の向きは、上述のように、局所情報検出部２３１６１で検出される。情報検出部２３１６は、運転者の視線及び顔の向きの少なくとも一方と対象の位置情報とを用いて、視覚的認知を検出する。例えば、運転者の視線及び顔の向きの少なくとも一方が対象に向いている時間が所定時間以上の場合に、視覚的認知を検出するようにしてもよい。運転者の視線及び顔の向きが対象に向くにつれ、視覚的認知は高くなるといえる。

別の例として、情報検出部２３１６は、運転者画像データの他に経路情報及び現在位置情報を用いて、以下のように、視覚的認知の検出をすることができる。
情報検出部２３１６は、経路情報及び現在位置情報を参照して、車両１の近傍に位置する対象を抽出する。対象は、上述のように、例えば、標識などの設置物及び建造物などであるが、運転者が視覚的に認識する可能性のあるものであれば特に限定されない。情報検出部２３１６は、車両１が対象の近傍を通過するタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。情報検出部２３１６は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、視覚的認知を検出する。

別の例として、情報検出部２３１６は、対象の位置及び車両１が対象の近傍を通過するタイミングを路車間通信で得るようにしてもよい。この場合、情報検出部２３１６は、車両１が対象の近傍を通過するタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。情報検出部２３１６は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、視覚的認知を検出する。

別の例として、情報検出部２３１６は、ナビゲーション装置１３のディスプレイ１３１に表示されるメッセージを対象として用いてもよい。この場合、情報検出部２３１６は、メッセージがディスプレイ１３１に表示されるタイミングと略同タイミングで撮影された運転者画像データから運転者の視線及び顔の向きを検出する。情報検出部２３１６は、運転者の視線及び顔の向きの少なくとも何れか一方と対象の位置情報とを用いて、視覚的認知を検出する。

上述のように情報検出部２３１６が少なくとも監視データ及び対象の位置情報を用いることで、情報検出部２３１６は、視覚的認知を指標とした運転者の状態を適切に検出することができる。
なお、情報検出部２３１６は、車両１の前後左右の何れの近傍に位置している対象を用いてもよい。情報検出部２３１６は、車両１の前側よりも、左側又は右側の近傍に位置している対象を用いた方が好ましい。対象が車両１の前側に位置していれば、運転者の視線及び顔はそれほど動かない。これに対して、対象が車両１の左側又は右側の近傍に位置していれば、運転者の視線及び顔は、左側又は右側へ動く。そのため、情報検出部２３１６は、視覚的認知を適切に検出することができる。

ここで操舵方向、操舵角、視線方向、視線角、物体方向、及び物体角等について説明する。例えば、車両１の進行方向を基準（０度）に、操舵方向（操舵角）の範囲は＋Ｘ度から−Ｘ度と仮定する。また、車両１の進行方向を基準に、視線方向（視線角）の範囲は＋Ｙ度から−Ｙ度であると仮定する。

図４は、操舵方向と視線方向との間の差分を説明するための図である。例えば、車両１の進行方向と操舵方向との間の角が操舵角であり、また、車両１の進行方向と車両１の運転者の視線方向との間の角が視線角である。そして、操舵方向と視線方向の間の角が差分であり、差分は操舵角と視線角の和でもある。運転状態判定部２３１７は、差分が基準角より大きい場合に脇見運転等と判定し、これに基づき手動運転モードが不適切であると判定することができる。

図５は、物体方向と視線方向との間の差分を説明するための図である。例えば、車両１の進行方向と車両１から物体への物体方向との間の角が物体角であり、また、車両１の進行方向と車両１の運転者の視線方向との間の角が視線角である。そして、物体方向と視線方向の間の角が差分であり、差分は物体角と視線角の和でもある。運転状態判定部２３１７は、差分が基準角より大きい場合に物体未認知と判定し、これに基づき手動運転モードが不適切であると判定することができる。

（動作）
次に、以上のように構成されている自動運転制御装置１４の動作を説明する。
図６は、運転状態判定装置による手動運転モード適否判定から信号出力までの流れの一例を示すフローチャート。

例えば、車両情報取得部２３１３及び情報検出部２３１６は、車両１の操舵方向等の情報を取得する（ステップＳ１１）。なお、以下において説明する手動運転モードの適否判定の各例に応じて、監視データ取得部２３１１、車外画像データ取得部２３１２、及び情報検出部２３１６は、車両１の運転者の状態（運転者の視線方向を含む）、物体の検知、物体の認知、及び車両の走行等に関する情報を取得する。

運転状態判定部２３１７は、自動運転モードの実行中であると判定すると（ステップＳ１２、ＮＯ）、操舵方向等の情報取得を継続する。運転状態判定部２３１７は、手動運転モードの実行中であると判定すると（ステップＳ１２、ＹＥＳ）、取得情報に基づき手動運転モードの適否を判定する（ステップＳ１３）。例えば、運転状態判定部２３１７は、取得情報に基づき手動運転モードが不適切又は適切であると判定する。なお、手動運転モードの適否判定については後に詳しく説明する。

信号出力部２３１８は、運転状態判定部２３１７による手動運転モードの適否判定に応じた信号を各部へ出力する（ステップＳ１４）。例えば、信号出力部２３１８は、運転状態判定部２３１７による手動運転モードが適切であることを示す信号、又は不適切であることを示す信号をナビゲーション装置１３又は自動運転制御装置１４へ出力する。自動運転制御装置１４は、手動運転モードが不適切であることを示す信号に基づき、手動運転モードを自動運転モードへ切り替えてもよい。また、自動運転制御装置１４は、手動運転モードが不適切であることを示す信号に基づき、自動運転モードを実行して車両を減速又は停止させてもよい。

或いは、信号出力部２３１８は、手動運転モードの不適切の判定に基づき手動運転モードを自動運転モードへ切り替えるための制御信号を自動運転制御装置１４へ出力するようにしてもよい。自動運転制御装置１４は、この制御信号に基づき手動運転モードを自動運転モードへ切り替える。また、信号出力部２３１８は、手動運転モードの不適切の判定に基づき自動運転モードを実行して車両を減速又は停止させるための制御信号を自動運転制御装置１４へ出力するようにしてもよい。自動運転制御装置１４は、この制御信号に基づき自動運転モードを実行して車両を減速又は停止させる。

図７は、自動運転制御装置１４による手動運転モード適否判定の第１例を示すフローチャートである。
監視データ取得部２３１１、車両情報取得部２３１３、及び情報検出部２３１６は、操舵方向と視線方向に関する情報を取得する。運転状態判定部２３１７は、操舵方向と視線方向の関係に基づき手動運転モードの適否を判定する。例えば、運転状態判定部２３１７は、操舵方向と視線方向の差分（差分角）が基準角より大きい場合（ステップＳ１３１１、ＹＥＳ）、手動運転モードが不適切であると判定する（ステップＳ１３１２）。例えば、操舵方向と視線方向が所定量以上ずれている場合に、脇見運転の可能性が高いと判定し、手動運転モードが不適切であると判定することができる。操舵方向が右で視線方向が左という具合に、操舵方向と視線方向がちぐはぐな場合には、手動運転モードが不適切であると判定することができる。

また、運転状態判定部２３１７は、操舵方向と視線方向の差分が基準角以下の場合（ステップＳ１３１１、ＮＯ）、手動運転モードが適切であると判定するようにしてもよい。

なお、基準角には任意の角度を設定することができる。例えば、基準角を狭角（例えば５０度未満）に設定すると判定基準は厳しくなり、広角（例えば５０度以上）に設定すると判定基準は緩くなる。

図８は、自動運転制御装置１４による手動運転モード適否判定の第２例を示すフローチャートである。
監視データ取得部２３１１、車両情報取得部２３１３、及び情報検出部２３１６は、操舵方向と視線方向に関する情報を取得する。例えば、操舵方向と視線方向とに関する情報は、時間変化に対応する操舵方向と視線方向を示す情報である。つまり、操舵方向と視線方向とに関する情報から、操舵方向と視線方向の差分が基準角より大きく且つその状態が基準時間より長いか否かを判定することができる。

運転状態判定部２３１７は、操舵方向と視線方向の差分が基準角より大きく（ステップＳ１３２１、ＹＥＳ）、その状態が基準時間より長い場合に（ステップＳ１３２２、ＹＥＳ）、手動運転モードが不適切であると判定する（ステップＳ１３２３）。つまり、所定時間より長い時間にわたり、操舵方向と視線方向が所定量以上ずれている場合に、手動運転モードが不適切であると判定する。

また、運転状態判定部２３１７は、操舵方向と視線方向の差分が基準角以下の場合（ステップＳ１３２１、ＮＯ）、或いは、基準時間以内の場合には（ステップＳ１３２２、ＮＯ）、手動運転モードが適切であると判定してもよい。つまり、操舵方向と視線方向が所定量以上ずれていない場合、また、所定量以上ずれていてもその時間が所定時間以下の場合には、手動運転モードが適切であると判定するようにしてもよい。

なお、基準時間には任意の時間を設定することができる。例えば、基準時間を短くすると（例えば１．５秒未満）判定基準は厳しくなり、長くすると（１．５秒以上）判定基準は緩くなる。

図９は、自動運転制御装置１４による手動運転モード適否判定の第３例を示すフローチャートである。
監視データ取得部２３１１、車両情報取得部２３１３、及び情報検出部２３１６は、操舵方向、視線方向、及び車速に関する情報を取得する。運転状態判定部２３１７は、操舵方向と視線方向と車両の車速の関係に基づき手動運転モードの適否を判定する。例えば、運転状態判定部２３１７は、車速に関する情報から車両１が走行中であることを検出し（ステップＳ１３３１、ＹＥＳ）、操舵方向と視線方向の差分が基準角より大きく（ステップＳ１３３２、ＹＥＳ）、車速が基準速度より速い場合に（ステップＳ１３３３、ＹＥＳ）、手動運転モードが不適切であると判定する（ステップＳ１３３４）。つまり、車両の車速が所定速度より速く（例えば１〜１０ｋｍ程度で徐行している状態ではなく）、操舵方向と視線方向が所定量以上ずれている場合に、手動運転モードが不適切であると判定する。

また、運転状態判定部２３１７は、車両１が走行していない場合（ステップＳ１３３１、ＮＯ）、又は操舵方向と視線方向の差分が基準角以下の場合（ステップＳ１３３２、ＮＯ）、又は車速が基準速度以下の場合には（ステップＳ１３３３、ＮＯ）、手動運転モードが適切であると判定してもよい。つまり、車両１が停止している場合、操舵方向と視線方向が所定量以上ずれていない場合、或いは所定量以上のずれが生じている車両の速度が所定速度以下の場合には、手動運転モードが適切であると判定するようにしてもよい。

図１０は、自動運転制御装置１４による手動運転モード適否判定の第４例を示すフローチャートである。
監視データ取得部２３１１、車両情報取得部２３１３、及び情報検出部２３１６は、運転状態判定装置２から物体検出に関する情報、及び物体認知に関する情報を取得する。運転状態判定部２３１７は、取得された情報に基づき、運転者が視覚的認知する可能性のある物体又は運転者が視覚的認知する可能性があり且つ車両１が接触する可能性のある物体が検出され（ステップＳ１３４１、ＹＥＳ）、その物体が未認知の場合（ステップＳ１３４２、ＹＥＳ）、手動運転モードが不適切であると判定する（ステップＳ１３４３）。

また、運転状態判定部２３１７は、その物体が検出されない場合（ステップＳ１３４１、ＮＯ）、手動運転モードが適切であると判定してもよい。また、運転状態判定部２３１７は、その物体が検出されても（ステップＳ１３４１、ＹＥＳ）、その物体が認知されている場合（ステップＳ１３４２、ＮＯ）、手動運転モードが適切であると判定するようにしてもよい。
運転者が視覚的認知する可能性のある物体、又は運転者が視覚的認知する可能性があり且つ車両１が接触する可能性のある物体としては、道路上の落下物、標識、又はガードレール等がある。車両１の走行状態から、道路上の落下物、標識、又はガードレール等に接触する可能性があるか否かを判定することができる。

例えば、上述した第１例、第２例、又は第３例と、第４例を組み合わせることにより、運転状態の適否判定精度を高めることができる。つまり、第１例、第２例、又は第３例の手動運転モード適否判定により運転状態が適切であると判定されても、第４例の手動運転モード適否判定により運転状態が不適切であると判定される場合には、信号出力部２３１８は、運転状態が不適切であることを示す信号を出力するようにしてもよい。

（効果）
以上詳述したようにこの発明の一実施形態では、自動運転制御装置１４は、手動運転モードの実行中における操舵方向と視線方向の関係に基づき手動運転モードの適否を判定することができる。例えば、手動運転モードの実行中における操舵方向と視線方向の関係から運転者の注意力に欠けた状態を手動運転モードが不適切な状態であるとして、運転適否を精度良く判定することができる。例えば操舵方向と視線方向とが対応していない状態、右方向に操舵しているのに左方向に視線を送っているちぐはぐな状態、又は操舵方向と視線方向との差分が基準値より大きい場合には、脇見運転等の可能性が高く、このような状態を手動運転モードが不適切な状態であると判定することができる。例えば、手動運転モードが不適切な状態であると判定された場合には、手動運転モードが不適切であることを示す判定結果に応じた信号を出力することができ、この信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となり、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

例えば、操舵方向と視線方向の差分が基準角より大きい場合、つまり、操舵方向と視線方向が所定量以上ずれている場合は、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角を設定することにより、例えば、脇見運転に該当しないようなケースで、過剰に手動運転モードが自動運転モードに切り替えられてしまうのを防ぐことができる。

例えば、操舵方向と視線方向の差分が基準角より大きい時間が基準時間より長い場合、つまり、所定時間より長い時間にわたり、操舵方向と視線方向が所定量以上ずれている場合に、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角及び基準時間を設定することにより、例えば、脇見運転に該当しないようなケースで、過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

例えば、手動運転モードの実行中における操舵方向と視線方向と車両の速度の関係に基づき手動運転モードの適否を判定することができる。例えば、手動運転モードの実行中における操舵方向と視線方向と車両の速度の関係から運転者の注意力に欠けた状態を手動運転モードが不適切な状態であるとして、運転適否を精度良く判定することができる。交差点、狭い道、又は人通りの多い場所では、周囲を見渡しながら徐行運転するケースがある。判定基準として操舵方向と視線方向と車両の速度の関係を用いることにより、このようなケースで過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

例えば、操舵方向と視線方向の差分が基準角より大きく車速が基準速度より速い場合、つまり、車両の車速が所定速度より速く、操舵方向と視線方向が所定量以上ずれている場合には、徐行運転とは言えない危険な状態の可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。例えば、手動運転モードが不適切であることを示す判定結果に応じた信号に基づき手動運転モードを自動運転モードへ切り替えることも可能となるが、適切な基準角及び基準速度を設定することにより、過剰に手動運転モードが自動運転モードに切り替わることを防ぐことができる。

例えば、物体が検知され且つ物体が未認知の場合、つまり、本来、視線が向くはずの物体が存在するにもかかわらず、その物体方向に視線が向かないような場合に、運転者の注意力が欠けた状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。隣車線に車両がいる、隣車線の車両が近づいている、追い越し車両がいる、隣のガードレールが近づいているようなケースでは車両の接触の可能性があり、運転者が認知（反応）しないのは危険な状態である可能性が高い。また、右から車両が近づいてきて、左にガードレールがあるようなケースでは車両の接触の可能性があり、運転者が認知しないのは危険な状態である可能性が高い。このような状態を手動運転モードが不適切であると判定することができる。

例えば、手動運転モードの不適切の判定に基づき手動運転モードを自動運転モードへ切り替えるための制御信号を出力することができる。この信号に基づき手動運転モードを自動運転モードへ切り替えることが可能となり、運転者の不注意による車両の接触等の発生を減らして安全性の向上を図ることもできる。

［他の実施形態］
以下、いくつかの他の実施形態について説明する。
前記第一実施形態で説明した自動運転モードの不適切判定以外に、車両１が取得可能な様々な情報のうちの１つ以上の情報から、手動運転モードが不適切か否か判定するようにしてもよい。様々な情報としては、操舵方向、視線方向、車速、物体検知、物体認知、集中度、及び道路環境がある。

例えば、操舵方向と物体検知の情報を組み合わせて、操舵方向において物体が検知されている場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。また、操舵方向と視線方向と物体検知の情報を組み合わせて、操舵方向において物体が検知され、操舵方向と視線方向とが対応していない場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。また、操舵方向と視線方向と物体検知と速度の情報を組み合わせて、操舵方向において物体が検知され、操舵方向と視線方向とが対応しているが、速度が基準速度より速い場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。操舵方向において物体が検知され、速度が基準速度以下の場合には、危険性が低い可能性が高く手動運転モードを不適切と判定しないようにしてもよい。これにより、交差点又は車両の周囲に歩行者がいるようなケースで、運転者が周囲に気を配りながら徐行している場合には、手動運転モードを継続することができる。

また、物体検知と物体認知と速度の情報を組み合わせて、物体が検知され、物体が認知されず、速度が基準速度より速い場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。物体が検知され、物体が認知されず、速度が基準速度以下の場合には、危険性が低い可能性が高く手動運転モードを不適切と判定しないようにしてもよい。

また、複数の物体検知に基づき、手動運転モードが不適切か否か判定するようにしてもよい。車両の右から物体（例えば他の車両）が近づき、車両の左に物体（例えばガードレール）がある場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。また、複数の物体検知と速度の情報を組み合わせて、手動運転モードが不適切か否か判定するようにしてもよい。車両の右から物体（例えば他の車両）が近づき、車両の左に物体（例えばガードレール）があり、速度が基準速度より速い場合には、危険であるため手動運転モードを不適切と判定し、車両の右から物体が近づき、車両の左に物体があり、速度が基準速度以下の場合には、危険性が低い可能性が高く手動運転モードを不適切と判定しないようにしてもよい。

また、運転者の集中度に基づき、手動運転モードが不適切か否か判定するようにしてもよい。例えば、運転者の集中度が基準より低い場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。また、運転者の集中度と車速に基づき、手動運転モードが不適切か否か判定するようにしてもよい。例えば、運転者の集中度が基準より低く速度が基準速度以上の場合には、危険であるため手動運転モードを不適切と判定するようにしてもよい。

また、集中度と道路環境に基づき、手動運転モードが不適切か否か判定するようにしてもよい。例えば、集中度が低く、集中力及び注意力が必要とされる第２の道路であれば、危険であるため手動運転モードを不適切と判定するようにしてもよい。

なお、上記したように、運転状態判定装置２は、様々な指標に対応する集中度を得ることができる。例えば、脇見を指標とする集中度を得ることができる点について説明した。例えば、操舵方向と視線方向に関する情報に替えて、脇見を指標とする集中度を利用するようにしてもよい。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

また、上記実施形態は、プロセッサ１４１及び２３１が備える各部の処理をプロセッサ１４１及び２３１に機能させるプログラムを記憶するＲＯＭ（Read Only Memory）等の記憶媒体によって実現されてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。
（付記１）
車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得し、
手動運転モードの実行中における前記操舵方向と前記視線方向の関係に基づき前記手動運転モードの適否を判定し、
前記手動運転モードの不適切の判定に基づき前記手動運転モードを自動運転モードへ切り替えるように構成されているプロセッサと、
前記プロセッサを動作させる命令を記憶するメモリと、
を備える運転状態判定装置。

（付記２）
少なくとも１つのプロセッサを用いて、
車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得し、
手動運転モードの実行中における前記操舵方向と前記視線方向の関係に基づき前記手動運転モードの適否を判定し、
前記手動運転モードの不適切の判定に基づき前記手動運転モードを自動運転モードへ切り替える、運転状態判定方法。

１…車両、２…運転状態判定装置、３…パワーユニット、４…操舵装置、５…ステアリングホイール、６…車外カメラ、７…ステアリングセンサ、８…アクセルペダルセンサ、９…ブレーキペダルセンサ、１０…ＧＰＳ受信機、１１…ジャイロセンサ、１２…車速センサ、１３…ナビゲーション装置、１４…自動運転制御装置、１５…ドライバカメラ、１６…音声出力装置、２１…入出力インタフェースユニット、２２…記憶ユニット、２３…制御ユニット、１３１…ディスプレイ、１６１…スピーカ、２２１…監視データ記憶部、２２２…車外画像データ記憶部、２２３…集中度テーブル記憶部、２３１…プロセッサ、２３２…メモリ、２３１１…監視データ取得部、２３１２……車外画像データ取得部、２３１３…車両情報取得部、２３１４…経路情報取得部、２３１５…現在位置情報取得部、２３１６…情報検出部、２３１７…運転状態判定部、２３１８…信号出力部、２３１６１…局所情報検出部、２３１６２…大局情報検出部、２３１６３…運転者情報検出部。

Claims (7)

1. 車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得する情報取得部と、
   手動運転モードの実行中における前記操舵方向と前記視線方向と前記車両の車速の関係に基づき前記手動運転モードの適否を判定する運転状態判定部と、
   判定結果に応じた信号を出力する信号出力部と、
   を備え、
   前記運転状態判定部は、前記操舵方向と前記視線方向の差分が基準角より大きく前記車速が基準速度より速い場合に前記手動運転モードが不適切であると判定し、前記操舵方向と前記視線方向の差分が基準角より大きく前記車速が基準速度以下の場合に前記手動運転モードが適切であると判定する運転状態判定装置。
2. 前記運転状態判定部は、前記操舵方向と前記視線方向の差分が基準角より大きい時間が基準時間より長い場合に前記手動運転モードが不適切であると判定する請求項１に記載の運転状態判定装置。
3. 前記情報取得部は、物体の検知に関する情報及び前記運転者による前記物体の認知に関する情報を取得し、
   前記運転状態判定部は、前記物体が検知され且つ前記物体が未認知の場合に前記手動運転モードが不適切であると判定する請求項１又は２に記載の運転状態判定装置。
4. 前記信号出力部は、前記手動運転モードの不適切の判定に基づき前記手動運転モードを自動運転モードへ切り替えるための制御信号を出力する請求項１から３の何れか１項に記載の運転状態判定装置。
5. 前記信号出力部は、前記手動運転モードの不適切の判定に基づき自動運転モードを実行して前記車両を減速又は停止させるための制御信号を出力する請求項１から３の何れか１項に記載の運転状態判定装置。
6. 車両の操舵方向及び前記車両の運転者の視線方向に関する情報を取得する情報取得過程と、
   手動運転モードの実行中における前記操舵方向と前記視線方向と前記車両の車速の関係に基づき前記手動運転モードの適否を判定する運転状態判定過程と、
   判定結果に応じた信号を出力する信号出力過程と、
   を備え、
   前記運転状態判定過程において、前記操舵方向と前記視線方向の差分が基準角より大きく前記車速が基準速度より速い場合に前記手動運転モードが不適切であると判定し、前記操舵方向と前記視線方向の差分が基準角より大きく前記車速が基準速度以下の場合に前記手動運転モードが適切であると判定する運転状態判定方法。
7. 請求項１から５の何れか１項に記載の運転状態判定装置が備える各部としてコンピュータを機能させる運転状態判定のためのプログラム。