JP7447853B2 - 覚醒状態判定システム及び自動運転装置 - Google Patents

Description

本開示は、運転者の覚醒状態を判定するシステム及び装置に関する。

従来から、車両の運転者の顔をカメラ（ドライバモニタカメラ）を用いて撮影して、カメラによって取得された画像データに基づいて運転者が覚醒状態であるかを判定する装置（以下、「従来装置」と称呼する。）が提案されている（例えば、特許文献１を参照。）。従来装置は、画像データに基づいて運転者の眼が閉じているか否かを判定し、これにより、運転者が覚醒状態であるかを判定する。

特開２０１４－１１５９８３号公報

更に、従来から、自動運転制御を実行するように構成された自動運転装置が提案されている。自動運転制御は、運転者による運転操作なしに、車両の速度及び操舵輪の舵角等を自動的に変更する制御である。自動運転制御のレベル（所謂、自動運転レベル）は、ＳＡＥ（Society of Automotive Engineers）によって、複数のレベル０～５に区分される。近年、レベル３の自動運転制御が実用化され始めている。レベル３は、特定の環境下において自動運転装置が全ての運転操作を実行するレベルであり、運転操作の交代要求（以下、単に「運転操作交代要求」と称呼する。）が発生した場合には運転者が運転操作を行うことが求められるレベルである。従って、レベル３の自動運転制御は、「条件付き自動運転制御」と称呼される場合がある。

レベル３においては、自動運転装置が自動運転制御を継続できない場合（運転操作交代要求が発生した場合）には、運転者が運転操作を引き継ぐ必要がある。従って、運転者が居眠り状態であることは許容されない。一方で、運転者が脇見していることは許容される。従って、自動運転装置がレベル３の自動運転制御を実行している間、運転者は、様々な行動（携帯端末の操作又は読書等）を行うことができる。

例えば、自動運転制御の実行中に運転者が携帯端末（例えば、スマートフォン）を操作すると仮定する。運転者は下を向きながら携帯端末を操作する。このような状況においてカメラが運転者を撮影した場合、画像データにおいて運転者の眼が閉じているように見える。これにより、従来装置は、運転者の眼が閉じていると判定する。このように、運転者が覚醒状態であるにも関わらず、従来装置は、運転者が覚醒状態でない（即ち、運転者は居眠り状態である）と誤って判定する虞がある。

本開示の目的の一つは、運転者が正面を向いていない場合でも、運転者が覚醒状態であるかを精度良く判定することができる技術を提供することである。

１つ以上の実施形態における覚醒状態判定システムは、
車両（ＶＡ）に搭載され、前記車両の運転者（ＤＲ）を撮像する第１撮像部（７６）と、
前記第１撮像部によって取得された前記運転者の画像である第１画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置（１０）と、
前記運転者によって携帯される携帯端末（１１０）と、
を備える。
前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定されるときに成立する所定の条件が成立する場合、前記携帯端末において取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記携帯端末は、当該携帯端末上における前記運転者による操作に関する情報である操作情報を検出するように構成されている。
前記端末側情報は、前記操作情報を含む。
更に、前記制御装置は、前記所定の条件が成立する場合、前記操作情報に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記制御装置は、前記運転者による前記操作が検出されない期間に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記携帯端末は、前記操作情報として、第１操作に関する情報、及び、前記第１操作よりも複雑な操作である第２操作に関する情報を少なくとも検出するように構成されている。
更に、前記制御装置は、前記第１操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第１期間閾値（ｐｔｈ１）よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定し、前記第２操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第２期間閾値（ｐｔｈ２）よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定するように構成されている。
そして、前記第２期間閾値は、前記第１期間閾値よりも大きい。

例えば、運転者が下を向きながら携帯端末を操作していると仮定する。このような状況においても、制御装置は、端末側情報を用いることにより、運転者が覚醒状態であるかを精度良く判定することができる。
更に、例えば、運転者が下を向きながら携帯端末を操作していると仮定する。このような状況において、制御装置は、操作情報を用いることにより、運転者が覚醒状態であるかを精度良く判定することができる。
更に、運転者による操作が検出されない期間が所定期間以上になると、運転者が覚醒状態ではない（即ち、運転者が居眠り状態である）可能性が高い。制御装置は、このような運転者による操作の有無に関する情報を用いることにより、運転者が覚醒状態であるかを精度良く判定することができる。
更に、運転者による操作がより複雑な操作であるほど、運転者が覚醒状態である可能性が高い。従って、より複雑な操作であるほど、運転者が覚醒状態でないと判定するまでの猶予期間を長くする。即ち、第２期間閾値は、第１期間閾値よりも大きく設定される。これにより、制御装置は、運転者が覚醒状態であるかを精度良く判定することができる。
又、１つ以上の実施形態における覚醒状態判定システムは、
車両（ＶＡ）に搭載され、前記車両の運転者（ＤＲ）を撮像する第１撮像部（７６）と、
前記第１撮像部によって取得された前記運転者の画像である第１画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置（１０）と、
前記運転者によって携帯される携帯端末（１１０）と、
を備える。
前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定されるときに成立する所定の条件が成立する場合、前記携帯端末において取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、覚醒状態判定システムは、前記車両に搭載され、前記車両に生じる加速度に関する情報を第１加速度情報として取得する第１加速度センサ（７２）を更に備える。
前記携帯端末は、前記携帯端末に生じる加速度に関する情報を第２加速度情報として取得する第２加速度センサ（２０３）を備える。
前記端末側情報は、前記第２加速度情報を含む。
そして、前記制御装置は、前記所定の条件が成立する場合、前記第１加速度情報と前記第２加速度情報とに基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
例えば、運転者が下を向きながら携帯端末を操作していると仮定する。このような状況においても、制御装置は、端末側情報を用いることにより、運転者が覚醒状態であるかを精度良く判定することができる。
制御装置は、第１加速度情報と第２加速度情報とに基づいて、車両の動きと携帯端末の動きとを区別し、これにより、運転者が携帯端末を動かしているかを判定できる。制御装置は、携帯端末の動きの有無に基づいて、運転者が覚醒状態であるかを精度良く判定することができる。

１つ以上の実施形態において、前記携帯端末は、前記運転者を撮像する第２撮像部（２０２）を備える。前記端末側情報は、前記第２撮像部によって取得された前記運転者の画像である第２画像を含む。
前記制御装置は、前記所定の条件が成立する場合、前記第２画像に対して前記覚醒状態判定処理を実行することにより、前記運転者が前記覚醒状態であるかを判定するように構成されている。

例えば、運転者が下を向きながら携帯端末を操作していると仮定する。このような状況において取得された第２画像は、運転者の顔をほぼ正面から捉えた画像である。制御装置は、第２画像に対して覚醒状態判定処理を実行することにより、運転者が覚醒状態であるかを精度良く判定することができる。

１つ以上の実施形態において、前記携帯端末は、前記第２画像に前記運転者の顔が含まれているかどうかを、前記運転者に対して通知するように構成されている。

例えば、運転者が下を向きながら読書していると仮定する。このような状況において、運転者は、第２画像に運転者の顔が含まれる適切な位置に携帯端末を設置するように誘導される。従って、制御装置は、第２画像に対して覚醒状態判定処理を実行することにより、運転者が覚醒状態であるかを精度良く判定することができる。

１つ以上の実施形態における自動運転装置（１００）は、車両（ＶＡ）に搭載され、前記車両の運転操作を自動的に行う自動運転制御を実行する。
当該自動運転装置は、
前記車両の運転者を撮像する撮像部（７６）と、
前記自動運転制御の実行中において、前記撮像部によって取得された前記運転者の画像である運転者画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置（１０）と、
を備える。
前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定される所定の条件が成立する場合、携帯端末（１１０）から取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記携帯端末は、当該携帯端末上における前記運転者による操作に関する情報である操作情報を検出するように構成されている。
前記端末側情報は、前記操作情報を含む。
更に、前記制御装置は、前記所定の条件が成立する場合、前記操作情報に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記制御装置は、前記運転者による前記操作が検出されない期間に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、前記携帯端末は、前記操作情報として、第１操作に関する情報、及び、前記第１操作よりも複雑な操作である第２操作に関する情報を少なくとも検出するように構成されている。
更に、前記制御装置は、前記第１操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第１期間閾値（ｐｔｈ１）よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定し、前記第２操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第２期間閾値（ｐｔｈ２）よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定するように構成されている。
そして、前記第２期間閾値は、前記第１期間閾値よりも大きい。
又、１つ以上の実施形態における自動運転装置（１００）は、車両（ＶＡ）に搭載され、前記車両の運転操作を自動的に行う自動運転制御を実行する。
当該自動運転装置は、
前記車両の運転者を撮像する撮像部（７６）と、
前記自動運転制御の実行中において、前記撮像部によって取得された前記運転者の画像である運転者画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置（１０）と、
を備える。
前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定される所定の条件が成立する場合、携帯端末（１１０）から取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成されている。
更に、当該自動運転装置は、前記車両に搭載され、前記車両に生じる加速度に関する情報を第１加速度情報として取得する第１加速度センサ（７２）を更に備える。
更に、前記携帯端末は、前記携帯端末に生じる加速度に関する情報を第２加速度情報として取得する第２加速度センサ（２０３）を備える。
前記端末側情報は、前記第２加速度情報を含む。
そして、前記制御装置は、前記所定の条件が成立する場合、前記第１加速度情報と前記第２加速度情報とに基づいて、前記運転者が前記覚醒状態であるかを判定するように構成されている。

一以上の実施形態において、上記の制御装置は、本明細書に記述される一以上の機能を実行するためにプログラムされた少なくとも１つのプロセッサにより実施されてもよい。一以上の実施形態において、上記の制御装置は、一以上のアプリケーションに特化された集積回路、即ち、ＡＳＩＣ等により構成されたハードウェアによって、全体的に或いは部分的に実施されてもよい。上記説明においては、後述する一以上の実施形態に対応する構成要素に対し、実施形態で用いた名称及び／又は符号を括弧書きで添えている。しかしながら、各構成要素は、前記名称及び／又は符号によって規定される実施形態に限定されるものではない。

第１実施形態に係る覚醒状態判定システムの概略構成図である。 第１実施形態に係る携帯端末の外観図である。 第１実施形態に係る携帯端末の概略構成図である。 自動運転制御の実行中に運転者が携帯端末を操作する状況を示した図である。 図４の状況においてドライバモニタカメラによって取得された画像（第１画像）の例である。 運転者の顔の向きを表す角度である顔向き角度を説明する図である。 図４の状況において携帯端末のフロントカメラによって取得された画像（第２画像）の例である。 自動運転装置（自動運転ＥＣＵ）及び携帯端末のシーケンス図である。 図８のステップ８０７において実行されるルーチンを示したフローチャートである。

＜第１実施形態＞
図１に示したように、覚醒状態判定システムは、車両ＶＡに搭載（適用）された自動運転装置１００と、携帯端末１１０とを含む。

（自動運転装置の構成）
自動運転装置１００は、自動運転ＥＣＵ１０、エンジンＥＣＵ２０、ブレーキＥＣＵ３０、ステアリングＥＣＵ４０、メータＥＣＵ５０、及び、ナビゲーションＥＣＵ６０を備えている。これらのＥＣＵは、ＣＡＮ（Controller Area Network）９０を介して互いにデータを送受信可能となるように接続されている。

ＥＣＵは、エレクトロニックコントロールユニットの略称であり、マイクロコンピュータを主要構成部品として有する電子制御回路である。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース及び不揮発性メモリ等を含む。ＣＰＵはＲＯＭに格納されたインストラクション（ルーチン、プログラム）を実行することにより各種機能を実現する。例えば、自動運転ＥＣＵ１０は、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、インターフェース（Ｉ／Ｆ）１０ｄ及び不揮発性メモリ１０ｅ等を含むマイクロコンピュータを備える。

エンジンＥＣＵ２０は、エンジンアクチュエータ２１に接続されている。エンジンアクチュエータ２１は、内燃機関２２のスロットル弁の開度を変更するスロットル弁アクチュエータを含む。エンジンＥＣＵ２０は、エンジンアクチュエータ２１を駆動することによって、内燃機関２２が発生するトルクを変更することができる。内燃機関２２が発生するトルクは、トランスミッション２３及び駆動力伝達機構を介して駆動輪に伝達される。従って、エンジンＥＣＵ２０は、エンジンアクチュエータ２１を制御することによって、車両ＶＡの駆動力を制御することができる。

なお、車両ＶＡが、ハイブリッド車両である場合、エンジンＥＣＵ２０は、駆動源としての「内燃機関及び電動機」の何れか一方又は両方によって発生する駆動力を制御することができる。更に、車両ＶＡが電気自動車である場合、エンジンＥＣＵ２０は、駆動源としての電動機によって発生する駆動力を制御することができる。

ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１に接続されている。ブレーキアクチュエータ３１は、公知の油圧回路を含む。油圧回路は、リザーバ、オイルポンプ及び種々の弁装置等を含む。ブレーキアクチュエータ３１は、ブレーキＥＣＵ３０からの指示に応じてホイールシリンダ３２に供給する油圧（即ち、制動圧）を調整する。制動圧に応じて車輪に発生する摩擦制動力が変化する。従って、ブレーキＥＣＵ３０は、ブレーキアクチュエータ３１を制御することによって、車両ＶＡの制動力を制御することができる。

ステアリングＥＣＵ４０は、アシストモータ（Ｍ）４１に接続されている。アシストモータ４１は、ステアリング機構４２に組み込まれている。ステアリング機構４２は、操舵ハンドルＳＷの回転操作により操舵輪を転舵するための機構である。ステアリング機構４２は、操舵ハンドルＳＷ、操舵ハンドルＳＷに連結されたステアリングシャフトＵＳ、及び、図示しない操舵用ギア機構等を含む。ステアリングＥＣＵ４０は、ステアリングシャフトＵＳに設けられた図示しない操舵トルクセンサによって、運転者が操舵ハンドルＳＷに入力した操舵トルクを検出し、この操舵トルクに基づいてアシストモータ４１を駆動する。ステアリングＥＣＵ４０は、このアシストモータ４１の駆動によってステアリング機構４２に操舵トルク（操舵アシストトルク）を付与し、これにより、運転者の操舵操作をアシストすることができる。

加えて、ステアリングＥＣＵ４０は、以降で説明する自動運転制御の実行中に自動運転ＥＣＵ１０からの操舵指令（後述する自動操舵トルクを含む。）に従って、アシストモータ４１を駆動する。この自動操舵トルクは、上述した操舵アシストトルクとは異なり、運転者の操舵操作を必要とせずに、自動運転ＥＣＵ１０からの操舵指令によってステアリング機構４２に付与されるトルクを表す。自動操舵トルクにより、車両ＶＡの操舵輪の舵角が変更される。

メータＥＣＵ５０は、報知装置５１に接続されている。報知装置５１は、ブザー及び表示装置を含む。表示装置は、例えば、運転席の正面に設けられたマルチインフォメーションディスプレイである。メータＥＣＵ５０は、自動運転ＥＣＵ１０からの指示に応じて、ブザーを鳴動させて運転者への注意喚起を行ったり、表示装置に注意喚起用のマーク（ウォーニングランプ）を表示したりすることができる。

ナビゲーションＥＣＵ６０は、ＧＰＳ受信機６１及び地図記憶部６２に接続されている。ＧＰＳ受信機６１は、車両ＶＡが位置している場所の「緯度及び経度」を検出するためのＧＰＳ信号を受信する。地図記憶部６２は、地図情報を記憶している。地図情報は、道路情報を含む。道路情報は、道路の種別、道路の幅員及び道路の曲率等を含む。なお、本例において、道路の種別は、自動車専用道路（高速道路）及び一般道路の何れかである。ナビゲーションＥＣＵ６０は、車両ＶＡが位置している場所の緯度及び経度、並びに地図情報等に基づいて各種の演算処理を行い、図示しないタッチパネルに地図上での車両ＶＡの位置を表示させる。

車速センサ７１は、車両ＶＡの走行速度（車速）を検出し、車速ＳＰＤを表す信号を自動運転ＥＣＵ１０に出力するようになっている。

加速度センサ７２は、車両ＶＡに生じる加速度に関する情報（以下、「第１加速度情報」と称呼する。）を取得し、当該第１加速度情報を表す信号を自動運転ＥＣＵ１０に出力する。第１加速度情報は、車両ＶＡの前後方向の加速度（前後加速度）である加速度ａｘ１と、車両ＶＡの横方向の加速度（横加速度）である加速度ａｙ１と、車両ＶＡの上下方向の加速度である加速度ａｚ１とを含む。

周囲センサ７３は、車両ＶＡの周囲の道路（車両ＶＡが走行している走行レーンを含む。）に関する情報、及び、道路に存在する立体物に関する情報を取得するようになっている。立体物は、例えば、歩行者、四輪車及び二輪車などの移動物、並びに、ガードレール及びフェンスなどの固定物を含む。以下、これらの立体物は、単に「物体」と称呼される。周囲センサ７３は、レーダセンサ７４及びカメラセンサ７５を備えている。

レーダセンサ７４は、例えば、ミリ波帯の電波（以下、「ミリ波」と称呼する。）を少なくとも車両ＶＡの前方領域を含む周辺領域に放射し、放射範囲内に存在する物体によって反射されたミリ波（即ち、反射波）を受信する。そして、レーダセンサ７４は、物体の有無について判定するとともに、車両ＶＡと物体との相対関係を示す情報を演算する。車両ＶＡと物体との相対関係を示す情報は、車両ＶＡと物体との距離、車両ＶＡに対する物体の方位（又は位置）、及び、車両ＶＡと物体との相対速度等を含む。以降において、車両ＶＡと物体との相対関係を示す情報は、単に「物体情報」と称呼される。

カメラセンサ７５は、車両ＶＡの前方の風景を撮影して画像データを取得する。カメラセンサ７５は、その画像データに基づいて、走行レーンを規定する左区画線及び右区画線（例えば、左白線及び右白線）を認識し、走行レーンの形状を示すパラメータ（例えば、曲率）、及び、車両ＶＡと走行レーンとの位置関係を示すパラメータ等を演算する。車両ＶＡと走行レーンとの位置関係を示すパラメータは、例えば、左区画線又は右区画線から車両ＶＡの車幅方向の中心位置までの距離である。カメラセンサ７５によって取得された情報は「車線情報」と称呼される。なお、カメラセンサ７５は、画像データに基づいて、物体の有無を判定し、物体情報を演算するように構成されてもよい。

周囲センサ７３は、「物体情報及び車線情報」を含む車両ＶＡの周辺状況に関する情報を「車両周辺情報」として自動運転ＥＣＵ１０に出力する。

ドライバモニタカメラ（第１撮像部）７６は、操舵ハンドルＳＷのコラムカバー（所謂、ステアリングコラムカバー）の上側に配置されている。ドライバモニタカメラ７６は、運転者を撮影して画像データを取得する。以降において、ドライバモニタカメラ７６によって取得された画像データは、「第１画像」と称呼される。ドライバモニタカメラ７６の位置及び向きは、運転者の左右の眼が少なくとも第１画像に含まれように、設定されている。本例において、ドライバモニタカメラ７６の位置及び向きは、運転者の顔の全体が撮影できるように設定されている。従って、第１画像は、運転者の「左右の眼及び口等」を含む。ドライバモニタカメラ７６は、第１画像を自動運転ＥＣＵ１０に出力する。

なお、ドライバモニタカメラ７６は、車両ＶＡ内において運転者の顔が撮影できる限り、他の位置に設定されてもよい。例えば、ドライバモニタカメラ７６は、ダッシュボード又はフロントガラスの近傍に設けられてもよい。

更に、自動運転ＥＣＵ１０は、通信ユニット８０に接続されている。通信ユニット８０は、図示しない「アンテナ部及び通信処理部」を備える。通信ユニット８０は、無線通信を通して携帯端末１１０と相互に情報を送信及び受信可能に構成されている。

通信ユニット８０は、携帯端末１１０以外の装置と通信可能に構成されてもよい。通信ユニット８０は、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）と通信して、ＶＩＣＳ（登録商標）から道路交通情報を受信してもよい。道路交通情報は、渋滞区間の情報、及び、通行止め区間の情報等を含む。

自動運転スイッチ８１は、運転者により操作されるスイッチである。運転者は、自動運転スイッチ８１を操作することにより、後述する自動運転制御の作動状態を設定することができる。

（自動運転制御の概要）
以降において、自動運転ＥＣＵ１０は、単に「ＥＣＵ１０」と称呼される。ＥＣＵ１０は、自動運転制御を実行するように構成されている。本例において、自動運転レベルは、レベル３である。自動運転制御は、速度制御及び操舵制御を含む。

速度制御の一例として、アダプティブ・クルーズ・コントロール（以下、単に「ＡＣＣ」と称呼する。）が挙げられる。ＡＣＣ自体は公知である（例えば、特開２０１４－１４８２９３号公報、特開２００６－３１５４９１号公報、及び、特許第４１７２４３４号明細書等を参照。）。

ＡＣＣは、定速走行制御と先行車追従制御の２種類の制御を含む。定速走行制御は、アクセルペダル及びブレーキペダルの操作を要することなく、車両ＶＡの走行速度を目標速度Ｖｓｅｔと一致させるように車両ＶＡの速度を調整する制御である。先行車追従制御は、アクセルペダル及びブレーキペダルの操作を要することなく、先行車（追従対象車両）と車両ＶＡとの車間距離を目標車間距離Ｄｓｅｔに維持しながら追従対象車両に対して車両ＶＡを追従させる制御である。追従対象車両は、車両ＶＡの前方領域であって車両ＶＡの直前を走行している車両である。

ＥＣＵ１０は、車両周辺情報に基づいて追従対象車両が存在しているか否かを判定する。ＥＣＵ１０は、追従対象車両が存在しないと判定した場合、定速走行制御を実行する。ＥＣＵ１０は、車速ＳＰＤが目標速度Ｖｓｅｔに一致するように、エンジンＥＣＵ２０を用いてエンジンアクチュエータ２１を制御して駆動力を制御するとともに、必要に応じてブレーキＥＣＵ３０を用いてブレーキアクチュエータ３１を制御して制動力を制御する。

これに対し、ＥＣＵ１０は、追従対象車両が存在すると判定した場合、先行車追従制御を実行する。ＥＣＵ１０は、目標車間時間ｔｗに車速ＳＰＤを乗じることにより、目標車間距離Ｄｓｅｔを演算する。目標車間時間ｔｗは、図示しない車間時間スイッチを用いて設定される。ＥＣＵ１０は、車両ＶＡと追従対象車両との間の車間距離が目標車間距離Ｄｓｅｔに一致するように、エンジンＥＣＵ２０を用いてエンジンアクチュエータ２１を制御して駆動力を制御するとともに、必要に応じてブレーキＥＣＵ３０を用いてブレーキアクチュエータ３１を制御して制動力を制御する。

操舵制御の一例として、レーン・キーピング・アシスト・コントロール（以下、単に「ＬＫＡ」と称呼する。）が挙げられる。ＬＫＡ自体は公知である（例えば、特開２００８－１９５４０２号公報、特開２００９－１９０４６４号公報、特開２０１０－６２７９号公報、及び、特許第４３４９２１０号等を参照。）。

ＬＫＡは、区画線又は先行車の走行軌跡（即ち、先行車軌跡）若しくはこれらの両方を活用して設定される目標走行ラインに沿って車両ＶＡが走行するように、自動操舵トルクをステアリング機構４２に付与して車両ＶＡの操舵輪の舵角を変化させる制御である。

ＥＣＵ１０は、車両周辺情報に基づいて目標走行ラインを設定する。目標走行ラインは、例えば、左区画線及び右区画線との道路幅方向における中央位置を結ぶライン（即ち、車両ＶＡが走行しているレーンの中央ライン）、又は、先行車軌跡である。ＥＣＵ１０は、車両ＶＡを目標走行ラインに沿って走行させるための自動操舵トルクを演算する。ＥＣＵ１０は、アシストモータ４１により生じる実際のトルクが自動操舵トルクに一致するように、ステアリングＥＣＵ４０を用いてアシストモータ４１を制御する。これにより、車両ＶＡの操舵輪の舵角が変更される。

ＥＣＵ１０は、自動運転制御を特定の状況下において実行することができる。ＥＣＵ１０は、所定の自動運転実行条件が成立する場合、自動運転制御を実行する。例えば、自動運転実行条件は、以下の条件Ａ１乃至条件Ａ３の全てが成立したときに成立する。
（条件Ａ１）：車両ＶＡが自動車専用道路を走行している。
（条件Ａ２）：車速ＳＰＤが所定の速度閾値ＳＰＤｔｈ以下である。
（条件Ａ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオフ状態からオン状態へと設定した。

速度閾値ＳＰＤｔｈは比較的小さい値に設定されてもよい。この場合、自動運転実行条件が成立する状況は、車両ＶＡが渋滞区間を走行している状況を意味する。このような状況において、ＥＣＵ１０は、自動運転制御を実行してもよい。

なお、自動運転実行条件は、上記の例に限定されず、他の条件であってもよい。地図記憶部６２に記憶されている道路情報は、レベル３の自動運転制御が可能な区間（以下、「自動運転区間」と称呼する。）を示す情報を含んでもよい。この場合、ＥＣＵ１０は、ナビゲーションＥＣＵ６０を介して道路情報を取得する。車両ＶＡが自動運転区間を走行している状況において運転者が自動運転スイッチ８１を押下した場合に、ＥＣＵ１０は、自動運転実行条件が成立したと判定してもよい。

別の例において、ＥＣＵ１０は、通信ユニット８０を介して交通情報（渋滞区間の情報を含む。）を取得してもよい。この構成において、車両ＶＡが渋滞区間を走行している状況において運転者が自動運転スイッチ８１を押下した場合に、ＥＣＵ１０は、自動運転実行条件が成立したと判定してもよい。

ＥＣＵ１０は、所定の自動運転終了条件が成立する場合、自動運転制御を終了させる。例えば、自動運転終了条件は、以下の条件Ｂ１乃至条件Ｂ４のうちの少なくとも１つが成立したときに成立する。
（条件Ｂ１）：車両ＶＡが自動車専用道路の出口に到着した。
（条件Ｂ２）：車速ＳＰＤが速度閾値ＳＰＤｔｈよりも大きくなった。
（条件Ｂ３）：運転者が自動運転スイッチ８１を押下して、自動運転制御の作動状態をオン状態からオフ状態へと設定した。
（条件Ｂ４）：自動運転制御を継続することができない事象（例えば、システムエラー）が発生した。
なお、自動運転終了条件は、上記の例に限定されず、他の条件であってもよい。

（覚醒状態判定処理の概要）
ＥＣＵ１０は、運転者が覚醒状態であるかを判定するための処理を実行するように構成されている。以降において、このような処理は、「覚醒状態判定処理」と称呼される。以下では、第１画像に基づいた覚醒状態判定処理を説明する。

ＥＣＵ１０は、ドライバモニタカメラ７６から第１画像を取得する。ＥＣＵ１０は、第１画像に基づいて運転者が覚醒状態であるか否かを判定する。本例において、「運転者が覚醒状態である」とは、運転者の覚醒度合が所定の度合以上であることを意味する。一方で、「運転者が覚醒状態でない」とは、運転者の覚醒度合が所定の度合より小さいことを意味し、即ち、運転者が眠気を感じている又は運転者が居眠り状態であることを意味する。

ＥＣＵ１０は、第１画像に基づいて、公知の手法に従って、運転者の覚醒度合を演算する。例えば、運転者の覚醒度合は、閉眼率、まばたきの頻度、開眼の状態（上瞼と下瞼との間の距離）、眼球運動、及び、あくび行動の有無等のうちの少なくとも１つに基づいて演算される。以下、閉眼率について簡単に説明する。

ＥＣＵ１０は、第１画像を眼検出用の識別器に入力するか、又は、第１画像上でテンプレートマッチングを行うことにより、第１画像から運転者の眼を抽出する。ＥＣＵ１０は、例えば、抽出された眼の部分の縦横比に基づいて、眼が閉じているかを判定する。ＥＣＵ１０は、所定時間内で眼が閉じている時間の割合を閉眼率として演算する。閉眼率が所定の閾値以下である場合、ＥＣＵ１０は、運転者の覚醒度合が所定の度合以上である（即ち、運転者が覚醒状態である）と判定する。一方で、閉眼率が所定の閾値よりも大きい場合、ＥＣＵ１０は、運転者の覚醒度合が所定の度合よりも小さい（即ち、運転者が覚醒状態でない）と判定する。

ＥＣＵ１０は、運転者が覚醒状態でないと判定した場合、報知装置５１に所定の注意喚起処理を実行させる。具体的には、ＥＣＵ１０は、メータＥＣＵ５０を用いて、ブザーを鳴動させるとともに、表示装置にウォーニングランプを表示させる。

（携帯端末の構成）
携帯端末１１０は、運転者によって携帯される装置であり、本例において、図２に示すスマートフォンである。携帯端末１１０は、運転者によって携帯される限り、他の装置（例えば、タブレット端末又はウェアラブル端末）であってもよい。

携帯端末１１０は、ディスプレイ２０１を備える。ディスプレイ２０１は、タッチパネル式のディスプレイであり、ディスプレイ２０１の表示面（操作面）に対するタッチ操作を検出することができる。

携帯端末１１０は、ディスプレイ２０１側の面にフロントカメラ（第２撮像部）２０２を備える。なお、携帯端末１１０は、ディスプレイ２０１と反対側の面（即ち、背面）にリアカメラを備えてもよい。

更に、携帯端末１１０は、その内部に加速度センサ２０３を備える。加速度センサ２０３は、携帯端末１１０に生じる加速度に関する情報（「第２加速度情報」と称呼する。）を取得する。第２加速度情報は、図２に示す「ｘ軸、ｙ軸及びｚ軸の方向」のそれぞれの方向における加速度についての情報を含む。ｘ軸は、携帯端末１１０の横方向に延びる座標軸である。ｙ軸は、携帯端末１１０の縦方向に延びる座標軸である。ｚ軸は、ディスプレイ２０１の面（操作面）に対して鉛直方向に延びる座標軸である。以降において、ｘ軸方向の加速度は「加速度ａｘ２」と称呼され、ｙ軸方向の加速度は「加速度ａｙ２」と称呼され、ｚ軸方向の加速度は「加速度ａｚ２」と称呼される。

携帯端末１１０は、更に、第１音量ボタン２０４ａ及び第２音量ボタン２０４ｂ、並びに、ホームボタン２０５を備える。運転者が第１音量ボタン２０４ａを押下すると、携帯端末１１０の音量が大きくなり、運転者が第２音量ボタン２０４ｂを押下すると、携帯端末１１０の音量が小さくなる。ホームボタン２０５は、起動している様々なアプリケーションを一時的に閉じて、ディスプレイ２０１にホーム画面を表示させるためのボタンである。

図３に示すように、携帯端末１１０は、ＣＰＵ３０１、メモリ３０２、及び、不揮発性メモリ３０３を備える。ＣＰＵ３０１、メモリ３０２、不揮発性メモリ３０３、ディスプレイ２０１、フロントカメラ２０２及び加速度センサ２０３は、内部バス３１０を介して互いに接続されている。

ＣＰＵ３０１は、少なくとも１つのプロセッサ又は回路を含む。メモリ３０２は、例えば、ＲＡＭを含む。不揮発性メモリ３０３は、例えば、フラッシュメモリ及びＲＯＭを含む。ＣＰＵ３０１は、メモリ３０２をワークメモリとして用いて、不揮発性メモリ３０３に格納されているインストラクション（ルーチン、プログラム）を実行する。

（システムの作動の概要）
図４に示したように、ＥＣＵ１０が自動運転制御を実行している間、運転者ＤＲが携帯端末１１０を操作する場合がある。運転者ＤＲは下を向きながら携帯端末１１０を操作する。従って、ドライバモニタカメラ７６は、図５に示す第１画像５００を取得する。第１画像５００における運転者ＤＲの眼は閉じているように見える。ＥＣＵ１０が第１画像５００に基づいて覚醒状態判定処理を実行すると、ＥＣＵ１０は、運転者ＤＲが覚醒状態でない（即ち、運転者ＤＲが居眠り状態である）と判定する。このように、運転者ＤＲが覚醒状態であるにも関わらず、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと誤って判定する可能性がある。

そこで、ＥＣＵ１０は、自動運転制御の実行中において、第１画像に基づいた覚醒状態判定処理の判定結果の信頼性が低いと推定される場合、携帯端末１１０において取得された情報を用いて、運転者ＤＲが覚醒状態であるか否かを判定する。以降において、携帯端末１１０において取得された情報は、「端末側情報」と称呼される。更に、端末側情報を用いて運転者ＤＲが覚醒状態であるか否かを判定する処理は、「特定処理」と称呼される。

上記の構成のために、図３に示すように、携帯端末１１０の不揮発性メモリ３０３は、監視アプリケーション３３０を格納している。監視アプリケーション３３０は、運転者ＤＲの状態を監視する（モニタリング）するためのプログラムである。

ＣＰＵ３０１は、監視アプリケーション３３０を実行して、以下の処理を実行する。ＣＰＵ３０１は、フロントカメラ２０２から、運転者の画像を取得する。以降において、フロントカメラ２０２によって取得された画像は、「第２画像」と称呼される。ＣＰＵ３０１は、第２画像を端末側情報として自動運転装置１００に送信する。ＥＣＵ１０は、通信ユニット８０を介して端末側情報を受信する。

ＥＣＵ１０は、ドライバモニタカメラ７６から第１画像を取得する。次に、ＥＣＵ１０は、第１画像に基づいて所定の条件が成立するか否かを判定する。当該条件は、特定処理を実行するかどうかを判定するための条件であり、以降において、「特定処理条件」と称呼される。特定処理条件は、第１画像に基づいた覚醒状態判定処理の判定結果の信頼性が低いと推定されるときに成立する条件である。

まず、ＥＣＵ１０は、第１画像に対して以下のような画像処理を実行する。ＥＣＵ１０は、運転者ＤＲの顔の向きを表す角度である顔向き角度を演算する。このような顔向き角度を演算する方法は公知である（例えば、特開２０２１－１８６６５号公報を参照。）。顔向き角度は、図６に示すように、ヨー角θｙ及びピッチ角θｐを含む。

ヨー角θｙは、上下方向に延びる軸ａｘｓ１を中心とした運転者ＤＲの顔の回転角度を表す。ヨー角θｙは、運転者ＤＲが車両ＶＡの正面方向を向いたときに、０°になる。ヨー角θｙは、運転者ＤＲが左方向を向いたとき、正の値となり、運転者ＤＲが右方向を向いたとき、負の値となる。

ピッチ角θｐは、左右方向に延びる軸ａｘｓ２を中心とした運転者ＤＲの顔の回転角度を表す。ピッチ角θｐは、運転者ＤＲの顔の向きが水平方向になったときに、０°になる。ピッチ角θｐは、運転者ＤＲが下方向を向いたとき、正の値となり、運転者ＤＲが上方向を向いたとき、負の値となる。

運転者ＤＲが車両ＶＡの正面方向を見ていない場合、第１画像に基づいた覚醒状態判定処理の判定結果の信頼性が低いと推定される。従って、本例における特定処理条件は、以下の条件Ｃ１及び条件Ｃ２のうちの少なくとも一方が成立したときに成立する。
（条件Ｃ１）：ヨー角θｙの大きさ（絶対値）が、所定の第１角度閾値θｔｈ１よりも大きい。
（条件Ｃ２）：ピッチ角θｐの大きさ（絶対値）が、所定の第２角度閾値θｔｈ２よりも大きい。

特定処理条件が成立しない場合、ＥＣＵ１０は、上述のように、第１画像に基づいて覚醒状態判定処理を実行する。

一方、特定処理条件が成立する場合、ＥＣＵ１０は、上述のように、端末側情報（即ち、第２画像）を用いて、運転者ＤＲが覚醒状態であるか否かを判定する。具体的には、ＥＣＵ１０は、第２画像に基づいて覚醒状態判定処理を実行する。即ち、ＥＣＵ１０は、第２画像に基づいて、運転者ＤＲの覚醒度合を演算する。ＥＣＵ１０は、運転者ＤＲの覚醒度合に基づいて、運転者ＤＲが覚醒状態であるか否かを判定する。

図４の状況においてＥＣＵ１０が第１画像５００を取得したと仮定する。運転者ＤＲが下を向いていることから、条件Ｃ２が成立する。即ち、特定処理条件が成立する。ＥＣＵ１０は、携帯端末１１０から、図７に示す第２画像７００を端末側情報として受信する。図４の状況において、フロントカメラ２０２は、運転者ＤＲの顔を正面から捉えているので、第２画像７００では運転者ＤＲの眼が開いている。即ち、第２画像７００は、運転者ＤＲの眼の状態を正しく表している。ＥＣＵ１０は、第２画像７００に基づいて覚醒状態判定処理を実行する。ＥＣＵ１０は、運転者ＤＲが覚醒状態であると正しく判定する。この構成によれば、ＥＣＵ１０が、運転者ＤＲが覚醒状態ではない（即ち、運転者ＤＲが居眠り状態である）と誤って判定する可能性を低減できる。

（作動例）
図８を参照しながら、自動運転装置１００（具体的には、ＥＣＵ１０）及び携帯端末１１０の作動について具体的に説明する。

運転者ＤＲが車両ＶＡに乗車すると、ＥＣＵ１０と携帯端末１１０との間の無線接続が確立する。例えば、Bluetooth（登録商標）のペアリングによって、ＥＣＵ１０と携帯端末１１０との間の無線接続が確立されてもよい。これにより、ＥＣＵ１０及び携帯端末１１０が、通信ユニット８０を介して通信を開始する（ステップ８０１）。

その後、運転者ＤＲが車両ＶＡを運転する。車両ＶＡが、速度閾値ＳＰＤｔｈ以下の車速ＳＰＤで自動車専用道路を走行している。この状況において、運転者ＤＲが自動運転スイッチ８１を押下する。ＥＣＵ１０は、自動運転実行条件が成立したと判定し、自動運転制御（レベル３）を開始する（ステップ８０２）。ＥＣＵ１０は、起動指示信号を携帯端末１１０に送信する（ステップ８０３）。起動指示信号は、監視アプリケーション３３０の起動を指示する信号である。

携帯端末１１０は、起動指示信号に応じて、承認画面をディスプレイ２０１に表示する（ステップ８０４）。承認画面は、監視アプリケーション３３０の起動を承認するための画面である。運転者ＤＲが承認画面にて所定の承認ボタンを押下すると、携帯端末１１０は、監視アプリケーション３３０を起動する（ステップ８０５）。

なお、携帯端末１１０は、監視アプリケーション３３０をバックグラウンドで自動的に起動させてもよい。これにより、運転者ＤＲが、自身が使用したいアプリケーションへ切り替える手間がなくなる。運転者ＤＲが煩わしさを感じる可能性を低減できる。別の例において、携帯端末１１０は、監視アプリケーション３３０をフォアグラウンドで起動してもよい。運転者ＤＲは、監視アプリケーション３３０が起動したことを確認できる。この構成において、携帯端末１１０は、携帯端末１１０にインストールされた他のアプリケーションのリストをディスプレイ２０１に表示してもよい。運転者ＤＲは、リストの中から自身が使用したいアプリケーションを選択することができる。

携帯端末１１０は、所定時間ｄＴが経過する毎に、端末側情報をＥＣＵ１０に送信する（ステップ８０６）。端末側情報は、上述したように、第２画像を含む。ＥＣＵ１０は、所定時間ｄＴが経過する毎に、後述する図９のルーチンを実行して、運転者ＤＲが覚醒状態であるか否かを判定する（ステップ８０７）。ステップ８０７の詳細な処理内容は後述される。このように、ステップ８０６及びステップ８０７の処理は、自動運転制御が終了するまで繰り返し実行される。

その後、上述した自動運転終了条件が成立する。ＥＣＵ１０は、自動運転制御を終了させる（ステップ８０８）。そして、ＥＣＵ１０は、終了指示信号を携帯端末１１０に送信する（ステップ８０９）。終了指示信号は、監視アプリケーション３３０の終了を指示する信号である。携帯端末１１０は、終了指示信号に応じて、監視アプリケーション３３０を終了させる（ステップ８１０）。

次に、図９を用いて、ＥＣＵ１０（具体的には、ＣＰＵ１０ａ）が図８のステップ８０７にて実行する処理について説明する。

ＥＣＵ１０は、図９のステップ９００から処理を開始してステップ９０１に進み、ドライバモニタカメラ７６から第１画像を取得する。次に、ＥＣＵ１０は、ステップ９０２にて、特定処理条件が成立するか否かを判定する。具体的には、ＥＣＵ１０は、第１画像に対して上述のように画像処理を実行して、ヨー角θｙ及びピッチ角θｐを演算する。そして、ＥＣＵ１０は、条件Ｃ１及び条件Ｃ２のうちの少なくとも一方が成立するかを判定する。

ＥＣＵ１０は、特定処理条件が成立しない場合、ステップ９０２にて「Ｎｏ」と判定してステップ９０３に進み、第１画像に基づいて覚醒状態判定処理を実行する。次に、ＥＣＵ１０は、ステップ９０４にて、運転者ＤＲが覚醒状態であるか否かを判定する。運転者ＤＲが覚醒状態である場合、ＥＣＵ１０は、ステップ９０４にて「Ｙｅｓ」と判定してステップ９９５に進む。

一方で、運転者ＤＲが覚醒状態でない場合、ＥＣＵ１０は、ステップ９０４にて「Ｎｏ」と判定してステップ９０８に進み、注意喚起処理を実行する。具体的には、ＥＣＵ１０は、メータＥＣＵ５０を用いて報知装置５１を制御する。ＥＣＵ１０は、ブザーを鳴動させるとともに、表示装置にウォーニングランプを表示させる。その後、ＥＣＵ１０は、ステップ９９５に進む。

ステップ９０２にて特定処理条件が成立する場合、ＥＣＵ１０は、「Ｙｅｓ」と判定して以下に述べるステップ９０５及びステップ９０６の処理を順に行う。その後、ＥＣＵ１０はステップ９０７に進む。
ステップ９０５：ＥＣＵ１０は、端末側情報（第２画像を含む）を取得する。
ステップ９０６：ＥＣＵ１０は、特定処理を実行する。具体的には、ＥＣＵ１０は、端末側情報（第２画像）に基づいて覚醒状態判定処理を実行する。

次に、ＥＣＵ１０は、ステップ９０７にて、運転者ＤＲが覚醒状態であるか否かを判定する。運転者ＤＲが覚醒状態である場合、ＥＣＵ１０は、ステップ９０７にて「Ｙｅｓ」と判定してステップ９９５に進む。

一方で、運転者ＤＲが覚醒状態でない場合、ＥＣＵ１０は、ステップ９０７にて「Ｎｏ」と判定してステップ９０８に進み、上述のように、注意喚起処理を実行する。その後、ＥＣＵ１０は、ステップ９９５に進む。

以上の構成を備える覚醒状態判定システムは、以下の効果を奏する。図４に示すように、自動運転制御の実行中に運転者ＤＲが下を向きながら携帯端末１１０を操作する場合においても、ＥＣＵ１０は、端末側情報（第２画像７００）を用いることにより、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

図４の状況において取得された第２画像７００は、運転者ＤＲの顔をほぼ正面から捉えた画像である。ＥＣＵ１０は、第２画像７００に対して覚醒状態判定処理を実行することにより、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

なお、図９のルーチンの実行中にＥＣＵ１０と携帯端末１１０との間の無線接続が何らかの理由により切断された場合、ＥＣＵ１０は、携帯端末１１０から端末側情報を取得できない。この場合、ＥＣＵ１０は、第１画像に対して覚醒状態判定処理を実行することにより、運転者ＤＲが覚醒状態であるかを判定する。

更に、ＥＣＵ１０は、ステップ９０８にて、以下の処理を実行してもよい。ＥＣＵ１０は、自動運転制御を継続できないと判定して、運転者ＤＲに対して運転操作交代要求を通知してもよい。更に、ＥＣＵ１０は、車両ＶＡを徐々に減速させて車両ＶＡを安全な位置（例えば、路肩又は非常駐車帯等）に停車させてもよい。

自動運転制御の実行中に、運転者ＤＲが、携帯端末１１０を操作することなく、他の動作（例えば、読書）を行う場合もある。運転者ＤＲが車室内に携帯端末１１０を置いたとき、フロントカメラ２０２が運転者ＤＲの顔を捉えることができない可能性がある。これを考慮して、監視アプリケーション３３０は、以下のような機能を含んでいてもよい。

携帯端末１１０は、第２画像に運転者ＤＲの顔が含まれているかどうかを、運転者ＤＲに対して通知するように構成されてもよい。ＣＰＵ３０１は、フロントカメラ２０２から第２画像を取得する。ＣＰＵ３０１は、運転者ＤＲの顔が第２画像に含まれているかを判定する。例えば、ＣＰＵ３０１は、第２画像において運転者ＤＲの左右の眼及び口が検出できるかを判定する。運転者ＤＲの顔が第２画像に含まれていない場合、ＣＰＵ３０１は、携帯端末１１０の設置位置を調節することを指示するメッセージを、携帯端末１１０に内蔵されたスピーカに発話させる。なお、ＣＰＵ３０１は、第２画像をディスプレイ２０１上に表示させてもよい。これにより、運転者ＤＲは、ディスプレイ２０１上に表示された第２画像を見ながら、携帯端末１１０の設置位置を調節することができる。

この構成によれば、運転者ＤＲは、第２画像に運転者ＤＲの顔が含まれる適切な位置に携帯端末１１０を設置するように誘導される。従って、ＥＣＵ１０は、第２画像に対して覚醒状態判定処理を実行することにより、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

＜第２実施形態＞
次に、第２実施形態に係る覚醒状態判定システムについて説明する。本実施形態において、監視アプリケーション３３０は、操作情報を検出する機能を含む。操作情報は、携帯端末１１０上における運転者ＤＲによる操作に関する情報である。携帯端末１１０は、操作情報を端末側情報としてＥＣＵ１０に送信する。

具体的には、携帯端末１１０は、監視アプリケーション３３０を実行して、以下の第１操作及び第２操作を検出する。更に、携帯端末１１０は、各操作が検出された時刻に関する情報を取得する。
（第１操作）：指をディスプレイ２０１に接触させた後に即座に指をディスプレイ２０１から離す操作（所謂、タップ操作）。
（第２操作）：指をディスプレイ２０１に接触させたまま指をディスプレイ２０１上で移動させる操作（所謂、スワイプ操作）。

本例において、操作情報は、操作の種類（第１操作及び第２操作の何れかを示す情報）と、当該操作が検出された時刻とが対応付けられた情報である。ＥＣＵ１０は、所定時間ｄＴが経過するごとに、操作情報を携帯端末１１０から受信して、運転者ＤＲが携帯端末１１０を操作しているかを検出することができる。

ＥＣＵ１０は、図９のステップ９０６にて、第２画像に代えて、操作情報を用いて以下のように特定処理を実行する。図８のステップ８０４にて運転者ＤＲが承認画面上で操作したにも関わらず、運転者ＤＲによる操作が一定期間検出されない場合、これは、運転者ＤＲが覚醒状態でない（即ち、運転者ＤＲが居眠り状態である）可能性が高い。これを考慮して、ＥＣＵ１０は、運転者ＤＲによる操作が検出されない期間に基づいて、運転者ＤＲが覚醒状態であるかを判定する。

具体的には、第１操作及び第２操作の少なくとも一方が所定の期間閾値ｐｔｈ以内に検出される限り、ＥＣＵ１０は、運転者ＤＲが覚醒状態であると判定する。一方、第１操作及び第２操作の何れもが検出されない期間が期間閾値ｐｔｈよりも大きくなったとき、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。

別の例において、ＥＣＵ１０は、図９のステップ９０６にて、以下のように特定処理を実行してもよい。例えば、運転者ＤＲが居眠り状態である場合、運転者ＤＲの指がディスプレイ２０１に偶然触れる場合もある。この場合、携帯端末１１０は、第１操作が行われたことを示す情報を操作情報としてＥＣＵ１０に送信する。これにより、ＥＣＵ１０は、運転者ＤＲが覚醒状態であると判定する。このように、ＥＣＵ１０が、運転者ＤＲが覚醒状態であると誤って判定する可能性がある。

上記を考慮して、ＥＣＵ１０は、操作の複雑さに応じて、期間閾値ｐｔｈを変更してもよい。検出された操作がより複雑な操作であるほど、運転者ＤＲが覚醒状態である可能性が高い。上記の例において、第２操作は、第１操作に比べて複雑な操作である。

ＥＣＵ１０は、第１操作が検出された場合、期間閾値ｐｔｈを第１値ｐｔｈ１に設定する。従って、第１操作が検出された後に期間閾値ｐｔｈ（＝ｐｔｈ１）以内に第１操作及び第２操作の少なくとも一方が検出されると、ＥＣＵ１０は、運転者ＤＲが覚醒状態であると判定する。一方、第１操作が検出された後に第１操作及び第２操作の何れもが検出されない期間が期間閾値ｐｔｈ（＝ｐｔｈ１）よりも大きくなったとき、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。

ＥＣＵ１０は、第２操作が検出された場合、期間閾値ｐｔｈを第２値ｐｔｈ２に設定する。第２値ｐｔｈ２は、第１値ｐｔｈ１よりも大きい。従って、第２操作が検出された後に期間閾値ｐｔｈ（＝ｐｔｈ２）以内に第１操作及び第２操作の少なくとも一方が検出されると、ＥＣＵ１０は、運転者ＤＲが覚醒状態であると判定する。一方、第２操作が検出された後に第１操作及び第２操作の何れもが検出されない期間が期間閾値ｐｔｈ（＝ｐｔｈ２）よりも大きくなったとき、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。

上記のように、より複雑な操作であるほど、運転者ＤＲが覚醒状態でないと判定するまでの猶予期間（即ち、期間閾値ｐｔｈ）がより長くなる。これは、より複雑な操作であるほど、運転者ＤＲが覚醒状態である可能性が高いためである。他の言い方をすれば、第１操作のような簡単な操作が検出されたとしても、運転者ＤＲが覚醒状態でない（即ち、運転者ＤＲが居眠り状態である）可能性がある。従って、ＥＣＵ１０は、第１操作が検出された場合の期間閾値ｐｔｈを、第２操作が検出された場合に比べて小さく設定することにより、運転者ＤＲが覚醒状態でないことを早く検出することができる。

以上の構成を備える覚醒状態判定システムは、以下の効果を奏する。図４に示すように、自動運転制御の実行中に運転者ＤＲが下を向きながら携帯端末１１０を操作する場合においても、ＥＣＵ１０は、操作情報を用いることにより、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

より具体的には、携帯端末１１０において運転者ＤＲによる操作が検出されない期間が所定の期間閾値ｐｔｈ以上になると、運転者ＤＲが覚醒状態ではない（即ち、運転者ＤＲが居眠り状態である）可能性が高い。ＥＣＵ１０は、運転者ＤＲによる操作の有無に関する情報を用いることにより、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

更に、運転者ＤＲによる操作がより複雑な操作であるほど、運転者ＤＲが覚醒状態である可能性が高い。従って、より複雑な操作であるほど、運転者ＤＲが覚醒状態でないと判定するまでの猶予期間（期間閾値ｐｔｈ）を長くする。ＥＣＵ１０は、第１操作が検出された場合、期間閾値ｐｔｈを第１値ｐｔｈ１に設定する。ＥＣＵ１０は、第２操作が検出された場合、期間閾値ｐｔｈを第２値ｐｔｈ２に設定する。ここで、「ｐｔｈ１＜ｐｔｈ２」である。この構成によれば、ＥＣＵ１０は、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

なお、第２操作は第１操作より複雑な操作であるので、第２操作を運転者ＤＲに行わせることにより、運転者ＤＲが居眠りするのを防ぐことができると考えられる。これを考慮して、監視アプリケーション３３０は、以下のような機能を含んでいてもよい。

携帯端末１１０は、図８のステップ８０５の後に、運転者ＤＲが使用するアプリケーションをリスト形式で提案してもよい。ここで提案されるアプリケーションは、「第２操作が使用されるアプリケーション」である。携帯端末１１０は、複雑な操作を運転者ＤＲに行わせることにより、運転者ＤＲが居眠りするのを防ぐことができる。

別の例において、携帯端末１１０は、「第１操作のみが使用されるアプリケーション」の起動を禁止してもよい。比較的簡単な操作だけが使用されるアプリケーションが起動されないので、運転者ＤＲが居眠りするのを防ぐことができる。

なお、携帯端末１１０は、第１操作及び第２操作に加えて、以下の第３操作を検出してもよい。
（第３操作）：２本の指をディスプレイ２０１に接触させたまま、当該２本の指の間の間隔を変化させる操作（所謂、ピンチアウト操作又はピンチイン操作）。

第３操作は第２操作より複雑な操作であるので、ＥＣＵ１０は、第３操作が検出された場合、期間閾値ｐｔｈを第３値ｐｔｈ３（＞ｐｔｈ２）に設定してもよい。

更に、携帯端末１１０は、上記第１操作乃至第３操作以外の操作に関する情報を端末側情報（操作情報）としてＥＣＵ１０に送信してもよい。携帯端末１１０は、第１音量ボタン２０４ａに対する操作、第２音量ボタン２０４ｂに対する操作及びホームボタン２０５に対する操作に関する情報を、端末側情報としてＥＣＵ１０に送信してもよい。ＥＣＵ１０は、これらのボタンに対する操作に基づいて、運転者ＤＲが覚醒状態であるかを判定してもよい。

＜第３実施形態＞
次に、第３実施形態に係る覚醒状態判定システムについて説明する。本実施形態において、携帯端末１１０は、第２加速度情報を端末側情報としてＥＣＵ１０に送信する。

ＥＣＵ１０は、図９のステップ９０６にて、第２画像に代えて、第２加速度情報を用いて以下のように特定処理を実行する。運転者ＤＲが携帯端末１１０を動かしている場合、運転者ＤＲが覚醒状態である可能性が高い。これを考慮して、ＥＣＵ１０は、第１加速度情報と第２加速度情報とに基づいて、運転者ＤＲが覚醒状態であるかを判定する。

具体的には、ＥＣＵ１０は、携帯端末１１０の座標系（図２に示すｘｙｚ座標系）での３つの加速度成分値を、車両ＶＡの座標系での３つの加速度成分値へと変換する。即ち、ＥＣＵ１０は、第２加速度情報（即ち、加速度ａｘ２、加速度ａｙ２及び加速度ａｚ２）を、車両ＶＡの前後方向における加速度ａｘ３、車両ＶＡの横方向における加速度ａｙ３、及び、車両ＶＡの上下方向における加速度ａｚ３へと変換する。

加速度センサ２０３は、携帯端末１１０の運動によって生じる加速度を検出するが、地球上では常に約１［Ｇ］（＝９．８０６６５［ｍ／ｓ^２］）の重力加速度が加算されて検出される。この重力加速度は必ず鉛直方向のベクトルであるので、ＥＣＵ１０は、加速度センサ２０３の出力と重力加速度との比較に基づいて、携帯端末１１０の姿勢の傾きを演算することができる。ＥＣＵ１０は、携帯端末１１０の姿勢の傾きに関する情報を用いて、第２加速度情報（ａｘ２、ａｙ２及びａｚ２）を、車両ＶＡの座標系での３つの加速度成分値（ａｘ３、ａｙ３及びａｚ３）へと変換する。

第２加速度情報には、車両ＶＡの動き（揺れ及び振動等）によって生じる加速度成分が含まれる。従って、第１加速度情報と上記変換された第２加速度情報（ａｘ３、ａｙ３及びａｚ３）との間に差が生じている場合、運転者ＤＲが携帯端末１１０を意図的に動かしていると判定できる。これを考慮して、ＥＣＵ１０は、以下の条件Ｄ１乃至条件Ｄ３のうちの少なくとも１つが成立する場合、運転者ＤＲが覚醒状態であると判定する。
（条件Ｄ１）：｜ａｘ１－ａｘ３｜≧ａｘｔｈ
（条件Ｄ２）：｜ａｙ１－ａｙ３｜≧ａｙｔｈ
（条件Ｄ３）：｜ａｚ１－ａｚ３｜≧ａｚｔｈ
ここで、ａｘｔｈ、ａｙｔｈ及びａｚｔｈは、それぞれ、運転者ＤＲが携帯端末１１０を動かしているかを判定するための、予め定められた閾値である。

一方で、条件Ｄ１乃至条件Ｄ３の何れもが成立しない場合、ＥＣＵ１０は、運転者ＤＲが覚醒状態でないと判定する。

以上の構成を備える覚醒状態判定システムは、以下の効果を奏する。ＥＣＵ１０は、第１加速度情報と第２加速度情報とに基づいて、車両ＶＡの動き（揺れ及び振動等）と携帯端末１１０の動きとを区別し、これにより、運転者ＤＲが携帯端末１１０を動かしているかを判定できる。ＥＣＵ１０は、携帯端末１１０の動きの有無に基づいて、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

なお、本開示は上記実施形態に限定されることはなく、本開示の範囲内において種々の変形例を採用することができる。

（変形例１）
特定処理条件は、上述の例に限定されない。特定処理条件は、条件Ｃ１及び条件Ｃ２に代えて又は加えて、以下の条件Ｃ３乃至条件Ｃ６の少なくとも１つを含んでもよい。これら条件Ｃ３乃至条件Ｃ６の少なくとも１つを用いた場合でも、第１画像に基づいた覚醒状態判定処理の判定結果の信頼性が低いかを推定することができる。
（条件Ｃ３）：ＥＣＵ１０が、第１画像から運転者ＤＲの左右の眼の少なくとも一方が検出できない。
（条件Ｃ４）：ＥＣＵ１０が、運転者ＤＲの覚醒度合に関連する各種情報（例えば、閉眼率、まばたきの頻度、眼球運動、及び、あくび行動）を取得できない、或いは、これらの情報を精度良く取得できない。
（条件Ｃ５）：運転者ＤＲが携帯端末１１０を操作している。なお、ＥＣＵ１０は、操作情報に基づいて、運転者ＤＲが携帯端末１１０を操作しているかを判定できる。
（条件Ｃ６）：運転者ＤＲの視線方向が車両ＶＡの正面方向ではない。なお、ＥＣＵ１０は、目頭、目尻、黒目の位置及び輪郭形状等に基づいて、運転者ＤＲの視線方向を演算することができる。

（変形例２）
ＥＣＵ１０は、第２画像、操作情報及び第２加速度情報の中の少なくとも１つを用いて、運転者ＤＲが覚醒状態であるかを判定してもよい。即ち、ＥＣＵ１０は、第２画像に基づいた判定結果と、操作情報に基づいた判定結果と、第１加速度情報及び第２加速度情報とに基づいた判定結果との中の２つ以上の組み合わせによって、運転者ＤＲが覚醒状態であるかを判定してもよい。これにより、ＥＣＵ１０は、運転者ＤＲが覚醒状態であるかを精度良く判定することができる。

（変形例３）
端末側情報は、運転者ＤＲが覚醒状態であるかを示す判定結果を含んでもよい。即ち、監視アプリケーション３３０は、運転者ＤＲが覚醒状態であるかを判定する機能を更に含んでいてもよい。携帯端末１１０は、第２画像に対して覚醒状態判定処理を実行する。このような処理の判定結果は、「第１判定結果」と称呼される。携帯端末１１０は、操作情報に基づいて、運転者ＤＲが覚醒状態であるかを判定する。このような処理の判定結果は、「第２判定結果」と称呼される。携帯端末１１０は、第１加速度情報を自動運転装置１００から受信し、第１加速度情報と第２加速度情報とに基づいて条件Ｄ１乃至条件Ｄ３のうちの少なくとも１つが成立するかを判定する。このような処理の判定結果は、「第３判定結果」と称呼される。

端末側情報は、第１判定結果、第２判定結果、及び、第３判定結果のうちの少なくとも１つを含んでよい。ＥＣＵ１０は、特定処理条件が成立する場合、端末側情報に含まれる第１乃至第３判定結果の少なくとも１つを用いて、運転者ＤＲが覚醒状態であるかを判定する。この構成によれば、ＥＣＵ１０が運転者ＤＲが覚醒状態であるかを判定する処理を実行する必要がない。従って、ＥＣＵ１０の演算負荷を小さくすることができる。

（変形例４）
自動運転ＥＣＵ１０と携帯端末１１０との間に他のＥＣＵが配置されてもよい。当該ＥＣＵが、運転者ＤＲが覚醒状態であるかを判定する処理を実行してもよい。

（変形例５）
自動運転ＥＣＵ１０が、第１画像を携帯端末１１０に送信してもよい。この場合、携帯端末１１０が、図８のステップ８０７の処理を実行してもよい。携帯端末１１０は、運転者ＤＲが覚醒状態でないと判定した場合、振動及び／又は音声を用いて、運転者ＤＲに対して注意喚起を行ってもよい。

１０…自動運転ＥＣＵ、２０…エンジンＥＣＵ、３０…ブレーキＥＣＵ、４０…ステアリングＥＣＵ、５０…メータＥＣＵ、６０…ナビゲーションＥＣＵ、１００…自動運転装置、１１０…携帯端末。

Claims (6)

1. 車両に搭載され、前記車両の運転者を撮像する第１撮像部と、
   前記第１撮像部によって取得された前記運転者の画像である第１画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置と、
   前記運転者によって携帯される携帯端末と、
   を備え、
   前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定されるときに成立する所定の条件が成立する場合、前記携帯端末において取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   覚醒状態判定システムにおいて、
   前記携帯端末は、当該携帯端末上における前記運転者による操作に関する情報である操作情報を検出するように構成され、
   前記端末側情報は、前記操作情報を含み、
   前記制御装置は、前記所定の条件が成立する場合、前記操作情報に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成され、
   前記制御装置は、前記運転者による前記操作が検出されない期間に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成され、
   前記携帯端末は、前記操作情報として、第１操作に関する情報、及び、前記第１操作よりも複雑な操作である第２操作に関する情報を少なくとも検出するように構成され、
   前記制御装置は、
   前記第１操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第１期間閾値よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定し、
   前記第２操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第２期間閾値よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定する
   ように構成され、
   前記第２期間閾値は、前記第１期間閾値よりも大きい、
   覚醒状態判定システム。
2. 車両に搭載され、前記車両の運転者を撮像する第１撮像部と、
   前記第１撮像部によって取得された前記運転者の画像である第１画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置と、
   前記運転者によって携帯される携帯端末と、
   を備え、
   前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定されるときに成立する所定の条件が成立する場合、前記携帯端末において取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   覚醒状態判定システムにおいて、
   前記車両に搭載され、前記車両に生じる加速度に関する情報を第１加速度情報として取得する第１加速度センサを更に備え、
   前記携帯端末は、前記携帯端末に生じる加速度に関する情報を第２加速度情報として取得する第２加速度センサを備え、
   前記端末側情報は、前記第２加速度情報を含み、
   前記制御装置は、前記所定の条件が成立する場合、前記第１加速度情報と前記第２加速度情報とに基づいて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   覚醒状態判定システム。
3. 請求項１又は請求項２に記載の覚醒状態判定システムにおいて、
   前記携帯端末は、前記運転者を撮像する第２撮像部を備え、
   前記端末側情報は、前記第２撮像部によって取得された前記運転者の画像である第２画像を含み、
   前記制御装置は、前記所定の条件が成立する場合、前記第２画像に対して前記覚醒状態判定処理を実行することにより、前記運転者が前記覚醒状態であるかを判定するように構成された、
   覚醒状態判定システム。
4. 請求項３に記載の覚醒状態判定システムにおいて、
   前記携帯端末は、前記第２画像に前記運転者の顔が含まれているかどうかを、前記運転者に対して通知するように構成された、
   覚醒状態判定システム。
5. 車両に搭載され、前記車両の運転操作を自動的に行う自動運転制御を実行する自動運転装置であって、
   前記車両の運転者を撮像する撮像部と、
   前記自動運転制御の実行中において、前記撮像部によって取得された前記運転者の画像である運転者画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置と、
   を備え、
   前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定される所定の条件が成立する場合、携帯端末から取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   自動運転装置において、
   前記携帯端末は、当該携帯端末上における前記運転者による操作に関する情報である操作情報を検出するように構成され、
   前記端末側情報は、前記操作情報を含み、
   前記制御装置は、前記所定の条件が成立する場合、前記操作情報に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成され、
   前記制御装置は、前記運転者による前記操作が検出されない期間に基づいて、前記運転者が前記覚醒状態であるかを判定するように構成され、
   前記携帯端末は、前記操作情報として、第１操作に関する情報、及び、前記第１操作よりも複雑な操作である第２操作に関する情報を少なくとも検出するように構成され、
   前記制御装置は、
   前記第１操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第１期間閾値よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定し、
   前記第２操作が検出された後に前記運転者による前記操作が検出されない前記期間が、第２期間閾値よりも大きくなったとき、前記運転者が前記覚醒状態でないと判定する
   ように構成され、
   前記第２期間閾値は、前記第１期間閾値よりも大きい、
   自動運転装置。
6. 車両に搭載され、前記車両の運転操作を自動的に行う自動運転制御を実行する自動運転装置であって、
   前記車両の運転者を撮像する撮像部と、
   前記自動運転制御の実行中において、前記撮像部によって取得された前記運転者の画像である運転者画像に基づいて、前記運転者が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置と、
   を備え、
   前記制御装置は、前記覚醒状態判定処理の判定結果の信頼性が低いと推定される所定の条件が成立する場合、携帯端末から取得された情報である端末側情報を用いて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   自動運転装置において、
   前記車両に搭載され、前記車両に生じる加速度に関する情報を第１加速度情報として取得する第１加速度センサを更に備え、
   前記携帯端末は、前記携帯端末に生じる加速度に関する情報を第２加速度情報として取得する第２加速度センサを備え、
   前記端末側情報は、前記第２加速度情報を含み、
   前記制御装置は、前記所定の条件が成立する場合、前記第１加速度情報と前記第２加速度情報とに基づいて、前記運転者が前記覚醒状態であるかを判定するように構成された、
   自動運転装置。
   

Images