WO2017150466A1

WO2017150466A1 - 運転者監視システム

Info

Publication number: WO2017150466A1
Application number: PCT/JP2017/007544
Authority: WO
Inventors: 英稔森田; 将史渡邊
Original assignee: 株式会社デンソー
Priority date: 2016-02-29
Filing date: 2017-02-27
Publication date: 2017-09-08

Abstract

運転者監視システムは、表示画面（１１ａ）と該表示画面（１１ａ）に向かい合う側を撮影可能に配置されたカメラ（５）とを備えた携帯端末（１）と、自車両の制御を行う車両制御装置（３）と、の間で通信を行って、自車両の運転者を監視する。この運転者監視システムは、自車両の走行中に、自車両の運転者が携帯端末（１）の表示画面（１１ａ）を見ているかどうかを、カメラ（５）によって撮影された画像に基づいて判定し、運転者が携帯端末（１）の表示画面（１１ａ）を見ていると判定された場合には、警報を発する。

Description

運転者監視システム

関連出願の相互参照

　本国際出願は、２０１６年２月２９日に日本国特許庁に出願された日本国特許出願第２０１６－３７６９４号及び２０１６年１２月２７日に日本国特許庁に出願された日本国特許出願第２０１６－２５３７８６号に基づく優先権を主張するものであり、日本国特許出願第２０１６－３７６９４号及び日本国特許出願第２０１６－２５３７８６号の全内容を本国際出願に参照により援用する。

　本開示は、例えば自動運転などの際に、運転席に着座している運転者の状態を監視することができる運転者監視システムに関する。

　従来、車両を運転している運転者の状態を監視する運転者監視システムとして、車載カメラを使って運転者の顔を撮影し、その顔画像から瞼の開閉状態や視線の向き等を検出して、運転者の状態を認識する技術が知られている。

　そして、この技術によって、運転者の状態が運転に適切でない状態と判断された場合には、各種の方法によって、運転者に注意を喚起する技術が知られている。例えば、車載のディスプレイでの表示、スピーカによる音声等による報知、シートベルトの巻き上げ、シートの振動等により、運転者に注意を喚起する技術が知られている。

　また、近年では、自動運転の技術が開発されているが、この自動運転の際にも、運転者が何らかの形で運転に関与する事態は起こりえる。例えば、自動運転中に、前方カメラやレーダ等によっても道路状態等を精度良く検出できず、そのため、自動運転に適さない状態となる場合も考えられる。

　この対策として、自動運転に適した状況かどうかを判定して、自動運転に適した状況でない場合には、注意喚起する技術が知られている。そして、この注意喚起を行う場合には、上述した瞼の開閉状態等から運転者の覚醒状態を判断して、適切な注意喚起を行う技術が開示されている（特許文献１参照）。

特開２０１５－３２０５４号公報

　しかしながら、発明者の詳細な検討の結果、上述した従来技術でも、必ずしも好適に対応できない場合があるという課題が見出された。
　例えば自動運転のレベルによっては、運転者がハンドル（即ちステアリングホイール）から手を離すことができるが、そのときに、運転者がスマートフォン等の携帯端末（即ち携帯機）を操作していると、運転者の状態をうまく検出できないことがある。

　つまり、車載カメラによって運転者の顔を撮影し、その顔画像から運転者の状態を判定する技術では、運転者が手元の携帯端末の画面を見ていると、車載カメラでは顔画像を得ることができず、そのため運転者の状態を判定できないことがある。

　ところが、自動運転では、状況によっては自動運転を継続できない場合もあるので、運転者がハンドルから手を離しているときでも、そのような場合にすぐに運転者による運転操作が可能な状態、即ち、運転者によるバックアップタスクが可能な状態であることが必要とされる。

　そのため、自動運転においては、運転者がバックアップタスクが可能であることを監視し、バックアップタスクが可能でない状態の場合、例えば運転者が眠っている場合等には、運転者に注意を喚起する必要がある。

　しかしながら、従来の車載カメラを用いる技術では、顔画像が得られないので、運転者がバックアップタスクが可能であるかどうかの判定ができないという問題がある。
　また、自動運転でない場合でも、例えば車載カメラによる撮影状況が好ましくないときなどには、運転者の状態を把握することが難しいことがある。

　本開示の一局面においては、車両が例えば自動運転による走行中のような状態において、運転者が携帯機を操作するような場合に、運転者の状態を把握して、運転者に対して適切な警告等の対応が可能な運転者監視システムを提供することにある。

　本開示の一つの態様は、表示画面と該表示画面に対向する側を撮影可能に配置された撮影装置とを備えた携帯機と、自車両の制御を行う車両制御装置と、の間で通信を行って、前記自車両の運転者を監視する運転者監視システムに関する。

　この運転者監視システムは、前記自車両の走行中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する安全制御部と、を備える。

　この構成によれば、自車両の走行中に、撮影装置によって撮影された画像に基づいて、自車両の運転者が携帯機の表示画面を見ているかどうかを判定することができる。よって、運転者が携帯機の表示画面を見ていると判定された場合には、適切な警報を発することができる。つまり、運転者の状態を把握して、適切な警告（即ち注意喚起）を行うことができるので、より安全な運転が可能になるという効果がある。

　本開示の他の態様は、表示画面と該表示画面に対向する側を撮影可能に配置された撮影装置とを備えた携帯機と、自車両の制御を行う車両制御装置と、の間で通信を行って、前記自車両の運転者を監視する運転者監視システムに関する。

　この運転者監視システムは、前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部と、前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御及び前記運転者の運転に利用可能な情報を提供する制御のうち少なくとも一方の制御を行う安全制御部と、を備える。

　この構成によれば、自車両の自動運転中に、撮影装置によって撮影された画像に基づいて、自車両の運転者が携帯機の表示画面を見ているかどうかを判定することができる。よって、運転者が携帯機の表示画面を見ていると判定された場合には、適切な警報を発することができる。つまり、運転者の状態を把握して、適切な警告を報知することができるので、より安全な運転が可能になるという効果がある。

　特に、自動運転の場合には、運転者がハンドルから手を離して、携帯機を操作することが考えられる。しかし、前記構成によれば、自動運転中に、携帯機の撮影装置によって撮影された運転者の画像（例えば顔画像）から、例えば運転者の意識状態の程度等を把握することができる。

　よって、例えば運転者が自動運転から直ぐに運転を代わることができる状態でない場合、即ちバックアップタスクが可能でない状態の場合などには、それに応じて必要な警報を発することができるので、運転の安全性が大きく向上するという顕著な効果を奏する。

　また、自動運転中に運転者が携帯機の表示画面を見ている場合に、例えば自動運転から運転者が運転を代わったときに運転者が利用可能な情報、例えば車両の前方の画像や周囲の情報などのバックアップタスクの際に有用な情報を、表示画面に表示することができる。これにより、安全性が一層向上するという利点がある。

　なお、乗員状態判定部や安全制御部は、少なくとも一方が、携帯機側にあっても自車両側にあってもよい、或いは、両方にあってもよい。
　なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

第１実施形態の運転者監視システムを示すブロック図である。携帯端末のメモリに記憶されているデータを示す説明図である。車両制御装置のメモリに記憶されているデータを示す説明図である。携帯端末のマイコンにて実施される内容を機能的に示すブロック図である。車両制御装置のマイコンにて実施される内容を機能的に示すブロック図である。走行前に携帯端末のマイコンにて実施される処理を示すフローチャートである。走行前に車両制御装置のマイコンにて実施される処理を示すフローチャートである。走行時に車両制御装置のマイコンにて実施される運転者監視処理を示すフローチャートである。安全制御部による注意喚起の内容を示す説明図である。乗員状態判定部による処理を行う装置等を示す説明図である。

　以下に本開示の実施形態を図面とともに説明する。
　［１．第１実施形態］
　［１－１．基本構成］
　まず、第１実施形態の運転者監視システムの構成について説明する。

　図１に示すように、本第１実施形態における運転者監視システムは、スマートフォン等の携帯端末１と、車両に搭載されて車両の動作を制御する車両制御装置３とが、通信により連携して機能するシステムである。

　前記車両は、運転者の運転操作による走行と各種の自動化のレベルに応じた自動運転による走行が可能な車両である。なお、ここで車両とは、運転者の携帯端末１との通信が可能な自車両である。

　以下、各構成について説明する。
　＜携帯端末＞
　携帯端末１は、周知のように、運転者等が携帯可能な通信装置（即ち携帯機）の一種であり、外部の基地局や自車両等との間で情報の送受信が可能な装置である。

　なお、ここでは、携帯端末１としてスマートフォンを例に挙げて説明するが、それに限られるものではない。また、携帯端末１に代えて、ゲーム機やノートパソコン等の各種の装置を使用できる。この場合には、各装置に対応して、入力装置として、操作スイッチやキーボード等を用いることができる。

　携帯端末１は、カメラ５、マイク７、ジャイロ９、ディスプレイ１１、スピーカ１３、振動モータ１５等を備えている。また、携帯端末１の動作を制御するマイクロコンピュータ１７、及び外部との通信を行うアンテナ等を有する通信部１９を備えている。なお、通信部１９としては、無線通信に限らず、ＵＳＢ等を用いた有線通信を行う装置を採用できる。

　このうち、カメラ５は、例えばＣＣＤカメラであり、携帯端末１を操作する人（例えば所有者）の顔等を撮影できるように、ディスプレイ１１側（即ち表示画面１１ａ側）に配置されている。つまり、カメラ５は、表示画面１１ａに向かい合う側、即ち表示画面１１ａに対向する側を撮影可能なように、例えば表示画面１１ａの周囲等に配置されている。

　ディスプレイ１１は、液晶等の表示画面１１ａを備えるとともに、その表示画面１１ａに文字や画像等を表示する表示装置である。なお、周知のように、表示画面１１ａはタッチパネルとしての機能、即ち入力装置としての機能も有している。なお、ディスプレイ１１は、入力装置としての機能を有していなくともよい。

　スピーカ１３は、音声や音により、必要に応じて、携帯端末１の使用者に警報等の情報を報知する。
　振動モータ１５は、携帯端末１自身を振動させることにより、携帯端末１の使用者に警報等の情報を報知する。

　マイクロコンピュータ１７は、周知のＣＰＵ１７ａ、ＲＯＭ１７ｂ、ＲＡＭ１７ｃ、ＥＥＰＲＯＭ１７ｄ等を備えた電子制御装置である。
　このうち、ＲＯＭ１７ｂは、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。ＥＥＯＲＯＭ１７ｄは、電源を切断しても記憶内容を保持する必要のあるデータ（例えば認証データ）を記憶する。ＲＡＭ１７ｃは、データを一時的に格納する。ＣＰＵ１７ａは、ＲＯＭ１７ｂ等に記憶されたプログラム等に従って処理を実行する。

　通信部１９は、外部の基地局や車両制御装置３等との間で、例えばカメラ５で撮影した顔画像のデータなど、各種の情報の送受信が可能な装置である。なお、通信部１９は、無線通信又は有線通信により、車両制御装置３側と通信が可能である。

　前記携帯端末１の各種の機能は、ＣＰＵ１７ａが非遷移的実体的記録媒体に格納されたプログラムを実行する実行することにより実現される。この例では、ＲＯＭ１７ｂが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、プログラムの実行により、プログラムに対応する方法が実行される。なお、携帯端末１を構成するマイクロコンピュータの数は１つでも複数でもよい。なお、これらの点については、車両制御装置３のマイクロコンピュータ２１でも同様である。

　＜車両制御装置＞
　車両制御装置３は、各種のセンサからの情報等に基づいて、各種のアクチュエータを駆動させて車両の動作を制御したり、後述する運転者監視処理等を行う電子制御装置である。

　この車両制御装置３は、周知のＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ、ＥＥＰＲＯＭ２１ｄ等を備えたマイクロコンピュータ２１、及びアンテナ等を用いて外部の基地局や他車両や携帯端末１等との間で情報の送受信が通信部２３を備えている。なお、通信部２３は、無線通信又は有線通信により、携帯端末１の通信部１９と通信が可能である
　また、車両制御装置３には、運転用センサ類２５、自車両センサ類２７、周辺監視装置２９、スイッチ類３１、ディスプレイ３３、アクチュエータ類３５、ナビゲーション装置３７等が接続されている。

　このうち、マイクロコンピュータ２１については、基本的に、前記携帯端末１側のマイクロコンピュータ１７と同様である。
　運転用センサ類２５としては、運転者の状態を検出するドライバカメラ２５ａ等の各種のセンサが挙げられる。ドライバカメラ２５ａは、運転席の前方に配置された例えばＣＣＤカメラであり、運転者の顔等を撮影して、その顔画像等を車両制御装置３に送信する。

　なお、他のセンサとしては、運転者が運転席に着座したことを検出する着座センサ、ハンドル及び／又はシートベルト等に取り付けられて運転者の心拍等を検出する心電センサ等が挙げられる。

　自車両センサ類２７は、自車両の動作を検出するセンサであり、例えば車速センサ、加速度センサ、ヨーレートセンサ、ステアリングセンサ等、各種のセンサが挙げられる。また、ＧＰＳ等の自車両の位置を検出する装置も挙げられる。

　周辺監視装置２９は、車両（即ち自車両）の周囲の状況を監視する装置であり、各種のレーダ、前方カメラ、後方カメラ、側方カメラ、超音波センサ等、各種の装置が挙げられる。

　スイッチ類３１としては、例えば自動運転の許可又は禁止を指示するスイッチ等が挙げられる。
　ディスプレイ３３は、例えば車両のダッシュボード等に取り付けられた表示装置であり、その表示画面は、周知のようにタッチパネルとしての機能、即ち入力装置としての機能も有している。

　アクチュエータ類３５としては、車両の駆動力をスロットル等を用いて調節する制動用アクチュエータ、車両の制動力をホイールシリンダ等を利用して調節する制動用アクチュエータ、車両の操舵角を操舵用モータを利用して調節する操舵用アクチュエータ等が挙げられる。その他、エアコンやスピーカや室内のライト等も挙げられる。

　ナビゲーション装置３７は、地図情報や自車両の位置情報等に基づいて、走行経路の案内等が可能な周知の装置である。
　また、上述した運転者監視システムには、携帯端末１や車両制御装置３以外に、例えばウェアラブル装置３９を用いてもよい。このウェアラブル装置３９では、運転者の心拍や脈拍や脳波等を検出し、その情報を、携帯端末１や車両制御装置３等に送信することができる。

　ウェアラブル装置３９としては、腕時計タイプのものや頭に装着するヘッドギアタイプのもの等が挙げられる。
　［１－２．メモリの記憶内容］
　次に、後述する運転者監視処理を行うために、携帯端末１や車両制御装置３のメモリに記憶される記憶内容について説明する。

　　＜携帯端末＞
　図２に示すように、携帯端末１のメモリ（例えばＥＥＰＲＯＭ１７ｄ）には、携帯端末１の所有者の情報が予め登録されて記憶されている。

　この所有者の情報としては、所有者を識別できる顔画像に基づく認証情報が挙げられる。なお、それ以外には、例えば、網膜、掌、指紋等の各種の認証情報が挙げられる。
　また、ＥＥＰＲＯＭ１７ｄには、今回の制御を行う際の通信相手の車両、即ち携帯端末１の所有者が運転が許可されている自車両の情報も記憶されている。なお、車両の情報としては、車両を区別する番号（例えば車両ＩＤ）が挙げられる。

　＜車両制御装置＞
　図３に示すように、車両制御装置３のメモリ（例えばＥＥＰＲＯＭ２１ｄ）には、自車両の運転が許可されている運転者が予め登録されて記憶されている。

　この運転者の情報としては、運転者を識別できる顔画像に基づく認証情報が挙げられる。なお、それ以外には、例えば、網膜、掌、指紋等の各種の認証情報が挙げられる。
　また、ＥＥＰＲＯＭ２１ｄには、今回の制御を行う際の通信相手の携帯端末１の情報が記憶されている。この携帯端末１の情報としては、携帯端末１を区別する番号（例えば携帯端末ＩＤ）が挙げられる。

　更に、ＥＥＰＲＯＭ２１ｄには、携帯端末１の所有者の情報が記憶されている。この所有者の情報としては、所有者を区別する番号（例えば所有者ＩＤ）が挙げられる。
　なお、本第１実施形態では、携帯端末１の所有者は、前記車両の運転が許可されている運転者であるので、後述する運転者監視処理を実施する際には、少なくとも、携帯端末１の所有者と運転者とが一致する必要がある。

　［１－３．マイクロコンピュータの機能的な内容］
　次に、各マイクロコンピュータ１７、２１にて実施される内容を、機能的に説明する。
　　＜携帯端末＞
　図４に示すように、携帯端末１側のマイクロコンピュータ１７は、処理プログラムが実行する処理内容として、即ち機能的に、第１の画像認識部４１、第１の乗員状態判定部４３、第１の安全制御部４５、ディスプレイ制御部４７、アクチュエータ制御部４９、アプリケーション部５１を備えている。

　このうち、第１の画像認識部４１は、カメラ５で撮影された画像に基づいて、その画像中に顔を示す顔画像を認識する。そして、例えば、顔画像から、撮影された人が当該携帯端末１の所有者であるかどうかを判断する。

　第１の乗員状態判定部４３は、自車両の走行中に、例えば自動運転中に、自車両の運転者が携帯端末１の表示画面１１ａを見ているかどうかを、カメラ５によって撮影された画像に基づいて判定する。ここでは、自車両の運転者が携帯端末１の所有者であることを予め確認するので、携帯端末１の所有者が表示画面１１ａを見ているかどうかを判定すればよい。なお、自車両の走行状態については、車両制御装置３側から得ることができる。

　更に、第１の乗員状態判定部４３では、カメラ５によって撮影された画像（即ち顔画像）に基づいて、運転者の意識状態の程度を判定することができる。この意識状態の程度とは、意識がはっきりしているかどうかの程度（即ちレベル）であり、例えば覚醒度が挙げられる。

　この意識状態の程度（例えば覚醒度）が、顔画像から得られる例えば瞼の開閉状態や、心拍や脈拍や脳波等から検出できることは、例えば特許第５１３９４７０号公報等に記載のように周知であるので、その説明は省略する。

　また、心拍等の検出が可能なウェアラブル装置３９を用いる場合には、その心拍等の情報を加味して、意識状態の程度を判定してもよい。
　なお、この第１の乗員状態判定部４３は、車両制御装置３側の機能としてもよい。つまり、携帯端末１側から受信した顔画像の情報に基づいて、車両制御装置３にて、上述した状態判定を行ってもよい。

　第１の安全制御部４５は、走行中に、例えば自動運転中に、運転者が携帯端末１の表示画面１１ａを見ていると判定された場合には、その走行状態に対応して必要な警報を発することができる。また、運転者が運転する際に利用可能な情報、例えばバックアップタスクに有用な情報（例えば監視情報）を提供することができる。なお、第１の乗員状態判定部４３によって判定された運転者の意識状態の程度（例えば覚醒度）に基づいて、警報の内容を設定することができる。

　前記第１の安全制御部４５は、例えばディスプレイ１１、スピーカ１３、振動モータ１５を用いて、携帯端末１から運転者に対して警報を発することができる。また、ディスプレイ１１等を用いて前記監視情報を提供してもよい。

　なお、この第１の安全制御部４５は、車両制御装置３側の機能としてもよい。つまり、携帯端末１側から受信した顔画像の情報等に基づいて、例えば車両制御装置３にて状態判定を行って、上述した警報を発してもよい。この場合、警報は携帯端末１側で行ってもよいし、車両制御装置３側で行ってもよい。

　ディスプレイ制御部４７は、ディスプレイ１１による表示やタッチパネルとしての機能を制御する。
　アクチュエータ制御部４９は、携帯端末１自身をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ１１、スピーカ１３、振動モータ１５をアクチュエータとして用いて、携帯端末１から運転者に対して警報を発することができる。

　アプリケーション部５１は、周知のように、携帯端末１にインストールされた各種のアプリケーションの動作を制御する。
　＜車両制御装置＞
　図５に示すように、車両制御装置３側のマイクロコンピュータ１７は、処理プログラムが実行する処理内容として、即ち機能的に、第２の画像認識部６１、第２の乗員状態判定部６３、自車両状態検出部６５、周辺情報検出部６７、第２の安全制御部６９、自動運転制御部７１を有する車両制御部７３、ディスプレイ制御部７５、アクチュエータ制御部７７を備えている。

　このうち、第２の乗員状態判定部６３は、第２の画像認識部６１からの情報に基づいて、運転者の認識を行ったり、運転者の各種の状態を判定する。例えば、ドライバカメラ２５ａからの画像に基づいて、運転席に着座した人が、当該車両の運転を許可されている人か否かを判定する。

　また、この第２の乗員状態判定部６３では、運転者の意識状態の程度、例えば覚醒度及び／又は眠たさの程度を検出する（即ち意識検出部として機能する）。例えば、周知のように、ドライバカメラ２５ａからの顔画像の情報、例えば瞼の開閉状態に基づいて、意識状態の程度を検出することができる。或いは、周知のように、ウェアラブル装置３９やハンドル及び／又はシートベルト等に装着された心電センサ等からの情報、例えば心拍のゆらぎ等に基づいて、意識状態の程度を検出することができる。

　自車両状態検出部６５は、自車両センサ類２７からの情報に基づいて、車速、加速度、ヨーレート、操舵角等のような、自車両の走行状態を検出する。また、自動運転が実施されているかどうかの情報及び／又は自動運転のレベルの情報等を検出する。

　周辺情報検出部６７は、レーダ及び／又は前方カメラ等の周辺監視装置２９からの情報に基づいて、自車両の前方等の道路状態及び／又は周囲の車両等の情報を検出する。
　車両制御部７３は、例えばスイッチ類３１、ディスプレイ３３のタッチパネル、第２の乗員状態検出部６３、自車両状態検出部６５、周辺情報検出部６７等からの情報などに基づいて、自車両の走行を制御する。

　また、自動運転を行う場合には、自動運転制御部７１は、上述した各種の情報に基づいて、自動運転による走行を制御する。なお、自動運転等の走行の制御を行う場合には、ナビゲーション装置３７からの地図情報等を参照することができる。

　第２の安全制御部６９は、携帯端末１側と同様に、走行中に、例えば自動運転中に、運転者が携帯端末１の表示画面１１ａを見ていると判定された場合には、その走行状態に対応して必要な警報を発する。例えば、ディスプレイ３３、アクチュエータ類３５を用いて、車両自身により運転者に対して警報を発することができる。

　具体的には、警報を発する方法としては、ディスプレイ３３での表示や、スピーカでの音声や音による報知が挙げられる。また、警報を発していることを気付かせるため等の目的で、エアコンを制御して冷風等を運転者に送ったり、室内のランプの点灯状態を変化させたりする方法が挙げられる。さらに、座席及び／又はハンドルを振動させる方法、シートベルトを巻き上げる方法が挙げられる。また、車両の動作を制御して、蛇行走行させたり、ブレーキによる制動制御、例えば断続的に弱いブレーキがかかるようなブレーキ制動を行ってもよい。

　また、第２の安全制御部６９は、運転者が運転する際に利用可能な情報、例えばバックアップタスクに有用な情報を提供することができる。なお、情報の提供は、前記ディスプレイ３３以外に、フロントガラスに画像等を表示するヘッドアップディスプレイ等を利用できる。

　ディスプレイ制御部７５は、ディスプレイ３３による表示及び／又はタッチパネルとしての機能を制御する。
　アクチュエータ制御部７７は、車両側の各種の装置をアクチュエータとして機能させる場合の動作を制御する。具体的には、上述したように、例えばディスプレイ３３、スピーカ、ランプ、駆動用と制動用と操舵用とのうち少なくとも１種のアクチュエータ等を、アクチュエータとして用いて、車両側から運転者に対して警報を発したり、情報を提供することができる。

　なお、ここでは、上述したように、携帯端末１と車両制御装置３とで各種の機能の役割を分担したが、それ以外の方法として、例えば、顔の撮影は携帯端末１のカメラ５で行うが、それ以降の処理及び／又は制御は、携帯端末１側及び車両制御装置３側のどちらか一方で適宜分担してもよい。或いは、携帯端末１側及び車両制御装置３側の両方で処理や制御を実施してもよい。

　［１－４．自動運転レベルに応じた制御内容］
次に、自動運転のレベルと、自動運転のレベルに応じて実施される運転者監視処理の制御内容について説明する。

　ここで、自動運転を行うか否かは、例えば運転者のスイッチ類３１やディスプレイ３３のタッチパネル等からの指示により決定することができる。
　また、後述する自動運転のレベルも、同様に運転者の指示により選択できるが、例えば車両側にて、自動運転が可能な条件が満たされた場合に、その満たされた条件に応じて、適宜自動的に自動運転のレベルを設定してもよい。

　更に、自動運転の中止は、運転者の指示により決定することができるが、自動運転が可能な条件が満たさなくなった場合に、適切な警告の後に、自動運転を解除する際の安全が確認された段階で、自動運転を解除してもよい。

　自動運転のレベルとは、どの程度まで自動化するかの指標であり、この自動運転のレベルとしては、例えば下記表１、表２に示すレベルを採用できる。

　この表１において、レベル０が、自動運転ではない運転者の操作による運転である。また、レベル５が、運転者が関与せずに車両自身が全て判断して走行する完全な自動運転である。そして、レベル１～４が、運転者と車両とが共同して運転する半自動運転である。つまり、必要に応じて、運転者が操作したり車両自身が運転するシステムである。

　なお、表２にて、「Hands-on」とは、走行中に、運転者がハンドルに手をおいて操作する必要があることを示し、「Hands-off」とは、走行中に、運転者がハンドルから手を離すことが可能な状態を示している。

　また、「Eye-on」とは、走行中に、運転者が自動運転に代わって運転が可能なように周囲を監視する必要があることを示し、「Eye-off」とは、走行中に、運転者が周囲を監視する必要がない状態を示している。

　なお、特定の条件とは、例えば自動運転が可能な車線であることを示す条件等である。
　本第１実施形態では、下記表３に示すように、走行状態、詳しくは自動運転のレベルに応じて警告の内容を設定し必要な情報を提供している。

　具体的には、レベル０の場合、即ち運転者が操作して運転している場合に、携帯端末（例えばスマートフォン）１の表示画面１１ａが見られた場合には、安全面で問題がある。
　そこで、例えば「運転に集中して下さい」等の警告を行う。例えば、携帯端末１側及び／又は車両側から、ディスプレイ１１、３３及び／又はスピーカ１３等を用い、表示や音声等によって前記警告を行う。

　レベル１の場合、即ち運転者の支援が必要な状態で走行している場合に、携帯端末１の表示画面１１ａが見られた場合にも、何らかの対策が望まれる。
　そこで、前記レベル０と同様に、同様な装置を用いて、例えば「運転に集中して下さい」等の警告を行う。

　レベル２の場合、即ち部分的な自動運転の場合に、携帯端末１の表示画面１１ａが見られた場合にも、何らかの対策が望まれる。
　そこで、前記と同様な装置を用いて、例えば「周囲の監視をして下さい」等の警告を行う。つまり、運転者はハンドルから手を離すことが可能であるが、周囲から目を逸らすことは適切ではないので、周囲の監視を促す警告を行う。

　また、この警告の際に、携帯端末１を利用して、運転者による運転の際に利用可能な情報、例えば周囲の監視を行う場合に必要な情報（即ち監視情報）を提供する制御を行ってもよい。例えば前方カメラで撮影した映像、自車両の走行予定経路、周囲の車両の情報を、例えば表示画面１１ａの一部に表示してもよい。これにより、安全性が一層向上する。なお、前記監視情報を表示画面１１ａの全体に表示してもよい。

　レベル３の場合で、且つ、運転者が携帯端末１を操作しており、且つ、運転者の意識状態（即ち意識レベル）が高い場合には、運転者はいつでも自身の運転に切り替えることができる。つまり、バックアップタスクが可能であるので、バックアップタスクを実施する場合の補助となる制御、即ち、表３の提示（Ａ）である制御Ａを行う。尚、意識レベルの高低は、所定の判定値に基づいて判定できる。

　具体的には、周囲の監視を行う場合に必要な監視情報として、例えば前方カメラで撮影した映像、自車両の走行予定経路、周囲の車両の情報を、例えばフロントガラスに投影して表示する等の制御を行う。

　また、携帯端末１の表示画面１１ａ等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末１側の少なくとも一方で実施することができる。

　レベル３の場合で、且つ、運転者が携帯端末１を操作しており、且つ、運転者の意識状態低い又は低くなりそうな場合には、バックアップタスクが十分に行えない可能性がある。そこで、前記制御Ａによる情報の提供を行うとともに、例えば「次のサービスエリアで休んで下さい」等の警告を行う。

　また、上述したように、携帯端末１の表示画面１１ａ等を用いて、前記監視情報を提供してもよい。なお、監視情報の提供は、車両側及び携帯端末１側の少なくとも一方で実施することができる。

　レベル３の場合で、且つ、運転者が携帯端末１を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合には、バックアップタスクの必要性が高い。そこで、状況に応じて、例えば「運転操作を代わって下さい」又は「運転操作を代わる準備をして下さい」等の警告を行う。

　レベル４の場合で、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合、運転者による操作が必要である。そこで、状況に応じて、例えば「自動走行可能区間が終了します」又は「間もなく自動走行区間が終了します」等の警告を行う。なお、「間もなく」の代わりに、例えば「１０分後」等の時間を用いてもよい。

　レベル５の場合で、携帯端末１の表示画面１１ａを見ているうちに、目的地に到達した場合には、例えば「目的地に到達しました」等の警告を行う。
　なお、後述するように、自動化のレベルに応じて制御が実施されるが、その制御は、前記表３等の０～５のレベルによる区分に加え、前記表３の各レベル（例えばレベル３）を更に細かく分ける各欄のような区分に応じて制御が行われる。つまり、自動運転のレベルに応じて制御を行う場合には、前記０～５のレベルに限定されるものではなく、０～５のレベルよりも更に細分化された区分に応じて実施される。

　［１－５．処理］
　次に、運転者監視システムにて実施される処理内容、即ち運転者監視処理について説明する。

　＜走行前の携帯端末側の処理＞
　なお、以下の走行前の処理は、例えば自車両のイグニッションスイッチがオンにされた時点等に開始することができる。また、以降の各フローチャートの図面では、ステップをＳと記す。

　まず、走行前に携帯端末１にて実施される事前の処理について説明する。
　図６に示すように、ステップ１００では、携帯端末１のカメラ５で、携帯端末１の操作者を撮影する。

　続くステップ１１０では、撮影された画像（例えば顔画像）から、前記ＥＥＰＲＯＭ１７ｄに記憶された認証情報に基づいて、操作者が携帯端末１の適正な所有者か否かを判定する。ここで肯定判断されるとステップ１２０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ１２０では、携帯端末１を適正な所有者が操作しているので、車両制御装置３との通信を行う。具体的には、携帯端末１の情報（例えば携帯端末ＩＤ）と所有者の情報を車両制御装置３に送信する。また、車両制御装置３から、車両を特定する情報（例えば車両ＩＤ）を受信する。

　続くステップ１３０では、車両制御装置３から受信した情報に基づいて、車両が特定の登録された車両であるか否かを判定する。つまり、携帯端末１の所有者が運転可能な車両であるか否かを判定する。ここで肯定判断されるとステップ１４０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ１４０では、通信相手の車両が携帯端末１の所有者が運転可能な車両であるので、後述する運転者監視処理を許可する。つまり、処理に必要な情報（例えば顔画像）の送信を許可し、一旦本処理を終了する。

　＜走行前の車両制御装置側の処理＞
　次に、走行前に車両制御装置３にて実施される事前の処理について説明する。
　図７に示すように、ステップ２００では、車両側のドライバカメラ２５ａで、運転席に着座している人の顔等を撮影する。なお、運転席に着座していることは、例えば運転席の着座センサ等から検出することができる。

　続くステップ２１０では、撮影された画像（例えば顔画像）から、前記ＥＥＰＲＯＭ２１ｄに記憶された認証情報に基づいて、着座している人が車両の運転を許可されている適正な運転者か否かを判定する。ここで肯定判断されるとステップ２２０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ２２０では、運転席に適正な運転者が着座しているので、携帯端末１との通信を行う。具体的には、車両の情報（例えば車両ＩＤ）と運転者の情報を携帯端末１に送信する。また、携帯端末１から、携帯端末１を特定する情報（例えば携帯端末ＩＤ）及び携帯端末１のカメラ５で撮影された顔画像を受信する。

　続くステップ２３０では、携帯端末１から受信した例えば携帯端末ＩＤを用いて、携帯端末１が特定の登録された携帯端末１であるか否かを判定する。ここで肯定判断されるとステップ２４０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ２４０では、携帯端末１から受信した顔画像の情報を用い、ＥＥＰＲＯＭ２１ｄに記憶されている運転者の顔画像の認証情報に基づいて、当該受信した顔画像が運転者の顔画像か否かを判定する。なお、運転者と携帯端末１の所有者とは、一致する必要があるので、ここで行う運転者の顔画像の一致の判定は、所有者の顔画像の一致の判定と同じである。ここで肯定判断されるとステップ２５０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ２５０では、通信相手の携帯端末１を操作している人が車両の運転を許可されている運転者であるので、後述する運転者監視処理を許可する。つまり、処理に必要な情報、例えば携帯端末１側のアクチュエータを駆動する情報等の送信を許可し、一旦本処理を終了する。

　＜走行中の処理＞
　ここでは、車両制御装置３が実行する運転者監視処理について、図８のフローチャートを用いて説明する。

　図８に示すように、ステップ３００では、自車両が走行中か否かを判定する。ここで肯定判断されるとステップ３１０に進み、一方否定判断されると一旦本処理を終了する。例えば車速センサからの情報に基づいて、自車速が例えば５ｋｍ／時以上であれば、走行中と判定する。

　ステップ３１０では、自動運転中であるか否かを判定する。ここで肯定判断されるとステップ３３０に進み、一方否定判断されるとステップ３２０に進む。例えば、車両制御装置３に対して、スイッチ類３１やディスプレイ３３のタッチパネル等から自動運転を指示する信号が入力され、それによって開始された自動運転が継続されている場合には、自動運転中であると判定する。

　なお、自動運転中には、自動運転中であることを示すフラグ（例えば自動運転フラグ）や自動運転のレベルを示すフラグ（例えばレベルフラグ）等が設定され、それらのフラグは、ＲＡＭ２１ｃやＥＥＰＲＯＭ２１ｄに記憶される。

　ステップ３２０では、現在、運転者の運転操作による走行中であるので、運転者が携帯端末１の表示画面１１ａを見ているか否かを判定する。ここで肯定判断されるとステップ３９０に進み、一方否定判断されると一旦本処理を終了する。

　つまり、携帯端末１から送信された表示画面１１ａを見ている側の画像、例えば運転者の顔画像に基づいて、運転者が表示画面１１ａを見ているか否かを判定する。なお、運転者が表示画面１１ａを見ているかどうかは、顔の向きや目の瞳の向き等から判定することができる。つまり、顔や瞳が正面を見ている場合には、運転者が表示画面１１ａを見ていると判定できる。

　そして、自動運転でないにもかかわらず、運転者が携帯端末１の表示画面１１ａを見ている場合には、安全上問題があるので、ステップ３９０に進んで、その状況に対応した適切な警告を行う。具体的には、前記表３のレベル０に対応する処理として、例えば「運転に集中して下さい」等の警告を行い、一旦本処理を終了する。

　なお、この警告の動作は、車両側の各種の装置、例えばディスプレイ３３での表示やアクチュエータ類３５による音声による報知等で行うことができる。また、携帯端末１側の各種の装置、例えばディスプレイ１１での表示及び／又はスピーカ１３による音声による報知等で行ってもよい。或いは、車両側と携帯端末１側の両方で行ってもよい。なお、これらの警告の動作については、以下同様である。

　また、この警告と同時に、警告が重要なことを知らせるために、携帯端末１及び／又は車両側の装置を振動させたり、エアコン等の駆動を制御する等により、注意を喚起させてもよい。なお、これらの注意の喚起についても、以下同様である。

　一方、ステップ３３０では、自動運転中に、目的地に到達したか否かを判定する。ここで肯定判断されるとステップ３９０に進み、一方否定判断されるとステップ３４０に進む。なお、目的地に到達したどうかは、ナビゲーション装置３７等からの情報によって判定することができる。

　そして、ステップ３９０では、自動運転中に、目的地に到達したので、その状況に対応した適切な警告を行う。具体的には、前記表３のレベル５に対応する処理として、例えば「目的地に到達しました」等の警告を行い、一旦本処理を終了する。

　一方、ステップ３４０では、自動運転中において、運転者が携帯端末１の表示画面１１ａを見ているか否かを判定する。ここで肯定判断されるとステップ３５０に進み、一方否定判断されると一旦本処理を終了する。

　ステップ３５０では、自動走行可能条件が終了か又は終了に近づいたかを判定する。ここで肯定判断されるとステップ３９０に進み、一方否定判断されるとステップ３６０に進む。

　つまり、自動運転による走行（即ち自動走行）が可能な区間が終了するか又は間もなく終了するかを、例えばナビゲーション装置３７及び／又は路側機等からの情報に基づいて判定する。なお、自動走行が可能な区間の終了又は間もなく終了するか否かは、ナビゲーション装置３７の地図情報に基づいて、自車両が自動走行が可能な区間のどの位置を走行しているかによって判定することができる。

　そして、ステップ３９０では、自動走行が可能な区間が終了するか又は間もなく終了するという状態となったので、その状況に対応した適切な警告を行う。具体的には、前記表３のレベル４に対応する処理として、例えば「自動走行可能区間が終了します」又は「間もなく自動走行可能区間が終了します」等の警告を行い、一旦本処理を終了する。

　なお、このとき、上述したように、車両側及び／又は携帯端末１側より、前記監視情報の提供を行ってもよい。
　一方、ステップ３６０では、運転者による操作（即ちバックアップタスク）が必要な状態又は必要となりそうな状態か否かを判定する。即ち、運転者の操作が必要な場合又は運転者の操作が必要となることが予測される場合か否かを判定する。ここで肯定判断されるとステップ３９０に進み、一方否定判断されるとステップ３７０に進む。

　例えば、運転者によるバックアップタスクが必要な状態又は必要となりそうな状態としては、自動運転に必要な情報が得られにくくなった状態が挙げられる。例えば、バックアップタスクが必要な状態としては、天候の悪化等によって、前方カメラの画像が得られない状態や画像の精度が低下した状態、道路の白線が薄くなって道路を正確に把握できない状態など各種の状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報が徐々に低減する状態等が挙げられる。

　そして、ステップ３９０では、運転者によるバックアップタスクが必要な状態又は必要となりそうな状態となったので、その状況に対応した適切な警告を行う。具体的には、前記表３のレベル３の第３欄に対応する処理として、例えば「運転操作を代わって下さい」又は「運転操作を代わる準備をして下さい」等の警告を行い、一旦本処理を終了する。

　なお、このとき、上述したように、車両側及び／又は携帯端末１側より、前記監視情報の提供を行ってもよい。
　前記運転者によるバックアップタスクが必要な状態としては、上述したように、天候や道路状況等によって、自動運転に必要な情報が得られない状態が挙げられる。また、運転者によるバックアップタスクが必要となりそうな状態としては、自動運転に必要な情報の精度が低下する状態や、情報量が低下する状態等が挙げられる。

　一方、ステップ３７０では、運転者の意識状態の程度（即ちレベル）を検出する。例えば、携帯端末１のカメラ５で撮影された顔画像に基づいて、周知にように、例えば瞼の開閉状態から意識レベルとして覚醒度を検出する。例えば、瞼が閉じている割合が通常より多い場合には、覚醒度が低下したと判定する。

　また、ウェアラブル装置３９及び／又はその他の測定装置を用いて、心拍、脈拍、及び脳波の少なくとも1種を検出できる場合には、それらの生体情報を用いて覚醒度を判定してもよい。或いは、顔画像から得られる覚醒度の情報に、これらの生体情報を加味して、より精度のよい覚醒度判定を行ってもよい。

　続くステップ３８０では、運転者の意識レベルが警告が必要なレベルか否かを判定する。ここで肯定判断されるとステップ３９０に進み、一方否定判断されるとステップ４００に進む。

　ステップ３９０では、意識レベルが低いので、その状況に対応した適切な警告を行う。具体的には、前記表３のレベル３の第２欄に対応する処理として、例えば「起きて下さい」又は「次のサービスエリアで休んで下さい」等の警告を行う。また、それとともに、運転者によるバックアップタスクを実施する際に必要な情報の提供を行い、即ち前記制御Ａを実施し、一旦本処理を終了する。

　一方、ステップ４００では、意識レベルが高いので、その状況に対応した適切な処理を行う。具体的には、前記表３のレベル３の第１欄に対応する処理として、例えば運転者によるバックアップタスクを実施する際に必要な情報を提供し、一旦本処理を終了する。

　なお、ここでは、車両制御装置３が実行する運転者監視処理について説明したが、同様な処理を、携帯端末１側で行ってもよい。
　例えば、携帯端末１にて、前記図８に示す運転者監視処理に必要な情報を、車両制御装置３側から受信し、その情報に基づいて、前記図８に示す運転者監視処理を実施してもよい。なお、警告や情報の提供については、上述したように、携帯端末１側で行ってもよいし、車両側で行ってもよい。

　［１－６．効果］
　以上詳述した第１実施形態によれば、以下の効果が得られる。
　（１ａ）本第１実施形態では、自車両の走行中に、例えば自動走行中に、自車両の運転者が携帯端末１の表示画面１１ａを見ているかどうかを、カメラ５によって撮影された画像に基づいて判定し、運転者が携帯端末１の表示画面１１ａを見ていると判定された場合には、警報を発することができる。

　また、自動走行中には、自動化のレベル及び／又は覚醒度の程度に応じて、車両側や携帯端末１側から、運転者のバックアップタスクに有用な監視情報を提供することができる。

　従って、運転の安全性が向上するという効果がある。
　（１ｂ）本第１実施形態では、自車両が自動運転中に、自動運転のレベルに応じて、警報の内容を設定するので、運転者はその警報の内容に応じて適切な対応をとることができる。

　（１ｃ）本第１実施形態では、カメラ５によって撮影された画像に基づいて、或いは、例えばウェアラブル装置３９等の他の装置からの情報に基づいて、運転者の意識状態の程度を判定し、その意識状態の程度に基づいて警報の内容を設定することができる。よって、運転者はその警報の内容に応じて適切な対応をとることができる。

　（１ｄ）本第１実施形態では、自車両において、周囲の状況を精度良く検出できない等の理由によって、運転者の操作が必要な場合又は運転者の操作の必要がありそうな場合、言い換えると、車両側にて、自動運転に適さない状態となった場合又は自動運転に適さない状態となることが予測される場合には、警報を発することができる。よって、運転者は容易に自動運転に代わって運転することが可能になるので、運転の安全性が向上する。

　（１ｅ）本第１実施形態では、自動走行が終了する条件が満たされた場合又は自動走行が終了することが予測される場合には、警報を発することができる。よって、運転者は容易に自動運転に代わって運転することが可能になるので、運転の安全性が向上する。

　（１ｆ）本第１実施形態では、自動運転によって自車両が目的に到着した場合には、到着した内容に関する警報を発することができる。
　［１－７．文言の対応関係］
　本第１実施形態における、表示画面１１ａ、カメラ５、携帯端末１、車両制御装置３、第１、第２の乗員状態判定部４３、６３、第１、第２の安全制御部４５、６９が、それぞれ、本開示における、表示画面、撮影装置、携帯機、車両制御装置、乗員状態判定部、安全制御部、に相当する。

　［２．第２実施形態］
　次に、第２実施形態について説明するが、前記第１実施形態と同様な内容については、説明を省略又は簡略化する。なお、第１実施形態と同様な構成については、同じ番号を使用して説明する。

　本第２実施形態では、前記表１のレベル３又はレベル４の制御を行っている場合に、運転の状況が変化した場合には、レベル１又はレベル２の制御を行うものである。
　（２ａ）レベル３からレベル１への切り替えの制御
　レベル３の場合で、且つ、運転者が携帯端末１を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル１の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。

　なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
　（２ｂ）レベル３からレベル２への切り替えの制御
　レベル３の場合で、且つ、運転者が携帯端末１を操作しており、且つ、運転者の操作が必要又は操作の必要がありそうな場合に、例えば道路の白線が認識できない場合に、レベル２の制御に切り替えるときには、例えば「監視タスクを代わって下さい」又は「前を見て運転して下さい」等の警告を行う。ここで、監視タスクとは、バックアップタスクが可能なような周囲等の監視に関する作業である。

　なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
　（２ｃ）レベル４からレベル１への切り替えの制御
　レベル４の場合で、例えば運転者が携帯端末１を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル１の制御に切り替えるときには、例えば「ステアリング操作を代わって下さい」等の警告を行う。

　なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
　（２ｄ）レベル４からレベル２への切り替えの制御
　レベル４の場合で、例えば運転者が携帯端末１を見て寝てても、自動走行が可能な条件が外れる又は外れそうになった場合、例えば自動走行可能区間が終了する又は終了しそうになった場合に、例えば道路の白線が認識できない状況となって、レベル２の制御に切り替えるときには、例えば「監視タスクを代わって下さい」又は「前を見て運転して下さい」等の警告を行う。

　なお、このときには、レベルの変化に応じて、車両の制御の切り替えを行う。
　［３．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は前記実施形態に限定されるものではなく、本開示の技術的範囲に属する限り種々の形態を採ることができる。

　（３ａ）例えば、上記実施形態では、前記表１～表３に示すように自動運転のレベルを区分したが、例えば下記表４に示すような他の自動運転のレベルの区分を採用してもよい。

　この場合、表４のレベル１、レベル２、レベル３、レベル４が、それぞれ、前記表１のレベル１、レベル２、レベル３、レベル４又は５に相当する。従って、対応するレベルに応じた警告等の制御を行えばよい。

　（３ｂ）前記実施形態では、携帯機としてスマートフォン等の携帯端末を例に挙げたが、それ以外に、操作する人を撮影できるカメラを備えるとともに、車両側と通信が可能な各種の携帯機を用いることができる。

　例えば、タブレット端末、スマート・ウォッチ、電子書籍用端末、ゲーム機、ノートパソコン等が挙げられる。
　（３ｃ）前記実施形態では、携帯端末又は車両制御装置にて、運転者監視処理を行ったが、運転者監視処理に必要な情報を、例えば基地局等に送信し、インターネットを介して例えばサーバ側にて運転者監視処理を行い、警告等を携帯端末及び／又は車両にて実施させるようにすることもできる。

　（３ｄ）前記実施形態では、自動運転を実施可能な車両を例に挙げたが、本開示は、自動運転を行わない車両にも適用できる。その場合は、前記図８の処理において、ステップ３００から、ステップ３２０に進み、その判定結果に応じて、ステップ３９０に進むか又は一旦本処理を終了する。つまり、その他のステップの処理は行わない。これによって、自動走行でない場合でも、走行中における安全性が一層向上するという利点がある。

　（３ｅ）覚醒度を判定する方法としては、上述した方法以外に、使用する携帯機に応じて各種の方法が挙げられる。例えば操作スイッチ、タッチパネル、キーボード、マウス、タッチパッド等の操作頻度、マイクからの発話に基づいて、覚醒度の判定を行ってもよい。

　つまり、携帯機の表示画面を見ている場合には、その表示画面の表示内容と連動して、適切な動作をしているか等によって、覚醒度を判定することができる。例えば適切な入力が要求されている場合に、適切な入力がされていない場合、或いは、その入力の頻度が少ない場合及び／又は入力の速度が遅い場合等には、覚醒度が低下していると判定することが可能である。

　（３ｆ）安全制御部にて警告を行う場合に、運転者に注意を喚起する方法としては、各種の方法が挙げられる。例えば、音、音声、光、振動、風、温度、及び自車両の走行状態の制御の少なくとも１種によって、警報を発したり、注意を喚起することができる（図９参照）。

　（３ｇ）携帯端末を把持及び／又は操作しているときには、携帯端末のカメラを起動して撮影し、その画像を用いて、運転者の状態を監視したり推定（従って判定）することができる。

　ここで、携帯端末が把持されていることは、例えば携帯端末のディスプレイがオンになって、何らかの画像等が表示されていることにより判定できる。また、携帯端末が操作されていることは、タッチパネル等により何からの操作がなされていることにより判定できる。さらに、この把持及び／又は操作を、Ｇセンサを用いて複合的に判断してもよい。

　或いは、車両に取り付けられたカメラ（例えばドライバカメラ等のカメラ）によって撮影された画像に基づいて、携帯端末の把持及び／又は操作を判断してもよい。
　なお、携帯端末が把持及び／又は操作されていないときには、車両のカメラによって、運転者の状態を監視したり推定することができる。

　（３ｈ）車両のカメラによって運転者の状態を監視したり推定することができるときに、携帯端末のカメラを起動して撮影して、運転者の状態を監視したり推定してもよい。これにより、運転者の状態の監視や推定の精度を上げることができる。

　なお、車両のカメラと携帯端末のカメラの両方で撮影する場合に、両方の画像を用いることができるが、どちらか一方の画像を用いてもよい。
　（３ｉ）車両のカメラで運転者の状態が把握できないとき、例えば顔画像が得られないとき及び／又は目の画像が得られないときには、携帯端末のカメラを起動して撮影することができる。

　（３ｊ）携帯端末のカメラで車両のカメラを代替できるときは、車両のカメラを使用しなくともよい。例えば、携帯端末が、車両の所定位置にクレードルやホルダによって取り付けられた場合、又は、例えば充電する位置に配置された場合などに、この携帯端末のカメラを車両のカメラの代わりに用いてもよい。

　また、車両にカメラが搭載されていない場合には、この携帯端末のカメラを、運転者の状態を判定するためのカメラとして使用してもよい。
　（３ｋ）運転者の状態を判定するための処理（例えば乗員状態判定部の処理）の一部又は全部を、携帯端末、自車両の制御装置（例えば自車両の動作を制御する車両制御装置）、他車両の制御装置（例えば他車両の動作を制御する車両制御装置）、及び車両以外の装置のうち、少なくとも１種にて行ってもよい（図１０参照）。

　例えば、携帯端末及び自車両の車両制御装置以外にて、上述した処理を行う場合には、携帯端末及び／又は自車両の車両制御装置の演算処理の負担を軽減できる。また、演算処理の負担を軽減することにより、携帯端末及び／又は自車両の車両制御装置にて又は他の装置にて、例えば複数回の判定や多くのデータを用いた判定処理を行うことができるので、判定精度を向上できる。

　なお、車両以外の装置としては、クラウドサーバなどが挙げられる。また、他車両としては、自動運転により連動して制御される複数のトラック等のうちの他車両が挙げられる。

　（３ｌ）携帯端末側のマイコンに、乗員状態判定部の一部又は全体の機能を配置することにより、通信量を低減することができる。
　（３ｍ）また、前記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

　（３ｎ）さらに、上述した運転者監視システムの他、当該運転者監視システムを構成要素とするシステム、当該運転者監視システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転者監視を行う方法など、種々の形態で本発明を実現することもできる。

　また、運転者監視システム、詳しくは車両制御装置や携帯機が実行する機能の一部又は全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

Claims

　運転者監視システムであって、
　表示画面（１１ａ）と該表示画面に対向する側を撮影可能に配置された撮影装置（５）とを備えた携帯機（１）と、
　自車両の制御を行う車両制御装置（３）と、
　の間で通信を行って、前記自車両の運転者を監視し、
　前記自車両の走行中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部（４３）と、
　前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する安全制御部（４５）と、
　を備えた運転者監視システム。
　運転者監視システムであって、
　表示画面（１１ａ）と該表示画面に対向する側を撮影可能に配置された撮影装置（５）とを備えた携帯機（１）と、
　自車両の制御を行う車両制御装置（３）と、
　の間で通信を行って、前記自車両の運転者を監視し、
　前記自車両の自動運転中に、該自車両の運転者が前記携帯機の表示画面を見ているかどうかを、前記撮影装置によって撮影された画像に基づいて判定する乗員状態判定部（４３）と、
　前記乗員状態判定部によって、前記運転者が前記携帯機の前記表示画面を見ていると判定された場合には、警報を発する制御及び前記運転者の運転に利用可能な情報を提供する制御のうち少なくとも一方の制御を行う安全制御部（４５）と、
　を備えた運転者監視システム。
　請求項２に記載の運転者監視システムであって、
　前記安全制御部は、前記自動運転のレベルに応じて、前記警報の内容を設定する、運転者監視システム。
　請求項２又は請求項３に記載の運転者監視システムであって、
　前記安全制御部は、前記自動運転のレベルに応じて、前記情報の提供を行う、運転者監視システム。
　請求項２から請求項４までのいずれか１項に記載の運転者監視システムであって、
　前記乗員状態判定部は、前記撮影装置によって撮影された画像に基づいて、前記運転者の意識状態の程度を判定し、
　前記安全制御部は、前記乗員状態判定部によって判定された前記運転者の意識状態の程度に基づいて、前記警報の内容の設定及び前記情報の提供のうち少なくとも一方を行う、運転者監視システム。
　請求項２から請求項５までのいずれか１項に記載の運転者監視システムであって、
　前記乗員状態判定部は、前記携帯機又は前記車両制御装置に設けられている、運転者監視システム。
　請求項２から請求項６までのいずれか１項に記載の運転者監視システムであって、
　前記安全制御部は、前記運転者の操作が必要な場合又は前記運転者の操作が必要となることが予測される場合には、前記警報を発する、運転者監視システム。
　請求項２から請求項７までのいずれか１項に記載の運転者監視システムであって、
　前記安全制御部は、前記自動運転が終了する条件が満たされた場合又は前記自動運転が終了することが予測される場合には、前記警報を発する、運転者監視システム。
　請求項２から請求項８までのいずれか１項に記載の運転者監視システムであって、
　前記安全制御部は、前記自動運転によって前記自車両が目的に到着した場合には、前記到着した内容に関する警報を発する、運転者監視システム。
　請求項１から請求項９までのいずれか１項に記載の運転者監視システムであって、
　前記安全制御部は、前記携帯機及び前記自車両の少なく一方から、前記警報を発する、運転者監視システム。
　請求項１から請求項１０までのいずれか１項に記載の運転者監視システムであって、
　前記安全制御部は、音、音声、光、振動、風、温度、及び前記自車両の走行状態の制御の少なくとも１種によって、前記警報を発する、運転者監視システム。
　請求項１から請求項１１までのいずれか１項に記載の運転者監視システムであって、
　前記運転者の状態を判定するための処理の一部又は全部は、前記携帯機、前記自車両の制御装置、他車両の制御装置、及び車両以外の装置のうち、少なくとも１種にて行う、運転者監視システム。
　請求項１２に記載の運転者監視システムであって、
　前記車両以外の装置とは、クラウドサーバである、運転者監視システム。