JP6701942B2 - ドライバ状態判定装置 - Google Patents

Description

本開示は、車両に搭載されるドライバ状態判定装置に関する。

車両のドライバの注意力を判定する技術が知られている。特許文献１には、次のような技術が開示されている。すなわち、ドライバの視線方向から視線方向の示す位置を検出し、検出した視線方向の示す位置等の視線行動データに基づいて状態判定を行う。ここでいう状態判定は、次のように行われる。すなわち、ドライバの状態を判定するための画像である判定画像がインストルメントパネルに備えられたディスプレイの表示画面に表示される。当該判定画像がディスプレイの表示画面に表示されてから、当該判定画像をドライバが視認するまでの時間を測定する。表示された判定画像に対してドライバが反応するまでの時間を測定することで、疲労、覚醒低下、集中力低下といったドライバの状態を判定する。この特許文献１に記載の構成では、判定画像を表示するディスプレイにおける表示位置は、固定されている。

特開２００２−２５０００号公報

しかしながら、特許文献１に記載の構成では、判定画像を表示する位置は、固定されているため、判定画像が表示画面に表示された時点でのドライバの視線方向に起因して、判定画像が表示画面に表示されてから表示画面に表示された判定画像に対してドライバが反応するまでの時間にばらつきが生じる。この時間のばらつきにより、表示された判定画像をドライバが視認するまでの時間に基づくドライバの状態の適正な判定は困難であった。

本開示は、こうした問題をかんがみてなされたものであり、その目的は、ドライバの視線方向に起因する、表示された判定画像をドライバが視認するまでの時間のばらつきを低減したドライバ状態判定装置を提供することにある。

本開示の一態様は、車両に搭載されるドライバ状態判定装置（５０）であって、視線取得部（５１、Ｓ１０３、Ｓ１０９）、表示調整部（５４、Ｓ１０４，Ｓ１０７）、反応時間算出部（５５、Ｓ１０８、Ｓ１１１）及び状態判定部（５７、Ｓ１１２）を備える。視線取得部は、車両のドライバの視線の方向である視線方向を取得する。表示調整部は、車両に搭載されたドライバの状態を判定するための判定画像を表示する表示器（４０）により表示される、判定画像を表示する位置を、視線取得部により取得された視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する。反応時間算出部は、視線取得部により取得された視線方向の変化に基づいて、ヘッドアップディスプレイにより判定画像が表示されてから当該判定画像をドライバが視認するまでの時間である反応時間を算出する。状態判定部は、反応時間算出部により算出された反応時間に基づいて、ドライバの状態を判定する。

このような構成によれば、判定画像を表示する位置を、視線取得部により取得された視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する。このため、判定画像が表示画面に表示された時点でのドライバの視線方向に起因する、判定画像が表示画面に表示されてから表示画面に表示された判定画像をドライバが視認するまでの時間のばらつきを低減することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

ドライバ状態判定システムの構成を示すブロック図である。 ドライバ状態判定装置の構成を機能的に示す機能ブロック図である。 ドライバ状態判定処理の流れの一例を示すフローチャートである。 ドライバ状態判定装置の判定画像を表示する輝度の算出方法を示す図である。 ドライバ状態判定装置の判定画像を表示する輝度の算出方法を示す図である。

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示すドライバ状態判定システム１は、車両に搭載され、カメラ１０、輝度計２０、センサ群３０、ヘッドアップディスプレイ４０、ドライバ状態判定装置５０及びディスプレイ６０を備えている。なお、ドライバ状態判定システム１を搭載している車両を以降では自車と呼ぶ。

カメラ１０は、自車のドライバの両眼を含む範囲を逐次撮像する。具体的には、カメラ１０は、インストルメントパネルの上面に、自車のドライバの両眼を撮像する向きに設置されている。なお、カメラ１０は、可視光領域の波長を用いて撮像するカメラでも赤外線カメラでもよい。

輝度計２０は、自車の前方の輝度を測定する。具体的には、輝度計２０は、ヘッドアップディスプレイ４０により表示される判定画像の表示位置の方向の輝度を測定する。ここでいう判定画像は、後述するドライバの反応時間を算出する際に使用される画像である。また、判定画像の表示位置は、ドライバ状態判定装置５０により設定される。この輝度計２０は、例えば自車のインストルメントパネルの上部に設けられ、光を受光する受光部を有する。輝度計２０は受光部を動かす可動部を有し、当該受光部は、受光部の受光できる方向がドライバから表示位置を視認する方向となるように動かされる。

センサ群３０は、自車の走行状態の情報及び自車の周辺の情報を測定する。走行状態の情報としては、例えば、自車の速度や燃費の異常変化等を示す情報が挙げられる。自車の周辺の情報としては、例えば、自車の周辺の歩行者、車両、障害物、標識及び白線など自車の周辺の人、物及び標示の情報や、自車の前方のカーブなど自車の周辺の道路の形状に関する情報等が挙げられる。

ヘッドアップディスプレイ４０は、フロントガラスに判定画像を投影して、ドライバが視認する自車前方の風景に判定画像を重畳表示することにより、ドライバに自車の走行情報及び自車の周辺の情報を提示する。ここでいう判定画像の重畳表示は、ドライバの前方における視認可能な位置であって、フロントガラスよりも更に前方の虚像面に判定画像が表示されるように行われる。また、本実施形態では、判定画像の重畳表示は、ヘッドアップディスプレイ４０の表示可能領域内における、ドライバ状態判定装置５０により設定された表示位置に、算出した輝度で、所定のタイミングで行われる。なお、ヘッドアップディスプレイ４０は、画像を形成する画像形成部と、画像形成部で形成された画像をフロントガラスに投影する部品を備える表示装置である。また、フロントガラス手前に透明のスクリーンであるコンバイナが配置され、コンバイナ及びフロントガラスを通して視認される自車前方の風景に重畳して画像が表示されるようにしてもよい。

ドライバ状態判定装置５０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ及びこれらを接続するバスを備え、後述する図３に示すドライバ状態判定処理を実行する装置である。ドライバ状態判定装置５０は、ＣＰＵがＲＯＭに記憶された制御プログラムを実行することで図２に示すように仮想的な構成要素を備える装置として機能する。すなわち、図２に示すように、ドライバ状態判定装置５０は、視線取得部５１、明るさ取得部５２、警報情報取得部５３、表示調整部５４、反応時間算出部５５、データ保持部５６及び状態判定部５７を備える。なお、ドライバ状態判定装置５０が実行する機能の一部又は全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

視線取得部５１は、カメラ１０からドライバの眼の画像を取得し、取得した画像に基づいて、ドライバの視線方向を算出する。具体的には、あらかじめ決められた視線方向の初期値をドライバが視認しているときの眼球位置からの水平方向及び垂直方向の眼球の回転角度から、左右それぞれの目について算出される。視線方向の初期値の設定は、所定の点を見る時の視線方向として、ドライバ状態判定装置５０の起動時に行われる。表示調整部５４及び反応時間算出部５５への視線方向の出力は、例えば１００ミリ秒ごとに行われる。

明るさ取得部５２は、輝度計２０から自車の前方の輝度を取得し、取得した輝度を表示調整部５４に出力する。表示調整部５４への輝度の出力は、例えば１秒ごとに行われる。
警報情報取得部５３は、センサ群３０から自車の走行状態の情報及び自車の周辺の情報を取得し、取得した自車の走行状態の情報及び自車の周辺の情報から表示すべき情報を判定し、表示すべき情報と判断された情報を警報情報として表示調整部５４に出力する。具体的には、例えば、表示すべき情報のうち自車の走行状態の情報及び自車の周辺の情報に含まれる各種の情報にはあらかじめスコアが設定されており、対応するスコアが最も高い情報が選定され、警報情報として表示調整部５４へ出力される。ドライバ状態判定装置５０の起動時はすべての情報のスコアは０である。センサ群３０が情報を取得すると、その情報に得点が与えられる。スコアは一定期間が経過すれば再び０に戻る。得点は重要な情報ほど高い値となっており、例えば前方車両、歩行者及び障害物の接近が７点、白線逸脱が６点、前方カーブの接近が５点、後側や側方からの車両の接近が４点、交差点における対向車及び歩行者の接近が３点、車速や燃費の異常変化が２点、標識及び優先道を走行する優先道車両の接近が１点などとする。警報情報が表示調整部５４に出力される間隔は例えば１秒ごととする。また、すべての情報のスコアが０である場合は、警報情報取得部５３による表示調整部５４への警報情報の出力はされない。

表示調整部５４は、視線取得部５１から視線方向を取得し、明るさ取得部５２から自車の前方の輝度を取得する。表示調整部５４は、取得した視線方向及び輝度に基づいて、判定画像を表示する位置及び輝度を算出する。表示調整部５４は、ヘッドアップディスプレイ４０に判定画像を出力させる制御を行い、ヘッドアップディスプレイ４０は、表示可能領域内の算出された位置に算出された輝度で、判定画像を出力する。具体的には、表示調整部５４は、警報情報取得部５３から警報情報を取得した場合、判定画像を表示する位置の算出を行う。表示調整部５４は、視線取得部５１から取得した視線方向の示す、虚像面上の位置に対してあらかじめ決められた量だけ虚像面上を変位した位置を算出位置とし、算出位置がヘッドアップディスプレイ４０の表示可能領域に含まれるか否か判定する。ここでいうあらかじめ決められた量とは、後述の反応時間の測定において、視線方向の変化が検出できる程度の量である。表示調整部５４は、算出位置がヘッドアップディスプレイ４０の表示可能領域外である場合には、視線取得部５１から再度視線方向の取得を行う。表示調整部５４は、算出位置がヘッドアップディスプレイ４０の表示可能領域内である場合には、当該算出位置を、判定画像を表示する表示位置に設定する。また、表示調整部５４は、明るさ取得部５２から取得した自車の前方の輝度に基づいて、判定画像を表示する表示輝度を算出する。具体的には、自車の前方が表示輝度に比べて明るい場合、すなわち、自車の前方の輝度があらかじめ設定された表示輝度に比べて大きい場合に、あらかじめ設定された表示輝度で判定画像を表示すると、ドライバが十分に判定画像を視認できないおそれや反応が遅れるおそれがある。そこで、ドライバが十分判定画像を視認できるように、自車の前方の輝度からあらかじめ設定された関数に従って表示輝度を算出し、表示輝度を設定し直す。なお、表示輝度は、図４が示すように自車の前方の輝度に対して段階的に設定される。すなわち、自車の前方の輝度が所定の水準以上だった場合に、表示輝度を調整し増加させる。表示調整部５４は、算出した当該表示輝度で、前述の表示位置に、判定画像を表示する。そして、前述の表示位置を反応時間算出部５５に出力する。

反応時間算出部５５は、視線取得部５１から視線方向を、表示調整部５４から表示位置を取得し、反応時間を算出する。具体的には、ヘッドアップディスプレイ４０に判定画像が表示された時点から時間の測定を始め、視線取得部から取得した視線方向の変化を検出することによりドライバが表示位置に表された表示位置を視認するまでの時間を反応時間として測定する。ここでいう視線方向の変化は、前述のヘッドアップディスプレイ４０において、虚像面上の視線方向の示す位置から表示位置までのあらかじめ決められた量だけドライバの視線の方向が変化することを示す。反応時間算出部５５は、算出された反応時間をデータ保持部５６及び状態判定部５７へ出力する。

データ保持部５６は、反応時間を一定回数分記録し、最新の反応時間の値を保持する。具体的には、例えば、データ保持部５６は、反応時間を複数回分記録し、ＦＩＦＯと略されるＦｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔのように、データ保持部５６に記録された反応時間のうち最も古い反応時間の記録に最新の反応時間の記録を上書きすることで、最新の反応時間の記録を保持する。

状態判定部５７は、データ保持部５６に保持されている過去一定回数分の反応時間及び最新の反応時間に基づいて、ドライバの現在の状態を判定し、ディスプレイ６に出力する。具体的には、過去一定回数分の反応時間の平均値を当該ドライバの通常時の反応時間とし、通常時の反応時間と最新の反応時間の値とを比較してドライバの現在の状態を判定する。ここで、ドライバの状態は、例えば、レベル５を最も適正なドライバ状態、レベル１を最も悪いドライバ状態としてレベル１〜５の５段階で判定される。

ディスプレイ６０は、ドライバ状態判定装置５０で判定されたドライバの状態を表示するための装置であって、例えば自車のインストルメントパネルにドライバが視認できるように設けられる液晶ディスプレイである。なお、ディスプレイ６０は前述のヘッドアップディスプレイ４０とは別に設けられる。

［２．処理］
次に、ドライバ状態判定装置５０が実行するドライバ状態判定処理について、図３のフローチャートを用いて説明する。

ここで、ドライバ状態判定処理は、自車のイグニッション電源がオンになったときに実行される。
Ｓ１０１で、ドライバ状態判定装置５０は、ドライバの視線方向及び反応時間の初期値の設定を行う。視線方向の初期値の設定は、次のように行われる。すなわち、ヘッドアップディスプレイ４０により表示される虚像面上の任意の位置にドライバに注視させるための注視画像が表示され、ドライバはヘッドアップディスプレイ４０による表示や自車に備えられたスピーカーからの音声などにより、その注視画像を一定時間見るように促される。この一定時間内の視線方向の平均値がドライバの視線方向の初期値として設定される。設定されたドライバの視線方向の初期値は、ドライバ状態判定装置５０により保持される。

Ｓ１０２で、ドライバ状態判定装置５０は、センサ群３０から取得した自車の走行状態の情報及び自車の周辺の情報のうち表示すべき情報があるか否かを判定する。表示すべき情報がない場合はＳ１０２を繰り返し、表示すべき情報がある場合にはＳ１０３に移行する。

Ｓ１０３で、ドライバ状態判定装置５０は、カメラ１０からドライバの眼の画像を取得し、取得した画像に基づいて、ドライバの視線方向を取得する。
Ｓ１０４で、ドライバ状態判定装置５０は、Ｓ１０３で算出された視線方向に基づいて、算出位置を算出し、当該算出位置がヘッドアップディスプレイ４０の表示可能域内に含まれるか否かを判定する。具体的には、算出位置は、次のように算出される。すなわち、視線方向を表す角度を水平角度ｘ、垂直角度ｙとすると、当該水平角度ｘ及び当該垂直角度ｙに対して、水平方向に角度θ及び垂直方向に角度φだけずらした方向である水平角度ｘ＋θ,垂直角度ｙ＋φの方向が示す虚像面上の位置が算出位置として算出される。なお、水平角度θ及び垂直角度φはあらかじめ決められた値である。つまり、算出位置は、虚像面において視線方向が示す位置から、水平方向及び垂直方向に所定の距離を変位した位置である。当該算出位置がヘッドアップディスプレイ４０の表示可能領域内に含まれないと判定された場合には、Ｓ１０３に戻り、ドライバの視線方向が変化することにより算出位置がヘッドアップディスプレイ４０の表示可能領域に含まれると判定されるまでＳ１０３及びＳ１０４の処理を繰り返す。一方、当該算出位置がヘッドアップディスプレイ４０の表示可能領域に含まれると判定された場合には、Ｓ１０６に移行する。

Ｓ１０５で、ドライバ状態判定装置５０は、輝度計２０から自車の前方の輝度を取得する。
Ｓ１０６で、ドライバ状態判定装置５０は、Ｓ１０５で取得した自車の前方の輝度に基づいて、判定画像を表示する輝度の算出を行う。

Ｓ１０７で、ドライバ状態判定装置５０は、算出位置及び算出した輝度でヘッドアップディスプレイ４０に判定画像を表示する。
Ｓ１０８で、ドライバ状態判定装置５０は、ヘッドアップディスプレイ４０に判定画像を出力した時点で、反応時間算出部５５のタイムカウンタを起動する。

Ｓ１０９で、ドライバ状態判定装置５０は、カメラ１０からドライバの眼の画像を取得し、取得した画像に基づいて、ドライバの視線方向を取得する。
Ｓ１１０で、ドライバ状態判定装置５０は、ドライバが判定画像を視認したか否かを判定する。具体的には、表示された判定画像の中心位置から一定の角度閾値Ｒの範囲に、一定の時間閾値Τ以上の間、視線方向が示す位置がある場合に、ドライバが判定画像を視認したと判定される。この際、角度閾値Ｒや時間閾値Ｔは、各ドライバに共通の値を用いても、各ドライバごとに設定してもよい。Ｓ１１０でドライバが判定画像を視認していないと判定された場合には、Ｓ１０９に戻る。Ｓ１１０でドライバが判定画像を視認していると判定された場合には、Ｓ１１１へ移行する。

Ｓ１１１で、ドライバ状態判定装置５０は、タイムカウンタを停止する。ドライバ状態判定装置５０は、タイムカウンタの開始から停止までの時間を算出し、算出した時間を最新の反応時間としてデータ保持部５６に保存する。

Ｓ１１２で、ドライバ状態判定装置５０は、Ｓ１１１でデータ保持部５６に保存された過去一定回数分の反応時間及び最新の反応時間を用いて、ドライバ状態を判定する。ドライバ状態の判定は、保存されている過去一定回数分の反応時間から過去一定回数分の反応時間の平均値と標準偏差を算出し、算出した結果及び最新の反応時間とを比較することで、５段階で判定される。具体的には、最新の反応時間と、過去一定回数分の反応時間の平均値＋定数ａ×標準偏差との関係から、ドライバ状態は判定される。すなわち、最新の反応時間を反応時間＝過去一定回数分の反応時間の平均値＋定数ａ×標準偏差と表したときに、定数ａが１以下の場合をレベル５、定数ａが１よりも大きく１．５以下の場合をレベル４、定数ａが１．５よりも大きく２以下の場合をレベル３、定数ａが２よりも大きく２．５以下の場合をレベル２、定数ａが２．５よりも大きい場合をレベル１とする。

Ｓ１１３で、ドライバ状態判定装置５０は、算出したドライバ状態を表す画像をディスプレイ６０に表示することで自車のドライバに報知し、Ｓ１０２に戻り、以上の処理を繰り返す。

なお、ドライバ状態判定装置５０は、Ｓ１０３及びＳ１０９の処理を実行することで視線取得部５１として機能し、Ｓ１０５の処理を実行することで明るさ取得部５２として機能し、Ｓ１０２の処理を実行することで警報情報取得部５３として機能し、Ｓ１０４及びＳ１０７の処理を実行することで表示調整部５４として機能し、Ｓ１０８及びＳ１１１の処理を実行することで反応時間算出部５５として機能し、Ｓ１１２の処理を実行することで、状態判定部５７として機能する。

［３.効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）本実施形態のドライバ状態判定装置５０によれば、より高い精度でドライバ状態を判定することができる。すなわち、ドライバ状態判定装置５０は、判定画像を表示する位置を視線取得部５１により取得された視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する。視線方向に基づいて判定画像の表示位置が調整されるため、判定画像を表示する位置が固定されている場合と比較して、ドライバの視線方向の示す位置と表示位置との距離のばらつきによって生じる反応時間のばらつきを低減することができる。その結果、反応時間のばらつきを低減した高精度のドライバ状態の判定を行うことができる。

（１ｂ）さらに、本実施形態では、算出位置は虚像面において視線方向が示す位置から、水平方向及び垂直方向に所定の距離を変位した位置である。つまり、視線方向の示す位置に対してあらかじめ決められた量だけ変位した位置を算出位置とし、算出位置を表示位置として判定画像の表示を行う。本実施形態でいうあらかじめ決められた量とは、虚像面上の一定の距離及び方向である。すなわち、視線方向の示す位置と表示位置との虚像面上の距離及び方向が一定になることで、視線方向の示す位置と表示位置との虚像面上の距離及び方向のばらつきによって生じる反応時間のばらつきを低減することができる。その結果、ドライバの視線方向の示す位置と表示位置との距離及び方向を一定の値に設定しない場合と比較して、より高精度のドライバ状態の判定を行うことができる。

（１ｃ）さらに、当初の算出位置が表示可能領域に含まれない場合は、ドライバの視線方向が変化することにより算出位置が変化し、算出位置がヘッドアップディスプレイ４０の表示可能領域に含まれると判定されるまで判定画像を表示しない。すなわち、算出位置に判定画像が表示できるまで、表示タイミングを変えることで、当初の算出位置が表示可能領域に含まれない場合にも、表示タイミングを変えない場合と比較して、反応時間のばらつきを低減し、より高精度のドライバ状態の判定を行うことができる。

（１ｄ）本実施形態のドライバ状態判定装置５０によれば、反応時間に対する自車の前方の輝度による影響を小さくすることにより、より精度の高いドライバの状態判定が可能になる。すなわち、輝度計２０によって測定された自車の前方の輝度に基づいて、判定画像を表示する輝度の算出が行われ、算出された輝度で判定画像が表示される。すなわち、自車の前方が明るい場合は判定画像を表示する輝度を増加し表示を明るくすることで、自車の前方が明るい場合にドライバが判定画像を視認しにくくなることによって反応時間が影響を受けることを抑制する。これにより、反応時間に対する自車の前方の輝度の大小による影響が小さくなり、自車の前方の明るさに応じて判定画像を表示する輝度の調整を行わない場合と比較して、より精度の高いドライバの状態判定が可能になる。

（１ｅ）さらに、本実施形態のドライバ状態判定装置５０によれば、ドライバが判定画像を視認しやすくなり、より精度の高いドライバの状態判定が可能になる。すなわち、輝度計２０は受光部を動かす可動部を有し、受光部は判定画像の表示位置の方向の輝度を測定するために動かされる。ドライバから表示位置を視認する方向となるように受光部が動かされることによって、判定画像の表示位置の方向に受光部を向け、判定画像の表示位置の方向の輝度を計測し、判定画像の表示位置の方向の輝度に応じて判定画像を表示する輝度を調整することができる。よって、輝度計２０が受光部を動かす可動部を有しない場合と比較して、ドライバが判定画像を視認しやすくなり、より精度の高いドライバの状態判定が可能になる。

［４．他の実施形態］
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施できる。

（２ａ）上記実施形態では、カメラ１０は、インストルメントパネルの上面に設置されているとしたが、カメラ１０が設置される位置は、インストルメントパネルの上面に限定されるものではない。カメラ１０が設置される位置は、例えば、ステアリングコラムカバーの上面部など、自車のドライバの両眼を撮像できる位置であればよい。また、上記実施形態では、カメラ１０は自車に設置されるとしたが、カメラは自車に設置されるものに限定されるものではない。例えば、ドライバの両眼を撮像するカメラはヘッドセットに備えられ、当該ヘッドセットをドライバが装着することでカメラがドライバの両眼を撮像するという形態でもよい。

（２ｂ）上記実施形態では、視線取得部５１は、カメラ１０からドライバの眼の画像を取得し、取得した画像に基づいて、ドライバの視線方向を算出するとしたが、ドライバの視線方向の算出方法はこれに限定されるものではない。例えば、ドライバの眼に近赤外光を照射し、反射光から瞳孔の位置関係を検出する方法でドライバの視線方向が算出されてもよい。

（２ｃ）上記実施形態では、判定画像を表示する表示器はヘッドアップディスプレイ４０であるとしたが、判定画像を表示する表示器はこれに限定されるものではない。例えば、液晶ディスプレイや有機ＥＬディスプレイなどを用いて、判定画像が表示されてもよい。具体的には、液晶ディスプレイや有機ＥＬディスプレイは、インストルメントパネルの上面など、表示器が判定画像を表示した際に、ドライバが判定画像を視認できるような位置に配置される。当該液晶ディスプレイや有機ＥＬディスプレイなどを用いて、判定画像が表示されてもよい。この場合、判定画像はフロントガラスに重畳表示されないので、ヘッドアップディスプレイ４０を用いる場合に比べ、前方の明るさによる影響を受けにくいためドライバの判定画像に対する視認しやすさが向上する。

（２ｄ）上記実施形態では、輝度計２０が可動部を有し、受光部は受光部の受光できる方向がドライバから表示位置を視認する方向となるように動かされるとしたが、輝度計の構成はこれに限定されるものではない。例えば、複数の輝度計を複数の方向の輝度を測定できるように並べ、ドライバから表示位置を視認する方向を向いた輝度計から輝度を測定してもよい。具体的には、複数の輝度計を格子状に並べ、自車の前方の輝度を格子状に分割して測定できるような方向を向いて配置される。この場合、輝度計を物理的に動かすことなくドライバから表示位置を視認する方向の輝度を測定することができる。

（２ｅ）上記実施形態では、自車の前方の輝度を測定するために輝度計２０を用いたが、自車の前方の輝度を測定するための構成はこれに限定されるものではない。例えば、照度センサや、イメージセンサを用いてもよい。輝度計２０の代わりにカメラなどのイメージセンサを用いた場合には、イメージセンサにより測定された画素値を、輝度計２０により測定された自車の前方の輝度に代えて明るさ取得部に出力してもよい。この場合、ドライバの視線方向の示す位置に相当する位置の画素値を自車の前方の輝度に代えて出力してもよい。

（２ｆ）上記実施形態では、判定画像の表示輝度は、図４が示すように自車の前方の輝度に対して段階的に設定されるが、自車の前方の輝度に対する表示輝度の設定は図４に示すような段階的に設定されるようなものに限定されるものではない。例えば、図５に示すように、設定される表示輝度は自車の前方の輝度に対して、線形的に変化するものであってもよい。

（２ｇ）上記実施形態では、ディスプレイ６０を設置し、ドライバ状態を表示するが、ドライバ状態を表示する対象はこれに限定されるものではない。例えば、ヘッドアップディスプレイ４０にドライバ状態を表示してもよい。このような構成によれば、ヘッドアップディスプレイ４０をドライバ状態の表示に流用することができる。すなわち、ヘッドアップディスプレイ４０にドライバ状態を表示してからの反応時間を測定することで新たにドライバ状態を測定することができる。これにより、ドライバ状態の測定回数を増やすことができ、より高精度なドライバ状態の判定を行うことができる。また、ドライバ状態を判定した後の処理は、ドライバ状態を表示する処理に限定されるものではない。すなわち、判定されたドライバ状態に応じて、ドライバ状態を表示する処理に代えて又はドライバ状態を表示する処理と共に、自車の加減速などの制御を行う処理としてもよい。

（２ｈ）上記実施形態では、視線方向及び反応時間の初期値の設定が行われる際に、設定される初期値はドライバ状態判定処理が行われるごとに変更されるが、初期値の設定の方法は、これに限定されるものではない。すなわち初期値の設定は、ドライバを認識しドライバごとに変更される構成としてもよいし、ドライバの状況や自車の走行状況に応じて変更される構成としてもよい。また、上記実施形態では、設定された初期値は、ドライバ状態判定装置５０により保持されるが、設定された初期値はドライバ状態判定装置５０により保持される構成に限定されるものではない。例えば、ドライバ状態判定装置５０が自車の外部のサーバと通信し、設定された初期値は、当該外部のサーバに保持され通信によってドライバ状態判定装置５０に取得される構成としてもよい。

（２ｉ）上記実施形態では、算出位置は視線方向の示す位置に対してあらかじめ決められた量だけ変位した位置であり、このあらかじめ決められた量は、虚像面上の一定の距離及び方向である。しかしあらかじめ決められた量は、これに限定されるものではない。例えば虚像面上の距離が一定で方向が一定でないものでもよい。このような場合には、方向が限定されないため、虚像面上の距離及び方向の両方が一定である場合に比べ、算出位置が表示可能領域内に入りやすくなる。算出位置が表示領域内に入りやすくなることで、判定画像の表示を行いやすくなる。

（２ｊ）上記実施形態では、視線取得部５１で取得されたドライバの視線方向及び明るさ取得部５２で取得された自車の前方の明るさによって、表示位置及び表示輝度が調整されたが、表示位置及び表示輝度を調整する構成はこれに限定されるものではない。例えば、ヘッドアップディスプレイ４０の表示可能域内に算出位置が含まれない場合には、算出位置を基準とした表示可能領域内の位置を再度算出し、再算出位置とする。そして、当該再算出位置に判定画像を表示する構成としてもよい。例えば、視線方向が示す位置に対してあらかじめ決められた角度θ及び角度φだけ変位した算出位置から、表示域内に含まれるために必要なだけ角度θ及び角度φを更に調整した再算出位置に、判定画像を表示する構成としてもよい。このような構成によれば、表示可能領域内に算出位置が入っていない場合にも、判定画像の表示を行うことができるため、視線方向が変わることで算出位置が表示可能領域内に入るまで、視線方向を算出する処理を繰り返す必要がなく、判定画像の表示を行うことができる。

さらに、調整した角度θ及び角度φの大きさに応じて、表示輝度を調整して表示する構成としてもよい。すなわち、算出位置と再算出位置とのずれに応じて、判定画像の表示輝度の調整を行う構成としてもよい。例えば、表示可能領域内に算出位置が入っていた場合の角度θ及び角度φと比較して、角度θ及び角度φが大きい場合には、表示可能領域内に算出位置が入っていた場合と比較して判定画像の表示輝度を大きくする構成としてもよい。この場合には、視線方向が変わることで算出位置が表示可能領域内に入るまで、視線方向を算出する処理を繰り返す必要がなく、判定画像の表示を行うことができる効果に加えて、次の効果が得られる。すなわち、判定画像の表示輝度を大きくすることにより、再算出位置に判定画像を表示する場合にも、判定画像の表示輝度を変更しない場合に比べて、ドライバから見た判定画像の表示に対する気づきやすさを向上させることができる。その結果、算出位置が表示可能領域内に入っていなかった場合に、ヘッドアップディスプレイ４０の再算出位置に判定画像を表示した場合にも、視線方向と算出位置との距離の変化により、反応時間にばらつきが生じることを抑制することができる。その結果、より精度の高いドライバ状態の判定が可能になる。

（２ｋ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｌ）本開示は、前述したドライバ状態判定装置５０の他、ドライバ状態判定装置５０を構成要素とする車載システム、ドライバ状態判定装置５０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、運転支援方法など、種々の形態で実現することができる。

なお、本開示は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

１…ドライバ状態判定システム、１０…カメラ、２０…輝度計、３０…センサ群、４０…ヘッドアップディスプレイ、５０…ドライバ状態判定装置、５１…視線取得部、５２…明るさ取得部、５３…警報情報取得部、５４…表示調整部、５５…反応時間算出部、５６…データ保持部、５７…状態判定部、６０…ディスプレイ。

Claims (10)

1. 車両に搭載されるドライバ状態判定装置（５０）であって、
   前記車両のドライバの視線の方向である視線方向を取得する視線取得部（５１、Ｓ１０３、Ｓ１０９）と、
   前記車両に搭載された前記ドライバの状態を判定するための判定画像を表示する表示器（４０）により表示される、前記判定画像を表示する位置を、前記視線取得部により取得された前記視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する表示調整部（５４、Ｓ１０４、Ｓ１０７）と、
   前記視線取得部により取得された前記視線方向の変化に基づいて、前記表示器により前記判定画像が表示されてから当該判定画像を前記ドライバが視認するまでの時間である反応時間を算出する反応時間算出部（５５、Ｓ１０８、Ｓ１１１）と、
   前記反応時間算出部により算出された前記反応時間に基づいて、前記ドライバの状態を判定する状態判定部（５７、Ｓ１１２）と、
   少なくとも１つの輝度計（２０）により測定された前記車両の前方の明るさを取得する明るさ取得部（５２、Ｓ１０５）と、
   を備え、
   前記表示調整部は、前記明るさ取得部により取得された前記車両の前方の明るさに応じて、前記判定画像の表示輝度の調整を行う、
   ドライバ状態判定装置。
2. 請求項１に記載のドライバ状態判定装置であって、
   前記輝度計の受光部の受光できる方向が、前記ドライバから前記表示位置を視認する方向となるように前記受光部を動かす可動部を有する、ドライバ状態判定装置。
3. 請求項１又は請求項２に記載のドライバ状態判定装置であって、
   前記明るさ取得部は、前記車両の前方であって、明るさを取得する方向の異なる、複数の前記輝度計のうち、前記ドライバから前記表示位置を視認する方向を向いた前記輝度計から前記明るさを取得する、ドライバ状態判定装置。
4. 請求項１から請求項３までのいずれか１項に記載のドライバ状態判定装置であって、
   前記表示調整部は、前記算出位置が前記表示器の表示可能領域内に含まれない場合には、前記算出位置を基準とする表示可能領域内の位置を算出し、当該算出した再算出位置に前記表示位置を調整する、ドライバ状態判定装置。
5. 請求項４に記載のドライバ状態判定装置であって、
   前記表示調整部は、前記算出位置と前記再算出位置とのずれに応じて前記判定画像の表示輝度の調整を行う、ドライバ状態判定装置。
6. 車両に搭載されるドライバ状態判定装置（５０）であって、
   前記車両のドライバの視線の方向である視線方向を取得する視線取得部（５１、Ｓ１０３、Ｓ１０９）と、
   前記車両に搭載された前記ドライバの状態を判定するための判定画像を表示する表示器（４０）により表示される、前記判定画像を表示する位置を、前記視線取得部により取得された前記視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する表示調整部（５４、Ｓ１０４、Ｓ１０７）と、
   前記視線取得部により取得された前記視線方向の変化に基づいて、前記表示器により前記判定画像が表示されてから当該判定画像を前記ドライバが視認するまでの時間である反応時間を算出する反応時間算出部（５５、Ｓ１０８、Ｓ１１１）と、
   前記反応時間算出部により算出された前記反応時間に基づいて、前記ドライバの状態を判定する状態判定部（５７、Ｓ１１２）と、
   を備え、
   前記表示調整部は、前記算出位置が前記表示器の表示可能領域内に含まれない場合には、前記算出位置を基準とする表示可能領域内の位置を算出し、当該算出した再算出位置に前記表示位置を調整し、
   前記表示調整部は、前記算出位置と前記再算出位置とのずれに応じて前記判定画像の表示輝度の調整を行う、
   ドライバ状態判定装置。
7. 請求項１から請求項３までのいずれか１項に記載のドライバ状態判定装置であって、
   前記表示調整部は、前記算出位置が前記表示器の表示可能領域内に含まれない場合に、前記判定画像の表示タイミングの調整を行う、ドライバ状態判定装置。
8. 車両に搭載されるドライバ状態判定装置（５０）であって、
   前記車両のドライバの視線の方向である視線方向を取得する視線取得部（５１、Ｓ１０３、Ｓ１０９）と、
   前記車両に搭載された前記ドライバの状態を判定するための判定画像を表示する表示器（４０）により表示される、前記判定画像を表示する位置を、前記視線取得部により取得された前記視線方向に基づいて算出し、当該算出した算出位置に判定画像の表示位置を調整する表示調整部（５４、Ｓ１０４、Ｓ１０７）と、
   前記視線取得部により取得された前記視線方向の変化に基づいて、前記表示器により前記判定画像が表示されてから当該判定画像を前記ドライバが視認するまでの時間である反応時間を算出する反応時間算出部（５５、Ｓ１０８、Ｓ１１１）と、
   前記反応時間算出部により算出された前記反応時間に基づいて、前記ドライバの状態を判定する状態判定部（５７、Ｓ１１２）と、
   を備え、
   前記表示調整部は、前記算出位置が前記表示器の表示可能領域内に含まれない場合に、前記判定画像の表示タイミングの調整を行う、
   ドライバ状態判定装置。
9. 請求項１から請求項８までのいずれか１項に記載のドライバ状態判定装置であって、
   前記表示調整部は、前記視線方向の示す位置に対してあらかじめ決められた量だけ変位した位置を前記算出位置とする、ドライバ状態判定装置。
10. 請求項１から請求項９までのいずれか１項に記載のドライバ状態判定装置であって、
    前記表示器はヘッドアップディスプレイである、ドライバ状態判定装置。

Images