JP5321303B2 - 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム - Google Patents

Description

本発明は、居眠り判定装置及びプログラム並びに警報出力装置及びプログラムに関する。

従来、被験者の眼球運動に基づいて、入眠時のゆっくりとした眼球運動（ＳＥＭ：Slow Eye Movement）を検出することで、居眠りを検出する手法が知られている（特許文献１及び２を参照）。

特許文献１には、眼球運動のデータを２種類のフィルタ（０．０３〜１ＨｚのフィルタＡと、１〜２００ＨｚのフィルタＢ）を用いて分離し、各フィルタの出力をＡ、Ｂとした場合に、Ａ＋Ｂがある振幅（設定値１）以上で、さらにＡ／Ｂがある設定した値（設定値２）以上であれば、ＳＥＭと判断する睡眠状態検出装置が開示されている。

特許文献２には、水平方向のＥＯＧ（眼球運動の眼電位）波形と予め用意されたＳＥＭの基準波形（テンプレート）との相関をみて、相関関数の演算結果が所定の閾値を超えている場合にＳＥＭが発生していると判定する居眠り判定装置が開示されている。

特許第３７３５６０３号公報 特開２００６−１３６５５６号公報

しかし、特許文献１の技術は、睡眠を容易に監視することができるが、サッケード（見たい対象に素早く眼球を動かし視点を移動する眼球運動）とＳＥＭとを区別することができない。このため、特許文献１の技術は、居眠りのみを正確に検出できないという問題がある。特許文献２の技術は、テンプレートを変化させながらデータとの相関関係を求めるので、計算量が多くなり、その結果ＳＥＭの判定時間が遅くなる問題がある。

本発明は、上述した課題を解決するために提案されたものであり、短時間で正確に居眠りを判定する居眠り判定装置及びプログラム並びに警報出力装置及びプログラムを提供することを目的とする。

本発明に係る居眠り判定装置は、被験者の眼球位置を検出し、当該眼球位置を示す眼球位置信号を出力する眼球位置検出手段と、前記眼球位置信号に基づいて算出された眼球運動速度が、予め設定された範囲にある場合を緩徐眼球運動として検出する緩徐眼球運動検出手段と、前記緩徐眼球運動検出手段により緩徐眼球運動が検出された場合に、前記被験者は居眠り状態であると判定すると共に、前記眼球位置信号を微分して求めた眼球運動速度が所定の設定値を超えた場合、または、被験者の顔の水平方向の回転加速度を示す顔回転加速度信号を積分して求めた水平方向の顔回転速度が所定の設定値を超えた場合には、
該所定の設定値を越えたときから所定時間内は、前記被験者は居眠り状態でないと判定する居眠り判定手段と、を備えている。

本発明に係る警報出力装置は、請求項１から請求項４のいずれか１項に記載の居眠り判定装置と、前記居眠り判定装置により居眠りと判定された場合に、警報を出力する警報出力手段と、を備えている。

本発明に係る居眠り判定装置及びプログラムは、短時間で正確に居眠りを判定することができる。

本発明に係る警報出力装置及びプログラムは、短時間で正確に警報を出力することができる。

本発明の第１の実施形態に係る居眠り判定装置の構成を示すブロック図である。 カメラが車載型カメラとして運転席に設けられた状態を示す図である。 緩徐眼球運動検出部のアルゴリズムを説明するための機能的な構成を示すブロック図である。 水平方向の眼球運動速度（傾き）及び振幅を説明する図である。 ＳＥＭ検出ルーチンを示すフローチャートである。 反応時間予測部に記憶されているルックアップテーブルを示す図である。 眼球運動信号としてサイン関数を用いた場合の緩徐眼球運動検出部のシミュレーション結果を示す図である。 ルックアップテーブルを作成するための反応課題実験の結果を示す図である。 ドライビングシミュレータ上で居眠り運転による事故が発生したときの（Ａ）眼球運動信号の波形と（Ｂ）車両の横方向の位置を示す図である。 本発明の第２の実施形態に係る居眠り判定装置の構成を示すブロック図である。 本発明の第２の実施形態に係る緩徐眼球運動検出部２０のアルゴリズムを説明するための機能的な構成を示すブロック図である。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る居眠り判定装置の構成を示すブロック図である。居眠り判定装置は、被験者を撮像するカメラ１０と、カメラ１０からの顔画像に基づいて緩徐眼球運動（ＳＥＭ）を検出する緩徐眼球運動検出部２０と、警報を出力する警報出力部４０と、被験者の反応時間（飛び出し等のイベントが発生して被験者が行動を開始するまでの時間）を予測する反応時間予測部５０と、予測された反応時間に基づいて車両挙動を制御するアシストシステム６０と、を備えている。

上記居眠り判定装置は例えば車両に搭載可能であり、この場合、カメラ１０は車載型カメラとして被験者（ドライバ）を撮像する。

図２は、カメラ１０が車載型カメラとして運転席に設けられた状態を示す図である。同図に示すように、カメラ１０は、車両を運転する被験者の顔を撮像して顔画像を生成し、生成した顔画像を緩徐眼球運動検出部２０へ供給する。

図３は、緩徐眼球運動検出部２０のアルゴリズムを説明するための機能的な構成を示すブロック図である。緩徐眼球運動検出部２０は、顔画像に基づいて眼球運動として被験者の眼球の位置を示す眼球位置信号を検出する眼球運動検出部２１と、眼球位置信号の高周波成分を除去するローパスフィルタ２２と、眼球位置信号を微分して眼球運動速度信号を出力する微分器２３と、眼球運動速度信号が示す速度のゼロクロス点を検出するゼロクロス点検出器２４と、最新のゼロクロス点を更新する最新ゼロクロス点更新部２５と、眼球が緩徐眼球運動をしているか否かを算出する緩徐眼球運動算出部２６と、サッケード（急速眼球運動）を検出するサッケード検出器２７と、を備えている。

緩徐眼球運動検出部２０は、さらに、被験者の顔の回転を示す顔回転加速度信号を検出する顔回転検出部２８と、顔回転加速度信号を積分する積分器２９と、前庭性眼球運動をしているか否かを算出する前庭性眼球運動算出部３０と、積分器３１と、積分器３２と、縦方向の顔角度を検出する縦方向顔角度算出部３３と、論理積演算器である居眠り判定部３４と、を備えている。

眼球運動検出部２１は、カメラ１０で生成された顔画像に基づいて、被験者の眼球位置を検出し、検出した眼球位置を追跡することで、眼球の水平方向の位置を示す水平眼球位置データＨを検出する。

ローパスフィルタ２２は、例えばカットオフ周波数が３０Ｈｚであり、眼球運動検出部２１で検出された水平眼球位置データＨを微分して水平眼球運動速度データＨ’を出力することで、高域のノイズ成分を除去する。

微分器２３は、ローパスフィルタ２２でノイズ成分の除去された眼球位置信号を微分して、眼球運動の速度を示す眼球運動速度信号を出力する。ゼロクロス点検出器２４は、微分器２３で演算された眼球運動速度信号の示す速度がゼロになるゼロクロス点を検出する。

最新ゼロクロス点更新部２５は、ゼロクロス点検出器２４で新たなゼロクロス点が検出される毎に、最新のゼロクロス点を更新して記憶する。

緩徐眼球運動算出部２６は、ローパスフィルタ２２から出力された水平眼球位置データＨを用いて、最新ゼロクロス点更新部２５で記憶されている最新のゼロクロス点の時刻を基準にして、現時点における水平方向の眼球運動速度（傾き）及び振幅を算出する。なお、以下の説明では、眼球の水平方向の振幅は、角度（被験者の顔の水平方向周りを円周とみなした場合のゼロクロス点の眼球位置に対する現時点の眼球位置の角度）に換算して表す。

図４は、水平方向の眼球運動速度（傾き）及び振幅を説明する図である。ここでは、緩徐眼球運動算出部２６は、最新のゼロクロス点を基準にして、現時点の水平方向の位置を振幅として検出し、現時点までの時間長に対する現時点の水平方向の位置の傾きを眼球運動速度として検出する。

そして、緩徐眼球運動算出部２６は、水平方向の眼球運動速度及び振幅がそれぞれ予め設定された範囲にある場合、被験者にＳＥＭが発生したことを示すtrue信号（論理“１”）を出力する。なお、緩徐眼球運動算出部２６は、水平方向の眼球運動速度及び振幅の少なくとも１つがそれぞれ予め設定された範囲にない場合、false信号（論理“０”）を出力する。

サッケード検出器２７は、微分器２３から出力された眼球運動速度信号の示す眼球運動速度と所定の閾値とを比較して、眼球運動の速度が閾値以下である場合は、その眼球運動はサッケードでないのでtrue信号を出力し、眼球運動の速度が閾値を超えている場合は、その眼球運動はサッケードであるので、眼球運動速度が所定の閾値を超えてから所定時間まではfalse信号を出力する。サッケードとは急速眼球運動であり、サッケード運動後に、動いている物体を追跡する追跡眼球運動が行われるため、ＳＥＭの判定の際に追跡眼球運動を除去するためである。

顔回転検出部２８は、カメラ１０で生成された顔画像に基づいて、被験者の顔の水平方向及び鉛直方向の回転加速度を示す顔回転加速度信号をそれぞれ検出する。積分器２９は、顔回転検出部２８で検出された水平方向の顔回転加速度信号を積分して、水平方向の顔回転速度信号を検出する。

前庭性眼球運動算出部３０は、積分器２９で演算された水平方向の顔回転速度が予め設定された閾値ｕ以上である場合は、その時点から所定時間内の眼球運動信号の変化を無視するために所定期間内はfalse信号を出力し、閾値未満である場合はtrue信号を出力する。

水平方向の顔回転速度が予め設定された閾値ｕ以上である場合は、前庭動眼反射（ＶＯＲ：回転が与えられたときに眼球が頭部と逆方向に動く前庭器官を受容体とする反射）が生じる可能性があり、この前庭動眼反射を除去するためである。

一方、顔回転検出部２８から出力された鉛直方向の顔回転加速度信号は、２つの積分器３１、３２を介して、鉛直方向の顔回転角度を示す顔回転角度信号となる。縦方向顔角度算出部３３は、積分器３２から供給される顔回転角度信号が予め設定された閾値ｔｈ以下の場合、true信号を出力し、閾値ｔｈを超えている場合はfalse信号を出力する。顔回転角度信号が予め設定された閾値ｔｈ以下の場合、被験者の危険状態（居眠り又は脇見）の可能性があり、警報を出力する必要があるからである。

居眠り判定部３４は、緩徐眼球運動算出部２６、最新ゼロクロス点更新部２５、前庭性眼球運動算出部３０、及び縦方向顔角度算出部３３から出力された各信号の論理積を演算し、その演算結果を示す信号を図１に示す警報出力部４０及び反応時間予測部５０へ出力する。

なお、居眠り判定部３４の出力信号は、true信号（ハイレベル信号）の場合は被験者にＳＥＭが発生していることを示し、false信号（ローレベル信号）の場合は被験者にＳＥＭが発生していないことを示す。

以上のように構成された居眠り判定装置では、次の緩徐眼球運動（ＳＥＭ）検出ルーチンが行われる。

図５は、ＳＥＭ検出ルーチンを示すフローチャートである。図１に示すカメラ１０により被験者の顔が撮像されると、図４に示すステップＳ１の処理に進む。

ステップＳ１では、眼球運動検出部２１は、カメラ１０で生成された顔画像に基づいて、被験者の眼球の水平方向の位置を示す水平眼球位置データＨを検出して取得する。この水平眼球位置データＨは、例えば１００ｍｓ毎に２秒間取得される。なお、サンプリング周波数は特に限定されるものではない。そして、ローパスフィルタ２２は、眼球運動検出部２１で検出された水平眼球位置データＨの微分値である水平眼球運動速度データＨ’を算出して出力する。そして、ステップＳ２へ進む。

ステップＳ２では、微分器２３は、ローパスフィルタ２２から出力された水平眼球位置データＨの微分値である水平眼球運動速度データＨ’を算出する。そして、ステップＳ３へ進む。

ステップＳ３では、ゼロクロス点検出器２４は、微分器２３から出力された水平眼球運動速度データＨ’からゼロクロス点（Ｉ）の有無を検出する。そして、ステップＳ４に進む。

ステップＳ４では、最新ゼロクロス点更新部２５は、ゼロクロス点検出器２４の検出結果を用いて、ゼロクロス点（Ｉｄ）があるか否かを判定し、肯定判定の場合はステップＳ５に進み、否定判定の場合はステップＳ６に進む。

ステップＳ５では、最新ゼロクロス点更新部２５は、最新のゼロクロス点（Ｉｄ）を更新して記憶し、ステップＳ６に進む。

ステップＳ６では、緩徐眼球運動算出部２６は、ローパスフィルタ２２から出力された水平眼球位置データＨを用いて、最新ゼロクロス点更新部２５で記憶されている最新のゼロクロス点の時刻を基準にして、現時点における水平方向の眼球運動速度（傾き）及び振幅を算出する。そして、ステップＳ７に進む。

ステップＳ７では、緩徐眼球運動算出部２６は、ステップＳ６で検出された眼球運動速度が５０°／秒以下であり、かつ振幅が２°を超えているか、を判定し、肯定判定の場合はステップＳ８へ進み、否定判定の場合はステップＳ１へ戻る。

ステップＳ８では、緩徐眼球運動算出部２６は、被験者はＳＥＭであることを示すフラグ（true信号）を出力する。そして、ステップＳ９へ進む。

ステップＳ９では、居眠り判定部３４は、緩徐眼球運動算出部２６、サッケード検出器２７、前庭性眼球運動算出部３０、縦方向顔角度算出部３３のそれぞれから出力された信号の論理積を演算する。そして、居眠り判定部３４は、その演算結果が論理“１”の場合は被験者が居眠り状態であることを示すトリガ信号を出力し、その演算結果が論理“０”の場合はトリガ信号を出力しない。そして、リターンして、再びステップＳ１に戻る。そして、ＳＥＭ検出ルーチンが実行されて、トリガ信号が出力されると、以下のような運転アシストが行われる。

警報出力部４０は、例えばスピーカであり、緩徐眼球運動検出部２０からトリガ信号であるtrue信号が出力された場合に警報音を出力する。なお、警報出力部４０は、true信号が出力された場合に警報画像を表示するモニタであってもよい。

反応時間予測部５０は、緩徐眼球運動検出部２０からＳＥＭが検出されたことを示すtrue信号が供給された場合に、予め記憶されたルックアップテーブルを参照して、図３に示す緩徐眼球運動算出部２６で算出された水平方向の振幅と、そのときの眼球位置信号の周波数と、に基づいて、被験者の反応時間を予測する。

図６は、反応時間予測部５０に記憶されているルックアップテーブルを示す図である。ＳＥＭではない（定常状態）場合、反応時間は０．６秒に設定されている。図６によると、振幅が２０度で周波数が０．６Ｈｚの場合は、反応時間は定常状態よりも０．２秒遅れる。つまり、この場合の反応時間は０．６秒から０．８秒以内と予測される。また、図５によると、振幅が４０度で周波数が０．２Ｈｚの場合は、反応時間は１秒から３秒以内と予測される。

このように、振幅が大きくなる（眠りが深くなる）に従って反応時間が長くなっている。また、振幅と周波数に相関関係があることが分かり、周波数が高くなると振幅が短くなっている。よって、反応時間（遅れ）は、眼球運動信号の振幅、周波数の少なくとも１つをみれば推定可能である。

アシストシステム６０は、反応時間予測部５０で予測された反応時間に基づいて、車両の走行制御のアシスト、例えば制動装置や車輪駆動装置の制御を行う。

図７は、眼球運動信号としてサイン（Sine）関数を用いた場合の緩徐眼球運動検出部２０のシミュレーション結果を示す図である。図７において、横軸は眼球運動信号の周波数を示し、縦軸は眼球運動信号の振幅を示している。シミュレーションでは、眼球運動信号は、周波数を０．１〜５Ｈｚまで０．０１Ｈｚずつ変化させ、２〜５０°に対応する眼電位の振幅を１０〜２５０μＶまで変化させた。

その結果、同図に示すように、眼球運動信号の周波数が０．２〜０．６Ｈｚで、振幅が２０〜２００μＶの領域において、ＳＥＭが検出された。なお、ホワイト・ガウス・ノイズ（White Gaussian Noise）をＳ／Ｎ比１〜１５０まで変化させた場合でも同じ結果が得られた。

図８は、ルックアップテーブルを作成するための反応課題実験の結果を示す図である。単純反応課題実験を被験者１０人で実施した。検出されたＳＥＭが刺激から０．５秒前にある場合は、ない場合よりも反応時間が２５０ms遅くなり、有意差があることが分かった。このような実験を行うことで、ルックアップテーブルを作成することができる。

図９は、ドライビングシミュレータ上で居眠り運転による事故が発生したときの（Ａ）眼球運動信号の波形と（Ｂ）車両の横方向の位置を示す図である。同図に示す実験結果では、事故発生の約２．５秒前にＳＥＭが検出された。

以上のように、本発明の実施形態に係る居眠り判定装置は、眼球運動の水平方向の速度がゼロになったゼロクロス点を基準に、測定時における眼球運動の水平方向の速度及び眼球の水平方向の振幅を算出し、水平方向の速度が５０°／秒以下であり、かつ、水平振幅が２°より大きい場合は、被験者は居眠りしていると判定する。

このように、上記居眠り判定装置は、任意のサンプリング時刻において、眼球運動の水平方向の速度及び眼球の水平方向の振幅を算出できるので、非常に短時間で被験者の居眠り判定を行うことができる。

また、上記居眠り判定装置は、顔の回転速度が早い場合にはＳＥＭを検出しないので、前庭動眼反射の影響を排除して、高精度に居眠り判定を行うことができる。また、居眠り判定装置は、眼球運動信号のみを用いて居眠り判定を行うので、被験者の顔の向きや瞬きの影響を受けることなく、居眠り判定を行うことができる。

なお、被験者の眼球位置信号は、被験者の顔画像に基づいて検出されたものであるが、近赤外線法や他の計測手段を用いて計測されたものでもよい。また、被験者の顔角度も、被験者の顔画像に基づいて検出されたものであるが、例えばジャイロセンサ（角加速度センサ）を用いて計測されたものでもよい。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。

図１０は、本発明の第２の実施形態に係る居眠り判定装置の構成を示すブロック図である。居眠り判定装置は、第１の実施形態と同様に車両に搭載されており、図１に示す構成に加えて、車両の前方を撮像して前方画像を生成する前方カメラ１１を更に備えている。

図１１は、本発明の第２の実施形態に係る緩徐眼球運動検出部２０のアルゴリズムを説明するための機能的な構成を示すブロック図である。緩徐眼球運動検出部２０は、図３に示す構成に加えて、視線移動方向計算器４１と、視線・画像移動方向マッチング器４２と、を更に備えている。

視線移動方向計算器４１は、眼球運動検出部２１で検出された眼球位置に基づいて、視線の移動方向を計算し、その計算結果を視線・画像移動方向マッチング器４２に供給する。

視線・画像移動方向マッチング器４２は、図１０に示す前方カメラ１１で生成された前方画像に基づいて、車両前方に存在する移動物体を検出し、移動物体のいずれか１つの移動方向と視線移動方向計算器４１で計算された視線の移動方向とがマッチングするかを判定する。視線・画像移動方向マッチング器４２は、マッチングしている間はfalse信号を居眠り判定部３４へ供給し、マッチングしない場合はtrueを居眠り判定部３４へ供給する。これにより、ＳＥＭ判定の際に、被験者の眼球が車両前方にある移動物体を追跡している場合を除外することができる。

以上のように、第２の実施形態に係る居眠り判定装置は、被験者の眼球が車両前方に存在する移動物体を追跡している場合は、居眠り判定をしないので、眼球の移動物体追跡時に誤って居眠り判定するのを防止することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、第１の実施形態ではＳＥＭは眼球運動信号が０．２〜０．６Ｈｚと定義したが、この周波数に限定されるものではなく、ＳＥＭと推認できる周波数であればよい。また、緩徐眼球運動検出部２０及び反応時間予測部５０は、ハードウェアであってもよいし、所定の制御プログラムがインストールされたコンピュータであってもよい。

１０ カメラ
２０ 緩徐眼球運動検出部
２１ 眼球運動検出部
２３ 緩徐眼球運動算出部
２４ ゼロクロス点検出器
２５ 最新ゼロクロス点更新部
２６ 緩徐眼球運動算出部
２７ サッケード検出器
２８ 顔回転検出部
３０ 前庭性眼球運動算出部
３３ 縦方向顔角度算出部
３４ 居眠り判定部
４０ 警報出力部
５０ 反応時間予測部
６０ アシストシステム

Claims (7)

1. 被験者の眼球位置を検出し、当該眼球位置を示す眼球位置信号を出力する眼球位置検出手段と、
   前記眼球位置信号に基づいて算出された眼球運動速度が、予め設定された範囲にある場合を緩徐眼球運動として検出する緩徐眼球運動検出手段と、
   前記緩徐眼球運動検出手段により緩徐眼球運動が検出された場合に、前記被験者は居眠り状態であると判定すると共に、前記眼球位置信号を微分して求めた眼球運動速度が所定の設定値を超えた場合、または、被験者の顔の水平方向の回転加速度を示す顔回転加速度信号を積分して求めた水平方向の顔回転速度が所定の設定値を超えた場合には、該所定の設定値を越えたときから所定時間内は、前記被験者は居眠り状態でないと判定する居眠り判定手段と、
   を備えた居眠り判定装置。
2. 前記居眠り判定手段は、前記眼球位置検出手段により検出された眼球位置に基づく視線方向が移動物体の方向に一致する場合は、前記被験者は居眠り状態ではないと判定する
   請求項１に記載の居眠り判定装置。
3. 前記眼球位置信号の周波数及び振幅の少なくとも１つに基づいて、前記被験者の反応時間を推定する反応時間推定手段を更に備えた
   請求項１または請求項２に記載の居眠り判定装置。
4. 前記緩徐眼球運動検出手段は、
   前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、前記被験者の眼球位置の水平方向の速度を検出する眼球運動速度検出手段と、
   前記眼球運動速度検出手段により検出された速度がゼロになるゼロクロス点を検出するゼロクロス点検出手段と、
   前記ゼロクロス点検出手段により検出された最新のゼロクロス点を基準にして、前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、前記被験者の眼球位置の水平方向の振幅を検出する振幅検出手段と、
   前記ゼロクロス点検出手段により検出された最新のゼロクロス点を基準にして、前記眼球運動速度検出手段により検出された速度及び前記振幅検出手段により検出された振幅が、それぞれ緩徐眼球運動を示す所定範囲内にある場合に、緩徐眼球運動を検出する検出手段と、
   を備えた請求項１から請求項３のいずれか１項に記載の居眠り判定装置。
5. コンピュータを、請求項１から請求項４のいずれか１項に記載の居眠り判定装置の各手段として機能させるための居眠り判定プログラム。
6. 請求項１から請求項４のいずれか１項に記載の居眠り判定装置と、
   前記居眠り判定装置により居眠りと判定された場合に、警報を出力する警報出力手段と、
   を備えた警報出力装置。
7. コンピュータを、請求項６に記載の警報出力装置の各手段として機能させるための警報出力プログラム。

Images