JP5210773B2

JP5210773B2 - 眠気判定装置及びプログラム

Info

Publication number: JP5210773B2
Application number: JP2008236432A
Authority: JP
Inventors: 拓依田; 立太寺嶌; 太司津田; 拓寛大見
Original assignee: Aisin Seiki Co Ltd; Denso Corp; Toyota Motor Corp; Aisin Corp
Current assignee: Denso Corp; Toyota Motor Corp; Aisin Corp
Priority date: 2008-09-16
Filing date: 2008-09-16
Publication date: 2013-06-12
Anticipated expiration: 2028-09-16
Also published as: EP2351524B1; CN102149326B; JP2010068848A; US20110216181A1; CN102149326A; WO2010032725A1; EP2351524A4; EP2351524A1

Description

本発明は、眠気判定装置及びプログラムに係り、特に、車両の運転者の眠気状態を判定する眠気判定装置及びプログラムに関する。

従来より、撮像手段から眼開度を検出し、開度の所定時間の経時変化データから眼開度の極小値を複数抽出すると共に、複数の極小値を開眼候補群と閉眼候補群とに分離し、開眼候補内の最小開度から、該開眼候補群の標準偏差を差し引いた値以下の開度または閉眼候補群の標準偏差を加えた値以上の開度を、閉眼閾値として設定する開閉眼モニタ装置が知られている（特許文献１）。この開閉眼モニタ装置によれば、閉眼閾値の値を正確に設定することができる。
特開２００４−４１４８５号公報

しかしながら、上記の特許文献１に記載の技術では、抽出したい瞬目の特微量の種類によっては、設定する正確な閉眼閾値と、瞬目特徴量を抽出するために適した閾値とが異なる場合がある、という問題がある。例えば、瞬目特徴量として閉眼の持続時間を抽出したい場合、本来の閉眼閾値よりも高い眼開度に設定しておかなくては、ノイズなどによって検出される開度が閉眼閾値の周辺を上下すると、誤った瞬目特微量が抽出されてしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出し、精度よく眠気状態を判定することができる眠気判定装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る眠気判定装置は、判定対象者の眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段と、前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められる、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とを含んで構成されている。

本発明に係るプログラムは、コンピュータを、判定対象者の眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段、前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められる、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段、及び前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段として機能させるためのプログラムである。

本発明によれば、撮像手段によって、判定対象者の眼を含む領域を撮像し、開度検出手段によって、撮像手段により撮像された画像に基づいて、眼の開度を検出する。

そして、特徴量抽出手段によって、開度検出手段によって検出された眼の開度に基づいて、眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、標準の閾値を用いて求められる、群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量、標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量、標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量、及び標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する。

そして、眠気状態判定手段によって、特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、判定対象者の眠気状態を判定する。

このように、眼の開度に関する標準の閾値、小さい閾値、又は大きい閾値を用いて、複数種類の瞬目特徴量を抽出することにより、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出することができ、精度よく眠気状態を判定することができる。

本発明に係る眠気判定装置は、開度検出手段によって検出された眼の開度に基づいて、標準の閾値、標準の閾値より大きい閾値、及び標準の閾値より小さい閾値を算出する閾値算出手段を更に含むことができる。

また、上記の閾値算出手段は、開度検出手段によって検出された眼の開度から得られる眼の開度の分布に基づいて、標準の閾値、標準の閾値より大きい閾値、及び標準の閾値より小さい閾値を算出することができる。

以上説明したように、本発明の眠気判定装置及びプログラムによれば、眼の開度に関する標準の閾値、小さい閾値、又は大きい閾値を用いて、複数種類の瞬目特徴量を抽出することにより、瞬目特徴量の種類に適した閾値を用いて瞬目特徴量を抽出することができ、精度よく眠気状態を判定することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば判定対象者としての運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像する撮像装置１２と、撮像装置１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。

コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する閾値計算処理ルーチン及び眠気判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、顔画像から運転者の目を表す目領域を抽出する目領域抽出部２２と、眼が開いている度合いを示す眼開度を検出する眼開度検出部２４と、検出された眼開度の時系列データから、大きさが異なる複数種類の閉眼閾値を計算する閾値計算部２６と、計算された複数種類の閉眼閾値を記憶する閾値記憶部２８と、検出された眼開度の時系列データから、記憶された複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する特徴量抽出部３０と、抽出された瞬目特徴量の各々について閾値判定を行う閾値判定部３２と、複数種類の瞬目特徴量の各々に対する閾値判定の結果に基づいて、眠気状態を判定する眠気判定部３４と、居眠り状態であると判定された場合に、表示装置４０に警告情報を表示させる表示制御部３６とを備えている。

眼開度検出部２４では、予め定められた全開時の上まぶたと下まぶたとの距離に対する目領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、眼開度を検出する。眼開度検出部２４は、眼が全開であるときを１００％とし、閉眼時を０％とした場合の眼開度を検出し、半眼で眠気をこらえているような場合には、例えば約５０％の眼開度が検出される。なお、上まぶたと下まぶたとの距離を、眼開度として検出しても良い。

ここで、本実施の形態の原理について説明する。画像解析などで得られる眼開度には、被撮像者の動きや、探索点外れ、離散化などが原因で、ノイズ成分が混入する。そのノイズを瞬目現象として判断してしまう場合があり、ノイズ成分が、眠気状態の判定に有用な瞬目特微量を眼開度から正しく抽出できない要因となる。

例えば、従来の瞬目特微量の抽出方法では、一定の閉眼閾値を用いて閉眼状態や開眼状態を判断して、複数種類の瞬目特微量を抽出しているので、図２に示すように、閉眼閾値を用いて抽出された継続開眼時間は、閉眼状態時のノイズの影響を大きく受けることがある。一方、抽出したい瞬目特微量（例えば、継続閉眼時間の分布）に対するノイズの影響が最少となる抽出閾値（例えば、一般的な閉眼閾値より値が大きい閾値）を設定することによって、理想の眼開度の波形から得られる瞬目特徴量と近い瞬目特徴量が抽出され、その結果眠気状態の判定を精度よく行える。

そこで、本実施の形態では、閾値計算部２６によって、以下に説明するように、抽出閾値として、標準的な閉眼閾値、標準的な閉眼閾値より値が大きい閉眼閾値（開眼状態に近い閉眼閾値）、及び標準的な閉眼閾値より値が小さい閉眼閾値（閉眼状態に近い閉眼閾値）の各々を計算する。

まず、図３（Ｂ）に示すような、検出された所定期間分の眼開度の時系列データから、図３（Ａ）に示すような、眼開度の頻度分布を生成する。上記図３（Ａ）、（Ｂ）では、眼開度を示す縦軸を共有したグラフを示している。図３（Ｂ）に示すように、眼開度の時系列データのように、開眼状態及び閉眼状態の何れかが持続している場合であっても、眼開度の波形には、瞬目による変化より小さな振幅のノイズが生じている。瞬目特徴量に対するこれらのノイズの影響をなるべく減らすために、大きさが異なる複数種類の抽出閾値を計算する。

図３（Ａ）の頻度分布で分解して図示しているように、眼開度の頻度は開眼状態と閉眼状態で分けられる。ここで、図４に示すように、頻度分布の２つの極大値のうち、眼開度が大きい方の極大値を開眼状態のヒストグラムのピークａとし、眼開度が小さい方の極大値を閉眼状態のヒストグラムのピークｂとし、それらのビーク間に存在する極小値をｂとする。

そして、値が大きい閉眼閾値ｔｈＡ、標準的な閉眼閾値ｔｈＢ、及び値が小さい閉眼閾値ｔｈＣを以下の（１）式〜（３）式に従って計算する。
ｔｈＡ＝ｂ＋（ｂ−ｃ）＊Ｘａ・・・（１）
ｔｈＢ＝ｂ・・・（２）
ｔｈＣ＝ｂ＋（ａ−ｂ）＊Ｘｂ・・・（３）

ただし、Ｘａ、Ｘｂは、所定の定数である。

なお、以下の（４）式〜（６）式によって、値が大きい閉眼閾値ｔｈＡ、標準的な閉眼閾値ｔｈＢ、及び値が小さい閉眼閾値ｔｈＣを計算するようにしてもよい。
ｔｈＡ＝ｂ＋Ｘａ・・・（４）
ｔｈＢ＝ｂ・・・（５）
ｔｈＣ＝ｂ＋Ｘｂ・・・（６）

ただし、Ｘａ、Ｘｂは、正の定数である。

上記（１）式又は上記（４）式によって計算される、値が大きい閉眼閾値ｔｈＡは、閉眼状態におけるノイズの影響を受けずに閉眼状態の範囲を最大限抽出するための閾値、または閉眼状態におけるノイズによって誤って開眼状態を抽出しないようにするための閾値となる。また、上記（３）式又は上記（６）式によって計算される、値が小さい閉眼閾値ｔｈＣは、開眼状態におけるノイズの影響を受けずに開眼状態の範囲を最大限抽出するための閾値、または開眼状態におけるノイズによって誤って閉眼状態を抽出しないようにするための閾値となる。

特徴量抽出部３０は、以下に説明するように、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する。

まず、一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、閉眼状態におけるノイズの影響を受けずに、閉眼状態の範囲を最大限抽出して、一定時間中の閉眼状態の一部の長さに対応する値を精度よく求めるために、抽出閾値として、値が大きい閉眼閾値ｔｈＡを用いる。これによって、眼開度の時系列データから、閉眼閾値ｔｈＡ未満となる閉眼状態を抽出して、一定時間中の閉眼状態の一部の長さに対応する値を精度よく求めて、瞬目特徴量を抽出する。

例えば、継続閉眼時間の分布は、所定の抽出時間枠内の閉眼状態のうち、閉眼状態の持続時間を用いて求められる値であり、上記図３（Ｂ）に示すように、抽出閾値として、標準的な閉眼閾値ｔｈＢや値が小さい閉眼閾値ｔｈＣを用いると、閉眼持続状態であってもノイズの影響で抽出閾値を越えてしまい、精度よく継続閉眼時間を抽出することができない。そこで、特徴量抽出部３０は、瞬目特徴量として継続閉眼時間の分布を抽出する場合には、上記図３（Ｂ）に示すように、値が大きい閉眼閾値ｔｈＡを用いて、眼開度の時系列データから、閉眼閾値ｔｈＡ未満となる閉眼状態を抽出することにより、閉眼状態の範囲を最大限抽出して、閉眼状態の継続時間を精度よく計測し、継続閉眼時間の分布を抽出する。

また、特徴量抽出部３０は、瞬目回数に関する瞬目特徴量を抽出する場合には、開眼状態と閉眼状態との双方のノイズの影響を小さくして、開眼状態及び閉眼状態の一方から他方に変化する瞬目を抽出するために、抽出閾値として、標準的な閉眼閾値ｔｈＢを用いて、眼開度の時系列データから、閉眼閾値ｔｈＢを超える回数を抽出することにより、瞬目回数を精度よく抽出して、瞬目特徴量を抽出する。

例えば、瞬目回数が、所定の抽出時間枠内で起きた閉眼閾値の上下を往復する回数である場合には、特徴量抽出部３０は、標準的な閉眼閾値ｔｈＢを用いて、眼開度の時系列データから、閉眼閾値ｔｈＢを超える眼開度の変化を精度よく抽出し、閉眼閾値の上下を往復する回数を計測して、瞬目回数を抽出する。

また、一定時間中の閉眼状態の全部の長さに対応する値を用いて求められる、一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、閉眼状態におけるノイズの影響を受けにくい。また、開眼状態に近い閉眼閾値ｔｈＡを用いると、実際には目を閉じきっていない状態でも閉眼閾値ｔｈＡを超えてしまい、閉眼状態として誤って判断してしまう。そこで、特徴量抽出部３０は、より正確に閉眼状態を抽出できるように、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣ未満となる閉眼状態を抽出することにより、閉眼状態を精度よく抽出し、一定時間中の閉眼状態の全部の長さ（時間）に対応する値を用いて瞬目特徴量を抽出する。

例えば、閉眼率は、所定の抽出時間枠内における閉眼状態の時間の割合であり、抽出時間枠内における閉眼状態の時間の積算値に依存するため、閉眼状態におけるノイズの影響を受けにくい。そこで、瞬目特徴量として閉眼率を抽出する場合には、特徴量抽出部３０は、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣ未満の閉眼状態を抽出することにより、開眼状態におけるノイズによって誤って閉眼状態を抽出しないように閉眼状態を精度よく抽出して、閉眼状態の時間の積算値を算出し、閉眼率を抽出する。

なお、本実施の形態では、複数種類の瞬目特徴量として、継続閉眼時間の分布、瞬目回数、及び閉眼率を抽出する場合を例に説明する。

閾値判定部３２は、抽出した複数種類の瞬目特徴量の各々について、閾値判定を行い、居眠り状態に相当する瞬目特徴量であるか否かを判定する。例えば、抽出された継続閉眼時間が継続閉眼時間に関する閾値ｔｈＤｕｒ以上であるか否かを判定し、抽出された瞬目回数が瞬目回数に関する閾値ｔｈＣＮＴ以上であるか否かを判定する。また、抽出された閉眼率が閉眼率に関する閾値ｔｈＣＬＳ以上であるか否かを判定する。

眠気判定部３４は、抽出した複数種類の瞬目特徴量の各々に対する閾値判定によって、全種類の瞬目特徴量が、居眠り状態に相当する瞬目特徴量であると判定された場合に、判定対象者である運転者が居眠り状態であると判定する。

次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、撮像装置１２によって運転者の顔を連続して撮像し、コンピュータ２０において、図５に示す閾値計算処理ルーチンを実行する。

ステップ１００において、撮像装置１２から顔画像を取得し、ステップ１０２で、取得した顔画像から、目領域を抽出する。

そして、ステップ１０４で、抽出された目領域の画像に基づいて、眼開度を算出して、メモリ（図示省略）に記録する。次のステップ１０６では、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１００へ戻るが、所定時間経過した場合には、ステップ１０８へ移行する。

上記ステップ１００〜ステップ１０６により、所定期間において検出された眼開度の時系列データがメモリに記録される。

ステップ１０８では、メモリに記録された眼開度の時系列データから、眼開度の頻度分布を算出し、ステップ１１０において、上記ステップ１０８で算出された眼開度の頻度分布から得られる極大値及び極小値を用いて、上記（１）式〜（３）式に従って、標準的な閉眼閾値、値が大きい閉眼閾値、及び値が小さい閉眼閾値の各々を算出する。

そして、ステップ１１２において、上記ステップ１１０で算出された複数種類の閉眼閾値を閾値記憶部２８に記憶して、閾値計算処理ルーチンを終了する。

上記の閾値計算処理ルーチンによって複数種類の閉眼閾値が一度計算されると、撮像装置１２によって運転者の顔を連続して撮像すると共に、コンピュータ２０において、図６に示す眠気判定処理ルーチンを繰り返し実行する。

ステップ１２０において、撮像装置１２から顔画像を取得し、ステップ１２２で、取得した顔画像から、目領域を抽出する。そして、ステップ１２４で、抽出された目領域の画像に基づいて、眼開度を算出して、メモリ（図示省略）に記録する。次のステップ１２６では、処理を開始してから所定時間経過したか否かを判定し、所定時間経過していない場合には、ステップ１２０へ戻るが、所定時間経過した場合には、ステップ１２８へ移行する。

上記ステップ１２０〜ステップ１２６により、所定期間において検出された眼開度の時系列データがメモリに記録される。

ステップ１２８では、閾値記憶部２８に記憶された複数種類の閉眼閾値を読み込み、ステップ１３０において、上記ステップ１２８で取得した複数種類の閉眼閾値を用いて、メモリに記録された眼開度の時系列データに基づいて、複数種類の瞬目特徴量の各々を抽出する。上記ステップ１３０では、眼開度の時系列データに基づいて、値が大きい閉眼閾値を用いて、閉眼閾値未満となる閉眼状態が継続する範囲を抽出して、継続閉眼時間を抽出し、標準的な閉眼閾値を用いて、閉眼閾値を超える変化を抽出して、瞬目回数を抽出する。また、眼開度の時系列データに基づいて、値が小さい閉眼閾値を用いて、閉眼閾値未満となる閉眼状態の範囲を抽出して、閉眼率を抽出する。

次のステップ１３２では、上記ステップ１３０で抽出された複数種類の瞬目特徴量の各々について、閾値判定を行い、ステップ１３４において、上記ステップ１３２の閾値判定において、全ての瞬目特徴量が、対応する閾値以上であると判定されたか否かを判定する。上記ステップ１３２の閾値判定において、少なくとも１種類の瞬目特徴量が、対応する閾値未満であると判定されていた場合には、眠気判定処理ルーチンを終了する。一方、上記ステップ１３２の閾値判定において、全ての瞬目特徴量が、対応する閾値以上であると判定されていた場合には、全ての瞬目特徴量が、居眠り状態に相当する瞬目特徴量であり、運転者が居眠り状態であると判断し、ステップ１３６において、表示装置４０に警告メッセージを表示させて、眠気に対する注意を運転者に促し、眠気判定処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る眠気判定装置によれば、眼開度に関する標準的な閉眼閾値を用いて瞬目回数を抽出し、値が小さい閉眼閾値を用いて閉眼率を抽出し、値が大きい閉眼閾値を用いて継続開眼時間を抽出することにより、瞬目特徴量の種類に適した閉眼閾値を用いて複数種類の瞬目特徴量を精度よく抽出することができ、精度よく眠気状態を判定することができる。

また、被撮像者の動き、探索点外れ、離散化などが原因で、検出された眼開度の時系列データにノイズ成分が混入した場合であっても、抽出する瞬目特微量の種類によって抽出閾値を分けることにより、抽出したい瞬目特微量に及ぼす眼開度の揺れやノイズの影響を小さくすることができるため、居眠り判定を精度よく行うことが可能になる。

次に第２の実施の形態について説明する。なお、第２の実施の形態に係る眠気判定装置の構成は、第１の実施の形態に係る眠気判定装置と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、複数種類の瞬目特徴量として、最大開眼時間、群発性瞬目、及び開眼時間の分散値を抽出している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る眠気判定装置の特徴量抽出部３０では、以下に説明するように、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出する。

まず、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、特徴量抽出部３０は、開眼状態におけるノイズの影響を受けずに、開眼状態の範囲を最大限抽出して、開眼状態の一部の長さに対応する値を精度よく求めるために、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いる。これによって、眼開度の時系列データから、閉眼閾値ｔｈＣ以上となる開眼状態を抽出して、一定時間中の開眼状態の一部の長さに対応する値を精度よく求めて、瞬目特徴量を抽出する。

また、一定時間内の瞬目間間隔で瞬目が繰り返される回数を示す瞬目特徴量である群発性瞬目を抽出する場合には、特徴量抽出部３０は、眼が開ききらない瞬目もカウントするために、抽出閾値として、値が小さい閉眼閾値ｔｈＣを用いて、眼開度の時系列データから、閉眼閾値ｔｈＣを超える回数を抽出し、一定時間内の瞬目間間隔で瞬目が繰り返される回数を精度よく抽出して、群発性瞬目を抽出する。

また、一定時間中の開眼状態の全部の長さに対応する値を用いて求められる、一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、開眼状態におけるノイズの影響を受けにくい。また、閉眼状態に近い抽出閾値ｔｈＣを用いると、実際は目を開ききっていない状態でも閉眼閾値ｔｈＣを超えてしまい、開眼状態として誤って判断してしまう。そこで、特徴量抽出部３０は、より正確に開眼状態を求められるように、抽出閾値として、値が大きい閉眼閾値ｔｈＡを用いて、眼開度の時系列データから、閉眼閾値以上となる開眼状態を精度よく抽出し、一定時間中の開眼状態の全部の長さ（時間）に対応する値を用いて瞬目特徴量を抽出する。

閾値判定部３２は、抽出した複数種類の瞬目特徴量の各々について、閾値判定を行い、居眠り状態に相当する瞬目特徴量であるか否かを判定する。例えば、抽出された最大開眼時間が最大開眼時間に関する閾値以下であるか否かを判定し、抽出された群発性瞬目が群発性瞬目に関する閾値以上であるか否かを判定する。また、抽出された開眼時間の分散値が、開眼時間の分散値に関する閾値以上であるか否かを判定する。

なお、第２の実施の形態に係る眠気判定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。

このように、値が小さい閉眼閾値を用いて群発性瞬目を抽出し、値が大きい閉眼閾値を用いて開眼時間の分散値を抽出し、値が小さい閉眼閾値を用いて最大開眼時間を抽出することにより、瞬目特徴量の種類に適した閉眼閾値を用いて複数種類の瞬目特徴量を精度よく抽出することができ、精度よく眠気状態を判定することができる。

なお、上記の第１の実施の形態では、複数種類の瞬目特徴量として、継続開眼時間、瞬目回数、及び閉眼率を抽出する場合を例に説明し、上記の第２の実施の形態では、複数種類の瞬目特徴量として、群発性瞬目、開眼時間の分散値、及び最大開眼時間を抽出する場合を例に説明したが、これに限定されるものではない。複数種類の瞬目特徴量として、群発性瞬目に関する瞬目特徴量、瞬目回数に関する瞬目特徴量、一定時間中の開眼状態の全ての長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量、一定時間中の閉眼状態の全ての長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量、及び一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量から選択された任意の組み合わせを抽出するようにしてもよい。上記の瞬目特徴量から選択された２種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された３種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された４種類の瞬目特徴量を抽出するようにしてもよいし、上記の瞬目特徴量から選択された５種類の瞬目特徴量を抽出するようにしてもよい。また、上記の全種類の瞬目特徴量を抽出するようにしてもよい。群発性瞬目に関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が小さい閉眼閾値を用いて瞬目を抽出すればよい。また、瞬目回数に関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、標準的な閉眼閾値を用いて瞬目回数をカウントすればよい。また、一定時間中の開眼状態の一部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が小さい閉眼閾値を用いて、開眼状態を抽出すればよい。また、一定時間中の開眼状態の全部の長さに対応する値を用いて求められる一定時間における開眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第２の実施の形態で説明したように、値が大きい閉眼閾値を用いて、開眼状態を抽出すればよい。また、一定時間中の閉眼状態の一部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、値が大きい閉眼閾値を用いて、閉眼状態を抽出すればよい。また、一定時間中の閉眼状態の全部の長さに対応する値を用いて求められる一定時間における閉眼状態の長さに関する瞬目特徴量を抽出する場合には、上記の第１の実施の形態で説明したように、値が小さい閉眼閾値を用いて、閉眼状態を抽出すればよい。

また、上記の第１の実施の形態及び第２の実施の形態では、閾値判定により、抽出された全種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定する場合を例に説明したが、これに限定されるものではなく、例えば、閾値判定により、抽出された全種類の瞬目特徴量のうち、半数以上の種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定してもよく、また、少なくとも１種類の瞬目特徴量が、居眠り状態に相当する値であると判定される場合に、運転者が居眠り状態であると判定してもよい。

また、閾値計算処理ルーチンと眠気判定処理ルーチンとに分けて実行する場合を例に説明したが、これに限定されるものではなく、眼開度の時系列データを記録した後に、複数種類の閉眼閾値が既に計算されているか否かを判定して、複数種類の閉眼閾値がまだ計算されていなければ、記録された眼開度の時系列データに基づいて、複数種類の閉眼閾値を計算する処理を行い、その後に、記録された眼開度の時系列データに基づいて、眠気判定を行うようにしてもよい。

また、デジタルフィルタなどによってノイズを減らした眼開度の時系列データから、複数種類の閉眼閾値を用いて、複数種類の瞬目特徴量を抽出して、眠気判定を行うようにしてもよい。

また、眼開度の頻度分布から、値が大きい閉眼閾値や値が小さい閉眼閾値を計算する場合を例に説明したが、これに限定されるものではなく、例えば、眼開度の時系列データから、開眼状態におけるノイズのピーク値を算出し、算出した開眼状態時のノイズのピーク値より小さい値を、値が小さい閉眼閾値として計算するようにしてもよい。また、眼開度の時系列データから、閉眼状態時のノイズのピーク値を算出し、算出した閉眼状態時のノイズのピーク値より大きい値を、値が大きい閉眼閾値として計算するようにしてもよい。これによって、開眼状態におけるノイズに影響されずに開眼状態を抽出するための閉眼閾値や、閉眼状態におけるノイズに影響されずに閉眼状態を抽出するための閉眼閾値を求めることができる。

本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。眼開度の波形と閉眼閾値とを示すグラフである。（Ａ）眼開度の頻度分布を示すグラフ、及び（Ｂ）眼開度の時系列データを示すグラフである。眼開度の頻度分布を示すグラフである。本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける閾値計算処理ルーチンの内容を示すフローチャートである。本発明の第１の実施の形態に係る眠気判定装置のコンピュータにおける眠気判定処理ルーチンの内容を示すフローチャートである。

符号の説明

１０眠気判定装置
１２撮像装置
２０コンピュータ
２２目領域抽出部
２４眼開度検出部
２６閾値計算部
２８閾値記憶部
３０特徴量抽出部
３２閾値判定部
３４眠気判定部

Claims

判定対象者の眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段と、
前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められる、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段と、
を含む眠気判定装置。
前記開度検出手段によって検出された眼の開度に基づいて、前記標準の閾値、前記標準の閾値より大きい閾値、及び前記標準の閾値より小さい閾値を算出する閾値算出手段を更に含む請求項１記載の眠気判定装置。
前記閾値算出手段は、前記開度検出手段によって検出された眼の開度から得られる前記眼の開度の分布に基づいて、前記標準の閾値、前記標準の閾値より大きい閾値、及び前記標準の閾値より小さい閾値を算出する請求項２記載の眠気判定装置。
コンピュータを、
判定対象者の眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、眼の開度を検出する開度検出手段、
前記開度検出手段によって検出された眼の開度に基づいて、前記眼の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、前記標準の閾値を用いて求められる、前記群発性瞬目に関する瞬目特徴量とは異なる瞬目回数に関する瞬目特徴量、前記標準の閾値より大きい閾値と一定時間中の開眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の開眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における開眼状態の長さに関する瞬目特徴量、前記標準の閾値より小さい閾値と一定時間中の閉眼状態の全ての長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量、及び前記標準の閾値より大きい閾値と一定時間中の閉眼状態の一部の長さに対応する値とを用いて求められる、前記一定時間における閉眼状態の長さに関する瞬目特徴量から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段、及び
前記特徴量抽出手段によって抽出された複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段
として機能させるためのプログラム。