JP6604266B2 - 眠気検知装置 - Google Patents

Description

本発明は、人間の眠気を検知する装置に係り、より詳細には、人間の瞼の開閉動作から得られる指標値に基づいて眠気を検知する装置に係る。本発明の装置は、例えば、車両又は移動体の運転中の運転者の眠気を検知するために利用される。

人間の眠気を検知する装置として、人間の顔或いは瞼を撮像し、その撮影画像に於いて瞼の動きやその他の顔の表情の変化を捉えて、その人が眠気を感じているか否かを判定する装置が種々提案されている。例えば、特許文献１に於いては、被検者の目とその周辺の撮影画像に於いて、瞼を連続して開いている時間（以下、開眼時間）を観測し、その開眼時間のばらつき(標準偏差)が算出され、その開眼時間の標準偏差が眠気増加に伴って低下し、所定の閾値を下回ったときに「居眠りが発生した」と判定する構成が提案されている。また、特許文献２に於いては、被検者の顔の画像から、ため息、あくび、目の見開き、しかめ顔をするときの口の動きの４種の顔表情の発生が計測され、異なる種類の顔表情の二つの組み合わせの発生頻度に対応して定義された覚醒度を、推定結果として出力する構成が提案されている。

特開２０１１−１６７３９８ 特開２００７−２３６４８８

ところで、上記の如き装置により、被検者（人間）の眠気を検知しようとする場合、眠気を感じた際の瞼の動かし方や顔表情の変化は、被検者によって異なる。例えば、眠気を感じると被検者の瞼の動きは鈍くなるのが一般的であるが、被検者によっては、眠気の増加と共に瞼が閉じてしまわないように、意図的に瞬きを激しくしたり、目を見開いたりする場合がある。そのような場合、その被検者の開眼時間の標準偏差は増加するので、特許文献１の構成では、開眼時間標準偏差が閾値を下回ることがなく、被検者が眠気を感じていてもそのことを検知することが困難となっている。また、特許文献２の構成の場合にも、眠気増加時に顔表情に通常と異なる変化が発生することとなり、顔表情の覚醒度と対応付けのない状態が発生し、覚醒度を正しく推定できない場合があった（更に、特許文献２の構成の場合には、４つ又は２つの顔表情を検出する必要がある。）。即ち、眠気検知装置には、その性能を向上するべく改良の余地がある。

かくして、本発明の一つの課題は、上記の如き眠気検知装置の性能の向上の一つとして、眠気が増加した際に、瞼の開閉運動が鈍くなるのではなく、意図的に瞬きを激しくしたり、目を見開いたり、或いは、瞬きをしないようして、返って、開閉運動が激しくなる被検者の場合にも、被検者の眠気の発生を従前よりも精度よく検知できるようにすることである。

本発明によれば、上記の課題は、眠気検知装置であって、被検者の瞼の開閉状態を検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を算出する手段と、瞼開閉特徴量が第一の閾値を下回ったとき、及び、第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、被検者が眠気を感じていると判定する眠気判定手段とを含む装置によって達成される。

上記の構成に於いて、「瞼の開閉状態を検出する手段」は、被検者の瞼が開いているか閉じているかが判定できる任意の装置であってよく、典型的には、カメラにより撮影された被検者の瞼の画像に基づいて瞼の開閉状態を判定する装置が採用される。また、瞼の開閉状態を検出する手段は、被検者の眼電信号に基づいて瞼の開閉状態を判定する装置であってもよい。「瞼の開状態と閉状態との間の遷移の時間間隔」とは、瞼の開閉状態を検出する手段によって時々刻々に得られた瞼が開いているか閉じているかの判定結果のデータに於いて、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、（１）瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔、即ち、瞼が継続して開いている時間の長さ（開眼時間）、（２）瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔、即ち、瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ（瞬き開始時間隔）、（３）瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔、即ち、瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ（瞬き終了時間隔）、或いは、（４）瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔、即ち、瞼が継続して閉じている時間の長さ（閉眼時間）のいずれであってもよい。そして、「瞼開閉特徴量」とは、端的に述べれば、上記の「瞼の開状態と閉状態との間の遷移の時間間隔」から抽出される被検者の眠気の有無又は程度と相関を有する量である。具体的には、被検者が眠気を感じると、「瞼の開状態と閉状態との間の遷移の時間間隔」の態様が、眠気を感じていないときと比べて統計的に変化するので、そのような「瞼開閉特徴量」としては、例えば、「瞼の開状態と閉状態との間の遷移の時間間隔」の統計量を表す指標値、より詳細には、標準偏差、平均値、中央値、分散値等であってよく、これらの瞼開閉特徴量は各被検者の覚醒時の開眼時間の最大値のデータに基づいて選定された瞼開閉特徴量算出時間幅に亙る瞼の開状態と閉状態との間の遷移の時間間隔より算出されてよい。特に、被検者の瞼の開閉運動は、眠気を感じると、そうでない通常のときに比して、鈍くなるか、或いは、激しくなって、統計的なばらつきが変化するので、その場合には、「瞼開閉特徴量」として、「瞼の開状態と閉状態との間の遷移の時間間隔」の標準偏差又は分散値が好適に採用される。

そして、上記の本発明の装置の場合には、瞼開閉特徴量が第一の閾値を下回ったとき、及び、第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、被検者が眠気を感じているとの判定が為されることとなる。即ち、瞼開閉特徴量が第一の閾値と第二の閾値の間から逸脱するときに、被検者が眠気を感じているとの判定が為される。既に触れた如く、人間が眠気を感じた場合、瞼の開閉運動に変化が表れ、典型的には、瞼の運動が遅くなって「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが統計的に低減することが多い。しかしながら、人によっては、眠気を感じたときに、その眠気に耐えるために、意図的に目を見開いたり、激しく瞬きをするなどの瞼を運動させるため、そのような被検者の場合には、「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが増大する。かくして、本発明の装置は、瞼開閉特徴量に対する閾値が眠気を感じていないときのその値と比べて低い方に設定されるだけでなく、眠気を感じていないときの瞼開閉特徴量に対して高い方にも設定され、これにより、眠気が増大すると、「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが増大する被検者の場合にも、より確実に眠気の判定が可能となるよう構成される。

上記の眠気の有無の判定に於いて、被検者の眠気を感じていないときと眠気を感じているときの瞼の開状態と閉状態との間の遷移の時間間隔には、個人差及び個人内差がある。従って、或る被検者についての眠気の有無の判定の基準となる第一及び第二の閾値は、その被検者の（眠気判定実行時に比較的近い時期の）瞼の開状態と閉状態との間の遷移の時間間隔を用いて判定することが好ましい。そこで、上記の本発明の構成に於いて、第一及び第二の閾値は、眠気の判定時よりも前の所定期間に於ける瞼開閉特徴量に基づいて決定されてよい。眠気の判定時よりも前の所定期間は、例えば、本発明の装置が、車両の運転者の眠気の有無を判定するために用いられる場合には、車両の走行開始から所定の期間、例えば、統計的に有意なデータ量が得られるまでの期間であってよい。また、第一及び第二の閾値としては、具体的には、例えば、眠気の判定時よりも前の所定期間に於ける瞼開閉特徴量の平均値に、それぞれ、１よりも所定の小さい正数及び１より所定の大きい正数を乗じた値が採用されてよい。かかる構成によれば、眠気が判定される被検者の、比較的近い時期のデータを利用して、眠気判定のための基準が設定されることとなるので、瞼の開状態と閉状態との間の遷移の時間間隔に於ける個人差及び個人内差の、結果に対する影響が抑制されることが期待される。

かくして、上記の本発明の構成に於いて、被検者の眠気を感じているか否かの指標値である瞼開閉特徴量が、第一の閾値と第二の閾値の間から逸脱するときに、眠気を感じているとの判定が為されることとなるので、瞼の開状態と閉状態との間の遷移の時間間隔を通じて計られる瞼の開閉運動が、眠気を感じていない状態と異なったとき、即ち、瞼の開閉運動が、眠気を感じていない状態のときよりも緩やかになった場合と激しくなった場合との双方に於いて、被検者が眠気を感じているとの判定が為されることとなる。かかる本発明の構成によれば、眠気を感じると、瞼の動きが鈍くなる被検者だけではなく、眠気を感じると、瞼の動きが激しくなる被検者についても、その眠気を、従前に比してより確実に検知できるようになり、しかも眠気を検知するのに必要な被検者から計測される情報は、瞼の開閉状態の情報だけでよいので、複数の計測情報を利用する場合に比して、構成が簡単となる点で有利である。また、瞼開閉特徴量が各被検者の覚醒時の開眼時間の最大値のデータに基づいて選定された瞼開閉特徴量算出時間幅に亙る瞼の開状態と閉状態との間の遷移の時間間隔より算出されることにより、被検者毎に通常の開眼時間の長短にかなりの差があっても、各被検者に合わせて瞼開閉特徴量の算出をできるだけ短い時間でできるだけ的確に行うにことができる。

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。

図１（Ａ）は、本発明の眠気検知装置の構成を模式的に表した図である。図１（Ｂ）は、本発明の眠気検知装置の作動の概要をフローチャートの形式で表した図である。 図２（Ａ）は、本発明の眠気検知装置に於いて、カメラ画像を用いて目と瞼の画像を撮影する場合の被検者の顔面の模式図である。図２（Ｂ）は、瞼の画像から得られる瞼の開度の時間変化の例と、瞼の開度を二値化して得られる瞼開閉状態指標値の時間変化の例を示している。図２（Ｃ）は、本発明の眠気検知装置に於いて眼電信号により瞼の開度を検出する場合に被検者の顔面に取り付けられる電極の配置を模式的に示している。 瞼開閉特徴量算出の時間幅を開眼時間最大値の平均値に基づいて群分けする要領を示す図である。 図４（Ａ）は、瞼開閉状態指標値の時系列データに於いて計測される開眼時間を説明する図である。図４（Ｂ）は、瞼開閉状態指標値の時系列データに於いて計測される瞬き開始時間隔を説明する図である。図４（Ｃ）は、瞼開閉状態指標値の時系列データに於いて計測される瞬き終了時間隔を説明する図である。 図５（Ａ）は、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。図５（Ｂ）は、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。図５（Ｃ）は、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された瞬き開始時間隔の時系列データの例を示している。 図６（Ａ）は、図５（Ａ）の開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データの例である。図６（Ｂ）は、瞼開閉特徴量に対する閾値の設定方法を説明する図である。 図７（Ａ）は、図５（Ａ）の瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて、眠気の判定を行った例を示している。図７（Ｂ）は、図５（Ｂ）の眼電信号から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて、眠気の判定を行った例を示している。 図８（Ａ）、８（Ｂ）、８（Ｃ）は、図７（Ａ）と同様の図であって、眠気の判定を行うための瞼開閉特徴量として、それぞれ、開眼時間の平均値、中央値、分散を用いた場合の例を示す図である。

１…被検者
２…被検者の目
３…カメラ
４…信号処理装置

以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。

装置の構成
本発明の眠気検知装置は、端的に述べれば、特許文献１に記載の装置と同様に、被検者の瞼の開閉運動を計測し、その計測された瞼の開閉運動の時系列データから被検者の眠気に相関のある瞼開閉特徴量を抽出し、瞼開閉特徴量が眠気を感じている場合の値域に入ったときに、被検者が眠気を感じていると判定する形式の装置である。図１（Ａ）を参照して、本発明の眠気検知装置の基本的な構成に於いては、まず、被検者１の目及び瞼２が、カメラ３などの撮像装置の視野に含まれるように、撮像装置が配置され、撮像装置で得られた画像信号が、信号処理装置４に取り込まれる。なお、後述の如く、被検者１の目及び瞼２の開閉運動は、眼電信号によって検出されてもよく、その場合には、被検者の顔面に貼られた電極からの信号が信号処理装置４へ与えられる。そして、信号処理装置４に於いて、画像処理部が撮像装置から送られてきた画像信号から被検者の目及び瞼２の像を含む画像を構成し、データ処理部が、後に説明されるように、被検者の目及び瞼２の画像を用いて、被検者の眠気の検知に必要なデータ処理と眠気の有無の判定を実行する。かくして、データ処理部に於いて、被検者が眠気を感じていることが判定されると、その判定結果が、結果出力部へ送信され、例えば、スピーカ５による音声や、被検者に物理的な刺激を与える振動器などを通じて、被検者に伝達される。信号処理装置４は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、眠気検知装置の各部の作動は、ＣＰＵに於いてプログラムを実行することにより達成されることとなる。

装置の作動の概要
図１（Ｂ）を参照して、本発明の装置による眠気検知処理に於いては、プログラムに従って、まず、被検者の瞼の開閉状態を表す指標値の取得が逐次的に実行され（ステップ１）、その指標値の時系列データに於いて、瞼の開状態と閉状態との間の遷移の時間間隔が逐次的に計測され（ステップ２）、しかる後、瞼の開閉状態の遷移の時間間隔の時系列データに於いて眠気の有無に相関のある「瞼開閉特徴量」の算出が逐次的に実行される（ステップ３）。そして、眠気の有無の判定のための「瞼開閉特徴量」に対する閾値が設定されていないときには（通常、装置の使用開始直後から所定の期間）、閾値の設定のための処理（ステップ４、５）が実行される。かくして、サイクルが繰り返される間に、閾値の設定が為されると（ステップ４）、被検者の眠気の判定（ステップ６）が実行されることとなる。即ち、被検者の瞼の開閉状態を検出する手段、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段、瞼開閉特徴量を算出する手段及び眠気判定手段は、図１（Ａ）の撮像装置（又は電極装置）と信号処理装置４のプログラムに従った作動により実現される。以下、上記の一連の処理の各々について、詳細に説明する。

瞼開閉状態指標値の取得（ステップ１）
本発明の装置に於ける被検者の瞼の開閉状態を表す指標値（瞼開閉状態指標値）の取得に於いては、一つの態様として、既に触れた如く、カメラ等の撮像装置によって逐次的に撮影された被検者の目と瞼の画像に於いて瞼の開閉運動が検出され、その瞼の開閉運動の検出データから瞼が開いている状態と閉じている状態とを表す時系列データが調製される。その場合、まず、カメラ等の撮像装置は、図２（Ａ）に模式的に描かれている如く、その視野が被検者の目及び瞼を含むように任意の場所に設置されてよい。具体的なカメラ等の撮像装置の設置位置は、例えば、被検者として車両の運転者の眠気を判定する場合には、車両のダッシュボードの上、ハンドル、天井等の被検者の目及び瞼を撮影できる部位であれば、任意の場所であってよい。また、カメラ等の撮像装置は、被検者のメガネ、帽子等の装着物に取り付けられてもよい。そして、カメラ等の撮像装置は、逐次的に被検者の目と瞼を撮像し、その画像信号から目と瞼の画像が逐次的に構成される。

被検者の目及び瞼の逐次的な画像又は連続画像が得られると、その画像に於いて上瞼と下瞼の位置が逐次検出され、それらの距離が計測されて、図２（Ｂ）上段に描かれている如き、瞼開度（上瞼と下瞼の距離）の時系列データが調製される。画像に於ける上瞼と下瞼の位置の検出は、上下瞼像や眼球の像の輝度や色相の特徴に基づき任意の画像処理方法によって達成されてよい。そして、得られた瞼開度の時系列データは、瞼開度の最大値と最小値との間に於いて瞼の開状態と閉状態との境界に設定される閾値を上回っているか否かを判定することにより、開状態と閉状態とに二値化され、図２（Ｂ）下段に描かれている如き瞼が開いているか閉じているかを表す指標値である瞼開閉状態指標値の時系列データが調製される。

上記の瞼開度は、任意の態様で計測されてよく、そのような場合も本発明の範囲に属することは理解されるべきである。別の態様として、例えば、既に触れた如く、瞼開度は、被検者の眼電信号（瞬きにともなう眼球の回転による電圧変化）の高低によっても計測可能である。その場合、図２（Ｃ）に模式的に描かれている如く、例えば、被検者の目の上下などの複数の領域のそれぞれに電極が貼付され、その電極間の電圧が信号（眼電信号）として計測され、信号処理装置へ送信される。また、電極は、メガネ、ゴーグル、ヘルメット等の頭部装着物に取り付けたり、タトゥーなどの肌に張り付ける装飾品に内蔵されてもよい。眼電信号の場合も、瞼の運動に対して、図２（Ｂ）と同様の時系列データが得られるので、そのデータを二値化することにより、瞼開閉状態指標値の時系列データが調製される。

なお、後に説明される如く、本発明の装置の処理では、或る期間に亘る瞼開閉状態指標値の統計的な量の演算処理を実行するので、瞼開閉状態指標値の時系列データは、信号処理装置４内のデータメモリに記憶される。

瞼開閉特徴量の算出（ステップ２、３）
瞼開閉状態指標値の時系列データが得られると、その瞼開閉状態指標値の時系列データから、被検者の眠気の有無に相関のある量が抽出される。かかる被検者の眠気の有無に相関のある量を、本発明に於いては、「瞼開閉特徴量」と称する。本実施形態に於いて、「瞼開閉特徴量」は、瞼開閉状態指標値の時系列データに於いて瞼開閉状態の遷移時間間隔を、所定の期間に亘って逐次的に計測し、その計測された遷移時間間隔の統計的演算処理によって算出されるが、本発明においては、瞼開閉特徴量の算出処理に当たって、先ず、瞼開閉特徴量を算出するための時間幅の設定が行われる。

瞼開閉特徴量の算出は、一方では、できるだけ短時間で行われるのが好ましいが、他方では、人によって通常の開眼時間の長短にかなりの差があり、開眼時間が長くなれば、所定時間内の瞼開閉の回数は少なくなり、瞼開閉特徴量の算出の精度は下がるため、瞼開閉特徴量の算出をできるだけ短い時間でできるだけ的確に行うには、その間の開眼時間の長短に応じた的確な調和を図ることが望まれる。そこで、先ず運転者毎の覚醒時の実動データに基づいて、瞼開閉特徴量算出の時間幅を選定するためのデータベースが図３に示す如く、運転者毎に一連の開眼時間中の最大値、即ち開眼時間最大値の平均値として予め求められる。図示の例では、I群に属する運転者の開眼時間最大値の平均値はm1であり、II群に属する運転者の開眼時間最大値の平均値はm2である。そしてこれら各群に属する運転者に対する瞼開閉特徴量算出時間幅がm1、m2等の大きさに対比して最適値に定められる。

その上で、実際の運転に於いては、運転の初期の或る適当な時間内に於ける開眼時間の最大値がxとして求められ、xとm1、m2等との間の隔たりが最も小さい群が、その運転者の属する群であると判定され、その運転者に対してはその群に対し設定された瞼開閉特徴量算出時間幅が適用される。この場合、m1、m2等は一群のデータの平均値であり、各群のデータはそれぞれ或る広さに分布した値の集まりであるので、xとm1、m2等との間の隔たりの大きさの比較には、各群のデータの分布の広がりを考慮に入れるよう、両者間の実距離を各群のデータの標準偏差で割るマハラノビス距離が用いられてよい。

（ｉ）瞼開閉状態の遷移時間間隔の計測（ステップ２）
瞼開閉特徴量の算出処理過程に於いては、まず、データメモリに記憶された瞼開閉状態指標値の時系列データ上に於いて、瞼の開状態と閉状態との間の遷移の時間間隔が計測される。瞼の開状態と閉状態との間の遷移の時間間隔（以下、「瞼開閉状態遷移時間間隔」と称する。）とは、「発明の概要」の欄にて述べた如く、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、（１）開眼時間（瞼が継続して開いている時間の長さ）、即ち、瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔（図４（Ａ））、（２）瞬き開始時間隔（瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ）、即ち、瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔（図４（Ｂ））、（３）瞬き終了時間隔（瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ）即ち、瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔（図４（Ｃ））、或いは、（４）閉眼時間（瞼が継続して閉じている時間の長さ）、即ち、瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔（図示せず）のいずれであってもよい。また、瞼開閉状態遷移時間間隔は、（１）〜（４）のいずれの場合も、図４（Ａ）〜図４（Ｃ）に描かれている如く、現在（Ｔｎｏｗ）より、過去に遡って計測されて、遷移の時間間隔の値の時系列データが調製される。例えば、図４（Ａ）の開眼時間の場合、開眼時間ｔｏｎが、現在時刻Tnowから遡って、ｔｏ_１，ｔｏ_２，ｔｏ_３，…ｔｏ_ｎ−１，ｔｏ_ｎの如く計測され、時系列データが構成される。図５（Ａ）、４（Ｂ）及び４（Ｃ）は、それぞれ、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間、及び、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された瞬き開始時間隔の時系列データの例を示している。

（ii）瞼開閉特徴量の算出（ステップ３）
上記の如く、瞼開閉状態遷移時間間隔が、上記の瞼開閉特徴量算出時間幅に亙って計測されると、現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、瞼開閉特徴量として、瞼開閉状態遷移時間間隔の統計量が算出される。統計量としては、標準偏差値、分散、平均値、中央値などであってよい。例えば、具体的には、瞼開閉状態遷移時間間隔として開眼時間が選択され、瞼開閉特徴量として開眼時間の標準偏差値が選択される場合には、現在時点から遡って、ｎ個の開眼時間データ
｛ｔｏ_１，ｔｏ_２，ｔｏ_３， ｔｏ_ｎ−１，ｔｏ_ｎ｝ …（１）
がデータメモリから抽出され、標準偏差値ＳＤ（ｔ）が、下記の式

により算出される。ここに於いて、ｎは、データ抽出数であり、ｉは、データ番号であり、ｔｏｉは、ｉ番目の開眼時間データであり、ｔｏａは、抽出されたｎ個のデータ値の平均値である。そして、標準偏差値ＳＤ（ｔ）（瞼開閉特徴量）は、図１（Ｂ）のサイクルが繰り返される間に、図６（Ａ）に示されている如く、逐次的に算出される。なお、同図を参照して、処理の開始後の或る期間（データ蓄積期間）に於いては、統計的に有意な瞼開閉特徴量を算出するために必要なデータ数が存在していないので、瞼開閉特徴量は、算出されない。瞼開閉特徴量として、瞬き開始時間隔、瞬き終了時間隔又は閉眼時間の分散、平均値又は中央値が選択される場合も同様に現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、時系列の瞼開閉特徴量が算出されることは理解されるであろう。

閾値の設定（ステップ４、５）
本発明に於いては、既に触れた如く、上記の瞼開閉状態遷移時間間隔の標準偏差値等の瞼開閉特徴量の値が、被検者が眠気を感じていないときの値域から逸脱したときに、被検者が眠気を感じているとの判定が為される。そこで、被検者が眠気を感じていないときの瞼開閉特徴量の値域を画定するための閾値が設定される。この点に関し、既に述べた如く、従前では、被検者が眠気を感じたときには、瞼開閉特徴量は、被検者が眠気を感じていないときに比して、専ら、低減すると想定していたが、被検者によっては、眠気を感じたときに瞼開閉特徴量が増大する場合がある。そこで、本発明の装置に於いては、被検者が眠気を感じていないときの瞼開閉特徴量の値域の境界である閾値は、下限値（第一の閾値）と上限値（第二の閾値）との二つが設定される。また、被検者が眠気を感じていないときの瞼開閉特徴量の値域には、個人差や個人内差があるので、かかる値域を画定する閾値は、できるだけ、眠気の判定時に近い時期で、被検者が眠気を感じていないときの瞼開閉特徴量に基づいて設定されることが好ましい。そこで、本実施形態に於いては、図６（Ｂ）に模式的に描かれている如く、本発明の装置の作動直後から所定の期間の瞼開閉特徴量を用いて設定されてよい。例えば、本発明の装置が被検者として車両の運転者の眠気を判定するために用いられる場合、走行直後から所定の期間が、閾値設定用のデータを蓄積するための期間とされてよい。（眠気の判定は、図示の如く、閾値設定用データ期間の経過後に閾値が設定された状態になってから、実施される。）

閾値の設定の具体的な処理としては、一つの態様として、閾値設定用のデータを蓄積するための期間に於けるＭ個の瞼開閉特徴量のデータを用いて、下記の式にて、閾値Ｈｉ（上限値）と閾値Ｌｏ（下限値）とが算出されてよい。
閾値Ｈｉ＝Ｔｈｈ×Ｍａｖ …（３ａ）
閾値Ｌｏ＝Ｔｈｌ×Ｍａｖ …（３ｂ）
ここで、Ｔｈｈは、１より大きい正係数であり、Ｔｈｌは、１より小さい正係数である。Ｍａｖは、Ｍ個の瞼開閉特徴量の平均値である。Ｍ、Ｔｈｈ、Ｔｈｌは、実験的に決定されてよい。上記の式（３ａ）、（３ｂ）によれば、判定時に比較的近い時期に於ける同一被検者の閾値設定用データ期間のＭ個の瞼開閉特徴量の平均値によって、閾値が設定されることとなるので、瞼開閉特徴量の個人差や個人内差の影響をより小さく抑えられることが期待される。

装置の処理サイクルに於いては、瞼開閉特徴量が算出された後（ステップ３）、閾値が設定されていないときには（ステップ４）、閾値の設定処理（ステップ５）が実行される。かかる処理に於いては、Ｍ個の瞼開閉特徴量が蓄積されるまでは、サイクルを繰り返し、瞼開閉特徴量の個数がＭ個に到達した時点で上記の式により上下の閾値が算出され、設定される。

眠気の有無の判定（ステップ６）
かくして、閾値が設定されると、瞼開閉特徴量が上下の閾値にて画定された範囲内にあるか否かの判定が実行され、瞼開閉特徴量が上下の閾値の間の範囲から逸脱した場合には、被検者は眠気を感じていると判定される。図７（Ａ）は、図５（Ａ）の瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて眠気の判定を実施した例であり、図示の例では、２５００秒付近に於いて、標準偏差が閾値Ｈｉを超えたため、被検者が眠気を感じていると判定された（図示の例では、閾値は、Ｍ＝１００、Ｔｈｈ＝２．０、Ｔｈｌ＝０．５と設定して算出されている。）。なお、図示の例の如く、標準偏差は、閾値Ｈｉに対して、値が増減する場合があるが、図７（Ａ）の下段にて示されている如く、一度でも、瞼開閉特徴量が上下の閾値にて画定された範囲から逸脱したときには、それ以降、眠気ありとの判定が為されてよい。

図７（Ａ）に例示されている如き、眠気の判定は、図７（Ｂ）に例示されている如く、眼電信号から得られた開眼時間の時系列データから算出された開眼時間の標準偏差を用いても同様に実現可能である。また、図８（Ａ）、７（Ｂ）、７（Ｃ）は、瞼開閉特徴量として、開眼時間の平均値、中央値、分散を、それぞれ、採用した例であり、これらの場合も、同様に眠気の判定が実行可能であった。

かくして、上記の如く、被検者の眠気が検知されると、既に述べた如く、スピーカや振動器を用いて、そのことが、被検者に伝えられるようになっていてよい。

以上の如く、上記の本発明の装置に於いては、被検者の眠気を感じているか否かの指標値である瞼開閉特徴量が上下の閾値にて画定される値域から逸脱するときに眠気を感じているとの判定が為される。これにより、眠気を感じると、瞼開閉特徴量が通常時よりも低減する被検者の場合だけでなく、眠気を感じると、瞼開閉特徴量が通常時よりも増大する被検者の場合にも、眠気の検知が可能となる。

更に、上記の如く、眠気検知装置が運転者の運転中の眠気の検知に利用される場合に関して、車両の運転は、しばしば、休憩などの中断を挟んで行われ、中断の態様（休憩中の運転者の過ごし方や休憩の長さなど）によっては、運転を再開したときの運転者の状態は、中断前の状態から変化することがある。そして、もし通常状態に於ける瞼開閉特徴量が中断前の状態から変化していると、中断前の通常状態に基づいて設定された閾値を用いた眠気の判定処理では、眠気の誤判定（誤検知、見逃し）が生じ得ることとなる。従って、車両の運転中の眠気の検知を、より精度良く実行するためには、車両の運転の中断毎に、「瞼開閉特徴量」に対する閾値の再設定を繰り返すことが好ましいということになる。しかしながら、「瞼開閉特徴量」に対する閾値の設定には、上記の如く、実際に眠気の検知の処理を実行する前に所定の期間を要し、その間は、眠気の検知が実行されないこととなる。また、例えば、運転の中断が比較的短時間であり、運転者の状態が、中断の前後で殆ど変わっていないこともあり、その場合には、運転再開後の「瞼開閉特徴量」に対する閾値の再設定は不要であり、しかも、閾値の再設定が不要であるにもかかわらず、閾値の再設定のための所定の期間に於いて、運転者の眠気の検知が実行されないこととなる。従って、眠気検知装置を車両の運転者の運転中の眠気の検知に利用する場合、運転中断後に「瞼開閉特徴量」に対する閾値の再設定を実行するか否かは、運転中断前後に於ける運転者の状態の変化等に因る閾値の再設定の必要性を推定して、決定できることが望ましい。

そこで、以上の如き眠気検知装置に於いて、車両の運転の中断があった後に車両の運転が再開されたときには、閾値設定手段が、「瞼開閉特徴量」に対する閾値の再設定の必要性を考慮し、運転の再開前までの被検者の状態に基づいて閾値の再設定を実行するか否かを判定し、閾値の再設定を実行すると判定したときに、運転の再開後から所定の期間に亘って得られる瞼開閉特徴量を用いて瞼開閉特徴量に対する閾値を設定するようにされてよい。より具体的には、一つの態様として、運転の中断時間が長いと、被検者の状態が変化している可能性が高いので、車両の運転の中断の時間が所定時間より長いとき閾値の再設定を実行するようになっていてよい。所定時間の長さは、実験的に設定されてよい。また、別の態様として、車両の運転の中断前に被検者の眠気が検知されたときに閾値の再設定を実行するようになっていてよい。例えば、車両の運転中に運転者が眠気を感じて運転を中断して休憩を取った場合、通常の状態に於ける瞼開閉特徴量の変動の態様が運転の中断前の状態と変化する場合がある。その場合、運転中断前の状態と同じ閾値を使用すると眠気の有無が誤検知されやすいことがあるので、閾値の再設定が実行されてよい。なお、上記の条件のいずれか一方でも成立した場合には、閾値の再設定が実行されるようになっていてよい。

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (10)

1. 眠気検知装置であって、
   被検者の瞼の開閉状態を検出する手段と、
   前記瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、
   被検者の覚醒時の開眼時間最大値のデータから該被検者に適した瞼開閉特徴量算出時間幅を定める手段と、
   前記瞼開閉特徴量算出時間幅に亙る前記瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を算出する手段と、
   前記瞼開閉特徴量が第一の閾値を下回ったとき、及び、前記第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、前記被検者が眠気を感じていると判定する眠気判定手段と、
   を含む装置。
2. 請求項１の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から前記瞼の開状態から閉状態への遷移までの時間間隔である装置。
3. 請求項１の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔である装置。
4. 請求項１の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔である装置。
5. 請求項１乃至４のいずれかの装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の統計量を表す指標値である装置。
6. 請求項５の装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の標準偏差である装置。
7. 請求項１の装置であって、前記第一及び第二の閾値が前記眠気の判定時よりも前の所定期間に於ける前記瞼開閉特徴量に基づいて決定される装置。
8. 請求項７の装置であって、前記第一及び第二の閾値が前記眠気の判定時よりも前の所定期間に於ける前記瞼開閉特徴量の平均値に、それぞれ、１よりも所定の小さい正数及び１より所定の大きい正数を乗じた値である装置。
9. 請求項１の装置であって、前記瞼の開閉状態を検出する手段が被検者の瞼のカメラ画像に基づいて前記瞼の開閉状態を判定する装置。
10. 請求項１の装置であって、前記瞼の開閉状態を検出する手段が被検者の眼電信号に基づいて前記瞼の開閉状態を判定する装置。

Images