JPWO2013035704A1 - 居眠り検出方法と装置 - Google Patents

Abstract

簡単な装置で、正確に瞬目群発を検出することができ、居眠りの検出早さ及び精度を向上させた居眠り検出方法と装置である。人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間とする。健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とする。前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発とする。前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合に居眠り状態と判断する。前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態と判断する。前記第二の閾値時間より相対的に長い閉眼の場合にも居眠り状態と判断する。

Description

この発明は、人の覚醒が低下した状態である居眠りを検出する居眠り検出方法と装置に関する。

従来、居眠りを検出する方法として、例えば１秒以内の短時間に、複数回の閉眼が生じる状態である瞬目群発を検出して、覚醒が低下していることを検出する方法が提案されている。例えば特許文献１には、目の瞬きである瞬目の群発を検出してから所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動であるＳＥＭ（Slow Eye Movement）を検出した場合に、覚醒度が低下している（居眠りしている）と判定する検出方法が開示されている。瞬目の群発やＳＥＭは、入眠初期に現れる特徴的な現象であり、これらを組み合わせて覚醒度の低下を判定している。

特許文献２には、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定する瞬目判定手段と、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する覚醒低下判定手段とを備えた覚醒低下検出装置が開示されている。

しかし特許文献２に記載された検出方法の場合、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていない。このため、特許文献２に記載された検出方法では、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができないという問題があった。

そこで、特許文献３は、群発性瞬目を精度良く検出するために、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とから成る眠気判定装置を提案している。

一方、非特許文献１，２では、瞬きの特徴のみに基づく居眠り状態を検出するために、瞬目群発中の第１瞬目の閉眼時間と眠気表情値の関係を調査したものである。その結果、覚醒度が低下すると、第１瞬目の閉眼時間が延びることが示されている。

特開２００６−１３６５５６号公報 特開２００８−７３３３５号公報 特開２０１０−２２４６３７号公報

平成22年度電気関係学会北陸支部連合大会講演論文集B-3 平成22年度日本生体医工学会北陸支部大会講演論文集pp.25~26

上記背景技術の特許文献１，２に開示された発明の瞬目群発の検出は、図２（ｂ）、図３（ｂ）に示すように、一般的に閉眼の一つの極小値から次の極小値までの時間を瞬目間間隔TO_p(i)として測定していた。そして、判定基準値Th_Oを例えば１秒とし、瞬目間間隔TO_p(i)が判定基準値Th_O以下の間隔の場合を瞬目群発と定義していた。この場合の瞬目間間隔TO_p(i)は、閉眼状態の極小値から開眼まで及び開眼状態から閉眼の極値までの時間も含めて測定しているため、瞼を閉じる動作の時間や瞼を開く動作の時間が長くなる群発性の瞬目を検出できず、正確に瞬目群発を検出できないものであった。

特許文献３に開示された検出方法は、瞼の開度の時系列データを検出し、検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から瞬目群発を判断しているため、半閉眼状態の瞼の開度を正確に測定することが困難であり、測定誤差も生じやすいものである。

非特許文献１，２では、瞬目群発中の瞬きの閉眼時間から居眠り状態を検出するための基準や実時間の検出タイミングが示されておらず、精確に居眠り状態を判断できるものではなかった。さらに、瞬目群発中の第１瞬目の閉眼時間のみに基づく居眠り状態の判定では、居眠り検出精度が低く、居眠り検出タイミングに遅延が生じる問題がある。

この発明は、上記背景技術の問題点に鑑みてなされたものであり、比較的簡単な装置で、正確に瞬目群発を検出することができ、居眠りの検出早さ及び精度を向上させた居眠り検出方法と装置を提供することを目的とする。

この発明は、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定し、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値Ｔｈ_Ｏ）として定義し、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）として定義し、前記第一の閾値時間以下の開眼を検出した場合（ｓ２）にその前後の瞬きを瞬目群発と定義し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合（ｓ５）に居眠り状態と判断する居眠り検出方法である。

また、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合（ｓ３）に直ちに居眠り状態と判断する居眠り検出方法である。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合（ｓ６）に直ちに居眠り状態と判断するものである。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合（ｓ９）に直ちに居眠り状態と判断するものである。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合（ｓ１１）に直ちに居眠り状態と判断するものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

また、前記瞬目群発中の瞬きの前記閉眼時間と前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、例えば前記第三の閾値時間より相対的に長い場合に居眠り状態としても良い。さらに、前記合計閉眼時間は、前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求められるものでも良い

またこの発明は、人の目の位置を認識して、目の閉眼から開眼までの状態を検出する閉眼検出手段と、前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値Ｔｈ_Ｏ）として定義し、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）として定義し、前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、前記瞬目時間測定手段により測定した瞬きの時間を基に前記瞬目群発を判別する瞬目群発判別手段と、前記瞬目群発を検出した場合、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が前記第二の閾値時間以上に達した場合に居眠り状態であるとする居眠り判別手段とを備えた居眠り検出装置である。

また、前記居眠り判別手段は、前記瞬目群発中の瞬きのうち、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態であるとする居眠り判別手段とを備えた居眠り検出装置である。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合に直ちに居眠り状態であるとするものである。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態とするものである。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態とするものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発中の瞬きの前記閉眼時間と、前記瞬目時間測定手段により検出された前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、例えば前記第三の閾値時間より相対的に長い場合に居眠り状態とするものである。前記居眠り判別手段は、前記合計閉眼時間を前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることでも求められる。

また、前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた居眠り検出装置としても良い。

さらにこの発明は、前記居眠り検出装置を備えた車両に適用可能なものである。

この発明の居眠り検出方法と装置は、簡単な装置でコストもかからず、正確且つ迅速な居眠り検出が可能となる。これにより、乗り物等の運転手の居眠りを早期に発見し、運転の安全性を高めることが出来る。

この発明の一実施形態の居眠り検出装置の模式図である。 この発明の一実施形態の居眠り検出方法の瞬目の定義（ａ）と、従来の瞬目の定義（ｂ）を示すタイムチャートである。 閉眼時間が長い場合について、この発明の一実施形態の居眠り検出方法の瞬目の検出（ａ）と、従来の瞬目の検出（ｂ）を示すタイムチャートである。 この発明の一実施形態の居眠り検出方法を示すフローチャートである。 この発明の一実施形態の居眠り検出装置の目検出方法に用いるテンプレートの模式図である。 この発明の一実施形態の居眠り検出装置の目検出方法の原理を示す図である。 この発明の一実施形態の居眠り検出装置の瞬目検出方法を示す写真と模式図である。 この発明の一実施形態における実施例を示すための実験装置の模式図である。 ２名の被験者について、この発明による瞬目群発の定義による第１閉眼時間の分布と、従来の瞬目群発の定義による第１閉眼時間の分布である。 ２名の被験者について、この発明による瞬目群発の定義による第２閉眼時間の分布と、従来の瞬目群発の定義による第２閉眼時間の分布である。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例の居眠り検出を示すグラフ（ａ）と、従来の技術による居眠り検出を示すグラフ（ｂ）である。 この発明の一実施例の眠気表情値を示すグラフ（ａ）、瞬目群発中の瞬きの合計閉眼時間を示すグラフ（ｂ）、単独瞬目の平均閉眼時間を示すグラフ（ｃ）、瞬目群発の瞬きと単独瞬目の合計閉眼時間を示すグラフ（ｄ）である。

以下、この発明の実施形態について図面に基づいて説明する。図１〜図７はこの発明の一実施形態を示すもので、この実施形態の居眠り検出装置３０は、図１に示すように、例えばドライバー３１の顔を撮影するＣＣＤカメラ等からなる撮影部３２と、撮影部３２により生成される画像を処理して瞬目の検出等を行う居眠り検出アルゴリズムが実装されたドライバーモニターＥＣＵ３３を備えている。ドライバーモニターＥＣＵ３３は、覚醒レベルの表示や居眠り状態になった場合に視覚的に警報を促すためのナビゲーションシステム３４に接続されている。また、ドライバーモニターＥＣＵ３３は、ドライバー３１が居眠り状態になった場合、スピーカ３５により音でも警報を促す。さらに、ドライバーモニターＥＣＵ３３は、ドライバー３１の居眠り状態が続いた場合、ブレーキ制御装置３６により、車両のブレーキ制御を行う。

ドライバーモニターＥＣＵ３３は、ＣＰＵと、制御ルーチン等のプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びその他のプログラムやデータを記憶したハードディスク等の記憶装置を備えている。

ドライバーモニターＥＣＵ３３に設けられた居眠り検出機能は、撮影部３２が撮像した画像を処理して、この発明により定義した瞬きを検出する閉眼検出手段と、閉眼検出手段が検出した瞬きの開眼時間と閉眼時間を計る瞬目時間測定手段と、瞬目時間測定手段により測定した瞬きの時間を基に瞬目群発を判別する瞬目群発判別手段と、これらの測定結果を基に居眠りを判定する居眠り判別手段とから成る居眠り検出アルゴリズムの実行プログラムにより構成されている。

居眠り状態の検出及び判定は、図２（ａ）に示す瞬目群発時の閉眼時間の定義により、図４のフローチャートに示すように判定する。まず、ドライバーモニターＥＣＵ３３に設けられた瞬目群発判別手段により開眼時間ＴＯ（ｉ）（ｉは自然数）を計測する（ｓ１）。計測中に閉眼検出手段により閉眼状態が検出され、確定した開眼時間ＴＯ（ｉ）が、第一の閾値時間である判定基準値Ｔｈ_Ｏ以下であるか否かを調べる（ｓ２）。開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏ以下の時、この開眼状態の前に発生した瞬きと後に発生する瞬きを瞬目群発として判定する。この実施形態では、判定基準値Ｔｈ_Ｏ＝１秒である。この時、居眠り判別手段により、この開眼状態の前に発生した瞬きの閉眼時間ＴＣ（ｉ−１）が、第二の閾値時間である居眠り判定基準Ｔｈ_Ｃ１以上であれば居眠り状態であると判定する（ｓ３）。ここでは、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。そして、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値Ｔｈ_Ｏ）と定義する。また、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）として定義する。

次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ４）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ１以上になれば、直ちに居眠り状態であると判定する（ｓ５）。また、閉眼時間ＴＣ（ｉ）が、前記第二の閾値時間より長い第三の閾値時間であるもう一つの居眠り判定基準Ｔｈ_Ｃ２以上（居眠り判定基準Ｔｈ_Ｃ２＞居眠り判定基準Ｔｈ_Ｃ１）となれば、直ちに居眠り状態であると判定する（ｓ６）。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ７）。ここで、第三の閾値時間は、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

一方、開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きの前の開眼時間ＴＯ（ｉ−１）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きを瞬目群発以外の瞬きと判定する（ｓ８）。さらに、この開眼状態の直前の瞬きの閉眼時間ＴＣ（ｉ−１）が、居眠り判定基準Ｔｈ_Ｃ２以上であれば居眠り状態であると判定する（ｓ９）。次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ１０）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ２以上になれば、直ちに居眠り状態であると判定する（ｓ１１）。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ１２）。

ここで、瞬目検出方法の例を以下に説明する。先ず目の位置検出方法は、撮影部３２で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート２０によるテンプレートマッチングを行う。このテンプレートマッチングには、例えば残差逐次検出法を用いる。

一般に、図５に示すように成人の目２４の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩２２のサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩２２のサイズを直径１１ｍｍと設定している。片目部分テンプレート２０は十字形の直線で構成され、例えばモニタ１６の画面上で横幅１１ｍｍ、縦幅６ｍｍに設定されている。１ｍｍあたりのピクセル数は、モニタ１６上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形の片目部分テンプレート２０を用いることにより、目２４の傾きがあっても、円形の虹彩２２には影響せず、虹彩２２との正確なマッチングを得ることができる。

この実施形態では処理の高速化のため、例えば４画素ずつ片目部分テンプレート２０を移動させテンプレートマッチングを行う。片目部分テンプレート２０の横幅のマッチング度は、画像の１ピクセルずつ比べ、縦幅のマッチング度は１ピクセル飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に、片目部分テンプレート２０が重なった部分が目らしいと判定する。

また、片目部分テンプレート２０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、目２４の周りの特徴をチェック項目として用い、図６に示すように、片目部分テンプレート２０の上下において、眉２８の有無を判断材料とした。例えば、虹彩２２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉２８の位置のチェックポイントａは片目部分テンプレート２０の中心から上２５〜５０ｍｍの間、眉２８と目２４との間のチェックポイントｂは同じく１５〜２７ｍｍ、目２４の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目２４の直上では黒い部分が無く、その上方に眉２８による黒部分が検知され、目２４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。

これらのチェック項目のマッチング度は、目２４の上の部分おいて、ピクセルの値を基にした閾値と比較して、眉２８の位置でマッチング度が１０％以上、眉２８と目２４の間の位置でマッチング度が２０％以上、目２４の下の位置ではマッチング度が２０％以上のマッチングが得られたとき、目２４の周りの条件適合性が満たされると判定する。そして、目２４であるとする最終判定は、片目部分テンプレート２０によるテンプレートマッチングと目２４の回りの特徴チェック項目により判定する。

目２４を検出した後、目２４の瞬きを検出する。瞬目検出は、図２（ａ）、図３（ａ）に示すように、黒目である虹彩２２の面積の変化から、瞬目を検出している。瞬目検出は、撮影部１２により取得した濃淡画像から、虹彩２２の面積を測定する。そして、虹彩２２の面積測定結果が所定の閾値Ｓ_ｔｈ以下、例えば虹彩２２の面積の最大値を記憶し、その最大値から例えば５〜１５％好ましくは１０％少ない面積を閾値Ｓ_ｔｈとして開眼状態か否かを判断する。

虹彩２２の面積の測定は、目２４の２値画像をスキャンして行う。先ず、虹彩２２と片目部分テンプレート２０の横幅のマッチング度が例えば８５〜９５％好ましくは９０％以上満たしているときに目らしいと判定し、開眼時の虹彩２２の横幅と片目部分テンプレート２０の横幅は一致したと考える。また、閉眼時には、図７に示すように、まつげ２６によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩２２の面積の横方向の測定範囲は片目部分テンプレート２０の横幅とする。また縦方向の測定範囲は、虹彩２２の中に片目部分テンプレート２０のマッチする点がいくつも存在することから、マッチポイントが虹彩２２の中心からずれることを考慮し、片目部分テンプレート２０の中心から上下方向に例えば５０ピクセルの範囲とする。

虹彩面積測定の手順は、目２４の認識後、虹彩２２の面積測定を行う。片目部分テンプレート２０の中心位置から左に、ピクセル濃度値が虹彩２２の２値化閾値以上になるまで移動し、その移動距離を計算する。次に、右方向にも同様にして距離を計算し、左右の移動距離の和を虹彩２２の横幅とする。そして、測定範囲内で片目部分テンプレート２０の上側で同様の作業を繰り返し、横幅を合計する。また片目部分テンプレート２０の下側でも同様にして、横幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、横方向に長くまつげ２６による黒い部分が表れる。しかし、横方向の測定範囲は、片目部分テンプレート２０の横幅であり、ピクセル濃度値が虹彩２２の２値化閾値以下の濃い部分は、縦方向にまつげ２６の上下幅となる。従って、開眼時の虹彩２２の面積は、測定範囲内で、閉眼時のまつげ２６を測定した場合よりも大きい値となる。

これにより、図７の測定範囲内でピクセル濃度値が虹彩２２の２値化閾値以下の濃い箇所（前記移動距離内の部分）の合計が、図２、図３に示す所定の閾値Ｓ_ｔｈ以上であれば、虹彩２２であるとして開眼状態とする。また、この合計が閾値Ｓ_ｔｈ以下であれば、閉眼状態であるとする。

この実施形態の居眠り検出装置３０の使用方法は、自動車や電車、その他の作業機械の運転席の近傍に設け、撮影部３２により運転者を撮影し、上記の第一の閾値時間（判定基準値Ｔｈ_Ｏ）を基準とした処理により瞬目群発を検出し、その瞬目群発中の瞬きの閉眼時間の何れかが第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）以上である場合に、居眠りと判断し、さらに、瞬目群発以外の瞬きの閉眼時間が第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上の場合も居眠りと判断する。これにより、自動車等の運転の安全性を大幅に向上させることができる。

前記一般的な瞬目群発検出法では、図２（ｂ）、図３（ｂ）に示すように、閉眼の極小値から極小値までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定していたが、この他に、閉眼の開始から次の閉眼の開始までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法や、閉眼の終了から次の閉眼の終了までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法がある。しかし、これらの変則的な測定方法では、長時間の閉眼を含む群発性の瞬目を検出できないので、前記の一般的な瞬目群発検出方法が持つ問題を解決しておらず、本発明による瞬目群発検出方法の方が居眠り検出において優れていると言える。

この実施形態の居眠り検出装置は、開眼時間のみを判定基準として第一の閾値時間（判定基準値Ｔｈ_Ｏ）により瞬目群発を検出し、瞬目群発中の各々の瞬きの閉眼時間は第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）で、瞬目群発以外の瞬きの閉眼時間は第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）で判定することにより、居眠り状態の判別が早期に行なわれ、居眠りの確実な防止に貢献する。

次に、この発明の居眠り検出装置の構成を備えた実験装置による実施例について説明する。図８に居眠り検出装置を備えた実験装置の模式図を示す。実験装置には、被験者１１の顔を撮影するＣＣＤカメラ等からなる撮影部１２と、撮影部１２により生成される画像を処理して瞬目の検出等を行う居眠り検出プログラムがインストールされたコンピュータ１４で構成されている。コンピュータ１４は、撮影画像を表示する液晶ディスプレイ等のモニタ１６に接続されている。また、運転中の視界を表示するスクリーン１８が設けられ、被験者１１が座るシート１３と、ハンドル１５、計器表示部１７、及びアクセル１９等を有し、通常の自動車と同様の構成を備えている。また、実験中の被験者１１の覚醒度を表す相対的指標である眠気表情値を得るために、実験中の被験者１１の顔表情を録画した。ここでは、複数の被験者１１について、２名の観察者により眠気の程度を判断し、採点により被験者１１の眠気表情値（Rated Sleepiness）を数値化した。さらに、グラフでは、２名の判定値の平均を眠気表情値とし、５秒ごとの３０秒移動平均により平滑化を行いグラフに記載した。眠気表情値の数値化は、以下の数値を付して行った。
５．全く眠くなさそう
４．やや眠そう
３．眠そう
２．かなり眠そう
１．眠っている

実施例では、第一の閾値時間として定義される瞬目群発の判定基準値Ｔｈ_Ｏを１秒に設定した。先ず図９に、２名の被験者（Sub.1-1，Sub.2-1）について、本発明による瞬目群発の定義による第１閉眼時間の分布（上段）と、従来の瞬目群発の定義による第１閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第１閉眼時間、横軸は眠気表情値である。図９より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第１閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。また、図１０に、別の２名の被験者（Sub.8-1，Sub.6-2）について、本発明による瞬目群発の定義による第２閉眼時間の分布（上段）と、従来の瞬目群発の定義による第２閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第２閉眼時間、横軸は眠気表情値である。図１０より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第２閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。これらは本発明の瞬目群発の定義では、開眼時のみを瞬目間間隔としているため、長時間の閉眼を含む瞬目群発を検出できるが、図３（ｂ）に示すように、従来の定義では、開眼時間に加えて閉眼から開眼までの過程や開眼から閉眼までの過程も瞬目間間隔に含まれているため、長時間の閉眼を含む瞬目群発が検出されないからであると考えられる。これにより、本発明の瞬目群発の定義による居眠り検知が、より正確に行われる可能性があることが分かった。よって、上記の第１閉眼時間の分布と第２閉眼時間の分布結果に基づき、実施例では第二の閾値時間として定義される居眠り判定基準Ｔｈ_Ｃ１を１秒に設定した。また、第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）は第二の閾値時間より相対的に長い閉眼時間として２秒に設定した。実施例ではこの第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）は瞬目群発以外の瞬き（単独瞬目）の居眠り判定基準として用いた。

図１１は、本発明の居眠り検出方法による居眠り検出を示したもので、図１１によれば、被験者（Sub.1-1）は、実験開始直後から瞬目群発が検出され（●印）、その後最初に第２閉眼（▽印）が１秒以上検出された最初の時点（１０８６秒）で、居眠りと判断した。この時、被験者の眠気表情値は３を中心に上下しており、被験者が眠気を我慢していることがわかる。さらに、その後眠気表情値が２まで下がっていることから、運転に支障をきたす居眠り状態に入る前を検出できていることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１２は、被験者（Sub.5-1）の場合であり、被験者（Sub.1-1）と同様に実験開始直後から瞬目群発が検出され（●印）ている。その後、最初に第１閉眼（灰色▽印）が１秒以上検出された最初の時点（３２２秒）で、居眠りと判断した。このときの状態は、眠気表情値で３近くを示しており、その後さらに眠気表情値が下がっていることから、居眠り状態に入る時期であることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１３に示す被験者（Sub.3-2）の場合も、実験開始直後から瞬目群発が検出され（●印）、瞬目群発ではない単独瞬目の閉眼時間が２秒以上検出（灰色△印）された最初の時点（４５４秒）で、居眠りと判断した。このときの状態は、眠気表情値で２近くを示しており、その後も眠気表情値が３前後で振れていることから、居眠り状態に入る時期であることが分かり、正確に居眠りを検出していることが分かった。

図１４は、図１３の被験者（Sub.3-2）について、本発明と従来の方法による居眠り検出時間の差を示す。従来法は特許文献２に開示された方法により、図２（ｂ）に示す瞬目群発の定義で瞬目群発発生直後の時間から、長時間閉眼終了時間までの時間間隔が１０秒以内となった箇所のうち、最も早く１０秒以下となった箇所の時間を記した。これによれば、本発明では単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）したことから、居眠りを早期のタイミング（４５４秒）で検出できた。これに対して、従来法では、居眠りの検出時期が測定開始から９３９秒であり、本発明による方法と比較して遅いことが確かめられた。

図１５は、他の被験者（Sub.2-2）について、本発明と従来の方法による居眠り検出時間を測定した結果を示す。この被験者の場合も、本発明は単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）し、早期（７８１秒）に居眠りを検出することができた。これに対して、従来法では、検出時期が測定開始から１１２９秒後であり、本発明による方法と比較して遅いことが分かった。さらに、本発明の検出方法では、図１５に示すように、瞬目群発の第１閉眼が１秒以上（灰色▽印）、及び第２閉眼が１秒以上（▽印）の判定が最初に表れた時点を見ても、共に従来法よりも早期に居眠りを検出していることが分かり、この点からも本発明による方法は、早期に居眠りを検出可能であることが分かる。

図１６は、図１１の被験者（Sub.1-1）の眠気表情値の時間推移を示すもので、図１６（ａ）が本発明による検出方法による瞬目群発発生位置（●）、図１６（ｂ）には従来法による瞬目群発発生位置（○）を図示している。図１６（ａ）では瞬目群発の第１閉眼（灰色▽）、第２閉眼が１秒以上（▽）となった箇所が図示されている。図１６（ｂ）は従来法による瞬目群発発生位置（○）と瞬きの閉眼時間が１秒以上となった箇所（灰色△）が図示されている。

図１６（ｂ）の従来の方法によるグラフでは、瞬目群発後の長時間閉眼が１０秒以下の時点をＡ〜Ｅで示す。従来法では、居眠り検出時期の最も速いもので、実験開始後、Ａ点で示す１３１５秒であった。これに対して、本発明の方法では、図１６（ａ）に示すように、瞬目群発における第２閉眼が１秒以上あった最初の時点（最初の▽）である、実験開始後１０８６秒で居眠りの検出が行われている。さらに、本発明の場合、瞬目群発における第１閉眼が１秒以上あった最初の時点（最初の灰色▽）をみても、従来の方法による場合と比較して、早期に検出していることが分かる。

次に、本発明の居眠り検出装置の構成を備えた実験装置（図８）による別の実施形態における実施例を図１７に示す。図１７は被験者（Sub.8-1）の実験結果であり、図１７（ａ）には眠気表情値、図１７（ｂ）には瞬目群発中のすべての瞬きの閉眼時間を加算した合計閉眼時間（秒）、図１７（ｃ）には単独瞬目の３０秒間での平均閉眼時間（秒）、図１７（ｄ）には瞬目群発中のすべての瞬きの閉眼時間（秒）と、単独瞬目の３０秒間での平均閉眼時間を加算した合計閉眼時間（秒）の時間推移を示している。この結果より、覚醒度が低下するに従い、合計閉眼時間が伸長していることがわかる。また、覚醒度が低下している間は、常に合計閉眼時間が長くなっている。このことから、瞬目群発と単独瞬目の合計閉眼時間を計測することにより居眠り状態を安定して検出できることが分かる。また、式（１）に示すように、瞬目群発中の第ｊ番目の瞬きの閉眼時間をＴ_Ｂ（ｊ）、単独瞬目の平均閉眼時間をＴ_Iとし、これらの閉眼時間にそれぞれ重み（Ｗ_Ｂ（ｊ），Ｗ_I）をかけて足し合わせることにより合計閉眼時間Ｔ_ｓｕｍを求めてもよい。図１７に示す実施例では、Ｗ_Ｂ（ｊ）＝１，Ｗ_I＝１としているが、この他、例えばＷ_Ｂ（ｊ）＝０．５〜１．５，Ｗ_I＝０．５〜１．５とするなど各々の重みを様々に変えて足し合わせて合計閉眼時間Ｔ_ｓｕｍを求めてもよい。

なお、本発明の居眠り検出装置は前記各実施の形態に限定されるものではなく、瞬目検出は、上記以外の方法によっても良く、短時間に連続する２回以上の瞬目を検出して瞬目群発としても良い。また、この発明の開眼時間及び閉眼時間の定義及び判定基準値は、小数点以下を四捨五入した数値も含むものであり、具体的には、例えば０．５秒以上１．５秒未満までの範囲がこの発明の１秒の定義に含まれるものであり、この範囲を１秒としても良い。

１０ 居眠り検出実験装置
１１ 被験者
１２，３２ 撮影部
１４ パーソナルコンピュータ
１６ モニタ
３０ 居眠り検出装置
３１ ドライバー
３３ ドライバーモニターＥＣＵ
３４ ナビゲーションシステム
３５ スピーカ
３６ ブレーキ制御装置

この発明は、人の覚醒が低下した状態である居眠りを検出する居眠り検出方法と装置に関する。

従来、居眠りを検出する方法として、例えば１秒以内の短時間に、複数回の閉眼が生じる状態である瞬目群発を検出して、覚醒が低下していることを検出する方法が提案されている。例えば特許文献１には、目の瞬きである瞬目の群発を検出してから所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動であるＳＥＭ（Slow Eye Movement）を検出した場合に、覚醒度が低下している（居眠りしている）と判定する検出方法が開示されている。瞬目の群発やＳＥＭは、入眠初期に現れる特徴的な現象であり、これらを組み合わせて覚醒度の低下を判定している。

特許文献２には、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定する瞬目判定手段と、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する覚醒低下判定手段とを備えた覚醒低下検出装置が開示されている。

しかし、特許文献２に記載の検出方法では、瞬目群発の後に生じる瞬目群発以外の瞬きの閉眼時間が、閾値に比べて長い場合に覚醒度が低下するとしており、瞬目群発による２回の瞬きと瞬目群発以外の１回の瞬きを１セットとして、少なくとも３回の瞬きを組み合わせて用いる必要がある。このため、瞬目群発のみによる覚醒度低下の検出や、瞬目群発以外の瞬きのみにより覚醒度低下の検出ができないといった問題があった。さらに、この検出方法の場合、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていない。このため、この検出方法では、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができないという問題があった。その他、この検出方法では、覚醒度低下検出におけるリアルタイム性に欠けるといった問題もあった。

そこで、特許文献３は、群発性瞬目を精度良く検出するために、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とから成る眠気判定装置を提案している。

一方、非特許文献１，２では、瞬きの特徴のみに基づく居眠り状態を検出するために、瞬目群発中の第１瞬目の閉眼時間と眠気表情値の関係を調査したものである。その結果、覚醒度が低下すると、第１瞬目の閉眼時間が延びることが示されている。

特開２００６−１３６５５６号公報 特開２００８−７３３３５号公報 特開２０１０−２２４６３７号公報

平成22年度電気関係学会北陸支部連合大会講演論文集B-3 平成22年度日本生体医工学会北陸支部大会講演論文集pp.25~26

上記背景技術の特許文献１，２に開示された発明の瞬目群発の検出は、図２（ｂ）、図３（ｂ）に示すように、一般的に閉眼の一つの極小値から次の極小値までの時間を瞬目間間隔TO_p(i)として測定していた。そして、判定基準値Th_Oを例えば１秒とし、瞬目間間隔TO_p(i)が判定基準値Th_O以下の間隔の場合を瞬目群発と定義していた。この場合の瞬目間間隔TO_p(i)は、閉眼状態の極小値から開眼まで及び開眼状態から閉眼の極値までの時間も含めて測定しているため、瞼を閉じる動作の時間や瞼を開く動作の時間が長くなる群発性の瞬目を検出できず、正確に瞬目群発を検出できないものであった。

特許文献３に開示された検出方法は、瞼の開度の時系列データを検出し、検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から瞬目群発を判断しているため、半閉眼状態の瞼の開度を正確に測定することが困難であり、測定誤差も生じやすいものである。

非特許文献１，２では、瞬目群発中の瞬きの閉眼時間から居眠り状態を検出するための基準や実時間の検出タイミングが示されておらず、精確に居眠り状態を判断できるものではなかった。さらに、瞬目群発中の第１瞬目の閉眼時間のみに基づく居眠り状態の判定では、居眠り検出精度が低く、居眠り検出タイミングに遅延が生じる問題がある。

この発明は、上記背景技術の問題点に鑑みてなされたものであり、比較的簡単な装置で、正確に居眠り状態を検出することができ、居眠り検出の早さ及び精度を向上させた居眠り検出方法と装置を提供することを目的とする。

この発明は、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として前記開眼時間及び前記閉眼時間を測定し、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）とし、前記第一の閾値時間以下の開眼を検出した場合（ｓ２）前記第一の閾値時間以下の開眼時間の直後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると（ｓ５）、直ちに居眠り状態と判断する第一居眠り判断処理ステップを備える居眠り検出方法である。

また、前記第一の閾値時間以下の開眼の直前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上であった場合（ｓ３）、前記第一の閾値時間以下の開眼の直後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態と判断する早期判断処理ステップを備える居眠り検出方法である。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合（ｓ６）、再度居眠り状態と判断する第二居眠り判断処理ステップを備えるものである。

前記第二の閾値時間より相対的に長い他の閉眼時間を第四の閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第四の閾値時間（居眠り判定基準Ｔｈ _Ｃ３ ）以上であったときは（ｓ９）、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態と判断する第三居眠り判断処理ステップを備えるものである。

前記第二の閾値時間より相対的に長い他の閉眼時間を第四の閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第四の閾値時間以上に達した場合（ｓ１１）に直ちに居眠り状態と判断する第四居眠り判断処理ステップを備えるものである。

また、前記第二の閾値時間より相対的に長い他の閉眼時間を第五の閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第五の閾値時間より相対的に長い場合に居眠り状態とする第五居眠り判断処理ステップを備えるものでも良い。前記第五居眠り判断処理ステップは、前記第一の閾値時間以下の開眼を検出した後の複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第五の閾値時間より相対的に長い場合に居眠り状態としても良い。さらに、前記合計閉眼時間は、前記各閉眼時間にそれぞれ重みをかけて足し合わせることにより求められるものでも良い

またこの発明は、人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）とし、前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の直後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると、直ちに居眠り状態であるとする居眠り判別手段とを備えた居眠り検出装置である。

また、前記居眠り判別手段は、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合には、前記第一の閾値時間以下の開眼の直後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態であるとするものである。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合には、再度居眠り状態であるとするものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記第一の閾値時間以下の開眼の直前と直後に生じた瞬きの閉眼時間の合計時間より相対的に長い閉眼時間としても良い。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を第四の閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第四の閾値時間（居眠り判定基準Ｔｈ _Ｃ３ ）以上であったときは、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態とするものである。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を第四の閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第四の閾値時間以上に達した場合に直ちに居眠り状態とするものである。前記第四の閾値時間は、例えば、健常成人の覚醒状態における前記単独の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

前記第二の閾値時間より相対的に長い他の閉眼時間を第五の閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第五の閾値時間より相対的に長い場合に居眠り状態とするものである。前記居眠り判別手段は、前記合計閉眼時間を、前記複数の各閉眼時間にそれぞれ重みをかけて足し合わせることでも求められる。前記閉眼検出手段は、前記人の目の虹彩と瞳孔の面積を測定するものである。

また、前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた居眠り検出装置としても良い。

さらにこの発明は、前記居眠り検出装置を備えた車両に適用可能なものである。

この発明の居眠り検出方法と装置は、簡単な装置でコストもかからず、正確且つ迅速な居眠り検出が可能となる。これにより、乗り物等の運転手の居眠りを早期に発見し、運転の安全性を高めることが出来る。

この発明の一実施形態の居眠り検出装置の模式図である。 この発明の一実施形態の居眠り検出方法の瞬目の定義（ａ）と、従来の瞬目の定義（ｂ）を示すタイムチャートである。 閉眼時間が長い場合について、この発明の一実施形態の居眠り検出方法の瞬目の検出（ａ）と、従来の瞬目の検出（ｂ）を示すタイムチャートである。 この発明の一実施形態の居眠り検出方法を示すフローチャートである。 この発明の一実施形態の居眠り検出装置の目検出方法に用いるテンプレートの模式図である。 この発明の一実施形態の居眠り検出装置の目検出方法の原理を示す図である。 この発明の一実施形態の居眠り検出装置の瞬目検出方法を示す写真と模式図である。 この発明の一実施形態における実施例を示すための実験装置の模式図である。 ２名の被験者について、この発明による瞬目群発の定義による第１閉眼時間の分布と、従来の瞬目群発の定義による第１閉眼時間の分布である。 ２名の被験者について、この発明による瞬目群発の定義による第２閉眼時間の分布と、従来の瞬目群発の定義による第２閉眼時間の分布である。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例の居眠り検出を示すグラフ（ａ）と、従来の技術による居眠り検出を示すグラフ（ｂ）である。 この発明の一実施例の眠気表情値を示すグラフ（ａ）、瞬目群発中の瞬きの合計閉眼時間を示すグラフ（ｂ）、単独瞬目の平均閉眼時間を示すグラフ（ｃ）、瞬目群発の瞬きと単独瞬目の合計閉眼時間を示すグラフ（ｄ）である。

以下、この発明の実施形態について図面に基づいて説明する。図１〜図７はこの発明の一実施形態を示すもので、この実施形態の居眠り検出装置３０は、図１に示すように、例えばドライバー３１の顔を撮影するＣＣＤカメラ等からなる撮影部３２と、撮影部３２により生成される画像を処理して瞬目の検出等を行う居眠り検出アルゴリズムが実装されたドライバーモニターＥＣＵ３３を備えている。ドライバーモニターＥＣＵ３３は、覚醒レベルの表示や居眠り状態になった場合に視覚的に警報を促すためのナビゲーションシステム３４に接続されている。また、ドライバーモニターＥＣＵ３３は、ドライバー３１が居眠り状態になった場合、スピーカ３５により音でも警報を促す。さらに、ドライバーモニターＥＣＵ３３は、ドライバー３１の居眠り状態が続いた場合、ブレーキ制御装置３６により、車両のブレーキ制御を行う。

ドライバーモニターＥＣＵ３３は、ＣＰＵと、制御ルーチン等のプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びその他のプログラムやデータを記憶したハードディスク等の記憶装置を備えている。

ドライバーモニターＥＣＵ３３に設けられた居眠り検出機能は、撮影部３２が撮像した画像を処理して、この発明により定義した瞬きを検出する閉眼検出手段と、閉眼検出手段が検出した瞬きの開眼時間と閉眼時間を計る瞬目時間測定手段と、瞬目時間測定手段により測定した瞬きの時間を基に瞬目群発を判別する瞬目群発判別手段と、これらの測定結果を基に居眠りを判定する居眠り判別手段とから成る居眠り検出アルゴリズムの実行プログラムにより構成されている。

居眠り状態の検出及び判定は、図２（ａ）及び図３（ａ）に示す開眼時間ＴＯ（ｉ）による瞬目群発の判定により、図４のフローチャートに示すように判定する。まず、ドライバーモニターＥＣＵ３３に設けられた瞬目群発判別手段により開眼時間ＴＯ（ｉ）（ｉは自然数）を計測する（ｓ１）。計測中に閉眼検出手段により閉眼状態が検出され、確定した開眼時間ＴＯ（ｉ）が、図３（ａ）に示すように、第一の閾値時間である判定基準値Ｔｈ_Ｏ以下であるか否かを調べる（ｓ２）。開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏ以下の時、この開眼状態の前に発生した瞬きと後に発生する瞬きを瞬目群発として判定する。この実施形態では、判定基準値Ｔｈ_Ｏ＝１秒である。この時、居眠り判別手段により、この開眼状態の前に発生した瞬きの閉眼時間ＴＣ（ｉ−１）が、第二の閾値時間である居眠り判定基準Ｔｈ_Ｃ１以上であれば、早期居眠り判断ステップとして、その時点で居眠り状態であると判定する（ｓ３）。そして、居眠り警報１を音等で発する。ここでは、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。そして、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）と定義する。また、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）として定義する。

次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ４）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ１以上になれば、第一居眠り判断ステップとして、直ちに居眠り状態であると判定し（ｓ５）、居眠り警報２を音等で発する。また、閉眼時間ＴＣ（ｉ）が、前記第二の閾値時間より長い第三の閾値時間であるもう一つの居眠り判定基準Ｔｈ_Ｃ２以上（居眠り判定基準Ｔｈ_Ｃ２＞居眠り判定基準Ｔｈ_Ｃ１）となれば、第二居眠り判断ステップとして、再度居眠り状態であると判定し（ｓ６）、居眠り警報３を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ７）。ここで、第三の閾値時間は、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば前記第一の閾値時間以下の開眼の前に生じた瞬きの平均閉眼時間と前記第一の閾値時間以下の開眼の後に生じた瞬きの平均閉眼時間の合計時間より相対的に長い閉眼時間であれば良く、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

一方、開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きの前の開眼時間ＴＯ（ｉ−１）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きを単独の瞬き（瞬目群発以外の瞬き）と判定する（ｓ８）。さらに、この開眼状態の直前の瞬きの閉眼時間ＴＣ（ｉ−１）が、前記第二の閾値時間より長い他の値である第四の閾値時間として設定されるもう一つの居眠り判定基準Ｔｈ_Ｃ３以上（居眠り判定基準Ｔｈ _Ｃ３ ＞居眠り判定基準Ｔｈ _Ｃ１ ）であれば、居眠り状態であると判定する（ｓ９）。そして、居眠り警報４を音等で発する。次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ１０）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ３以上になれば、直ちに居眠り状態であると判定し（ｓ１１）、居眠り警報５を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ１２）。ここで、第四の閾値時間も、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば健常成人の覚醒状態における前記単独の瞬き（瞬目群発以外の瞬き）の平均閉眼時間より相対的に長い閉眼時間であれば良い。

ここで、瞬目検出方法の例を以下に説明する。先ず目の位置検出方法は、撮影部３２で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート２０によるテンプレートマッチングを行う。このテンプレートマッチングには、例えば残差逐次検出法を用いる。

一般に、図５に示すように成人の目２４の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩２２のサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩２２のサイズを直径１１ｍｍと設定している。片目部分テンプレート２０は十字形の直線で構成され、例えばモニタ１６の画面上で横幅１１ｍｍ、縦幅６ｍｍに設定されている。１ｍｍあたりのピクセル数は、モニタ１６上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形の片目部分テンプレート２０を用いることにより、目２４の傾きがあっても、円形の虹彩２２には影響せず、虹彩２２との正確なマッチングを得ることができる。

この実施形態では処理の高速化のため、例えば４画素ずつ片目部分テンプレート２０を移動させテンプレートマッチングを行う。片目部分テンプレート２０の横幅のマッチング度は、画像の１ピクセルずつ比べ、縦幅のマッチング度は１ピクセル飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に、片目部分テンプレート２０が重なった部分が目らしいと判定する。

また、片目部分テンプレート２０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、目２４の周りの特徴をチェック項目として用い、図６に示すように、片目部分テンプレート２０の上下において、眉２８の有無を判断材料とした。例えば、虹彩２２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉２８の位置のチェックポイントａは片目部分テンプレート２０の中心から上２５〜５０ｍｍの間、眉２８と目２４との間のチェックポイントｂは同じく１５〜２７ｍｍ、目２４の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目２４の直上では黒い部分が無く、その上方に眉２８による黒部分が検知され、目２４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。

これらのチェック項目のマッチング度は、目２４の上の部分おいて、ピクセルの値を基にした閾値と比較して、眉２８の位置でマッチング度が１０％以上、眉２８と目２４の間の位置でマッチング度が２０％以上、目２４の下の位置ではマッチング度が２０％以上のマッチングが得られたとき、目２４の周りの条件適合性が満たされると判定する。そして、目２４であるとする最終判定は、片目部分テンプレート２０によるテンプレートマッチングと目２４の回りの特徴チェック項目により判定する。

目２４を検出した後、目２４の瞬きを検出する。瞬目検出は、図２（ａ）、図３（ａ）に示すように、黒目である虹彩２２の面積の変化から、瞬目を検出している。瞬目検出は、撮影部１２により取得した濃淡画像から、虹彩２２の面積を測定する。そして、虹彩２２の面積測定結果が所定の閾値Ｓ_ｔｈ以下、例えば虹彩２２の面積の最大値を記憶し、その最大値から例えば５〜１５％好ましくは１０％少ない面積を閾値Ｓ_ｔｈとして開眼状態か否かを判断する。

虹彩２２の面積の測定は、目２４の２値画像をスキャンして行う。先ず、虹彩２２と片目部分テンプレート２０の横幅のマッチング度が例えば８５〜９５％好ましくは９０％以上満たしているときに目らしいと判定し、開眼時の虹彩２２の横幅と片目部分テンプレート２０の横幅は一致したと考える。また、閉眼時には、図７に示すように、まつげ２６によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩２２の面積の横方向の測定範囲は片目部分テンプレート２０の横幅とする。また縦方向の測定範囲は、虹彩２２の中に片目部分テンプレート２０のマッチする点がいくつも存在することから、マッチポイントが虹彩２２の中心からずれることを考慮し、片目部分テンプレート２０の中心から上下方向に例えば５０ピクセルの範囲とする。

虹彩面積測定の手順は、目２４の認識後、虹彩２２の面積測定を行う。片目部分テンプレート２０の中心位置から左に、ピクセル濃度値が虹彩２２の２値化閾値以上になるまで移動し、その移動距離を計算する。次に、右方向にも同様にして距離を計算し、左右の移動距離の和を虹彩２２の横幅とする。そして、測定範囲内で片目部分テンプレート２０の上側で同様の作業を繰り返し、横幅を合計する。また片目部分テンプレート２０の下側でも同様にして、横幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、横方向に長くまつげ２６による黒い部分が表れる。しかし、横方向の測定範囲は、片目部分テンプレート２０の横幅であり、ピクセル濃度値が虹彩２２の２値化閾値以下の濃い部分は、縦方向にまつげ２６の上下幅となる。従って、開眼時の虹彩２２の面積は、測定範囲内で、閉眼時のまつげ２６を測定した場合よりも大きい値となる。

これにより、図７の測定範囲内でピクセル濃度値が虹彩２２の２値化閾値以下の濃い箇所（前記移動距離内の部分）の合計が、図２、図３に示す所定の閾値Ｓ_ｔｈ以上であれば、虹彩２２であるとして開眼状態とする。また、この合計が閾値Ｓ_ｔｈ以下であれば、閉眼状態であるとする。

この実施形態の居眠り検出装置３０の使用方法は、自動車や電車、その他の作業機械の運転席の近傍に設け、撮影部３２により運転者を撮影し、上記の第一の閾値時間（判定基準値Ｔｈ_Ｏ）を基準とした処理により瞬目群発を検出し、その瞬目群発中の瞬きの閉眼時間の何れかが第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）以上である場合に、居眠りと判断し、さらに、瞬目群発以外の瞬きの閉眼時間が第四の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）以上の場合も居眠りと判断し、居眠り警報１〜５を音等で発するともに、その他の制御を行う。これにより、自動車等の運転の安全性を大幅に向上させることができる。

前記一般的な瞬目群発検出法では、図２（ｂ）、図３（ｂ）に示すように、閉眼の極小値から極小値までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定していたが、この他に、閉眼の開始から次の閉眼の開始までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法や、閉眼の終了から次の閉眼の終了までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法がある。しかし、これらの変則的な測定方法では、長時間の閉眼を含む群発性の瞬目を検出できないので、前記の一般的な瞬目群発検出方法が持つ問題を解決しておらず、本発明による瞬目群発検出方法の方が居眠り検出において優れていると言える。

この実施形態の居眠り検出装置は、開眼時間のみを判定基準として第一の閾値時間（判定基準値Ｔｈ_Ｏ）により瞬目群発を検出し、瞬目群発中の各々の瞬きの閉眼時間は第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）で、瞬目群発以外の瞬きの閉眼時間は第四の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）で判定することにより、居眠り状態の判別が早期に行なわれ、居眠りの確実な防止に貢献する。

次に、この発明の居眠り検出装置の構成を備えた実験装置による実施例について説明する。図８に居眠り検出装置を備えた実験装置の模式図を示す。実験装置には、被験者１１の顔を撮影するＣＣＤカメラ等からなる撮影部１２と、撮影部１２により生成される画像を処理して瞬目の検出等を行う居眠り検出プログラムがインストールされたコンピュータ１４で構成されている。コンピュータ１４は、撮影画像を表示する液晶ディスプレイ等のモニタ１６に接続されている。また、運転中の視界を表示するスクリーン１８が設けられ、被験者１１が座るシート１３と、ハンドル１５、計器表示部１７、及びアクセル１９等を有し、通常の自動車と同様の構成を備えている。また、実験中の被験者１１の覚醒度を表す相対的指標である眠気表情値を得るために、実験中の被験者１１の顔表情を録画した。ここでは、複数の被験者１１について、２名の観察者により眠気の程度を判断し、採点により被験者１１の眠気表情値（Rated Sleepiness）を数値化した。さらに、グラフでは、２名の判定値の平均を眠気表情値とし、５秒ごとの３０秒移動平均により平滑化を行いグラフに記載した。眠気表情値の数値化は、以下の数値を付して行った。
５．全く眠くなさそう
４．やや眠そう
３．眠そう
２．かなり眠そう
１．眠っている

実施例では、第一の閾値時間として定義される瞬目群発の判定基準値Ｔｈ_Ｏを１秒に設定した。先ず図９に、２名の被験者（Sub.1-1，Sub.2-1）について、本発明による瞬目群発の定義による第１閉眼時間の分布（上段）と、従来の瞬目群発の定義による第１閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第１閉眼時間、横軸は眠気表情値である。図９より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第１閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。また、図１０に、別の２名の被験者（Sub.8-1，Sub.6-2）について、本発明による瞬目群発の定義による第２閉眼時間の分布（上段）と、従来の瞬目群発の定義による第２閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第２閉眼時間、横軸は眠気表情値である。図１０より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第２閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。これらは本発明の瞬目群発の定義では、開眼時のみを瞬目間間隔としているため、長時間の閉眼を含む瞬目群発を検出できるが、図３（ｂ）に示すように、従来の定義では、開眼時間に加えて閉眼から開眼までの過程や開眼から閉眼までの過程も瞬目間間隔に含まれているため、長時間の閉眼を含む瞬目群発が検出されないからであると考えられる。これにより、本発明の瞬目群発の定義による居眠り検知が、より正確に行われる可能性があることが分かった。よって、上記の第１閉眼時間の分布と第２閉眼時間の分布結果に基づき、実施例では第二の閾値時間として定義される居眠り判定基準Ｔｈ_Ｃ１を１秒に設定した。また、第四の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）は第二の閾値時間より相対的に長い閉眼時間として２秒に設定した。実施例ではこの第四の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）は瞬目群発以外の瞬き（単独瞬目）の居眠り判定基準として用いた。

図１１は、本発明の居眠り検出方法による居眠り検出を示したもので、図１１によれば、被験者（Sub.1-1）は、実験開始直後から瞬目群発が検出され（●印）、その後最初に第２閉眼（▽印）が１秒以上検出された最初の時点（１０８６秒）で、居眠りと判断した。この時、被験者の眠気表情値は３を中心に上下しており、被験者が眠気を我慢していることがわかる。さらに、その後眠気表情値が２まで下がっていることから、運転に支障をきたす居眠り状態に入る前を検出できていることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１２は、被験者（Sub.5-1）の場合であり、被験者（Sub.1-1）と同様に実験開始直後から瞬目群発が検出され（●印）ている。その後、最初に第１閉眼（灰色▽印）が１秒以上検出された最初の時点（３２２秒）で、居眠りと判断した。このときの状態は、眠気表情値で３近くを示しており、その後さらに眠気表情値が下がっていることから、居眠り状態に入る時期であることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１３に示す被験者（Sub.3-2）の場合も、実験開始直後から瞬目群発が検出され（●印）、瞬目群発ではない単独瞬目の閉眼時間が２秒以上検出（灰色△印）された最初の時点（４５４秒）で、居眠りと判断した。このときの状態は、眠気表情値で２近くを示しており、その後も眠気表情値が３前後で振れていることから、居眠り状態に入る時期であることが分かり、正確に居眠りを検出していることが分かった。

図１４は、図１３の被験者（Sub.3-2）について、本発明と従来の方法による居眠り検出時間の差を示す。従来法は特許文献２に開示された方法によるもので、初めの瞬きの閉眼終了から２番目の瞬きの閉眼終了までの時間を瞬目間間隔ＴＯ _ｐ （ｉ）とし、このＴＯ _ｐ （ｉ）が１秒以下を瞬目群発と判定し、瞬目群発発生後から３番目の長時間閉眼（１秒以上）の瞬き終了時間までの時間が１０秒以内となった箇所のうち、最も早く１０秒以下となった箇所の時間を記した。これによれば、本発明では単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）したことから、居眠りを早期のタイミング（４５４秒）で検出できた。これに対して、従来法では、居眠りの検出時期が測定開始から９３９秒であり、本発明による方法と比較して遅いことが確かめられた。

図１５は、他の被験者（Sub.2-2）について、本発明と従来の方法による居眠り検出時間を測定した結果を示す。この被験者の場合も、本発明は単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）し、早期（７８１秒）に居眠りを検出することができた。これに対して、従来法では、検出時期が測定開始から１１２９秒後であり、本発明による方法と比較して遅いことが分かった。さらに、本発明の検出方法では、図１５に示すように、瞬目群発の第１閉眼が１秒以上（灰色▽印）、及び第２閉眼が１秒以上（▽印）の判定が最初に表れた時点を見ても、共に従来法よりも早期に居眠りを検出していることが分かり、この点からも本発明による方法は、早期に居眠りを検出可能であることが分かる。

図１６は、図１１の被験者（Sub.1-1）の眠気表情値の時間推移を示すもので、図１６（ａ）が本発明による検出方法による瞬目群発発生位置（●）、図１６（ｂ）には従来法による瞬目群発発生位置（○）を図示している。図１６（ａ）では瞬目群発の第１閉眼（灰色▽）、第２閉眼が１秒以上（▽）となった箇所が図示されている。図１６（ｂ）は従来法による瞬目群発発生位置（○）と瞬きの閉眼時間が１秒以上（長時間閉眼）となった箇所（灰色△）が図示されている。

図１６（ｂ）の従来の方法によるグラフでは、瞬目群発後の長時間閉眼が１０秒以下の時点をＡ〜Ｅで示す。従来法では、居眠り検出時期の最も速いもので、実験開始後、Ａ点で示す１３１５秒であった。これに対して、本発明の方法では、図１６（ａ）に示すように、瞬目群発における第２閉眼が１秒以上あった最初の時点（最初の▽）である、実験開始後１０８６秒で居眠りの検出が行われている。さらに、本発明の場合、瞬目群発における第１閉眼が１秒以上あった最初の時点（最初の灰色▽）をみても、従来の方法による場合と比較して、早期に検出していることが分かる。

次に、本発明の居眠り検出装置の構成を備えた実験装置（図８）による別の実施形態における実施例を図１７に示す。図１７は被験者（Sub.8-1）の実験結果であり、図１７（ａ）には眠気表情値、図１７（ｂ）には瞬目群発中のすべての瞬きの閉眼時間を加算した合計閉眼時間（秒）、図１７（ｃ）には単独瞬目の３０秒間での平均閉眼時間（秒）、図１７（ｄ）には瞬目群発中のすべての瞬きの閉眼時間（秒）と、単独瞬目の３０秒間での平均閉眼時間を加算した合計閉眼時間（秒）の時間推移を示している。この結果より、覚醒度が低下するに従い、合計閉眼時間が伸長していることがわかる。また、覚醒度が低下している間は、常に合計閉眼時間が長くなっている。このことから、瞬目群発と単独瞬目の合計閉眼時間を計測することにより居眠り状態を安定して検出できることが分かる。例えば、第五の閾値時間として、前記第二の閾値時間より相対的に長い閉眼時間である、健常成人の覚醒状態における前記単独の瞬き（瞬目群発以外の瞬き）の平均閉眼時間より相対的に長い閉眼時間を設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第五の閾値時間より相対的に長い場合に居眠り状態とする第五居眠り判断処理ステップを備えたものとしても良い。また、式（１）に示すように、瞬目群発中の第ｊ番目の瞬きの閉眼時間をＴ_Ｂ（ｊ）、単独瞬目の平均閉眼時間をＴ_Iとし、これらの閉眼時間にそれぞれ重み（Ｗ_Ｂ（ｊ），Ｗ_I）をかけて足し合わせることにより合計閉眼時間Ｔ_ｓｕｍを求めてもよい。図１７に示す実施例では、Ｗ_Ｂ（ｊ）＝１，Ｗ_I＝１としているが、この他、例えばＷ_Ｂ（ｊ）＝０．５〜１．５，Ｗ_I＝０．５〜１．５とするなど各々の重みを様々に変えて足し合わせて合計閉眼時間Ｔ_ｓｕｍを求めてもよい。

なお、本発明の居眠り検出装置は前記各実施の形態に限定されるものではなく、瞬目検出は、上記以外の方法によっても良く、短時間に連続する２回以上の瞬目を検出して瞬目群発としても良い。また、この発明の開眼時間及び閉眼時間の定義及び判定基準値は、小数点以下を四捨五入した数値も含むものであり、具体的には、例えば０．５秒以上１．５秒未満までの範囲がこの発明の１秒の定義に含まれるものであり、この範囲を１秒としても良い。

１０ 居眠り検出実験装置
１１ 被験者
１２，３２ 撮影部
１４ パーソナルコンピュータ
１６ モニタ
３０ 居眠り検出装置
３１ ドライバー
３３ ドライバーモニターＥＣＵ
３４ ナビゲーションシステム
３５ スピーカ
３６ ブレーキ制御装置

この発明は、人の覚醒が低下した状態である居眠りを検出する居眠り検出方法と装置に関する。

従来、居眠りを検出する方法として、例えば１秒以内の短時間に、複数回の閉眼が生じる状態である瞬目群発を検出して、覚醒が低下していることを検出する方法が提案されている。例えば特許文献１には、目の瞬きである瞬目の群発を検出してから所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動であるＳＥＭ（Slow Eye Movement）を検出した場合に、覚醒度が低下している（居眠りしている）と判定する検出方法が開示されている。瞬目の群発やＳＥＭは、入眠初期に現れる特徴的な現象であり、これらを組み合わせて覚醒度の低下を判定している。

特許文献２には、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定する瞬目判定手段と、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する覚醒低下判定手段とを備えた覚醒低下検出装置が開示されている。

しかし、特許文献２に記載の検出方法では、瞬目群発の後に生じる瞬目群発以外の瞬きの閉眼時間が、閾値に比べて長い場合に覚醒度が低下するとしており、瞬目群発による２回の瞬きと瞬目群発以外の１回の瞬きを１セットとして、少なくとも３回の瞬きを組み合わせて用いる必要がある。このため、瞬目群発のみによる覚醒度低下の検出や、瞬目群発以外の瞬きのみにより覚醒度低下の検出ができないといった問題があった。さらに、この検出方法の場合、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていない。このため、この検出方法では、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができないという問題があった。その他、この検出方法では、覚醒度低下検出におけるリアルタイム性に欠けるといった問題もあった。

そこで、特許文献３は、群発性瞬目を精度良く検出するために、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とから成る眠気判定装置を提案している。

一方、非特許文献１，２では、瞬きの特徴のみに基づく居眠り状態を検出するために、瞬目群発中の第１瞬目の閉眼時間と眠気表情値の関係を調査したものである。その結果、覚醒度が低下すると、第１瞬目の閉眼時間が延びることが示されている。

特開２００６−１３６５５６号公報 特開２００８−７３３３５号公報 特開２０１０−２２４６３７号公報

平成22年度電気関係学会北陸支部連合大会講演論文集B-3 平成22年度日本生体医工学会北陸支部大会講演論文集pp.25~26

上記背景技術の特許文献１，２に開示された発明の瞬目群発の検出は、図２（ｂ）、図３（ｂ）に示すように、一般的に閉眼の一つの極小値から次の極小値までの時間を瞬目間間隔TO_p(i)として測定していた。そして、判定基準値Th_Oを例えば１秒とし、瞬目間間隔TO_p(i)が判定基準値Th_O以下の間隔の場合を瞬目群発と定義していた。この場合の瞬目間間隔TO_p(i)は、閉眼状態の極小値から開眼まで及び開眼状態から閉眼の極値までの時間も含めて測定しているため、瞼を閉じる動作の時間や瞼を開く動作の時間が長くなる群発性の瞬目を検出できず、正確に瞬目群発を検出できないものであった。

特許文献３に開示された検出方法は、瞼の開度の時系列データを検出し、検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から瞬目群発を判断しているため、半閉眼状態の瞼の開度を正確に測定することが困難であり、測定誤差も生じやすいものである。

非特許文献１，２では、瞬目群発中の瞬きの閉眼時間から居眠り状態を検出するための基準や実時間の検出タイミングが示されておらず、精確に居眠り状態を判断できるものではなかった。さらに、瞬目群発中の第１瞬目の閉眼時間のみに基づく居眠り状態の判定では、居眠り検出精度が低く、居眠り検出タイミングに遅延が生じる問題がある。

この発明は、上記背景技術の問題点に鑑みてなされたものであり、比較的簡単な装置で、正確に居眠り状態を検出することができ、居眠り検出の早さ及び精度を向上させた居眠り検出方法と装置を提供することを目的とする。

この発明は、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として前記開眼時間及び前記閉眼時間を測定し、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）とし、前記第一の閾値時間以下の開眼を検出した場合（ｓ２）前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると（ｓ５）居眠り状態と判断する第一居眠り判断処理ステップを備える居眠り検出方法である。

さらに、前記第一の閾値時間以下の開眼の直前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上であった場合（ｓ３）、前記第一の閾値時間以下の開眼の後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態と判断する早期判断処理ステップを備える居眠り検出方法である。

前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合（ｓ６）直ちに居眠り状態と判断する第二居眠り判断処理ステップを備えるものである。

前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間（居眠り判定基準Ｔｈ_Ｃ３）以上であったときは（ｓ９）、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態と判断する第三居眠り判断処理ステップを備えるものである。

前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合（ｓ１１）に直ちに居眠り状態と判断する第四居眠り判断処理ステップを備えるものである。

また、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とする第五居眠り判断処理ステップを備えるものでも良い。前記第五居眠り判断処理ステップは、前記第一の閾値時間以下の開眼を検出した後の複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態としても良い。さらに、前記合計閉眼時間は、前記各閉眼時間にそれぞれ重みをかけて足し合わせることにより求められるものでも良い

またこの発明は、人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）とし、前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備えた居眠り検出装置である。

さらに、前記居眠り判別手段は、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合には、前記第一の閾値時間以下の開眼の後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態であるとするものである。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ２）以上に達した場合には直ちに居眠り状態であるとするものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記第一の閾値時間以下の開眼の直前と直後に生じた瞬きの閉眼時間の合計時間より相対的に長い閉眼時間としても良い。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間（居眠り判定基準Ｔｈ_Ｃ３）以上であったときは、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態とするものである。

前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合に直ちに居眠り状態とするものである。前記第二の閾値時間より相対的に長い閾値時間は、例えば、健常成人の覚醒状態における前記単独の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とするものである。前記居眠り判別手段は、前記合計閉眼時間を、前記複数の各閉眼時間にそれぞれ重みをかけて足し合わせることでも求められる。前記閉眼検出手段は、前記人の目の虹彩と瞳孔の面積を測定するものである。

また、前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた居眠り検出装置としても良い。

さらにこの発明は、前記居眠り検出装置を備えた車両に適用可能なものである。

この発明の居眠り検出方法と装置は、簡単な装置でコストもかからず、正確且つ迅速な居眠り検出が可能となる。これにより、乗り物等の運転手の居眠りを早期に発見し、運転の安全性を高めることが出来る。

この発明の一実施形態の居眠り検出装置の模式図である。 この発明の一実施形態の居眠り検出方法の瞬目の定義（ａ）と、従来の瞬目の定義（ｂ）を示すタイムチャートである。 閉眼時間が長い場合について、この発明の一実施形態の居眠り検出方法の瞬目の検出（ａ）と、従来の瞬目の検出（ｂ）を示すタイムチャートである。 この発明の一実施形態の居眠り検出方法を示すフローチャートである。 この発明の一実施形態の居眠り検出装置の目検出方法に用いるテンプレートの模式図である。 この発明の一実施形態の居眠り検出装置の目検出方法の原理を示す図である。 この発明の一実施形態の居眠り検出装置の瞬目検出方法を示す写真と模式図である。 この発明の一実施形態における実施例を示すための実験装置の模式図である。 ２名の被験者について、この発明による瞬目群発の定義による第１閉眼時間の分布と、従来の瞬目群発の定義による第１閉眼時間の分布である。 ２名の被験者について、この発明による瞬目群発の定義による第２閉眼時間の分布と、従来の瞬目群発の定義による第２閉眼時間の分布である。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例の居眠り検出を示すグラフ（ａ）と、従来の技術による居眠り検出を示すグラフ（ｂ）である。 この発明の一実施例の眠気表情値を示すグラフ（ａ）、瞬目群発中の瞬きの合計閉眼時間を示すグラフ（ｂ）、単独瞬目の平均閉眼時間を示すグラフ（ｃ）、瞬目群発の瞬きと単独瞬目の合計閉眼時間を示すグラフ（ｄ）である。

以下、この発明の実施形態について図面に基づいて説明する。図１〜図７はこの発明の一実施形態を示すもので、この実施形態の居眠り検出装置３０は、図１に示すように、例えばドライバー３１の顔を撮影するＣＣＤカメラ等からなる撮影部３２と、撮影部３２により生成される画像を処理して瞬目の検出等を行う居眠り検出アルゴリズムが実装されたドライバーモニターＥＣＵ３３を備えている。ドライバーモニターＥＣＵ３３は、覚醒レベルの表示や居眠り状態になった場合に視覚的に警報を促すためのナビゲーションシステム３４に接続されている。また、ドライバーモニターＥＣＵ３３は、ドライバー３１が居眠り状態になった場合、スピーカ３５により音でも警報を促す。さらに、ドライバーモニターＥＣＵ３３は、ドライバー３１の居眠り状態が続いた場合、ブレーキ制御装置３６により、車両のブレーキ制御を行う。

ドライバーモニターＥＣＵ３３は、ＣＰＵと、制御ルーチン等のプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びその他のプログラムやデータを記憶したハードディスク等の記憶装置を備えている。

ドライバーモニターＥＣＵ３３に設けられた居眠り検出機能は、撮影部３２が撮像した画像を処理して、この発明により定義した瞬きを検出する閉眼検出手段と、閉眼検出手段が検出した瞬きの開眼時間と閉眼時間を計る瞬目時間測定手段と、瞬目時間測定手段により測定した瞬きの時間を基に瞬目群発を判別する瞬目群発判別手段と、これらの測定結果を基に居眠りを判定する居眠り判別手段とから成る居眠り検出アルゴリズムの実行プログラムにより構成されている。

居眠り状態の検出及び判定は、図２（ａ）及び図３（ａ）に示す開眼時間ＴＯ（ｉ）による瞬目群発の判定により、図４のフローチャートに示すように判定する。まず、ドライバーモニターＥＣＵ３３に設けられた瞬目群発判別手段により開眼時間ＴＯ（ｉ）（ｉは自然数）を計測する（ｓ１）。計測中に閉眼検出手段により閉眼状態が検出され、確定した開眼時間ＴＯ（ｉ）が、図３（ａ）に示すように、第一の閾値時間である判定基準値Ｔｈ_Ｏ以下であるか否かを調べる（ｓ２）。開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏ以下の時、この開眼状態の前に発生した瞬きと後に発生する瞬きを瞬目群発として判定する。この実施形態では、判定基準値Ｔｈ_Ｏ＝１秒である。この時、居眠り判別手段により、この開眼状態の前に発生した瞬きの閉眼時間ＴＣ（ｉ−１）が、第二の閾値時間である居眠り判定基準Ｔｈ_Ｃ１以上であれば、早期居眠り判断ステップとして、その時点で居眠り状態であると判定する（ｓ３）。そして、居眠り警報１を音等で発する。ここでは、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。そして、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値Ｔｈ_Ｏ）と定義する。また、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）として定義する。

次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ４）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ１以上になれば、第一居眠り判断ステップとして、直ちに居眠り状態であると判定し（ｓ５）、居眠り警報２を音等で発する。また、閉眼時間ＴＣ（ｉ）が、前記第二の閾値時間より長い第三の閾値時間であるもう一つの居眠り判定基準Ｔｈ_Ｃ２以上（居眠り判定基準Ｔｈ_Ｃ２＞居眠り判定基準Ｔｈ_Ｃ１）となれば、第二居眠り判断ステップとして、再度居眠り状態であると判定し（ｓ６）、居眠り警報３を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ７）。ここで、第三の閾値時間は、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば前記第一の閾値時間以下の開眼の前に生じた瞬きの平均閉眼時間と前記第一の閾値時間以下の開眼の後に生じた瞬きの平均閉眼時間の合計時間より相対的に長い閉眼時間であれば良く、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。

一方、開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きの前の開眼時間ＴＯ（ｉ−１）が瞬目群発の判定基準値Ｔｈ_Ｏより長い時、この開眼状態の直前の瞬きを単独の瞬き（瞬目群発以外の瞬き）と判定する（ｓ８）。さらに、この開眼状態の直前の瞬きの閉眼時間ＴＣ（ｉ−１）が、前記第二の閾値時間より長い値であり、上記のように適宜設定される第三の閾値時間としてのもう一つの居眠り判定基準Ｔｈ_Ｃ３以上（居眠り判定基準Ｔｈ_Ｃ３＞居眠り判定基準Ｔｈ_Ｃ１）であれば、居眠り状態であると判定する（ｓ９）。そして、居眠り警報４を音等で発する。次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ１０）。閉眼時間ＴＣ（ｉ）が居眠り判定基準Ｔｈ_Ｃ３以上になれば、直ちに居眠り状態であると判定し（ｓ１１）、居眠り警報５を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ１２）。

ここで、瞬目検出方法の例を以下に説明する。先ず目の位置検出方法は、撮影部３２で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート２０によるテンプレートマッチングを行う。このテンプレートマッチングには、例えば残差逐次検出法を用いる。

一般に、図５に示すように成人の目２４の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩２２のサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩２２のサイズを直径１１ｍｍと設定している。片目部分テンプレート２０は十字形の直線で構成され、例えばモニタ１６の画面上で横幅１１ｍｍ、縦幅６ｍｍに設定されている。１ｍｍあたりのピクセル数は、モニタ１６上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形の片目部分テンプレート２０を用いることにより、目２４の傾きがあっても、円形の虹彩２２には影響せず、虹彩２２との正確なマッチングを得ることができる。

この実施形態では処理の高速化のため、例えば４画素ずつ片目部分テンプレート２０を移動させテンプレートマッチングを行う。片目部分テンプレート２０の横幅のマッチング度は、画像の１ピクセルずつ比べ、縦幅のマッチング度は１ピクセル飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に、片目部分テンプレート２０が重なった部分が目らしいと判定する。

また、片目部分テンプレート２０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、目２４の周りの特徴をチェック項目として用い、図６に示すように、片目部分テンプレート２０の上下において、眉２８の有無を判断材料とした。例えば、虹彩２２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉２８の位置のチェックポイントａは片目部分テンプレート２０の中心から上２５〜５０ｍｍの間、眉２８と目２４との間のチェックポイントｂは同じく１５〜２７ｍｍ、目２４の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目２４の直上では黒い部分が無く、その上方に眉２８による黒部分が検知され、目２４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。

これらのチェック項目のマッチング度は、目２４の上の部分おいて、ピクセルの値を基にした閾値と比較して、眉２８の位置でマッチング度が１０％以上、眉２８と目２４の間の位置でマッチング度が２０％以上、目２４の下の位置ではマッチング度が２０％以上のマッチングが得られたとき、目２４の周りの条件適合性が満たされると判定する。そして、目２４であるとする最終判定は、片目部分テンプレート２０によるテンプレートマッチングと目２４の回りの特徴チェック項目により判定する。

目２４を検出した後、目２４の瞬きを検出する。瞬目検出は、図２（ａ）、図３（ａ）に示すように、黒目である虹彩２２の面積の変化から、瞬目を検出している。瞬目検出は、撮影部１２により取得した濃淡画像から、虹彩２２の面積を測定する。そして、虹彩２２の面積測定結果が所定の閾値Ｓ_ｔｈ以下、例えば虹彩２２の面積の最大値を記憶し、その最大値から例えば５〜１５％好ましくは１０％少ない面積を閾値Ｓ_ｔｈとして開眼状態か否かを判断する。

虹彩２２の面積の測定は、目２４の２値画像をスキャンして行う。先ず、虹彩２２と片目部分テンプレート２０の横幅のマッチング度が例えば８５〜９５％好ましくは９０％以上満たしているときに目らしいと判定し、開眼時の虹彩２２の横幅と片目部分テンプレート２０の横幅は一致したと考える。また、閉眼時には、図７に示すように、まつげ２６によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩２２の面積の横方向の測定範囲は片目部分テンプレート２０の横幅とする。また縦方向の測定範囲は、虹彩２２の中に片目部分テンプレート２０のマッチする点がいくつも存在することから、マッチポイントが虹彩２２の中心からずれることを考慮し、片目部分テンプレート２０の中心から上下方向に例えば５０ピクセルの範囲とする。

虹彩面積測定の手順は、目２４の認識後、虹彩２２の面積測定を行う。片目部分テンプレート２０の中心位置から左に、ピクセル濃度値が虹彩２２の２値化閾値以上になるまで移動し、その移動距離を計算する。次に、右方向にも同様にして距離を計算し、左右の移動距離の和を虹彩２２の横幅とする。そして、測定範囲内で片目部分テンプレート２０の上側で同様の作業を繰り返し、横幅を合計する。また片目部分テンプレート２０の下側でも同様にして、横幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、横方向に長くまつげ２６による黒い部分が表れる。しかし、横方向の測定範囲は、片目部分テンプレート２０の横幅であり、ピクセル濃度値が虹彩２２の２値化閾値以下の濃い部分は、縦方向にまつげ２６の上下幅となる。従って、開眼時の虹彩２２の面積は、測定範囲内で、閉眼時のまつげ２６を測定した場合よりも大きい値となる。

これにより、図７の測定範囲内でピクセル濃度値が虹彩２２の２値化閾値以下の濃い箇所（前記移動距離内の部分）の合計が、図２、図３に示す所定の閾値Ｓ_ｔｈ以上であれば、虹彩２２であるとして開眼状態とする。また、この合計が閾値Ｓ_ｔｈ以下であれば、閉眼状態であるとする。

この実施形態の居眠り検出装置３０の使用方法は、自動車や電車、その他の作業機械の運転席の近傍に設け、撮影部３２により運転者を撮影し、上記の第一の閾値時間（判定基準値Ｔｈ_Ｏ）を基準とした処理により瞬目群発を検出し、その瞬目群発中の瞬きの閉眼時間の何れかが第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）以上である場合に、居眠りと判断し、さらに、瞬目群発以外の瞬きの閉眼時間が、上記のように設定される第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）以上の場合も居眠りと判断し、居眠り警報１〜５を音等で発するともに、その他の制御を行う。これにより、自動車等の運転の安全性を大幅に向上させることができる。

前記一般的な瞬目群発検出法では、図２（ｂ）、図３（ｂ）に示すように、閉眼の極小値から極小値までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定していたが、この他に、閉眼の開始から次の閉眼の開始までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法や、閉眼の終了から次の閉眼の終了までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）として測定する変則的な方法がある。しかし、これらの変則的な測定方法では、長時間の閉眼を含む群発性の瞬目を検出できないので、前記の一般的な瞬目群発検出方法が持つ問題を解決しておらず、本発明による瞬目群発検出方法の方が居眠り検出において優れていると言える。

この実施形態の居眠り検出装置は、開眼時間のみを判定基準として第一の閾値時間（判定基準値Ｔｈ_Ｏ）により瞬目群発を検出し、瞬目群発中の各々の瞬きの閉眼時間は第二の閾値時間（居眠り判定基準Ｔｈ_Ｃ１）で、瞬目群発以外の瞬きの閉眼時間は上記の第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）で判定することにより、居眠り状態の判別が早期に行なわれ、居眠りの確実な防止に貢献する。

次に、この発明の居眠り検出装置の構成を備えた実験装置による実施例について説明する。図８に居眠り検出装置を備えた実験装置の模式図を示す。実験装置には、被験者１１の顔を撮影するＣＣＤカメラ等からなる撮影部１２と、撮影部１２により生成される画像を処理して瞬目の検出等を行う居眠り検出プログラムがインストールされたコンピュータ１４で構成されている。コンピュータ１４は、撮影画像を表示する液晶ディスプレイ等のモニタ１６に接続されている。また、運転中の視界を表示するスクリーン１８が設けられ、被験者１１が座るシート１３と、ハンドル１５、計器表示部１７、及びアクセル１９等を有し、通常の自動車と同様の構成を備えている。また、実験中の被験者１１の覚醒度を表す相対的指標である眠気表情値を得るために、実験中の被験者１１の顔表情を録画した。ここでは、複数の被験者１１について、２名の観察者により眠気の程度を判断し、採点により被験者１１の眠気表情値（Rated Sleepiness）を数値化した。さらに、グラフでは、２名の判定値の平均を眠気表情値とし、５秒ごとの３０秒移動平均により平滑化を行いグラフに記載した。眠気表情値の数値化は、以下の数値を付して行った。
５．全く眠くなさそう
４．やや眠そう
３．眠そう
２．かなり眠そう
１．眠っている

実施例では、第一の閾値時間として定義される瞬目群発の判定基準値Ｔｈ_Ｏを１秒に設定した。先ず図９に、２名の被験者（Sub.1-1，Sub.2-1）について、本発明による瞬目群発の定義による第１閉眼時間の分布（上段）と、従来の瞬目群発の定義による第１閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第１閉眼時間、横軸は眠気表情値である。図９より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第１閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。また、図１０に、別の２名の被験者（Sub.8-1，Sub.6-2）について、本発明による瞬目群発の定義による第２閉眼時間の分布（上段）と、従来の瞬目群発の定義による第２閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第２閉眼時間、横軸は眠気表情値である。図１０より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第２閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。これらは本発明の瞬目群発の定義では、開眼時のみを瞬目間間隔としているため、長時間の閉眼を含む瞬目群発を検出できるが、図３（ｂ）に示すように、従来の定義では、開眼時間に加えて閉眼から開眼までの過程や開眼から閉眼までの過程も瞬目間間隔に含まれているため、長時間の閉眼を含む瞬目群発が検出されないからであると考えられる。これにより、本発明の瞬目群発の定義による居眠り検知が、より正確に行われる可能性があることが分かった。よって、上記の第１閉眼時間の分布と第２閉眼時間の分布結果に基づき、実施例では第二の閾値時間として定義される居眠り判定基準Ｔｈ_Ｃ１を１秒に設定した。また、第三の閾値時間（居眠り判定基準Ｔｈｃ _２ ，Ｔｈ_Ｃ３）は、第二の閾値時間より相対的に長い閉眼時間として２秒に設定した。実施例ではこの第三の閾値時間（居眠り判定基準Ｔｈ_Ｃ３）は瞬目群発以外の瞬き（単独瞬目）の居眠り判定基準として用いた。

図１１は、本発明の居眠り検出方法による居眠り検出を示したもので、図１１によれば、被験者（Sub.1-1）は、実験開始直後から瞬目群発が検出され（●印）、その後最初に第２閉眼（▽印）が１秒以上検出された最初の時点（１０８６秒）で、居眠りと判断した。この時、被験者の眠気表情値は３を中心に上下しており、被験者が眠気を我慢していることがわかる。さらに、その後眠気表情値が２まで下がっていることから、運転に支障をきたす居眠り状態に入る前を検出できていることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１２は、被験者（Sub.5-1）の場合であり、被験者（Sub.1-1）と同様に実験開始直後から瞬目群発が検出され（●印）ている。その後、最初に第１閉眼（灰色▽印）が１秒以上検出された最初の時点（３２２秒）で、居眠りと判断した。このときの状態は、眠気表情値で３近くを示しており、その後さらに眠気表情値が下がっていることから、居眠り状態に入る時期であることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。

図１３に示す被験者（Sub.3-2）の場合も、実験開始直後から瞬目群発が検出され（●印）、瞬目群発ではない単独瞬目の閉眼時間が２秒以上検出（灰色△印）された最初の時点（４５４秒）で、居眠りと判断した。このときの状態は、眠気表情値で２近くを示しており、その後も眠気表情値が３前後で振れていることから、居眠り状態に入る時期であることが分かり、正確に居眠りを検出していることが分かった。

図１４は、図１３の被験者（Sub.3-2）について、本発明と従来の方法による居眠り検出時間の差を示す。従来法は特許文献２に開示された方法によるもので、初めの瞬きの閉眼終了から２番目の瞬きの閉眼終了までの時間を瞬目間間隔ＴＯ_ｐ（ｉ）とし、このＴＯ_ｐ（ｉ）が１秒以下を瞬目群発と判定し、瞬目群発発生後から３番目の長時間閉眼（１秒以上）の瞬き終了時間までの時間が１０秒以内となった箇所のうち、最も早く１０秒以下となった箇所の時間を記した。これによれば、本発明では単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）したことから、居眠りを早期のタイミング（４５４秒）で検出できた。これに対して、従来法では、居眠りの検出時期が測定開始から９３９秒であり、本発明による方法と比較して遅いことが確かめられた。

図１５は、他の被験者（Sub.2-2）について、本発明と従来の方法による居眠り検出時間を測定した結果を示す。この被験者の場合も、本発明は単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）し、早期（７８１秒）に居眠りを検出することができた。これに対して、従来法では、検出時期が測定開始から１１２９秒後であり、本発明による方法と比較して遅いことが分かった。さらに、本発明の検出方法では、図１５に示すように、瞬目群発の第１閉眼が１秒以上（灰色▽印）、及び第２閉眼が１秒以上（▽印）の判定が最初に表れた時点を見ても、共に従来法よりも早期に居眠りを検出していることが分かり、この点からも本発明による方法は、早期に居眠りを検出可能であることが分かる。

図１６は、図１１の被験者（Sub.1-1）の眠気表情値の時間推移を示すもので、図１６（ａ）が本発明による検出方法による瞬目群発発生位置（●）、図１６（ｂ）には従来法による瞬目群発発生位置（○）を図示している。図１６（ａ）では瞬目群発の第１閉眼（灰色▽）、第２閉眼が１秒以上（▽）となった箇所が図示されている。図１６（ｂ）は従来法による瞬目群発発生位置（○）と瞬きの閉眼時間が１秒以上（長時間閉眼）となった箇所（灰色△）が図示されている。

図１６（ｂ）の従来の方法によるグラフでは、瞬目群発後の長時間閉眼が１０秒以下の時点をＡ〜Ｅで示す。従来法では、居眠り検出時期の最も速いもので、実験開始後、Ａ点で示す１３１５秒であった。これに対して、本発明の方法では、図１６（ａ）に示すように、瞬目群発における第２閉眼が１秒以上あった最初の時点（最初の▽）である、実験開始後１０８６秒で居眠りの検出が行われている。さらに、本発明の場合、瞬目群発における第１閉眼が１秒以上あった最初の時点（最初の灰色▽）をみても、従来の方法による場合と比較して、早期に検出していることが分かる。

次に、本発明の居眠り検出装置の構成を備えた実験装置（図８）による別の実施形態における実施例を図１７に示す。図１７は被験者（Sub.8-1）の実験結果であり、図１７（ａ）には眠気表情値、図１７（ｂ）には瞬目群発中のすべての瞬きの閉眼時間を加算した合計閉眼時間（秒）、図１７（ｃ）には単独瞬目の３０秒間での平均閉眼時間（秒）、図１７（ｄ）には瞬目群発中のすべての瞬きの閉眼時間（秒）と、単独瞬目の３０秒間での平均閉眼時間を加算した合計閉眼時間（秒）の時間推移を示している。この結果より、覚醒度が低下するに従い、合計閉眼時間が伸長していることがわかる。また、覚醒度が低下している間は、常に合計閉眼時間が長くなっている。このことから、瞬目群発と単独瞬目の合計閉眼時間を計測することにより居眠り状態を安定して検出できることが分かる。例えば、前記第三の閾値時間として、前記第二の閾値時間より相対的に長い閉眼時間である、健常成人の覚醒状態における前記単独の瞬き（瞬目群発以外の瞬き）の平均閉眼時間より相対的に長い閉眼時間を設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする第五居眠り判断処理ステップを備えたものとしても良い。また、式（１）に示すように、瞬目群発中の第ｊ番目の瞬きの閉眼時間をＴ_Ｂ（ｊ）、単独瞬目の平均閉眼時間をＴ_Iとし、これらの閉眼時間にそれぞれ重み（Ｗ_Ｂ（ｊ），Ｗ_I）をかけて足し合わせることにより合計閉眼時間Ｔ_ｓｕｍを求めてもよい。図１７に示す実施例では、Ｗ_Ｂ（ｊ）＝１，Ｗ_I＝１としているが、この他、例えばＷ_Ｂ（ｊ）＝０．５〜１．５，Ｗ_I＝０．５〜１．５とするなど各々の重みを様々に変えて足し合わせて合計閉眼時間Ｔ_ｓｕｍを求めてもよい。

なお、本発明の居眠り検出装置は前記各実施の形態に限定されるものではなく、瞬目検出は、上記以外の方法によっても良く、短時間に連続する２回以上の瞬目を検出して瞬目群発としても良い。また、この発明の開眼時間及び閉眼時間の定義及び判定基準値は、小数点以下を四捨五入した数値も含むものであり、具体的には、例えば０．５秒以上１．５秒未満までの範囲がこの発明の１秒の定義に含まれるものであり、この範囲を１秒としても良い。

１０ 居眠り検出実験装置
１１ 被験者
１２，３２ 撮影部
１４ パーソナルコンピュータ
１６ モニタ
３０ 居眠り検出装置
３１ ドライバー
３３ ドライバーモニターＥＣＵ
３４ ナビゲーションシステム
３５ スピーカ
３６ ブレーキ制御装置

Claims (18)

1. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定し、
   健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間として定義し、
   健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間として定義し、
   前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、
   前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合に居眠り状態と判断することを特徴とする居眠り検出方法。
2. 前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
3. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
4. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
5. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
6. 前記第三の閾値時間は、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間であるとする請求項３，４又は５記載の居眠り検出方法。
7. 前記瞬目群発中の瞬きの前記閉眼時間と前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする請求項６記載の居眠り検出方法。
8. 前記合計閉眼時間は、前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求められる請求項７記載の居眠り検出方法。
9. 人の目の位置を認識して、目の閉眼から開眼までの状態を検出する閉眼検出手段と、
   前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
   健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間として定義し、
   健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間として定義し、
   前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、
   前記瞬目時間測定手段により測定した瞬きの時間を基に前記瞬目群発を判別する瞬目群発判別手段と、
   前記瞬目群発を検出した場合、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が前記第二の閾値時間以上に達した場合に居眠り状態であるとする居眠り判別手段とを備えたことを特徴とする居眠り検出装置。
10. 前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が前記第二の閾値時間以上の場合に直ちに居眠り状態であるとする請求項９に記載の居眠り検出装置。
11. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合に直ちに居眠り状態であるとする請求項９記載の居眠り検出装置。
12. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態とする請求項９記載の居眠り検出装置。
13. 前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態とする請求項９記載の居眠り検出装置。
14. 前記第三の閾値時間は、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間であるとする請求項１１，１２又は１３記載の居眠り検出装置。
15. 前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発中の瞬きの前記閉眼時間と、前記瞬目時間測定手段により検出された前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする請求項１４記載の居眠り検出装置。
16. 前記居眠り判別手段は、前記合計閉眼時間を前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求める請求項１５記載の居眠り検出装置。
17. 前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた請求項９乃至１６のいずれかに記載の居眠り検出装置。
18. 請求項９乃至１７のいずれかに記載の居眠り検出装置を備えたことを特徴とする車両。