JP4412253B2 - 覚醒度推定装置及び方法 - Google Patents

Description

本発明は、覚醒度推定装置及び方法に関する。

従来、被検出者の眼の閉眼持続時間に基づいて、被検出者の覚醒度を推定する覚醒度推定装置が多数知られている。その１つとして、検出された眼の位置がばらつく場合、すなわち眼が動いている場合に、推定した覚醒度を覚醒側に補正する覚醒度推定装置が知られている（特許文献１参照）。
特開平２００４−３４１９５４号公報

しかしながら、特許文献１に記載の装置では、眼鏡のフレームや眉などを眼であると誤検出してしまう可能性があり、誤検出してしまった場合には、被検出者の覚醒度の推定精度が低下してしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、眼を誤検出してしまった場合において覚醒度の推定精度を向上させることが可能な覚醒度推定装置及び方法を提供することにある。

本発明に係る覚醒度推定装置は、眼検出手段と、開閉眼判定手段と、覚醒度推定手段とを備えている。眼検出手段は被検出者の顔を含む画像データを入力し、この画像から被検出者の眼を検出するものである。開閉眼判定手段は、眼検出手段により検出された眼について開閉眼を判定するものである。覚醒度推定手段は、開閉眼判定手段により判定された開閉眼判定結果に基づいて、被検出者の覚醒度を推定するものである。さらに、眼検出手段は、検出した被検出者の眼が誤検出によるものかを判断し、覚醒度推定手段は、開閉眼判定手段により判定された開閉眼判定結果に加えて、眼検出手段による誤検出判断結果に基づいて、被検出者の覚醒度を推定する。眼検出手段は、検出した眼が誤検出によるものであると判断する条件と、その条件が成立した場合に誤検出と判断すべき画像数とを記憶し、前記条件の成立時には誤検出と判断すべき数の画像に基づく眼の開閉眼判定結果が誤りであるとの情報を、覚醒度推定手段に出力する。

本発明によれば、検出された眼について開閉眼を判定し、判定された開閉眼判定結果に基づいて被検出者の覚醒度を推定するため、閉眼が頻繁に出現するときなどに覚醒度の低下を推定することができる。さらに、検出した被検出者の眼が誤検出によるものかを判断し、眼が誤検出によるものかの判断結果に基づいて、被検出者の覚醒度を推定する。このため、例えば、眼鏡のフレームや眉などを眼であると誤って検出した場合には、その誤検出の情報を加味して覚醒度を推定することができる。従って、眼を誤検出してしまった場合において覚醒度の推定精度を向上させることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態では、覚醒度推定装置を車両に搭載した場合を例に説明する。

図１は、本発明の実施形態に係るの覚醒度推定システム１のハード構成図である。同図に示すように、本実施形態の覚醒度推定システム１は、被検出者の眼の閉眼頻度から被検出者の覚醒度を推定するものであって、好適には車両運転者の覚醒度を推定するものとして利用される。以下、車両運転者の覚醒度を推定する覚醒度推定システム１を例に説明する。

覚醒度推定システム１は、カメラ１０と、照明装置２０と、覚醒度推定装置３０とからなっている。カメラ１０は、被検出者である車両運転者の顔を撮影するものであって、運転者の顔のほぼ全体が撮像可能に運転者の正面下方すなわち運転席前の計器類の近傍に設置されている。このカメラ１０は、例えばＣＣＤやＣ−ＭＯＳなどの撮像素子を用いた構成となっている。また、カメラ１０は、運転者の顔を撮影するとビデオ信号として出力する構成となっている。

照明装置２０は、カメラ１０の近傍に設けられ、運転者の顔を照らすように光を出射可能となっている。この照明装置２０は、運転者が運転中に眩しくならないように、例えば白色光でなく赤外光を出射する構成となっている。

覚醒度推定装置３０は、カメラ１０からのビデオ信号を入力すると、入力したビデオ信号を解析し、被検出者の眼の閉眼頻度を判断して覚醒度を推定するものである。また、覚醒度推定装置３０は、覚醒度を推定すると、その情報を覚醒度信号として出力する構成となっている。この覚醒度信号は例えば報知装置に接続されている。報知装置は、オーディオ機器などを制御して警告音、音楽及び音声等を出力して覚醒度の低下等を報知する構成となっている。また、報知装置は、ＬＥＤや液晶モニタなどの表示により運転者に報知する構成とされていてもよいし、シートベルトやエアコンを制御して運転者に報知する構成とされていてもよい。さらに、報知装置は、シートやハンドルに振動を与えることにより運転者に報知する構成とされていてもよいし、パワーウインドウの開閉制御やアクセル又はブレーキ制御などにより運転者に報知する構成とされていてもよい。

図２は、図１に示した覚醒度推定装置３０の詳細構成図である。同図に示すように、覚醒度推定装置３０は、顔画像取得部３１、眼検出部（眼検出手段）３２、開閉眼判定部（開閉眼判定手段）３３、覚醒度判定部（覚醒度判定手段）３４、開閉判定結果処理部（遅延出力手段）３５、処理状態出力部３６、及び覚醒度信号出力部３７を備えている。

顔画像取得部３１は、カメラ１０からのビデオ信号を入力して、ビデオ信号から運転者の顔を含む画像（以下顔画像という）のデータを取得するものである。

眼検出部３２は、顔画像取得部３１により取得された顔画像のデータを入力し、この顔画像から運転者の眼を検出するものである。ここで、眼検出部３２は、眼位置検出部（第１検出手段）３２ａと、眼位置追跡部（第２検出手段）３２ｂとからなっている。眼位置検出部３２ａは、顔画像全体から運転者の眼を検出するものである。眼位置追跡部３２ｂは、顔画像の一部領域から運転者の眼を検出するものである。

より詳しく説明すると、眼位置検出部３２ａは、運転者の眼の位置が検出できていない場合に顔画像全体から眼の位置を検出するものであり、眼位置追跡部３２ｂは、前回処理サイクルにおいて眼が検出されていた場合に、その眼の位置を含んで一部領域を設定し、その領域内から眼の位置を検出するものである。このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、一度眼が検出されると、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う場合に比して、迅速な処理を行うことができるようになっている。

開閉眼判定部３３は、眼検出部３２により検出された眼について開閉眼を判定するものである。この開閉眼判定部３３は、眼検出部３２により検出された眼の縦幅に基づいて眼の開閉眼を判定するようになっている。ここで、開閉眼判定部３３は、開閉眼学習部（閾値設定手段）３３ａと、開閉眼決定部（開閉眼決定手段）３３ｂとを有している。

開閉眼学習部３３ａは、眼検出部３２により検出された眼の縦幅を計測して開閉眼を判断するための閾値を設定するものである。開閉眼決定部３３ｂは、眼検出部３２により検出された眼の縦幅が開閉眼学習部３３ａにより設定された閾値以上の場合に開眼と決定し、
閾値未満の場合に閉眼と決定するものである。

このように、開閉眼判定部３３は、眼の縦幅を計測し、計測した眼の縦幅に基づいて開閉眼を決定するための閾値を設定するため、運転者個人の眼の縦幅を学習したうえで、適切な閾値を設定できることとなる。

覚醒度推定部３４は、開閉眼判定部３３により判定された開閉眼判定結果に基づいて、運転者の覚醒度を推定するものである。例えば、覚醒度推定部３４は、開閉眼判定部３３により運転者の閉眼割合が高いと判定された場合、覚醒度の低下を推定することとなる。

また、上記した眼検出部３２は、検出した眼が誤検出によるものか判断する機能を有している。例えば、眼検出部３２は、検出した左右の眼の距離が短すぎる場合や、検出した眼の画像上方に眉が存在しない場合などに、検出した眼が誤検出によるものと判断する。さらに、眼検出部３２は、検出した眼が誤検出によるものと判断した場合、その旨の情報を覚醒度推定部３４に出力する。これにより、本実施形態の覚醒度推定部３４は、開閉眼判定部３３により判定された開閉眼判定結果に加えて、眼検出部３２による誤検出判断結果に基づいて、運転者の覚醒度を推定することとなる。すなわち、本実施形態の覚醒度推定装置３０は、誤検出の情報を加味したうえで覚醒度を推定することとなり、推定精度の向上を図ることができるようになっている。

より詳しく説明すると、眼検出部３２は、検出した眼が誤検出によるものであると判断するための条件と、その条件が成立した場合に誤検出と判断すべき画像数とを記憶している。ここで、或る画像から眼の誤検出が判断された場合、その画像以前から眼を誤検出している可能性が高い。このため、眼検出部３２は、誤検出の条件成立時には誤検出と判断すべき数の画像（誤検出と判断すべき画像数分の画像）に基づく眼の開閉眼判定結果が誤りであるとの情報を、覚醒度推定部３４に出力する。これにより、覚醒度推定部３４は、一層適切に覚醒度を推定できることとなる。

ここで、誤検出の例を示す。図３は、誤検出の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。図３（ａ）に示すように、例えば、車両運転者が眼鏡を掛けている場合、本装置３０は眼鏡のフレームを眼であると誤検出することがある。さらに、図３（ｂ）に示すように本装置３０は運転者の眉を眼であると誤検出することがある。このような場合に誤検出を判断するために、眼検出部３２は検出した眼が誤検出によるものであると判断するための条件（図１８参照）を記憶している。

なお、参考として図４を示す。図４は、開閉眼の誤判定の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。図４（ａ）及び（ｂ）において、運転者の顔の向きが傾いている（運転者が左右に顔を向けている）ときには開眼を閉眼と誤って判定してしまう可能性が高まることを付け加えておく。

再度、図２を参照する。開閉判定結果処理部３５は、開閉眼判定部３３により判定された開閉眼判定結果を入力し、所定時間遅延させて覚醒度推定部３４に出力するものである。すなわち、開閉眼判定部３３により判定された開閉眼判定結果は、開閉判定結果処理部３５によって直ちに覚醒度推定部３４に入力されなくなり、所定時間経過後でなければ覚醒度推定に用いられないこととなる。上記眼検出部３２は、この所定時間の遅延の間に、検出した運転者の眼が誤検出によるものかを判断する構成となっている。すなわち、本実施形態に係る覚醒度推定装置３０は、開閉判定結果処理部３５による遅延によって、開閉眼判定結果が直ちに覚醒度推定に用いられることを防止し、確実に誤検出か否かを加味した覚醒度推定を行うようにしている。

処理状態出力部３６は、各部３１〜３５の作動状況等に応じて覚醒度推定装置３０の状態を判断し、判断した状態の情報を出力するものである。具体的に処理状態出力部３６は、少なくとも「検出中」「学習中」及び「推定中」の３つの状態を判別し、出力するようになっている。ここで、「検出中」とは、顔画像全体から眼の検出を行っている状態をいう。「学習中」とは、開閉眼を決定する閾値を学習している状態をいう。「推定中」とは、運転者の覚醒度を推定している状態をいう。

覚醒度信号出力部３７は、覚醒度推定部３４によって推定された覚醒度の情報から、覚醒度信号を生成して出力するものである。この覚醒度信号出力部３７は、上記したように、報知装置などに覚醒度信号を出力することとなる。

次に、本実施形態に係る覚醒度推定装置３０の動作の概略を説明する。図５は、本実施形態に係る覚醒度推定装置３０の動作を示す説明図であり、（ａ）は状態遷移図であり、（ｂ）は本装置３０が「検出中」であるときの各部３１〜３７の動作の様子を示している。また、（ｃ）は本装置３０が「学習中」であるときの各部３１〜３７の動作の様子を示し、（ｄ）は本装置３０が「推定中」であるときの各部３１〜３７の動作の様子を示している。

まず、車両のイグニッションスイッチがオンされると、覚醒度推定装置３０が起動して、図５（ａ）に示す「検出中」の状態Ａとなる。この状態Ａにおいて覚醒度推定装置３０は顔画像全体から車両運転者の眼の検出を行う。そして、覚醒度推定装置３０は検出が完了するまでこの状態を繰り返す。このとき、図５（ｂ）に示すように、覚醒度推定装置３０のうち顔画像取得部３１、眼位置検出部３２ａ及び処理状態出力部３６が作動することで、眼の検出が行われることとなる。そして、眼が検出されると、状態Ａから他の状態Ｂ，Ｃへ移行することとなる。

「検出中」の状態Ａにおいて眼が検出されると、眼の学習が完了していない場合、覚醒度推定装置３０は「学習中」の状態Ｂとなり、眼の学習（すなわち閾値の設定）を行う。そして、覚醒度推定装置３０は学習が完了するまでこの状態を繰り返す。このとき、図５（ｃ）に示すように、覚醒度推定装置３０のうち顔画像取得部３１、眼位置追跡部３２ｂ、開閉眼学習部３３ａ及び処理状態出力部３６が作動することで、眼の学習が行われることとなる。そして、学習が完了すると、状態Ｂから「推定中」の状態Ｃへ移行することとなる。他方、眼の学習中において、眼を完全に見失った場合、覚醒度推定装置３０は、再度「検出中」の状態Ａに遷移する。

「検出中」の状態Ａにおいて眼が検出され眼の学習が完了している場合、又は「学習中」の状態Ｂにおいて眼の学習が完了した場合、覚醒度推定装置３０は図５（ａ）に示す「推定中」の状態Ｃとなり、運転者の覚醒度の推定を行う。その後、覚醒度推定装置３０は、覚醒度の推定を繰り返し行う。そして、覚醒度信号出力部３７は覚醒度信号を報知装置などに出力することとなる。なお、状態Ｃにおいては、図５（ｄ）に示すように、覚醒度推定装置３０のうち顔画像取得部３１、眼位置追跡部３２ｂ、開閉眼学習部３３ａ、開閉眼決定部３３ｂ、覚醒度推定部３４、開閉判定結果処理部３５、処理状態出力部３６、及び覚醒度信号出力部３７が作動することとなる。また、覚醒度推定装置３０は、覚醒度の推定中において眼を完全に見失った場合、再度「検出中」の状態Ａに遷移する。

次に、本発明の実施形態に係る覚醒度推定方法を説明する。図６は、本実施形態に係る覚醒度推定方法の詳細を示すフローチャートである。まず、覚醒度推定装置３０は、カメラ１０からビデオ信号を入力する。そして、図６に示すように、眼検出部３２は前回処理において眼が検出されていたか否かを判断する（ＳＴ１）。ここで、前回処理において眼が検出されていなかった場合（ＳＴ１：ＮＯ）、眼検出部３２の眼位置検出部３２ａは眼検出処理を実行する（ＳＴ２）。

図７〜図９は、図６に示した眼検出処理（ＳＴ２）の概要を示す説明図であり、図７は眼検出部３２が入力する画像データの一例を示す説明図であり、図８は、図７に示す画像縦方向の画素列Ｙｂの濃度値を示すグラフであり、図９は、眼の検出の様子を示す説明図である。

眼位置検出部３２ａは、図７に示すような画像を入力すると、画像の縦方向の画素列（縦ライン）に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とする。そして、眼位置検出部３２ａは、画像縦方向の画素列の全ラインについて抽出点を定める。

ここで、図８に示すように、画像縦方向の画素列Ｙｂの濃度値は、眼や眼鏡枠や口の部分で局所的に低下している。このため、眼位置検出部３２ａは、Ｙｂラインについて、眼や眼鏡枠や口部分の画素を抽出点として定めることとなる。

その後、眼位置検出部３２ａは、抽出点を集合させた画素群を得る。これにより、眼、眼鏡枠、及び口付近に画素群が得られる。ここで、眼は、横方向に延びる形状を為している。このため、図９に示す眼の画素群は、形状的に画像横方向に連なるものとなる。よって、眼位置検出部３２ａは、横方向に延びる画素群を選択することで、眼の画素群を抽出することができる。なお、眼鏡枠なども横方向に延びるものであるため、眼位置検出部３２ａは、より正確には予め設定される眼の長さや、眼が左右対称であることを利用して、眼を特定してもよい。また、眼位置検出部３２ａは、テンプレートマッチング処理を併用するようにしても良い。

このように、眼位置検出部３２ａは、顔画像全体から眼を検出する。図１０は、図６に示した眼検出処理（ＳＴ２）の詳細を示すフローチャートである。なお、本実施形態において、眼位置検出部３２ａは、まず片眼の位置を検出し、その後検出した片眼をもとに両眼を検出するようになっている。従って、初期的には片眼の位置検出が実行される。

図１０に示すように、まず、眼位置検出部３２ａは、片眼候補検出を行うか、両眼確定処理を行うを判断する（ＳＴ２１）。ここで、片眼候補検出を行うと判断した場合（ＳＴ２１：片眼候補検出）、眼位置検出部３２ａは片眼候補検出用の処理エリアを顔画像上に設ける（ＳＴ２２）。

図１１は、図６に示した眼検出処理（ＳＴ２）の詳細を示す説明図であり、（ａ）は片眼候補検出用の処理エリアを示しており、（ｂ）は検出された連続データ等を示し、（ｃ）は両眼確定用の処理エリアを示している。図１１（ａ）に示すように、眼位置検出部３２ａは顔画像上に片眼候補検出用の処理エリアを設定する。この処理エリアは、例えば画像の右半分又は左半分に設定される。

再度、図１０を参照する。処理エリアを設定した後、眼位置検出部３２ａは処理エリア内から連続データを求める（ＳＴ２３）。このとき、眼位置検出部３２ａは、図７〜図９を参照して説明したようにして連続データを求める。なお、図１１に示す例において、眼位置検出部３２ａは、１０画素間隔で縦方向の画素列ごとに抽出点を定めている。

その後、眼位置検出部３２ａは、片眼候補の絞り込みを行う（ＳＴ２４）。すなわち、眼位置検出部３２ａは、図１１（ｂ）に示すように、複数の連続データから眼である連続データを絞り込む。このとき、眼位置検出部３２ａは、上瞼については上に凸の形状を元に眼である連続データを絞り込む。また、眼位置検出部３２ａは、上記したように予め定めた眼の長さや、左右対称性から連続データを絞り込むようにしてもよい。ここで、図１１（ｂ）に示す例では、連続データＧ１，Ｇ２のうち上に凸である連続データＧ１が眼の連続データとして絞り込まれることとなる。

再度、図１０を参照する。片眼候補の絞り込みを行った後、眼位置検出部３２ａは、次フレームで片眼候補検出を行うか、両眼確定処理を行うかを判断しておく（ＳＴ２５）。ここで、ステップＳＴ２３，ＳＴ２４の処理において、片眼候補の検出に失敗していた場合、眼位置検出部３２ａは次フレームで片眼候補検出を行うと判断する。一方、片眼候補の検出に成功していた場合、眼位置検出部３２ａは次フレームで両眼確定処理を行うと判断する。そして、処理は図６のステップＳＴ５に移行する。なお、眼位置検出部３２ａは、片眼候補の検出に成功していたとしても数回に亘り片眼候補の検出に成功するまでは連続して片眼候補検出を行うようにしてもよい。

ところで、両眼確定処理を行うと判断した場合（ＳＴ２１：両眼確定処理）、眼位置検出部３２ａは両眼確定用の処理エリアを顔画像上に設ける（ＳＴ２２）。このとき、眼位置検出部３２ａは、図１１（ｃ）に示すように、先に検出した片眼の位置をもとに、顔画像上に両眼確定用の処理エリアを設定する。

次いで、眼位置検出部３２ａは、眼位置検出部３２ａは処理エリア内から連続データを求め（ＳＴ２７）、両目候補の検出を行う（ＳＴ２８）。このとき、眼位置検出部３２ａは、ステップＳＴ２３，ＳＴ２４と同様にして、連続データを求め且つ両眼候補の検出を行う。なお、ステップＳＴ２８において、眼位置検出部３２ａは、パターン認識（テンプレーマッチング）を行い、両眼候補が運転者の両眼であるか否かを判定するようになっている。ここで、パターン認識に用いられるテンプレートは予め複数個登録されており、両眼であるかの判定にあたっては相互相関法が採用される。なお、眼位置検出部３２ａは、ニューラルネットワークを備え、ニューラルネットワークの学習を経て両眼であるかの判定を行う構成であってもよい。

その後、眼位置検出部３２ａは、次フレームで片眼候補検出を行うか、両眼確定処理を行うか、眼の追跡（すなわち一部領域からの眼の検出）を行うかを判断しておく（ＳＴ２９）。ここで、ステップＳＴ２７，ＳＴ２８の処理において、両眼確定に失敗し且つ片眼候補の位置まで見失ったり検出した片眼候補がそもそも眼でなかったりした場合などには、眼位置検出部３２ａは次フレームで片眼候補検出を行うと判断する。また、両眼確定に失敗したが片眼候補の位置を見失うなどなかった場合、眼位置検出部３２ａは次フレームで両眼確定処理を行うと判断する。また、両眼確定に成功した場合、眼位置検出部３２ａは次フレームで眼の追跡を行うと判断する。そして、処理は図６のステップＳＴ５に移行する。

再度、図６を参照する。図６のステップＳＴ１において、前回処理で眼が検出された場合（ＳＴ１：ＹＥＳ）、眼検出部３２の眼位置追跡部３２ｂは、顔部位探査領域（一部領域）を設定する（ＳＴ３）。このとき、眼位置追跡部３２ｂは、前回検出された眼の位置を含んで、眼の位置の周囲に顔部位探査領域を設定する。図１２は、眼位置追跡部３２ｂの動作の概略を示す説明図であり、（ａ）は顔部位探査領域を示し、（ｂ）は反対側の眼の検出の様子を示している。図１２（ａ）に示すように、眼位置追跡部３２ｂは、前回検出された一方の眼（基準眼）の位置を中心にして長方形状の顔部位探査領域を顔画像上に設定する。この顔部位探査領域は、例えば、眼全体の大きさに余裕分（例えば眼の大きさの０．５倍分）を加えた大きさとされる。

図６を参照する。顔部位探査領域の設定後、眼位置追跡部３２ｂは、眼追跡処理を実行する（ＳＴ４）。眼追跡処理では、図１２（ａ）に示す顔部位探査領域から基準眼が検出される。そして、検出された基準眼の位置と、前回処理までに算出された眼間距離とをもとに、図１２（ｂ）に示すような他方の眼（反対眼）の顔部位探査領域が設定される。次いで、反対眼の顔部位探査領域から反対眼が検出される。

図１３は、図６に示した眼追跡処理（ＳＴ４）の詳細を示すフローチャートである。まず、眼位置追跡部３２ｂは、顔部位探査領域から基準眼を検出する（ＳＴ３１）。基準眼の検出は図７〜図９を参照して説明した場合と同様に行われる。その後、眼位置追跡部３２ｂは、基準眼を検出できたか否かを判断する（ＳＴ３２）。

基準眼を検出できたと判断した場合（ＳＴ３２：ＹＥＳ）、処理はステップＳＴ３７に移行する。一方、基準眼を検出できなかったと判断した場合（ＳＴ３２：ＮＯ）、眼位置追跡部３２ｂは、反対眼を基準眼とし（ＳＴ３３）、その基準眼を検出する（ＳＴ３４）。そして、眼位置追跡部３２ｂは、基準眼を検出できたか否かを判断する（ＳＴ３５）。

ここで、基準眼を検出できなかったと判断した場合（ＳＴ３５：ＮＯ）、眼位置追跡部３２ｂは、眼の追跡に失敗したと判断し、処理は図６のステップＳＴ５に移行することとなる。他方、基準眼を検出できたと判断した場合（ＳＴ３５：ＹＥＳ）、処理はステップＳＴ３７に移行する。

ステップＳＴ３７において、眼位置追跡部３２ｂは反対眼を検出する（ＳＴ３７）。そして、眼位置追跡部３２ｂは、反対眼を検出できたか否かを判断する（ＳＴ３８）。反対眼を検出できたと判断した場合（ＳＴ３８：ＹＥＳ）、検出した眼の座標位置を基準眼及び反対眼として確定させる（ＳＴ３９）。その後、処理は図６のステップＳＴ５に移行する。

一方、反対眼を検出できなかったと判断した場合（ＳＴ３８：ＮＯ）、眼位置追跡部３２ｂは、検出した基準眼の座標を基準眼の位置として確定させると共に、前回の基準眼から今回の基準眼への移動量分だけ、反対眼が移動したと仮定し、その仮定をもとに得られた位置を反対眼の位置として確定する。その後、処理は図６のステップＳＴ５に移行する。

図６のステップＳＴ５において、眼検出部３２は、眼の検出をできたか否かを判断する（ＳＴ５）。眼の検出ができなかった場合（ＳＴ５：ＮＯ）、眼検出部３２は未検出である旨の情報を覚醒度推定部３４に出力する（ＳＴ６）。そして、処理は終了する。一方、眼の検出ができた場合（ＳＴ５：ＹＥＳ）、開閉眼判定部３３は開閉眼判定を行う（ＳＴ７）。

図１４は、図６に示した開閉眼判定（ＳＴ７）の詳細を示すフローチャートである。図１４に示すように、開閉眼判定部３３は、まず、開閉診断用パラメータを設定する（ＳＴ４１）。図１５は、図６に示した開閉眼判定（ＳＴ７）の説明図であり、（ａ）は図１４のステップＳＴ４１の詳細を示している。図１５（ａ）に示すように、開閉眼判定部３３は、開閉診断用パラメータとして閉眼時及び開眼時の眼の上下左右端を設定する。これにより、開閉眼判定部３３は、眼の画像から、開眼時及び閉眼時の双方の眼の上端、下端、右端、及び左端位置を認識できるようになる。

再度、図１４を参照する。開閉診断用パラメータの設定後、開閉眼判定部３３は、ステップＳＴ２又はステップＳＴ４において検出した眼の開度を求める（ＳＴ４２）。図１５（ｂ）は図１４のステップＳＴ４２の詳細を示している。同図に示すように、眼の開度とは、眼の縦幅をいう。このため、開閉眼判定部３３は、眼の上端及び下端位置を検出し、これら位置の差から眼の縦幅を求める。

再度、図１４を参照する。開度を求めた後、開閉眼判定部３３は、眼が上に凸か、下に凸か、又は水平かを判断する（ＳＴ４３）。次に、開閉眼判定部３３は開閉学習終了か否かを判断する（ＳＴ４４）。開閉学習終了でないと判断した場合（ＳＴ４４：ＮＯ）、開閉眼学習部３３ａは、学習を行う（ＳＴ４５）。このとき、開閉眼学習部３３ａは、ステップＳＴ４３において上に凸と判断された眼の開度を学習して、開閉眼を判断するための閾値を求める。

図１６は、図１５に示したステップＳＴ４５の詳細を示す説明図である。同図に示すように、開閉眼学習部３３ａは内部にカウンタを備えており、ステップＳＴ４２において検出された開度の値をカウンタに記録する。そして、カウンタへの記録後、処理は図６のステップＳＴ８に移行する。また、カウンタに記録された開度値の個数が一定量に達した場合、開閉眼学習部３３ａは、カウンタに記録された値のうち連続する３つの値を合計し、この合計値が一定値（図１６では例えば「２０」）を超える場合には、上に凸の眼から検出された開度であると判断して学習を行う。そして、開閉眼学習部３３ａは、学習した開度値の平均値を求め、この平均値の約３０％の値を、開閉眼を判断するための閾値とする。閾値を求めた後、処理は図６のステップＳＴ８に移行する。

ところで、開閉学習終了と判断した場合（ＳＴ４４：ＹＥＳ）、開閉眼決定部３３ｂは、ステップＳＴ４２において検出された開度と閾値を比較し、開度が閾値以上の場合に開眼と決定し、開度が閾値未満の場合に閉眼と決定する。図１７は、図１５に示したステップＳＴ４５の詳細を示す第２の説明図である。同図に示すように、開度が閾値を下回る場合を閉眼と決定することとなる。そして、開閉眼の決定後、処理は図６のステップＳＴ８に移行する。

なお、このステップＳＴ７の処理において得られた開閉眼判定結果は、上記したように直ちに覚醒度推定部３４に出力されるわけでなく、（後述のステップＳＴ１２に示すように）所定時間遅延されて覚醒度推定部３４に出力されることとなる。

図６を参照する。ステップＳＴ８において、開閉眼判定部３３は、学習が完了しているか否かを判断する（ＳＴ８）。学習が完了していない場合（ＳＴ８：ＮＯ）、処理は終了する。一方、学習が終了している場合（ＳＴ８：ＹＥＳ）、眼検出部３２は誤検出判断を行う（ＳＴ９）。このとき、眼検出部３２は、上記したように、検出した左右の眼の距離が短すぎる場合や、検出した眼の画像上方に眉が存在しない場合などに、誤検出と判断する。

図１８は、図６に示したステップＳＴ８の詳細を示す説明図である。図１８に示すように、眼検出部３２は検出した眼が誤検出によるものであると判断する条件２〜８のいずれか１つ以上が成立するときに、誤検出と判断する。そして、眼検出部３２は誤検出を判断した場合、その旨の情報を覚醒度推定部３４に出力する。また、眼検出部３２は、誤検出である画像を画像数の情報をもとに特定し、それら画像から得られた開閉眼判定結果が誤りであるとの情報を覚醒度推定部３４に出力する。

さらに、眼検出部３２は、ステップＳＴ８において眼の未検出についても判断する。具体的には、図１８の条件１、条件９〜１３の成立時に眼の未検出、すなわち眼の検出自体を行えない状態と判断する。なお、未検出判断はステップＳＴ８において実行されてもよいが、上記したステップＳＴ２やステップＳＴ４において実行されてもよい。

図６を参照する。誤検出判断の後、開閉判定結果処理部３５は、置き換えを要するか否かを判断する（ＳＴ１０）。ここで、置き換えについて説明する。図１９は、図６に示した置き換え判断（ＳＴ１０）の詳細を示す説明図であり、（ａ）は置き換え要の場合を示し、（ｂ）は置き換え不要の場合を示している。

具体的に開閉判定結果処理部３５は、所定時間の遅延中に入力した時系列の開閉眼判定結果が運転者の眼の不適切な開閉であって予め記憶されるパターンに該当する場合に、運転者の眼の適切な開閉であって予め記憶されるパターンに置き換えることとする。例えば、図１９（ａ）に示すように、時系列の開閉眼判定結果が「閉眼」「開眼」「閉眼」と連続したとする。ここで、一般的に人間の眼の動きとして閉眼中に一瞬だけ開眼となり再び閉眼に戻るという動きは考えにくい。このため、開閉判定結果処理部３５は「閉眼」「開眼」「閉眼」のうち「開眼」が誤りであったと判断し、「開眼」との判定結果を「閉眼」に置き換えるべきと判断する。

また、図１９（ｂ）に示すように、時系列の開閉眼判定結果が「開眼」「閉眼」「開眼」と連続したとする。ここで、開眼中に一瞬だけ閉眼となることは通常の瞬きの動作が行われたことを意味し、人間の動作としてあり得るものである。このため、開閉判定結果処理部３５は誤りがないと判断し、置き換え不要と判断する。

図６を参照する。ステップＳＴ１０において置き換えが不要と判断された場合（ＳＴ１０：ＮＯ）、開閉判定結果処理部３５は置き換えを行うことなく、処理はステップＳＴ１２に移行する。一方、置き換え要と判断された場合（ＳＴ１０：ＹＥＳ）、開閉判定結果処理部３５は置き換えを行い、その後処理はステップＳＴ１２に移行する。

ステップＳＴ１２において開閉判定結果処理部３５は、取得された開閉眼判定結果うち、取得後所定時間経過（遅延）した開閉眼判定結果を覚醒度推定部３４に出力する（ＳＴ１２）。

図２０は、図６に示した遅延処理（ＳＴ１２）の詳細を示す説明図である。図２０に示すように、開閉判定結果処理部３５は複数の格納領域を備えており、開閉眼判定部３３からの開閉眼判定結果を格納領域に随時格納していく。そして、格納後、所定時間経過した開閉眼判定結果を覚醒度推定部３４に出力する。

図６を参照する。出力後、覚醒度推定部３４は、入力した開閉眼判定結果に基づいて運転者の覚醒度を推定する（ＳＴ１３）。その後、処理は終了する。なお、上記処理は、車両のイグニッションスイッチがオフされて覚醒度推定装置３０が停止するまで繰り返し実行される。

図２１は、図６に示した覚醒度推定処理（ＳＴ１３）の詳細を示す説明図である。覚醒度推定部３４は、覚醒度の推定にあたり、閉眼時間比率を求める。具体的に説明すると、覚醒度推定部３４は、規定時間ｔ１から、眼が検出できなかった時間ｔ４及び眼が誤検出であった時間ｔ３を除いた時間ｔ２のうち、閉眼ｔ６（＝ｔ２−ｔ５）であった時間が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定する。このように、覚醒度推定部３４は、未検出及び誤検出を除いた時間ｔ２のうち、閉眼であった時間ｔ６が占める割合を閉眼時間比率とするので、未検出及び誤検出により覚醒度が不正確になることを抑制することとなり、正確に覚醒度を推定することができることとなる。

図２２は、図６に示した覚醒度推定処理（ＳＴ１３）の詳細を示す第２の説明図である。覚醒度推定部３４は、規定時間ｔ１から、眼が検出できなかった時間ｔ４を除いた時間ｔ２’のうち、閉眼であった時間ｔ６（ｔ２’−ｔ６’＋ｔ７＋ｔ８）が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定してもよい。ここで、誤検出の時間ｔ７＋ｔ８を閉眼時間ｔ６に加えると過度に閉眼時間比率が高くなってしまう。一方、誤検出の時間ｔ７＋ｔ８を開眼時間ｔ５に加えて新たな開眼時間ｔ５’としても、閉眼時間比率に与える影響は少ない。このため、覚醒度推定部３４は、規定時間ｔ１から未検出時間ｔ４を除いた閉眼時間ｔ６、開眼時間ｔ５、及び誤検出時間ｔ７＋ｔ８のうち、閉眼であった時間ｔ６が占める割合を閉眼時間比率とすることで、正確に覚醒度を推定することができる。

次に、覚醒度推定部３４が複数の覚醒度推定手法を実行可能に構成されている場合を説明する。覚醒度推定部３４が複数の覚醒度推定手法に基づいて覚醒度推定手法ごとに覚醒を推定する場合、開閉判定結果処理部３５は、覚醒度推定手法ごとに遅延させる所定時間を異ならせる。

より具体的に説明する。図２３は、図６に示した遅延処理（ＳＴ１２）の詳細を示す第２の説明図であり、複数の覚醒度推定手法を実行するのときの遅延の様子を示している。

例えば、第１覚醒度推定手法は閉眼時間比率に基づいて覚醒度の低下を推定する方法であり、第２覚醒度推定手法は閉眼時間比率の推移に基づいて覚醒度の低下を推定する方法であるとする。ここで、第２覚醒度推定手法のように閉眼時間比率の推移に基づいて覚醒度の低下を推定する場合、閉眼時間比率の推移の様子を可能な限りリアルタイムでチェックすることが望ましいため、例えば、３秒など或る程度短めの時間に占める閉眼時間比率の推移に基づいて覚醒度の低下を推定することとなる。他方、変化の様子を確認する必要がない第１覚醒度推定手法では、３０秒など或る程度長めの時間に占める閉眼時間比率に基づいて覚醒度の低下を推定することとなる。

この場合において、第１覚醒度推定手法では遅延させる時間は上記に対応させて３０秒程度であることが望ましく、第２覚醒度推定手法では遅延させる時間も同様に対応させて３秒程度であることが望ましい。このように、第２覚醒度推定手法の所定時間を第１覚醒度推定手法の所定時間よりも短くすることで、覚醒度推定手法ごとに遅延が短すぎず且つ長期過ぎないようにすることができる。

図２４は、本実施形態に係る覚醒度推定装置３０による閉眼時間比率の算出結果を示す説明図である。なお、図２４に示す例では、運転者に通常の運転をさせた場合、運転者の顔を振った場合、運転者の覚醒度が低下している場合で閉眼時間比率の算出を行った。また、図２４に示す例では、閉眼時間比率が閾値よりも大きくなると、運転者の覚醒度が低下していると判断するようになっている。

図２４に示すように、従来手法では、誤検出によって通常運転時に閉眼時間比率が閾値を超えてしまう場合がある。ところが、本実施形態では誤検出時の情報が加味されて閉眼時間比率が算出されるため、算出された閉眼時間比率が閾値を超えることなく、正確に覚醒度が推定されることとなる。また、運転者の顔を振った場合、従来手法及び本実施形態の双方について閉眼時間比率は閾値を超えていない。また、本実施形態では、運転者の覚醒度が低下している場合において、閉眼時間比率が低下することなく、従来手法と同様に高く算出される。

図２５は、本実施形態に係る覚醒度推定装置３０による閉眼時間比率の算出結果と警報出力とを示す説明図である。なお、図２５に示す例では、単純に運転者に長時間運転を行ってもらい閉眼時間比率の算出を行った。また、警報出力の判断閾値を閉眼時間比率２５％に設定した。

従来手法では、誤検出によって閉眼時間比率が高まってしまう。このため、図２５に示す時間１３分の時点で不要な警報出力を招いている。ところが、本実施形態では、誤検出による閉眼時間比率の上昇を抑制することができるため、時間１３分の時点で警報出力されることなく、運転者の覚醒度が低下した時間１６分の時点のみで警報が出力されている。

このようにして、本実施形態に係る覚醒度推定装置３０及び方法によれば、検出された眼について開閉眼を判定し、判定された開閉眼判定結果に基づいて運転者の覚醒度を推定するため、閉眼が頻繁に出現するときなどに覚醒度の低下を推定することができる。さらに、検出した被検出者の眼が誤検出によるものかを判断し、眼が誤検出によるものかの判断結果に基づいて、被検出者の覚醒度を判断する。このため、例えば、眼鏡のフレームや眉などを眼であると誤って検出した場合には、その誤検出の情報を加味して覚醒度を推定することができる。従って、眼を誤検出してしまった場合において覚醒度の推定精度を向上させることができる。

また、眼位置追跡部３２ｂは、眼位置検出部３２ａによって検出された眼の位置、又は、前回眼位置追跡部３２ｂが検出した眼の位置のいずれかを含んで顔部位探査領域（一部領域）を設定する。このため、一度眼位置検出部３２ａによって眼が検出されると、その後眼位置追跡部３２ｂが眼の検出に失敗するまでは、一部領域から被検出者の眼が検出されることとなる。これにより、毎フレームで顔画像全体から眼を検出する必要がなくなり、処理の迅速化を図ることができる。

また、検出された眼の縦幅を計測して開閉眼を判断するための閾値を設定し、検出された眼の縦幅が設定された閾値以上の場合に開眼と決定し、縦幅が閾値未満の場合に閉眼と決定することとしている。このため、被検出者個人の眼の縦幅を学習したうえで、適切な閾値を設定できることとなり、開閉眼の判定を正確に行うことができる。

また、眼検出部３２は、検出した眼が誤検出によるものであると判断する条件と、その条件が成立した場合に誤検出と判断すべき画像数とを記憶し、条件の成立時には誤検出と判断された画像に基づく眼の開閉眼判定結果が誤りであるとの情報を、覚醒度推定部３４に出力することとしている。このため、覚醒度推定部３４は、誤検出である可能性がある画像から覚醒度を推定しないなど、適切な対応を取ることができる。従って、覚醒度の推定精度を向上させることができる。

また、判定された開閉眼判定結果を入力し、所定時間遅延させて覚醒度推定部３４に出力する開閉判定結果処理部３５をさらに備え、眼検出部３２は、開閉判定結果処理部３５による所定時間の遅延の間に、検出した被検出者の眼が誤検出によるものかを判断することとしている。このため、遅延しないことにより眼検出部３２が誤検出と判断したときには覚醒度の推定を終えているという事態が確実に防止される。従って、確実に誤検出か否かを加味して覚醒度を推定することができる。

また、所定時間の遅延中に入力した時系列の開閉眼判定結果が、被検出者の眼の不適切な開閉であって予め記憶されるパターンに該当する場合、被検出者の眼の適切な開閉であって予め記憶されるパターンに置き換えることとしている。このため、例えば閉眼継続中にスパイクノイズによって１フレームだけ開眼が発生した場合などには、１フレームの閉眼を開眼に置き換えることが可能となり、スパイクノイズによる覚醒度の推定精度低下を抑制することができる。

また、規定時間ｔ１から、眼が検出できなかった時間ｔ４及び眼が誤検出であった時間ｔ３を除いた時間ｔ２のうち、閉眼であった時間ｔ６が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定する。このため、未検出時間ｔ４及び誤検出時間ｔ３を除いた閉眼時間ｔ６及び開眼時間ｔ５のうち、閉眼であった時間ｔ６が占める割合を閉眼時間比率とするので、誤検出及び未検出が除かれることとなり、正確に覚醒度を推定することができる。

または、規定時間ｔ１から、眼が検出できなかった時間ｔ４を除いた時間のうち、閉眼であった時間ｔ６が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定する。ここで、誤検出の時間ｔ４を閉眼時間ｔ６に加えると過度に閉眼時間比率が高くなってしまう。一方、誤検出の時間ｔ４を開眼時間ｔ５に加えても、閉眼時間比率に与える影響は少ない。このため、未検出時間ｔ４を除いた閉眼時間ｔ６、開眼時間ｔ５、及び誤検出時間ｔ７＋ｔ８のうち、閉眼であった時間ｔ５が占める割合を閉眼時間比率とすることで、正確に覚醒度を推定することができる。

また、複数の覚醒度推定手法のそれぞれに応じて、遅延させる所定時間を異ならせることとしているので、覚醒度推定手法に応じた時間だけ遅延されることとなり、遅延が短すぎず且つ長期過ぎないようにすることができる。

特に、閉眼時間比率に基づいて覚醒度の低下を推定する第１覚醒度推定手法と、閉眼時間比率の推移に基づいて覚醒度の低下を推定する第２覚醒度推定手法とについて、第２覚醒度推定手法の所定時間は第１覚醒度推定手法の所定時間よりも短くされる。例えば、第１覚醒度推定手法は閉眼時間比率に基づいて覚醒度の低下を推定する。すなわち、第１覚醒度推定手法は、３０秒など或る程度長めの時間に占める閉眼時間比率に基づいて覚醒度の低下を推定する方法であるとする。また、第２覚醒度推定手法は、３秒など或る程度短めの時間に占める閉眼時間比率の推移に基づいて覚醒度の低下を推定する方法であるとする。

この場合、第１覚醒度推定手法では遅延させる時間は３０秒程度であることが望ましく、第２覚醒度推定手法では遅延させる時間は３秒程度であることが望ましい。このように、第２覚醒度推定手法の所定時間を第１覚醒度推定手法の所定時間よりも短くすることで、覚醒度推定手法ごとに遅延が短すぎず且つ長期過ぎないようにすることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、車両運転者を被検出者とする例を説明したが、これに限らず、他の乗り物の運転者を被検出者として撮像するようにしてもよい。また、覚醒度推定装置３０は、被撮像者の眼を追跡して被撮像者の視線移動を記録するテスト装置の類であってもよい。

本発明の実施形態に係るの覚醒度推定システムのハード構成図である。 図１に示した覚醒度推定装置の詳細構成図である。 誤検出の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。 開閉眼の誤判定の例を示す説明図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示している。 本実施形態に係る覚醒度推定装置の動作を示す説明図であり、（ａ）は状態遷移図であり、（ｂ）は本装置が「検出中」であるときの各部の動作の様子を示し、（ｃ）は本装置が「学習中」であるときの各部の動作の様子を示し、（ｄ）は本装置が「推定中」であるときの各部の動作の様子を示している。 本実施形態に係る覚醒度推定方法の詳細を示すフローチャートである。 図６に示した眼検出処理（ＳＴ２）の概要を示す説明図であり、眼検出部が入力する画像データの一例を示す説明図である。 図６に示した眼検出処理（ＳＴ２）の概要を示す説明図であり、図７に示す画像縦方向の画素列Ｙｂの濃度値を示すグラフである。 図６に示した眼検出処理（ＳＴ２）の概要を示す説明図であり、眼の検出の様子を示す説明図である。 図６に示した眼検出処理（ＳＴ２）の詳細を示すフローチャートである。 図６に示した眼検出処理（ＳＴ２）の詳細を示す説明図であり、（ａ）は片眼候補検出用の処理エリアを示しており、（ｂ）は検出された連続データ等を示し、（ｃ）は両眼確定用の処理エリアを示している。 眼位置追跡部の動作の概略を示す説明図であり、（ａ）は顔部位探査領域を示し、（ｂ）は反対側の眼の検出の様子を示している。 図６に示した眼追跡処理（ＳＴ４）の詳細を示すフローチャートである。 図６に示した開閉眼判定（ＳＴ７）の詳細を示すフローチャートである。 図６に示した開閉眼判定（ＳＴ７）の説明図であり、（ａ）は図１４のステップＳＴ４１の詳細を示し、（ｂ）は図１４のステップＳＴ４２の詳細を示している。 図１５に示したステップＳＴ４５の詳細を示す説明図である。 図１５に示したステップＳＴ４５の詳細を示す第２の説明図である。 図６に示したステップＳＴ８の詳細を示す説明図である。 図６に示した置き換え判断（ＳＴ１０）の詳細を示す説明図であり、（ａ）は置き換え要の場合を示し、（ｂ）は置き換え不要の場合を示している。 図６に示した遅延処理（ＳＴ１２）の詳細を示す説明図である。 図６に示した覚醒度推定処理（ＳＴ１３）の詳細を示す説明図である。 図６に示した覚醒度推定処理（ＳＴ１３）の詳細を示す第２の説明図である。 図６に示した遅延処理（ＳＴ１２）の詳細を示す第２の説明図であり、複数の覚醒度推定手法を実行するのときの遅延の様子を示している。 本実施形態に係る覚醒度推定装置による閉眼時間比率の算出結果を示す説明図である。 本実施形態に係る覚醒度推定装置による閉眼時間比率の算出結果と警報出力とを示す説明図である。

符号の説明

１…覚醒度推定システム
１０…カメラ
２０…照明装置
３０…覚醒度推定装置
３１…顔画像取得部
３２…眼検出部（眼検出手段）
３２ａ…眼位置検出部（第１検出手段）
３２ｂ…眼位置追跡部（第２検出手段）
３３…開閉眼判定部（開閉眼判定手段）
３３ａ…開閉眼学習部（閾値設定手段）
３３ｂ…開閉眼決定部（開閉眼決定手段）
３４…覚醒度推定部（覚醒度判定手段）
３５…開閉判定結果処理部（遅延出力手段）
３６…処理状態出力部
３７…覚醒度信号出力部

Claims (9)

1. 被検出者の顔を含む画像データを入力し、この画像から被検出者の眼を検出する眼検出手段と、
   前記眼検出手段により検出された眼について開閉眼を判定する開閉眼判定手段と、
   前記開閉眼判定手段により判定された開閉眼判定結果に基づいて、被検出者の覚醒度を推定する覚醒度推定手段と、を備え、
   前記眼検出手段は、検出した被検出者の眼が誤検出によるものかを判断し、
   前記覚醒度推定手段は、前記開閉眼判定手段により判定された開閉眼判定結果に加えて、前記眼検出手段による誤検出判断結果に基づいて、被検出者の覚醒度を推定し、
   前記眼検出手段は、検出した眼が誤検出によるものであると判断する条件と、その条件が成立した場合に誤検出と判断すべき画像数とを記憶し、前記条件の成立時には誤検出と判断すべき数の画像に基づく眼の開閉眼判定結果が誤りであるとの情報を、前記覚醒度推定手段に出力することを特徴とする覚醒度推定装置。
2. 前記眼検出手段は、
   被検出者の顔を含む画像全体から被検出者の眼を検出する第１検出手段と、
   被検出者の顔を含む画像の一部領域から被検出者の眼を検出する第２検出手段と、を有し、
   前記第２検出手段は、前記第１検出手段によって検出された眼の位置、又は、前回前記第２検出手段が検出した眼の位置のいずれかを含んで一部領域を設定する
   ことを特徴とする請求項１に記載の覚醒度推定装置。
3. 前記開閉眼判定手段は、
   前記眼検出手段により検出された眼の縦幅を計測して開閉眼を判断するための閾値を設定する閾値設定手段と、
   前記眼検出手段により検出された眼の縦幅が前記閾値設定手段により設定された閾値以上の場合に開眼と決定し、前記眼検出手段により検出された眼の縦幅が前記閾値未満の場合に閉眼と決定する開閉眼決定手段と、
   を有することを特徴とする請求項１又は請求項２のいずれかに記載の覚醒度推定装置。
4. 前記開閉眼判定手段により判定された開閉眼判定結果を入力し、所定時間遅延させて前記覚醒度推定手段に出力する遅延出力手段をさらに備え、
   前記眼検出手段は、前記遅延出力手段による所定時間の遅延の間に、検出した被検出者の眼が誤検出によるものかを判断する ことを特徴とする請求項１〜請求項３のいずれか１項に記載の覚醒度推定装置。
5. 前記遅延出力手段は、所定時間の遅延中に入力した時系列の開閉眼判定結果が、被検出者の眼の不適切な開閉であって予め記憶されるパターンに該当する場合、被検出者の眼の適切な開閉であって予め記憶されるパターンに置き換えることを特徴とする請求項４に記載の覚醒度推定装置。
6. 前記覚醒度推定手段は、複数の覚醒度推定手法に基づいて、覚醒度推定手法ごとに覚醒度を推定し、
   前記遅延出力手段は、覚醒度推定手法ごとに遅延させる所定時間を異ならせる
   ことを特徴とする請求項４又は請求項５のいずれかに記載の覚醒度推定装置。
7. 前記眼検出手段は、眼が検出できなかった場合、その旨の情報を前記覚醒度推定手段に出力し、
   前記覚醒度推定手段は、規定時間から、眼が検出できなかった時間及び眼が誤検出であった時間を除いた時間のうち、閉眼であった時間が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定し、又は、規定時間から、眼が検出できなかった時間を除いた時間のうち、閉眼であった時間が占める割合を閉眼時間比率とし、この閉眼時間比率から覚醒度を推定する
   ことを特徴とする請求項６に記載の覚醒度推定装置。
8. 前記覚醒度推定手段は、閉眼時間比率に基づいて覚醒度の低下を推定する第１覚醒度推定手法と、閉眼時間比率の推移に基づいて覚醒度の低下を推定する第２覚醒度推定手法とを有し、
   前記遅延出力手段は、第２覚醒度推定手法の所定時間を第１覚醒度推定手法の所定時間よりも短くする
   ことを特徴とする請求項７に記載の覚醒度推定装置。
9. 被検出者の顔を含む画像データを入力し、この画像から被検出者の眼を検出する眼検出ステップと、
   前記眼検出ステップにおいて検出された眼について開閉眼を判定する開閉眼判定ステップと、
   前記眼検出ステップにおいて検出された眼が誤検出によるものかを判断する誤検出判断ステップと、
   前記開閉眼判定ステップにおいて判定された開閉眼判定結果と、前記眼検出ステップにおける誤検出判断結果とに基づいて、被検出者の覚醒度を推定する覚醒度推定ステップとを有し、
   前記眼検出ステップは、検出した眼が誤検出によるものであると判断する条件と、その条件が成立した場合に誤検出と判断すべき画像数とを記憶し、前記条件の成立時には誤検出と判断すべき数の画像に基づく眼の開閉眼判定結果が誤りであるとの情報を、前記覚醒度推定ステップのために出力することを特徴とする覚醒度推定方法。