JP6338701B2 - 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム - Google Patents

Description

本発明は、瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラムに関する。実施形態は、瞬間的な眠りの警告デバイスを示す。

瞬間的な眠りの警告デバイスを含む運転者支援システムを、いくつかの量産車両において既に見出すことができる。それらの運転者支援システムは、例えば、ＣＡＮバスにおいて利用可能なデータ（例えば、ステアリング角、加速および制動挙動など）の統計的評価に基づく。換言すると、これまで量産車両において利用可能であった運転者支援システムは、運転者の状態についての、特に瞬間的な眠りに関して、間接的で不正確な結論しか出すことができないデータを評価するものである。

さらに、組み込みシステムを被検体に直接取り付けることが可能である。取り付ける典型的な場所は耳または手である。したがって、このシステムは、例えば、頭部の傾きまたは皮膚の伝導率に対して反応し、そこから瞬間的な眠りを認識することができる。上記で述べた運転者支援システムと同様に、当該システムも、評価されるデータが、運転者の状態について、特に瞬間的な眠りに関して、間接的で不正確な結論しか出すことができないといった欠点を有する。また、当該システムは、ユーザによる取り扱いが不便であるとともに装着が不快であり、潜在的なユーザによってほとんど受け入れられていない。

また、目に向けられ、ビデオ方式で瞼の閉じによって瞬間的な眠りを認識することが可能な一体化されたカメラを有する眼鏡を使用することが可能である。しかし、これらのシステムも、ユーザによる取り扱いが不便であるとともに装着が不快であり、潜在的なユーザによってほとんど受け入れられていない。

さらに既知の、カメラ方式の瞬間的な居眠り警告装置は、例えば、瞼の閉じを判断するために、既定のしきい値を用いる。しかし、それらの装置は、既定の基準値が瞬間的な眠りの判断に用いられるため、信頼性が高くない。

したがって、本発明の目的は、瞬間的な眠りの場合における改善された警告の概念を提供することである。

この目的は、独立項の主題によって達成される。さらなる発明の発展形態が従属項において規定される。

実施形態は、瞬間的な眠りを検出するデバイスを示す。当該デバイスは、被検体および当該被検体の目のエリアのビデオ方式でモニタリングするビデオ記録デバイスを備え、ビデオ記録デバイスは、被検体および目のエリアの一連の写真を記録するとともに、一連の写真をしきい値決定デバイスに出力するように構成されている。しきい値決定デバイスは、被検体に個々に適合される１個または複数個のしきい値を一連の写真から求めるように構成されている。さらに、当該デバイスは、１個または複数個の個々に適合されるしきい値に基づいて、被検体が瞬間的に眠りに落ちたか否かを決定するように構成されているしきい値評価器を含み；１個または複数個の個々に適合されるしきい値は、目の開きの実際の時間曲線内でしきい値を通過したか否かであり、被検体が瞬間的に眠りに落ちたか否かを確立するために使用される。通過は、しきい値への到達、しきい値を上回ること、および／または、しきい値を下回ることを意味する。したがって、通過は、例えば、第１のしきい値（瞼の閉じの程度）に到達するかまたは下回ること、および、第２のしきい値（第１のしきい値を下回る期間、例えば、瞼が閉じていると認識される期間）に到達するかまたは上回ることを判断するのに有用である。一連の写真は、さらにリアルタイムに処理することができる。

本発明は、特に被検体に関して、瞬間的な眠りが生じた事実を示す良好なインジケータとなる瞼の閉じを直接的に測定することによって、瞬間的な眠りの非接触で検出可能であるという発見に基づく。瞼の閉じ（または目の開き）は、このビデオ式の処理において、予め定められたモデルによって判断され、当該モデルは、被検体に個々に適合される。この目的のために、モニタリングされる被検体に個々に適合される頭部の基本的なモデルを使用することができる。瞬間的な眠りの直接的な特徴として瞼の閉じを測定することは、結果として、頭部の傾きまたは皮膚の伝導率のような任意の間接的な特徴を適用する必要のあるエラーが発生しやすいアルゴリズムに比べて、間接的な特徴を測定するうえで優れている。さらに、簡便性および受け入れに関して、非接触式の測定は、接触を伴う測定よりも明らかに優れている。車内に取り付けられるデバイスは、例えば、さらなる適合（例えばユーザの側における校正）を必要としないため、モニタリングされる被検体は、自身がカメラによって記録されていることに全く気が付かない。これは、例えば特定の眼鏡を用いる場合には当てはまらない。眼鏡は、旅程を開始する前に装着されなければならず、被検体に、装着している期間、異なる感じを恒久的に与える。この心理学的な効果は、ユーザの満足感に実質的に寄与する。

観察されるいずれかの瞼の閉じから瞬間的な眠りを検出するために（および／または、モデルを被検体に個々に適合させるために）用いられる基準および／またはしきい値は、被検体のモニタリングに基づいて求めることができ、ひいては個々の被検体に適合することができる。ここでの利点は、被検体の解剖学的構造および生理機能を考慮し、その結果として、基準および／またはしきい値に適用される一般的な標準値を使用するよりもかなり良好な方法で瞬間的な眠りを検出することができる。被検体の解剖学的構造および生理機能に個々に適合される基準は、例えば大勢の被検体にわたって統計的に求められる一般的な標準値と比較して、個々の被検体に関して改善された有効性を有する。この改善された有効性は、瞬間的な眠りの場合に、個々の警告の信頼性を大幅に高める。

実施形態は、一方の目の瞼の閉じである第１の個々に適合されるしきい値を示し、当該瞼の閉じは、開いた目を表す第１の個々に決めた基準値と、閉じた目を表す第２の個々に求めた基準値との間にあり、このしきい値は、開いた目から閉じた目への遷移を特徴付け、第２の個々に求めたしきい値は、瞼の閉じの持続時間に関連する。

実施形態は、第１のしきい値を通過したことを検出するとともに、上記通過の持続時間を求めるように構成されているしきい値評価器をさらに示し；瞬間的な眠りは、上記持続時間が第２のしきい値を通過したときに確定される。それによると、瞬間的な眠りは、閉じた瞼が認識されたことを意味する、第１のしきい値（例えば、ヒステリシスを考慮しながら）を下回るかまたは到達するとき、および、瞼が閉じている時間期間が第２のしきい値に到達するかまたは上回るときに認識される。

さらなるパラメータおよび／または質の尺度に関連する、さらなる個々に適合されるしきい値が、個々に適合されるしきい値を評価する上で、モニタリングされる被検体が瞬間的に眠りに落ちたことの基準として求められ、考慮され得る。そのようなしきい値の使用は、例えば、独特のパターンもしくはポイントの位置、向きまたは量のようなパラメータが求められるという点で、瞬間的な眠りの認識を容易にすることができる。独特のパターンまたはポイントは、例えば、被検体の頭部、顔、目、虹彩、瞳孔または瞳孔中心である。個々に適合されるしきい値のさらなる例は、例えば上記で述べた個々に適合されるしきい値（瞼の閉じの程度および瞼の閉じの持続時間）とともに、個々にまたは任意の組み合わせで使用することができる。また、個々に適合されるしきい値のさらなる例は、上記で述べた個々に適合されるしきい値（瞼の閉じの程度および瞼の閉じの持続時間）に取って代わることができる。

さらなる実施形態によると、しきい値決定デバイスは、生じる可能性があるあらゆるまばたきを評価することによって、個々に求められる基準値および第１またはいくつかの個々に求められるしきい値を適時に連続的に適合するように構成されている。これは、例えば，瞬きする間の、瞼の閉じの持続時間が、例えば疲労または夕暮れ開始に起因して、モニタリング期間中に変化する可能性があるので、有利である。したがって、しきい値決定デバイスは、目の開きの時間曲線中に生じるパターンによって、ウインク、および／または、意図的なもしくは故意ではない自然発生的な瞬きを判断することができ、上記パターンは、第１の基準値の方向から、しきい値を下回ること、および、第１の基準値の方向に予め定められた時間期間内に戻ることを含む。加えて、しきい値決定デバイスは、周囲の明るさの変化に基づいて、１つまたは複数の個々に適合されるしきい値を、変化した周囲の状況に適合させるように構成することができる。これは、その結果、例えばトンネル内への走行または太陽光によって突然目がくらむことに起因する、急速に変化する瞼の閉じの特徴を、個々に適合されるしきい値を求める上で考慮することができるため、有利である。

実施形態は、１つまたは複数の個々に適合されるしきい値を、運転者の解剖学的構造および生理機能に適合させるように構成されているしきい値決定デバイスをさらに示す。したがって、例えば各被検体について個々に求められるしきい値を、瞬間的な眠りを判断する上で考慮することができる。デバイスが、スイッチオンにされた後に、被検体の任意の個々の基準値またはしきい値を求めない限り、予め定められたより一般的な値も使用することができ、それによって、デバイスはそれにもかかわらず、この時間の間に既に動作することが可能である。

さらに、第１の個々に適合されるしきい値はヒステリシスを含むことができ、それによると、瞼の閉じは、開いた目から閉じた目への遷移中は比較的小さい目の開きの角度において規定され、閉じた目から開いた目への遷移中は比較的大きい目の開きの角度において規定される。

さらなる実施形態は、頭部姿勢を判断するしきい値決定デバイスを示し、この場合、個々に適合されるしきい値は、判断された頭部姿勢によって適合される。これは、有利には、デバイスに見える目の表面積が、頭部が回転すると変化する。したがって、例えば頭部が前方に傾くとより小さく見えるので、様々な頭部姿勢に匹敵する、連続的に求められる目の開きの曲線を定量的にレンダリングするために使用することができる。さらに、しきい値決定デバイスは、各目の１つまたは複数の個々に適合されるしきい値を別個に求めるように構成することができ、それによって、例えば、デバイスによってより容易に検出することができる目が、瞬間的な眠りの認識に用いられる。また、しきい値決定デバイスは、頭部姿勢に基づいて、例えば、両目がデバイスに容易に見える場合には、上記被検体の両目に基づいて瞼の閉じを判断するか、または、例えば、片方の目のみがデバイスに見える場合には、上記被検体の片方の目に基づいて瞼の閉じを判断するように構成することができる。

さらなる実施形態は、頭部の三次元モデルに基づいて被検体の頭部姿勢の位置を計算する３Ｄモデラーを含むデバイスを記載する。これは、目が位置する規定されたエリアを求めるのに有利である。これは、検出エラー数を低減し、結果として検出品質の改善を可能にする。加えて、瞼の閉じを検出することを支援して頭部姿勢を考慮することができる。カメラに対する頭部の位置に応じて、開いた目および／または閉じた目の基準値を補正することができる。

さらなる実施形態によると、３Ｄモデラーは、例えば、シリンダに基づいて、頭部の三次元モデルの概側値を計算することができ、特徴追跡によって頭部を追跡することができる。当該概側値は、目のエリアをさらに求めるために非常に良好な測定を提供しながらも、頭部姿勢を検出するための演算負荷を低減する。これは、頭部姿勢を「リアルタイムで」分析すること（追跡すること）を可能にする。

実施形態は、第２の個々に適合されるしきい値が、ウインクの持続時間よりも長い持続時間を示すことをさらに示す。加えて、第２の個々に適合されるしきい値は、被検体が例えば車両とともに移動しているその時点の速度に適合することができる。被検体が移動しているその時点の速度を求めるために、デバイスは、例えば、被検体および／または車両の速度に関して結論を出すために用いることが可能なデバイスの進行速度を捕捉するように構成されているＧＰＳ受信器および／または加速度センサを有することができる。しきい値決定デバイス２０は、１つまたは複数の個々に適合されるしきい値８０および８５を進行速度に適合させるようにさらに構成されている。これは、被検体が車両内に座っているが、例えば、車両が移動していないときの、瞬間的な眠りの認識および／または瞬間的な眠りの警告のスイッチオフを可能にする。さらなる実施形態では、デバイスは、入力信号として進行速度も受信することができる。

さらなる実施形態によると、デバイスは、被検体に見える波長範囲を上回る放射線を照射するように構成されている照明源を備え、ビデオ記録デバイスは、当該照射を検出するように構成されている。これは、被検体が照明に気が付くことなく、また照明によって妨害されることなく、（外部の光の状況が変化する場合であっても）被検体を均一に照明するのに有利である。さらに、デバイスは、前記照明源からある距離を置いて配置されるさらなる照明源を備え、ビデオ記録デバイスは、撮影される写真の組み合わせを生成するように構成されている。この場合、被検体は、被検体の目のエリアにおいて生じる反射を回避するかまたは低減するように、照明源およびさらなる照明源によって目のエリアが連続的に照明させることができる。この構成において有利なのは、画像品位、およびその結果である瞬間的な眠りの判断の精度における改善であり、この理由は、反射を回避または低減しなければ、眼鏡または瞳孔において生じる反射が、例えば、上記被検体の片目または両目を不明瞭にする可能性があり、ひいては瞬間的な眠りの判断をより難しくする可能性があるためである。

さらなる実施形態によると、デバイスは、一連の写真に基づいて目の開きのパラメータを求めるように構成されている目の開き検出器を含む。実施形態は、目の検出から、パラメータに基づいて目の開き（例えば、ビデオ記録デバイスまたはカメラからの距離に対して正規化される目の開き）を判断するように構成されている目の開き検出器を示す。パラメータは、例えば、目の中心または目のエッジエリアにおける点であるものとすることができる。目が開く程度は、目の限られた領域内で既に求められているので、その判断は、より大きいサーチエリア、すなわち、より大きいＲＯＩ（関心領域）内で行われる場合より正確であり、エラーになりにくい。

実施形態は、目のテンプレートまたはモデルを階調写真、または、角部の特徴もしくはアーチ特徴などの他の好適な特徴に適合させることによって、目の開きの角度を求めることをさらに記載する。例えば、互いに対する特定の配置および／または距離における階調の組み合わせに基づき得る。目のテンプレートは、目を開くプロセスの部分を記述するために用いることができる。さらなる実施形態は、目のテンプレートによって目の開きの角度を求めることを示し、目のテンプレートは、目の中心および顔の幅に基づく水平射影関数を用いる推定によって測定される。これに加えて、実施形態は、曲線近似によって目の開きのプロセスを求めることを示す。曲線近似は、目の輪郭を描写する少なくとも４つのパラメータ間を補間することができ、ひいては目のテンプレートを検出された目に適合させることができる。目の開きのプロセスを求める記載される方法は、基準点（＝目印）として、目の検出からのパラメータを用いる。パラメータは、テンプレートのサイズおよび形状に影響を与え、ひいては目の開きおよび／または瞼の閉じの程度を求めるための基礎を形成する。

一実施形態によると、デバイスは持ち運び可能である。これは、デバイスを例えば車内に固定して設置することなく、デバイスの可動性の使用を可能にする。

さらに、実施形態は、コンピュータプログラムとしてインプリメントすることができる、瞬間的な眠りを検出する方法を示す。

添付の図面を参照して、本願の好ましい実施形態を以下でより詳細に説明する。

瞬間的な眠りを検出するデバイスを示す概略ブロック図である。 瞬間的な眠りを検出するために個々に求められる基準値および個々に適合されるしきい値を伴う目の開きの曲線の略図である。 図１とは反してより詳細な機能ブロックを含む、瞬間的な眠りを検出するデバイスの概略ブロック図である。 被検体に方向付けられるビデオ記録デバイスの略図である。 瞬間的な眠りを検出するデバイスの例示的な配置を伴う、車両の内部の略図である。 瞬間的な眠りを検出する方法の概略的なフローチャートである。

以下の図面の記載において、同一であるかまたは同一の動作をする構成要素には、同一の参照符号を付すとともに、これらの参照符号は、異なる実施形態において置き替え可能である。

被検体（例えば車両の運転者）が疲れ過ぎる結果として、注意力が低下し、被検体が瞬間的に眠りに落ちる可能性がある。本明細書では、瞬間的な眠りは、生じている短時間の眠りの同義語として用いられ、例えばマイクロ睡眠も含む。これは、ドイツの自動車道路において、死亡事故の約２５％を引き起こしている。現在、瞬間的な眠りの場合に信頼性のある警告を提供するシステムは市場において知られていない。したがって、瞬間的な眠りを検出するデバイスが以下で提示され、このデバイスは、被検体における瞼の閉じを正確かつ確実に検出することで、そこから被検体の瞬間的な眠りを結論付け、このデバイスは、被検体における瞬間的な眠りを検出し、瞬間的な眠りが生じているときに警告を出力し、瞬間的な眠りの警告を提供するシステムの容易な使用性を可能にする。

全体的なシステムは、モニタリングされる被検体の側における瞬間的な眠りを検出するための個々に適合されるしきい値を、被検体の顔が撮影されるカメラ写真から求めることができ、瞬間的な眠りが生じているときに被検体に警告する。より分かりやすくするために、いくつかの実施形態では運転者について言及する。しかしながら、本発明の用途の記載およびタイプは、類推によって、例えば、航空交通管制官による航空エリアのモニタリングである、さらなる用途の分野にも関連し、この場合、当該システムは、航空交通管制官の側における瞬間的な眠りの発生した場合に警告を発するために用いることができる。

図１は、瞬間的な眠りを検出するデバイス５の概略ブロック図を示している。瞬間的な眠りを検出するデバイス５は、ビデオ記録デバイス１０、しきい値決定デバイス２０およびしきい値評価器２５を備える。被検体１５および当該被検体１５の目のエリアのビデオ式のモニタリング用のビデオ記録デバイス１０は、被検体１５および目のエリアの一連の写真を記録し、一連の写真をしきい値決定デバイス２０に出力するように構成されている。しきい値決定デバイス２０は、被検体に個々に適合される１つまたは複数のしきい値８０および８５を一連の写真から求めるように構成されている。しきい値評価器２５は、個々に適合されるしきい値に基づいて、上記被検体が瞬間的に眠りに落ちたか否かを決定するようにさらに構成されており、個々に適合されるしきい値は、目の開きの実際の時間曲線内で、いずれかのしきい値を通過したか否か（例えば上回ったおよび／または下回った）であり、被検体が瞬間的に眠りに落ちたか否かを確立するのに用いられる。さらに、しきい値評価器２５は、上記の記載に従って瞬間的な眠りを確立するように構成することができる。

したがって、しきい値決定デバイス２０は、ユーザまたは被検体１５および周囲の影響に個々に適合される瞬間的な眠りを検出するための時間変化するしきい値を、一連の写真から求めるように構成されている。周囲の影響は、特に、例えば太陽、影、曇り空、夜、または、近づく車両のまぶしいヘッドライトなどの変化する光の状況を意味するものと理解される。個々に適合されるしきい値を求める上で周囲の影響を考慮するために、しきい値決定デバイスは、周囲の明るさの変化に基づいて、個々に適合されるしきい値を、変化した周囲の状況に適合させるように構成されている。しきい値は、１つのしきい値が、どちらの目の開きが閉じた目とみなされるかを規定し、他のしきい値が、確立される瞬間的な眠りに関して目が閉じているものと認識されなければならない時間を規定するという点で、瞬間的な眠りに関する「目の開きの時間曲線」特徴を描写することが意図される。しきい値については、図２を参照して以下でより詳細に説明する。

個々に適合されるしきい値８０および８５は、例えば、被検体１５に特有の解剖学的または生理学的な特徴を考慮することができる。個々に適合されるしきい値８０および８５から、しきい値評価器２５は、瞬間的な眠りの開始のインジケータとして、瞼の閉じが生じていることを判断することができる。これについては以下でより詳細に説明する。

デバイス５は、ＧＰＳ受信器４５および／または加速度センサ５０を任意に備えることができる。センサは、被検体および／または車両の速度に関して結論を出すための基礎として用いることが可能なデバイス５の進行速度を感知することができる。しきい値決定デバイス２０は、個々に適合されるしきい値８０および８５を進行速度に適合させるようにさらに構成されている。例えば、車両での使用の場合、車両の速度および／または走行状態（移動／静止）を認識することができ、運転者の瞬間的な眠りの警告は好ましくは、移動している車両、または概して移動している運転者において必要とされるため、瞬間的な眠りの警告をスイッチオフすることができる。

さらなる実施形態は、被検体１５に見える波長領域を上回る放射線を照射する照明源５５を有するデバイス５を示し、ビデオ記録デバイス１０は、放射線を検出するように構成されている。したがって、被検体１５は、目がくらむかまたは妨害されることなく、外部の光の状況とは独立して、例えば完全な暗闇においても照明される。

デバイス５は、照明源５５からある距離を置いて配置されるさらなる照明源６０も任意に備えることができる。したがって、被検体１５は、異なる角度にある２つの照明源５５および６０によって放射線を照射される。ビデオ記録デバイス１０は、被検体の目のエリアの範囲においていかなる反射も回避または低減するように、被検体１５が照明源５５およびさらなる照明源６０によって目のエリアのその後の照射により照明され、取得された写真の組み合わせを求めるように構成されている。

図２は、瞬間的な眠りを検出するための個々に求められる基準値７０および７５ならびに個々に適合されるしきい値８０および８５とともに、目の開きの曲線６５の略図を示している。目の開きは、絶対的な目の開き、または、例えばビデオ記録デバイス１０からの目の距離に対して正規化される目の開きであるものとすることができる。第１の個々に適合されるしきい値８０は、片目の瞼の閉じを判断するのに用いられ、瞼の閉じは、開いた目を描写する第１の個々に求められる基準値７０と、閉じた目を描写する第２の個々に求められる基準値７５との間にあるものと規定され、しきい値８０は、開いた目から閉じた目（瞼の閉じ）への遷移を特徴付ける。換言すると、瞼の閉じは、ユーザに個々に適合され、周囲の影響に起因し、目を閉じているものと評価する、目の開きの特定の程度を下回るときに確立される。

第２の個々に適合されるしきい値８５は、瞼の閉じの持続時間に関連する。個々の瞼が閉じる時間は、当該瞼が閉じる時間を上回る場合に、瞼の閉じを瞬間的な眠りとして評価するように判断される。瞬間的な眠りは、評価に用いられる目の双方の個々に適合されるしきい値８０および８５を下回る（目の開き）かまたは上回る（時間しきい値）ときに、確立される。したがって、しきい値決定デバイス２０は、目の開きの時間曲線６５内のパターンによって素早い瞬き（以下、適宜に「瞬き」と称す）および／または自然な瞬き（以下、適宜に「ウインク」と称す）を判断するように構成されており；第１の個々に求められる基準値７０の方向から来るパターンは、第１の個々に適合されるしきい値８０を下回り、所定の時間Δｔ以内に第１の基準値７０の方向に戻る。ビデオ記録デバイス１０による目の検出可能性に応じて、片目または両目が瞬間的な眠りを判断するのに用いられる。これについては以下でより詳細に説明する。

さらなるパラメータおよび／または品質尺度に関連するさらなる個々に適合されるしきい値を求め、個々に適合されるしきい値を評価する上で、モニタリングされる被検体が瞬間的に眠りに落ちたことの基準として考慮することができる。そのようなしきい値の使用は、独特のパターンまたはポイントの位置、向きまたは質などのパラメータが求められるという点で、例えば瞬間的な眠りの認識を容易にすることができる。独特のパターンまたはポイントは、例えば、被検体の頭部、顔、目、虹彩、瞳孔または瞳孔中心である。個々に適合されるしきい値のさらなる例は、個々に、または、例えば上記で述べた個々に適合されるしきい値（瞼の閉じの程度および瞼の閉じの持続時間）とも、任意の組み合わせで使用することができる。また、個々に適合されるしきい値のさらなる例は、上記で述べた個々に適合されるしきい値（瞼の閉じの程度および瞼の閉じの持続時間）に取って代わることができる。

第１の個々に適合されるしきい値８０を求めるために、目の開きを測定し、瞼の閉じを検出する。これは、各目について別個に行われる。目の開きを測定する方法については、図３を参照して記載する。その結果は、絶対値または正規化された値で表される、目の開きの時間曲線６５である（図２を参照のこと）。正規化によって、運転者とデバイスとの間の種々の距離の影響を排除することができる。例えば、カメラ１０からの被検体１５のモニタリングされる目の距離を画素によって正規化する。

上側基準値とも称され、開いた目を表す第１の個々に求められる基準値７０、および、下側基準値とも称され、閉じた目を表す第２の個々に求められる基準値７５は、何らかのウインクおよび／または瞬きを含む目の開きの時間曲線６５から求めることができる。さらに、第１の個々に適合されるしきい値８０は、個々に求められる基準値７０および７５によって制限される帯域内で求めることができる。現在の目の開きが第１の個々に適合されるしきい値よりも小さい場合、瞼は閉じているものとみなされる（瞼の閉じ）。これによると、しきい値決定デバイスは、個々に適合されるしきい値を、運転者の解剖学的構造および生理機能に適合させるように構成されている。加えて、個々に求められる基準値７０および７５ならびに個々に求められるしきい値８０および８５は、生じる何らかの瞬きを評価することによって、しきい値決定デバイス２０の側において適時に連続的に適合される。

さらに、第１の個々に適合されるしきい値８０は、開いた目から閉じた目への遷移中は比較的小さい目の開きの角度９０ｂにおいて瞼の閉じを規定するとともに、閉じた目から開いた目への遷移中は比較的大きい目の開きの角度９０ａにおいて瞼の閉じを規定するように構成されているヒステリシス９０ａ、９０ｂを含むことができる。

被検体１５および周囲の状況に個々に応じて、開いた目および／または閉じた目についての個々に求められる基準値７０および７５は、モニタリングされる被検体の瞬きを評価することによって絶えず求められる。この瞬きは、例えば、自然的または不用意に発生する。このように、被検体１５の個々の解剖学的および生理学的な特徴が考慮されるので有利である。さらに、この方法は、モニタリングされる被検体１５に対する周囲の影響、例えば眩しい光によって生じる何らかの外乱に対して対抗性がある。例えば、この理由は、しきい値および／または基準値が動的に適合され、ひいては変化している可能性がある任意の状況に適合するためである。上記評価は、自然発生的な瞬きまたはウインクを認識することに基づいて行うことができ、その「開いた」状態および「閉じた」状態は、個々に開いた目および／または閉じた目であるものとみなされる。

続いて、ウインクまたは瞬きを認識する方法を例として説明する。しかしながら、さらなる方法も使用することができる。一回の瞬きプロセスが終了すると、特定の範囲内で可変であるパターンとして、目の開きの時間曲線６５における信号形状によって認識される。当該パターンは、目の開きの低減に続くおおよそ７０の初期値への目の開きの拡大までを含み、これらはともに、密接に連続して生じる。評価対象の容量を制限するためのフィルタリングを可能にする上記波形の最大値および最小値は、上側基準値７０および下側基準値７５として用いられる。

さらなる実施形態によると、しきい値決定デバイスは、個々に「開いた」目および個々に「閉じた」目のそれぞれについて個々の基準値を求めることができる。これらの２つの個々の基準値は、個々に「開く」または「閉じた」ことを示す目を表す。当該基準値を求めるために、これらの２つの基準値の個々の傾向を記録する。すなわち、被検体１５の個々に「開いた」（第１の個々に適合される基準値７０に対応する）、および、上記個々に「閉じた」（第２の個々に求められる基準値７５に対応する）が正確にいくらに達するのかを連続的に捕捉し、第１の個々のしきい値８０は、双方の個々の基準値間にあるように規定される（瞼の閉じ）。換言すると、閉じた瞼は、個々に「開いている」かまたは「閉じている」ことによってパーセンテージで規定される。

個々の瞬間的な眠りは、上記個々のしきい値から求めることができる。前もって求められる適応性を有するしきい値８０、および、重要であるものとして評価されるその目の開きの程度は、ヒステリシス９０ａ、９０ｂによって補足される。しきい値は、個々に「開いた」目および「閉じた」目について個々の基準値に関連するので、適応性を有する。この原理については、図３を参照してより詳細に説明する。

第１の個々に適合されるしきい値８０を微調整するために、瞼が閉じる速さも考慮することができる。当該瞼が閉じる速さは、例えば、第１の個々に求められる基準値７０を開始点として当該開始点から第２の個々に求められる基準値７５に到達するまでの持続時間によって求めることができる。個々に適合されるしきい値８０が上側基準値７０と下側基準値７５との間の中間に位置する場合、例えば、瞼が閉じる速さは、個々に適合されるしきい値８０が上方方向に（基準値７０に向かって）または下方方向に（基準値７５に向かって）補正されるという点で利用することができる。

さらなる実施形態によると、基準値７０および７５も微調整される。これは、頭部姿勢、すなわち、いわゆる頭部姿勢の追跡によって求めることができる、頭部の位置および／または空間的位置ならびに向きを考慮しながら行われる。これによると、しきい値決定デバイス２０は、求められた頭部姿勢によって、個々に適合されるしきい値８０を適合するとともに、頭部姿勢に応じて被検体１５の片目または両目によって瞼の閉じを判断するように構成されている。特に、第１の個々に求められる基準値は、例えば、瞼の曲率に起因して目の開きが最大であるときに目の中央がビデオ記録デバイス１０の視野から隠れている場合、撮影された目の写真で変化した視点に起因して不正確に求められる可能性がある。したがって、上記頭部姿勢の追跡によって、被検体１５の目つきがビデオ記録デバイス１０に正面に方向付けられているか否か、または、基準値７０および７５の補正を代替的に行わなければならないか否かを判断することができる。これによると、頭部姿勢を、瞬間的な眠りの認識の支援で用いることができ、ひいては目の評価を改善するために任意選択的に使用することができる。

記録されたビデオデータの評価に基づいて、３Ｄ頭部モデルを、モニタリングされる頭部の形状、位置および向きに適合させることができ、形状、位置および向きの情報に基づいて、しきい値を個々に適合することができる。これによると、デバイス５は、個々に適合されるしきい値の評価に基づいて被検体の頭部の三次元モデルを計算する３Ｄモデラーを含むことができる。簡潔にするために、３Ｄモデラーは、例えばシリンダに基づいて、頭部の三次元モデルの形状、位置および向を簡略化された表現で用いることによって計算を行うこともできる。頭部姿勢の追跡については、図３を参照してより詳細に記載する。

両目が焦点内にあると評価することができると仮定すると、第２の個々に適合されるしきい値８５、すなわち、瞼の閉じの時間期間Δｔが求められ、両目に一緒に用いられる。しきい値８５は、瞼の閉じの持続時間の個々に求められる時間の最大値に基づいて動的に求められ；瞼の閉じの持続時間は、例えば、自然発生的に生じる瞬きもしくはウインク（瞼の閉じおよび直後の瞼の開きによって特徴付けられる）の持続時間の倍数によって、または、文献値に基づいて求めることができる。文献値は、値を非現実的に高く規定しいないので基準点として利用可能であり、または、個々の瞼が閉じる時間がまだ求められていない場合の初期化値として利用可能である。任意選択的に、第２の個々に適合されるしきい値８５は、例えば車内の被検体の移動速度にも依存することができる。例えば、比較的長く瞼が閉じている時間は、低速移動時よりも高速移動時においてより危険である。この理由は、同じ時間内で、目を閉じた状態で長い距離を移動されるためである。ＧＰＳ受信器４５および／または加速度センサ５０のデータはこの目的のために利用することができる。さらに、第２の個々に適合されるしきい値８５の時間の最小値は、生じている瞬きおよび／またはウインクの時間期間に適合することができる。

第２の個々に適合されるしきい値８５は、帯域内で、上記で記載した最大値と最小値との間にあるように示されており、瞬間的な眠りの警告に関連付けて設定される感度に応じて調整することができる。（同じ時点で低い特異度を有する）高レベルの感度を仮定すると、しきい値は、時間の最小値に近く、（同じ時点で比較的高い特異度を有する）低い感度を仮定すると、しきい値は時間の最高値に近い。調整は、必要に応じて、「高い感度」から「低い感度」への範囲で選択することができる。例えば、被検体が高速で移動している場合には、高レベルの感度が必要とされる。

例として、図２は、個々に求められる基準値７０および７５の範囲内の目の開きの曲線６５を示している。適応性を有するしきい値８０は、個々の基準値間の中間に位置すると規定され、被検体１５の瞼の閉じを判断し；簡単に言えば、目の開きの曲線がしきい値８０を下回るとき、瞼が閉じているとされる。しきい値８０を中心にして、ヒステリシスの範囲が、限度９０ａと９０ｂとの間で規定され、このヒステリシス範囲は、瞼の閉じの開始時点および終了時点であり、瞼の閉じの持続時間を決定する。限度９０ｂを下回る場合、目は閉じているものとみなされ、限度９０ａを上回る場合、目は開いているものと評価される。瞼の閉じの持続時間が規定されたしきい値８５（Δｔ）を上回る場合、瞬間的な眠りが生じており、そうでなければ、生じているものは、ウインクおよび／または自然発生的に生じる瞼の閉じである。

換言すると、個々に適合されるしきい値８０および８５は、瞬間的な眠りを検出するために実際の目の開きの曲線と比較されるパターンを画定し、このパターンと実際の目の開きの曲線（上回るおよび／または下回るしきい値に対応する）とが一致する場合に、瞬間的な眠りを検出するようにする。図２に関して、第２のヒステリシス限界９０ｂを下回る場合、タイマは、第２の適合されるしきい値８５を求めるため判定処理を開始する。当該タイマは、第１のヒステリシス限界９０ａを再び上回るような時点まで稼働する。例示的な時間期間Δｔ_１９２およびΔｔ_３９４によって示されているように、ヒステリシスしきい値を（最初に）下回ることと（その後で）上回ることとの間の持続時間が、第２のしきい値８５（Δｔ）よりも短い場合、生じているのは、自然発生的に生じる瞼の閉じまたはウインクである。下回ることおよび／または上回ることの持続時間が第２の個々に適合されるしきい値８５以上である場合、生じているのは瞬間的な眠りである。これは、持続時間Δｔ_２９３を有する例示的な瞼の閉じによって示されている。

換言すると、瞬間的な眠りは、（簡単に言えば）双方の瞼が規定された時間期間Δｔにわたって規定の程度ｘで閉じられる場合に生じる。頭部の位置に応じて、例えば、両目のうちの片方のみがビデオ記録デバイス１０によって捕捉される場合、この片目に基づく評価も可能である。さらに、瞬間的な眠りの検出は、評価が開始するとすぐに利用可能であるものとする。このために、比較的に高い程度の不確実性および／または高い程度の感度を受け入れることができる。この理由は、測定の開始時に利用可能なモニタリングされる被検体についての個々のデータがほとんどなく、或は全くないためである。

記載した検出用のしきい値８０および８５ならびに基準値７０および７５を求めるために、個人の解剖学的および生理学的な特徴（例えば個々の解剖学的な目の開き）、ならびに、瞼の閉じ、頭部の傾きなどのような個人のパラメータが用いられる。

さらに、評価のために２つの目のうちのどちらが用いられるか、または、可能性としては両目が用いられるか否かを規定するために３Ｄ頭部姿勢を用いることができる。瞬間的な眠りを検出するために、カメラに対する頭部の位置および捩れに応じて、２つの目のうちのどちらを、また可能性としては両目を用いるか否かについて決定がなされる。頭部姿勢の追跡において、カメラによって頭部の前方を十分に捉える場合、両目が評価に用いられる。

図３は、瞬間的な眠りを検出するデバイス５の概略ブロック図を示しており、図１とは反してより詳細な機能ブロックを含む。瞬間的な眠りを検出するデバイス５は、被検体１５、および、当該被検体１５の目のエリアのビデオ式のモニタリングのためのビデオ記録デバイス１０を含む。さらに、瞬間的な眠りを検出するデバイス５は、照明源５５、および、任意選択的にはさらなる機能ブロック１０５〜１４０を任意選択的に含む。実施態様に応じて、機能ブロックを、しきい値決定デバイス２０、しきい値評価器２５または別個の計算デバイス（図示せず）に関連付けることができる。実施形態によると、デバイス５は、被検体１５に対して非接触である（図４を参照のこと）。非接触とは、デバイス５が意図された通りに使用されるときに、そのいずれの部分も被検体１５に接触しないことを意味する。

ビデオ記録デバイス１０は、被検体１５が瞬間的に眠りに落ちたか否かを決定するように、被検体１５、および、目のエリアの一連の写真を記録するとともに、一連の写真を機能ブロックに出力するように構成されている。

ビデオ記録デバイス１０は、被検体１５、または、少なくとも被検体１５の顔を記録するとともに、撮影された一連の写真を機能ブロック１０５〜１４０に出力するようにさらに構成されている。上記一連の写真に基づいて、機能ブロックは、写真の認識および処理ステップを実行する。

実施形態は、一連の写真における反射の距離１０５を示している。反射は、例えば、眼鏡または瞳孔および／もしくは目（特に角膜）において生じる可能性がある。反射は、アルゴリズムにより、反射を検出してセグメント化するとともに、補間または可能であれば再構成によって写真から除去することができる。さらに、反射は、２つの異なる位置から、例えば赤外線スペクトルの光を交互に被検体に照明することにより回避することができる。したがって、照射の変化に起因して写真の異なる位置で生じている反射を、連続する２フレームの写真を互いに利用して演算処理することによって、当該反射を低減させることができる。さらなる実施形態は、上記後者のアルゴリズムの変更を記載する。この場合も同様に、２つの光源、例えば赤外線ＬＥＤ（ＩＲ−ＬＥＤ）が、照明のために交互に用いられ、反射は連続的に検出され、この反射は、補正および／または補間される必要がない。反射が、関心領域（ＲＯＩ）内、例えば目の上に位置する場合、他の存在する光源またはＩＲ−ＬＥＤを用いることができる。このように、光源間で絶えず切り換えることができ、各場合において最も適した照明を選択することができる。

実施形態は、顔の認識１１５を示している。顔の認識１１５は、顔の二次元（２Ｄ）位置およびサイズならびに目（または他の顔の構成要素）の位置を求めるように、例えばカスケード検出器によって、顔、もしくは、目、鼻、口、耳などの顔の構成要素、および／または、顔内もしくは顔の輪郭における大まかなポイント（例えば目印）の位置を特定することができる。例えばＶｉｏｌａ／Ｊｏｎｅｓ［２］によるカスケード検出器は、大まかな特徴を評価するように、異なるレベルの細部および／またはトレーニングレベルを有する、異なる信号処理アルゴリズムおよび／または同一の信号処理アルゴリズムを含むことができる。例えば、Ｖｉｏｌａ Ｊｏｎｅｓ［２］に示されている髪の毛のような特徴の使用は、記載される実施形態ではオプションである。このように、単純なアルゴリズムによって予め分類することができるため、より具体的なアルゴリズムは、低減されたデータセットにしか使用する必要がなく、またその結果、計算時間が短縮される。さらに、例えば、ニューロンネットワークなどの他の信号処理方法も、カスケード検出器の代わりに用いることができる。

さらなる実施形態は、運転者または被検体１５に対して行われる目の認識１２０を示している。上記で記載した顔の認識は、分析された２Ｄ位置、例えば目の中心が、目が開いているかまたは閉じている状態で求められるという点で、このステップにおいて適応範囲を絞ることができる。さらに、検出された目の開きを具合の評価を実行することができる。この場合も同様に、目の認識は、カスケード検出器を用いることによって行うことができる。

さらなる実施形態は、瞳孔または瞳孔の中心の検出１２５を記載している。特に目が開いている場合には、瞳孔の中心が求められることができ、次に、目の認識１２０から開始する位置を絞る。瞳孔または瞳孔の中心は、例えば階調をベースとする方法［１］によって求めることができる。暗い瞳孔、および、同様に暗い虹彩は、白目からはっきりと目立つので、例えば［１］において記載されている方法によって検出することができる濃い階調を形成する。

付加的にまたは代替的に、実施形態は、３Ｄ頭部姿勢を求める（１１０）３Ｄ頭部モデラーを備えるデバイス５を示し、３Ｄ頭部モデラーは、被検体の頭部の三次元モデルまたは３Ｄ頭部姿勢を計算する。３Ｄ頭部姿勢をさらに考慮することによって、頭部または頭部の位置を安定してより正確な検出を達成することができる。加えて、目の開きの程度を求めるために、目（複数の場合もあり）のＲＯＩにおける目印を、３Ｄモデルによって求めることができる。さらに、瞼の評価において、どちらの目をより確実に評価することができるかを確立するように、頭部の傾きを、頭部の回転と同じくらい考慮することができる。頭部の傾きは、個々の基準値７０および７５ならびに適応性を有するしきい値８０を適合するためにさらに用いることができる。したがって、デバイス５は、被検体１５の目の位置を求めるように構成されている。

３Ｄ頭部姿勢を求めるために、最初に初期化を行うことができる。初期化は、カスケード検出器による粗い２Ｄ顔検出を含む（顔検出１１５を参照のこと）。さらなる顔の構成要素も、顔および目の認識に関して既に記載したように、カスケード検出器によって位置を特定することができる。上記構成要素は、目の位置、鼻の先端または口のコーナとすることができる。粗く分類された顔の構成要素に基づいて、２Ｄ格子ネットワークモデルを、顔にわたって配置するかまたは置き、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ：アクティブ形状モデル）［３］またはＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ：アクティブ外見モデル）［４］に基づく方法によって被検体１５に適合させることができる。目印は、そこから得ることができ、これは、さらなる処理に有用である。目印は、正規化された頭部を得るために投影によって計算し直すことができる、および／または、正規化された頭部に基づいて３Ｄに計算し直すことができる。これは、例えばＰＯＳＩＴ（反復を伴うＰＯＳ）［５］によって行うことができる。

初期化に続いて、２Ｄ基準点（特徴点）を、モデル化された顔内でサーチおよび追跡（特徴追跡）することができる。しかし、上記基準点は、上記で記載した目印に一致する必要はないものとすることができる。一方で、代替的または付加的に、基準点がしばしば目印に一致しないので、任意の偏位する基準点も求められる。頭部の初期位置および基準点の追跡に基づいて、頭部の位置追跡を行うことができる。単純にするために、例えば計算費用を低減するために、頭部の表面を、頭部の予め求められた初期位置で初期化される３Ｄシリンダに分けることができる。換言すると、３Ｄ頭部モデラー１１０は、シリンダに基づいて、頭部の三次元位置および向き、すなわち、３Ｄ頭部姿勢を概算することができる。

さらなる追跡のために、２Ｄ特徴点が、シリンダ上の対応する３Ｄ位置に関連付けられる。この結果、散布図の６つの自由度（６ＤＯＦ：ｓｉｘ ｄｅｇｒｅｓ ｏｆ ｆｒｅｅｄｏｍ）における空間的な位置および向きが生じる。２Ｄ特徴点は、経時的に写真から写真へ追跡され、それらの空間的な位置が求められる。例えば頭部の回転に起因して、いずれかの特徴点が外れる場合、または、新たな特徴点が追加される場合、それらの空間的な位置が、３Ｄシリンダモデルに基づいて求められる。あまりに多くの２Ｄ特徴点が失われる場合、３Ｄシリンダの位置をそれ以上追跡することはできず、新たな初期化が必要とされる。新たな初期化は、２Ｄ特徴点のロバスト性、および、特徴点の追跡に応じて何回も必要とされる。特徴点のエラーのロバスト性または感受性は、例えば、照明の変化、射影ひずみ、または、目立たない短期間のインスタンスに依存する。一時的なドリフト（低速シフト）に打ち消すために、初期化から得られる目印および／または３Ｄ位置を用いる調整を、時々行うことができる。すなわち、追跡と並行して、初期化を時々実行する。さらに、初期化から得られる目印を、頭部の位置の追跡において３Ｄにおいて持ち越すことができ、それらの２Ｄの決定を見出し、上記調整に用いることができる。

さらなる実施形態は、正規化された値、例えば、カメラからの距離に対して正規化された画素で表され、目の開きの判別および／または時間曲線を求める目の開き検出器１３０を備えるデバイス５を示す。換言すると、目の開き検出器１３０は、目の開きのその時点の幅を絶えず求める。目を分析するために、目（複数の場合もあり）のＲＯＩ内の１個または複数個の目印が用いられる。１個の目印がある場合、例えばカスケード検出器を用いることによって求められた、初期の目の認識（顔の認識１１５および／または目の認識１２０の機能ブロックを参照）から生じる位置を用いることができる。１個のみの目印が利用可能である場合、この目印が目の中心であることが有利である。さらに重要な目印は、例えば、目の角部ならびに上側および下側の瞼を表す。しかし、上記目印はオプションであり、目の開き検出器の側において行われる目の分析の支援として用いることができる。これは、３Ｄ頭部姿勢追跡に失敗して目印の提供ができない場合であっても、推定される目の位置のみ、例えば目の中心を、機能ブロック１１５、１２０または１２５の２Ｄ追跡から得ることができる場合に目の分析を行うことができるという利点を有する。これによると、目の開き検出器１３０は、機能ブロック１１０〜１２５から生じる１個または複数個の目印に基づいて目の開きを求めるように構成されている。目の開きを求めることは、テンプレートを用いて行われる。目の開き検出器１３０は、４つのポイントまたは目印にわたって記述されるテンプレートによって目の開きをモデル化することができ、テンプレートによって、検出された目が適合される。４つの目印間のエッジ領域は、数学的曲線によって補間される。目の開き検出器はしたがって、目の輪郭を描画する少なくとも４つのパラメータ間を補間する曲線近似によって、目の開きの角度を求めるように構成されている。さらに、テンプレートは、３Ｄ位置、および、機能ブロック１１０から生じる頭部の向きについての情報のアイテムが利用可能であると仮定すると、測定前に、遠近法に関して歪む可能性がある。

以下では、瞼の閉じまたは目の開きの程度を求める２つの方法を記載し、この場合、テンプレートは、下にある写真の内容に合わせて調整される。当該調整または微調整は、上記で既に記載したように、階調写真、および、角部の特徴またはアーチの特徴などの他の好適な特徴によって行われる。

１．目の中心を唯一の目印として処理：目の中心が唯一の目印である場合、目の開きの上側点および下側点を、例えば、水平射影関数（例えば［６］に従う）を用いて推定することができる。前述したテンプレートは、目の中心ならびに目の開きの上側点および下側点にわたって広げられ、テンプレートの幅は顔の幅に依存する。

２．目のＲＯＩにおけるいくつかの目印を用いた処理：テンプレートは、目のエリア、すなわち目のＲＯＩ内で、目印に従って測定される。この測定は、テンプレートを目の開きに向けて適合させることを続ける。テンプレートを向けて適合させることは、例えば、階調写真への類似性に基づいて行うことができる。

さらに、例えば自動車の分野における車両の移動は、加速度センサによって一体的に測定することができる。走行中に、加速は、加速、制動、路面のおよびカーブにおける様々な傾きに起因して生じる。停止中および／または静止状態における車の振動は、例えば、調和振動をフィルタリングすることにより除去可能である。加えてまたは代替として、ＧＰＳ（全地球測位システム）を、車両の移動を検出するために使用してもよい。これは、車両が移動している場合にのみ、瞬間的な眠りの警告が行われる場合に有利である（したがって、動いていない車両における誤警報が回避される）。さらに、瞬間的な眠りの警告を出力するために、一時的な適応性を有するしきい値８５を最終調整するように車両の速度を用いることができる。

記載したデバイス５は、カメラ式の（ユーザに関しては）非接触式のシステムに関し、システムのカメラおよび／またはビデオ記録デバイス１０は被検体１５に方向付けられる。図４は、ビデオ記録デバイス１０が、被検体１５に方向付けられた状態のこのシナリオを示している。当該被検体は、例えば車両の運転者である。さらに、デバイス５は、カメラのライブ写真において被検体が瞬間的に眠りに落ちたことを検出するための、個々に適合されるしきい値８０および８５ならびに個々に求められる基準値７０および７５を求め、瞬間的な眠りが生じた場合には被検体１５に警告するのに適している。瞬間的な眠りの警告デバイスという用語は、マイクロ睡眠、瞬間的な眠りおよび進行中の眠りの発生を認識するため、正確な区分としてではなく、本発明において用いられる用語として理解されるべきである。

用いられる方法およびアルゴリズムは、被検体において生じている瞬間的な眠りが、被検体および照明状況に個々に適合する、直接的なビデオ式のモニタリングおよび評価によって認識されることを特徴とする。車両内のＣＡＮバスに存在する情報などの、被検体の眠りの状態に関する二次データを、例えば、ステアリング、制動および加速挙動を介して求める既存の方法と比較して、一次データ（目の開き）が評価される。その結果、システムおよび／またはアルゴリズムは、瞬間的な眠りを認識し、瞬間的な眠りが生じている場合に、明らかにより正確で確実な方法で警告を出力することが可能であり、その結果、事故を回避することができ、特にセーフティクリティカルエリア（例えば、車両の走行、航空エリアのモニタリング（例えば航空交通管制官の側における）、発電所の動作およびモニタリング）において、被検体々の命を救うことができる。

自動車の分野に関しては、デバイス５は、車内のバックミラー３０に一体化または代替的には、例えば組み込み対策（組み込み式のナビゲーションデバイスなどの）として、フレッシュエアーグリルもしくはフロントガラスに取り付けることができる。図５は、上記構成のうちの２つを示しており、デバイス５がバックミラー３０に一体化、および、フロントガラス３５に設置した構成であり、同様に図示のデバイス５のように、固定具４０（例えば吸着カップ固定具）によって、組み込み対策としてフロントガラス３５に取り付けられている。また、車のダッシュボード、Ａピラーまたはルーフの下への一体化が可能である。しかしながら、既に記載したように、デバイスは自動車の分野に限定されず、他のエリアにおいても使用することができる。さらに、デバイスが下から僅かに斜めの角度で顔に方向付けられる位置が有利であり、この理由は、この位置では、デバイスは大部分が、例えば眼窩または眉毛によって不明瞭になることが極めてまれであるので、目のはっきりとしたビューを有するためである。

デバイス５は、自立したデバイスとして実現することができ、１つの実施形態によると、持ち運び可能であるか、または、上位の支援もしくはモニタリングシステムの一部であるように実現することもできる。単純な変形形態として、デバイスは、プラグ・アンド・プレイ・ソリューションとして用いてもよい。すなわち、設置は誰でも行うことができる。しかし、この場合では、ビデオ記録デバイスが運転者に方向付けられることを確実にするように注意が払われるべきである。モニタリングされる被検体１５、例えば、車の運転者、トラック運転者または航空交通管制官を、カメラ、すなわちビデオ記録デバイス１０によって検出することに加えて、複数のカメラを有するシステムを実現することも可能である。これは、検出エリア（１つの特定のカメラの場合、一方の目が不明瞭になる可能性があり、これはこの場合、異なるロケーションに位置決めされる第２のカメラによって捕捉される）が、拡張されるか、または、付加的なパラメータ（例えば、被検体１５の視線）も評価において考慮されるという点で、ロバスト性を高めることができる。

外部の照明状況とは独立するために、使用される照明は、人間に見えないスペクトル領域内にあるものとすることができる、すなわち、例えば近赤外領域において、外乱を生じない。さらに、システムの状態は、例えば、様々な色のＬＥＤによって示すことができ、生じた瞬間的な眠りの場合の警告は、音響信号によって行うことができる。

さらに、上記で記載したデバイス５は以下の利点を有する：
−瞼の閉じが、直接的な、非接触式、ビデオ式の測定、ならびに、瞬間的な眠りを検出するための、個々に適合されるしきい値８０および８５ならびに個々に求められる基準値７０および７５の導出によって求められる。
−カメラが、運転者に直接向けられ、その結果、運転者の瞬間的な眠りが、直接的なビデオモニタリングによって認識される。
−遠隔のシステム：
・運転者を邪魔することのない非接触式の測定。
・運転者の頭部または身体の任意の他の部分への取り付けが不要である。
−整然とした利点：
・ビデオ記録に基づく、運転者の顔から導出される一次データの評価。
・記載した全体的な機能（瞬間的な眠り／マイクロ睡眠の認識）、または、個々の部分的な機能（例えば、顔認識、反射の除去など）に取って代わる代替的なアルゴリズムの使用。

適用の分野は、例えば自動車分野、および、バス、列車、船舶、潜水艦、トラックなどを伴う任意の他の運送の分野、または、例えば発電所、航空交通管制官のための交通モニタリングなどといった、任意の他の安全に関連する分野である。デバイスは、ユーザに方向付けられるカメラが利用可能であると仮定すると、既存の運転者支援システムまたはモニタリングシステムに一体化することができる。代替的にまたは付加的に、瞬間的な眠りの警告デバイスは、自立したシステム（自給式ハードウェア）として販売してもよい。上記システムは、ユーザがカメラによって捕捉されるように、（通常は１回限りの動作中に）目的位置に取り付けられなければならない。取り付けは、特に、他のシステム、例えば乗用車内のＣＡＮバスとの接続も確立される場合には、資格のある人員によって行うことができる。ユーザにおける単なる取り付けおよび方向付けは、例えば、乗用車のフロントガラスの内部における吸着カップの固定具によって、誰でも行うことができる。

実施形態は、モニタリングされる被検体において個々に認識されるウインクの持続時間が、当該短い瞼が閉じる時間を瞬間的な眠りとして評価しないように使用され得ることを示す。「自然発生的な瞬き」および／または「自然発生的な瞼の閉じ」は、本文書では、例えばウインクを意味するものと理解される。

さらなる実施形態は、６０５「ビデオ記録デバイスを使用することによって、被検体および当該被検体の目のエリアをビデオ式でモニタリングするステップであって、上記ビデオ記録デバイスは、被検体および目のエリアの一連の写真を記録するとともに、一連の写真をしきい値決定デバイスに出力するように構成されている。ビデオ式でモニタリングするステップ」、６１０「しきい値決定デバイスを使用することによって、被検体に個々に適合される１個または複数個のしきい値を一連の写真から求めるステップ」、６１５「１つまたは複数の個々に適合されるしきい値に基づいて、被検体が瞬間的に眠りに落ちたか否かを決定するステップ」、および、６２０「目の開きの実際の時間曲線内でしきい値を上回ったかまたは下回ったか否か、すなわち、被検体が瞬間的に眠りに落ちたか否かを確立するように、１個または複数個の個々に適合されるしきい値を使用するステップ」によって、瞬間的な眠りを検出する方法６００を示している。この方法の概略ブロック図は図６に示されている。

デバイスの文脈においていくつかの態様を記載したが、上記態様は、対応する方法の記載も表し、それによって、デバイスのブロックまたは構造的な構成要素は、対応する方法のステップとして、または、方法のステップの特徴としても理解されるべきであることが理解される。それと同様に、方法のステップの文脈においてまたは方法のステップとして記載された態様は、対応するデバイスの対応するブロックまたは詳細または特徴の記載も表す。方法のステップのいくつかまたは全ては、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェアデバイスによって（または、ハードウェアデバイスを使用しながら）行うことができる。いくつかの実施形態では、最も重要な方法のステップのいくつかまたは複数は、そのようなデバイスによって行うことができる。

特定の実施態様の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実施することができる。実施態様は、例えば、フロッピーディスク（登録商標）、ＤＶＤ、Ｂｌｕ−ｒａｙディスク（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリ、ハードディスク、または、それぞれの方法が行われるように、プログラミング可能なコンピュータシステムと協働することができるかもしくは実際に協働する、電子的に読み取り可能な制御信号が記憶されている任意の他の磁気もしくは光メモリであるデジタル記憶媒体を使用しながら行うことができる。これが、デジタル記憶媒体がコンピュータで読み取り可能であり得る理由である。

本発明によるいくつかの実施形態はしたがって、本明細書において記載される方法のいずれかが行われるように、プログラミング可能なコンピュータシステムと協働することが可能な電子的に読み取り可能な制御信号を含むデータキャリアを含む。

概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品としてインプリメントすることができ、プログラムコードは、コンピュータプログラム製品がコンピュータにおいて実行するときに、方法のいずれかを行うのに効果的である。

プログラムコードは、例えば機械読み取り可能なキャリアに記憶されることもできる。

他の実施形態は、本明細書において記載される方法のいずれかを行うコンピュータプログラムを含み、当該コンピュータプログラムは機械読み取り可能なキャリアに記憶される。換言すると、本発明の方法の実施形態はしたがって、コンピュータプログラムがコンピュータにおいて実行するときに、本明細書において記載される方法のいずれかを行うプログラムコードを有するコンピュータプログラムである。

本発明の方法のさらなる実施形態はしたがって、本明細書において記載される方法のいずれかを行うコンピュータプログラムが記録されるデータキャリア（またはデジタル記憶媒体もしくはコンピュータ読み取り可能媒体）である。

本発明の方法のさらなる実施形態はしたがって、本明細書において記載される方法のいずれかを行うコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信リンクを介して、例えばインターネットを介して送信されるように構成することができる。

さらなる実施形態は、本明細書において記載される方法のいずれかを行うように構成または適合される処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを含む。

さらなる実施形態は、本明細書において記載される方法のいずれかを行うコンピュータプログラムがインストールされるコンピュータを含む。

本発明によるさらなる実施形態は、本明細書において記載される方法のうちの少なくとも１つ処理を実行するコンピュータプログラムを受信器に送信するように構成されているデバイスまたはシステムを含む。送信は、例えば電子的または光学的であるものとすることができる。受信器は、例えばコンピュータ、モバイル機器、メモリデバイスまたは同様のデバイスであるものとすることができる。デバイスまたはシステムは、例えばコンピュータプログラムを受信器に送信するファイルサーバを含むことができる。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ、ＦＰＧＡ）を、本明細書において記載される方法の機能のいくつかまたは全てを行うために使用することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、マイクロプロセッサと協働し、本明細書において記載される方法のいずれかを行うことができる。概して、方法は、いくつかの実施形態では、任意のハードウェアデバイスによって行われる。上記ハードウェアデバイスは、コンピュータプロセッサ（ＣＰＵ）等の任意の普遍的に適用可能なハードウェアであるものとすることができるか、または、ＡＳＩＣ等の、方法に特有のハードウェアであるものとすることができる。

上記で記載した実施形態は、本発明の原理の説明を単に表している。当業者は、本明細書において記載される構成および詳細の変更形態および変形形態を認識することが理解される。これは、本発明が、実施形態の記載および説明によって本明細書において提示されている特定の詳細によってではなく、以下の特許請求の範囲によってのみ限定されることが意図される理由である。
出典
［１］Ｔｉｍｍ， Ｂａｒｔｈ （２０１１）： Ａｃｃｕｒａｔｅ Ｅｙｅ Ｃｅｎｔｒｅ Ｌｏｃａｌｉｓａｔｉｏｎ ｂｙ ｍｅａｎｓ ｏｆ Ｇｒａｄｉｅｎｔｓ
［２］Ｖｉｏｌａ ａｎｄ Ｊｏｎｅｓ， “Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００１
［３］Ｔｉｍ Ｆ． Ｃｏｏｔｅｓ， Ｃｈｒｉｓ Ｊ． Ｔａｙｌｏｒ： Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ − “Ｓｍａｒｔ Ｓｎａｋｅｓ”． Ｉｎ： Ｄａｖｉｄ Ｈｏｇｇ ｕ．ａ． （Ｈｒｓｇ．）： ＢＭＶＣ９２． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ； ２２．−２４． Ｓｅｐｔｅｍｂｅｒ １９９２， Ｌｅｅｄｓ． Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， Ｂｅｒｌｉｎ １９９２， ＩＳＢＮ ３−５４０−１９７７７−Ｘ， ｐｐ． ２６６−２７５．
［４］Ｔ．Ｆ． Ｃｏｏｔｅｓ， Ｇ．Ｊ． Ｅｄｗａｒｄｓ， Ｃ．Ｊ． Ｔａｙｌｏｒ： “Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ”， ｉｎ： ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． ２３， Ｎｏ． ６， Ｊｕｎｅ ２００１， ｐｐ． ６８１−６８５
［５］ＤｅＭｅｎｔｈｏｎ， Ｄａｎｉｅｌ Ｆ．， ａｎｄ Ｌａｒｒｙ Ｓ． Ｄａｖｉｓ． “Ｍｏｄｅｌ−ｂａｓｅｄ ｏｂｊｅｃｔ ｐｏｓｅ ｉｎ ２５ ｌｉｎｅｓ ｏｆ ｃｏｄｅ．” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−ＥＣＣＶ’９２． Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ， １９９２．
［６］Ｚｈｉ−Ｈｕａ Ｚｈｏｕ， Ｘｉｎ Ｇｅｎｇ： “Ｐｒｏｊｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｅｙｅ ｄｅｔｅｃｔｉｏｎ．” Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌｕｍｅ ３７， Ｉｓｓｕｅ ５， Ｍａｙ ２００４， ｐｐ． １０４９-１０５６

Claims (20)

1. 瞬間的な眠りを検出するデバイス（５）であって：
   人（１５）および該人（１５）の目のエリアのビデオベースのモニタリングのためのビデオ記録デバイス（１０）であって、前記人（１５）および前記目のエリアの一連の写真を記録するとともに、該一連の写真をしきい値決定デバイス（２０）に出力するように構成されている、ビデオ記録デバイス（１０）；
   前記人（１５）に個々に適合される１つまたは複数のしきい値（８０、８５）を前記一連の写真から導出するように構成されている前記しきい値決定デバイス（２０）；ならびに
   前記１つまたは複数の個々に適合されるしきい値（８０、８５）に基づいて、前記人（１５）が瞬間的に眠りに落ちたか否かを決定するように構成されているしきい値評価器（２５）
   を備え、
   前記１つまたは複数の個々に適合されるしきい値（８０、８５）は、目の開きの実際の時間曲線内で該しきい値（８０、８５）を通過したか否か、したがって、前記人が瞬間的に眠りに落ちたか否かを確立するために使用され；
   第１の個々に適合されるしきい値（８０）が、開いた目から閉じた目への遷移を特徴付け、瞼の閉じは、前記第１の個々に適合されるしきい値（８０）を下回った場合に生じたものと確立され；
   第２の個々に適合されるしきい値（８５）が、前記瞼の閉じの持続時間を指し、個々の瞼の閉じの時間は、該第２の個々の瞼の閉じの時間を上回る場合に前記瞼の閉じを瞬間的な眠りを示すものとして評価するように判断される、デバイス。
2. 前記個々に適合されるしきい値は、瞬間的な眠りを検出するために特定の瞳孔中心と組み合わせて使用される、請求項１に記載のデバイス（５）。
3. 第１の個々に適合されるしきい値（８０）が、目の瞼の閉じを判定するために用いられ、前記瞼の閉じは、開いた目を表す第１の個々に求められる基準値（７０）と、閉じた目を表す第２の個々に求められる基準値（７５）との間にあり、当該しきい値は、前記開いた目から前記閉じた目への遷移を特徴付け；
   第２の個々に求められるしきい値が、前記瞼の閉じの持続時間に関連する、請求項１または２に記載のデバイス（５）。
4. 前記しきい値決定デバイス（２０）は、生じる瞬きを評価することによって、前記個々に求められる基準値（７０、７５）および前記１個または複数個の個々に求められるしきい値（８０、８５）を適時に連続的に適合するように構成されている、請求項１〜３のいずれか一項に記載のデバイス（５）。
5. 前記しきい値決定デバイス（２０）は、前記目の開きの前記時間曲線におけるパターンによって瞬きを判断するように構成されており、前記パターンは、前記第１の個々に求められる基準値（７０）から開始し、前記第１の個々に適応されたしきい値（８０）を下回り、かつ、既定の時間期間以内に前記第１の基準値（７０）に戻ることを含む、請求項１〜４のいずれか一項に記載のデバイス（５）。
6. 前記しきい値評価器（２５）は、第１のしきい値（８０）を通過したことを検出するとともに、前記通過の持続時間を求めるように構成されており、前記瞬間的な眠りは、前記持続時間が第２のしきい値（８５）を通過する場合に確立される、請求項１〜５のいずれか一項に記載のデバイス（５）。
7. 前記しきい値決定デバイス（２０）は、前記１つまたは複数の個々に適合されるしきい値（８０、８５）を、前記被検体（１５）の解剖学的構造および生理機能に適合させるように構成されている、請求項１〜６のいずれか一項に記載のデバイス（５）。
8. 前記しきい値決定デバイス（２０）は、周囲の状況の変化に基づいて、前記１個または複数個の個々に適合されるしきい値（８０、８５）を前記変化した周囲の状況に適合させるように構成されている、請求項１〜７のいずれか一項に記載のデバイス（５）。
9. 前記第１の個々に適合されるしきい値（８０）は、瞼の閉じを、前記開いた目から前記閉じた目への遷移中は比較的小さい目の開きの角度において規定するとともに、前記閉じた目から前記開いた目への遷移中は比較的大きい目の開きの角度において規定するように構成されているヒステリシス（９０ａ、９０ｂ）を含む、請求項１〜８のいずれか一項に記載のデバイス（５）。
10. 前記しきい値決定デバイス（２０）は、前記１個または複数個の個々に適合されるしきい値（８０、８５）を、各目について別個に求めるように構成されている、請求項１〜９のいずれか一項に記載のデバイス（５）。
11. 前記しきい値決定デバイス（２０）は、頭部姿勢を求めることを含み、当該しきい値決定デバイス（２０）は、求められた前記頭部姿勢によって前記１個または複数個の個々に適合されるしきい値（８０、８５）を適合させるように構成されている、請求項１〜１０のいずれか一項に記載のデバイス（５）。
12. 前記しきい値評価器（２５）は、前記被検体が瞬間的に眠りに落ちたか否かを、前記頭部姿勢に応じて前記被検体（１５）の片目または両目によって判断するように構成されている、請求項１１に記載のデバイス（５）。
13. 前記第２の個々に適合されるしきい値（８５）は、前記ウインクの持続時間よりも長い持続時間を示す、請求項１〜１２のいずれか一項に記載のデバイス。
14. 前記第２の個々に適合されるしきい値（８５）は、前記被検体（１５）が進むその時点の速度に適合される、請求項１〜１３のいずれか一項に記載のデバイス（５）。
15. 前記デバイス（５）の移動速度を捕捉するように構成されているＧＰＳ受信器（４５）および／または加速度センサ（５０）を備え、当該移動速度から前記被検体（１５）および／または車両の移動速度を求める、請求項１〜１４のいずれか一項に記載のデバイス（５）。
16. 前記被検体（１５）に見える波長範囲を上回る放射線を照射する照明源（５５）を備え、前記ビデオ記録デバイス（１０）は、前記放射線を検出するように構成されている、請求項１〜１５のいずれか一項に記載のデバイス（５）。
17. 前記照明源（５５）から所定距離を置いて配置されるさらなる照明源（６０）を備え；
    前記ビデオ記録デバイス（１０）は、前記被検体（１５）の前記目のエリアの領域におけるいかなる反射も回避するように、前記被検体（１５）が前記照明源（５５）および前記さらなる照明源（６０）によって前記目のエリアを照明した後に、撮影された写真の組み合わせを求めるように構成されている、請求項１６に記載のデバイス。
18. 持ち運び可能である、請求項１〜１７のいずれか一項に記載のデバイス（５）。
19. 瞬間的な眠りを検出する方法（６００）であって：
    ビデオ記録デバイス（１０）を用いることによって人（１５）および該人（１５）の目のエリアをビデオベースでモニタリングすることであって、前記ビデオ記録デバイス（１０）は、前記人（１５）および前記目のエリアの一連の写真を記録するとともに、該一連の写真をしきい値決定デバイス（２０）に出力するように構成されている、ビデオベースでモニタリングすること；
    前記人（１５）に個々に適合される１つまたは複数のしきい値を、前記しきい値決定デバイス（２０）を用いることによって前記一連の写真から導出すること；
    前記１つまたは複数の個々に適合されるしきい値（８０、８５）に基づいて、前記人（１５）が瞬間的に眠りに落ちたか否かを決定すること；ならびに
    目の開きの実際の時間曲線内で前記しきい値（８０、８５）を通過したか否か、したがって、前記人が瞬間的に眠りに落ちたか否かを確立するように、前記１つまたは複数の個々に適合されるしきい値（８０、８５）を使用すること
    を含み、
    第１の個々に適合されるしきい値（８０）が、開いた目から閉じた目への遷移を特徴付け、瞼の閉じは、前記第１の個々に適合されるしきい値（８０）を下回った場合に生じたものと確立され；
    第２の個々に適合されるしきい値（８５）が、前記瞼の閉じの持続時間を指し、個々の瞼の閉じの時間は、該第２の個々の瞼の閉じの時間を上回る場合に前記瞼の閉じを瞬間的な眠りを示すものとして評価するように判断される、方法。
20. 請求項１９に記載の方法に従って瞬間的な眠りを検出するコンピュータプログラム。

Images