JP6731481B2 - 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 - Google Patents

Description

本発明は、独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。

操舵時の眠気やマイクロスリープは、しばしば危険な状況や事故につながる。現代の眠気認識システムは、運転者が何らかの眠気限界値を超えたときに警告を出力する。そして運転者の視野に、眠気限界値を超えたことを指摘するために、
たとえばコーヒーカップのような記号がフェードインされる。

現在シリーズ生産されている眠気認識システムは、たとえば運転者の疲労を運転挙動から間接的に見積る。同様に、ビデオカメラのデータから、目の現在の開度を認識することができるシステムも知られている。このことは、相応の画像処理アルゴリズムを用いて行われる。その場合、両方の目についてそれぞれ開眼レベルが検知される。

特許文献１は、事前定義されたモデル化された信号で開眼信号をフィッティングして、まばたき事象を認識し、そこから運転者の注意力に関する推定を引き出すシステムを記載している。

特許文献２は、開眼信号からまばたき事象を認識するために、「正常な」まばたき事象についてのいわゆる標準振幅を利用するシステムを記載している。

文献では、まばたき事象の特性と、眠気との間の関連性がすでに議論されている。非特許文献１を参照のこと。

国際公開第２０１４／０３１０４２号 国際公開第２００６／０９２０２２号

Ｈａｒｇｕｔｔ著、「作業行動時の注意力プロセス・疲労プロセスを表す指標としての眼瞼閉止挙動」、２００２年

以上を背景としたうえで、ここで提案される取組みにより、車両の搭乗者の少なくとも１つの目の開眼データを分類する方法、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法、さらにはこれらの方法を適用した装置、ならびに、最後にこれらに対応するコンピュータプログラムが主請求項に基づいて提案される。従属請求項に記載されている方策により、独立請求項に記載されている装置の好ましい発展例や改良が可能である。

スライドするタイムスロットでの開眼データないし開眼信号の検出、および、これらのデータのクラスタ分析の引き続いての実行は、車両搭乗者の目のまばたき指標の認識品質の改善を可能にする。

１つの発展例では、ここで提案されるコンセプトは、ＡＯＮないしＥＯＮ（英語Eye Opening Niveau）と略称される、現在の開眼レベルを計算する改良された方法を含んでいる。

搭乗者の眠気検出および／またはマイクロスリープ検出のために車両の搭乗者の少なくとも１つの目の開眼データを分類する方法が提案され、この方法は次の各ステップを有する：

スライドするタイムスロットの中の第１の測定時点で第１の開眼データセットが生起され、第１の開眼データセットは第１の測定時点での搭乗者の目の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの測定点を有し；

スライドするタイムスロットの中の第２の測定時点で第２の開眼データセットが検出され、第２の開眼データセットは第２の測定時点での搭乗者の目の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの検出点を有し；

少なくとも第１の開眼データセットおよび／または第２の開眼データセットを第１のデータクラスタに割り当てて開眼データを分類するために、少なくとも１つの測定点および少なくとも１つの検出点を利用したうえでクラスタ分析が実行され、第１のデータクラスタは搭乗者の目の開放状態を表す。

開眼データは、１つの時点での目の目開度のデータ、ならびに目の目蓋の運動の速度および／または加速度のデータを含むことができる。目開度は、第１ないし第２の測定時点での搭乗者の目の上目蓋から下目蓋までの、メートルないしセンチメートルまたはミリメートルの単位で決定されるべき間隔であり得る。開眼データは、複数の測定時点を通じて信号の形態で提供することができる。開眼データの分類とは、目の状態の事前設定されたカテゴリーに開眼データを割り当てることであると理解することができる。たとえば目の状態を開、閉として区別し、あるいは開放段階または閉止段階で区別することができる。第１ないし第２の開眼データセットは、判定ないし検出された、座標系で表現可能な搭乗者の目の状態の値を表すことができる。第１の開眼データセットは、搭乗者の目の第１の目開度、第１の目蓋運動速度、および第１の目蓋運動加速度のデータからなる適当な組み合わせを含むことができる。同様のことを、第２の開眼データセットにもこれに準じて当てはめることができる。測定点は、第１の開眼データセットを表現するための座標軸上の値を形成することができる。それに応じて検出点は、第２の開眼データセットを表現するための座標軸上の値を形成することができる。第２の測定時点は、スライドするタイムスロットの中で、第１の測定時点よりも時間的に後に位置することができる。クラスタ分析とは、開眼データセットのデータストックの中で類似性構造を発見するための方法であると理解される。クラスタ分析は、たとえば密度クラスタ分析であり得る。このときデータの所与の類似性構造が、座標系におけるデータのクラスタ形成によって−すなわち座標空間内でデータがデータクラスタへとグループ化されることによって−表されていてよい。目の開放状態により、搭乗者の目がどれだけ広く開いているか、ないしは閉じているかを示すことができる。

この方法は、たとえばソフトウェアまたはハードウェアで、もしくはソフトウェアとハードウェアの混合形態で、たとえば制御機器や装置にインプリメントされていてよい。

１つの実施形態では、生起のステップで第１の開眼データセットは、測定点によって表されない第１の測定時点での搭乗者の目の第１の目開度および／または第１の目蓋運動速度および／または第１の目蓋運動加速度を表す少なくとも１つの別の測定点を有することができる。その代替または追加として、検出のステップで第２の開眼データセットは、検出点によって表されない第２の測定時点での搭乗者の目の第２の目開度および／または第２の目蓋運動速度および／または第２の目蓋運動加速度を表す少なくとも１つの別の検出点を有することができる。さらに、それに応じて実行のステップで、別の測定点および／または別の検出点を利用したうえでクラスタ分析を実行することができる。別の測定点ないし別の検出点は、搭乗者の目運動指標のロバスト性の高い認識に貢献できるという利点がある。このとき別の測定点は、搭乗者の目の目開度、第１の目蓋運動速度、および／または第１の目蓋運動加速度の各パラメータの集合に属する、測定点とは異なるパラメータを表しており、それにより第１の開眼データセットの測定点は、さまざまに異なる物理量を表す測定点に依拠することになる。これに準じて別の検出点は、搭乗者の目の目開度、目蓋運動速度、および／または目蓋運動加速度の各パラメータの集合に属する、検出点とは異なるパラメータを表しており、それにより第２の開眼データセットの検出点は、さまざまに異なる物理量を表す検出点に依拠することになる。

さらにこの方法は、第１の開眼データセットと第２の開眼データセットが第１のデータクラスタに割り当てられるときに、測定点および検出点を利用したうえで平均化をするステップを有することができる。したがって第１のデータクラスタの第１の特性量を形成することができ、測定点および検出点が目の目開度を表すとき、第１の特性量は搭乗者の目の開眼レベルについての値を表すことができる。このとき測定点および検出点は同じ物理量を表すのがよい。開眼レベルとは、スライドするタイムスロットの内部での平均的な目開度であると理解される。開眼レベルはメートルの単位で検出することができる。この実施形態では、搭乗者の眠気やマイクロスリープの認識にとって本質的である開眼レベルを、迅速かつ高いロバスト性で判定することができる。

１つの実施形態では、第１の特性量を決定するために、平均化のステップで測定点および検出点を重みづけして平均化することができる。このようにして開眼レベルをいっそう高い信頼度で決定することができる。

たとえば平均化のステップで、第１の特性量を決定するために、測定点を検出点に依存して重みづけすることができる。特に、第１の特性量を決定するために、測定点を検出点の１つの値に依存して重みづけすることができる。このとき測定点を検出点の１つの値に依存して、特に、測定値の値と検出点の値との差異に依存して、重みづけすることができる。このとき特に、このような差異の大きさを測定点および／または検出点の重みづけに利用することができる。このような種類の密度依存的な重みづけにより、測定誤差や測定不正確さが、判定されるべき開眼レベルの結果を狂わせるのを防止できるという利点がある。

１つの実施形態では、本方法は、第２の開眼データセットが第１のデータクラスタに割り当てられていないとき、第２の開眼データセットが破棄されるステップを有することができる。そのようにして、特に第２の開眼データセットが場合により測定誤差によって使い物にならないとき、本方法の計算コストを容易に節減することができる。

別の実施形態では、実行のステップで、開眼データを分類するために、第１の開眼データセットが第１のデータクラスタに割り当てられ、第２の開眼データセットが第２のデータクラスタに割り当てられ、第２のデータクラスタは搭乗者の目の別の開放状態を表す。それぞれ異なるデータクラスタへの開眼データセットの割当は、たとえば搭乗者のまばたき運動やタコメータ視認のような目運動指標の簡単でロバスト性の高い認識を可能にする。

たとえば実行のステップで、開放状態は搭乗者の開いた目を表し、別の開放状態は搭乗者の閉じた目を表す。

別の実施形態では、本方法は、スライドするタイムスロットの中の第３の測定時点で第３の開眼データセットが読み込まれるステップを含んでいる。第３の開眼データセットは、第３の測定時点での搭乗者の目の第３の目開度および／または第３の目蓋運動速度および／または第３の目蓋運動加速度を表す少なくとも１つの判定点を有することができる。それに応じて実行のステップで、少なくとも第３の開眼データセットを第３のデータクラスタに割り当てて開眼データを分類するために、第３の開眼データセットの少なくとも１つの判定点を利用したうえでクラスタ分析を実行することができる。第３のデータクラスタは、搭乗者の目の移行状態を表すことができる。判定点は、第３の開眼データセットを表現するための座標軸上の値を形成することができる。この実施形態では、異なる目運動指標の区別をさらに大幅に改良することができる。

搭乗者の目の移行状態は、目の開放段階または閉止段階を表すことができる。

さらに、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法が提案され、この方法は次の各ステップを有している：

以上に記載した各実施形態のうちの１つに基づく方法に基づいて分類された開眼データを利用したうえで眠気および／またはマイクロスリープが判定される。

さらに、ここで提案される取組みは、ここで提案される方法の１つの変化態様の各ステップを相応のデバイスで実施し、制御し、ないしは具体化するために構成された装置を提供する。

装置の形態における本発明のこのような変化実施態様によっても、本発明の根底にある課題を迅速かつ効率的に解決することができる。

そのためにこの装置は、信号またはデータを処理するための少なくとも１つの計算ユニット、信号またはデータを記憶するための少なくとも１つの記憶ユニット、センサのセンサ信号を読み込むため、またはデータ信号もしくは制御信号をアクチュエータへ出力するための、センサまたはアクチュエータへの少なくとも１つのインターフェース、および／または通信プロトコルに埋め込まれたデータを読み込むため、または出力するための少なくとも１つの通信インターフェースを有することができる。計算ユニットは、たとえば信号プロセッサ、マイクロコントローラなどであってよく、記憶ユニットはフラッシュメモリ、ＥＰＲＯＭ、または磁気メモリユニットであってよい。通信インターフェースは、データを無線式および／または有線式に読み込むため、または出力するために構成されていてよく、有線式のデータを読み込むことができる、または出力することができる通信インターフェースは、このようなデータをたとえば電気式または光学式に相応のデータ伝送回線から読み込むことができ、または相応のデータ伝送回線へ出力することができる。

装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアの構成の場合、インターフェースは、たとえば装置の多種多様な機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であるか、または少なくとも部分的に離散したコンポーネントから構成されることも可能である。ソフトウェアとしての構成の場合、インターフェースは、たとえば他のソフトウェアモジュールと並んでマイクロコントローラに存在するソフトウェアモジュールであってよい。

１つの好ましい実施形態では、本装置は、眠気認識ないしマイクロスリープ認識のために開眼信号から搭乗者の少なくとも１つの目の目運動指標ないし目特徴をフィルタリング抽出するために、密度クラスタ分析を利用する。

半導体メモリ、ハードディスクメモリ、または光学メモリのような機械読取り可能な担体または記憶媒体に保存されていてよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されたときに、上に説明した実施形態のうちの１つに基づく本方法の各ステップを実施、具体化、および／または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。

本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す：

１つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを検出する装置を有する車両を示す模式図である。 １つの実施例に基づく、車両の搭乗者の開眼データを分類する装置のブロック図である。 １つの実施例に基づく、車両の搭乗者の開眼データを分類する方法のフローチャートである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、図３の方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフである。 １つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法のフローチャートである。 １つの実施例に基づく、車両の搭乗者の眠気および／またはマイクロスリープを監視するための総合システムのアーキテクチャを示す図である。

本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、そのような部材について繰り返し説明することはしない。

図１は、１つの実施例に基づく、車両１０２の搭乗者１０４の眠気および／またはマイクロスリープを検出する装置１０２を有する車両１００の模式図を示している。車両１００は乗用車である。別案として、車両１００はそれ以外の道路走行車両、たとえばトラックであってもよい。搭乗者１０４は、ここでは車両１００の運転者１０４である。

ここでは装置１０２は、運転者１０４の目を検出する、車両１００に設置されたカメラ１０６と接続されている。特に、カメラ１０６は運転者１０４の目の目蓋の位置を検出し、たとえば、少なくとも一方の目の目蓋の間の間隔や、少なくとも一方の目の目蓋の運動の速度ないし加速度を検出する。これらの情報を集約して開眼データとし、ここで提案される取組みに基づいてこれを分類して、車両１００の運転者１０４の眠気状態またはマイクロスリープを認識するために装置１０２で処理することができる。

図２は、１つの実施例に基づく、車両の搭乗者１０４の開眼データを分類する装置２００のブロック図を示している。装置２００により分類された開眼データを、眠気ないしマイクロスリープを認識するための図１に示す装置で利用することができる。装置２００は、眠気ないしマイクロスリープを認識するための図１に示す装置の一部であるか、またはこれと結合されており、ないしは結合可能である。装置２００は、搭乗者１０４の少なくとも１つの目２０２の、本例では右目２０２の、開眼データを分類するために構成されている。

搭乗者１０４の目に向けられたカメラ１０６が、搭乗者１０４の右目２０２の開眼信号２０４を受信する。開眼信号２０４は、複数の測定時点にわたっての目２０２の目蓋の運動の測定を含んでいる。それに伴って開眼信号２０４は、複数の時点にわたっての開眼データの推移を表す。

適当なインターフェースを介して、装置２００の読込みデバイス２０６が、開眼信号２０４を形成する開眼データ２０８を装置２００に読み込む。開眼データ２０８は、目２０２の検出中の１つの測定時点での目開度、目２０２の目蓋の速度ならびに加速度に関する情報を含んでいる。開眼データ２０８ないし開眼信号２０４は、スライドするタイムスロットの中でカメラ１０６により検出され、またはカメラ１０６と結合されたデバイスにより検出される。

目開度とは、測定時点における目２０２の上目蓋２１０から下目蓋２１２までの間隔であると理解される。目開度はメートルの単位で検出される。目蓋２１０，２１２の速度ならびに加速度は、目蓋２１０，２１２の完全もしくは不完全な開放段階ないし閉止段階で検出される。

装置２００は読込みデバイス２０６のほかに、生起デバイス２１４、検出デバイス２１６、および実行デバイス２１８を有している。

生起デバイス２１４は、スライドするタイムスロットの中の第１の測定時点で、開眼データ２０８を基礎として第１の開眼データセット２２０を生起するために構成されている。第１の開眼データセット２２０は、１つの実施例では、測定点２２２と、別の測定点２２４と、第２の別の測定点２２６とを有する。たとえば、測定点２２２は第１の測定時点での目２０２の第１の目開度を表し、別の測定点２２４は第１の測定時点での搭乗者１０４の目蓋２１０，２１２のうち少なくとも一方の目蓋運動速度を表し、第２の別の測定点２２６は第１の測定時点での搭乗者１０４の目２０２の目蓋運動加速度を表す。

検出デバイス２１６は、スライドするタイムスロットの中の第２の測定時点で、開眼データ２０８を基礎として第２の開眼データセット２２８を検出するために構成されている。第２の開眼データセット２２８は、１つの実施例では、検出点２３０と、別の検出点２３２と、第２の別の検出点２３４とを有する。たとえば、検出点２３０は第２の測定時点での目２０２の第２の目開度を表し、別の検出点２３２は第２の測定時点での搭乗者１０４の目蓋２１０，２１２のうち少なくとも一方の目蓋運動速度を表し、第２の別の検出点２３４は第２の測定時点での搭乗者１０４の目２０２の目蓋運動加速度を表す。

各実施例において、それぞれ３つよりも多い、または少ない測定点２２２，２２４，２２６および検出点２３０，２３２，２３４が開眼データセット２２０，２２８の形成のために存在することができる。開眼データセット２２０，２２８は、装置２００の実施例に応じて、目２０２の目開度、目蓋運動速度、および目蓋運動加速度のそれぞれ異なる組み合わせで形成することができる。これらの情報の一部だけが開眼データセット２２０，２２８に含まれていてもよい。

実行デバイス２１８は、測定点２２２，２２４，２２６および検出点２３０，２３２，２３４を利用したうえで、適当なアルゴリズムを適用して、開眼データセット２２０，２２８のクラスタ分析を実行するために構成されている。クラスタ分析の結果に応じて、実行デバイス２１８は第１の開眼データセット２２０を複数のデータクラスタのうち第１のデータクラスタ２３６に割り当てるとともに、第２の開眼データセット２２８を複数のデータクラスタのうち第２のデータクラスタ２３８に割り当てる。１つの実施例では、両方の開眼データセット２２０，２２８をたとえば第１のデータクラスタ２３６に割り当てることもできる。このことが該当するのは、たとえば第１の測定時点２２２と第２の測定時点２２４が互いに時間的に非常に近くに位置するとき、および／または第１の検出点２３０と第２の検出点２３２が互いに時間的に非常に近くに位置するときである。

別案の実施例では実行デバイス２１８は、第２の開眼データセット２２８が第１のデータクラスタ２３６に割り当てられないとき、第２の開眼データセット２２８を破棄するために構成されていてよい。

データクラスタ２３６，２３８への開眼データセット２２０，２２８の割当てをもって開眼データセット２２０，２２８が分類され、すなわち、カメラ１０６により検出された目２０２の複数の開放状態または移行状態のうちの１つに割り当てられる。たとえば第１のデータクラスタ２３６は、目２０２が開いている、目２０２の考えられる第１の開放状態を定義し、第２のデータクラスタ２３８は、目２０２が閉じている、目２０２の考えられる第２の開放状態を定義する。各実施例において、第３のデータクラスタが、目２０２が開放段階にある、目２０２の考えられる第１の移行状態を定義することができ、第４のデータクラスタが、目２０２が閉止段階にある、目２０２の考えられる第２の移行状態を定義することができる。

当然ながら、装置２００は、そのデバイス２０６，２１４，２１６，２１８を利用して、２つよりも多いデータセット２２０，２８０を処理して１つまたは複数のデータクラスタ２３６，２３８に割り当てるためにも構成されていてよい。

ここで提案されるコンセプトの１つの実施例では、実行デバイス２１８または装置２００のその他のデバイスは、−第１の開眼データセット２２０と第２の開眼データセット２２８が第１のデータクラスタ２３６に割り当てられるケースについて、および、測定点２２２と検出点２３０がそれぞれ目開度を表すケースについて−、測定点２２２，２２４，２２６および検出点２３０，２３２，２３４のうち少なくとも１つを利用したうえで、開眼データセット２２０，２２８を平均化プロセスにかけるために構成される。そのようにして、搭乗者１０４の目２０２の開眼レベルについて、非常にロバスト性の高い値を表す特性量２４０が第１のデータクラスタ２３６について形成される。

開眼レベル−英語の呼称“Eye Opening Niveau”を略してＡＯＮないしＥＯＮ−は、１つのタイムスロットの内部における平均的な目開度についての値であり、目が完全に開いていない時点、たとえばまばたきないしまばたき事象またはタコメータ視認などは度外視される。開眼レベルはメートルの単位で検出され、図１に示す装置による眠気またはマイクロスリープのできる限り誤りのない認識にとって本質的なものである。

１つの実施例では、第１のデータクラスタ２３６について特性量２４０を決定するために装置２００で実行される平均化プロセスは、重みづけされた平均化プロセスである。

上で説明した手順に準じて、装置２００で既存のすべてのデータクラスタ２３６，２３８について、これらに割り当てられる特性量を計算することができる。

実行デバイス２１８が密度クラスタ分析を実行する一例としてのケースについては、重みづけされる平均化プロセスで、測定点２２２ないし別の測定点２２４，２２６を、検出点２３０ないし別の検出点２３２，２３４に依存して重みづけすることができる。１つまたは複数の測定点２２２，２２４，２２６が、特性量２４０を決定するために、１つまたは複数の検出点２３０，２３２，２３４との近さに依存して重みづけされると特別に好ましい。

当然ながら、装置２００は上で説明した手順に準じて、その追加または代替として、右目２０２についての計算と同時に、または時間的にずらして、搭乗者１０４の左目２４２についての開眼データを分類し、それにより搭乗者１０４の眠気分析またはマイクロスリープ分析を準備ないしサポートすることができる。

図３は、車両の搭乗者の開眼データを分類する方法３００のフローチャートの実施例を示している。方法３００は、図２に示す分類をする装置ないしそのデバイスにより実施することができる。

生起３０２のステップで、スライドするタイムスロットの中の第１の測定時点で、少なくとも１つの測定点を有する第１の開眼データセットが生起される。検出３０４のステップで、スライドするタイムスロットの中の第２の測定時点で、少なくとも１つの検出点を有する第２の開眼データセットが検出される。実行３０６のステップで、第１の開眼データセットおよび／または第２の開眼データセットを第１のデータクラスタに割り当てて開眼データを分類するために、測定点および検出点を利用したうえでクラスタ分析が実行される。

１つの実施例では、方法３００は、第１のデータクラスタの第１の特性量を形成するために、測定点および検出点を利用したうえで第１の開眼データセットおよび第２の開眼データセットを平均化３０８するステップを有する。

図４から７は、１つの実施例に基づく、図３の計算方法に基づいて作成される開眼データのデータクラスタを表現するためのグラフを示している。それぞれ示されているのは、計算方法に基づいて判定された複数のデータクラスタが模式的にクラウドとして表示されている座標系である。図４から７のすべてのグラフの根底にただ１つの計算があり、それぞれのグラフがこれを異なる視角から示している。

図４は、３次元のデカルト座標系を示している。横軸４４０に、目蓋運動速度が１秒毎のメートル（ｍ／ｓ）を単位としてプロットされている。縦軸４０２には、目開度がメートル（ｍ）を単位としてプロットされている。垂直軸４０４には、目蓋運動加速度が平方秒毎のメートル（ｍ／ｓ^２）を単位としてプロットされている。図４の座標系は、計算方法に基づいて作成された、ないしは割り当てられた、車両搭乗者の開眼データの多数のデータセットを示している。開眼データセットの多くが、観察者の目によって互いに明確に区別可能であるデータクラスタとしてグループ分けされている。

各々のデータクラスタは、図４の図面ではデータクラウドの形態で、着目する車両搭乗者の目ないし目蓋の異なる状態の複数のカテゴリーの１つを表す。したがって、円によって記号で示す複数のデータセットのグループ分けから形成される、すでに図２との関連で説明した第１のデータクラスタ２３６は、１つの目または複数の目が開いている、車両搭乗者の１つの目または複数の目の第１の開放状態を表す。

正方形によって記号で示す複数のデータセットのグループ分けから形成される、同じくすでに図２との関連で説明した第２のデータクラスタ２３８は、１つの目または複数の目が閉じている、車両搭乗者の１つの目または複数の目の第２の開放状態を表す。

三角形によって記号で示す複数のデータセットのグループ分けから形成される第３のデータクラスタ４０６は、１つの目または複数の目が開放段階にある、車両搭乗者の１つの目または複数の目の第１の移行状態を表す。

菱形によって記号で示す複数のデータセットのグループ分けから形成される第４のデータクラスタ４０８は、１つの目または複数の目が閉止段階にある、車両搭乗者の１つの目または複数の目の第２の移行状態を表す。

検出された開眼データの外れ値を表すデータセット４１０は、バツ印によって図４の座標系に記入されている。

図４の図面に示すように、個々のデータクラスタ２３６，２３８，４０６，４０８は異なる個別の密度によって、および異なる個別の分布領域によって、座標系の中で特徴づけられる。したがってデータクラスタ２３６および２３８は特別に稠密に、かつ空間的に狭く区切られている。それに対して、データクラスタ４０６および４０８はこれよりも低い密度を有するとともに、データクラスタ２３６および２３８の場合よりも明らかに弱く区切られた比較的広い三次元空間に延びている。個々のデータクラスタ２３６，２３８，４０６，４０８は容易に互いに区別することができ、特に、外れ値４１０を容易に識別することができるので、誤測定によって比較的損なわれることがない眠気認識ないしマイクロスリープ認識のための、車両搭乗者の目状態ないし開眼状態のロバスト性の高い分離と割当が可能である。

図５は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の横軸４００と縦軸４０２の観点から２次元の図で示している。ここでは、データクラスタ２３６，２３８，４０６，４０８の間の空間的な分離をよく見ることができる。

図６は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の横軸４００と垂直軸４０４の観点から別の二次元の図で示している。この図面では、閉じた目を表す第２のデータクラスタ２３８が、ほぼ同じ大きさと同じ形状をした、開いた目を表す第１のデータクラスタ２３６に重なり合う。さらに、閉じつつある目を表す第４のデータクラスタ４０８は、開きつつある目を表す第３のデータクラスタ４０６よりも大幅に広い空間にばらついていることがわかる。

図７は、一例としての計算方法で判定されたデータクラスタ２３６，２３８，４０６，４０８を、図４の座標系の縦軸４０２と垂直軸４０４の観点から、別の２次元の図で示している。ここでも、データクラスタ２３６および２３８の高い密度をよく認めることができる。

図４から７に示す、ここで提案される新規の計算方法について、以下において、実施例を取り上げながら再度理解しやすくまとめる。まず、たとえば５分の時間を有するスライドするタイムスロットの中で、タイムスロットの各々の測定時点について開眼データが検出される。１つの実施例では、開眼データは後に続く図９で詳しく説明する閉眼前処理ユニットないしＥＣＰユニットで処理することができる。

次いで、上に説明したスライドするタイムスロットに属する、開眼データから形成された開眼データセットないしその測定点または検出点が、密度クラスタ分析にかけられる。このときデータセットが存在している空間が、高い密度のデータセットを有している区域がないかどうか探索される。このような区域のすべてのデータセットが、共通のクラスタ２３６，２３８，４０６または４０８に割り当てられる。密度クラスタ分析の１つの考えられる具体化は、ＯＰＴＩＣＳアルゴリズムである（Ankerst, Mihael, et al.著“OPTICS: ordering points to identify the dustering structure.” ACM Sigmond Record. Vol.28. No.2. ACM, 1999参照）。

このような複数のクラスタ２３６，２３８，４０６または４０８を識別することができ、このことは、所属するデータセットをそれぞれ異なるカテゴリーに振り分けることを可能にする。したがって第１のデータクラスタ２３６は、車両搭乗者の目が開いている第１のカテゴリーを特徴づける。第２のデータクラスタ２３８は、車両搭乗者の目が閉じている第２のカテゴリーを特徴づける。第３のデータクラスタ４０６は、車両搭乗者の目が開放段階にある第３のカテゴリーを特徴づける。第４のデータクラスタ４０８は、車両搭乗者の目が閉止段階にある第４のカテゴリーを特徴づける。測定時の外れ値４１０も、同じく図像で表示される。さらに別の測定点および検出点に依拠するさらに別のクラスタの表示も、当然ながら可能である。たとえば別のクラスタは、タコメータに向けた車両搭乗者の視線を特徴づけることができる。

ここで提案されるコンセプトのすでに言及した発展例では、データクラスタ２３６，２３８，４０６，４０８の各々について特性量が決定される。決定にあたっては、それぞれのデータクラスタ２３６，２３８，４０６，４０８の中心に着目することができ、それにより、クラスタ２３６，２３８，４０６，４０８の内部にあるすべてのデータセットの平均値から特性量を決定する。別案として、重心決定を基礎として特性量を判定することもできる。その場合、クラスタ２３６，２３８，４０６，４０８の内部にあるすべてのデータセットの重みづけされた平均値が基礎となる。各々のデータセットについての重みづけは、当該データセットが存在している区域の密度によって与えられる。

このような特性量は、その根底にあるデータセットと同じ３次元空間に位置するので、目開度、搭乗者の目蓋の運動速度、および運動加速度についての値に分解することができる。すなわちクラスタ２３６，２３８，４０６，４０８の特性量から目開度についての値を読み取ることができ、これを開眼レベルないしＥＯＮ値として眠気認識ないしマイクロスリープ認識のために利用することができる。このようなＥＯＮ値は、従来式の手法で決定されるＥＯＮ値よりも明らかに安定的であり、すなわち低い変動しか付随しない。なぜならまばたき事象、タコメータ視認などが計算に取り入れられないからである。いっそうロバスト性の高いＥＯＮ値のほか、ここで提案される方法のさらに別の利点は、まばたき事象、タコメータ視認などを開眼信号で見出すために、さまざまなクラスタ２３６，２３８，４０６，４０８の情報を利用できることにある。

図８は、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法８００の実施例のフローチャートを示している。判定８０２のステップで、上に説明した開眼データを分類する方法に基づいて分類された開眼データを利用したうえで、搭乗者の眠気および／またはマイクロスリープが判定される。

図９は、１つの実施例に基づく、眠気および／またはマイクロスリープに関して車両の運転者を監視するための総合システム９００のアーキテクチャの図を示している。

総合システム９００は３つの主要構成要素９０２，９０４および９０６を有している。第１の主要構成要素９０２は眠気分類部と呼ばれる。第２の主要構成要素９０４はマイクロスリープ認識部と呼ばれる。第３の主要構成要素９０６は、眠気分類部９０２およびマイクロスリープ認識部９０４により共同で利用されるモジュール９０８と、開眼レベルないしＥＯＮを提供する装置９１０とを含んでいる。モジュール９０８は、閉眼前処理ユニットないしＥＣＰユニット（ＥＣＰ；英語Eye Closure Preprocessing）９０８と呼ぶことができる。閉眼前処理ユニット９０８は、右と左の閉眼の検出部と、閉眼のフィルタリング部と、閉眼の速度検出部と、閉眼の加速度検出部と、ＥＯＮを提供するための装置９１０と、妥当性確認部とを含んでいる。

閉眼前処理ユニット９０８は、現在の閉眼、閉眼速度、およびＥＯＮを出力する。

眠気分類９０２では、これらの値がまばたき事象検知部９１２で利用されて、まばたき事象がまばたき指標計算部９１４へ転送される。

まばたき指標計算部９１４はまばたき指標を、個人的なまばたき指標認識部９１６と眠気分類のためのモジュール９１８とへ出力する。モジュール９１８はまばたき指標認識部９１６から個人的なまばたき挙動を読み込んで、眠気レベルを出力する。

マイクロスリープ認識部９０４では、個人的な閉眼認識部９２０、閉眼認識部９２２、およびマイクロスリープ認識のためのモジュール９２４で値が利用される。

個人的な閉眼認識部９２０は、個人的な開眼レベルと個人的な閉眼レベルとを出力する。この両者が閉眼認識部９２２で利用されて、バイナリーの開眼値をモジュール９２４のために提供する。モジュール９２４はマイクロスリープ事象を出力する。

１つの実施例では、ここで提案されるコンセプトに基づいて判定されるロバスト性の高いＥＯＮを、眠気および／またはマイクロスリープを認識するための総合システム９００へ容易に組み入れることができる。別案として、ＥＯＮの計算を、閉眼前処理の枠内においてＥＣＰユニット９０８で行うことができる。引き続き、まばたき事象検出とまばたき指標計算の枠内においてＥＯＮが利用される。

すでに説明したとおり、ＥＯＮは、開いた状態の目蓋の平均的な現在の間隔がどれだけ大きいかを表す。ＥＯＮの計算にあたって重要なのは、考えられるまばたき事象、タコメータ視認などが、計算される値に入り込まないことである。そうしないと、まばたき頻度やまばたき時間などによって、計算される値が影響を受けることになるからである。その場合、まばたき事象の頻度と時間が増すにつれて、そこから得られるＥＯＮは低い結果となる。

ここで提案されるコンセプトに基づいてロバスト性が高く少ない変動しか付随しないＥＯＮの存在は、いくつもの利点をもたらす。したがって、ＥＯＮに対して相対的に定義される限界値を有する、簡単でロバスト性の高いまばたき事象の検知を保証することができる。さらに、たとえばまばたき振幅のようなまばたき事象の特定の指標の簡単な計算が可能である。ＥＯＮの９０百分順位を最大開度として基準とするＰＥＲＣＬＯＳ値のロバスト性の高い計算をする可能性も得られる。

１つの実施例が第１の構成要件と第２の構成要件の間に「および／または」結合を含んでいるとき、このことは、その実施例が１つの実施形態では第１の構成要件と第２の構成要件をいずれも有しており、別の実施形態では第１の構成要件または第２の構成要件だけを有していると読まれるべきである。

１００ 車両
１０２ 装置
１０４ 搭乗者
２００ 装置
２０２ 目
２０８ 開眼データ
２２０ 開眼データセット
２２２ 測定点
２２４ 測定点
２２８ 開眼データセット
２３０ 検出点
２３２ 検出点
２３６ データクラスタ
２３８ データクラスタ
２４０ 特性量
２４２ 目
３００ 方法
３０２ 生起
３０４ 検出
３０６ 実行
３０８ 平均化
４０６ 第３のデータクラスタ
８００ 方法
８０２ 判定

Claims (9)

1. 搭乗者（１０４）の眠気検出および／またはマイクロスリープ検出のために車両（１００）の搭乗者（１０４）の少なくとも１つの目（２０２，２４２）の、第１の開眼データセット（２２０）と第２の開眼データセット（２２８）とを含む開眼データ（２０８）を分類する方法（３００）において、前記方法（３００）は、
   スライドするタイムスロットの中の第１の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第１の目開度と第１の目蓋運動速度と第１の目蓋運動加速度とを、前記第１の開眼データセット（２２０）として測定する、第１のステップ（３０２）と、
   スライドするタイムスロットの中の第２の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第２の目開度と第２の目蓋運動速度と第２の目蓋運動加速度とを、前記第２の開眼データセット（２２８）として測定する、第２のステップ（３０４）と、
   少なくとも前記第１の開眼データセット（２２０）および／または前記第２の開眼データセット（２２８）を第１のデータクラスタ（２３６）に割り当てるクラスタ分析を実行する、実行ステップ（３０６）と、を含み、
   前記第１のデータクラスタ（２３６）は前記搭乗者（１０４）の前記目（２０２，２４２）の開放状態を表す方法（３００）。
2. 前記第２の開眼データセット（２２８）が前記第１のデータクラスタ（２３６）に割り当てられていないとき、前記第２の開眼データセット（２２８）が破棄されるステップを有することを特徴とする、請求項１に記載の方法（３００）。
3. 前記実行ステップ（３０６）において、前記第１の開眼データセット（２２０）が前記第１のデータクラスタ（２３６）に割り当てられ、前記第２の開眼データセット（２２８）が第２のデータクラスタ（２３８）に割り当てられ、前記第２のデータクラスタ（２３８）は前記搭乗者（１０４）の前記目（２０２，２４２）の別の開放状態を表すことを特徴とする、請求項１に記載の方法（３００）。
4. 前記実行ステップ（３０６）において、前記開放状態は前記搭乗者（１０４）の開いた眼（２０２，２４２）を表し、前記別の開放状態は前記搭乗者（１０４）の閉じた目（２０２，２４２）を表すことを特徴とする、請求項３に記載の方法（３００）。
5. スライドするタイムスロットの中の第３の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第３の目開度と第３の目蓋運動速度と第３の目蓋運動加速度とを、第３の開眼データセットとして測定する、第３のステップとを含み、
   前記実行ステップ（３０６）において、前記第３の開眼データセットを第３のデータクラスタ（４０６）に割り当てるクラスタ分析が実行され、前記第３のデータクラスタ（４０６）は前記搭乗者（１０４）の前記目（２０２，２４２）の移行状態を表すことを特徴とする、請求項４に記載の方法（３００）。
6. 移行状態は前記搭乗者（１０４）の前記目（２０２，２４２）の開放段階または前記搭乗者（１０４）の前記目（２０２，２４２）の閉止段階を表すことを特徴とする、請求項５に記載の方法（３００）。
7. 車両（１００）の搭乗者（１０４）の眠気および／またはマイクロスリープを検出する方法（８００）であって、前記方法（８００）は、
   スライドするタイムスロットの中の第１の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第１の目開度と第１の目蓋運動速度と第１の目蓋運動加速度とを、前記第１の開眼データセット（２２０）として測定する、第１のステップ（３０２）と、
   スライドするタイムスロットの中の第２の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第２の目開度と第２の目蓋運動速度と第２の目蓋運動加速度とを、前記第２の開眼データセット（２２８）として測定する、第２のステップ（３０４）と、
   スライドするタイムスロットの中の第３の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第３の目開度と第３の目蓋運動速度と第３の目蓋運動加速度とを、第３の開眼データセットとして測定する、第３のステップと、
   前記第１の開眼データセット（２２０）を前記第１のデータクラスタ（２３６）に、前記第２の開眼データセット（２２８）を前記第２のデータクラスタ（２３８）に、前記第３の開眼データセットを前記第３のデータクラスタ（４０６）に割り当てるクラスタ分析を実行する、実行ステップ（３０６）と、を含み、
   前記搭乗者（１０４）の開いた目（２０２、２４２）を表す前記第１のデータクラスタ（２３６）と、
   前記搭乗者（１０４）の閉じた目（２０２、２４２）を表す前記第２のデータクラスタ（２３８）と
   前記搭乗者（１０４）の前記目（２０２，２４２）の開放段階または閉止段階を表す前記第３のデータクラスタと、
   を利用したうえで眠気および／またはマイクロスリープを検出する方法。
8. 請求項１に記載の方法（３００）における、
   スライドするタイムスロットの中の第１の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第１の目開度と第１の目蓋運動速度と第１の目蓋運動加速度とを、前記第１の開眼データセット（２２０）として測定する、第１のステップ（３０２）と、
   スライドするタイムスロットの中の第２の測定時点における、前記搭乗者（１０４）の前記目（２０２，２４２）の、第２の目開度と第２の目蓋運動速度と第２の目蓋運動加速度とを、前記第２の開眼データセット（２２８）として測定する、第２のステップ（３０４）と、
   少なくとも前記第１の開眼データセット（２２０）および／または前記第２の開眼データセット（２２８）を第１のデータクラスタ（２３６）に割り当ててクラスタ分析を実行する、実行ステップ（３０６）と、を実行するための装置（１０２；２００）。
9. コンピュータに請求項１から７のいずれか１項に記載の方法を実施させるためのプログラムが記憶されている機械読取り可能な記憶媒体。

Images