JP4845886B2 - 個人の警戒レベルの指示を生成するための方法及び装置 - Google Patents

Description

本発明は全体的に、認識システムの分野に関連する。より詳細には、本発明は、個人の警戒（vigilance of an individual）のレベルの検知の分野に係る。

科学技術の進歩にも関わらず、人間は依然として、小さな間違いが非常にコストを増加させ得るような複雑な仕事を実現することが要求される。間違いは、例えば、疲労／眠気に起因して発生し得る。トラックのような車両を移動させる場合には、そのような間違いの結果は悲劇的である。

種々の方法を用いて眠気を検知することが知られている。例えば、ＰＥＲＣＬＯＳ（PERcent eyelid CLOSure：パーセントによる瞼の閉鎖）法においては、時間に亘る、瞳孔に対する、瞼の閉じ具合のパーセントの測定が実行され、瞬きよりはむしろ、遅い瞼の閉鎖を反映する。残念ながら、そのような検知は、しばしば、限定された目的に関するものである。何故なら、この時点では、代替的な戦略を実行するには遅すぎ、状況は、既に、危機的であり得るからである。それゆえ、眠気の予測を可能とする方法及び装置に対するニーズが存在する。

他の従来技術の方法において、披検体の眠気との相関を持つものであることが知られている、３０Ｈｚを越える信号要素を測定するために、ＥＥＧ（Electroencephalogram：脳波図）が使用される。残念なＧら、そのような方法は面倒である。
上述の課題の少なくとも１つを克服する方法及び装置に対するニーズが存在する。

個人の警戒のレベルの指示（indication）を生成するための方法及び装置を提供することは、本発明の目的である。

個人の警戒のレベルが減少した場合に、個人に警告するための方法及び装置を提供することは、本発明の他の目的である。

個人の眠気を予測するための方法及び装置を提供することは、本発明の他の目的である。

本発明の第１の特徴によれば、個人の警戒のレベルの指示を生成するための装置であって、前記装置が、個人の少なくとも１つの目の注視データ・ストリームを与える注視（gaze）捕獲ユニット、前記注視データ・ストリームを受信し、前記注視データ・ストリームを使用して、警戒のレベルの指示を決定する処理ユニット、及び、前記警戒のレベルの前記指示を受信し、提供するデータ提供ユニット、を備える装置が提供される。

本発明の他の特徴によれば、個人の警戒のレベルの指示を生成するための方法であって、前記個人の複数の注視方向（directions）を捕獲し、前記捕獲された、個人の複数の注視方向を分析して、注視パターンを決定し、前記注視パターンを用いて警戒のレベルの指示を生成する、ステップを含む方法が提供される。

本発明の他の特徴によれば、個人の眠気を予測するための方法であって、個人の複数の注視方向を捕獲し、前記捕獲された、個人の複数の注視方向を分析して、注視パターンを決定し、前記注視パターンを用いて、警戒のレベルの指示を生成し、前記警戒のレベルの前記指示を用いて個人の眠気の指示を提供する、ステップを含む方法が提供される。

本発明の更なる特徴及び利点が、添付の図面を用いて為される、以下の詳細な説明から明確になろう。

添付の図面を通じて、類似の特徴は、類似の数字によって特定されることが理解されるべきである。

眠さ（sleepiness）とも呼ばれる眠気(drowsiness)の定義は、Santamaria及びChiappaの「The EEG of Drowsiness in Normal Adults」(Journal of Clinical Neurophysiology, 4, 4, 1987, pp327-379)に見つけられ得る。眠気は、「Vigilance on the civil flight deck: Incidence of sleepiness and sleep during long-haul flights and associated change in physiological parameters」(Ergonomics, 44, 1, 82, (25p))においてWrightによって「レベル0.5」とも呼ばれる。２つの直近の（last）引用文献の各々が、眠気の定義を開示する一方、「眠気」の定義が、これらの定義に限定されず、等業者は、眠気の他の定義が、関連する文献に発見され得ることを理解するであろうことが理解されるべきである。この説明は、全てのそのような定義を包含することが意図される。

ここで、図１を参照する。ここには、個人の警戒のレベルの指示を用いる装置8の実施例が示される。

装置8は、注視捕獲ユニットの実施例である画像捕獲ユニット10、処理ユニット12、データ提供ユニット14、ユーザ・インターフェース16、及び、メモリ・ユニット18を備える。

画像捕獲ユニット10は、注視データ・ストリームの実施例である画像データ・ストリーム信号を提供するようにされる。画像データ・ストリーム信号は、個人の、複数の、適宜間隔が空けられた（timely-spaced）画像を含む。より詳細には、適宜間隔が空けられた画像は、少なくとも個人の目（eyes）を含む。適宜間隔が空けられた画像は、個人の目（eyes）の１つだけを含み得ることが考えられてきた。好ましくは、画像捕獲ユニット10が、昼夜において個人の目を検知するために赤外線センサを備える、デジタルの白黒画像捕獲ユニットであることが理解されるべきである。画像捕獲ユニット10は、好ましくは、暗い画像からの明るい画像の減算から得られる、結果としての画像を提供する。

処理ユニット12は、画像捕獲ユニット10によって提供される画像データ・ストリーム信号を用い、更に、検索するためにメモリ・ユニット18によって提供されるデータ信号を用いて、個人の警戒のレベルの指示を提供するようにされる。処理ユニット12は、更に、メモリ・ユニット18に記憶するために、データ信号を提供するようにされる。処理ユニット12は、フィールド・プログラマブルなゲート・アレイ（ＦＰＧＡ）、プロセッサ、マイクロコントローラ、専用回路、等からなるグループから選択される。

データ提供ユニット14は、警戒のレベルの指示を受信し、ユーザ・インターフェース16に提供するために検知信号を提供する。

ユーザ・インターフェース16は、ユーザ・インターフェース163に提供される検知信号によって、個人に（又は、後述のような他の主体に）信号を提供するようにされる。この信号は、視覚的信号、音声信号、刺激信号（stimulation signals）、及び、動き信号からなるグループから選択される知覚上のデータであり得る。それ故、ユーザ・インターフェース16は、例えば、音声提供ユニット、表示ユニット、動き提供ユニット、携帯電話、等を備える。当業者は、個人に信号を提供するために、車内のＬＣＤスクリーン・ディスプレイ、カーナビゲーション・コンソール、等のような、個人に情報を与える現存するユーザ・インターフェースが、有利に用いられ得ることを理解するであろう。

メモリ・ユニット18は、記憶部にデータ信号を記憶して、後述のように検索するために更にデータ信号提供するようにされる。

図２を参照して、生成された警戒のレベルの指示に従って、如何にして、動作が実行されるかが示される。

ステップ20によって、個人の複数の注視方向が捕獲される。複数の注視方向は、画像捕獲ユニットを用いて捕獲される。

さて、図３を参照して、如何にして、個人の複数の注視方向が捕獲されるかが示される。

ステップ30によって、一時的な位置（temporal location）の指示を伴った画像が捕獲される。画像は、画像捕獲ユニット10を用いて捕獲される。上述のように、捕獲された画像は、好ましくは、個人の暗い画像（その中で個人の目の瞳が黒くなる）からの、個人の明るい画像（その中で目の瞳が白くなる）の減算の結果としての画像である。当業者は、これが、目の瞳の位置を特定（locate）するための大きな利点であることを理解するであろう。

ステップ32によって、個人の頭に対する目の位置が、捕獲された画像内で検知される。個人の目の位置は、処理ユニット12によって検知される。より正確には、目の位置は、「Lips and face real time tracker」(プエルト・リコのOlivier, Pentland 及び、Berardによる、Conference on computer vision and pattern recognition, 1997年６月、pp123-129)において議論されるように目の瞳を検知するために、Kalmanアルゴリズムを用いて検知される。目の位置の検知によって、一意的にそれぞれの目の位置を識別するために、Ｘ軸及びＹ軸がそれぞれの目に対応付けられることが理解されるべきである。

ステップ34によって、対応する一時的な位置の指示を伴った目の位置が与えられる。目の位置は、図１には不図示のメモリに与えられる。

再び図２を参照して、そして、ステップ22によって、捕獲された、個人の複数の注視方法は分析されて、注視パターンを与える。

さて、図４を参照して、如何にして、捕獲された、個人の複数の注視方向が分析されるかが示される。

ステップ40によって、画像における目の位置が、時間指示とともに与えられる。
ステップ42によって、目の位置及び時間指示（time indication）を用いて、目の固定位置が決定される。目の固定位置は、処理ユニット12を用いて決定される。
ステップ44によって、処理ユニット12を用いて、２つの目の位置の間の移動周波数が決定される。

ステップ46によって、決定された目の固定、及び、決定された移動周波数を用いて注視パターンが生成される。

再び図２及びステップ24を参照して、生成された注視パターンを用いて警戒のレベルの指示が生成される。

さて、図５を参照して、生成されたパターンを用いて、如何にして、警戒のレベルの指示が生成されるかが示される。

ステップ50によって、生成されたパターンは、存在するパターンと比較される。複数の存在するパターンが、メモリ・ユニット18に記憶されることが理解されるべきである。各、存在するパターンは、警戒のレベルに関連される。実際、個人の警戒のレベルの減少が起こるような場合において、アルファ周波数（ＥＥＧを用いて測定され得る）の量が増加し、目の固定位置が大まかに１つのポイントに集中し、サッカード（saccade）長の削減が、観察されることが考慮されてきた（contemplated）。更に、目の固定位置（eyes fixation positions）は、より構造化され（structured）、目の固定位置が増加する期間の間に目の固定の周波数は減少する。それゆえ、個人の警戒のレベルを、個人に割当てられた作業負荷に、及び更に、個人の注視に関連付けることが可能である。

ステップ52によって、警戒のレベルの指示が、個人の注視パターンと、複数の存在する（existing）パターンの比較の結果を用いて決定される。警戒のレベルの指示は、処理ユニット12を用いて決定される。

より詳細には、警戒のレベルは、ステップ50で実行された比較の結果、個人の、存在するパターンに近いと発見された、存在するパターンの各々に対して対応する警戒のレベルを用いて選択される。１つより多い対応する警戒のレベルを用いて補間が実行され得る。

個人に対する警戒のレベルの指示が提供されることが開示されてきた一方、当業者によって、個人に対する警戒のレベルの変化（variation）の指示もまた、提供され得ることもまた理解されるべきである。また、当業者は、警戒レベルの指示が、好ましくは、明確性の目的のために図１には不図示の、対応する一時的位置の指示と一緒に提供されることを理解するであろう。

ステップ54によって、警戒のレベルの決定された指示は、データ提供ユニットに提供される。決定された警戒のレベルの指示が、対応する注視データ・ストリーム・パターンと共に、メモリ・ユニット18にも提供され得ることもまた、理解されるべきである。

再度、図２を参照し、ステップ26によって、生成された警戒のレベルの指示に従って動作が実行される。動作は、求められるアプリケーション、警戒のレベル、警戒のレベルにおける変動（variation）、等のような種々の基準に依存する。例えば、警戒のレベルのために、第１の所定のスレッシュホールドが提供され得る、又は、警戒のレベルの変動のために第２の所定のスレッシュホールドが提供され得る。そのような場合には、警戒のレベルにおける変動が第２の所定のスレッシュホールドに達するような場合に、又は、警戒のレベルの指示が第１の所定のスレッシュホールドより低くなるときに、情報信号が提供され得る。情報信号は警報信号を含み得る。

動作（action）は、個人のユーザ・インターフェース16を介して実行される。或いは、動作は、遠隔の場所において実行され得る。

代替的な実施例において、個人の警戒のレベルの指示を生成するための装置は、前記個人の少なくとも１つの目の注視データ・ストリームを提供する注視捕獲ユニット、提供された注視データ・ストリームを受信して利用し、警戒のレベルの指示を生成する処理ユニット、及び、警戒のレベルの指示を受信し提供するデータ提供ユニット、を備える。注視捕獲ユニットは、好ましくは、画像捕獲ユニットである。１つの実施例において、処理ユニットは、警戒のレベルの指示を生成するために、式（formulae）において、時間に亘る（over time）受信された注視データ・ストリームを用いている。そのような式は、Chia-Fen及びFang-Tsan Linによる「A new method for using eye movement data」（International Journal of Industrial Ergonomics 19 (1997) 249-257）に開示されており、ここに参照によって取り込まれる。

当業者は、開示された実施例が、例えば、個人が、移動する船（vessel）のオペレータである場合、個人が工場のオペレータである場合、個人が発電所のオペレータである場合、等のような、個人の警戒のレベルの監視が重要であるような多くのアプリケーションにおいて使用され得ることを理解するであろう。

更に、当業者は、そのような方法及び装置が、早期段階の眠気（睡眠段階）の検知を可能とすること、即ち、眠気の予測を可能とすること、を理解するであろう。そのような予測を可能とすることは、眠気の後の段階で発生しうる潜在的な致命的なエラーを避けるために実施され得る適切な手段として非常に有利である。本方法及び装置は、警戒のレベルの経時的な進展を監視するためにも使用され得、そして、それ故、個人の残りの認知リソース（cognitive resources）を示す情報を提供するために使用され得る。残りの認知リソースを示す情報は、次に、偶発事件／事故のリスクの指示に関連付けられ得る。次に、種々の警報信号が、個人に次に提供され得ることが理解されるべきである。例えば、彼の認知能力（cognitive capabilities）を評価するために、個人にカスタマイズされたテストを提供することが可能であり得る。個人は、例えば車を停止させることのような警戒の指示に適した情報／示唆をも受け取り得る。更に、より大きな規模で必要な対策を講じるために、オペレータは個人に関する情報をも受け取り得る。

データ処理ユニット14が、検知信号をユーザ・インターフェース16に提供することが議論されてきた一方、ボディー・エリア・ネットワーク（ＢＡＮ：body area network）、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、及び、ワイド・エリア・ネットワーク（ＷＡＮ）の少なくとも１つを用いて、遠隔位置に検知信号が提供され得ることが理解されるべきである。

明確なデータ信号接続を介して互いに通信するディスクリートの要素のグループとしてブロック図に示される一方、当業者にとって、ハードウェア要素及びソフトウェア要素の組合せであって、いくつかの要素が、ハードウェア又はソフォトウェア・システムの所定の機能又は作動によって実現されるものによって好ましい実施例が提供されること、及び、説明されるデータ・パスの多くが、コンピュータ・アプリケーション又はオペレーティング・システム内のデータ通信によって実現されることが理解されるであろう。説明される構造は、このように、この、好ましい実施例の説明の便宜のために提供される。

本発明が、方法として実施され得、システム、コンピュータ読み出し可能な媒体、又は、電気的若しくは電磁気的信号の中で実現され得ることに留意頂きたい。

上述の本発明の実施例は、説明の目的のみを持つことが意図されている。本発明の範囲は、それ故、添付の請求項の範囲によってのみ限定されることが意図される。

個人の警戒のレベルの指示を用いる装置の実施例を示すブロック図である。 警戒のレベルの指示による動作が実行される実施例を示すフローチャートである。 如何にして個人の複数の注視方向が捕獲されるかを示すフローチャートである。 注視パターンを提供するために、如何にして個人の複数の注視方向が分析されるかを示すフローチャートである。 パターンを用いて、如何にして警戒のレベルの指示が生成されるかを示すフローチャートである。

Claims (24)

1. 個人の警戒のレベルの指示を提供するための方法であって、
   所定の時間に亘って、前記個人の少なくとも１つの目の、時間間隔が空けられた複数の画像を捕獲し、
   前記個人の頭に対する、前記少なくとも１つの目の位置を、複数の時間値において検知し、
   前記少なくとも１つの目の位置から、時間に亘る目の固定位置と、該目の固定位置間での移動周波数を決定し、
   前記目の固定位置、及び前記移動周波数を用いて注視パターンを生成し、
   前記注視パターンを、各々が所定の警戒のレベルに関連する既存のパターンと比較し、
   前記注視パターンに対して、対応する警戒のレベルを決定し、
   前記対応する警戒のレベルの指示を生成、及び提供する、
   ステップを含む方法。
2. 前記警戒のレベルの指示を生成するステップが、
   前記警戒のレベルを計算するために時間に亘る（over time）所定の式（formulae）を用いるステップを含む、
   請求項１に記載の方法。
3. 前記警戒のレベルの指示を生成するステップが、
   前記警戒のレベルの前記生成された指示を、所定の基準と比較するステップを更に含む、請求項１−２のいずれかに記載の方法。
4. 前記警戒のレベルの前記指示が所定のスレッシュホールドより低い場合に情報信号を提供するステップを更に含む、請求項１−３のいずれかに記載の方法。
5. 前記情報信号が警報信号を含む、請求項４に記載の方法。
6. 少なくとも２つの連続的な警戒のレベルが生成され、
   更に、前記少なくとも２つの警戒のレベルの間の変動の指示を提供するステップを含む、請求項１−３のいずれかに記載の方法。
7. 前記変動が、所定のスレッシュホールドを越える場合に、情報信号を提供するステップを更に含む、請求項６に記載の方法。
8. 前記情報信号が警報信号を含む、請求項７に記載の方法。
9. 前記注視パターンと共に前記警戒のレベルの前記指示を記憶するステップを更に含む、請求項１−８のいずれかに記載の方法。
10. 前記複数の画像の各々としては、前記個人の少なくとも１つの目が含まれる、明度が互いに異なる画像間で画像減算を行うことにより得られる画像が捕獲され、
    更に、
    前記少なくとも１つの目の位置を検知するステップが、前記画像減算を行うことにより得られる画像を用いて実行される、
    請求項１に記載の方法。
11. 個人の警戒のレベルの指示を提供するための装置であって、
    所定の時間に亘って、前記個人の少なくとも１つの目の、時間間隔が空けられた複数の画像を捕獲する画像捕獲ユニットを備えた、該個人の少なくとも１つの目の注視データ・ストリームを提供する注視捕獲ユニット、
    前記注視データ・ストリームを受信し、前記注視データ・ストリームを用いて、
    前記個人の頭に対する、前記少なくとも１つの目の位置を、複数の時間値において検知し、
    前記少なくとも１つの目の位置から、時間に亘る目の固定位置と、該目の固定位置間での移動周波数を決定し、
    前記目の固定位置、及び前記移動周波数を用いて注視パターンを生成し、
    前記注視パターンを、各々が所定の警戒のレベルに関連する既存のパターンと比較し、
    前記注視パターンに対して、対応する警戒のレベルを決定し、
    前記対応する警戒のレベルの指示を生成する、処理ユニット、及び、
    前記警戒のレベルの前記指示を受信し、提供するデータ提供ユニット、
    を備える装置。
12. 前記処理ユニットが、時間に亘る前記注視データ・ストリームを受信し、式を用いて前記警戒のレベルの指示を生成する、請求項１１に記載の装置。
13. 複数の既存のパターンを含むメモリ・ユニットであって、各既存のパターンが、目の固定位置、及び、少なくとも２つの目の位置の間の移動周波数、及び、対応する警戒のレベルを含むメモリ・ユニット、
    を更に備え、
    更に、
    前記処理ユニットが、前記生成された注視パターンを、前記メモリ・ユニットに含まれる、前記複数の既存のパターンの少なくとも１つと比較して、前記警戒のレベルを決定する、
    請求項１１に記載の装置。
14. 前記画像捕獲ユニットが、前記複数の画像の各々として、前記個人の少なくとも１つの目が含まれる、明度が互いに異なる画像間で画像減算を行うことにより得られる画像を捕獲し、
    前記処理ユニットが、前記画像減算を行うことにより得られた画像を用いて前記少なくとも１つの目の位置を検知する、
    請求項１１に記載の装置。
15. 前記警戒のレベルの前記指示を受信し、前記警戒のレベルの前記指示に従って、前記個人に信号を提供するユーザ・インターフェースを更に備える、
    請求項１１−１４のいずれかに記載の装置。
16. 前記提供された信号が、知覚的信号（sensorial signal）を含む、請求項１５に記載の装置。
17. 前記知覚的信号が、視覚信号、音声信号、刺激信号、及び、動き信号、からなるグループから選択される、請求項１６に記載の装置。
18. 前記データ提供ユニットが、前記警戒のレベルの前記指示を、ボディー・エリア・ネットワーク（ＢＡＮ：body area network）、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、及び、ワイド・エリア・ネットワーク（ＷＡＮ）の少なくとも１つを用いて遠隔位置に提供する、請求項１３に記載の装置。
19. 個人の眠気を予測するための方法であって、
    所定の時間に亘って、前記個人の少なくとも１つの目の、時間間隔が空けられた複数の画像を捕獲し、
    前記個人の頭に対する、前記少なくとも１つの目の位置を、複数の時間値において検知し、
    前記少なくとも１つの目の位置から、時間に亘る目の固定位置と、該目の固定位置間での移動周波数を決定し、
    前記目の固定位置、及び前記移動周波数を用いて注視パターンを生成し、
    前記注視パターンを、各々が所定の警戒のレベルに関連する既存のパターンと比較し、
    前記注視パターンに対して、対応する警戒のレベルを決定し、
    前記対応する警戒のレベルの指示を生成し、そして、
    前記警戒のレベルの前記指示を用いて前記個人の眠気の指示を提供する、
    ステップを含む方法。
20. 前記警戒のレベルの指示を生成するステップが、前記警戒のレベルを計算するために、時間に亘る所定の式を使用するステップを含む、請求項１９に記載の方法。
21. 前記眠気の指示を提供するステップが、更に、
    前記眠気の指示が、所定のスレッシュホールドを越える場合に、警報信号を提供するステップを含む、請求項１９−２０のいずれかに記載の方法。
22. 前記複数の画像の各々としては、前記個人の少なくとも１つの目が含まれる、明度が互いに異なる画像間で画像減算を行うことにより得られる画像が捕獲され、更に、
    前記少なくとも１つの目の位置を検知するステップが、前記画像減算を行うことにより得られた画像を用いて実行される、
    請求項１９に記載の方法。
23. 実行されたときに、コンピュータに、請求項１−１０のいずれかに記載の方法を実行させる、コンピュータ読み取り可能な命令を含む、コンピュータ読み取り可能な媒体。
24. 実行されたときに、コンピュータに、請求項１９−２２のいずれかに記載の方法を実行させる、コンピュータ読み取り可能な命令を含む、コンピュータ読み取り可能な媒体。

Images