JP6215944B2 - 眠気を検知するための、まぶたの動きに関する処理 - Google Patents

Description

本発明は、車両運転者の警戒レベルを検知する方法に関する。本方法は、車両運転者のまぶたの動きを検知するステップと、検知されたまぶたの動きを表す電気信号を生成するステップと、電気信号を分析するステップと、分析結果に基づき、車両運転者の警戒レベルが特定の閾値を下回っているか否かを判定するステップとを含む。

本発明はまた、車両運転者用の眠気検知装置であって、デジタルカメラ装置及び制御ユニットを備える眠気検知装置に関する。デジタルカメラ装置がまた、映像処理装置を備え、一連の画像における、車両を運転している人の目を検知するために配置されている。映像処理装置が、前記画像におけるまぶたの動きを検知し、まぶたの動きの画像を、電気信号に変換し、電気信号を制御ユニットに転送するために配置されている。

眠気は、自動車、列車、航空機及びボート等の車両の運転者の能力を損なうため、車両運転者の眠気を検知することが望ましい。産業用機器の操作員等に対して、眠気を検知することが望ましい場合もある。眠気は、例えば、不十分な睡眠又は薬物の使用によることがある。

眠気に関する問題点は、一般的に、人は、眠気がさしたとき、自身の眠気に気付かないことである。これは、眠気の本質に起因する。したがって、人が、いつ、眠気のレベルが危険なレベルになるかを予測することは困難である。

今日、車両運転者の眠気を検知するために、まぶたの動きを測定する、多くの装置及び方法が知られており、ほとんどの場合、デジタルカメラが、車両運転者の両目のうち少なくとも片目の画像を取り込む。その後、これらの画像は、眠気を検知するために、様々な方法で加工される。米国特許第７７９１４９１号明細書は、眠気を測定するために、まぶたの開閉の大きさ／速度比を使用することを開示している。米国特許第６２４３０１５号明細書は、どのようにして、目の上下方向の幅が判定され、閾値と比較されるかを説明している。

米国特許第７７９１４９１号明細書 米国特許第６２４３０１５号明細書

しかしながら、まぶたの動きを測定するための、従来から知られている装置及び方法には、例えばノイズに対する感度のような、低質なまぶたの検知及び画像処理による誤警報という課題がある。

したがって、従来から知られているこの種の機器よりロバストであり、誤警報のリスクが緩和されている、人の眠気を検知するために、まぶたの動きを測定する装置及び方法が必要とされている。

上記の課題は、人の警戒レベルを検知する方法であって、人のまぶたの動きを検知するステップと、検知されたまぶたの動きを表す電気信号を生成するステップと、電気信号を分析するステップと、分析結果に基づき、人の警戒レベルが、特定の閾値を下回っているか否かを判定するステップとを含む方法により、達成される。また、電気信号を分析する前記ステップが、モデル化された信号を電気信号に対して当てはめることと、モデル化された信号が、まばたきを成しているか否かを判定することとを含む。人の警戒レベルが特定の閾値を下回っているか否かを判定するステップでは、いくつかのモデル化された信号を使用し、いくつかのモデル化された信号のそれぞれが、まばたきを成しているとあらかじめ判定されている。

上記の課題はまた、人用眠気検知装置であって、デジタルカメラ装置及び制御ユニットを備える人用眠気検知装置により、達成される。デジタルカメラ装置がまた、映像処理装置を備え、一連の画像における、人の目を検知するために配置されている。映像処理装置が、前記画像におけるまぶたの動きを検知し、まぶたの動きの画像を、電気信号に変換し、電気信号を制御ユニットに転送するために配置されている。制御ユニットが、モデル化された信号を、電気信号に対して当てはめるため、及びモデル化された信号が、まばたきを成しているか否かを判定するために配置されている。また、制御ユニットが、人の警戒レベルが、特定の閾値を下回ったかどうかを判定するために、いくつかのモデル化された信号を使用するために配置され、いくつかのモデル化された信号のそれぞれが、まばたきを成しているとあらかじめ判定される。

一例によれば、モデル化された信号のそれぞれは、以下のように定義される。

この数式において、ｋ_ｉ、ｋ_３、ｍ_ｉ、ｍ_２、及びｍ_３は、それぞれのまばたきに対して定義される定数であり、時間ｔ_ｉ、ｔ_２、ｔ_３、及びｔ_４は、モデル化された信号の時間間隔を定義する。

別の例によれば、モデル化された信号を、電気信号に対して当てはめるために、定数ｍ_２だけでなく、時間間隔を定義する時間ｔ_ｉ、ｔ_２、ｔ_３、及びｔ_４が、誤差εを最小化するために変化させられるように、誤差εが以下の数式により計算される。

他の定数ｋ_ｉ、ｋ_３、ｍ_ｉ、及びｍ_３は、回帰を使用することにより推定される。

他の例は、従属請求項に開示されている。

本発明により、いくつかの利点が得られる。主に、まぶたの動きの測定を、誤警報のリスクが緩和された、よりロバストな方法で行うことができる。

これより、添付の図面を参照して、本発明をより詳細に説明する。

デジタルカメラ装置を備える車両を示す、概略的な、破断側面図である。 まぶたの動きに相当する、フィルタリングされた信号を示す、第１のグラフである。 まぶたの動きに相当する、フィルタリングされた信号を示す、第２のグラフである。 まぶたの動きに相当する、フィルタリングされた信号を示す、第３のグラフである。 本発明による方法を示す、フローチャートである。

図１は、車両１の破断部分を概略的に示し、図１において、車両１は、デジタルカメラ装置２を備える。デジタルカメラ装置２は、光源（不図示）を備えてもよく、車両１を運転している人４の目３の画像を取り込み、これらの画像を制御ユニット５に転送するために配置されている。車両１を運転している人４が、眠気を催しているか否かを判定するために、まぶたの動きが使用されるため、特に、まぶたの動きが注目される。

より詳細には、例えば、デジタルカメラ装置２は、６０Ｈｚのフレームレートで動作する。４０Ｈｚ等の、他のフレームレートも考えられる。デジタルカメラ装置２は、一連の画像で、車両１を運転している人４の目３を検知するために配置されている。デジタルカメラ装置２に含まれる映像処理装置６が、これらの画像内のまぶたの動きを検知し、まぶたの動きの画像を信号に変換するために配置されている。その後、この信号は制御ユニット５に転送され、制御ユニット５で、ノイズを低減するために、フィルタリングされる。

図２は、まぶたの動きに相当する、フィルタリングされた信号ｓ（ｔ）の第１のグラフ１５を示す。フィルタリングされた信号ｓ（ｔ）は、図３に破線で示され、「生データ」として示されている。ｘ軸は秒単位の時間を示し、ｙ軸はメートル単位のまぶたの開きを示す。また、フィルタリングされた信号ｓ（ｔ）と比較するためにあらかじめ生成され、このフィルタリングされた信号ｓ（ｔ）に当てはめられた、モデル化された信号ｙ（ｔ）を示すグラフが、図３において、太字の実線により示され、「モデル化されたまばたき」として示されている。

モデル化された信号ｙ（ｔ）は、この例において、以下のように定義される。

(1)

この数式において、ｋ_ｉ、ｋ_３、ｍ_ｉ、ｍ_２、及びｍ_３は、それぞれのまばたきに対して定義される定数である。図２に示すように、第１の時間間隔ｔ_１≦ｔ＜ｔ_２は、第１の時間ｔ_ｉにおける第１のフランクの値と、第２の時間ｔ_２における第１のフランクの最小値との間にあり、第２の時間間隔ｔ_２≦ｔ＜ｔ_３は、第１のフランクの最小値と、第３の時間ｔ_３における第２のフランクの最小値との間にあり、第３の時間間隔ｔ_３＜ｔ≦ｔ_４は、第２のフランクの最小値と、第４の時間ｔ_４における第２のフランクの値との間にある。したがって、２つのフランクの最小値間において、モデル化された信号ｙ（ｔ）は、定数ｍ_２であると考えられる。また、モデル化された信号ｙ（ｔ）は、第１の時間ｔ_ｉと、第２のフランクの値である第２の時間ｔ_４との間にのみ定義される。時間ｔ_ｉ、ｔ_２、ｔ_３、及びｔ_４のそれぞれは、モデル化された信号ｙ（ｔ）の不連続点に配置されている。これは、それぞれの不連続点において、時間ｔ_ｉ、ｔ_２、ｔ_３、及びｔ_４のそれぞれの特性が変化するためである。

誤差εを見つけるための誤差関数は、以下のように定義される。

(2)

この数式において、Ｎは、サンプル数である。したがって、誤差εは、フィルタリングされた信号ｓ（ｔ）と、モデル化された信号ｙ（ｔ）との間の絶対平均誤差と定義される。この数式において、定数ｍ_２だけでなく、間隔を定義する時間ｔ_ｉ、ｔ_２、ｔ_３、及びｔ_４も、誤差εを最小化するために変化させられる。他の定数ｋ_ｉ、ｋ_３、ｍ_ｉ、及びｍ_３は、回帰により推定される。

いくつかのモデル化された信号ｙ（ｔ）が得られるように、モデル化された信号ｙ（ｔ）が、電気信号ｓ（ｔ）に対して、繰り返し当てはめられる。それぞれがまばたきを表す、いくつかのモデル化された信号ｙ（ｔ）が得られるように、得られた、モデル化された信号ｙ（ｔ）のそれぞれが、まばたきを表すかどうかが判定される。モデル化された信号ｙ（ｔ）が、まばたきを表すか否かの判定は、誤差の閾値と、開閉に関するパラメータの尤度とを考慮して行われ得る。まばたきに対して設定された条件が、いずれか１つでも満たされない場合、テストされた、モデル化された信号ｙ（ｔ）は、まばたきを表していないとみなされる。そうでない場合は、まばたきを表しているとみなされる。

その後、まばたきを表す、モデル化された信号ｙ（ｔ）が、車両運転者の警戒レベルが、特定の閾値を下回っているか否かを判定するために使用される。この閾値は、多くの方法で、及び様々なレベルに設定できる。このことは、当業者であれば容易に想定できるものであり、本明細書においては、これ以上論じない。

図３は、第１のグラフ１５と同種の第２のグラフ１６を示し、フィルタリングされた信号ｓ（ｔ）は、その一部に雑音１７を有することを示す。第１のモデル化された信号ｙ_ｉ（ｔ）、第２のモデル化された信号ｙ_２（ｔ）及び第３のモデル化された信号ｙ_３（ｔ）は、まばたきを成していると考えられている。誤差εが所定の閾値を下回っている部分では、モデル化された信号を、フィルタリングされた信号ｓ（ｔ）に当てはめることができなかったという理由により、フィルタリングされた信号ｓ（ｔ）の雑音部１７を有する部分を切り捨てることが、本発明により可能となっている。

図４は、はじめの２つのグラフ１５、１６と同種の第３のグラフ１８を示す。図４は、どのように、第４のモデル化された信号ｙ_４（ｔ）、第５のモデル化された信号ｙ_ｓ（ｔ）、第６のモデル化された信号ｙ_６（ｔ）及び第７のモデル化された信号ｙ_７（ｔ）が、まばたきを成していると考えられたかを示す。ここで、第５のモデル化された信号ｙ_ｓ（ｔ）は、まばたきに相当するが、このまばたきは、他のモデル化された信号ｙ_４（ｔ）、ｙ_６（ｔ）、及びｙ_７（ｔ）より明らかに長い時間にわたっている。

これらのグラフ１６、１８は、本発明の汎用性及びロバスト性の例を示す。

図５を参照すると、本発明は、車両運転者の警戒レベルを検知する方法であって、
７：車両運転者のまぶたの動きを検知するステップと、
８：検知されたまぶたの動きを表す電気信号を生成するステップと、
９：電気信号を分析するステップと、
１０：分析結果に基づき、車両運転者の警戒レベルが、特定の閾値を下回っているか否かを判定するステップとを含む方法に関する。

上記のステップにおいて、電気信号ｓ（ｔ）を分析することは、モデル化された信号ｙ（ｔ）を、電気信号ｓ（ｔ）に対して当てはめることと、モデル化された信号ｙ（ｔ）がまばたきを成しているか否かを判定することとを含む。また、車両運転者の警戒レベルが特定の閾値を下回っているか否かを判定するステップでは、まばたきを成しているとあらかじめ判定されているいくつかのモデル化された信号ｙ（ｔ）を使用する。

本発明は、上記の例に限定されず、添付の請求項の範囲内で、自在に変形され得る。例えば、信号をフィルタリングすることは、必須ではなく、フィルタリングしない場合、フィルタリングされていない信号が、信号ｓ（ｔ）を構成し、この信号ｓ（ｔ）に対して、モデル化された信号ｙ（ｔ）が当てはめられる。

信号ｙ（ｔ）、及びｓ（ｔ）は、電気信号の形態をとる。

図１を参照すると、デジタルカメラ装置６は、いかなる適切な種類のものであってもよく、ハンドル１１のリムもしくはスポーク、ステアリングコラム１２、ダッシュボード１３又は天井１４等の、車両１内のいかなる適切な位置に配置されてもよい。他の例には、エアバッグカバーが挙げられる。

一般的に、本発明は、車両運転者４にだけでなく、眠気を検知することが適当な状況にある、いかなる人にも適用できる。例として、原子力発電所又は工業の工程で働く操作員等の、産業用機器及び／又は制御装置の操作員が挙げられる。

デジタルカメラ装置２は、一連の画像における、人４の少なくとも片目３を検知するために配置され、まぶたの動きは、デジタルカメラ装置２により、いくつの目が検知されるかによって、片目又は両目のいずれかに関して、分析される。デジタルカメラ装置２により、両目が検知されるが、まぶたの動きは、片目に関してのみ分析されるということも考えられる。

Claims (5)

1. デジタルカメラ装置（２）及び制御ユニット（５）を備えた、人（４）用の眠気検知装置であって、
   前記デジタルカメラ装置（２）は、映像処理装置（６）を備え、一連の画像における、前記人（４）の少なくとも片目（３）を検知すべく配置され、
   前記映像処理装置（６）が、前記画像におけるまぶたの動きを検知し、前記まぶたの動きの前記画像を、電気信号（ｓ（ｔ））に変換し、前記電気信号（ｓ（ｔ））を前記制御ユニット（５）に転送する眠気検知装置において、
   前記制御ユニット（５）が、モデル化された信号（ｙ（ｔ））を、前記電気信号（ｓ（ｔ））に対して当てはめることで、当該モデル化信号（ｙ（ｔ））がまばたきに相当するか否かを判定するように構成され、
   前記制御ユニット（５）は、まばたきに相当する複数の予め定められたモデル化信号（ｙ（ｔ））を使用し、これによって、前記人（４）の警戒レベルが特定の閾値を下回ったかどうかを決定するように構成されており、
   前記モデル化された信号（ｙ（ｔ））のそれぞれが、以下の数式のように定義され、
   
   ｙ（ｔ）＝ｋ_１・ｌｏｇ（ｔ_２−ｔ）＋ｍ_１ ｆｏｒ ｔ_１≦ｔ＜ｔ_２
   
   ｙ（ｔ）＝ｍ_２ ｆｏｒ ｔ_２≦ｔ＜ｔ_３
   
   ｙ（ｔ）＝ｋ_３・ｌｏｇ（ｔ−ｔ_３）＋ｍ_３ ｆｏｒ ｔ_３＜ｔ≦ｔ_４
   
   この数式において、ｋ _１ 、ｋ _３ 、ｍ _１ 、ｍ _２ 、及びｍ _３ が、それぞれのまばたきに対して定義される定数であり、前記時間ｔ _１ 、ｔ _２ 、ｔ _３ 、及びｔ _４ が、前記モデル化された信号（ｙ（ｔ））の時間間隔を定義することを特徴とする眠気検知装置。
2. 前記映像処理装置（６）は、前記画像におけるまぶたの開き具合と、開いている時間とを検知することを特徴とする請求項１に記載の眠気検知装置。
3. 前記制御ユニット（５）が、モデル化された信号（ｙ（ｔ））を、フィルタリングされた前記電気信号（ｓ（ｔ））に対して当てはめるように、前記制御ユニット（５）が、前記受信した電気信号をフィルタリングするように構成されていることを特徴とする、請求項１又は２に記載の眠気検知装置。
4. 前記モデル化された信号（ｙ（ｔ））を前記電気信号（ｓ（ｔ））に対して当てはめることが、
   前記定数ｍ_２だけでなく、前記時間間隔を定義する、前記時間ｔ _１ 、ｔ_２、ｔ_３、及びｔ_４が、誤差εを最小化するために変化させられるように、以下の数式に従い、誤差εを計算し、
   

   

   前記定数のうち他のものｋ _１ 、ｋ_３、 ｍ _１ 、及びｍ_３を、回帰を使用することにより推定することを特徴とする、請求項１乃至３の何れか一項に記載の眠気検知装置。
5. 前記電気信号（ｓ（ｔ））が、ノイズを低減するために、フィルタリングされることを特徴とする、請求項１乃至４のいずれか一項に記載の眠気検知装置。

Images