JP7416112B2 - 覚醒度判定装置 - Google Patents

Description

本発明は、覚醒度判定装置に関し、より詳細には、車両を運転中の運転者の眼を撮像した画像データから得られた開眼度波形に基づいて運転者の覚醒度を判定する覚醒度判定装置に関する。

車両を運転中の運転者の眼を撮像した画像データから得られた運転者の眼の開眼の度合いの時間経過の変化を示す開眼度波形に基づいて覚醒度を判定する覚醒度判定装置が提案されている（特許文献１、２参照）。

特開２００６－１０９９８０号公報 特開２００８－９９８８４号公報

特許文献１に記載の発明は、開度値（開眼度）の統計的代表値および統計的偏差を求めえ、求めた統計的代表値および統計的偏差に基づいて、覚醒度低下の初期状態を検出している。特許文献２に記載の発明は、開眼量（開眼度）の度数分布を作成し、その度数分布から得られた包絡近似曲線の極大値の時間変化に基づいて、運転者の意識状態を判定している。

開眼度は、撮像しているカメラに対する運転者の顔の向きによって変動してしまう。また、撮像するカメラの分解能によっては、画像データから得られる開眼度の大きさが実際の運転者の開眼の度合いと異なる場合もある。よって、特許文献１、２に記載の発明のように、指標として開眼度を用いる覚醒度の判定は精度が低くかった。それ故、開眼度波形から実際の運転者の瞬目の状態をより忠実に把握して、より高精度に覚醒度を判定するには改善の余地がある。

本開示の目的は、開眼度波形から実際の運転者の瞬目の状態の変化をより忠実に把握して、より高精度に覚醒度を判定する覚醒度判定装置を提供することである。

上記の目的を達成する本発明の一態様の覚醒度判定装置は、運転者の眼を撮像する撮像装置と、この撮像装置により撮像した画像データをデータ処理することにより得られた運転者の眼の開眼の度合いを示す開眼度の所定の期間での変化を表す開眼度波形に基づいて、運転者の覚醒度を判定する演算装置と、を備える覚醒度判定装置において、前記演算装置は、前記開眼度波形に基づいて、運転者が瞬目に要した時間を示す複数の瞬目時間を算出し、算出したその瞬目時間ごとの前記所定の期間での頻度を算出するデータ処理と、前記所定の期間でのそれぞれの前記瞬目時間の頻度の信頼度が予め設定された基準よりも低いか否かを判定するデータ処理とを、前記所定の期間での前記信頼度が前記基準以上に高いと判定するまで繰り返し、前記信頼度が前記基準以上に高いと判定された前記所定の期間でのそれぞれの前記瞬目時間の頻度に基づいて、前記所定の期間での運転者の覚醒度を判定するデータ処理を実行することを特徴とする。

本発明の一態様によれば、所定の期間における複数の瞬目時間ごとの頻度は、実際の運転者の瞬目の状態の変化をより具体的に示す指標になっている。そのため、その頻度を運転者の覚醒度の判定に用いることで、開眼度波形から実際の運転者の瞬目の状態の変化をより忠実に把握するには有利になり、より高精度に覚醒度を判定することができる。

覚醒度判定装置の実施形態を例示する説明図である。 運転者の覚醒度を判定する方法のなかで開眼度波形を作成する工程を例示するフロー図である。 運転者の覚醒度を判定する方法のなかで開眼度波形に基づいて運転者の覚醒度を判定する工程を例示するフロー図である。 開眼度波形を例示する説明図である。 開眼度波形の一部と微分波形を例示する説明図である。 開眼度波形から得られた瞬目時間ごとの頻度を例示する度数分布図である。 運転者の覚醒度の判定に用いる所定の期間を例示する説明図である。 特定の瞬目時間の積算時間の時間経過の変化と主観評価とを例示する説明図である。

以下、覚醒度判定装置を、図に示す実施形態に基づいて説明する。

図１に例示する覚醒度判定装置１０は、図示しない公知の種々の車両の運転室の内部に搭載されている。覚醒度判定装置１０は、撮像装置１１、演算装置１２、および、警告装置１３を備えている。

撮像装置１１は、公知の電化負荷結合素子（ＣＣＤ）、相補性金属酸化膜半導体（ＣＭＯＳ）、赤外線映像素子などの映像素子を用いた種々のカメラを用いることができる。撮像装置１１は、運転室の内部のルームミラーやダッシュボードに設定されている。撮像装置１１の撮像範囲は、運転者の両眼を撮像できればよいが、運転者の顔の全体像を撮像してもよい。運転者の顔の全体像を撮像することで、運転者の顔の向いている方向を検出することが可能となり、運転者の顔の向いている方向の変化に伴う眼の開眼度の変化を把握することが可能となる。撮像装置１１のフレームレートや画素数は、運転者の瞬目（瞬き）の動きを捉えることが可能であればよく、３０ＦＰＳ以上、２００万画素以上が望ましいが、１１ＦＰＳ、１００万画素などの低フレームレート、低画素数であってもよい。

演算装置１２は、公知の種々のコンピュータを用いることができる。演算装置１２は、車両の制御を行う車両用制御装置であってもよい。演算装置１２は、中央演算処理部（ＣＰＵ）１４、主記憶部（ＲＡＭ）１５、補助記憶部（ＲＯＭ）１６、および、入出力部を有している。補助記憶部１６には、撮像装置１１が撮像した画像データから作成された開眼度波形２０と、開眼度波形２０に基づいて作成された度数分布グラフ３０と、が記憶されている。演算装置１２は、入出力部を介して、撮像装置１１、および、警告装置１３が接続されている。また、演算装置１２は、車両用制御装置と別体である場合に、車両用制御装置に入出力部を介して接続されていてもよい。例えば、車両制御装置が、車両を自動運転する場合に、自動車技術者協会（ＳＡＥ）が定めた自動運転レベル３での自動運転から運転者による運転への運転引継に、覚醒度判定装置１０の判定結果を利用することが可能となる。また、演算装置１２が、車両制御装置から運転引継のタイミングを事前に把握して、そのタイミングに合わせて運転者の覚醒度を高い状態に維持することも可能となる。

演算装置１２は、起動すると補助記憶部１６に記憶された所定のプログラムが起動する。起動したプログラムの指示により、演算装置１２は、各データ処理を実行する。そして、各データ処理を実行して得られた運転者の覚醒度の判定結果に基づいて、警告装置１３により運転者に警告させる制御処理を実行する。

警告装置１３は、覚醒度の判定結果に応じて、運転者に対する警告を発する装置である。警告装置１３は、公知の音の吹鳴や光の明滅などを利用した種々の警報器を用いることができる。なお、警告装置１３は必ずしも要るわけではない。

図２および図３に運転者の覚醒度の判定方法の一例を示す。この判定方法は、図２に例示する開眼度波形２０を作成する工程（Ｓ１１０、Ｓ１２０）と、図３に例示する運転者の覚醒度を判定する工程（Ｓ２１０～Ｓ２６０）と、の二つの工程を含む。開眼度波形２０を作成する工程では、開眼度波形２０が撮像装置１１のフレームレートに基づいたサンプリング周期（例えば、撮像装置１１のフレームレートが３０ＦＰＳの場合は、１／３０秒）ごとに随時、更新される。運転者の覚醒度を判定する工程では、判定結果が所定の期間ごとに随時、出力される。ただし、運転者の覚醒度を判定する工程では、所定の期間の信頼度に基づいた判定（Ｓ２４０）による期間の除外があり、判定結果が出力されるタイミングがずれる場合もある。以下に、（Ｓ１１０）、（Ｓ１２０）、（Ｓ２１０）～（Ｓ２６０）の各ステップの内容を詳述する。

図２に例示する画像データを取得するステップ（Ｓ１１０）では、撮像装置１１により運転者の眼の画像データを取得する。なお、覚醒度判定装置１０の起動直後には、画像データを画像処理の結果に基づいて、演算装置１２により撮像装置１１の撮像範囲（ズームインやズープアウト、撮像装置１１の向き）を調整する制御処理が実行されてもよい。また、演算装置１２により撮像装置１１の撮像範囲の調整が必要なことが判明した場合に、警告装置１３により警告を発せさせて、運転者に撮像装置１１の撮像範囲の調節を行わせてもよい。

開眼度波形２０を作成するステップ（Ｓ１２０）では、撮像装置１１により取得した画像データに基づいて、演算装置１２により開眼度波形２０を作成するデータ処理が実行される。作成された開眼度波形２０は、補助記憶部１６に保存される。このステップでは、公知の種々の画像データから眼の開眼度を検出する手法を用いることができる。その手法としては、画像データにおける眼の位置を特定し、特定した位置での画素の濃度値に基づいて開眼度を算出する手法や、画像データにエッジ処理を施して、瞼のエッジを抽出し、そのエッジの変動に基づいて開眼度を算出する手法が例示される。

図４に例示する開眼度波形２０は、開眼度の時間経過での変化を表している。開眼度波形２０は、右眼と左眼との各々に対して作成されているが、本開示では、一方の波形のみを例示することにする。開眼度は、運転者の眼の開眼の度合いを示している。開眼度は、運転者の顔が前方を向いた状態で、運転者の眼が開いた状態を１００％とし、運転者の眼が閉じた状態を０％とする。覚醒度判定装置１０の起動直後には、運転者ごとに異なる開眼の度合いに対するチューニングを行うことが望ましい。なお、開眼度が１００％を超える場合は、チューニングにより設定した開眼度が１００％の状態よりも運転者の眼が開いた状態を表している。

開眼度波形２０には、多数の波形が存在している。瞬目波形２１（２１ａ～２１ｃ）は、運転者の瞬目による波形である。瞬目波形２１には、運転者の顔の向きに応じて、運転者の顔が前方向に向いている状態での瞬目による瞬目波形２１ａ、運転者の顔が左右方向に向いている状態での瞬目による瞬目波形２１ｂ（運転者の顔が前方向と左右方向との間で向きが変わっている間での瞬目も含む）、運転者の顔が前方向に向いている状態での短い瞬目による瞬目波形２１ｃがある。瞬目波形２１以外の波形には、運転者の顔の向きが上下方向に向いていることによる開眼度の状態を表す波形２２や、運転者がメータを見ている状態での開眼度を表す波形２３がある。なお、波形２３は、運転者がメータを見ている状態で瞬目による開眼度の変化が見て取れる。

図３に例示する開眼度波形２０を読み込むステップ（Ｓ２１０）では、演算装置１２により、補助記憶部１６に記憶した開眼度波形２０のなかから所定の期間の開眼度波形２０が主記憶部１５に読み込まれるデータ処理が実行される。所定の期間は、特に限定されるものではない。所定の期間は、多数の実験データや試験データの蓄積による経験則に基づいて設定されており、１分～１０分、より好ましくは３分～７分程度の期間が例示される。多数の実験データや試験データは、実際に多数の運転者に覚醒度判定装置１０を搭載した車両を一定の期間に亘って種々の走行ルートで走行させることで得られたデータである。このデータは、運転者の主観評価による覚醒度と、覚醒度判定装置１０により判定した覚醒度とを、比較可能になっている。所定の期間は、そのような運転者の主観評価と覚醒度判定装置１０による覚醒度の判定とを比較して、設定されることが望ましい。

瞬目波形２１を特定するステップ（Ｓ２２０）では、演算装置１２により、所定の期間の開眼度波形２０に存在する複数の波形のなかから複数の瞬目波形２１を特定するデータ処理が実行される。また、特定した瞬目波形２１から瞬目時間を算出するデータ処理が実行される。具体的に、所定の期間の開眼度波形２０を時間微分した微分値と正負の閾値Ｄａ、Ｄｂとの比較により、複数の瞬目波形２１を特定する。時間微分には、撮像装置１１のフレームレートに基づいたサンプリング周期を用いている。そして、特定した瞬目波形２１の正負の閾値Ｄａ、Ｄｂの間の時間を瞬目時間として算出する。

図５に例示する微分波形２４は、開眼度波形２０をサンプリング周期で時間微分した微分値の時間経過の変化を表している。つまり、微分波形２４は、開眼度波形２０の変化の感度を示しており、微分波形２４での高低の変化が大きい箇所は眼の瞼の動きが大きいことを示している。正負の閾値Ｄａ、Ｄｂは、多数の実験データや試験データの蓄積による経験則に基づいており、図４に示した瞬目波形２１ａの特定の基準として設定されている。負の閾値Ｄａは瞬目の開始（瞼の下がり始め）を判断可能な値であればよく、－３０％～－６０％が例示される。正の閾値Ｄｂは瞬目の終了（瞼の上がり終わり）を判断可能な値であればよく、＋３０％～＋６０％が例示される。瞬目波形２１は、正負の閾値Ｄａ、Ｄｂの判定を一セットとして、微分波形２４に存在する多数の波形のうちで負の閾値Ｄａを超えた後に正の閾値Ｄｂを超えた波形として特定される。図中にΔＳで示した瞬目時間は、運転者が瞬目に要した時間であり、瞬目波形２１の対象となる微分波形２４での微分値が負の閾値Ｄａになった時点から微分値が正の閾値Ｄｂになった時点までの時間になる。また、瞬目波形２１は、瞬目時間が０．３秒よりも長い場合に、閉眼開始（瞼の下がり終わり）から開眼開始（瞼の上がり始め）までの間の開眼度が５％未満の波形として特定される。つまり、瞬目時間が０．３秒よりも長い場合に、閉眼開始から開眼開始までの間の開眼度が５％を超える波形は、運転者の瞬目ではない波形であり対象外としている。０．３秒は、多数の実験データや試験データの蓄積により得られた設定値であるが、０．３秒に限定されずに、それより短い時間や長い時間を用いることもできる。また、閉眼開始から開眼開始までの間が長時間（例えば、０．８秒以上）の波形は眼を閉じた状態が長すぎるため対象外となっている。

図５に例示した正負の閾値Ｄａ、Ｄｂと開眼度波形２０を時間微分した微分値との比較により、特定された複数の瞬目波形２１は、図４に例示する開眼度波形２０において、瞬目波形２１ａと瞬目波形２１ｃとになる。瞬目波形２１ｂは、瞬目の開始（瞼の下がり始め）や瞬目の終了（瞼の上がり終わり）での微分値が正負の閾値Ｄａ、Ｄｂを超えない場合があるため、前述の手法では特定できない。瞬目波形２１ｂは、状況に応じて特定してもよい。瞬目波形２１ｂを特定するには、正負の閾値Ｄａ、Ｄｂを補正する手法が例示される。具体的に、撮像装置１１が撮像した画像データに基づいて、運転者の顔が向いている方向を特定し、特定した方向が前方向以外の場合に、正負の閾値Ｄａ、Ｄｂを予め設定した補正値で補正することが望ましい。運転者の顔が向いている方向を特定する手法は、公知の種々の顔向き判定手法を用いることができる。補正値は、多数の実験データや試験データの蓄積による経験則により設定されており、±５％～±１５％が例示される。運転者の顔が向いている方向を特定して、正負の閾値Ｄａ、Ｄｂを補正することで、瞬目波形２１ｂも瞬目波形２１として特定することが可能になる。なお、波形２３は、運転者がメータを見ている状態で瞬目による開眼度の変化が見て取れるが、正負の閾値Ｄａ、Ｄｂを補正しても瞬目の開始や終了の判別が容易ではない。そのため、波形２３に含まれるメータを見ようとする動作による開眼度波形２０の変化が誤差となることから、波形２３は積極的に瞬目波形２１として特定する必要はない。

特定すべき瞬目波形２１ａは、瞬目の開始と終了の開眼度波形２０の変化量が大きい。そこで、開眼度波形２０の微分値に基づくことで、特定すべき瞬目波形２１ａを基準として瞬目波形２１を特定することができる。瞬目波形２１ａを基準とすることで、瞬目波形２１ｂや波形２３が瞬目波形２１として特定されなくなる可能性がある。しかし、それらの波形は、運転者の覚醒度の判定での誤差に影響する可能性もあることから、積極的に特定の対象にしなくてもよい。このように、特定すべき瞬目波形２１ａを基準とする判定基準を設けることで、特定された瞬目波形２１に特定すべき瞬目波形２１ａ以外の波形が誤検出されることを低減することができる。

図３に例示する瞬目時間ごとの頻度（度数）を算出するステップ（Ｓ２３０）では、演算装置１２により、特定した瞬目波形２１の瞬目時間ごとの所定の期間での頻度を算出するデータ処理が実行される。より具体的に、演算装置１２により、度数分布グラフ３０を作成するデータ処理が実行される。度数分布グラフ３０の代わりに、度数分布表を用いてもよい。瞬目時間は、サンプリング周期の整数倍の時間になるが、本開示では、有効数字を２桁とし、四捨五入した値とする。

図６に例示する度数分布グラフ３０は、所定の期間での瞬目時間とその頻度とを表している。瞬目時間には、比較的頻度が高い生理現象時間３１、境界時間３２、覚醒度低下初期時間３３、および、低覚醒度時間３４が存在している。生理現象時間３１は、公知の人間の生理現象としての瞬目（自発性まばたき）に要する時間（概ね０．１秒～０．１５秒）を示している。境界時間３２は、生理現象時間３１と覚醒度低下初期時間３３との境界の時間を示している。覚醒度低下初期時間３３は、多数の実験データや試験データの蓄積に基づいて把握されている運転者の覚醒度が低下してきた初期状態での瞬目に要する時間を示している。低覚醒度時間３４は、多数の実験データや試験データの蓄積に基づいて把握されている運転者の覚醒度が低下した状態での瞬目に要する時間を示している。

多数の実験データや試験データから作成された多数の度数分布グラフ３０と、運転者の主観評価とを比較することにより、運転者の覚醒度の高低に応じて所定の期間での特定の瞬目時間での頻度が増すことが判明した。具体的に、運転者の覚醒度が高い状態では、生理現象時間３１および境界時間３２の所定の期間での頻度が増加していた。また、運転者の覚醒度が低下していく初期状態では、生理現象時間３１の所定の期間での頻度が減少していて、覚醒度低下初期時間３３の所定の期間での頻度が増加していた。さらに、運転者の覚醒度が低い状態では、低覚醒度時間３４の所定の期間での積算時間が増加していた。

図３に例示する信頼度を判定するステップ（Ｓ２４０）では、演算装置１２により、（Ｓ２２０～Ｓ２３０）の各ステップでのデータ処理により得られた所定の期間での複数の瞬目時間ごとの頻度（度数分布グラフ３０）の信頼度が基準よりも低いか否かを判定するデータ処理が実行される。具体的に、信頼度の判定は、所定の期間の瞬目波形２１が特定されない期間の長さに基づいた判定と、所定の期間よりも短い期間に存在する瞬目波形２１の数に基づいた判定と、所定の期間での頻度どうしの相関関係に基づいた判定との、三つの判定で構成される。信頼度の判定により、信頼度が基準よりも低いと判定した所定の期間や短い期間でのデータは以降の覚醒度の判定（Ｓ２５０）から除外され、使用されない。

信頼度は、データ処理により得られた所定の期間での複数の瞬目時間ごとの頻度の確かさ（誤差の大きさ、ノイズの混入など）の度合いを示し、その頻度に基づいて判定された運転者の覚醒度の確かさの度合いも示す。信頼度が低い所定の期間での複数の瞬目時間ごとの頻度ではその頻度に基づいて判定された運転者の覚醒度が不確かになり、信頼度が高い所定の期間での複数の瞬目時間ごとの頻度ではその頻度に基づいて判定された運転者の覚醒度の確かさが増し、信頼性が高くなる。信頼度の基準に対する高低は、多数の実験データや試験データの蓄積により予め把握されている。このように、信頼度が基準よりも低くなる不使用条件を設けることで、誤差やノイズの影響が少ないものを判定に使用することができるので、判定の精度の向上には有利になる。信頼度の基準のレベルは任意に設定することができ、多数の実験データや試験データの蓄積による経験則などによって誤差が大きいあるいはノイズが混入している開眼度波形２０が判定から除外されるように設定すればよい。以下に、信頼度の判定の三つの判定について詳述する。

所定の期間の瞬目波形２１が特定されない期間の長さに基づいた判定では、演算装置１２により、所定の期間の瞬目波形２１が特定されない期間が、所定の期間の１０％～３０%以上を占める場合に、その所定の期間の信頼度が基準よりも低いと判定するデータ処理が実行される。この判定での基準（１０％～３０％）は、多数の実験データや試験データの蓄積による経験則に基づいている。この判定により所定の期間の信頼度が基準よりも低いと判定すると、信頼度が基準よりも低い所定の期間は以降の判定（Ｓ２５０）には使用せず、（Ｓ２１０）へ戻る。その後、次の所定の期間のデータ処理を行う。

瞬目波形２１が特定されない期間が長く続く場合は、撮像装置１１の撮像不備や画像データでのノイズにより眼の検出が不可能な状態の可能性が高い。開眼度が正確に取得できない期間が続いた場合に、その期間の前後に取得された開眼度は、瞬目波形２１が特定されなかった要因による影響が残っている可能性が高い。それ故、瞬目波形２１所定の期間の瞬目波形２１が特定されない期間の長さに基づいた判定を行うことにより、眼の検出が不可能な状態の要因による誤差への影響を低下させることができる。画像データから眼の開眼度を検出する手法にもよるが、眼の検出が不可能な状態の場合に、開眼度が１００％よりも高い上限（例えば、２５０％以上）として検出される。よって、この判定での基準は、人間の生理現象としての瞬目が行われない平均的な時間に基づいて設定されてもよい。また、開眼度波形２０での経時的に隣り合う瞬目波形２１どうしの間の時間を計測し、計測したその時間が所定の期間の１０％～３０％以上である場合は、その時間を含む所定の期間の信頼度が基準よりも低いと判定してもよい。

所定の期間よりも短い期間に存在する瞬目波形２１の数に基づいた判定では、演算装置１２により、短い期間に存在する瞬目波形２１の数が、所定の範囲に収まっていない場合に、その短い期間の信頼度が基準よりも低いと判定するデータ処理が実行される。短い期間は、短い期間の整数倍が所定の期間になる期間であればよく、一分間が例示される。この判定での基準である所定の範囲は、公知の人間の生理現象としての瞬目の回数に基づいている。人間の生理現象としての瞬目（自発性まばたき）の一分間での平均は、概ね２０回程度であることが知られている。また、乾燥性角膜炎（ドライアイ）の症状を患っている人間やストレスにより自立神経のバランスが崩れたりしている人間の生理現象としての瞬目の一分間での平均は、概ね４０回以上であることが知られている。また、視覚情報を集中して処理している人間の生理現象として瞬目の回数は通常時の１／４に減ることが知られている。以上の公知の知見から、この判定の基準である所定の範囲は、５回～３０回が例示される。この判定により短い期間の信頼度が基準よりも低いと判定すると、信頼度が基準よりも低い短い期間は以降の判定（Ｓ２５０）には使用せず、（Ｓ２１０）へ戻る。その後、その短い期間以降を次の所定の期間のデータ処理を行う。

人間の生理現象としての瞬目の回数が少なくて所定の範囲から外れる場合は、前述の判定と同様に、撮像装置１１の撮像不備や画像データでのノイズにより眼の検出が不可能な状態の可能性が高い。また、人間の生理現象としての瞬目の回数が多くて所定の範囲から外れる場合は、画像データでのノイズを開眼度として検出している可能性が高い。それ故、短い期間に存在する瞬目波形２１の数に基づいた判定を行うことにより、人間の生理現象としての瞬目の回数に鑑みて明らかに誤っている期間を特定し、特定したその誤っている期間を判定から除外することができる。

所定の期間での頻度どうしの相関関係に基づいた判定では、演算装置１２により、境界時間３２の頻度と他の頻度との総当りの相関係数を算出し、算出した相関係数の全てが閾値以上の場合に、その度数分布が作成された所定の期間の信頼度が基準よりも低いと判定するデータ処理が実行される。この判定での基準である相関係数の閾値は、０．４以下は相関がないとして、０．５～０．７以上を用いている。この判定では、境界時間３２と度数分布に表した頻度のなかから代表的な複数の頻度との総当りの相関係数を閾値と比較してもよい。代表的な頻度としては、生理現象時間３１の頻度、覚醒度低下初期時間３３の頻度、および、低覚醒度時間３４が例示される。多数の実験データや試験データの蓄積により、運転者の覚醒度が高い状態に維持されていれば、生理現象時間３１の頻度と境界時間３２の頻度とには、相関関係があることが判明している。また、運転者の覚醒度が低下していく初期状態に陥っていれば、境界時間３２の頻度と覚醒度低下初期時間３３の頻度とには、相関関係があることが判明している。そこで、境界時間３２と代表的な複数の頻度の総当りの相関係数を算出し、算出した相関係数が閾値以上の場合に、所定の期間の信頼度が基準よりも低いと判定することもできる。この判定により所定の期間の信頼度が基準よりも低いと判定すると、信頼度が基準よりも低い所定の期間は以降の判定（Ｓ２５０）には使用せず、（Ｓ２１０）へ戻る。その後、次の所定の期間のデータ処理を行う。

境界時間３２の頻度と他の頻度との総当りの相関係数が閾値以上となるホワイトノイズの様な特性を示す開眼度波形２０は、覚醒度が高い状況にも、覚醒度が低い状況にも当てはまらない。よって、所定の期間での頻度どうしの相関関係に基づいた判定により、覚醒度の判定が不可能な所定の期間を覚醒度の判定から除外することで、判定の精度の向上には有利になる。

図７は、所定の期間よりも長い一定の期間において、信頼度を判定するステップ（Ｓ２４０）により、信頼度が基準よりも低いと判定された所定の期間や短い期間が存在する場合を示す。図中の×は信頼度が基準よりも低いことを示す。ΔＴ１～ΔＴ６の各々は所定の期間を示しており、五分間とした。Δｔは所定の期間よりも短い期間を示しており、一分間とした。（Ｓ２１０）～（Ｓ２４０）の各ステップは、ΔＴ１～ΔＴ６の順に行われているが、以降の判定（Ｓ２５０）に使用される所定の期間は、ΔＴ１、ΔＴ３、および、ΔＴ６の三つの所定の期間となっている。

図３に例示する覚醒度を判定するステップ（Ｓ２５０）では、演算装置１２により、瞬目時間ごとの所定の期間での頻度に基づいて、運転者の覚醒度を判定するデータ処理が実行される。より具体的に、演算装置１２により、運転者の覚醒度の判定の指標として、所定の期間での覚醒度低下初期時間３３の積算時間を用いて、その積算時間と予め設定した閾値Ｓａとを比較することにより、運転者の覚醒度を判定するデータ処理が実行される。また、演算装置１２により、運転者の覚醒度の判定の指標として、所定の期間での低覚醒度時間３４の積算時間を用いて、その積算時間と予め設定した閾値Ｓｂとを比較することにより、運転者の覚醒度を判定するデータ処理が実行される。また、演算装置１２により、運転者の覚醒度の判定の指標として、所定の期間での生理現象時間３１および境界時間３２の積算時間を用いて、その積算時間と予め設定した閾値Ｓａとを比較することにより、運転者の覚醒度を判定するデータ処理が実行される。

図８は、一点鎖線が、所定の期間での低覚醒度時間３４の積算時間の時間経過の変化を示し、実線が、所定の期間での覚醒度低下初期時間３３の積算時間の時間経過の変化を示し、点線が、所定の期間での生理現象時間３１および境界時間３２の積算時間の時間経過の変化を示している。主観評価は、覚醒度判定装置１０が搭載された車両を実際に運転した運転者による覚醒度の評価である。なお、主観評価は、運転者ではない搭乗者による運転者の覚醒度の評価であってもよい。

閾値Ｓａ、Ｓｂは、多数の実験データや試験データの蓄積による経験則により設定されている。閾値Ｓａは、覚醒度低下初期時間３３の積算時間が、運転者の覚醒度が低下している初期状態を判別可能に設定されている。閾値Ｓａとしては、８秒～１５秒が例示される。また、閾値Ｓａは、生理現象時間３１および境界時間３２の積算時間が、運転者の覚醒度が高い状態を判別可能に設定されている。なお、生理現象時間３１および境界時間３２の積算時間に対する閾値を別途、設定してもよい。閾値Ｓｂは、低覚醒度時間３４の積算時間が、運転者の覚醒度が低い状態を判別可能に設定されている。閾値Ｓｂとしては、１５秒よりも長い時間が例示される。閾値Ｓａ、Ｓｂの各々は、経験則ではなく、多数の実験データや試験データの蓄積での主観評価に一致させたり、今後実施される実験データや試験データの主観評価に一致させたりすることも可能である。また、主観評価の代わりに、運転者の脈拍などの生体情報による運転者の覚醒度の客観評価に一致させるように設定することも可能である。

図８に示すように、演算装置１２による運転者の覚醒度の判定結果と、運転者による主観評価は概ね一致している。よって、運転者の覚醒度の判定の指標として、生理現象時間３１および境界時間３２の積算時間、覚醒度低下初期時間３３の積算時間、低覚醒度時間３４の積算時間、を用いることで、運転者の覚醒度を高精度に判定できることが分かる。運転者の覚醒度の判定の指標は、生理現象時間３１および境界時間３２の積算時間、覚醒度低下初期時間３３の積算時間、低覚醒度時間３４の積算時間、の全てを用いることが望ましいが、そのなかの幾つかあるいは一つを用いてもよい。また、生理現象時間３１、境界時間３２、および、覚醒度低下初期時間３３の積算時間、あるいは、覚醒度低下初期時間３３および低覚醒度時間３４の積算時間などを用いることもできる。

以上のように、本実施形態によれば、所定の期間における複数の瞬目時間ごとの頻度は、実際の運転者の瞬目の状態をより具体的に示す指標になっている。そのため、複数の瞬目時間ごとの頻度を用いることで、開眼度波形２０から実際の運転者の瞬目の状態の変化をより忠実に把握するには有利になり、より高精度に覚醒度を判定することができる。

また、本実施形態によれば、運転者の顔の向いている方向によって変化の度合いが大きい開眼度の大きさではなく、運転者の顔の向いている方向によって変化の度合いが少ない瞬目に要した時間である瞬目時間を運転者の覚醒度の判定に用いている。それ故、判定に用いる指標の精度が高く、判定の指標として開眼度を用いる覚醒度の判定に比して、より判定の精度の向上には有利になる。

また、本実施形態によれば、多数の実験データや試験データの蓄積により得られた、運転者の覚醒度の高低と、所定の期間における複数の瞬目時間ごとの頻度との相関を用いている。それ故、相関の高い特定の瞬目時間の頻度を利用して判定された判定結果は、運転者の実施の覚醒度により近似し易くなる。

以上、本開示の実施形態について説明したが、本開示の覚醒度判定装置は特定の実施形態に限定されるものではなく、本開示の要旨の範囲内において、種々の変形・変更が可能である。

瞬目波形２１を特定するステップ（Ｓ２２０）は、瞬目波形２１ではない波形をノイズとして除去し、残った波形を瞬目波形２１として特定する手法でもよい。ただし、本実施形態のように、開眼度波形２０に存在する複数の波形のなかから瞬目波形２１を特定することで、元の開眼度波形２０を加工する必要がなく、開眼度波形２０をそのままの状態で残すことが可能になる。これにより、今後のデータ収集には有利になり、サンプル数がより増えることにより所定の期間や閾値などの設定をより適切な値に設定することも可能になる。

信頼度を判定するステップ（Ｓ２４０）は、開眼度波形２０を読み込むステップ（Ｓ２１０）や瞬目波形２１を特定するステップ（Ｓ２２０）の時点で行ってもよい。例えば、開眼度波形２０を読み込むステップでは、瞬目波形２１の代わりに、開眼度が５０％以下に下降した後に５０％以上に上昇する波形を用いて、その波形が特定されない期間が長く続く所定の期間の開眼度波形２０を読み込まずに、次の所定の期間の開眼度波形２０を読み込んでもよい。実施形態に例示した手法よりも簡易な手法であるが、眼の検出が不可能な状況では効果的である。また、瞬目波形２１を特定するステップでは、特定した瞬目波形２１の数を同時に数えて、短い期間での瞬目波形２１の数に基づいて判定を行ってもよい。これにより、瞬目時間ごとの頻度を算出するステップ（Ｓ２３０）での演算負荷の低減には有利になる。

覚醒度を判定するステップ（Ｓ２５０）では、運転者が自身の覚醒度の低下を自覚していることを判定することもできる。例えば、運転者の覚醒度が低下していく初期の状態や運転者の覚醒度が低下した状態と判定した場合に、生理現象時間３１および境界時間３２の積算時間がより増えたときには、運転者が自身の覚醒度の低下を自覚して、意識的に覚醒度を高めようとしていると判定してもよい。このように、運転者の覚醒度の判定の指標は、生理現象時間３１および境界時間３２の積算時間、覚醒度低下初期時間３３の積算時間、低覚醒度時間３４の積算時間、の組み合わせを用いることで、運転者の覚醒度をより詳細に把握することが可能となる。

１０ 覚醒度判定装置
１１ 撮像装置
１２ 演算装置
１３ 警告装置
２０ 開眼度波形
３０ 度数分布グラフ

Claims (8)

1. 運転者の眼を撮像する撮像装置と、この撮像装置により撮像した画像データをデータ処理することにより得られた運転者の眼の開眼の度合いを示す開眼度の所定の期間での変化を表す開眼度波形に基づいて、運転者の覚醒度を判定する演算装置と、を備える覚醒度判定装置において、
   前記演算装置は、前記開眼度波形に基づいて、運転者が瞬目に要した時間を示す複数の瞬目時間を算出し、算出したその瞬目時間ごとの前記所定の期間での頻度を算出するデータ処理と、前記所定の期間でのそれぞれの前記瞬目時間の頻度の信頼度が予め設定された基準よりも低いか否かを判定するデータ処理とを、前記所定の期間での前記信頼度が前記基準以上に高いと判定するまで繰り返し、前記信頼度が前記基準以上に高いと判定された前記所定の期間でのそれぞれの前記瞬目時間の頻度に基づいて、前記所定の期間での運転者の覚醒度を判定するデータ処理を実行することを特徴とする覚醒度判定装置。
2. 運転者の覚醒度の判定の指標として、前記所定の期間での前記複数の瞬目時間のなかで覚醒度が低下していく初期状態の瞬目に要した時間を示す覚醒度低下初期時間の積算時間を用いる請求項１に記載の覚醒度判定装置。
3. 運転者の覚醒度の判定の指標として、前記所定の期間での前記複数の瞬目時間のなかで覚醒度が低下した状態の瞬目に要した時間を示す低覚醒度時間の積算時間を用いる請求項１または２に記載の覚醒度判定装置。
4. 運転者の覚醒度の判定の指標として、前記所定の期間での前記複数の瞬目時間のなかで覚醒度が低下していく初期状態の瞬目に要した時間を示す覚醒度低下初期時間未満の瞬目時間の積算時間を用いる請求項１～３のいずれか１項に記載の覚醒度判定装置。
5. 前記演算装置は、前記開眼度波形の微分値に基づいて、前記開眼度波形に存在する多数の波形のなかで運転者の瞬目を表す複数の瞬目波形を特定するデータ処理と、特定した前記複数の瞬目波形から前記複数の瞬目時間を算出するデータ処理と、を実行する請求項１～４のいずれか１項に記載の覚醒度判定装置。
6. 前記所定の期間での前記信頼度が前記基準よりも低いか否かの判定では、前記演算装置は、前記所定の期間での前記瞬目波形が特定されない期間の長さを用いて、その長さが前記所定の期間の１０％～３０％以上を占めると判定したその所定の期間での前記信頼度が前記基準よりも低いと判定する請求項５に記載の覚醒度判定装置。
7. 前記所定の期間での前記信頼度が前記基準よりも低いか否かの判定では、前記演算装置は、前記所定の期間よりも短い期間を用いて、その短い期間に存在する前記瞬目波形の数が所定の範囲に収まっていないと判定したその短い期間での前記信頼度が前記基準よりも低いと判定する請求項５または６に記載の覚醒度判定装置。
8. それぞれの前記瞬目時間は、生理現象時間、境界時間、覚醒度低下初期時間、および、低覚醒度時間を含み、前記生理現象時間が最も短く、前記生理現象時間、前記境界時間、前記覚醒度低下初期時間、および、前記低覚醒度時間の順に長くなっていて、
   前記所定の期間での前記信頼度が前記基準よりも低いか否かの判定では、前記演算装置は、前記所定の期間での前記境界時間の頻度および前記生理現象時間の頻度の相関係数と、前記境界時間の頻度および前記覚醒度低下初期時間の頻度の相関係数と、前記境界時間の頻度および前記低覚醒度時間の頻度の相関係数とをそれぞれ算出し、算出した全ての前記相関係数が予め設定された閾値以上か否かを判定するデータ処理を実行し、全ての前記相関係数が前記閾値以上と判定したその所定の期間での前記信頼度が前記基準よりも低いと判定する請求項１～７のいずれか１項に記載の覚醒度判定装置。

Images