以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略するものとする。
本発明の実施形態に係る覚醒度判定装置を説明するに先立って、本発明を創作するに至った経緯を説明する。図1は、運転者の開閉眼の状態を示す説明図である。
まず、運転者は、正常時(覚醒状態時)において図1の符号aに示すように大きく眼を見開いて運転をしている。このとき、運転者は開眼状態にある。また、運転者は、正常時において図1の符号bに示すように瞬きをする。このとき、運転者は閉眼状態となる。
覚醒度判定装置では、上記のような開眼状態及び閉眼状態を判定するために、開閉眼判定基準値が設定されている。そして、覚醒度判定装置では、図1の符号a,bに示す画像が撮像された場合、その画像から運転者の眼を特定し、眼の開度値を求める。このとき、覚醒度判定装置は、眼の開度値が開閉眼判定基準値よりも大きければ開眼状態であると判定し、眼の開度値が開閉眼判定基準値以下であれば閉眼状態であると判定する。
また、覚醒度判定装置は、覚醒度低下時においても同様に、運転者の開閉眼を判定する。まず、運転者は覚醒度低下時において図1の符号cに示すようにやや眼を細めて運転している。このとき、眼の開度値は開閉眼判定基準値よりも大きい。よって、覚醒度判定装置は、運転者が開眼状態にあると判定する。さらに、運転者は、図1の符号dに示すように覚醒度低下時において眠さから眼を閉じてしまう。このとき、眼の開度値は開閉眼判定基準値以下となる。よって、覚醒度判定装置は、運転者が閉眼状態にあると判定する。
このように、正常時及び覚醒度低下時の双方において、開閉眼判定基準値から眼の開閉眼の状態を判定することができる。そして、覚醒度判定装置は、開閉眼状態から、運転者の覚醒度を判定する。すなわち、覚醒度判定装置は、開閉眼状態から運転者が覚醒状態にあることや、覚醒度低下状態にあることを判定する。
ここで、運転者は覚醒度低下時に眼を閉じやすい傾向にある。このため、或る時間中に占める閉眼の割合(以下閉眼率という)は、覚醒度低下時の方が正常時よりも高くなる傾向にある。覚醒度判定装置は、この傾向を利用し、閉眼率を求めることにより、覚醒度の低下を判定することとなる。
ところが、覚醒度判定装置は、覚醒度の低下を検出できるものの、運転者が眠くなり始めた状態、すなわち覚醒度低下の初期状態を、閉眼率から検出することが困難となっている。
図2は、閉眼率を示すグラフであり、(a)は正常時における閉眼率を示し、(b)は覚醒度低下時の初期状態における閉眼率を示している。なお、図2の各図において縦軸は開度値を示し、横軸は経過時間を示している。
まず、図2(a)に示すように、正常時における閉眼率は4.3%となっている。すなわち、運転者は、正常時において約4.3%の割合で眼を閉じている。一方、図2(b)に示すように、覚醒度低下の初期状態における閉眼率は2.5%となっている。すなわち、正常時よりも閉眼率が小さくなる。これは、覚醒度低下の初期状態において運転者の瞬き回数が正常時よりも減少する傾向にあるためである。
このように、覚醒度判定装置は、閉眼率から覚醒度低下時(覚醒度が低下し切った状態)を検出できるものの、覚醒度低下の初期状態については検出できない。図3は、開閉眼判定基準値を高めた場合の閉眼率を示すグラフであり、(a)は正常時における閉眼率を示し、(b)は覚醒度低下時の初期状態における閉眼率を示している。なお、図3の各図において縦軸は開度値を示し、横軸は経過時間を示している。
上記の如く、覚醒度判定装置は、覚醒度低下の初期状態を検出できない。そこで、開閉眼判定基準値を高めることで、覚醒度低下の初期状態の閉眼率を上昇させることが考えられる。
しかし、この場合であっても、図3(a)及び(b)に示すように、正常時における閉眼率は12.1%であり、覚醒度低下の初期状態における閉眼率は8.9%である。すなわち、覚醒度低下の初期状態における閉眼率の方が正常時における閉眼率よりも高くなっている。よって、覚醒度判定装置は、たとえ開閉眼判定基準値を高めたとしても、覚醒度低下の初期状態を検出できないこととなる。
そこで、以下の実施形態に係る覚醒度判定装置では、覚醒度低下の初期状態についても精度良く検出できるように、以下の構成及び処理を採用している。次に、実施形態に係る覚醒度判定装置を説明する。
図4は、本発明の第1実施形態に係る覚醒度判定装置のハード構成図である。本実施形態の覚醒度判定装置1は、運転者の覚醒度を判定するためのものであって、特に覚醒度低下の初期状態を判定するためのものである。
この覚醒度判定装置1は、図4に示すように、運転者の顔を撮像する撮像部(撮像手段)10を備えている。撮像部10は、例えば、可視光を撮像するためのCCDカメラなどであり、運転者の正面下方に設置される。
また、上記覚醒度判定装置1は、撮像部10により撮像された画像に基づき、運転者の覚醒度を判定する処理装置20を具備している。この処理装置20は、運転者の覚醒度が正常である場合、運転者の覚醒度が低下の初期時である場合、及び運転者の覚醒度が低下し切った場合の少なくとも3段階に覚醒度を判定可能となっている。
さらに、上記覚醒度判定装置1は、処理装置20にて判定された覚醒度に応じて所定の提示をする提示部30を有している。この提示部30は、例えば運転者の覚醒度が低下し切っている場合に、音声などによって運転者を覚醒させるように報知するものである。
次に、処理装置20の詳細構成を図5を参照して説明する。図5は、図4に示した処理装置20の詳細構成図である。なお、図5においては、接続関係を明確にするために、撮像部10についても図示することとする。
図5に示すように、処理装置20は、眼位置検出部21、追跡部22、開度値検出部(開度値検出手段)23、学習部(学習手段)24、開閉眼判定基準値算出部(開閉眼判定基準値算出手段)25、開閉眼判定部(開閉眼判定手段)26、及び覚醒度判定部(覚醒度判定手段)27を備えている。
眼位置検出部21は、撮像部10からの画像のデータに基づいて、運転者の眼の位置を検出するものである。図6は、眼位置検出部21が眼の位置の検出に際して行う初期処理の説明図である。なお、図6においては、縦480画素、横512画素の画像を例に説明する。
まず、眼位置検出部21は、画像縦方向にすべての画素について、濃度値のデータを取得する。その後、眼位置検出部21は、濃度値の変化が所定の条件を満たす画素を抽出して、図7に示すような画素群を得る。図7は、眼位置検出部21が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。そして、画素の抽出後、眼位置検出部21は、画像横方向に近接する画素をグループ化する。
図8は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部21は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データG1〜G6を形成する。
その後、眼位置検出部21は、ゾーン化の処理を行う。図9は、眼位置検出部21によるゾーン化後の様子を示す説明図である。眼位置検出部21は、連続データG1〜G6の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部21は、3つのゾーン(ZONE:L、ZONE:C、ZONE:R)を形成する。そして、眼位置検出部21は、相対位置関係を判断して眼の位置を検出する。
再度、図5を参照する。追跡部22は、運転者の眼の位置を追跡するものである。この追跡部22は、眼の位置の検出後、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部22は、画像が入力される毎に、追跡領域内において眼の位置を検出する。
図10は、追跡部22による眼の位置の追跡の様子を示す説明図であり、(a)は初期の追跡領域を示しており、(b)は初期の追跡領域の設定後に、検出した眼の位置を示しており、(c)は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、(d)は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図10において、破線は前回検出された眼を示し、実線は今回検出された眼を示すものとする。
眼位置検出部21により眼の位置が検出された場合、追跡部22は、検出された眼の位置を中心として追跡領域を設定する(図10(a))。このときの眼の座標位置を(xk1,yk1)とする。その後、画像が入力された場合、追跡部22は、(xk1,yk1)を中心とする追跡領域内から眼の位置を検出する(図10(b))。このとき検出された眼の座標位置を(xk2,yk2)とする。
そして、追跡部22は、新たに検出された眼の座標位置(xk2,yk2)を中心とする追跡領域を設定する(図10(c))。その後、再度画像が入力された場合、追跡部22は、(xk2,yk2)を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を(xk3,yk3)とする。
そして、追跡部22は、再度、新たな眼の座標位置(xk3,yk3)を中心とする追跡領域を設定する(図10(d))。その後、同様に、追跡部22は、追跡領域内から眼の位置を検出していく。
再度、図5を参照する。追跡部22は、上記のようにして得られた眼の位置のデータを開度値検出部23に送出する。開度値検出部23は、撮像部10により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。すなわち、開度値検出部23は、眼位置検出部21及び追跡部22により検出・追跡された眼について開度値を検出するものである。
図11は、眼の縦幅の開度を示す説明図であり、(a)は開眼時を示しており、(b)は閉眼時を示している。同図(a)及び(b)に示すように、開度値は具体的に眼の縦幅の大きさである。従って、開度値検出部23は、眼の縦幅を検出し、検出値を開度値とすることとなる。
再度、図5を参照する。学習部24は、開度値検出部23により検出された開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習するものである。すなわち、眼の縦幅は運転者毎に異なるものであるため、学習部24は、現在の運転者個人の開眼状態における開度値を求めることとしている。
詳細に学習部24は、開度値検出部23により検出された開度値の再頻値を求める。ここで、運転者は、瞬きをするものの多くの時間眼を見開いているのが通常である。よって、再頻値は運転者が眼を開いているときの眼の開度値を示すといえる。このため、学習部24は、再頻値を求めることで、運転者個人の開眼状態における開度値を求める。そして、学習部24は、再頻値を学習する。これにより、運転者個人の開眼状態における開度値が学習されることとなる。
開閉眼判定基準値算出部25は、学習部24により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めるものである。すなわち、眼の縦幅は運転者毎に異なるため、開閉眼判定基準値算出部25は、学習部24からの学習内容によって現在の運転者に適した開閉眼判定基準値を求めるようになっている。
具体的に開閉眼判定基準値算出部25は、学習部24により学習された開度値よりもやや小さい値を開閉眼判定基準値として求める。すなわち、開閉眼判定基準値算出部25は、運転者の開眼状態における開度値よりも、やや小さい開度値を開閉眼判定基準値とする。これにより、開閉眼判定基準値算出部25は、好適に開閉眼を判定するための開閉眼判定基準値を設定するようにしている。
また、開閉眼判定部26は、撮像部10により新たに撮像されて開度値検出部23により新たに検出された開度値を、開閉眼判定基準値算出部25により算出された開閉眼判定基準値と比較して、開閉眼を判定するものである。すなわち、開閉眼判定部26は、開閉眼判定基準値算出部25により一度開閉眼判定基準値が算出されると、その後撮像された画像について開度値検出部23により眼の開度値を検出し、その開度値と開閉眼判定基準値とを比較することで開閉眼を判定する。そして、開閉眼判定部26は、比較の結果、新たに検出された開度値が開閉眼判定基準値よりも大きい場合、運転者が開眼状態であると判定し、開度値が開閉眼判定基準値以下である場合、運転者が閉眼状態であると判定する。
覚醒度判定部27は、開閉眼判定部26により閉眼と判定された時間が所定時間中に占める割合(すなわち閉眼率)に基づいて、覚醒度が低下し切った状態を判定する。ここで、運転者の覚醒度が低下し切った場合、正常時に比べると、閉眼率が高くなる傾向にある。このため、覚醒度判定部27は、開閉眼判定部26により閉眼と判定された時間から閉眼率を求め、閉眼率に基づいて覚醒度が低下し切った状態を判定する。
以上の構成により、処理装置20は覚醒度が低下し切った状態を判定する。さらに、処理装置20は、覚醒度低下の初期状態を検出するために、記憶部28と算出部(算出手段)29とを備えている。
記憶部28は、開度値検出部23により検出された開度値を時系列的に収集して記憶していくものである。算出部29は、開度値検出部23により検出された開度値を時系列的に収集した時系列データから、開度値の統計的代表値及び統計的偏差を求めるものである。すなわち、算出部29は、記憶部28により記憶されたデータから、開度値の統計的代表値及び統計的偏差を求めるものとして機能する。
ここで、開度値の統計的代表値は、例えば平均値など眼の開度値の代表値を表すものである。また、統計的偏差は、例えば標準偏差など眼の開度値の散らばり具合を表すものである。従って、算出部29は、開度値の統計的代表値及び統計的偏差を求めることで、運転者の眼の開度値の代表値とその散らばり具合を求めることとなる。なお、運転者の眼の散らばり具合は、運転者の瞬きが増えるほど大きくなる。すなわち、統計的偏差は、運転者の瞬きの頻度を示すものといえる。
また、上記覚醒度判定部27は、算出部29により算出された統計的代表値と標準偏差とから、覚醒度低下の初期状態を判定するものとしても機能する。すなわち、覚醒度判定部27は、眼の開度値の代表値と瞬きの頻度とから、覚醒度低下の初期状態を判定することとなる。
ここで、運転者は、覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。すなわち、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、覚醒度判定部27は、開度値の統計的代表値が低下し、且つ開度値の統計的偏差が小さくなったときに、覚醒度低下の初期状態を検出することとなる。
次に、本実施形態に係る覚醒度判定装置1の動作を説明する。なお、以下の説明において、統計的代表値を平均値として説明し、統計的偏差を標準偏差として説明する。なお、統計的代表値は平均値に限らず、眼の開度値の代表値を表すものであれば、中央値や最頻値などであってもよい。さらに、統計的偏差は標準偏差に限らず、眼の開度値の散らばり具合を表すものであれば、分散などであってもよい。
まず、覚醒度判定装置1の撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。そして、処理装置20は、図12及び図13に従う処理を実行する。図12及び図13は、図4に示した処理装置20の詳細動作を示すフローチャートである。なお、図12は処理の前半部分を示し、図13は処理の後半部分を示している。
図12に示すように、まず、眼位置検出部21は、画像のデータを入力する(ST1)。その後、眼位置検出部21は、眼の追跡領域が設定されているか否かを判断する(ST2)。眼の追跡領域が設定されている場合(ST2:YES)、処理はステップST5に移行する。
一方、本装置1の起動直後など、眼の追跡領域が設定されていない場合(ST2:NO)、眼位置検出部21は、画像全体から眼の位置を検出する(ST3)。ここでは、図6〜図9を参照して説明したように、眼の位置を検出する。そして、眼位置検出部21は、眼の位置のデータを追跡部22に送出する。
その後、追跡部22は、眼位置検出部21からの眼の位置のデータに基づいて、追跡領域を設定する(ST4)。このとき、追跡部22は、眼の移動量や、画像の取り込み間隔を考慮して、追跡領域の大きさをできる限り小さく設定する。これにより、より速く眼の追従性に優れた処理を行うことができる。
その後、追跡部22は、新たに入力される画像のデータに基づいて、追跡領域内から眼を検出する(ST5)。その後、追跡部22は、眼の追跡が正しく行われているか否かを判断する(ST6)。
眼の追跡が正しく行われていないと判断した場合(ST6:NO)、追跡部22は、眼の追跡領域をクリアする(ST7)。さらに、後述するタイマーが作動している場合、処理装置20は、タイマーを停止させる(ST8)。その後、処理はステップST1に戻る。そして、再度追跡領域の設定処理が行われることとなる。
一方、眼の追跡が正しく行われていると判断した場合(ST6:YES)、図10を参照して説明したように、追跡部22は追跡領域の更新を行う(ST9)。
その後、開度値検出部23は、ステップST5において追跡部22により追跡された眼について開度値を求める(ST10)。そして、処理装置20は、ステップST10において求められた開度値を所定数記憶したか否かを判断する(ST11)。
開度値を所定数記憶していないと判断した場合(ST11:NO)、記憶部28は、ステップST10において求められた開度値を記憶する(ST12)。そして、処理はステップST15に移行する。
一方、開度値を所定数記憶したと判断した場合(ST11:YES)、算出部29は、記憶部28に記憶された時系列データから、開度値の平均値及び標準偏差を算出する(STY13)。算出後、記憶部28は、記憶した開度値をクリアする(ST14)。そして処理はステップST15に移行する。
ステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断する(ST15)。ここで、学習し終えていないと判断した場合(ST15:NO)、学習部24は記憶部28に記憶されている開度値に基づいて、運転者個人の開眼状態における開度値を求めて学習する。さらに、開閉眼判定基準値算出部25は、学習された開度値から開閉眼判定基準値を求める(ST16)。そして、処理はステップST1に移行する。
一方、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST5にて検出されステップST10にて算出された開度値と、ステップST16にて求めた開閉眼判定基準値とを比較して、開閉眼判定を行う(ST17)。
そして、覚醒度判定部27は、閉眼時間を積算する(ST18)。次いで、処理装置20は、タイマーが作動中か否かを判断し(ST19)、作動中でないと判断した場合には(ST19:NO)、タイマーをスタートさせる(ST20)。その後、処理はステップST21に移行する。一方、タイマーが作動中であると判断した場合には(ST19:YES)、タイマーをスタートさせることなく、処理はステップST21に移行する。
ステップST21において、処理装置20は、タイマーにより計時される時間が所定時間に達したか否かを判断する(ST21)。所定時間に達していないと判断した場合(ST21:NO)、処理は図12のステップST1に戻る。
一方、所定時間に達したと判断した場合(ST21:YES)、処理装置20は、タイマーを停止させると共に、計時されている時間をクリアする(ST22)。そして、覚醒度判定部27は、所定時間中における閉眼率を求める(ST23)。このとき、覚醒度判定部27は、ステップST17において積算された積算時間に基づいて閉眼率を求める。
その後、覚醒度判定部27は、閉眼率と、図12に示すステップST14において求められた平均値及び標準偏差に基づいて、覚醒度を判定する(ST24)。その後、提示部30は、提示動作する(ST25)。次いで、処理装置20は、積算してきた積算時間や、記憶してきた開度値、開閉眼判定基準値などをクリアする(ST26)。そして、処理はステップST1に戻る。なお、以上の処理は、例えば本装置1の電源がオフされるまで繰り返されることとなる。
次に、本実施形態に係る覚醒度判定装置1の詳細動作を、図14及び図15を参照して説明する。図14は、閉眼率の算出ステップ(ST18)の説明図である。なお、同図においてステップST11の所定数は「5」であるとして説明する。
まず、開閉眼判定基準値算出部25により開閉眼判定基準値が算出されているものとする。そして、1回目の撮像により画像が得られ、開度値検出部23により開度値が「25」と検出されたとする。ここで、開閉眼判定基準値が「16」と算出されていれば、開閉眼判定部26は、運転者が開眼状態(図14において「O」と示す)であると判定する。
また、2回目の撮像により画像が得られ、開度値検出部23により開度値が「25」と検出された場合も、開閉眼判定部26は運転者が開眼状態であると判定する。さらに、3〜5回目の撮像によっても同様に、開閉眼判定部26は運転者が開眼状態であると判定する。
ここで、ステップST11の所定数は「5」である。このため、図12に示すステップST11では「YES」と判断され、算出部29は、5回分の開度値から平均値M1及び標準偏差D1を算出する。そして、ステップST14の処理において開度値はクリアされる。なお、この時点において図13のステップST17における閉眼時間は「0」となる。
その後、同様にして平均値M2及び標準偏差D2が算出される。そして、撮像回数が11回目に至ったとする。このとき、開度値検出部23により開度値が「17」と検出されたとすると、開閉眼判定部26は運転者が開眼状態であると判定する。次いで、12回目の撮像により画像が得られ、開度値検出部23により開度値が「13」と検出されたとする。このとき、開度値が開閉眼判定基準値以下となっている。このため、開閉眼判定部26は運転者が閉眼状態(図14において「C」と示す)であると判定する。
また、13回目の撮像により画像が得られ、開度値検出部23により開度値が「15」と検出されたとすると、開閉眼判定部26は同様に運転者が閉眼状態であると判定する。そして、14回目及び15回目についても開閉眼が判定される。
ここで、上記した如く、ステップST11の所定数は「5」であるため、算出部29は、5回分の開度値から平均値M3及び標準偏差D3を算出する。そして、ステップST14の処理において開度値はクリアされる。その後、同様にして、平均値M4,M5及び標準偏差D4,D5が算出される。そして、1回目の撮像から所定時間経過したとする。
このとき、図13のステップST21では「YES」と判断され、ステップST23において閉眼率が算出される。ここで、閉眼率は、所定時間中に閉眼と判定されたフレーム数を、所定時間中に開閉眼判定処理されたフレーム数で除することにより、求めることができる。
そして、図13のステップST24において、覚醒度が判定される。ここで、覚醒度低下の初期状態については、閉眼率のみからでは判断することができない。しかし、覚醒度が低下し切った状態については、閉眼率のみから判断することができる。従って、覚醒度判定部27は、閉眼率が或る値以上であれば、運転者の覚醒度が低下し切ったと判定する。
また、閉眼率が或る値以上でない場合、覚醒度判定部27は、ステップST13において求めた平均値と標準偏差とから、運転者が覚醒状態であるか、又は覚醒度低下の初期状態であるかを判定する。
図15は、図12のステップST13において求められる平均値と標準偏差とを示すグラフであり、(a)は運転者の覚醒度が正常であるときの例を示し、(b)は覚醒度低下の初期状態の第1の例を示し、(c)は覚醒度低下の初期状態の第2の例を示している。なお、図15の各図において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図15に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図15(a)においては、標準偏差の基準値(特定値)が定められている。標準偏差の基準値は、例えば覚醒度が正常であるときの全標準偏差の平均値である。また、図15(b)及び(c)に示す標準偏差の基準値は、図15(a)に示す標準偏差の基準値と同じものである。
まず、運転者の覚醒度が正常である場合の平均値と標準偏差とを説明する。運転者の覚醒度が正常である場合、図15(a)に示すように、平均値と標準偏差とは或る相関を有している。まず、開度値の標準偏差が特定値以下となる場合、運転者は瞬き回数が少ないと言える。そして、瞬き回数が少ないときには、運転者が眼を見開いている時間が長くなる。従って、開度値の平均値は高くなる傾向にある。図15(a)に示すように、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値とならない。
これに対し、覚醒度低下の初期状態では、図15(b)に示すように上記の相関関係が崩れる。すなわち、覚醒度低下の初期状態において、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値となっている。また、図15(c)に示す場合も同様に、標準偏差が特定値以下であるにも関わらず、開度値の平均値は運転者個人の開眼状態における開度値から所定値以上小さい値となっている。
これは、以下の理由によるものである。すなわち、覚醒度低下の初期状態において、運転者は、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、図15(a)に示した相関関係は崩れることとなる。
そして、覚醒度判定部27は、図15(b)及び(c)のような状態を検出することにより、覚醒度低下の初期状態を判定することとなる。すなわち、覚醒度判定部27は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、算出部29により算出された標準偏差が特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定する。
このように、本装置1は、覚醒度低下の初期状態を判定する。なお、図14に示すように、算出部29は、開度値の平均値及び標準偏差を所定時間以内に算出することが望ましい。これにより、閉眼率を求めた段階において、少なくとも1回の平均値及び標準偏差が算出されることとなる。このため、本装置1は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置1は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。
このようにして、本実施形態に係る覚醒度判定装置1によれば、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集して開度値の統計的代表値及び統計的偏差を求めることとしている。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。
そして、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することとしている。ここで、運転者は、眠くなり始めたときにおいて、すなわち覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、眼の開度値の大きさを示す統計的代表値と瞬きの頻度を示す統計的偏差とから覚醒度低下の初期状態を判定することで、覚醒度低下の初期状態を正確に検出することができる。
また、開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習し、学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めている。そして、新たに撮像されて検出された開度値を、開閉眼判定基準値と比較して開閉眼を判定し、閉眼と判定された時間が所定時間中に占める割合に基づいて、覚醒度が低下し切った状態を判定する。これにより、覚醒度低下の初期状態だけでなく、覚醒度が低下し切った状態についても判定できることとなり、多段階に覚醒度を判定することができる。
また、開度値の統計的代表値及び統計的偏差を所定時間以内に算出することとしている。これにより、閉眼率を求めた段階において、少なくとも1回の平均値及び標準偏差が算出されることとなる。このため、本装置1は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置1は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。
また、統計的代表値が運転者個人の開眼状態における開度値よりも、所定値以上小さく、且つ、統計的偏差が、特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定している。ここで、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、統計的代表値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、統計的偏差が特定値以下である場合、覚醒度低下の初期状態である可能性が非常に高いといえる。従って、一層正確に覚醒度低下の初期状態を判定することができる。
また、開度値は眼の縦幅であるため、簡便な演算処理で精度の高い開度値を求めることができる。
ここで、開度値は眼の縦幅に限らず、上瞼の曲率であってもよい。図16は、開度値の例を示すグラフであり、(a)は開度値を眼の縦幅としたときの例を示し、(b)は開度値を上瞼の曲率としたときの例を示している。なお、図16(b)では開度値を上瞼の曲率半径として図示するものとする。
まず、覚醒度が正常である場合において開度値を眼の縦幅としたとき、図16(a)に示すように、開度値が不安定となることがある。すなわち、運転者が笑ったときには、眠くないにも関わらず、眼の縦幅は小さくなる。このため、開度値は「20」〜「28」辺りで不規則に変化してしまう場合がある。
一方、覚醒度が正常である場合において開度値を上瞼の曲率半径としたとき、図16(b)に示すように、開度値は安定したものとなる。すなわち、運転者が笑った場合、眼が細くなるものの運転者の頬が上がるため、上瞼の曲率は影響を受けないこととなる。
なお、開度値を上瞼の曲率とした場合、図17に示すように、運転者が眠くなったときに開度値が小さくなることは言うまでもない。図17は、開度値を上瞼の曲率とした場合における開眼時及び閉眼時の曲率を示す説明図であり、(a)は開眼時の例を示し、(b)は閉眼時の例を示している。
図17(a)に示すように、開眼状態において上瞼は弧を描くため、曲率は大きくなる。これに対し、図17(b)に示すように、運転者は眠くなると上瞼が下がってくる。すなわち、運転者が笑ったときとは異なり、上瞼の形状は線に近くなる。従って、曲率は小さくなる。このように、開度値を上瞼の曲率とすることで、運転者が笑った場合においても、開度値を正確に求めることができる。
次に、本発明の第2実施形態を説明する。第2実施形態に係る覚醒度判定装置2は、第1実施形態のものと同様であるが、構成及び処理内容が第1実施形態のものと一部異なっている。
以下、第1実施形態との相違点について説明する。図18は、第2実施形態に係る覚醒度判定装置のハード構成図である。同図に示すように、第2実施形態に係る覚醒度判定装置2は、新たにハンズフリーマイク41、音声認識装置42、タイマー43、運転操作検出部44、及び走行検出部45を備えている。
ハンズフリーマイク41は、車室内に取り付けられ、運転者の発話などの音声を入力するものである。また、ハンズフリーマイク41は、入力した音声に応じた電気信号を出力する構成となっている。
音声認識装置42は、ハンズフリーマイク41からの電気信号を解析して、入力された音声が運転者の発話によるものであるか否かを判断するものである。また、音声認識装置42は、入力された音声が運転者の発話によるものであると判断した場合、その旨の信号を処理装置20に送信する構成となっている。
タイマー43は、計時機能を有し、運転開始からの時間を計測して、計測した時間情報を処理装置20に送信する構成となっている。運転操作検出部44は、運転者の運転操作を検出するためのものであって、例えば蛇角センサ、アクセルセンサ、及びブレーキセンサが該当する。また、運転操作検出部44は、それぞれのセンサで検出した運転者の運転操作を示す信号を処理装置20に送信する構成となっている。
走行検出部45は、車両の走行に関する情報(以下走行情報という)を検出するものであって、例えば車速センサ、車両周囲検出センサ、及びナビゲーションシステムが該当する。すなわち、走行検出部45の車速センサは、走行情報の1つである車両の走行速度を検出する。また、車両周囲検出センサは走行情報の1つである車両の走行環境を検出し、ナビゲーションシステムは走行情報の1つである車両の走行経路を検出する。また、走行検出部45は、検出した車両の走行情報を処理装置20に送信する構成となっている。
図19は、図18に示した処理装置20の詳細構成図である。なお、図19においては、接続関係を明確にするために、撮像部10や信号の入力の様子についても図示することとする。
同図に示すように、処理装置20は、新たに再学習指令部(再学習指令手段)46を備えている。再学習指令部46は、運転者個人の開眼状態における開度値を、学習部24に再学習させるものである。この再学習指令部46は、運転者が起きているか否かを判断し、起きていると判断できた場合、及び、運転者の眼を誤って追跡しているか否かを判断し、誤って追跡していると判断できた場合の少なくとも一方の場合に、学習部24に再学習をさせる構成となっている。
ここで、運転者が起きている場合や運転者の眼を誤って追跡している場合に、再学習指令部46が学習部24に再学習させる理由は以下の通りである。
まず、学習部24は、開眼状態における開度値を、開度値検出部23により検出された開度値の最頻値から求めるとする。このとき、運転者の覚醒度が低下していれば、運転者が眼を閉じているときの開度値が最頻値となる可能性がある。このため、運転者の覚醒度が低下しているときの開度値からでは、開眼状態における開度値を正確に求めることが困難となり、ひいては開閉眼判定基準値までもが不正確なものとなりえる。そこで、再学習指令部46は、運転者が起きている場合に再学習させることで、運転者個人の開眼状態における開度値を精度良く求めることとしている。
また、運転者が眼鏡を着用している場合、追跡部22は誤って眼鏡のフレーム部を眼として追跡してしまう可能性がある。また、誤って追跡していた間に得られた開度値は、不正確なものといえる。このため、再学習指令部46は、運転者の眼を誤って追跡している場合に再学習させることで、運転者個人の開眼状態における開度値を正確に求めるようにしている。
次に、第2実施形態に係る覚醒度判定装置2の動作を説明する。第2実施形態に係る覚醒度判定装置2は、第1実施形態のものと同様の処理を実行する。すなわち、撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。次いで、処理装置20は、図12に示した処理を実行する。そして、図12のステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し(ST15)、学習し終えていると判断した場合(ST15:YES)、図20及び図21に示す処理を実行する。
図20及び図21は、図18に示した処理装置20の詳細動作を示すフローチャートである。なお、図20は第2実施形態特有の処理の前半部分を示し、図21は第2実施形態特有の処理の後半部分を示している。
まず、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST17と同様にして開閉眼判定を行う(図20:ST30)。そして、開閉眼判定部26は、ステップST30の開閉眼判定の結果が、開眼であったか否かを判断する(ST31)。
ここで、開閉眼判定の結果が開眼であった場合(ST31:YES)、再学習指令部46は、連続して開眼と判定された回数を示す開眼判定回数を、カウントアップする(ST32)。その後、再学習指令部46は、連続して閉眼と判定された回数を示す閉眼判定回数を、クリアする(ST33)。そして、再学習指令部46は、開眼判定回数が所定回数を超えたか否かを判断する(ST34)。
ここで、開眼判定回数が所定回数を超えたと判断した場合(ST34:YES)、すなわち或る程度の時間(第1規定時間)連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、誤って眼を追跡していると判断できる。
このため、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(図21:ST51)。その後、処理はステップST1に戻る。これにより、図12に示したステップST16の学習処理が再度実行されることとなる。すなわち、再学習指令部46は、学習部24に運転者個人の開眼状態における開度値を再学習させることとなる。
また、開眼判定回数が所定回数を超えていないと判断した場合(ST34:NO)、処理は図21に示したステップST40に移行する。
ところで、開閉眼判定の結果が開眼でなかった場合(ST31:NO)、覚醒度判定部27は、閉眼時間を積算する(ST36)。次いで、再学習指令部46は、閉眼判定回数をカウントアップする(ST37)。その後、再学習指令部46は、開眼判定回数をクリアする(ST38)。そして、再学習指令部46は、閉眼判定回数が所定回数を超えたか否かを判断する(ST39)。
ここで、開眼判定回数が所定回数を超えたと判断した場合(ST39:YES)、すなわち或る程度の時間(第2規定時間)連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。
このため、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(図21:ST51)。そして、処理はステップST1に戻る。これにより、図12に示したステップST16の処理が再度実行されることとなる。すなわち、再学習指令部46は、学習部24に再学習させることとなる。
また、閉眼判定回数が所定回数を超えていないと判断した場合(ST39:NO)、処理は図21に示したステップST40に移行する。
図21のステップST40において、処理装置20は、タイマーが作動中か否かを判断し(ST40)、作動中でないと判断した場合には(ST40:NO)、タイマーをスタートさせる(ST41)。その後、処理はステップST42に移行する。一方、タイマーが作動中であると判断した場合には(ST40:YES)、タイマーをスタートさせことなく、処理はステップST42に移行する。
ステップST42において、処理装置20は、タイマーにより計時される時間が所定時間に達したか否かを判断する(ST42)。所定時間に達していないと判断した場合(ST42:NO)、処理は図12のステップST1に戻る。一方、所定時間に達したと判断した場合(ST42:YES)、処理装置20は、タイマーを停止させると共に、計時されている時間をクリアする(ST43)。
次いで、再学習指令部46は、図22に示す所定条件に合致する平均値及び標準偏差の個数を求める(ST44)。図22は、ステップST44の処理の詳細を示すグラフである。なお、図22において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図22に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図22においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値(基準値)が定められている。
まず、所定条件とは、学習部24により学習された運転者個人の開眼状態における開度値より平均値の方が大きく、且つ、標準偏差が基準値以下である状態をいう。ここで、図22の符号Aに示す区間において、平均値は、学習部24により学習された運転者個人の開眼状態における開度値よりも大きくなっている。また、標準偏差は、図22の符号Bに示すように、ほぼ全区間に渡って基準値以下となっている。このため、図22の符号A及び符号Bが示す区間の重複区間において、平均値と標準偏差とは所定条件を満たすこととなる。
そして、所定条件を満たす場合には以下のことが言える。すなわち、平均値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、標準偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、所定条件を満たす場合、運転者は普段よりも眼を見開き、且つ瞬きが少なくなっていることから、再学習指令部46は、運転者が起きていると判断する。
なお、再学習指令部46は、所定条件を満たすときに運転者が起きていると判断し、学習部24に再学習をさせてもよいが、より正確に処理を実行するため、図21のステップST44に示すように、所定条件を満たす平均値と標準偏差との個数を求めることとしている。
その後、再学習指令部46は、所定条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する(ST45)。そして、所定個数以上と判断した場合(ST45:YES)、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(ST51)。そして、処理はステップST1に戻り、再学習指令部46は、学習部24に再学習させることとなる。
他方、所定個数以上でないと判断した場合(ST45:NO)、再学習指令部46は、入力信号に基づいて運転者が起きているか否かを判断する(ST46)。すなわち、再学習指令部46は、音声認識装置42からの信号を入力して発話があったか否かを検出する。また、再学習指令部46は、タイマー43から、運転開始からの時間を示す時間情報を入力する。さらに、再学習指令部46は、運転操作検出部44から、運転者の運転操作を示す運転操作信号を入力すると共に、走行検出部45から、走行情報を入力する。
そして、再学習指令部46は、運転者による発話が検出されるときには、運転者が起きていると判断する。また、再学習指令部46は、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断する。さらに、再学習指令部46は、運転者による運転操作が所定頻度以上検出されるとき、及び車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断する。
なお、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。
そして、運転者が起きていると判断した場合(ST46:YES)、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(ST51)。次いで、処理はステップST1に戻り、再学習指令部46は、学習部24に再学習させることとなる。
他方、運転者が起きていないと判断した場合(ST46:NO)、再学習指令部46は、運転者個人の開眼状態における開度値をクリアしない。すなわち、再学習指令部46は、学習部24に再学習させることなく、処理はステップST47に移行する。
その後、図13に示したステップST23〜ST26の処理と同様にして、ステップST47〜ST50の処理が実行される。
このようにして、第2実施形態に係る覚醒度判定装置2によれば、第1実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。
さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。
さらに、第2実施形態によれば、運転者が起きているか否かを判断し、且つ、運転者の眼を誤って追跡しているか否かを判断している。そして、起きていると判断できた場合や、誤って追跡していると判断できた場合には、運転者個人の開眼状態における開度値を再学習させている。このため、運転者の覚醒度が低下しているときに、運転者個人の開眼状態における開度値を学習し、そのまま学習した開度値により処理が実行され続けてしまうことを防止できる。さらに、運転者が眼鏡を着用している場合などに、誤って追跡していた間に得られた開度値により処理が実行され続けてしまうことを防止できる。
また、統計的代表値が運転者個人の開眼状態における開度値よりも大きく、且つ、統計的偏差が、基準値以下であるときに、運転者が起きていると判断している。すなわち、統計的代表値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、統計的偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、確実に運転者が起きていることを判断することができる。
また、第1規定時間連続して開眼と判断され、又は第2規定時間連続して閉眼と判断されたときに、運転者の眼を誤って追跡していると判断している。すなわち、第1規定時間連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、眼を誤って眼を追跡していると判断できる。さらに、第2規定時間連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。このように、誤って眼を追跡していることを確実に判断することができる。
また、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断している。すなわち、エンジン始動から間もない時間に運転者の覚醒度が低下することは考えられず、確実に運転者が起きていることを判断することができる。
また、運転者による運転操作が所定頻度以上検出されるときには、運転者が起きていると判断している。ここで、運転者の覚醒度が低下している場合には運転操作の頻度が低下して、操作頻度は所定頻度を下回ることとなる。このため、運転操作が所定頻度以上検出されるときには、確実に運転者が起きていることを判断することができる。
また、車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断している。ここで、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。
すなわち、加速と減速とが繰り返されるような場合には、走路にあわせて適切な車速に調整しようとする運転者の意思が検出される。このため、運転者の覚醒度が低下していると考えられず、確実に運転者が起きていると判断できる。また、車両周囲の障害物を避ける動作をしている場合には、車両周囲の環境にあわせて障害物を避けようとする運転者の意思が検出される。また、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合には、誘導経路に沿って運転しようとする運転者の意思が検出される。このため、同様に確実に運転者が起きていると判断できる。
従って、確実に運転者が起きていることを判断することができる。
また、運転者による発話が検出されるときには、運転者が起きていると判断している。すなわち、覚醒度が低下した状態で運転者が発話するとは考え難く、確実に運転者が起きていることを判断することができる。
次に、本発明の第3実施形態を説明する。第3実施形態に係る覚醒度判定装置3は、第1実施形態のものと同様であるが、構成及び処理内容が第1実施形態のものと一部異なっている。
以下、第1実施形態との相違点について説明する。図23は、第3実施形態に係る覚醒度判定装置の処理装置の詳細構成図である。なお、図23においては、接続関係を明確にするために、撮像部10についても図示することとする。
同図に示すように、第3実施形態に係る覚醒度判定装置3は、新たに信頼度推定部47を備えている。信頼度推定部47は、算出部29により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するものである。また、信頼度推定部47は、眼の状態としてあり得るか否かの判断結果によって覚醒度判定部27の判定結果について信頼度を推定するものである。
ここで、信頼度推定部47は、算出部29により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するにあたり、以下の条件を用いる。図24は、信頼度推定部47による判断の詳細を示すグラフである。なお、図24において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図24に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図24においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値(規定値)が定められている。
信頼度推定部47は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部29により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定する。
すなわち、符号Dにより示す区間のように、標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は、符号Dにより示す区間と対応する符号Cの区間において、低くなるはずである。ところが、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きくなっている。このため、眼の状態としてあり得ない現象が起こっていることとなる。従って、信頼度推定部47は信頼度が低いと推定する。
このように、信頼度を推定することにより、仮に覚醒度が低下していると判定されたとしても、運転者を覚醒させる報知を行わないようにするなど、信頼度に応じて適切な提示を行うことが可能となる。
次に、第3実施形態に係る覚醒度判定装置3の動作を説明する。第3実施形態に係る覚醒度判定装置3は、第1実施形態のものと同様の処理を実行する。すなわち、撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。次いで、処理装置20は、図12に示した処理を実行する。そして、図12のステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し(ST15)、学習し終えていると判断した場合(ST15:YES)、図25に示す処理を実行する。
図25は、図23に示した処理装置20の詳細動作を示すフローチャートである。同図に示すように、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST17と同様にして開閉眼判定を行う(ST60)。その後、ステップST61〜ST65において、図13に示したステップST18〜ST22と同様の処理が行われる。
そして、ステップST66において、信頼度推定部47は、図24に示した条件に合致する平均値及び標準偏差の個数を求める(ST66)。その後、信頼度推定部47は、図24に示した条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する(ST67)。
そして、所定個数以上と判断した場合(ST67:YES)、信頼度推定部47は、覚醒度判定部27の判定結果について信頼度が低いと推定する(ST68)。すなわち、眼の状態としてあり得ない現象が起こっていることから、信頼度推定部47は覚醒度判定部27の判定結果について信頼度が低いと推定する。そして、処理はステップST70に移行する。他方、所定個数以上でないと判断した場合(ST67:NO)、信頼度推定部47は、覚醒度判定部27の判定結果について信頼度が高いと推定する(ST69)。そして、処理はステップST70に移行する。
その後、ステップST70,ST71において、図13に示したステップST23,ST24と同様の処理が行われる。そして、ステップST72において、提示部30は、提示動作する(ST25)。このとき、提示部30は、運転者の覚醒度が低下している場合、運転者を覚醒させるように報知を行うが、ステップST68において信頼度が低いと推定された場合には、報知を中止する。
そして、ステップST73において図13に示したステップST26と同様の処理が行われる。
このようにして、第3実施形態に係る覚醒度判定装置3によれば、第1実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。
さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。
さらに、第3実施形態によれば、算出部29により算出された統計的代表値と統計的偏差との関係が眼の状態としてあり得るか否かを判断し、この判断結果によって覚醒度判定部27の判定結果について信頼度を推定することとしている。このため、判定された覚醒度について信頼度が低い場合には、仮に覚醒度が低下していると判定されたとしても、例えば運転者を覚醒させる報知を行わないようにすることができる。従って、信頼度に応じて適切な提示を行うことが可能となる。
また、信頼度推定部47は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部29により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定している。すなわち、算出された標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は低くなるはずである。ところが、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きい場合、眼の状態としてあり得ない現象が起こっていることとなる。従って、眼の状態としてあり得るか否かを確実に判断することができる。
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。