JP4840146B2 - 眠気検知装置 - Google Patents

Description

本発明は、車両の運転者の眠気を検知する眠気検知装置に関する。

従来より、運転者の顔面を撮影する撮影手段と、撮影手段で撮影された画像から運転者の眠気を検知する画像処理回路と、画像処理回路で眠気が検知されると警告を発する警告手段とを備えた眠気検知装置が知られている。

この種の眠気検知装置では、撮影された画像から運転者の目の開度（即ち、上まぶたと下まぶたとの距離）、及び瞬き時の閉じ時間を算出し、それらを予め設定された閾値と比較することにより眠気を検出すること（例えば、特許文献１参照）や、覚醒時の運転者に固有な瞬き時の閉じ時間から設定される瞬きの評価時間に基づき、評価時間よりも閉じ時間が長い瞬き（以下、長瞬き）を検出し、所定時間内における瞬きの総数と長瞬きとの比率から眠気を検知すること（例えば、特許文献２参照）が提案されている。
特開平６−２６６９８１号公報 特開平１０−２７２９６０号公報

ところで、車両を運転する場合、運転者は、車両の前方に設定される注視点（即ち、運転者が注視すべきポイント）の他に、車両に備えられたメータ等も見る必要があり、注視点への視線よりも下方へと視線を向ける（以下、下方へと視線を向けることを下方視とする）必要がある。

しかしながら、従来の眠気検知装置では、下方視の際の目の開度と、眠気が発生した際の目の開度とが酷似しているため、下方視であるにも関わらず、運転者に眠気が発生したと誤認識する可能性が高かった。

また、従来の眠気検知装置では、下方視の際の目の開度が撮影画像中では小さくなるため、実際には目を開いていても画像処理回路が目を閉じているものと判定し、下方視の際の瞬き時の閉じ時間と、眠気が発生した際の瞬きの閉じ時間とがほぼ同じ時間となることで、下方視を眠気の発生と誤認識する可能性があった。

つまり、従来の眠気検知装置では、下方視であるにも関わらず、運転者に眠気が発生したと誤認識することで、眠気の検知精度が低下するという問題があった。
そこで、本発明は、下方視によって生じる眠気の発生の誤認識を低減させ、眠気の検知精度を向上させることが可能な眠気検知装置を提供することを目的とする。

本発明の発明者らは、研究の結果、運転者が下方視である場合、その運転者のまぶたの輪郭形状に、運転者が車両の前方（即ち、注視点等）を視認している時等とは異なる特徴が表れるとの知見を得た。
上記目的を達成するためになされた本発明は、この知見に基づくものであり、眠気検知装置に関する。本発明の眠気検知装置では、撮影手段が、車両の運転者の顔面を含む撮影画像を撮影し、その撮影画像を取得する毎に、覚醒度推定手段が、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する。これと共に、前記撮影手段で撮影した撮影画像に基づき、視線推定手段が、前記運転者が運転する時の視線の方向である視線方向を推定し、その視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、覚醒度補正手段が、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する。さらに、前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、眠気検知手段が、前記運転者の眠気を検知する。
そして、本発明の眠気検知装置における前記視線推定手段では、周辺領域抽出手段が、前記撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出し、輪郭形状抽出手段が、上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段で抽出された目の周辺領域画像から算出する。
さらに、本発明の眠気検知装置における前記視線推定手段では、前記輪郭形状抽出手段で算出された前記上部近似曲線及び前記下部近似曲線のうちの少なくとも一方が、下に凸である場合、前記下方視であるものとする。

したがって、発明の眠気検知装置によれば、下方視に起因する眠気発生の誤認識を低減させることができ、この結果、運転者の眠気の検知精度を向上させることができる。

なお、本発明の眠気検知装置における眠気検知手段は、運転者が通常視である場合、覚醒度推定手段で推定された覚醒度を補正することなく、そのまま用いて運転者の眠気を検知するように構成されていても良い。ただし、ここで言う通常視とは、車両の前方に位置する注視点や、車両に備えられたミラー等に視線を向けることを指すものである。

そして、本発明の眠気検知装置が通常視であるものと推定する条件としては、請求項２に記載のように、当該視線推定手段での推定結果が前記下方視ではなく、かつ輪郭形状抽出手段で算出された上部近似曲線、及び下部近似曲線のうちの少なくとも一方が、上に凸または直線である場合であっても良い。ただし、上部近似曲線及び下部近似曲線のうちの少なくとも一方が、請求項２に記載の条件を満たす場合、本発明の眠気検知装置の覚醒度補正手段は、覚醒度推定手段で推定された覚醒度の補正を禁止する。

さらに、本発明の眠気検知装置は、請求項３に記載のように、車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する覚醒度推定手段と、前記撮影手段で撮影した撮影画像に基づき、前記運転者が運転する時の視線の方向である視線方向を推定する視線推定手段と、前記視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する覚醒度補正手段と、前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、前記運転者の眠気を検知する眠気検知手段とを備え、前記視線推定手段は、前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出する周辺領域抽出手段と、上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段で前記目の周辺領域画像を抽出する毎に、該目の周辺領域画像から算出する輪郭形状抽出手段とを備え、前記輪郭形状抽出手段で算出される前記上部近似曲線における凹みの大きさを表す凸度、もしくは前記下部近似曲線における凹みの大きさを表す凸度の予め規定された検知時間内における変化量が、予め規定された規定値よりも大きい場合、前記下方視であるものとしても良い。

一方、本発明の眠気検知装置は、車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する覚醒度推定手段と、前記撮影手段で撮影した撮影画像に基づき、前記運転者が運転する時の視線の方向である視線方向を推定する視線推定手段と、前記視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する覚醒度補正手段と、前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、前記運転者の眠気を検知する眠気検知手段とを備え、前記視線推定手段は、前記撮影手段で撮影画像を撮影する毎に、該撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出する周辺領域抽出手段と、上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段にて目の周辺領域画像を抽出する毎に該目の周辺領域画像から算出する輪郭形状抽出手段とを備え、前記視線推定手段は、運転開始後の前記運転者の覚醒度が高い時間として予め規定された規定時間内に前記輪郭形状抽出手段で算出された複数の上部近似曲線を平均した平均上部近似曲線、及び複数の下部近似曲線を平均した平均下部近似曲線を算出する平均近似曲線算出手段と、前記規定時間経過後に前記輪郭形状抽出手段で算出された上部近似曲線及び下部近似曲線と、前記平均近似曲線算出手段で算出された平均上部近似曲線及び平均下部近似曲線とを比較する近似曲線比較手段とを備え、前記近似曲線比較手段での比較の結果、前記上部近似曲線における凹みの大きさを表す凸度及び前記下部近似曲線における凹みの大きさを表す凸度のうちの少なくとも一方が、それぞれに対応する前記平均上部近似曲線における前記凸度、または前記平均下部近似曲線における前記凸度よりも大きい場合、前記下方視であるものとしても良い。

つまり、このような眠気検知装置では、運転者の覚醒度が高い時間帯に算出された上部（下部）近似曲線から平均上部（下部）近似曲線、即ち、覚醒度が高い状態における運転者毎の基準指標（即ち、覚醒度が高い状態でのまぶたの輪郭形状）を算出し、その平均上部（下部）近似曲線と上部（下部）近似曲線との比較結果に基づいて、下方視であるか否かを判定している。

したがって、このような眠気検知装置によれば、運転者毎の個人差により下方視の検知精度が低下することを防止でき、ひいては、運転者毎の個人差により眠気の検知精度が低下することを防止できる。

さらには、本発明の眠気検知装置における輪郭形状抽出手段は、請求項５に記載のように、前記上部近似曲線及び前記下部近似曲線をスムージング処理するように構成されていることが望ましい。

このような眠気検知装置によれば、目の周辺領域画像に偶発的な欠損があるような場合（例えば、まぶたの輪郭部分に画素の抜けが生じているような場合等）であっても、まぶたの輪郭形状を精度良く抽出することができ、そのような場合であっても、運転者が下方視であることをより精度良く推定することができる。

ところで、請求項６に記載のように、本発明の眠気検知装置における視線推定手段は、覚醒度推定手段で推定された覚醒度が、予め規定された規定閾値よりも小さい低覚醒度状態であることを低覚醒状態検知手段が検知した場合にのみ、視線方向の推定を実施するように構成されていても良い。

つまり、請求項６に記載の眠気検知装置では、運転者の覚醒度が高く、運転者が明らかに眠気を生じていない等、下方視であるか否かを推定する必要がない場合には、覚醒度推定手段で推定された覚醒度をそのまま用いて、眠気検知手段が運転者の眠気を検知する。

このような眠気検知装置によれば、眠気を検知する時に当該装置に加わるトータルの負荷を低減することができる。
そして、請求項７に記載のように、覚醒度推定手段が、運転者の目の開き度合いを示す開度に基づき、覚醒度を推定するものであれば、本発明の眠気検知装置における低覚醒状態検知手段は、運転開始後の運転者の覚醒度が高い時間として予め規定された規定時間内での最大の目の開度に対して、予め規定された規定割合の目の開度である規定開度以下となる時間が、予め規定された対象時間よりも長い状態を低覚醒度状態とするように構成されていることが望ましい。

なお、本発明の眠気検知装置には、請求項８に記載のように、眠気検知手段で運転者に眠気が生じたものとして眠気が検知された場合、警告を発する警告手段が備えられていても良い。

このような眠気検知装置によれば、警告を発することにより、運転者に眠気が検知されたことを認識させることができると共に、運転者の眠気を低下（即ち、覚醒度を上昇）させることができる。

以下に本発明の実施形態を図面と共に説明する。
ここで、図１は、車両に搭載され、本発明が適用された眠気検知装置の概略構成を示すブロック図である。なお、以下では、眠気検知装置が搭載された車両を搭載車両とする。［第一実施形態］
〈装置構成〉
眠気検知装置１は、搭載車両の運転者の顔面を含む照射領域に照射光を照射する光源１３と、光源１３からの照射光が照射された運転者の顔面を含む画像を撮影するカメラ１２と、カメラ１２で撮影された画像に基づき、運転者の眠気を検知する画像処理プロセッサ１０と、画像処理プロセッサ１０からの音声信号により音声を出力するスピーカ１１とを備えている。

光源１３は、画像処理プロセッサ１０からの発光信号に従って発光する発光ダイオードを中心に構成され、予め規定された広がり角で照射光を照射するものである。
また、光源１３は、搭載車両のシートに着座した状態（以下、着座状態とする）の運転者の眼球内に、運転者の下まぶたと眼球との境界に形成される影を投影させる位置であり、運転者の目から延伸する軸として予め設定された下方軸よりも下方（即ち、路面に近い位置）に配置されている。具体的に、本実施形態では、ステアリングホイールにおけるステアリングコラムの延長線上に配置されており、この位置を第二配置位置とする。

ただし、下方軸とは、着座状態の運転者が、搭載車両の前方に予め設定された注視点へと視線を向けている時に、搭載車両の全長方向及び車高方向を含む断面上にて、運転者の目尻と下まぶたの最も低い位置（即ち、路面に近い位置、以下、最下点とする）とを結んだ直線である。

次に、カメラ１２は、ＣＣＤ素子からなる受光部を有し、画像処理プロセッサ１０からの撮像信号に従って、レンズを介して受光部が受光して、デジタル画像を撮像（以下、撮像されたデジタル画像を撮影画像とする）するものである。

また、カメラ１２は、第二配置位置よりも上方で、さらに着座状態の運転者が搭載車両の前方に予め設定された注視点へと視線を向けている時の注視軸と、下方軸とに挟まれた位置であり、運転者の下まぶたと眼球との境界に形成される影を撮影可能な位置に配置されている。具体的に、本実施形態では、速度計、もしくは回転速度計が備えられている位
置に配置されており、この位置を第一配置位置とする。

ただし、注視軸とは、着座状態における運転者の目の位置から水平方向に伸びた水平軸（即ち、路面と平行な軸）よりも下方となる軸である。
また、画像処理プロセッサ１０は、各種処理を実行するためのプログラムや、データを記憶するＲＯＭ１０ａと、データを一時的に記憶するＲＡＭ１０ｂと、ＲＯＭ１０ａに記憶されたプログラム等に従って処理を実行するＣＰＵ１０ｃとを備えている。

なお、ＲＯＭ１０ａには、撮影画像に対して各種処理を実行する際に必要なテンプレートとして、人の目、鼻、口等を模擬し、撮影画像から運転者の顔面を抽出するための顔面抽出用テンプレートや、人の目を模擬し、撮影画像から運転者の目を抽出するための目抽出用テンプレート等が格納されている。

つまり、画像処理プロセッサ１０は、カメラ１２で撮影した撮影画像に基づき、運転者の眠気のレベルを推定し、運転者に対して警告を発する眠気警告処理を実行可能に構成されている。
〈眠気警告処理〉
次に、画像処理プロセッサ１０のＣＰＵ１０ｃが実行する眠気警告処理について説明する。

ここで、図２は、眠気警告処理の処理手順を示す説明図である。
この眠気警告処理は、搭載車両の運転が開始された時（本実施形態では、エンジンが始動された時）に起動されるものである。

そして、眠気警告処理は、起動されるとまず、Ｓ１１０にて、光源１３に対して発光信号を出力すると共に、カメラ１２に対して撮像信号を出力し、カメラ１２に撮影画像を撮影させ、その撮影された撮影画像を取得する。

続くＳ１２０では、カメラ１２から取得された撮影画像に基づき、運転者の顔面が撮影されている顔面領域を抽出する。具体的に、本実施形態では、取得された撮影画像の予め規定された規定画素から、規定の方向へと顔面抽出用テンプレートをパターンマッチングし、顔面抽出用テンプレートと予め規定された規定割合以上で一致する撮影画像の領域を顔面領域として抽出する。

さらに、Ｓ１３０では、Ｓ１２０で抽出された顔面領域から、運転者の上まぶた、及び下まぶたを含む目の周辺領域を抽出する。具体的に、本実施形態では、顔面領域の予め規定された規定画素から、規定の方向へと目抽出用テンプレートをパターンマッチングし、目抽出用テンプレートと予め規定された規定割合以上で一致する顔面領域内での一部の領域を運転者の目と認識する。そして、その運転者の目と認識された領域から、その領域を含むように予め規定された大きさの領域を目の周辺領域として抽出する。

続くＳ１４０では、Ｓ１３０で抽出された目の周辺領域に基づき、運転者の瞬きを検出する。
具体的に、本実施形態では、Ｓ１３０で目の周辺領域が抽出される毎に、図５（Ａ）に示すように、目の周辺領域中（即ち、撮影画像中）の眼球とまぶたとの輝度差に基づき、上まぶた（即ち、上まぶたの最高点（頭頂部に最も近い位置））と下まぶた（即ち、下まぶたの最下点（路面に最も近い位置））との距離（以下、この距離を目の開度とする）を
算出する。そして、その算出された目の開度を、運転開始からの経過時間と共にＲＡＭ１０ｂに記憶する。

なお、目の開度と運転開始からの経過時間との関係（以下、瞬き検出関係とする）は、図５（Ｂ）に示すようなグラフとして表される。ただし、本実施形態における瞬き検出関係では、目の開度を、運転者が覚醒している運転開始直後の予め規定された規定時間内での最大の距離との比率に置き換えた上で取り扱っている。

つまり、Ｓ１４０では、運転者の目の開度の時間変化、即ち、運転者の瞬きの状態を求める。
続くＳ１５０では、Ｓ１４０でＲＡＭ１０ｂに記憶された目の開度の時間変化に基づき、運転者の眠気を推定、即ち、運転者の覚醒状態を表す覚醒度を算出する。

具体的には、一回の瞬きにおける目の開度が予め規定された比率以下となっている瞬き時間（即ち、目が閉じられている時間）に応じて、覚醒度を算出する。特に、その瞬き時間が短ければ、運転者が覚醒しているものとして、値が大きくなるように覚醒度を算出し、瞬き時間が長ければ、運転者が眠気を感じているものとして、値が低くなるように覚醒度を算出する。そして、算出された覚醒度の大きさにより、後述する警告処理での覚醒状態の判定指標としての覚醒レベルを五つの段階に分けて設定する。

さらに、Ｓ１６０では、撮影画像のうち、Ｓ１３０で抽出された目の周辺領域を眼球とまぶたとの輝度差が明確となるように二値化する。
続くＳ１７０では、Ｓ１６０で二値化された目の周辺領域に基づき、運転者の視線の方向を検出する下方視検出処理を実行する。

その後、Ｓ１８０では、先のＳ１７０で実施された下方視検出処理での検出結果が、運転者がメータ等を視認する、即ち、注視軸よりも下方へと運転者が視線を向けている下方視であるか否かが判定される。そして、判定の結果、運転者の視線が下方視であるものと判断された場合、Ｓ１９０へと進む。

具体的に、本実施形態では、後述する下方視フラグ（もしくは、通常視フラグ）が設定されている否かにより、下方視であるか否かを判定する。
そのＳ１９０では、先のＳ１５０にて、運転者が下方視であることにより低下した状態で算出された覚醒度を、その低下分が相殺されるように補正（以下、補正された覚醒度を補正覚醒度とする）し、Ｓ２００へと進む。具体的に、本実施形態では、Ｓ１５０で算出された覚醒レベルを二段階上昇させる（即ち、覚醒度が高くなるように補正する）。

また、Ｓ１８０での判定の結果、運転者の視線が下方視以外（例えば、注視点へと視線を向けている場合や、搭載車両内のミラーを視認しているような場合）であるものと判断された場合には、Ｓ１５０で算出された運転者の覚醒度（即ち、覚醒レベル）を補正することなく、Ｓ２００へと進む（以下、補正されていない覚醒度を非補正覚醒度とする）。

そして、Ｓ２００では、Ｓ１９０で補正された補正覚醒度、もしくはＳ１８０で運転者の視線が下方視以外であるものと判断された時の非補正覚醒度に基づき、スピーカ１１が警告等を発するように音声信号をスピーカ１１に出力する警告処理を実行する。具体的に、本実施形態では、覚醒レベルが予め規定された第一閾値よりも大きければ、運転者に休息を促すようにスピーカ１１から注意を発し、覚醒レベルが第一閾値よりも大きなものと
して予め設定された第二閾値よりも大きければ、運転者に運転を止めるようにスピーカ１１から警告を発する。なお、ここで言う警告は、注意よりも大きな音等、注意よりも運転者に対しより強いメッセージを与えるものである。

その後、Ｓ１１０へと戻る。
つまり、眠気検知装置１では、カメラ１２で撮影された撮影画像に基づき、運転者の視線が下方視であるか否かを判定し、下方視である場合には、下方視であることによる覚醒度の低下分が相殺されるように、運転者の覚醒度を補正した上で、眠気レベルを判断して警告などを発する。
〈下方視検出処理〉
次に、先の眠気警告処理にて実行される下方視検出処理について説明する。

ここで、図３は、下方視検出処理の処理手順を示すフローチャートである。
下方視検出処理は、先の眠気警告処理におけるＳ１７０で起動されると、まず、Ｓ３１０にて、先のＳ１６０で二値化された目の周辺領域から、運転者の上まぶたと眼球との境界における上まぶたの輪郭形状を示す近似曲線（ｆｕ）を算出する。

続くＳ３２０では、先のＳ１６０で二値化された目の周辺領域から、運転者の下まぶたと眼球との境界における下まぶたの輪郭形状を示す近似曲線（ｆｄ）を算出する。
具体的に、本実施形態では、図６に示すように、目じりと目頭との間における上まぶた（及び、下まぶた）と眼球との境界に位置する画素を通過するように近似曲線（ｆｕ）（及び、近似曲線（ｆｄ））を算出し、算出された近似曲線（ｆｕ）（及び、近似曲線（ｆｄ））に対して周知のスムージング処理を実行する。

続くＳ３３０では、Ｓ３１０で算出された近似曲線（ｆｕ）、もしくはＳ３２０で算出された近似曲線（ｆｄ）のいずれか一方が下に凸であるか否かを判定し、判定の結果、いずれか一つでも下に凸であるものと判断された場合、Ｓ３４０へと進む。

そのＳ３４０では、運転者の視線が、注視軸よりも下方へと向いている下方視であることを示す下方視フラグを設定し、眠気警告処理のＳ１８０へと戻る。
また、Ｓ３３０での判定の結果、Ｓ３１０で算出された近似曲線（ｆｕ）、及びＳ３２０で算出された近似曲線（ｆｄ）の両方ともが、下に凸以外（即ち、直線、もしくは上に凸）であるものと判断された場合、Ｓ３５０へと進む。

そのＳ３５０では、運転者の視線の方向が、下方視以外の通常視（即ち、注視点へと視線を向けている場合や、搭載車両内のミラーを視認している場合等）であることを示す通常視フラグを設定し、眠気警告処理のＳ１８０へと戻る。
［第一実施形態の効果］
以上説明したように、第一実施形態における眠気検知装置１によれば、運転者が下方視である場合には、撮影画像に基づいて算出された運転者の覚醒度を、下方視であることによる覚醒度の低下分が相殺されるように補正する。そして、その補正した補正覚醒度を用いて、運転者に眠気が生じているか否かを判定するため、下方視に起因する眠気発生の誤認識を低減することができる。

ここで、図４は、眠気が発生した時の目（即ち、上まぶた、及び下まぶたに囲まれた領域）の形状と、下方視の時の目の形状との違いを示した実験結果である。本発明の発明者
らは、図４に示すように、下方視である場合には、眠気が発生した場合に比べて、上まぶた、もしくは下まぶたの輪郭形状が下向き（即ち、近似曲線(ｆｕ)、もしくは近似曲線（ｆｄ）が下に凸）になるという結果を得た。

このため、眠気検知装置１によれば、近似曲線（ｆｕ）、もしくは近似曲線（ｆｄ）のいずれか一つが下に凸である場合には、下方視であるものと判断することにより、運転者が下方視であることの検出精度を向上させることができる。

さらに、眠気検知装置１の下方視検出処理では、算出された近似曲線をスムージング処理しているため、目の周辺領域における撮影画像に偶発的な欠損があるような場合（例えば、まぶたの輪郭部分に画素の抜けが生じているような場合等）であっても、まぶたの輪郭形状を精度良く抽出することができる。このため、眠気検知装置１によれば、そのような場合であっても、運転者が下方視であることをより精度良く検出することができる。

これらの結果、眠気検知装置１によれば、運転者に眠気が生じたことの検知精度を向上させることができる。
また、眠気検知装置１によれば、覚醒レベルが第一閾値よりも大きければ、スピーカ１１から注意を発し、覚醒レベルが第二閾値よりも大きければ、スピーカ１１から警告を発するため、運転者に眠気が検知されたことを認識させることができる。そして、眠気検知装置１によれば、注意と警告とを使い分けることにより、運転者の覚醒度に応じて、事故を未然に防ぐように適切な行動を運転者に採らせることができる。
［第二実施形態］
次に、第二実施形態について説明する。

第一実施形態で示した眠気検知装置１と第二実施形態で説明する眠気検知装置とでは、眠気警告処理が異なるのみである。このため、第一実施形態と同様の構成及び処理については、同一符号を付して説明を省略し、第一実施形態とは異なる眠気警告処理を中心に説明する。
〈眠気警告処理〉
ここで、図７は、第二実施形態における眠気警告処理の処理手順を示すフローチャートである。

この眠気警告処理は、搭載車両の運転が開始された時（本実施形態では、エンジンが始動された時）に起動されるものである。
そして、眠気警告処理は、起動されるとまず、Ｓ４１０では、光源１３に対して発光信号を出力すると共に、カメラ１２に対して撮像信号を出力し、カメラ１２に撮影画像を撮影させ、その撮影された撮影画像を取得する。

続くＳ４２０では、カメラ１２から取得された撮影画像に基づき、運転者の顔面が撮影されている顔面領域を抽出する。
さらに、Ｓ４３０では、Ｓ１２０で抽出された顔面領域から、運転者の上まぶた、及び下まぶたを含む目の周辺領域を抽出する。

その後、Ｓ４４０では、運転が開始された時間から予め規定された規定時間（本実施形態では、５分とする）が経過したか否か判定し、その判定の結果、規定時間が経過していないものと判断された場合、Ｓ４５０へと進む。

続くＳ４５０では、後述する下方視検出処理で、下方視であるか否かの判定に用いる指標である運転者の目（即ち、まぶた）の平均形状を抽出する目の平均形状抽出処理を実行する。そして、その後Ｓ４６０へと進む。

また、Ｓ４４０での判定の結果、規定時間が経過したものと判断された場合にも、Ｓ４６０へと進む。
そして、Ｓ４６０では、Ｓ４３０で目の周辺領域が抽出される毎に、目の周辺領域中（即ち、撮影画像中）の眼球とまぶたとの輝度差に基づき、目の開度を算出して、運転開始からの経過時間と共にＲＡＭ１０ｂに記憶する。

さらに、Ｓ４７０では、Ｓ４６０でＲＡＭ１０ｂに記憶された目の開度の時間変化に基づき、運転者の眠気を推定、即ち、運転者の覚醒状態を表す覚醒度を算出する。
そして、Ｓ４８０では、撮影画像のうち、Ｓ４３０で抽出された目の周辺領域を眼球とまぶたとの輝度差が明確となるように二値化する。

続くＳ４９０では、Ｓ４８０で二値化された目の周辺領域に基づき、運転者の視線の方向を検出する下方視検出処理を実行する。
その後、Ｓ５００では、先のＳ４９０で実施された下方視検出処理での検出結果が、運転者がメータ等を視認する、即ち、注視軸よりも下方へと運転者が視線を向けている下方視であるか否かが判定される。そして、判定の結果、運転者の視線が下方視であるものと判断された場合、Ｓ５１０へと進む。

そのＳ５１０では、先のＳ４７０にて算出され、運転者が下方視であることにより低下した状態の覚醒度を、その低下分が相殺されるように補正（以下、補正された覚醒度を補正覚醒度とする）し、Ｓ５２０へと進む。

また、Ｓ５００での判定の結果、運転者の視線が下方視以外（例えば、注視点へと視線を向けている場合や、搭載車両内のミラーへと視線を向けているような場合）であるものと判断された場合には、Ｓ４７０で算出された運転者の覚醒度（即ち、覚醒レベル）を補正することなく、Ｓ５２０へと進む（以下、補正されていない覚醒度を非補正覚醒度とする）。

そして、Ｓ５２０では、Ｓ５１０で補正された補正覚醒度、もしくはＳ５００で運転者の視線が下方視以外であるものと判断された時の非補正覚醒度に基づき、スピーカ１１が警告等を発するように音声信号をスピーカ１１に出力する警告処理を実行する。

その後、Ｓ４１０へと戻る。
〈目の平均形状抽出処理〉
次に、目の平均形状抽出処理について説明する。

ここで、図８は、目の平均形状抽出処理の処理手順を示すフローチャートである。
この目の平均形状抽出処理は、先のＳ４５０で起動されると、まず、Ｓ６１０では、先のＳ４３０で抽出された目の周辺領域中（即ち、撮影画像中）の眼球とまぶたとの輝度差に基づき、目の開度を算出する。そして、算出された目の開度が、運転開始から現時点までに算出された目の開度のうち、最大のもの（即ち、最高点と最下点との距離が最も大きなもの）であれば、その目の開度を最大開度としてＲＡＭ１０ｂに記憶する（即ち、ＲＡ
Ｍ１０ｂに記憶される最大開度は、規定時間内に算出されるものの中で最大のものに順次更新される）。

続くＳ６２０では、Ｓ６１０で算出された目の開度と、ＲＡＭ１０ｂに記憶された最大開度との比率（以下、開度比率とする）を算出し、その開度比率が、予め規定された第一規定比率以上であるものと判断された場合（以下、この状態を開度大とする）、Ｓ６３０へと進む。また、開度比率が、第一規定比率未満、かつ予め規定された第二規定比率以上であるものと判断された場合（以下、この状態を開度中とする）、Ｓ６５０へと進み、第二規定比率未満であるものと判断された場合（以下、この状態を開度小とする）、Ｓ６７０へと進む。

具体的に、本実施形態では、第一規定比率を最大開度の２／３とし、第二規定比率を最大開度の１／３とする。
そして、Ｓ６３０では、開度大であるものと判断された目の周辺領域（即ち、撮影画像）を、運転者の眼球とまぶたとの輝度差が明確となるように二値化する。

続くＳ６４０では、先のＳ６３０で二値化された目の周辺領域から、運転者のまぶたと眼球との境界における上まぶたの輪郭形状を示す上部近似曲線（ｆｕ１）、及び下まぶたの輪郭形状を示す下部近似曲線（ｆｄ１）を算出する。そして、その上部近似曲線（ｆｕ１）、及び下部近似曲線（ｆｄ１）を開度比率の状態（即ち、開度大）と対応付けた上でＲＡＭ１０ｂに記憶し、Ｓ６９０へと進む。

一方、Ｓ６５０では、開度中であるものと判断された目の周辺領域（即ち、撮影画像）を、運転者の眼球とまぶたとの輝度差が明確となるように二値化する。
続くＳ６６０では、先のＳ６５０で二値化された目の周辺領域から、運転者のまぶたと眼球との境界における上まぶたの輪郭形状を示す上部近似曲線（ｆｕ２）、及び下まぶたの輪郭形状を示す下部近似曲線（ｆｄ２）を算出する。そして、その上部近似曲線（ｆｕ２）、及び下部近似曲線（ｆｄ２）を開度比率の状態（即ち、開度中）と対応付けた上でＲＡＭ１０ｂに記憶し、Ｓ６９０へと進む。

また、Ｓ６７０では、開度小であるものと判断された目の周辺領域（即ち、撮影画像）を、運転者の眼球とまぶたとの輝度差が明確となるように二値化する。
続くＳ６８０では、先のＳ６７０で二値化された目の周辺領域から、運転者のまぶたと眼球との境界における上まぶたの輪郭形状を示す上部近似曲線（ｆｕ３）、及び下まぶたの輪郭形状を示す下部近似曲線（ｆｄ３）を算出する。そして、その上部近似曲線（ｆｕ３）、及び下部近似曲線（ｆｄ３）を開度比率の状態（即ち、開度小）と対応付けた上でＲＡＭ１０ｂに記憶し、その後Ｓ６９０へと進む。

具体的に、本実施形態では、図１０（Ａ）、（Ｂ）、（Ｃ）に示すように、開度大（図１０（Ａ））、開度中（図１０（Ｂ））、開度小（図１０（Ｃ））のそれぞれの開度比率の状態であると判断された目の周辺領域で、目じりと目頭との間における上まぶた、及び下まぶたと眼球との境界に位置する画素を通過するように上部近似曲線（ｆｕ１〜３）、及び下部近似曲線（ｆｄ１〜３）を算出する。そして、算出された上部近似曲線（ｆｕ１〜３）、及び下部近似曲線（ｆｄ１〜３）に対して周知のスムージング処理を実行する。

そして、Ｓ６９０では、先のＳ６４０、Ｓ６６０、Ｓ６８０で算出され、ＲＡＭ１０ｂに記憶された上部近似曲線（ｆｕ１〜３）、及び下部近似曲線（ｆｄ１〜３）を、それぞ
れの開度比率に応じて（即ち、本実施形態では、開度大、開度中、開度小の三つで）平均した上部平均近似曲線（ｆｕ１〜３）、及び下部平均近似曲線（ｆｄ１〜３）を算出する。さらに、それらの算出された平均近似曲線毎に、平均近似曲線の下に凸の度合いを表す平均凸度を算出し、それらの平均凸度を、開度比率の状態と対応付けた上でＲＡＭ１０ｂに記憶する。

その後、眠気警告処理のＳ４６０へと進む。
〈下方視検出処理〉
次に、下方視検出処理について説明する。

ここで、図９は、第二実施形態における下方視検出処理の処理手順を示すフローチャートである。
この下方視検出処理は、先のＳ４９０で起動されると、まず、Ｓ７１０にて、先のＳ４８０で二値化された目の周辺領域から、運転者の上まぶたと眼球との境界における上まぶたの輪郭形状を示す近似曲線（ｆｕ）を算出する。

続くＳ７２０では、先のＳ４８０で二値化された目の周辺領域から、運転者の下まぶたと眼球との境界における下まぶたの輪郭形状を示す近似曲線（ｆｄ）を算出する。
具体的に、本実施形態では、目じりと目頭との間における上まぶた、及び下まぶたと眼球との境界に位置する画素を通過するように近似曲線（ｆｕ）、及び近似曲線（ｆｄ）を算出し、算出された近似曲線（ｆｕ）、及び近似曲線（ｆｄ）に対して周知のスムージング処理を実行する。

ただし、本実施形態では、近似曲線（ｆｕ）、及び近似曲線（ｆｄ）には、先のＳ４６０にて算出された目の開度に基づき、開度比率の状態が対応付けられている。
続くＳ７３０では、Ｓ３１０で算出された近似曲線（ｆｕ）、及びＳ３２０で算出された近似曲線（ｆｄ）における下に凸の度合いを示す凸度（以下、近似曲線（ｆｕ）の凸度を第一凸度とし、近似曲線（ｆｄ）の凸度を第二凸度とする）を算出する。

さらに、Ｓ７３０では、算出された第一凸度、もしくは第二凸度のいずれか一つが、ＲＡＭ１０ｂに記憶され、それぞれに対応した上部平均近似曲線（ｆｕ）、もしくは下部平均近似曲線（ｆｄ）の平均凸度よりも下に凸の度合いが大きいか否かを判定する。そして、判定の結果、いずれか一つでも、下に凸の度合いが大きいものと判断された場合、Ｓ７４０へと進む。

つまり、例えば、図１１に示すように、上まぶたの輪郭形状を示す近似曲線（ｆｕ）の第一凸度（図中、実線で示す凸の度合い）が、平均上部近似曲線（ｆｕ）の第一凸度（図中、破線で示す凸の度合い）よりも下に凸の度合いが大きい、即ち、上まぶたの輪郭形状が、瞳孔の位置において、運転開始直後の上まぶたの輪郭形状と比べて下に凹んだ状態であれば、Ｓ７４０へと進む。

そのＳ７４０では、運転者の視線が、注視軸よりも下方へと向いている下方視であることを示す下方視フラグを設定し、眠気警告処理のＳ１８０へと戻る。
また、Ｓ７３０での判定の結果、Ｓ７１０で算出された第一凸度、及び第二凸度の両方ともが、平均凸度よりも下に凸の度合いが小さいものと判断された場合、Ｓ７５０へと進む。

そのＳ７５０では、運転者の視線の方向が、下方視以外の通常視（即ち、注視点へと視線を向けている場合や、搭載車両内のミラーを視認している場合等）であることを示す通常視フラグを設定し、眠気警告処理のＳ１８０へと戻る。
［第二実施形態の効果］
以上説明したように、第二実施形態の眠気検知装置では、運転者の覚醒度が高いとされる運転開始直後の時間帯に算出された近似曲線から、平均近似曲線、即ち、覚醒度が高い状態での基準指標（即ち、覚醒度が高い状態でのまぶたの輪郭形状）を算出する。そして、規定時間経過後に算出される近似曲線と、その近似曲線に対応する平均近似曲線との比較結果に基づいて、下方視であるか否かを判定している。

したがって、第二実施形態の眠気検知装置によれば、運転者毎に目の形状が異なる等の個人差により、下方視であることの検知精度が低下することを防止できる。この結果、第二実施形態の眠気検知装置によれば、運転者毎の個人差により眠気の検知精度が低下することを防止できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、第一実施形態における下方視検出処理では、上まぶたの輪郭に対する近似曲線（ｆｕ）、もしくは下まぶたの輪郭に対する近似曲線（ｆｄ）のいずれか一つでも、下に凸であれば、下方視であるものと判断するようにしていたが、下方視であるものと判断するための条件は、これに限るものではない。

つまり、下方視であるものと判断するための条件は、近似曲線（ｆｕ）、及び近似曲線（ｆｄ）の両方が、下に凸であることであっても良し、下まぶたの輪郭に対する近似曲線（ｆｄ）のみが、下に凸であることであっても良い。また、下方視であるものと判断するための条件としては、近似曲線（ｆｕ）、もしくは近似曲線（ｆｄ）の下に凸の度合いを示す凸度の予め規定された検知時間内における変化量が、予め規定された規定値よりも大きいことであっても良い。

さらに、第一実施形態における下方視検出処理では、近似曲線（ｆｕ）、及び近似曲線（ｆｄ）の両方が、上に凸、または直線である時に、通常視であるものと判断したが、例えば、近似曲線（ｆｕ）、もしくは近似曲線（ｆｄ）のいずれか一方が、上に凸、または直線である時に、通常視であるものと判断しても良い。ただし、下方視検出処理にて、下方視であるものと判断された場合には、これらの条件を満たしたとしても、通常視であるものとは判断しないものとする。つまり、下方視であるという判断結果は、通常視であるという判断結果よりも重みが大きくなるようにする必要がある。

また、第二実施形態における目の平均形状抽出処理では、目の開度に応じて、三段階の開度状態を設定していたが、開度状態は、三段階でなくとも良い。さらに、開度状態を設定するための規定比率は、最大開度の１／３、２／３に限るものではない。

そして、第二実施形態における下方視検出処理では、近似曲線（ｆｕ）、もしくは近似曲線（ｆｄ）のいずれか一方における下に凸の度合いを示す凸度が、それぞれに対応する平均上部近似曲線、または平均下部近似曲線における凸度よりも大きい場合、下方視であるもの判断したが、下方視であるものと判断するための条件は、これに限るものではない。例えば、近似曲線（ｆｕ）、もしくは近似曲線（ｆｄ）の両方における下に凸の度合いを示す凸度が、それぞれに対応する平均上部近似曲線、及び平均下部近似曲線における凸
度よりも大きい場合であっても良い。

なお、上記実施形態（即ち、第一実施形態、及び第二実施形態）の眠気警告処理では、常時、下方視検出処理が実行され、下方視であるか否かが判断されていたが、算出される運転者の覚醒度が、ある程度の覚醒状態であることを示す予め規定された閾値よりも低い場合（即ち、覚醒度が低い場合）にのみ、下方視検出処理が実行されても良い。

このように、運転者の覚醒度が高く、明らかに眠気を生じていない等、下方視であるか否かを検出する必要がない場合には、算出された覚醒度をそのまま用いて運転者に眠気が生じているか否かを検知することが望ましい。そして、この場合、眠気が発生していることを検知する時に当該装置に加わるトータルの負荷を低減することができる。

また、上記実施形態における眠気警告処理では、スピーカ１１から音声を出力することにより、注意や、警告を発していたが、注意や警告を発する方法は、音声に限るものではない。例えば、運転者に冷気を吹きかけたり、シートやステアリングホイールを振動させるようにしても良い。

さらに、上記実施形態の眠気警告処理では、カメラ１２で撮影された撮影画像に基づき運転者の覚醒度を算出していたが、覚醒度を算出する方法は、これに限るものではない。例えば、運転者の脈派や、体温から覚醒度を推定しても良い。

また、上記実施形態における光源１３は、画像処理プロセッサ１０からの発光信号を受けて照射光を照射していたが、発光信号を受けることなく照射光を照射しても良い。ただし、この場合、スイッチの操作等により照射光が照射されるようにすることが望ましい。

なお、上記実施形態におけるカメラ１２は、画像処理プロセッサ１０から撮像信号に従って撮影画像を撮影していたが、撮像信号を受信することなく撮影画像を撮影しても良い。ただし、この場合、カメラ１２内に撮影画像を蓄積し、その蓄積された撮影画像を画像処理プロセッサ１０が取得する必要がある。

眠気検知装置の概略構成を示すブロック図である。 第一実施形態における眠気警告処理の処理手順を示すフローチャートである。 第一実施形態における下方視検出処理の処理手順を示すフローチャートである。 眠気が発生した時と、下方視である時との下まぶたの輪郭形状の違いを判別するために実験で撮影した目の画像である。 瞬きの検出、及び覚醒度の算出を説明するための説明図である。 上まぶた、及び下まぶたの輪郭形状に対する近似曲線を示す説明図である。 第二実施形態における眠気警告処理の処理手順を示す説明図である。 目の平均形状抽出処理の処理手順を示すフローチャートである。 第二実施形態における下方視検出処理の処理手順を示すフローチャートである。 目の平均形状の抽出方法についての概念を示した説明図である。 第二実施形態における下方視の検出についての概念を示した説明図である。

符号の説明

１…眠気検知装置 １０…画像処理プロセッサ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０
ｃ…ＣＰＵ １１…スピーカ １２…カメラ １３…光源

Claims (8)

1. 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
   前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する覚醒度推定手段と、
   前記撮影手段で撮影した撮影画像に基づき、前記運転者が運転する時の視線の方向である視線方向を推定する視線推定手段と、
   前記視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する覚醒度補正手段と、
   前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、前記運転者の眠気を検知する眠気検知手段と
   を備え、
   前記視線推定手段は、
   前記撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出する周辺領域抽出手段と、
   上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段で抽出された目の周辺領域画像から算出する輪郭形状抽出手段と
   を備え、
   前記輪郭形状抽出手段で算出された前記上部近似曲線及び前記下部近似曲線のうちの少なくとも一方が、下に凸である場合、前記下方視であるものとする
   ことを特徴とする眠気検知装置。
2. 前記視線推定手段は、
   当該視線推定手段での推定結果が前記下方視ではなく、かつ前記輪郭形状抽出手段で算出された前記上部近似曲線及び前記下部近似曲線のうちの少なくとも一方が、上に凸、または直線である場合、前記視線の方向が前記下方視以外の通常視であるものと推定し、
   前記覚醒度補正手段は、
   前記視線推定手段での推定結果が前記通常視を表している場合、前記覚醒度推定手段で推定された覚醒度の補正を禁止することを特徴とする請求項１に記載の眠気検知装置。
3. 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
   前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する覚醒度推定手段と、
   前記撮影手段で撮影した撮影画像に基づき、前記運転者が運転する時の視線の方向である視線方向を推定する視線推定手段と、
   前記視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する覚醒度補正手段と、
   前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、前記運転者の眠気を検知する眠気検知手段と
   を備え、
   前記視線推定手段は、
   前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出する周辺領域抽出手段と、
   上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段で前記目の周辺領域画像を抽出する毎に、該目の周辺領域画像から算出する輪郭形状抽出手段と
   を備え、
   前記輪郭形状抽出手段で算出される前記上部近似曲線における凹みの大きさを表す凸度、もしくは前記下部近似曲線における凹みの大きさを表す凸度の予め規定された検知時間内における変化量が、予め規定された規定値よりも大きい場合、前記下方視であるものとする
   ことを特徴とする眠気検知装置。
4. 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
   前記撮影手段で撮影画像を取得する毎に、該撮影画像から前記運転者の目の開き度合いを示す目の開度を導出し、その導出した目の開度が予め規定された比率以下となっている時間が短いほど値が大きい覚醒度を推定する覚醒度推定手段と、
   前記撮影手段で撮影した撮影画像に基づき、前記運転者が運転する時の視線の方向である視線方向を推定する視線推定手段と、
   前記視線推定手段での推定結果が、前記車両の前方に予め設定された注視点への視線よりも下方へと視線を向ける下方視であることを表している場合、前記下方視であることによる覚醒度の低下分が相殺されるように、前記覚醒度推定手段で推定された覚醒度が高くなるように補正した補正覚醒度を算出する覚醒度補正手段と、
   前記覚醒度補正手段で算出された補正覚醒度を予め規定された少なくとも１つの閾値と比較することで、前記運転者の眠気を検知する眠気検知手段と
   を備え、
   前記視線推定手段は、
   前記撮影手段で撮影画像を撮影する毎に、該撮影画像から前記運転者の上まぶた、及び下まぶたを含む目の周辺領域画像を抽出する周辺領域抽出手段と、
   上まぶたの輪郭形状及び下まぶたの輪郭形状として表され、かつ前記運転者の目じりと目頭との間でのまぶたの輪郭に対して算出される近似曲線であって、前記上まぶたの輪郭に対する近似曲線を表す上部近似曲線、及び前記下まぶたの輪郭に対する近似曲線を表す下部近似曲線を、前記周辺領域抽出手段にて目の周辺領域画像を抽出する毎に該目の周辺領域画像から算出する輪郭形状抽出手段と、
   運転開始後の前記運転者の覚醒度が高い時間として予め規定された規定時間内に前記輪郭形状抽出手段で算出された複数の上部近似曲線を平均した平均上部近似曲線、及び複数の下部近似曲線を平均した平均下部近似曲線を算出する平均近似曲線算出手段と、
   前記規定時間経過後に前記輪郭形状抽出手段で算出された上部近似曲線及び下部近似曲線と、前記平均近似曲線算出手段で算出された平均上部近似曲線及び平均下部近似曲線とを比較する近似曲線比較手段と
   を備え、
   前記近似曲線比較手段での比較の結果、前記上部近似曲線における凹みの大きさを表す凸度及び前記下部近似曲線における凹みの大きさを表す凸度のうちの少なくとも一方が、それぞれに対応する、前記平均上部近似曲線における前記凸度または前記平均下部近似曲線における前記凸度よりも大きい場合、前記下方視であるものとする
   ことを特徴とする眠気検知装置。
5. 前記輪郭形状抽出手段は、
   前記上部近似曲線及び前記下部近似曲線をスムージング処理することを特徴とする請求項１から請求項４のいずれか一項に記載の眠気検知装置。
6. 前記覚醒度推定手段で推定された覚醒度が、予め規定された規定閾値よりも小さい低覚醒度状態であることを検知する低覚醒状態検知手段を備え、
   前記視線推定手段は、
   前記低覚醒状態検知手段で低覚醒度状態が検知された場合にのみ、前記視線方向の推定を実施することを特徴とする請求項１から請求項５のいずれか一項に記載の眠気検知装置。
7. 前記低覚醒状態検知手段は、
   運転開始後の前記運転者の覚醒度が高い時間として予め規定された規定時間内での最大の目の開度に対して、予め規定された規定割合の目の開度である規定開度以下となる時間が、予め規定された対象時間よりも長い状態を前記低覚醒度状態とすることを特徴とする請求項６に記載の眠気検知装置。
8. 前記眠気検知手段で前記運転者に眠気が生じたものとして眠気が検知された場合、警告を発する警告手段を備えることを特徴とする請求項１から請求項７のいずれか一項に記載の眠気検知装置。

Images