JP3746916B2 - 瞬目状態検出方法 - Google Patents
瞬目状態検出方法 Download PDFInfo
- Publication number
- JP3746916B2 JP3746916B2 JP17861799A JP17861799A JP3746916B2 JP 3746916 B2 JP3746916 B2 JP 3746916B2 JP 17861799 A JP17861799 A JP 17861799A JP 17861799 A JP17861799 A JP 17861799A JP 3746916 B2 JP3746916 B2 JP 3746916B2
- Authority
- JP
- Japan
- Prior art keywords
- upper eyelid
- eye
- state
- nostril
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、運転者等の瞼の開閉動作である瞬目状態を測定して居眠り運転や脇見運転等を検出する瞬目検出方法とその装置に関する。
【０００２】
【従来の技術】
従来より、瞼の瞬き状態(以下瞬目という)を測定(回数、時間等)して、居眠り運転等の覚醒度低下状態や脇見運転等を検出する瞬目検出方法が種々知られており、かかる瞬目検出方法は、例えば、基準閉目時間と比較して、測定された閉目時間が基準閉目時間より長いものを複数積算して、その合計値が所定時間内に規定値以上となった場合、居眠り状態と判断するように設定され、これにより、初回に測定した閉目時間が規定値以上の場合は、即座に居眠り状態と判断することが可能である。
【０００３】
そしてこのような装置は、例えば運転者の顔を車両室内に設けたＣＣＤカメラ等で撮像し、得られた顔画像を２値化処理する等の画像処理を行った後前記目を特定しているが、そして前記目の位置は個人差があり、又画像情報はＣＣＤカメラで撮像するために、太陽光等の外乱、若しくは車室内に設けたサンバイザ等の影響で精度良く目の位置や動きをとらえることが出来なかった。
【０００４】
このため従来は顔画像中の他の特徴部位との組み合わせにおいて、前記目の位置を特定する発明がいくつか開示されている。
例えば前記顔画像の特徴部位として鼻孔の形状は、顔画像中、２つの並列する略円形の黒領域として表され、これは個人差が比較的少ない顔の特徴部位として好適であり、この鼻孔を基準位置として、該基準位置より前記目までの距離を算出して、該距離の変位に基づいて運転者の瞬目状態を検出する瞬目状態検出方法が存在する。(特開平8-300978号、特開平10-86696号)
【０００５】
【発明が解決しようとする課題】
しかしながら前記発明は、基準位置としての鼻孔は一定でも、目そのものは人によって若しくは人種によって大小個人差があり、特に特開平8-300978号に示すように、ヒストグラム算出手段等を利用して黒画像領域認識手段にて目の位置や目の瞬きを求める方法では、結果として目の中の瞳の有無を認識することになり、必ずしも精度良い測定が出来ない。
【０００６】
即ち、瞳は斜視、上目使いや下目使いによって移動し、又夜間や昼間の照度の違いによっても瞳が大小変化する。このため、前記瞳の移動と瞬きとが混同しやすく、必ずしも精度良い居眠り運転等の覚醒度低下状態を検出することが出来ない。
【０００７】
本発明はかかる技術的課題に鑑み、前記目の中の特徴部位である瞳等の移動と瞬きとが混同することなく、居眠り運転等の覚醒度低下状態を含む瞬目状態を精度良く検出することが出来る瞬目状態検出方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明はかかる課題を解決するために、顔を撮像して顔画像を得る撮像手段を備え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻孔を基準位置として前記上まぶたが全開または全閉までの顔縦方向（Ｙ軸方向）距離を基準距離とし、該基準距離と実測の上まぶたまでの距離との変位量を算出し、該変位量が予め設定された閾値を越えた閉目を覚醒度低下状態を判断するための閉目として検出することを特徴とする。
【０００９】
また、請求項２記載の発明は、請求項１において、前記上まぶた位置の検出が、該上まぶたが瞳(黒目部分)と眉毛の間にあるか若しくは白目部分の上端にあるという判定手段により行われる事を特徴とする
さらにまた、請求項３記載の発明は、上まぶたと鼻孔間のＹ軸方向の距離の変位量の左目と右目両者のいずれもが所定の閾値を超えた場合に、覚醒度低下状態の判断を行うようにしたことを特徴とする
【００１０】
即ち、本発明を具体的に説明するに、瞬きを行った場合に上下動するのは瞳（黒目部分）でも又眉毛でもなくなく上まぶたそのものである。言い換えれば瞬きをしても眉毛は変動することなく、固定であり、又瞳も瞬きによって上まぶたにより閉じられ、顔画像の視界から消えるが、瞬きにより変動することはなく、却って斜視や上目使いや下目使いにより変動し、瞬きか否かの判定誤差が生じやすい。
【００１１】
一方、上まぶたは、瞬きを行った場合に必ず上下動し且つ基本的には横（水平）方向の変動は微小である。従って前記上まぶたの変動に対し、縦（Ｙ軸）方向についてのみ、前記鼻孔を基準位置として前記上まぶたが全開または全閉までの顔縦方向（Ｙ軸方向）距離を基準距離とし、該基準距離と実測の上まぶたまでの距離との変位量を算出し、該変位量が予め設定された閾値を越えた閉目を覚醒度低下状態を判断するための閉目として判断し、該閾値を超えた時間若しくは回数、更には両者の組み合わせにより瞬き状態を精度良く且つ確実に検出できる。
然も前記上まぶたにはまつげやアイラインが存在し、ＣＣＤカメラ等の撮像データを黒白２値化変換した細幅の黒画素ラインとして表れるために、これを縦方向にスキャンした場合、鮮明な細幅ピーク値として表れ、検出精度の向上につながる。（瞳や眉毛等の場合は、まつげやアイラインに比較して大幅に太幅であり、その分誤差が生じやすい。）
【００１２】
又、前記上まぶたは白目部分の上端にあり、濃淡(ピーク値)がはっきり出るのみならず、細幅の上まぶたの上下には、一般的に上下方向に太幅の画素として表れる瞳(黒目部分)部分と眉毛部分の間にあるために、瞳(黒目部分)部分と眉毛部分との組み合わせにより上まぶたを検出することにより一層確実に上まぶたの検出が容易である。
【００１３】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、形状、その相対配置などは特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態にかかる瞬き検出装置を示すブロックダイヤグラムで、図に沿って本発明の実施形態を説明する。
１は、例えば768×493の画素数を有する小型のＣＣＤカメラ(電荷結合素子カメラ)で自動車のダッシュボード若しくはインスツルメントパネル部等に配置されて、前方より車両運転者の顔画像を撮像する。
尚、夜間等のようにＣＣＤカメラ１よりの画像出力が低い場合は、不図示の近赤外線照明手段等を利用して光量を補う。かかる点は前記先行技術に記述されている照明及び照明制御手段を用いればよい。
【００１４】
前記ＣＣＤカメラ１で撮像された顔画像データはアナログデータであるために、増幅器２を介してＡＤ変換器３によりデジタル階調画像に変換した後、顔画像処理部に入力される。
顔画像処理部４では、前記デジタル階調画像を濃淡レベル変換手段１３により所定長以下の黒レベルを抽出した後、浮動２値化手段１９により浮動２値化されて２値化画像データに変換される。
次に、目抽出部１４として規定される第１の候補領域設定手段により左右の目の領域を矩形状に領域設定し、更に鼻孔抽出部１５として規定される第２の候補領域設定手段により鼻孔周囲領域を矩形状に領域設定する。
そして前記鼻孔抽出部１５より抽出された鼻孔周囲領域を鼻孔位置検出部１６により、縦軸（Ｙ軸）方向と横軸(Ｘ軸)方向とにより夫々スキャンして黒画素数を読み取ってＹ軸方向とＸ軸方向の画素数に対応するヒストグラムを作成し、該２軸方向のヒストグラムより鼻孔２４位置を検出する。かかる構成は特開平8-300978に開示されており、公知であるのでその詳細な説明を省略する。
【００１５】
そして本実施形態は、前記目抽出部１４より抽出された拡大目領域より上まぶた２３位置を検出する上まぶた位置検出部１７を具えた事を要旨とする。
図２は前記拡大目領域において、前記目抽出部１４より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々スキャンし、夫々の黒画素数をカウントしたヒストグラムを示す。
本図より理解されるように、Ｙ軸方向においては、瞳２１（黒目部分）や眉毛２２部分も黒画素領域として表れるが、瞬きを行った場合にこれらの部分は上下動する事なく、上まぶた２３に対応するまつげやアイラインのみが上下動する。
【００１６】
又、Ｘ軸のヒストグラムから明らかなように、上まぶた２３は瞬きを行った場合にＹ軸方向には上下動するがＸ軸方向の変動は微小である。従って前記上まぶた２３の変動に対し、Ｙ軸方向についてのみ、鼻孔２４を基準位置とした変位量を検出し、その変位量が後記する閾値決定部８で定めた所定の閾値を超えた場合に瞬き状態として判断すればよい。
然も前記上まぶた２３は白目２５部分の上端にあり、濃淡(ピーク値)がはっきり出るのみならず、細幅の上まぶた２３の上下には、上下方向に太幅の画素として表れる瞳２１部分と眉毛２２部分の間にあるために、ヒストグラムの太幅の黒画素領域の間にある細幅ピーク値のみを検出することにより、一層確実に上まぶた２３の検出が可能である。
【００１７】
そして前記のように検出した上まぶた２３位置と鼻孔２４位置は、上まぶた／鼻孔間距離算出部５で、その間のＹ軸方向の距離を算出する。距離の算出は画素数のカウントにより行う。
尚、ＣＣＤカメラ１により、車両の運転中における顔を撮像すると、運転者の生理的振動、車両の高周波振動等による振動が合成され、又道路の凹凸とショックアブゾーバ作用等により長い周期で前記波形が揺動する。
このため、前記距離信号波形からこれらのノイズとしての高周波成分と低周波成分を除去して平滑化する必要がある。これは前記画像処理部４内にノイズ処理部を設けてもよく、又ＡＤ変換器３によりデジタル変換する前のアナログデータ時にローパスフィルタ等を用いて平滑化処理を行っても良い。
【００１８】
６は、かかる上まぶた２３と鼻孔２４間距離の基準距離を算出する上まぶた／鼻孔間基準距離算出部で、図３の画素数／時間のグラフ線図で示すように、鼻孔２４の基準位置より上まぶた２３の変位位置に対応した、言い換えれば上まぶた２３の開位置に対応した基準距離波形Ｄｓとなる。この場合基準距離波形Ｄｓは上まぶた２３の全開位置でも又全閉位置のいずれでもよい。
【００１９】
次に前記基準距離波形Ｄｓに基づいて実測の上まぶた位置Ｄとの差を取り、上まぶた変位算出部７にて、前記上まぶた２３の変位量(Ｄ−Ｄｓ)を算出する。変位量(Ｄ−Ｄｓ)の算出は、図４に示すように、基準距離Ｄｓより前記波形成分Ｄを引けばよい。前記したように人間は通常の瞬きの場合でも２００ｍｓの間隔があり、このため前記瞬目から、居眠り運転等の覚醒度低下状態か通常の瞬目かを判断するためには瞬目の時間を測定する必要があり、このため本実施例は覚醒状態判定部９において、閾値決定部８にて閾値を設定し、該閾０値を超えた変位量Ｋ(Ｄ−Ｄｓ)について覚醒度低下状態を判断するための瞬目と判断し、該閾値を超えた前記変位量Ｋ(Ｄ−Ｄｓ)から、注意すべき瞼の閉目時間ΔＴｎとして検出してその回数と時間に基づいて覚醒度低下状態の判定を行う。
尚、ここでＫは定数を示し、演算精度を高めるためのものである。
【００２０】
この場合、前記閾値は、ＣＣＤカメラ１の観察パターンの輝度変化によって任意に可変出来るようにしている。
又、前記処理は２値化した画素数に基づいてヒストグラムを取る手法で説明したが、電圧レベル波形のアナログ的処理に基づいて行うことも容易である。
【００２１】
以上詳述したように、本実施形態の場合は、上まぶた２３の開閉動作を検出して閉目時間や閉目回数を検出するようにしたために、従来技術に比較して、瞳２１の大小等による個人差や斜視や上目使いや下目使い等の瞳２１の移動に起因する誤判断をなくすることが出来、覚醒度低下状態に起因する瞬目判断を精度良く行う事が出来る。
【００２２】
尚、目にゴミが入った場合のように、意識的に片目をつぶったような場合は、片目のみが閉目時間や閉目回数を満足して覚醒度低下状態と誤判断する場合がある。
そこで本実施形態においては、図５に示すフローチャート図より明らかなように、上まぶた位置検出から上まぶた変位算出までを左右それぞれの目で行い(Ｓ１)、該左目と右目の上まぶた変位量の、両者のいずれもが閾値を超えた場合(Ｓ２)に、覚醒状態判定部９に信号入力を行い(Ｓ３)、該判定部９内で例えばその平均値で閉目時間を算出するようにすればよい。
【００２３】
【発明の効果】
以上記載のごとく本発明によれば、前記瞳等の移動と瞬きとが混同することなく、居眠り運転等の覚醒度低下状態を含む瞬目状態を精度良く検出することが出来る。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る覚醒状態判定装置の全体ブロック図である。
【図２】 左右の目領域と鼻孔領域を示すとともに、目抽出部より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々スキャンし、夫々の黒画素数をカウントしたヒストグラムを示す。
【図３】 上まぶたと鼻孔間距離のノイズ成分を除去して定常成分のみを算出し、上まぶたの開閉位置に対応したレベル波形を示す画素数／時間のグラフ線図である。
【図４】 上まぶたの変位量 (Ｄ−Ｄｓ)と閾値との関係を示すグラフ図である。
【図５】 左目と右目の上まぶた変位量が異なる場合の、覚醒度低下状態の判定方法を示すフローチャート図である。
【符号の説明】
１ ＣＣＤカメラ
４ 顔画像処理部
５ 上まぶた／鼻孔間距離算出部５
６ 上まぶた／鼻孔間距離定常成分算出部
７ 上まぶた変位算出部
８ 閾値決定部
９ 覚醒状態判定部
１４ 目抽出部
１５ 鼻孔抽出部
１６ 鼻孔位置検出部
２１ 瞳
２２ 眉毛
２３ 上まぶた
２４ 鼻孔
２５ 白目
【発明の属する技術分野】
本発明は、運転者等の瞼の開閉動作である瞬目状態を測定して居眠り運転や脇見運転等を検出する瞬目検出方法とその装置に関する。
【０００２】
【従来の技術】
従来より、瞼の瞬き状態(以下瞬目という)を測定(回数、時間等)して、居眠り運転等の覚醒度低下状態や脇見運転等を検出する瞬目検出方法が種々知られており、かかる瞬目検出方法は、例えば、基準閉目時間と比較して、測定された閉目時間が基準閉目時間より長いものを複数積算して、その合計値が所定時間内に規定値以上となった場合、居眠り状態と判断するように設定され、これにより、初回に測定した閉目時間が規定値以上の場合は、即座に居眠り状態と判断することが可能である。
【０００３】
そしてこのような装置は、例えば運転者の顔を車両室内に設けたＣＣＤカメラ等で撮像し、得られた顔画像を２値化処理する等の画像処理を行った後前記目を特定しているが、そして前記目の位置は個人差があり、又画像情報はＣＣＤカメラで撮像するために、太陽光等の外乱、若しくは車室内に設けたサンバイザ等の影響で精度良く目の位置や動きをとらえることが出来なかった。
【０００４】
このため従来は顔画像中の他の特徴部位との組み合わせにおいて、前記目の位置を特定する発明がいくつか開示されている。
例えば前記顔画像の特徴部位として鼻孔の形状は、顔画像中、２つの並列する略円形の黒領域として表され、これは個人差が比較的少ない顔の特徴部位として好適であり、この鼻孔を基準位置として、該基準位置より前記目までの距離を算出して、該距離の変位に基づいて運転者の瞬目状態を検出する瞬目状態検出方法が存在する。(特開平8-300978号、特開平10-86696号)
【０００５】
【発明が解決しようとする課題】
しかしながら前記発明は、基準位置としての鼻孔は一定でも、目そのものは人によって若しくは人種によって大小個人差があり、特に特開平8-300978号に示すように、ヒストグラム算出手段等を利用して黒画像領域認識手段にて目の位置や目の瞬きを求める方法では、結果として目の中の瞳の有無を認識することになり、必ずしも精度良い測定が出来ない。
【０００６】
即ち、瞳は斜視、上目使いや下目使いによって移動し、又夜間や昼間の照度の違いによっても瞳が大小変化する。このため、前記瞳の移動と瞬きとが混同しやすく、必ずしも精度良い居眠り運転等の覚醒度低下状態を検出することが出来ない。
【０００７】
本発明はかかる技術的課題に鑑み、前記目の中の特徴部位である瞳等の移動と瞬きとが混同することなく、居眠り運転等の覚醒度低下状態を含む瞬目状態を精度良く検出することが出来る瞬目状態検出方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明はかかる課題を解決するために、顔を撮像して顔画像を得る撮像手段を備え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻孔を基準位置として前記上まぶたが全開または全閉までの顔縦方向（Ｙ軸方向）距離を基準距離とし、該基準距離と実測の上まぶたまでの距離との変位量を算出し、該変位量が予め設定された閾値を越えた閉目を覚醒度低下状態を判断するための閉目として検出することを特徴とする。
【０００９】
また、請求項２記載の発明は、請求項１において、前記上まぶた位置の検出が、該上まぶたが瞳(黒目部分)と眉毛の間にあるか若しくは白目部分の上端にあるという判定手段により行われる事を特徴とする
さらにまた、請求項３記載の発明は、上まぶたと鼻孔間のＹ軸方向の距離の変位量の左目と右目両者のいずれもが所定の閾値を超えた場合に、覚醒度低下状態の判断を行うようにしたことを特徴とする
【００１０】
即ち、本発明を具体的に説明するに、瞬きを行った場合に上下動するのは瞳（黒目部分）でも又眉毛でもなくなく上まぶたそのものである。言い換えれば瞬きをしても眉毛は変動することなく、固定であり、又瞳も瞬きによって上まぶたにより閉じられ、顔画像の視界から消えるが、瞬きにより変動することはなく、却って斜視や上目使いや下目使いにより変動し、瞬きか否かの判定誤差が生じやすい。
【００１１】
一方、上まぶたは、瞬きを行った場合に必ず上下動し且つ基本的には横（水平）方向の変動は微小である。従って前記上まぶたの変動に対し、縦（Ｙ軸）方向についてのみ、前記鼻孔を基準位置として前記上まぶたが全開または全閉までの顔縦方向（Ｙ軸方向）距離を基準距離とし、該基準距離と実測の上まぶたまでの距離との変位量を算出し、該変位量が予め設定された閾値を越えた閉目を覚醒度低下状態を判断するための閉目として判断し、該閾値を超えた時間若しくは回数、更には両者の組み合わせにより瞬き状態を精度良く且つ確実に検出できる。
然も前記上まぶたにはまつげやアイラインが存在し、ＣＣＤカメラ等の撮像データを黒白２値化変換した細幅の黒画素ラインとして表れるために、これを縦方向にスキャンした場合、鮮明な細幅ピーク値として表れ、検出精度の向上につながる。（瞳や眉毛等の場合は、まつげやアイラインに比較して大幅に太幅であり、その分誤差が生じやすい。）
【００１２】
又、前記上まぶたは白目部分の上端にあり、濃淡(ピーク値)がはっきり出るのみならず、細幅の上まぶたの上下には、一般的に上下方向に太幅の画素として表れる瞳(黒目部分)部分と眉毛部分の間にあるために、瞳(黒目部分)部分と眉毛部分との組み合わせにより上まぶたを検出することにより一層確実に上まぶたの検出が容易である。
【００１３】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、形状、その相対配置などは特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態にかかる瞬き検出装置を示すブロックダイヤグラムで、図に沿って本発明の実施形態を説明する。
１は、例えば768×493の画素数を有する小型のＣＣＤカメラ(電荷結合素子カメラ)で自動車のダッシュボード若しくはインスツルメントパネル部等に配置されて、前方より車両運転者の顔画像を撮像する。
尚、夜間等のようにＣＣＤカメラ１よりの画像出力が低い場合は、不図示の近赤外線照明手段等を利用して光量を補う。かかる点は前記先行技術に記述されている照明及び照明制御手段を用いればよい。
【００１４】
前記ＣＣＤカメラ１で撮像された顔画像データはアナログデータであるために、増幅器２を介してＡＤ変換器３によりデジタル階調画像に変換した後、顔画像処理部に入力される。
顔画像処理部４では、前記デジタル階調画像を濃淡レベル変換手段１３により所定長以下の黒レベルを抽出した後、浮動２値化手段１９により浮動２値化されて２値化画像データに変換される。
次に、目抽出部１４として規定される第１の候補領域設定手段により左右の目の領域を矩形状に領域設定し、更に鼻孔抽出部１５として規定される第２の候補領域設定手段により鼻孔周囲領域を矩形状に領域設定する。
そして前記鼻孔抽出部１５より抽出された鼻孔周囲領域を鼻孔位置検出部１６により、縦軸（Ｙ軸）方向と横軸(Ｘ軸)方向とにより夫々スキャンして黒画素数を読み取ってＹ軸方向とＸ軸方向の画素数に対応するヒストグラムを作成し、該２軸方向のヒストグラムより鼻孔２４位置を検出する。かかる構成は特開平8-300978に開示されており、公知であるのでその詳細な説明を省略する。
【００１５】
そして本実施形態は、前記目抽出部１４より抽出された拡大目領域より上まぶた２３位置を検出する上まぶた位置検出部１７を具えた事を要旨とする。
図２は前記拡大目領域において、前記目抽出部１４より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々スキャンし、夫々の黒画素数をカウントしたヒストグラムを示す。
本図より理解されるように、Ｙ軸方向においては、瞳２１（黒目部分）や眉毛２２部分も黒画素領域として表れるが、瞬きを行った場合にこれらの部分は上下動する事なく、上まぶた２３に対応するまつげやアイラインのみが上下動する。
【００１６】
又、Ｘ軸のヒストグラムから明らかなように、上まぶた２３は瞬きを行った場合にＹ軸方向には上下動するがＸ軸方向の変動は微小である。従って前記上まぶた２３の変動に対し、Ｙ軸方向についてのみ、鼻孔２４を基準位置とした変位量を検出し、その変位量が後記する閾値決定部８で定めた所定の閾値を超えた場合に瞬き状態として判断すればよい。
然も前記上まぶた２３は白目２５部分の上端にあり、濃淡(ピーク値)がはっきり出るのみならず、細幅の上まぶた２３の上下には、上下方向に太幅の画素として表れる瞳２１部分と眉毛２２部分の間にあるために、ヒストグラムの太幅の黒画素領域の間にある細幅ピーク値のみを検出することにより、一層確実に上まぶた２３の検出が可能である。
【００１７】
そして前記のように検出した上まぶた２３位置と鼻孔２４位置は、上まぶた／鼻孔間距離算出部５で、その間のＹ軸方向の距離を算出する。距離の算出は画素数のカウントにより行う。
尚、ＣＣＤカメラ１により、車両の運転中における顔を撮像すると、運転者の生理的振動、車両の高周波振動等による振動が合成され、又道路の凹凸とショックアブゾーバ作用等により長い周期で前記波形が揺動する。
このため、前記距離信号波形からこれらのノイズとしての高周波成分と低周波成分を除去して平滑化する必要がある。これは前記画像処理部４内にノイズ処理部を設けてもよく、又ＡＤ変換器３によりデジタル変換する前のアナログデータ時にローパスフィルタ等を用いて平滑化処理を行っても良い。
【００１８】
６は、かかる上まぶた２３と鼻孔２４間距離の基準距離を算出する上まぶた／鼻孔間基準距離算出部で、図３の画素数／時間のグラフ線図で示すように、鼻孔２４の基準位置より上まぶた２３の変位位置に対応した、言い換えれば上まぶた２３の開位置に対応した基準距離波形Ｄｓとなる。この場合基準距離波形Ｄｓは上まぶた２３の全開位置でも又全閉位置のいずれでもよい。
【００１９】
次に前記基準距離波形Ｄｓに基づいて実測の上まぶた位置Ｄとの差を取り、上まぶた変位算出部７にて、前記上まぶた２３の変位量(Ｄ−Ｄｓ)を算出する。変位量(Ｄ−Ｄｓ)の算出は、図４に示すように、基準距離Ｄｓより前記波形成分Ｄを引けばよい。前記したように人間は通常の瞬きの場合でも２００ｍｓの間隔があり、このため前記瞬目から、居眠り運転等の覚醒度低下状態か通常の瞬目かを判断するためには瞬目の時間を測定する必要があり、このため本実施例は覚醒状態判定部９において、閾値決定部８にて閾値を設定し、該閾０値を超えた変位量Ｋ(Ｄ−Ｄｓ)について覚醒度低下状態を判断するための瞬目と判断し、該閾値を超えた前記変位量Ｋ(Ｄ−Ｄｓ)から、注意すべき瞼の閉目時間ΔＴｎとして検出してその回数と時間に基づいて覚醒度低下状態の判定を行う。
尚、ここでＫは定数を示し、演算精度を高めるためのものである。
【００２０】
この場合、前記閾値は、ＣＣＤカメラ１の観察パターンの輝度変化によって任意に可変出来るようにしている。
又、前記処理は２値化した画素数に基づいてヒストグラムを取る手法で説明したが、電圧レベル波形のアナログ的処理に基づいて行うことも容易である。
【００２１】
以上詳述したように、本実施形態の場合は、上まぶた２３の開閉動作を検出して閉目時間や閉目回数を検出するようにしたために、従来技術に比較して、瞳２１の大小等による個人差や斜視や上目使いや下目使い等の瞳２１の移動に起因する誤判断をなくすることが出来、覚醒度低下状態に起因する瞬目判断を精度良く行う事が出来る。
【００２２】
尚、目にゴミが入った場合のように、意識的に片目をつぶったような場合は、片目のみが閉目時間や閉目回数を満足して覚醒度低下状態と誤判断する場合がある。
そこで本実施形態においては、図５に示すフローチャート図より明らかなように、上まぶた位置検出から上まぶた変位算出までを左右それぞれの目で行い(Ｓ１)、該左目と右目の上まぶた変位量の、両者のいずれもが閾値を超えた場合(Ｓ２)に、覚醒状態判定部９に信号入力を行い(Ｓ３)、該判定部９内で例えばその平均値で閉目時間を算出するようにすればよい。
【００２３】
【発明の効果】
以上記載のごとく本発明によれば、前記瞳等の移動と瞬きとが混同することなく、居眠り運転等の覚醒度低下状態を含む瞬目状態を精度良く検出することが出来る。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る覚醒状態判定装置の全体ブロック図である。
【図２】 左右の目領域と鼻孔領域を示すとともに、目抽出部より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々スキャンし、夫々の黒画素数をカウントしたヒストグラムを示す。
【図３】 上まぶたと鼻孔間距離のノイズ成分を除去して定常成分のみを算出し、上まぶたの開閉位置に対応したレベル波形を示す画素数／時間のグラフ線図である。
【図４】 上まぶたの変位量 (Ｄ−Ｄｓ)と閾値との関係を示すグラフ図である。
【図５】 左目と右目の上まぶた変位量が異なる場合の、覚醒度低下状態の判定方法を示すフローチャート図である。
【符号の説明】
１ ＣＣＤカメラ
４ 顔画像処理部
５ 上まぶた／鼻孔間距離算出部５
６ 上まぶた／鼻孔間距離定常成分算出部
７ 上まぶた変位算出部
８ 閾値決定部
９ 覚醒状態判定部
１４ 目抽出部
１５ 鼻孔抽出部
１６ 鼻孔位置検出部
２１ 瞳
２２ 眉毛
２３ 上まぶた
２４ 鼻孔
２５ 白目
Claims (3)
- 顔を撮像して顔画像を得る撮像手段を備え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻孔を基準位置として前記上まぶたが全開または全閉までの顔縦方向（Ｙ軸方向）距離を基準距離とし、該基準距離と実測の上まぶたまでの距離との変位量を算出し、該変位量が予め設定された閾値を越えた閉目を覚醒度低下状態を判断するための閉目として検出することを特徴とする瞬目状態検出方法。
- 前記上まぶた位置の検出が、該上まぶたが瞳（黒目部分）と眉毛の間にあるか若しくは白目部分の上端にあるという判定手段により行われる事を特徴とする請求項１記載の瞬目状態検出方法。
- 上まぶたと鼻孔間のＹ軸方向の距離の変位量の左目と右目両者のいずれもが所定の閾値を超えた場合に、覚醒度低下状態の判断を行うようにしたことを特徴とする請求項１記載の瞬目状態検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17861799A JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17861799A JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001005952A JP2001005952A (ja) | 2001-01-12 |
| JP3746916B2 true JP3746916B2 (ja) | 2006-02-22 |
Family
ID=16051589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17861799A Expired - Fee Related JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3746916B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001307076A (ja) * | 2000-04-24 | 2001-11-02 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り検出装置 |
| CN101132729A (zh) * | 2005-03-04 | 2008-02-27 | 睡眠诊断学公司 | 警觉性的测量 |
| JP4756503B2 (ja) * | 2006-05-23 | 2011-08-24 | 株式会社国際電気通信基礎技術研究所 | 瞬き検出装置及びコンピュータプログラム |
| JP4989249B2 (ja) * | 2007-02-14 | 2012-08-01 | トヨタ自動車株式会社 | 目検知装置、居眠り検知装置及び目検知装置の方法 |
| DE102008007150B4 (de) * | 2007-03-30 | 2019-05-02 | Volkswagen Ag | Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers |
| JP2010026804A (ja) * | 2008-07-18 | 2010-02-04 | Olympus Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
| FR2954744B1 (fr) * | 2009-12-28 | 2012-01-06 | Continental Automotive France | Procede de determination d'un parametre representatif de l'etat de vigilance d'un conducteur de vehicule |
| JP6535223B2 (ja) * | 2015-05-28 | 2019-06-26 | 浜松ホトニクス株式会社 | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム |
-
1999
- 1999-06-24 JP JP17861799A patent/JP3746916B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001005952A (ja) | 2001-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| JP4331197B2 (ja) | 眼開度検出装置及び方法 | |
| RU2519964C2 (ru) | Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| JP4162503B2 (ja) | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| Nakamura et al. | Detection of driver's drowsy facial expression | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| JP3746916B2 (ja) | 瞬目状態検出方法 | |
| Kahlon et al. | Driver drowsiness detection system based on binary eyes image data | |
| Yazdi et al. | Driver drowsiness detection by Yawn identification based on depth information and active contour model | |
| KR100234590B1 (ko) | 얼굴화상 처리장치 및 얼굴화상 처리방법 | |
| EP3056375B1 (en) | Sleepiness detecting device | |
| JP3556439B2 (ja) | 顔画像処理装置 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP5825588B2 (ja) | 瞬目計測装置及び瞬目計測方法 | |
| JP2009125518A (ja) | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| JPH07257220A (ja) | 車両用覚醒度評価装置 | |
| JP3036319B2 (ja) | 運転者状態監視装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JP3057996B2 (ja) | 車両運転者の眼球位置検出装置 | |
| JP4710679B2 (ja) | 開閉眼判定方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051125 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |