JP3898586B2 - 開閉眼モニタ装置 - Google Patents
開閉眼モニタ装置 Download PDFInfo
- Publication number
- JP3898586B2 JP3898586B2 JP2002204066A JP2002204066A JP3898586B2 JP 3898586 B2 JP3898586 B2 JP 3898586B2 JP 2002204066 A JP2002204066 A JP 2002204066A JP 2002204066 A JP2002204066 A JP 2002204066A JP 3898586 B2 JP3898586 B2 JP 3898586B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- opening
- candidate group
- open
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両の運転者等の意識状態を推定し該運転者等に対し必要に応じて警報を発する居眠り検出装置等に適用される開閉眼モニタ装置に関する。
【0002】
【従来の技術】
例えば、自動車等の車両の安全性を向上させるため、運転者の居眠りを検知して警報装置を作動させる居眠り検出装置が考えられている。一方、運転者の居眠り(意識低下)状態は、単位時間あたりの瞬きの回数や瞬きの長さと強い相関関係があることが知られてきている。
【0003】
そこで、居眠りを検知するために、画像処理技術を利用して乗員の眼の開閉状態を検出する技術が考えられている。このような技術としては、例えば、特開2000-199703号公報に記載された眼の状態検出装置がある。この公報には、精度良く開閉眼(瞬き)を検出するために、学習により開閉眼判定基準値を設定する方法が記載されている。以下、この眼の状態検出装置による開閉眼判定基準値の設定方法について説明する。
【0004】
上記公報記載の眼の状態検出装置では、先ず、所定時間内における眼の開度の時経列データから開度値の最小値を検出し、その後、この最小値に所定開度値をプラスした範囲内の開度値の出力回数を積算する。そして、積算回数が最初に所定回数に達した開度を閉眼基準値として設定し、この閉眼基準値にさらに所定開度値をプラスした値を開閉眼判定基準値(閾値)として設定する。これにより、単に開度の最大値と最小値とを用いる場合に懸念されるノイズの影響を排除しつつ、閉眼時の開度のみで学習することで短時間で開閉眼判定基準値を設定可能である。
【0005】
また、上記公報には、開眼基準値をも学習して開閉眼判定基準値を設定する方法が記載されている。この方法では、先ず、上記閉眼基準値に所定開度値をプラスした開閉眼判定基準値を仮置きで設定する。そして、この仮置き値以上の範囲内の開度値の出力回数を積算し、この積算回数が最初に所定回数に達した開度を開眼基準値として設定する。次いで、この開眼基準と上記閉眼基準値とから開閉眼判定基準値を設定する。これにより、より精度の良い開閉眼判定基準値を得ることができる。
【0006】
【発明が解決しようとする課題】
しかしながら、前者の方法を用いた従来の眼の状態検出装置では、開度値の最小値に所定開度値をプラスした範囲内の開度値(上記時系列データにおける開度の谷)を抽出し、この開度値の積算回数に基づいて閉眼基準値を決めるが、所定開度値が個人差や環境の影響(日射の有無等)を考慮して決められていないため、運転者の交替や環境の変化に対応した安定した閉眼基準値を得ることができなかった。そして、このように得られた閉眼基準値に対し個人差等を考慮しない所定開度値を再度プラスすることで開閉眼判定基準値を設定するため、該開閉眼判定基準値(閾値)の安定性(信頼性)が低いという問題があった。
【0007】
すなわち例えば、ある運転者に対し所定の開度値が大き過ぎる場合、通常開眼時間の方が閉眼時間よりも長いため、開眼状態における開度値が最初に所定の積算回数に達する可能性が高い。この場合、開眼状態であるにも拘わらず閉眼であると判定される回数が増え、上記ある運転者に不要な警報を発し不快感を与える恐れがある。逆に、別の運転者に対しては所定の開度値が小さ過ぎる場合があり、この場合においてさらにノイズ等により小さい最小値が得られた場合には、閉眼状態であるにも拘わらず開眼であると判定される恐れもある。
【0008】
一方、後者の方法を用いた従来の眼の状態検出装置でも、前者の場合と同様に個人差等を考慮しない所定の開度値を用いて開眼基準値を決めるため、運転者の交替や環境の変化に対応した安定した開眼基準値を得ることができないという問題があった。そして、後者の場合は開閉眼判定基準値の設定のために所定の開度値を再度プラスすることはないが、開眼基準値は常に上記仮置き値(前者における開閉眼判定基準値)よりも大きいため、例えば上記のように所定開度値が大き過ぎ閉眼基準値が現実の開眼状態における開度を含んで設定されてしまった場合には開閉眼判定基準値の精度向上には寄与しない。
【0009】
このように、上記のような従来の眼の状態検出装置では、開閉眼の各開度基準値の学習に用いる所定の開度値が学習によって変更されることがなく、安定した開閉眼判定基準値(閾値)を得ることができなかった。
【0010】
本発明は、上記事実を考慮して、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる開閉眼モニタ装置を得ることが目的である。
【0011】
【課題を解決するための手段】
上記目的を達成するために請求項1記載の発明に係る開閉眼モニタ装置は、少なくとも眼を含む顔の部分を撮像する撮像手段と、前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、を備えている。
【0012】
請求項1記載の開閉眼モニタ装置では、撮像手段が撮像した眼を含む顔の画像が画像データとして開度検出手段に出力される。画像データが入力された開度検出手段では、画像データ上における眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部(例えば、濃度変化点の軌跡として抽出される瞼に対応する部分)間の画素数に基づいて前記眼の開度を検出し、閾値設定手段に出力する。
【0013】
この閾値設定手段では、開度の所定時間の経時変化データから該開度の極小値(開度変化の谷となる部分)を複数抽出し、これらの極小値(開度)を開眼候補群と閉眼候補群とに分離する。さらに、閾値設定手段では、開眼候補群及び閉眼候補群の少なくとも一方の標準偏差を算出する。
【0014】
さらに、閾値設定手段では、開眼候補群に含まれる複数の極小値(開度)のうち最小開度である極小値から該開眼候補群の標準偏差(ばらつき)を差し引いた値以上の開度、または、閉眼候補群に含まれる複数の極小値のうち最大開度である極小値に該閉眼候補群の標準偏差(ばらつき)を加えた値以上の開度を、閉眼閾値として設定する。
【0015】
ここで、所定時間の開度の経時変化データから得られる標準偏差は、眼の開度の個人差や該所定時間における環境の影響を反映しているため、この個人差等に対応した精度の良い閉眼閾値が安定して得られる。また、閾値設定に標準偏差を用いることで、顔のわずかな動きの影響(例えば、撮像手段に対する眼の距離変化等)を排除することも可能である。
【0016】
このように、請求項1記載の開閉眼モニタ装置では、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる。
【0017】
請求項2記載の発明に係る開閉眼モニタ装置は、請求項1記載の開閉眼モニタ装置において、前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴としている。
【0018】
開眼候補群と閉眼候補群とは、それぞれ所定の誤差範囲内に分布しており、これらの間の最小開度差は、開眼候補群または閉眼候補群内における開度差(並べ替え後に隣り合う前記極小値間の開度差)よりも大きい。請求項2記載の開閉眼モニタ装置では、この最小開度差の部分、すなわち並べ替え後に隣り合う前記極小値間の開度差が最大となる部分において、開眼候補群と閉眼候補群とを分離する。換言すれば、上記隣り合う極小値の一方を開眼候補群の最小値とし、他方を閉眼候補群の最大値とする。
【0019】
これにより、開眼候補群と閉眼候補群とが実際の眼の開閉に対応して分離される確率が高くなり(分離の精度が向上し)、かつ上記標準偏差も実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値を得ることができる。
【0020】
請求項3記載の発明に係る開閉眼モニタ装置は、請求項1または請求項2記載の開閉眼モニタ装置において、車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴としている。
【0021】
請求項3記載の開閉眼モニタ装置では、撮像手段が車両のインナミラーに設けられているため、例えばステアリングホイールやモニタ対象となる乗員の腕等の影響、運転姿勢変化の影響が小さく、該乗員の眼を含む顔の部分を確実に撮像することができる。
【0022】
【発明の実施の形態】
本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置10について、図1乃至図7に基づいて説明する。
【0023】
図1には、本発明の実施の形態に係る居眠り検知警報装置10を搭載した車両Sの一部が斜視図及びブロック図によって示されている。居眠り検知警報装置10は、車両Sの運転席上における運転者(図示省略)の意識状態を推定し、該運転者が居眠り(意識低下)状態であると判断すると警報を発する構成となっている。
【0024】
この居眠り検知警報装置10は、撮像手段としてのCCDカメラ12を備えている。CCDカメラ12は、車両Sのルーフ14の前端部(近傍)の左右方向中央部に設けられた後方視認用のインナミラー16に一体に組み込まれている。すなわち、インナミラー16は、カメラ内臓インナミラーであり、全体としてコンパクトに形成されて運転者を含む乗員に違和感を与えないようになっている。これにより、CCDカメラ12は運転席(図1におけるステアリングホイール18が設けられた側の前席)を斜め上方から撮像するようになっている。そして、CCDカメラ12の画角は、少なくとも運転者の一方の眼(本実施の形態では左眼)を含む運転者の顔(の一部)が撮像範囲内に収まるように決められている。
【0025】
また、CCDカメラ12は、開度検出手段及び閾値設定手段を含んで構成された居眠り検知コンピュータ20と電気的に接続されている。これにより、CCDカメラ12で撮像された画像が画像データとして居眠り検知コンピュータ20へ伝送される構成となっている。
【0026】
この居眠り検知コンピュータ20は、車両Sの適宜位置に配置され、図示しない記憶装置(ROM)を有している。このROMには、瞬き検知プログラム22(図2参照)が記憶されている。
【0027】
瞬き検知プログラム22は、CCDカメラ12を制御する(作動させる)と共に画像データから眼に相当する部分を抽出し眼の開度を検出する開度検出プログラム24と、後述する閉眼閾値Cに基づいて開閉眼を判定し該判定結果を意識状態推定プログラム(図示省略)に出力する判定プログラム26と、閉眼閾値Cを設定する閾値設定プログラム28とを含んで構成されている。
【0028】
そして、居眠り検知コンピュータ20は、瞬き検知プログラム22を実行するCPU(図示省略)を備えている。なお、瞬き検知プログラム22の機能については、後述する居眠り検知警報装置10の作用と共に説明する。
【0029】
また、居眠り検知警報装置10は、警報装置30を備えている。警報装置30は、車両Sの適宜位置に配置され、居眠り検知コンピュータ20と電気的に接続されている。そして、警報装置30は、居眠り検知コンピュータ20の意識状態推定プログラムから作動信号が入力されると、警報音や音声、表示装置への文字等の表示によって運転者に注意を促す(一時的に覚醒させたり、休憩や仮眠の勧告等を行う)ようになっている。
【0030】
次に本実施の形態の作用について図2に示される瞬き検知プログラム22のフローチャートを用いて説明する。
【0031】
上記構成の居眠り検知警報装置10では、例えば、イグニッションキーをキーシリンダへ挿入し、車両Sのアクセサリ(例えば、オーディオやパワーウインド)が作動可能な状態、若しくは、エンジンが始動した状態となると、居眠り検知コンピュータ20が起動して居眠り検知コンピュータ20に予め記憶された瞬き検知プログラム22が起動されると共に居眠り検知コンピュータ20がCCDカメラ12を作動させる。
【0032】
瞬き検知プログラム22が起動している居眠り検知コンピュータ20では、先ず、開度検出プログラム24のステップ32でCCDカメラ12に運転者の眼を含む顔画像を撮像させる。CCDカメラ12が撮像した画像は画像データとして検知コンピュータ20に読み込まれ、ステップ34で該画像データから眼に相当する部分を抽出する。
【0033】
具体的には、画像データから眼を含む検出領域を切り出し、眼の重心が次のフレームの中央に位置するように検出領域の位置を更新する。なお、検出領域のサイズは、顔位置が急激に変化した場合にも追従可能(検出領域から外れないよう)に眼のサイズに比して大きく設定する。そして、画像データの垂直方向の濃度変化が大きな部位の複数の組み合わせ(濃度変化点の軌跡)を、それぞれ上下の瞼として抽出する。
【0034】
さらに、抽出した上下の瞼から眼の重心位置を求め、ステップ36で該重心位置付近における上下瞼間の垂直画素数の平均を算出し、該平均値を運転者の眼の開度(開度値)Pとする。以上で、CCDカメラ12から伝送された一画像データにおける運転者の眼の開度Pが得られ、開度検出プログラム24が終了する。
【0035】
次いで、判定プログラム26のステップ38で開閉眼を判断するための閉眼閾値Cが設定されているか否かが判断される。閉眼閾値Cが設定されている場合には、ステップ40へ進み、該ステップ40で瞬きの有無が判定される。具体的には、閉眼閾値Cに対する開度Pの大小に基づいて、開度Pが閉眼閾値Cよりも大きい(P>Cの)場合は開眼状態であると、開度P閉眼閾値Cよりも小さい(P<Cの)場合は閉眼すなわち瞬きであると判定される。
【0036】
さらに、ステップ42へ進み、上記判定のエラーの有無が判断される。例えば、開度Pと閉眼閾値Cとの差が所定のエラー判定値よりも小さい場合に上記開閉眼の判定がエラーとされる。この場合、ステップ44へ進み、設定されていた閉眼閾値Cをクリアする。一方、上記開閉眼の判定にエラーがない場合は、ステップ46へ進み、開閉眼判定結果が意識状態推定プログラムへ出力される。
【0037】
意識状態推定プログラムでは、逐次入力される開閉眼判定結果(瞬きの有無)の経時変化等によって、運転者の意識状態を推定する。そして、意識状態推定プログラムは、所定時間内の閉眼時間が増加したり、長い瞬きの比率が増加したりすると、意識低下状態すなわち居眠り状態であると推定し、警報装置30へ作動信号を出力して該警報装置30を作動させる。
【0038】
また、ステップ44またはステップ46の実行後、すなわち判定プログラム26の終了後は、ステップ48へ進み、故障の有無が判断される。そして、故障と判断されると、例えば該故障を(故障の形態に応じた表示を)インジケータ等に表示させて瞬き検知プログラム22は終了する。一方、故障がない場合は、ステップ32へ戻る。
【0039】
なお、故障の形態としては、例えば、以下に示すものがある。第1に、一定時間画像データ(映像信号)が居眠り検知コンピュータ20に入力されなかった場合に故障と判断される。これは、主にCCDカメラ自体の故障である。第2に、画像データ上にノイズが多数発生するか、画像データに特徴点が全く得られなかった場合(例えば、CCD12にカバーが取り付けられていた場合等)に、故障と判断される。第3に、居眠り検知コンピュータ20の入出力ポートが一定時間一定の状態を保った場合(回路が開放若しくは短絡し、または入力ポートの信号変化がなかった場合等)に故障と判断される。これは、主にCCDカメラ12や警報装置30と居眠り検知コンピュータ20との間の断線が原因である。
【0040】
一方、ステップ38で閉眼閾値Cが設定されていないと判断されると、判定プログラム26は実行されず、閾値設定プログラム28のステップ50へ進む。ステップ50では、逐次入力されるステップ36の開度Pの経時変化データ(以下、瞬き波形という)における開度Pが大きく変化する開度変化の谷を抽出する。すなわち、瞬き波形の時間微分波形から開度変化の谷を検出し、該検出した各谷における図3に○で囲んで示される如き開度Pの極小値を抽出する。
【0041】
また、谷(極小値)の抽出の有無に関わらず、ステップ52へ進む。ステップ52では、ステップ50で得られた極小値を開度Pの大きさ順に並べ替える。ステップ50及びステップ52は、ステップ54で所定時間が経過したと判断されるまで、ステップ48を経由して開度検出プログラム24を実行しつつ(ステップ36の開度Pを入力しつつ)実行される。
【0042】
そして、所定時間(本実施の形態では、20秒)が経過すると、例えば図4に示される如き運転者の瞬き波形B1(t)の各開度変化の谷における極小値が、図5(A)に示される如く開度Pの大きい順に並べ替えられている。この極小値には、開眼状態における極小値及び閉眼状態における極小値の双方が含まれている。なお、図5(A)では、同じ大きさの極小値についてはプロットを省略している。
【0043】
次いで、ステップ56へ進み、瞬き波形B1(t)の極小値を開眼候補群と閉眼候補群とに分離する。具体的には、各極小値を開度Pの大きい順に並べ替えた図5(A)において隣り合う極小値間の開度差ΔPが最大となる部分(順位n及び順位n+1)を見つける。そして、順位1から順位nまでの極小値を開眼候補群とし、順位n+1から順位k(最小開度)までの極小値を閉眼候補群とする。なお、図5(A)に示される例では、n=8、k=14となっている。
【0044】
開眼候補群と閉眼候補群とが分離されると、ステップ58へ進み、開眼候補群における開度P(極小値)のばらつき及び閉眼候補群における開度P(極小値)のばらつきがそれぞれ(何れか一方でも良い)算出される。すなわち、閉眼候補群の標準偏差σo1及び閉眼候補群の標準偏差σc1が算出される。なお、瞬き波形B1(t)における各順位(各大きさの開度P)の極小値の頻度は、図5(B)に示されるようになっている。
【0045】
このときの開眼候補群の平均開度Poa1は略16.45画素(pixel、以下単位省略)、標準偏差σo1は略0.20となっている。一方、閉眼候補群の平均開度Pca1は略14.52、標準偏差σc1は0.35となっている。平均開度Poa1、Pca1は数値として算出しなくても良いが、例えばそれぞれ開眼基準値、閉眼基準値として用いても良い。
【0046】
開眼候補群及び閉眼候補群のばらつきを算出すると、ステップ60へ進み、閉眼閾値Cを設定する。閉眼閾値Cは、順位nにおける極小値すなわち開眼候補群のうち最小の開度Pから標準偏差σoを差し引いた値、または、順位n+1における極小値すなわち閉眼候補群の最大の開度Pに標準偏差σcを加えた値の何れか一方とする。瞬き波形B1(t)の例における閉眼閾値C1は、順位8における開度15.80から標準偏差σo1を差し引いた略15.60、または、順位9における開度15.30に標準偏差σc1を加えた略15.65となり、両者はほぼ一致している。
【0047】
閉眼閾値Cが設定されると、ステップ62へ進み、閉眼閾値Cを用いた瞬き検出(ステップ40の瞬き判定)の信頼性を評価する。具体的には、順位nと順位n+1との間の最大開度差ΔPと標準偏差σoまたは標準偏差σc(閉眼閾値Cの設定に用いた方)との比r(=σ/ΔP)を算出する。この比rが大きいほど、開閉眼の区別が確実に為される。このため、ステップ62で算出した比rを所定の値と比較することで、瞬き検出の信頼性を評価することができる。そして、この評価を以下の例のように用いることができる。例えば、比rが所定値よりも小さい場合、閉眼閾値Cを用いた瞬き判定が不可能であると判断し、故障とする(瞬き検知プログラム22を終了する)ようにしても良い。また例えば、比rが1(所定値)よりも小さくなる場合は、例えばステップ44へ進んで閉眼閾値Cをクリアしても良い。
【0048】
ステップ62で信頼性を評価すると、閾値設定プログラム28が終了し、ステップ48を経由して開度検出プログラム24へ戻る。そして、開度検出プログラム24で得られた開度Pが判定プログラム26において閾値設定プログラム28で設定された閉眼閾値Cと比較され、運転者の瞬きの有無が判定される。
【0049】
なお、この閉眼閾値Cは、ステップ44でクリアされる(例えば、日射の有無等の周囲環境が変化することで、現実の開眼状態における平均開度が閉眼閾値C設定時に対し変化し、ステップ42でエラーと判断される)まで、繰り返し使用される。
【0050】
また、図6及び図7を用いて別の運転者に対する閉眼閾値Cの設定例を説明する。図6は、図4とは別の運転者の所定時間(ステップ54の期間)経過後における瞬き波形B2(t)である。瞬き波形B2(t)は、瞬き波形B1(t)と比較して開度Pの変化幅が大きいが、上記瞬き波形B1(t)の場合と全く同様に閉眼閾値Cを得ることができる。
【0051】
ステップ50で瞬き波形B2(t)の開度変化の谷における極小値を抽出し、ステップ52で開度Pの大きい順に並べ替えると、所定時間の経過後には図7(A)に示すようになる。そして、ステップ56で、図7(A)において隣り合う極小値間の開度差ΔPが最大となる部分(順位n及び順位n+1)において、瞬き波形B2(t)の各極小値を開眼候補群と閉眼候補群とに分離する。なお、図7(A)に示される例では、n=10、k=14となっている。また、瞬き波形B2(t)における各順位(各大きさの開度P)の極小値の頻度は、図7(B)に示されるようになっている。
【0052】
次いで、ステップ58で、閉眼候補群の標準偏差σo及び閉眼候補群の標準偏差σcが算出される。図7(B)に示される如く、瞬き波形B2(t)における開眼候補群の平均開度Poa2は略10.38、標準偏差σo2は略0.39となっている。一方、閉眼候補群の平均開度Pca2は略6.53、標準偏差σc2は0.28となっている。
【0053】
そして、ステップ60で閉眼閾値Cを設定する。瞬き波形B2(t)における閉眼閾値C2は、順位10における開度8.40から標準偏差σo2を差し引いた略8.01、または、順位11における開度7.00に標準偏差σc2を加えた略7.28となる。このように、瞬き波形B2(t)のように開度Pの変化幅が大きく、閉眼候補群が正規分布に略従って分布しないような場合でも、標準偏差σo2またはσc2を用いて閉眼閾値C2を得ることができる。
【0054】
ここで、ある運転者の所定時間における瞬き波形B(t)から得られる標準偏差σoまたはσcは、眼の開度Pの個人差や所定時間(ステップ54の期間)における環境の影響を反映しているため、この個人差や環境変化等に対応した精度の良い閉眼閾値Cが安定して得られる。また、閉眼閾値Cの設定に標準偏差を用いることで、顔のわずかな動きに伴って生じるCCDカメラ12に対する眼の距離変化等の影響を排除することも可能である。
【0055】
従って、瞬き検知プログラム22(居眠り検知警報装置10)では、閉眼閾値Cを用いることで、個人差等の影響を受けることなく瞬きを検知することができる。すなわち、瞬き波形B1(t)とB2(t)のように開閉眼時におけるそれぞれの平均開度や開度変化幅が個人差等によって大きく異なる場合でも、瞬き検知プログラム22では、それぞれに適正な閉眼閾値Cを設定することで、個人差等の影響を受けることなく瞬きを検知することができる。
【0056】
さらに、閾値設定プログラム28では、上記並べ替え後(図5(A)の状態)における最大開度差ΔPを与える順位nと順位n+1との間で開眼候補群と閉眼候補群とを分離するため、換言すれば、開眼候補群内または閉眼候補群内における開度差よりも開眼と閉眼との間の開度差が通常大きくなることに基づいて開眼候補群と閉眼候補群とを分離しているため、該分離は実際の開閉眼に対応している確率(すなわち、分離の精度)が高い。このため、開眼候補群と閉眼候補群とを実際の眼の開閉に略対応して分離することができ、かつ標準偏差σoまたはσcも実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値Cを得ることができる。
【0057】
このように、本実施の形態に係る居眠り検知警報装置10では、閉眼を判断するための閉眼閾値Cを、運転者の個人差や環境の影響に依らず精度良く安定して設定することができる。
【0058】
また、居眠り検知警報装置10では、CCDカメラ12が車両Sのインナミラー16に内蔵して設けられているため、例えばステアリングホイール18や運転者の腕等の影響、運転姿勢変化の影響によって該運転者の眼を含む顔の部分が撮像できなくなる可能性が低く、該眼を含む顔の部分を確実に撮像することができる。そして、CCDカメラ12の撮像した画像データが乗員の眼を捉えなかった時間は、全撮像時間の1.7%とわずかであった。
【0059】
なお、上記の実施の形態では、本発明に係る開閉眼モニタ装置が車両Sの居眠り検知警報装置10に適用された例を示したが、本発明はこれに限定されず、例えば、プラントのオペレータや航空機・船舶等の操縦者等の意識状態を監視する監視装置等に適用されても良い。また、本発明に係る開閉眼モニタ装置は、警報装置30と接続されて居眠り検知警報装置10を構成するのに限定されることはない。
【0060】
また、上記の実施の形態では、瞬き検知プログラム22が居眠り検知コンピュータ20に記憶された構成としたが、本発明はこれに限定されず、例えば、車両Sを総合的に制御する運転支援システムの一部を構成するコンピュータに瞬き検知プログラム22を記憶、実行させても良い。
【0061】
さらに、上記の実施の形態では、閉眼閾値Cは、順位nの極小値から標準偏差σoを差し引いた値または順位n+1の極小値に標準偏差σcを加えた値として設定したが、本発明はこれに限定されず、例えば、閉眼閾値Cは、順位n+1の極小値を下回らない範囲で、順位nの極小値から標準偏差σoを差し引いた値よりも小さく設定しても良く、順位nの極小値を上回らない範囲で順位n+1の極小値に標準偏差σcを加えた値よりも大きく設定しても良い。
【0062】
さらにまた、上記の実施の形態では、CCDカメラ12がインナミラー16に内蔵された好ましい構成としたが、本発明はこれに限定されず、例えば、CCDカメラ12がルーフ14に設けられたマップランプ装置70(図1参照)に内蔵されたりインストルメントパネル上等に配置されたりしても良い。また、本発明における撮像手段がCCDカメラ12に限定されないことは言うまでもない。
【0063】
【発明の効果】
以上説明したように本発明に係る開閉眼モニタ装置は、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができるという優れた効果を有する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置の概略構成及びCCDカメラの配置を示す斜視図及びブロック図である。
【図2】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置に記憶された瞬き検知プログラムのフローチャートである。
【図3】ステップ50で抽出する瞬き波形における開度変化の谷を示す線図である。
【図4】ステップ54の期間経過後の瞬き波形を示す線図である。
【図5】(A)は開眼候補群と閉眼候補群との分離位置を示す線図、(B)は閉眼閾値を示す線図である。
【図6】図4とは別の運転者におけるステップ54の期間経過後の瞬き波形を示す線図である。
【図7】(A)は図5(A)とは別の運転者における開眼候補群と閉眼候補群との分離位置を示す線図、(B)は図5(B)とは別の運転者における閉眼閾値を示す線図である。
【符号の説明】
10 居眠り検知警報装置(開閉眼モニタ装置)
12 CCDカメラ(撮像手段)
16 インナミラー
20 居眠り検知コンピュータ(開度検出手段、閾値設定手段)
22 瞬き検知プログラム(開度検出手段、閾値設定手段)
24 開度検出プログラム(開度検出手段)
28 閾値設定プログラム(閾値設定手段)
S 車両
Claims (3)
- 少なくとも眼を含む顔の部分を撮像する撮像手段と、
前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、
前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群内の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群内の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、
を備えた開閉眼モニタ装置。 - 前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴とする請求項1記載の開閉眼モニタ装置。
- 車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴とする請求項1または請求項2記載の開閉眼モニタ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204066A JP3898586B2 (ja) | 2002-07-12 | 2002-07-12 | 開閉眼モニタ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204066A JP3898586B2 (ja) | 2002-07-12 | 2002-07-12 | 開閉眼モニタ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004041485A JP2004041485A (ja) | 2004-02-12 |
JP3898586B2 true JP3898586B2 (ja) | 2007-03-28 |
Family
ID=31709765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002204066A Expired - Fee Related JP3898586B2 (ja) | 2002-07-12 | 2002-07-12 | 開閉眼モニタ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3898586B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4742921B2 (ja) * | 2006-03-13 | 2011-08-10 | 日産自動車株式会社 | 覚醒度推定装置 |
JP4677963B2 (ja) * | 2006-09-11 | 2011-04-27 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
JP5078815B2 (ja) | 2008-09-12 | 2012-11-21 | 株式会社豊田中央研究所 | 開眼度推定装置 |
JP5210773B2 (ja) * | 2008-09-16 | 2013-06-12 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
JP5270415B2 (ja) | 2009-03-19 | 2013-08-21 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
US8866896B2 (en) | 2010-04-05 | 2014-10-21 | Toyota Jidosha Kabushiki Kaisha | Biological body state assessment device including drowsiness occurrence assessment |
JP5418579B2 (ja) | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
JP6514651B2 (ja) | 2016-02-15 | 2019-05-15 | ルネサスエレクトロニクス株式会社 | 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム |
CN108245154B (zh) * | 2018-01-24 | 2020-10-09 | 福州大学 | 利用异常值检测精确确定脑电或眼电中眨眼区间的方法 |
CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
JP7328089B2 (ja) | 2019-09-05 | 2023-08-16 | トヨタ自動車株式会社 | 閉眼判定装置 |
CN114863545B (zh) * | 2022-07-05 | 2022-10-21 | 之江实验室 | 基于DeepLabCut的自动眨眼检测方法和装置 |
-
2002
- 2002-07-12 JP JP2002204066A patent/JP3898586B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004041485A (ja) | 2004-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1878604B1 (en) | Method of mitigating driver distraction | |
US10369926B2 (en) | Driver state sensing system, driver state sensing method, and vehicle including the same | |
EP2117432B1 (en) | Anti-drowsing device and anti-drowsing method | |
EP1801730B1 (en) | Method of detecting vehicle-operator state | |
JP3898586B2 (ja) | 開閉眼モニタ装置 | |
US9460601B2 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
EP2000889A9 (en) | Monitor and monitoring method, controller and control method, and program | |
EP1723901A1 (en) | Vehicle operator monitoring system and method | |
JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP3990619B2 (ja) | 顔の向き検知装置 | |
CN102310771A (zh) | 基于驾驶员面部识别的机动车安全控制方法及系统 | |
JP6593011B2 (ja) | 安全運転促進装置及び安全運転促進方法 | |
CN114872713A (zh) | 一种驾驶员异常驾驶状态监测装置和方法 | |
JP3012226B2 (ja) | 居眠り運転防止装置 | |
JP4173083B2 (ja) | 覚醒状態判定装置及び覚醒状態判定方法 | |
Chatterjee et al. | Driving fitness detection: A holistic approach for prevention of drowsy and drunk driving using computer vision techniques | |
US10945651B2 (en) | Arousal level determination device | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP6772775B2 (ja) | 運転支援装置および運転支援方法 | |
JP2007233477A (ja) | 車両用警報装置 | |
JP7081844B2 (ja) | 検出システム | |
JP2002002325A (ja) | 車両用警報装置 | |
US11893807B2 (en) | Method for determining a level of alertness of a driver | |
JP7460362B2 (ja) | ドライバー状態推定装置 | |
JP2023072268A (ja) | 運転者状態判定方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061221 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |