JP3444115B2 - 居眠り状態検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータなどの居眠り状態
を検出する居眠り状態検出装置に関する。

【０００２】

【従来の技術】従来の画像処理による居眠り状態検出装
置には、例えば特開平７−２０８９２７号に記載された
ようなものがある。これは画像データの図２２に示すよ
うな局所矩形領域Ａの平均濃度情報により二値化閾値を
設定し、濃淡画像データの二値化処理を行い二値化画像
において濃度投影、ラベリング処理等を行うことで眼の
位置検出し、開閉眼の状態変化により居眠り状態を検出
することにより、光環境の変化があっても安定した状態
で居眠り状態検出ができる構成となっているものであ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
居眠り状態検出装置では、局所領域Ａが画面右上部に固
定されているため、体格の違い等により、図２３に示す
ように顔の位置が異なる場合に適切な二値化閾値が設定
できないという問題点があった。

【０００４】本発明は、上記の問題点に鑑み、光環境の
変化や個人差による顔の位置の違いにも対応でき、居眠
り状態検出が常に安定して行えるようにした居眠り状態
検出装置を提供することを目的としている。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に請求項１の本発明にあっては、複数画素より得られた
顔の画像データを処理して居眠り状態を検出する居眠り
状態検出装置において、顔に対する縦方向に配列された
画素列に沿って画素の濃度を検出し、前記画素列におけ
る濃度の局所的な高まりごとに１個づつの画素を定めて
抽出点とし、隣接する縦方向に配列された画素列の横方
向に近接した抽出点を連続して顔に対して横方向に延び
る曲線群を抽出することにより、眼の位置を検出する眼
の位置検出手段と、眼を含む所定領域内で縦方向の画素
列に沿って画素の濃度を検出して画素列ごとにその濃度
の相加平均値を演算し、該相加平均値から画素の濃度の
位置微分値を演算し、両演算値から前記画素列における
抽出点を求め、各列ごとの抽出点の濃度値に基づいて二
値化閾値を設定する二値化閾値設定手段と、前記二値化
閾値により眼を含む所定領域内を二値化する二値化手段
と、該二値化手段において二値化処理された眼を含む所
定領域内でラベリング処理を行い、眼のラベルデータを
選択するラベルデータ選択手段と、前記眼のラベルデー
タにおいて縦方向への特定画素値の最大連続数を眼の開
度値として検出する眼の開度検出手段と、前記眼の開度
値より眼の開閉状態を判定し、その開閉状態の変化から
覚醒度を判定する覚醒度判定手段と、からなる。すなわ
ち、本発明によれば、眼の位置検出手段によって、顔の
縦方向の画素列に沿って画素の濃度を検出し、前記画素
列における濃度の局所的な高まりごとに１個づつの画素
を定めて抽出点とし、隣接する画素列の画素列方向に近
接した抽出点を連続して顔の横方向に延びる曲線群を抽
出することにより眼の位置が検出される。そして、二値
化閾値設定手段によって、眼を含む所定領域内で縦方向
の画素列に沿って画素濃度を検出して画素列ごとにその
濃度の相加平均値を演算し、該相加平均値から画素の濃
度の位置微分値を演算し、両演算値から、前記画素列に
おける抽出点を求め、各列ごとの抽出点の濃度値に基づ
いて、二値化閾値が設定される。次に、二値化手段によ
り、前記二値化閾値において眼を含む所定領域内の二値
化処理が行われ、ラベルデータ選択手段によって、前記
二値化画像において眼のラベルデータが選択されるとと
もに、眼の開度検出手段にて、前記眼のラベルデータの
特定画素の縦方向への最大連続数より眼の開度が検出さ
れる。そして、覚醒度判定手段によって、この開度より
眼の開閉状態を判定し、その開閉状態の変化から覚醒度
が判定される。このため、光環境の変化や個人差による
顔の位置の違いが生じた場合であっても、これに対応で
き、居眠り状態検出が常に安定して行われる。

【０００６】また、請求項２の発明においては、前記二
値化閾値設定手段は、前記縦方向の画素列上の画素の濃
度値の片方向のピークの前後の濃度の、位置についての
微分値が所定値を越える画素を特定して抽出点とする抽
出手段を有する。

【０００７】つまり、前記二値化閾値設定手段における
抽出点は、抽出手段によって、縦方向の画素列上の画素
の濃度値の片方向のピークの前後の濃度の位置について
の微分値が所定値を超える画素に特定されるので、各画
素における濃度値の大局的な変化が捉えられる。

【０００８】さらに、請求項３の発明では、前記二値化
閾値設定手段は、各抽出点のピーク濃度値の前後で、位
置についての微分値が最大となる画素、及び位置につい
ての微分値が最小となる画素の濃度値に基づいて、二値
化閾値を設定する。

【０００９】これによって、濃度変化がもっとも大きい
箇所をとらえることができ、その変化部の濃度値を基準
として適切な二値化閾値を設定することができる。

【００１０】そして、請求項４の発明では、前記二値化
閾値設定手段は、前記画素列において１つの画素を含ん
で連続した複数の画素の濃度値を平均化して１つの画素
の濃度値とする。

【００１１】これによって、各画素における濃度値の変
化の小さなばらつきをなくすことができる。

【００１２】請求項５の発明にあっては、前記二値化閾
値設定手段は、眼を含む所定領域の基準点を、眼のラベ
ルデータに基づき得られた眼の中心座標に切り換えるこ
とを特徴とする。

【００１３】これにより、眼が存在する範囲に領域を限
定した状態での判断が行われる。

【００１４】加えて、請求項６の発明においては、前記
ラベルデータ選択手段は、眼を含む所定領域の上端、下
端のラインに接していない最大面積を持ち、且つ上端、
下端ラインの双方に接しない最大の面積値を有するラベ
ルデータを選択する。

【００１５】これにより、眼の位置が、ほくろ等のノイ
ズデータの影響を受けることなく、眼のラベルデータを
正確に認識することができる。

【００１６】

【実施の形態】以下、本発明の一実施の形態を、図面に
従って説明する。図１は、本発明に対応した各ブッロク
を示す模式図であり、本実施の形態の主な構成が示され
ている。

【００１７】すなわち、本実施の形態にかかる居眠り状
態検出装置は、顔画像を入力する画像入力手段ＣＬ１
と、該画像入力手段から入力された顔画像の縦方向の画
素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、
前記画素列における濃度の高まりとその変化状態により
ポイントを抽出するポイント抽出手段ＣＬ３と、隣接す
る画素列の画素列方向に近接したポイントを連続して、
顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ
４と、曲線群の中から眼を選択する眼の位置検出手段Ｃ
Ｌ５と、眼を含む所定領域内で縦方向への濃度の高まり
とその変化状態によりポイントを抽出するポイント抽出
手段ＣＬ６と、前記ポイント前後の濃度変化状態から二
値化閾値を設定する二値化閾値設定手段ＣＬ７と、前記
二値化閾値に基づき眼を含む所定領域内を二値化する二
値化手段ＣＬ８と、前記眼を含む所定領域内の二値化画
像においてラベルデータを選択するラベルデータ選択手
段ＣＬ９と、前記ラベルデータ選択手段において選択さ
れた眼のラベルデータの特定画素値の縦方向への最大連
続数を眼の開度値として検出する眼の開度値検出手段Ｃ
Ｌ１０と、前記眼の開度値より眼の開閉状態を判定し、
その開閉パターンより覚醒度を判定する覚醒度判定手段
ＣＬ１１と、覚醒度が低下していると判定された場合に
警報を与える警報手段ＣＬ１２とを備えてなる。

【００１８】ここで、光環境の変化が最も激しく、また
不特定多数の人が運転する車両は個人差においても幅広
い顔の位置があると考えられることから、本実施の形態
では車両に適用した場合を例に挙げて説明する。

【００１９】すなわち、図２に示すように、車両のイン
ストルメントパネルには、運転者の顔部分を正面から撮
影する画像入力手段ＣＬ１としてのＴＶカメラ２１が設
置されており、このＴＶカメラ２１の入力画像は、本実
施の形態では、横（Ｘ）方向５１２画素、縦（Ｙ）方向
４８０画素からなる。ＴＶカメラで撮影された入力画像
は、Ａ−Ｄ変換器２２を介して、デジタル量の入力画像
データとして画像メモリ２３に格納される。画像メモリ
２３には、これに格納された入力画像データに基づい
て、顔の縦方向の画素列の濃度を検出する画素列の濃度
検出手段ＣＬ２と、前記画素列における濃度の高まり
と、その変化状態によりポイントを抽出するポイント抽
出手段ＣＬ３と、隣接する画素列の画素列方向に近接し
たポイントを連続して顔の横方向への曲線群を抽出する
曲線群の抽出手段ＣＬ４からなる画像データ演算回路２
４と、曲線群から眼の選択を行うことで眼の位置を検出
する眼の位置検出手段ＣＬ５の眼の位置検出回路２５
と、眼を含む所定領域内で縦方向への濃度の高まりとそ
の変化状態からポイントを抽出するポイント抽出手段Ｃ
Ｌ６と、前記ポイント前後の濃度変化状態から二値化閾
値を設定する二値化閾値設定手段ＣＬ７と、前記二値化
閾値に基づき眼を含む所定領域内を二値化する二値化手
段ＣＬ８と、前記眼を含む所定領域内の二値化画像にお
いてラベルデータを選択するラベルデータ選択手段ＣＬ
９と、前記ラベルデータ選択手段において選択された眼
のラベルデータの特定画素値の縦方向への最大連続数を
眼の開度値として検出する眼の開度値検出手段ＣＬ１０
とからなる開閉眼検出回路２６が接続されている。この
開閉眼検出回路より送出される開閉眼の検出結果から覚
醒度を判定する覚醒度判定手段ＣＬ１１の覚醒度判定回
路２７があり、覚醒度が低下したと判定された場合に居
眠り状態を解消させる警報を警報手段ＣＬ１２の警報装
置２８より発生する。

【００２０】次に、上記構成における動作の流れを、図
３のフローチャートに基づいて説明する。まず、ステッ
プ３１において、ＴＶカメラ２１によって顔部分が撮影
され、ステップ３２で１フレーム分の入力画像がＡ−Ｄ
変換器２２でデジタル信号に変換されたうえ画像メモリ
２３に格納される。

【００２１】次に、ステップ３３において、眼の存在領
域が設定されているかどうかがチェックされる。眼の存
在領域とは、眼を含む所定領域を示し眼の開度検出の処
理を行う領域である。また、この所定領域は、眼の追跡
領域としても用いられる。

【００２２】眼の存在領域が設定されていない場合は、
ステップ３４および３５において、眼が存在する領域の
横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設定す
る。眼の位置検出処理の詳細は、図４のフローチャート
と、図５〜図１０に示す説明図により後述する。ステッ
プ３３で眼の存在領域が設定されていると判断された場
合、ステップ３６で眼の開度の検出が行われる。この処
理の詳細は図１１のフローチャートと、図１２〜図１４
に示す説明図により後述する。

【００２３】この後、ステップ３７において、前ステッ
プで検出された眼の開度値より眼が正しく追跡されてい
るか否かを確認する。眼が正しく追跡されていると判定
された場合は、ステップ３８に移り目の開度値により開
眼か閉眼かの判定を行う。その後、ステップ３９に移行
し、眼の追跡、つまり眼の存在領域の変更を行う。

【００２４】この後のステップ３１０において、前ステ
ップで検出された開閉眼パターンから運転者の覚醒度の
判定が行われる。覚醒度の判定の詳細は、図２１に示す
説明図により後述する。

【００２５】また、ステップ３７で眼が正しく追跡され
ていないと判定された場合は、ステップ３１１に移り眼
の開度値と眼の存在領域をクリアし、ステップ３１に戻
り次のフレームの処理に移る。この眼の追跡の詳細は、
図１５に示す説明により後述する。

【００２６】次に眼の位置検出方法の詳細を説明する。

【００２７】眼の位置検出処理の流れを、図４のフロー
チャートに基づいて説明する。まず、ステップ４１で
は、図５に示すように、Ｙ軸方向に、４８０個のライン
上のデータに対してポイント抽出の処理を行い１ライン
終了後に、一つ隣のラインの処理に移して行き、Ｙ軸方
向（所定方向）の全ラインでのポイント抽出が終了した
か否かを判断する。ステップ４１で全ラインにおいてポ
イント抽出が行われていないと判断された場合は、ステ
ップ４２に移行する。このステップ４２では、所定方向
の１ラインの濃度値の相加平均演算を行う。この処理
は、画像データ撮影時の濃度値の変化の小さなばらつき
をなくすことを目的としており、濃度値の大局的な変化
を捉えるためである。図６（ａ）に、図５のＸａのライ
ンデータの相加平均演算の処理結果を示す。図４のステ
ップ４３では、ステップ４２の演算結果である相加平均
値における微分演算を行う。この処理結果を、図６の
（ｂ）に示す。図４のステップ４４では、ステップ４３
の演算結果である微分値によるポイント抽出を行う。そ
のポイント抽出方法は、微分値が負から正に変化するポ
イント（ｐ１〜ｐ５）、図６の（ａ）でいうと、グラフ
が下向きに凸になるポイントを抽出する。次にそのポイ
ントに達するまでの濃度値の変化（ｑ１〜ｑ５）が所定
値以下であるか否か、図６の（ｂ）のハッチング部分に
入るか否かを判定し、所定値以下の濃度の変化を持つポ
イントを対象としてＹ座標値（Ａ１〜Ａ３）を抽出す
る。この処理が１ライン終了後、ステップ４５で、次の
ラインの処理に切り換えて行く。この処理を繰り返す中
で、例えば、図５に示すＸｂのようなラインの場合、図
７の（ａ），（ｂ）からも分かるように抽出ポイントが
ない場合もある。

【００２８】ステップ４１で全ラインのポイント抽出が
終了したと判断されると、図８に示すような、ポイント
が抽出される。つまり図８のＸｃライン上では、Ａ１，
Ａ２の二つのポイントが抽出されており、Ｘｄライン上
では、Ａ１，Ａ２，Ａ３，Ａ４の四つのポイントが抽出
されていることになる。

【００２９】その後、ステップ４６へ移行し、隣り合う
各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，・・・）
のＹ座標値が所定値以内の場合、連続データとして、
連続データのグループ番号、連続開始ライン番号、
連続データ数をメモリする。この具体的な処理内容を、
図９を用いて説明する。ライン１には、Ｙ座標値が１９
２と２２９の二つの抽出ポイントがある。ライン１のＹ
座標値が１９２のポイントは左隣のラインが存在しない
ので、この段階での連続データはないため、連続デー
タのグループ番号は”１”となる。また、Ｙ座標値２２
９のポイントも同様の理由でこの段階での連続データは
存在しないため、連続データのグループ番号は、その
次の”２”とする。つぎに、右隣のライン２には、Ｙ座
標値が１９１と２２４の二つの抽出ポイントがある。ラ
イン２のＹ座標値１９１のポイントは、左隣のライン１
のＹ座標値１９２と１０以内のポイントであるため、連
続データのグループ番号を”１”とする。この時、連
続データ数は２となる。ライン２のＹ座標値２２４のポ
イントにおいても同様の判定を行うと連続データのグ
ループ番号は”２”、連続データ数は２となる。

【００３０】次のライン３のＹ座標値３６０のポイント
では、左隣のライン２に３６０と１０以内になるポイン
トが存在しないので、連続データのグループ番号
は、”３”となり、連続データ数は１となる。

【００３１】また、ステップ４６での連続開始ライン
番号は、連続データ数が１と判断されるポイントを有
するライン番号のことをいう。

【００３２】ステップ４６では、このようにして各ライ
ンのポイントの連続性の判断を全ラインにおいて終了す
るまで行い、ステップ４７へ移行する。

【００３３】ステップ４７では、同じ連続データグルー
プ番号を持つポイントのＹ座標値の平均値を連続ポイ
ントの平均値にメモリする。この値は、そのグループの
代表Ｙ座標値として用いることができる。また、連続開
始ラインとその連続データ数から連続終了ラインを求
め、連続開始ラインと連続終了ラインの平均値をメモリ
する。この値は、そのグループの代表Ｘ座標値として用
いることができる。

【００３４】このようにして得られた、各連続グループ
データを、ステップ４８で、各連続グループの長さ、
（Ｘ，Ｙ）座標値により判定することにより、眼の位置
を特定できる。

【００３５】ここで、図１０を用いて具体的な眼の位置
検出方法について説明する。

【００３６】まず始めに、眼の特徴量を考えると、横に
長く、上に凸型の弓形形状であると定義づけることがで
き、この定義付けに基づいて連続データの絞り込みを行
うと、眼は横に長いという条件から、ポイント連続数が
５ポイント以上続き、また、弓形形状であるという条件
から、連続開始ポイントと連続終了ポイントのＹ座標値
の差は、小さい連続データに絞り込むことができる。こ
の判定に基づき連続データの絞り込みを行うと、図１０
の（ａ）に示すようなグループＧ１〜Ｇ６が抽出され
る。次に前述した各グループのＸ，Ｙの代表座標値の位
置を考えると、図１０の（ｂ）に示すように、Ｘ座標方
向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮＥ：Ｃ，
ＺＯＮＥ：Ｒに分類できる。これは、左眼と左眉でＸ座
標方向に大きく離れることはなく、また右眼と右眉でＸ
座標方向に大きく離れることはないからである。また鼻
下の影により連続データとなったものや、口の連続デー
タは中央付近に位置する。

【００３７】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んで行くことで眼の
位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含
まれる連続データとしては、左眼と左眉であり、ＺＯＮ
Ｅ：Ｒに含まれる連続データは右眼と右眉であると判定
すると、眼の位置は、Ｇ３，Ｇ４であり、その座標値も
特定できる。

【００３８】次に、図３のステップＳ３６の眼の開度検
出処理の詳細を説明する。

【００３９】まず始めに、開度検出を行う二値化画像へ
変換するための二値化閾値設定方法の流れを、図１１の
フローチャートに基づいて説明する。まず、ステップＳ
１では、図１２（ａ）に示すようにＹ軸方向にライン上
のデータに対してポイント抽出の処理を行い１ライン終
了後に、一つ隣のラインの処理に移行し、Ｙ軸方向（所
定方向）の全ラインでのポイント抽出が終了したか否か
を判断する。ステップＳ１で全ラインにおいてポイント
抽出が行われていないと判断された場合は、ステップＳ
２に移行する。このステップＳ２では、所定方向の１ラ
インの濃度値の相加平均演算を行う。この処理は、画像
データ撮影時の濃度値の変化の小さなばらつきをなくす
ことを目的としており、濃度値の大局的な変化を捉える
ためである。図１２（ｂ）に、図１２（ａ）のＸａのラ
インデータの相加平均演算の処理結果を示す。図１１の
ステップＳ３では、ステップＳ２の演算結果である相加
平均値における微分演算を行う。この処理結果を図１２
の（ｃ）に示す。図１１のステップＳ４では、ステップ
Ｓ３の演算結果である微分値によるポイント抽出を行
う。そのポイントの抽出方法は、微分値が負から正に変
化するポイントＰ、図１２の（ｂ）でいうと、グラフが
左向きに凸になるポイントを抽出する。次にそのポイン
トの前後の濃度値の変化が所定値以下、以上であるか否
か、図１２の（ｃ）のハッチング部分に入るか否かを判
定し、上記条件を満足する濃度値の変化を持つポイント
Ｐを抽出する。

【００４０】ステップＳ５で図１２の（ａ）に示すよう
にＸａ列に抽出ポイントＰが存在すると判定された場合
は、ステップＳ６へ移行し、Ｐ点の前後の微分値の最
大、最小値であるＱ点とＲ点のＹ座標の濃度値をＮａｌ
（微分値が最小となるＹ座標の濃度値）とＮａｈ（微分
値が最大となるＹ座標の濃度値）をメモリしてステップ
Ｓ７へ移行する。

【００４１】ステップＳ７では、つぎのラインへの処理
に切り換えステップＳ１で全ラインの処理の終了が確認
されるまで同一の処理を繰り返す。つまり図１３（ａ）
に示すようにＸａ列後のＸｂ列では、Ｘｂ列の抽出ポイ
ントＰ点の前後の微分値の最大、最小値であるＱ点とＲ
点のＹ座標の濃度値をＮｂ１とＮｂｈとしてメモリして
行く。各ラインでメモリされる抽出ポイントの前の濃度
変化の最小微分値、Ｎ＿１は濃度値が明るい部分から暗
い部分へ最も大きく変化する箇所であり、この濃度値よ
り暗くなる部分、つまり抽出ポイントＰ点に向かっては
眼にあたる部分の濃度値であるといえる。また、各ライ
ンでメモリされる抽出ポイントの後ろの濃度変化の最大
微分値、Ｎ＿ｈは濃度値が暗い部分から明るい部分へ最
も大きく変化する箇所であり、抽出ポイントＰ点からこ
の濃度値まで明るくなる部分が眼にあたる濃度値である
といえる。よって、Ｎ＿１，Ｎ＿ｈの値は、二値化処理
で眼の部分を黒画素（０）に、眼の回りの肌の部分を白
画素（１）に確実に変換する閾値の設定情報として用い
ることができる。

【００４２】ステップＳ１で全ラインの処理の終了が確
認された場合、ステップＳ８へ移行し、各ラインの抽出
ポイントの濃度値（Ｎ＿１，Ｎ＿ｈ）の情報から二値化
閾値を設定する。二値化閾値の設定は、下記に示すよう
な方法が考えられる。

【００４３】各ラインの最小微分値Ｎ＿１の最小値を
更新してその値を基準に設定する。

【００４４】各ラインの最大微分値Ｎ＿ｈの最大値を
更新してその値を標準に設定する。

【００４５】各ラインの最小微分値Ｎ＿１の平均値を
基準に設定する。

【００４６】各ラインの最大微分値Ｎ＿ｈの平均値を
基準に設定する。

【００４７】各ラインの全Ｎ＿１，Ｎ＿ｈの平均値を
基準に設定する。

【００４８】次に図１４で、眼の開度の検出方法を説明
する。

【００４９】前記方法に求めた二値化閾値で眼の存在領
域の二値化処理を行う。その二値化画像は、検出対象者
が正常時と居眠り状態時で、それぞれ図１４に示すよう
になる。この時、黒画素を対象としたラベリング処理を
行った場合、ラベルデータは、正常時、居眠り状態時、
共に一つのラベルデータ、ラベル１しか存在しない、こ
の時ラベル１の縦方向への特定画素（この例では黒画
素：１）の縦方向への最大連続数をカウントすると、正
常時（開眼）ではその値が大きくなり、居眠り時（閉
眼）ではその値が小さくなる。このようにして眼の開度
検出を行うことができる。

【００５０】本実施の形態では、眼以外のラベルが存在
しない場合について説明したが、眼鏡のフレームや髪の
毛等の眼以外のラベルが領域内に入ってきた場合は、図
１６〜図２０を用いて後に説明する。

【００５１】次に、図３のステップ３８における開閉眼
を判定する方法の詳細を示す。

【００５２】被撮影者が特定された場合、眼の開度の出
力値は、開眼状態から閉眼状態の間で変化する。よっ
て、開眼・閉眼の判定を行う基準値、つまり開閉眼を判
定するスレッシュホールドは、その範囲内にあることに
なる。ここでそのスレッシュホールドをどう設定するの
が妥当なのかを、検討した結果、居眠り状態の人は、熟
睡状態ではないため完全に眼の閉じない運転者も見られ
ることにより、開眼・閉眼の中央値をスレッシュホール
ドをすることが望ましいと思われる。

【００５３】次に、図３のフローチャートのステップ３
７、３９、３１１における眼の追跡・追跡ミスした時の
復帰方法の詳細を示す。このフローチャートに基づくシ
ステムをスタートさせた直後、つまり第１フレームで
は、当然、眼の存在領域は設定されていないため、ステ
ップ３４、３５で眼の存在領域が設定される。この時、
眼の中心座標と眼の存在領域の中心座標は図１５（ａ）
に示すように一致している。一連の処理の終了後、第２
フレームの処理に移り、ステップ３３へ進むと、ここで
は、既に眼の存在領域が設定されているため、ステップ
３６に移り、眼の開度検出を行いステップ３７に移る。
この時、眼が正しく捉えられている場合は、図１５
（ｂ）に示すようになる。図１５（ｂ）の眼の存在領域
は第１フレームで設定された位置にあるのに対し、眼の
位置は、２フレーム目に取り込まれた画像データの眼の
位置であるため、顔の動き等により、眼の中心点は、眼
の存在領域に対してズレてくる。しかし、眼の存在領域
に眼が接しない限り、眼の開度検出を行うことができ
る。

【００５４】このようにして捉えられた図１５（ｂ）の
眼の中心座標に、ステップ３９で眼の存在領域の基準点
を変更することにより、運転者の顔の動きにも対応させ
ることができる。図１５（ｃ），（ｄ）は第３フレー
ム、第４フレームで取り込まれる顔画像データでの眼の
位置と眼のウインドウの位置関係を示したものである。

【００５５】ステップ３７，３９，３１１による眼の追
跡ロジックを有することで、ステップ３４，３５での顔
全体からの眼の位置検出を省略できるため、眼の開度検
出の高速化が図ることができる。

【００５６】また、ステップ３７で眼の追跡が正しくで
きているか否かの判定は、眼の開度値によって行う。要
するに被撮影者が特定されてしまえば、眼の開度値は開
眼時〜閉眼時の範囲で変化するだけであることから、こ
の範囲外の値が出力された時は、眼の追跡ミスがあった
と判定し、ステップ３１１で眼の開度の出力値と、眼の
存在領域をクリアすることにより、ステップ３３で再
び、顔全体からの処理に入るようにする。

【００５７】次に、検出対象者が眼鏡を掛けていて、眼
の存在領域内に眼以外のものがある場合について図１
６、図１７を用いて説明する。

【００５８】図１６に示すように検出対象者が眼鏡を掛
けている場合、図１７のように眼の存在領域に眼と眼鏡
のフレームが入ってくる。このような場合には、眼の開
度値を検出する前にラベルデータの選択を行う。ラベル
データの選択方法は、ラベルデータが領域の上端または
下端のラインに接していない最大面積を持つものとす
る。この選択によって、図１７の眼鏡のフレームにあた
るラベル１のデータは除外される。また、眉の一部が眼
の上に存在する場合においても、眉のラベルデータは、
上端ラインにかかることが多く容易に選択対象から除外
することができる。また、上端、下端ラインの双方に接
しない最大面積のラベルデータとすることで、眼の回り
のほくろ等のノイズも選択対象から除外することができ
る。

【００５９】次に、図１８に示すように、眼に髪の毛が
かかっている場合の説明を行う。このような場合、通常
の二値化後のラベリング処理では、眼と髪の毛が同一ラ
ベルとして認識されてしまうので、図１９（ａ）に示す
ように眼の存在領域の上端、下端ライン接してしまうの
で、選択対象ラベルがなくなってしまい眼の開度検出が
できなくなる。しかし、本実施の形態では、所定領域内
での二値化閾値設定手段において抽出ポイントに基づい
て二値化閾値を設定しているため、同時に抽出ポイント
が現れるＸ座標方向の範囲も認識できる。つまり、髪の
毛の部分Ｘｃライン上には、図１９（ｂ），（ｃ）に示
すように抽出ポイントがないことがわかる。よって、ラ
ベルデータの選択を行うときに、図２０に示すように領
域Ｄに縮小して行うことができ、仮に髪の毛のラベルデ
ータ１が残ったとしても、眼と切り離されるため、眼を
ラベル２として認識でき開度値を検出が可能である。

【００６０】このように本発明では、所定領域内で眼の
ラベルデータを容易に且つ正確に選択することができる
ため、眼鏡の有無、髪型等の検出対象者の違いに対する
対応力が高い。

【００６１】最後に図２１を用いてステップ３１０にお
ける覚醒度の判定方法の詳細を示す。ステップ３８で出
力される開閉眼パターンにおいて、図２１に示すように
覚醒度判定区間（例えば１分程度）に出力される閉眼積
算値により、覚醒度を判定することができる。

【００６２】このようにして得られた覚醒度により居眠
り状態を検出することが可能となり、的確に警報装置を
作動させ、居眠りを未然に防止することができる。

【００６３】

【発明の効果】以上の説明で明らかなように、請求項１
の発明は、顔の縦方向の画素列に沿って画素の濃度を検
出し、前記画素列における濃度の局所的な高まりごとに
１個づつの画素を定めて抽出点とし、隣接する画素列の
画素列方向に近接した抽出点を連続して顔の横方向に延
びる曲線群を抽出することにより眼の位置を検出し、眼
を含む所定領域内で縦方向の画素列に沿って画素の濃度
を検出して画素列ごとにその濃度の相加平均値を演算
し、該相加平均値から画素の濃度の位置微分値を演算
し、両演算値から前記画素列における抽出点を求め、各
列ごとの抽出点の濃度値に基づいて、二値化閾値を設定
し、前記二値化閾値において眼を含む所定領域内の二値
化処理を行い、前記二値化画像において眼のラベルデー
タを選択し、前記眼のラベルデータの特定画素の縦方向
への最大連続数より眼の開度を検出することにより眼の
開閉状態を判定し、その開閉状態の変化から覚醒度を判
定することにより、光環境の変化や個人差による顔の位
置の違いにも対応でき、居眠り状態検出が常に安定して
行うことができる。

【００６４】また、請求項２の発明においては、前記二
値化閾値設定手段は、前記縦方向の画素列上の画素の濃
度値の片方向のピークの前後の濃度の、位置についての
微分値が所定値を越える画素を特定して抽出点とする抽
出手段を有するため、前記二値化閾値設定手段における
抽出点が、縦方向の画素列上の画素の濃度値の片方向の
ピークの前後の濃度の位置についての微分値が所定値を
超える画素に特定されるので、各画素における濃度値の
大局的な変化を捉えることができる。

【００６５】さらに、請求項３の発明では、前記二値化
閾値設定手段において、各抽出点のピーク濃度値の前後
で、位置についての微分値が最大となる画素、及び位置
についての微分値が最小となる画素の濃度値に基づい
て、二値化閾値を設定するため、濃度変化が最も大きい
箇所をとらえることができ、その変化部の濃度値を基準
として適切な二値化閾値を設定することができる。

【００６６】そして、請求項４の発明では、前記二値化
閾値設定手段において、前記画素列における１つの画素
を含んで連続した複数の画素の濃度値を平均化して１つ
の画素の濃度値とするので、これによって、各画素にお
ける濃度値の変化の小さなばらつきをなくすことができ
る。

【００６７】また、請求項５の発明にあっては、前記二
値化閾値設定手段は、眼を含む所定領域の基準点を、眼
のラベルデータに基づき得られた眼の中心座標に切り換
えるため、眼が存在する範囲に、領域を限定した状態
で、判断を行うことができる。

【００６８】加えて、請求項６の発明においては、前記
ラベルデータ選択手段は、眼を含む所定領域の上端、下
端のラインに接していない最大面積を持ち、且つ上端、
下端ラインの双方に接しない最大の面積値を有するラベ
ルデータを選択するので、眼の位置が、ほくろ等のノイ
ズデータの影響を受けることなく、眼のラベルデータを
正確に認識することができる。

【００６９】

【図面の簡単な説明】

【図１】本発明の一実施の形態を示す模式図である。

【図２】同実施の形態を示すブロック図である。

【図３】同実施の形態の動作を示すフローチャートであ
る。

【図４】同実施の形態の眼の位置検出処理の動作を示す
フローチャートである。

【図５】同実施の形態の眼の位置検出を示す説明図であ
る。

【図６】（ａ）は、図５中におけるＸａラインデータの
相加平均演算結果を示す図であり、（ｂ）は、その微分
演算結果を示す図である。

【図７】（ａ）は、図５中におけるＸｂラインデータの
相加平均演算結果を示す図であり、（ｂ）は、その微分
演算結果を示す図である。

【図８】同実施の形態の抽出ポイントを示す図である。

【図９】図４におけるフローチャートの説明に用いた具
体的な連続データの例を示す図である。

【図１０】（ａ）は、図８における抽出ポイントをグル
ープ分けした状態を示す図であり、（ｂ）は、グループ
分けされた抽出ポイントを各ゾーンごとに分類した状態
を示す図である。

【図１１】同実施の形態の眼の開度検出処理の動作を示
すフローチャートである。

【図１２】（ａ）は、図５の要部拡大図であり、（ｂ）
は、Ｘａラインデータの相加平均演算結果を示す図であ
り、（ｃ）は、その微分演算結果を示す図である。

【図１３】（ａ）は、図５の要部拡大図であり、（ｂ）
は、Ｘｂラインデータの相加平均演算結果を示す図であ
り、（ｃ）は、その微分演算結果を示す図である。

【図１４】同実施の形態の眼の開度の検出方法を説明す
る図である。

【図１５】（ａ）〜（ｄ）は、第１〜第４フレームの眼
の位置を示す説明図である。

【図１６】同実施の形態の検出対象者が眼鏡を掛けてい
る状態を示す説明図である。

【図１７】同実施の形態における検出対象者の眼鏡のフ
レームが除外された状態を示す説明図である。

【図１８】同実施の形態の検出対象者の髪の毛が眼にか
かっている状態を示す説明図である。

【図１９】（ａ）は、図１８の要部拡大図であり、
（ｂ）は、Ｘｃラインデータの相加平均演算結果を示す
図であり、（ｃ）は、その微分演算結果を示す図であ
る。

【図２０】同実施の形態の領域を縮小して、髪の毛のラ
ベルデータを、眼のラベルデータより切り離した状態を
示す説明図である。

【図２１】同実施の形態の覚醒度の判定方法に関する説
明図である。

【図２２】従来の検出方法を示す説明図である。

【図２３】同従来例において、顔位置が局所領域よりず
れた状態を示す説明図である。

【符号の説明】

２１ ＴＶカメラ ２２ Ａ−Ｄ変換器 ２３ 画像メモリ ２４ 画像データ演算回路 ２５ 眼の位置検出回路 ２６ 開閉眼検出回路 ２７ 覚醒度判定回路 ２８ 警報装置 ＣＬ１ 画像入力手段 ＣＬ２ 画素列の濃度検出手段 ＣＬ３ ポイント抽出手段 ＣＬ４ 曲線群の抽出手段 ＣＬ５ 眼の位置検出手段 ＣＬ６ ポイント抽出手段 ＣＬ７ 二値化閾値設定手段 ＣＬ８ 二値化手段 ＣＬ９ ラベルデータ選択手段 ＣＬ１０ 眼の開度検出手段 ＣＬ１１ 覚醒度判定手段 ＣＬ１２ 警報手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０８Ｂ 21/06 Ｇ０８Ｂ 21/06 (56)参考文献 特開 平６−32154（ＪＰ，Ａ) 特開 平４−25706（ＪＰ，Ａ) 特開 平８−300978（ＪＰ，Ａ) 特開 平９−270010（ＪＰ，Ａ) 特開 平10−44824（ＪＰ，Ａ) 特開 平10−40361（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 B60K 25/00 - 28/16 G06T 1/00 G08B 19/00 - 21/24 G08G 1/00 - 1/16 H04N 7/18

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】複数画素より得られた顔の画像データを処
   理して居眠り状態を検出する居眠り状態検出装置におい
   て、 顔に対する縦方向に配列された画素列に沿って画素の濃
   度を検出し、 前記画素列における濃度の局所的な高まりごとに１個づ
   つの画素を定めて抽出点とし、 隣接する縦方向に配列された画素列の横方向に近接した
   抽出点を連続して顔に対して横方向に延びる曲線群を抽
   出することにより、眼の位置を検出する眼の位置検出手
   段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
   度を検出して画素列ごとにその濃度の相加平均値を演算
   し、該相加平均値から画素の濃度の位置微分値を演算
   し、両演算値から前記画素列における抽出点を求め、各
   列ごとの抽出点の濃度値に基づいて二値化閾値を設定す
   る二値化閾値設定手段と、 前記二値化閾値により眼を含む所定領域内を二値化する
   二値化手段と、 該二値化手段において二値化処理された眼を含む所定領
   域内でラベリング処理を行い、眼のラベルデータを選択
   するラベルデータ選択手段と、 前記眼のラベルデータにおいて縦方向への特定画素値の
   最大連続数を眼の開度値として検出する眼の開度検出手
   段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
   態の変化から覚醒度を判定する覚醒度判定手段と、 からなることを特徴とする居眠り状態検出装置。
2. 【請求項２】前記二値化閾値設定手段は、前記縦方向の
   画素列上の画素の濃度値の片方向のピークの前後の濃度
   の、位置についての微分値が所定値を越える画素を特定
   して抽出点とする抽出手段を有することを特徴とする請
   求項１記載の居眠り状態検出装置。
3. 【請求項３】前記二値化閾値設定手段は、各抽出点のピ
   ーク濃度値の前後で、位置について の微分値が最大とな
   る画素、及び位置についての微分値が最小となる画素の
   濃度値に基づいて、二値化閾値を設定することを特徴と
   する請求項２の居眠り状態検出装置。
4. 【請求項４】前記二値化閾値設定手段は、前記画素列に
   おいて１つの画素を含んで連続した複数の画素の濃度値
   を平均化して１つの画素の濃度値とすることを特徴とす
   る請求項３の居眠り状態検出装置。
5. 【請求項５】前記二値化閾値設定手段は、眼を含む所定
   領域の基準点を、眼のラベルデータに基づき得られた眼
   の中心座標に切り換えることを特徴とする請求項１の居
   眠り状態検出装置。
6. 【請求項６】前記ラベルデータ選択手段は、眼を含む所
   定領域の上端、下端のラインに接していない最大面積を
   持ち、且つ上端、下端ラインの双方に接しない最大の面
   積値を有するラベルデータを選択することを特徴とする
   請求項１の居眠り状態検出装置。
7. 【請求項７】複数画素より得られた顔の画像データを処
   理して居眠り状態を検出する居眠り状態検出装置におい
   て、 顔に対する縦方向に配列された画素列に沿って画素の濃
   度を検出し、 前記画素列における濃度の局所的な高まりごとに１個づ
   つの画素を定めて抽出点とし、 隣接する縦方向に配列された画素列の横方向に近接した
   抽出点を連続して顔に対して横方向に延びる曲線群を抽
   出することにより、眼の位置を検出する眼の位置検出手
   段と、 眼を含む所定領域内で縦方向の画素列に沿って画素の濃
   度を検出し、前記画素列における濃度が、位置について
   変化する際の、変曲点ごとに１個ずつの画素を定めて抽
   出点とし、各列ごとの抽出点前後の、位置についての濃
   度変化が最大値及び最小値となる画素の濃度値に基づ
   き、二値化閾値を設定する二値化閾値設定手段と、 前記二値化閾値により眼を含む所定領域内を二値化する
   二値化手段と、 該二値化手段において二値化処理された眼を含む所定領
   域内でラベリング処理を行い、眼のラベルデータを選択
   するラベルデータ選択手段と、 前記眼のラベルデータにおいて縦方向への特定画素値の
   最大連続数を眼の開度値として検出する眼の開度検出手
   段と、 前記眼の開度値より眼の開閉状態を判定し、その開閉状
   態の変化から覚醒度を判定する覚醒度判定手段と、 からなることを特徴とする居眠り状態検出装置。