JPH1040361A - 居眠り状態検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 個人差による顔の位置が違っても居眠り状態
を安定して検出する。 【解決手段】 ＴＶカメラで撮影された顔の入力画像に
ついて、顔の縦方向の画素列の濃度の局所的な高まりご
とに画素を定めて第１の抽出点（Ａ１、Ａ２、Ａ３、Ａ
４）とし、隣接する画素列の第１の抽出点をつなげて顔
の横方向に伸びる曲線群を抽出する。この曲線群のなか
から顔における眼と眉など他の部分との一般的な位置関
係の特徴を利用して、眼を表わす曲線（Ａ２）を識別し
て眼の位置を検出する。次いで眼の位置を含む所定領域
を設定し、その中で第１の抽出点と同様に第２の抽出点
を抽出するとともに、その前後（上下）に濃度の局所的
な高まりの境界点を示す第３の抽出点を抽出して、この
第３の抽出点のデータを基に眼の開度を検出しその開閉
状態の変化から覚醒度を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の画像データを
演算処理して、車両の運転者、船舶の操船者、プラント
等のオペレータ等の居眠り状態を検出する居眠り状態検
出装置に関する。

【０００２】

【従来の技術】従来の画像処理による居眠り状態検出装
置としては、例えば、特開平６−１７９２１号公報に記
載されたようなものがある。これは、図２４の（ａ）に
示すように、被撮影者の顔画面右上部に矩形の局所領域
Ａを設定し、該局所領域Ａの平均濃度情報に基づいて設
定した二値化しきい値により濃淡画像データの二値化処
理を行い、得られた二値化画像において濃度投影、ラベ
リング処理等を行うことで眼の位置を検出して、開閉眼
の状態変化から居眠り状態を検出するようにしている。
これにより、光環境の変化があっても安定した状態で居
眠り状態の検出を行なおうとするものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の居眠り状態検出装置にあっては、局所領域Ａが画面
右上部に固定されているため、体格の違い等により図２
４の（ｂ）に示すように顔の位置が局所領域Ａからずれ
ている場合には、適切な二値化しきい値が設定できず、
眼の位置検出と開閉眼検出が困難になるという問題があ
った。 とくに車両では、光環境の変化がとくに激し
く、また不特定多数の人が運転するので個人差において
も顔位置の変化の幅が大きい。

【０００４】そこで本発明は、上記居眠り状態検出装置
をさらに改良し、光環境の変化に対応できるとともに、
個人差による顔の位置の違いにも対応して、居眠り状態
の検出を常に安定して行うことができる居眠り状態検出
装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】このため、本発明は、図
１に示すように、顔の画像データを処理して居眠り状態
を検出する居眠り状態検出装置において、顔画像を入力
する画像入力手段１と、顔の縦方向の画素列に沿って画
素の濃度を検出する濃度検出手段２と、上記画素列に沿
う走査における濃度の局所的な高まり毎に１個ずつの画
素を定めて第１の抽出点を抽出する第１のポイント抽出
手段３と、隣接する画素列の画素列方向に近接した前記
第１の抽出点を連結して顔の横方向に伸びる曲線群を抽
出する曲線群の抽出手段４と、この曲線群から眼の曲線
を特定して眼の位置を検出する眼の位置検出手段５と、
眼を含む所定領域内で縦方向の画素列に沿って濃度の局
所的な高まりごとに１個ずつの画素を定めて第２の抽出
点を抽出するとともに、該第２の抽出点を含む濃度の局
所的な高まりの境界点を示す第３の抽出点を抽出する第
２のポイント抽出手段６と、隣接する画素列の画素列方
向に近接した第２の抽出点の有無により顔の横方向への
連続性を判定する連続性判定手段７と、連続した第３の
抽出点のデータを基に眼の開度を検出する眼の開度検出
手段８と、眼の開度に基づき眼の開閉状態の変化から覚
醒度を判定する覚醒度判定手段９とを有するものとし
た。

【０００６】上記濃度検出手段１は、画素列において１
つの画素を含んで連続した複数の画素の濃度値を平均化
して当該１つの画素の濃度値とするのが好ましい。ま
た、第１のポイント抽出手段３あるいは第２のポイント
抽出手段６においては、それぞれ画素列上の濃度の片方
向のピークの前後の微分値が所定値を越える画素を特定
して第１の抽出点あるいは第２の抽出点とすることがで
きる。そして、曲線群の抽出手段４は、第１の抽出点の
連続した個数が所定値を越えるグループのみを選択する
のが好ましい。

【０００７】第２のポイント抽出手段６はまた、第２の
抽出点の前後の最大微分値を第３の抽出点とするのが好
ましい。また、眼の開度検出手段８は、第３の抽出点間
の間隔の最大間隔を眼の開度値とすることができる。

【０００８】さらに、第２のポイント抽出手段６におい
て縦方向の画素列に沿って２つの第２の抽出点が検出さ
れ、前記連続性判定手段７において当該２つの第２の抽
出点が連続条件を満たすとき、前記眼の開度検出手段８
は、上記走査方向に基づく所定の検出順序の第２の抽出
点データに基づいて眼の開度値を検出することができ
る。この場合、眼の開度検出手段８は、眼の開度値の所
定値以上の変化が所定時間以上ない場合には、検出順序
を入れ換えて第２の抽出点データの検出対象を切り換え
るようにすることができる。

【０００９】

【作用】まず、画像入力手段１で入力された顔画像につ
いて、濃度検出手段２により縦方向の画素列に沿って画
素の濃度が検出される。そして第１のポイント抽出手段
３が濃度の局所的な高まりとなる第１の抽出点を抽出す
る。曲線群の抽出手段４がこれを隣接する画素列間で近
接したものをつなげ、顔の横方向に伸びる曲線群を抽出
する。個々の曲線は、画像の明るい部分を横方向に横断
する暗い部分を代表しており、眼、眉、口などを表わ
す。眼の位置検出手段５は、たとえば眼は顔の両側にあ
り、眼と眉とは上下に近い位置にあるという特徴を利用
して、上記の曲線群から眼を表わす曲線を識別して眼の
位置を検出する。

【００１０】次いで、第２のポイント抽出手段６におい
て、眼の位置を含む所定領域を設定し、そのなかで第１
の抽出点と同様に第２の抽出点を抽出するとともに、そ
の前後に濃度の局所的な高まりの境界点を示す第３の抽
出点を抽出する。第３の抽出点が隣接する画素列間で近
接して顔の横方向へ連続することをを連続性判定手段７
で確認したあと、この第３の抽出点のデータを基に開度
検出手段８が眼の開度を検出する。そして、覚醒度判定
手段９において、眼の開度に基づいて眼の開閉状態の変
化から覚醒度を判定する。顔の横方向に伸びる曲線群を
抽出したうえ、顔における眼と眉など他の部分との一般
的な位置関係の特徴を利用して、眼を表わす曲線を識別
して眼の位置を検出するので、被撮影者の体格や姿勢の
違いなどがあっても容易確実に眼の位置を検出すること
ができる。

【００１１】画素列における画素の濃度検出に当たっ
て、１つの画素を含んで連続した複数の画素の濃度値を
平均化すれば、画像データ撮影時の濃度値の変化の小さ
いバラツキをなくして濃度値の大局的な変化を捉えるこ
とができる。また、画素列上の濃度の片方向のピークの
前後の微分値が所定値を越える画素を選択することによ
り容易に第１の抽出点や第２の抽出点を抽出することが
できる。これらは眼、眉、口など暗い部分のほぼ中心位
置に対応する。

【００１２】さらに、曲線群の抽出手段４で第１の抽出
点の連続した個数が所定値を越えるグループのみを選択
するものとすれば、ほくろや鼻の孔などが抽出されるこ
とが回避され、次段の眼の位置検出手段５における処理
対象が絞られ、検出が容易となる。また第３の抽出点と
して第２の抽出点の前後の最大微分値の点を求めること
により、顔面のしわや凹凸等の抽出されることが回避さ
れる。

【００１３】さらに、第２のポイント抽出手段６におい
て２つの第２の抽出点の検出を許容し、走査方向に基づ
く所定の検出順序の第２の抽出点データを選択して眼の
開度値を検出することにより、所定領域を大きくするこ
とができ、眼の位置追跡が容易となる。そして、眼の開
度値の所定値以上の変化が所定時間以上ない場合に第２
の抽出点データの検出対象を切り換えるようにすること
により、上記選択した第２の抽出点が誤っていても正し
いデータに切り換えられる。

【００１４】

【発明の実施の形態】つぎに、本発明を自動車の運転者
の居眠り状態警報に適用した実施例について図面を参照
して説明する。図２は、実施例の構成を示す図である。
自動車のインストルメントパネルに、運転者の顔部分を
正面から撮影するＴＶカメラ２１が設置されている。Ｔ
Ｖカメラ２１で撮影された入力画像は、横（Ｘ）方向５
１２画素、縦（Ｙ）方向４８０画素で構成されており、
Ａ／Ｄ変換器２２で画素毎のアナログ電圧を２５６段階
のデジタル値に変換されて、画像メモリ２３に格納され
る。

【００１５】画像メモリ２３には、画像データ演算回路
２４が接続されている。画像データ演算回路２４は、画
像メモリ２３に格納された入力画像データに基づいて顔
の縦方向の画素列の濃度を検出し、画素列における濃度
の高まりとその変化状態により後述する第１の抽出点を
抽出する。そして、隣接する画素列の画素列方向に近接
した第１の抽出点をつなげて顔の横方向への曲線群を抽
出する。

【００１６】画像データ演算回路２４には、眼の位置検
出回路２５が接続され、続いて開閉眼検出回路２６が接
続されている。眼の位置検出回路２５は、曲線群から眼
の選択を行うことで眼の位置を検出する。開閉眼検出回
路２６は、位置検出された眼を含む所定領域内で縦方向
への濃度の高まりとその変化状態から、後述する第２、
第３の抽出点を抽出し、顔の横方向への第２の抽出点の
連続性を判定して、連続データの第３の抽出点を基に眼
の開度値を検出する。

【００１７】開閉眼検出回路２６には覚醒度判定回路２
７が接続され、覚醒度判定回路２７は開閉眼検出回路２
６より送出される開閉眼の検出結果から覚醒度を判定す
る。この覚醒度判定回路２７には警報装置２８が接続さ
れ、覚醒度が低下した居眠り状態の判定信号を受けて警
報を発生する。

【００１８】次に、上記構成における制御動作の流れを
図３のフローチャートにより説明する。ステップ３１で
は、ＴＶカメラ２１によって運転者の顔部分が撮影され
る。ステップ３２では、Ａ／Ｄ変換器２２によって画素
の濃度がデジタル値に変換された上で、画像メモリ２３
に１フレームの画像に対応する画像データが格納され
る。

【００１９】ステップ３３では、画像データ演算回路２
４において、眼の存在領域が設定されているかどうかを
チェックし、設定されていればステップ３６へ進み、設
定されていなければステップ３４へ進む。ここで、眼の
存在領域とは、後に図１９により説明するが、眼を含む
所定領域１００を示し、眼の開度検出の処理を行う領域
である。また、この眼を含む所定領域１００は、眼の追
跡領域としても用いられる。ステップ３４では、眼の位
置検出回路２５で、眼の位置検出を行う。眼の位置検出
の詳細について、図４のフローチャート及び図５〜図１
０の説明図により後述する。

【００２０】ステップ３５では、眼を含む所定領域１０
０の横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を定
め、眼の存在領域（眼を含む所定領域）１００の設定を
行いステップ３６に進む。ステップ３６では、開閉眼検
出回路２６において、眼の開度検出を行う。眼の開度検
出の詳細については、図１１のフローチャート及び図１
２〜図１８により後述する。

【００２１】ステップ３７では、ステップ３６で検出さ
れた眼の開度値より眼が正しく追跡されているか否かを
チェックし、正しく追跡されていればステップ３８へ進
み、正しく追跡されていないと判断されたときはステッ
プ３１１へ進む。ステップ３８では、眼の開度値により
開眼状態か閉眼状態かの判定を行う。続いてステップ３
９では、眼の追跡、つまり眼の存在領域の変更を行う。
眼の追跡の詳細については図１９により後述する。

【００２２】ステップ３１０では、覚醒度の判定を覚醒
度判定回路２７により行い、覚醒状態であればステップ
３１に戻り、次のフレームの処理に移る。覚醒状態でな
ければ、ステップ３１２に進み、運転者を覚醒させるた
め警報装置２８を動作させて居眠り警報を発生させ、そ
の後ステップ３１に戻る。ステップ３１１では、眼の開
度値と眼の存在領域をクリアして、ステップ３１に戻
り、次のフレームの処理に移る。なお、上記のうちステ
ップ３１〜３２が発明における画像入力手段を構成し、
またステップ３８〜３１０が覚醒度判定手段を構成して
いる。

【００２３】図４は、ステップ３４における眼の位置検
出の処理動作の詳細を示す。ここでは、図５に示すよう
にＹ軸方向に４８０画素のライン（画素列）上のデータ
に対して、それぞれの画素列の濃度値を演算処理して第
１の抽出点となる画素（Ｙ座標）を特定する。すなわ
ち、画素列上の濃度値の大きな変化を求め、その局所的
なピークを第１の抽出点とする。このような第１の抽出
点抽出の処理を行い、１ライン終了すると、一つ隣のラ
インの処理に移行する。そこでまず、ステップ４１で
は、所定方向（Ｙ軸方向）の全ラインについて第１の抽
出点の抽出が終了したかどうかをチェックする。

【００２４】ステップ４１で全ラインの第１の抽出点抽
出が終了していないと判断されたときには、ステップ４
２に進む。ステップ４２では、所定方向の１ラインにお
いて濃度値の相加平均演算を行い、画素列上の濃度値の
変化曲線から高い周波数を除去した相加平均濃度値を求
める。この処理は、画像データ撮影時の濃度値の変化の
小さいバラツキをなくして濃度値の大局的な変化を捉え
ることを目的としている。例えば、図５に示す画素列Ｘ
ａからは図６の（ａ）に示すような相加平均濃度値が算
出され、画素列Ｘｂからは図７の（ａ）に示すような相
加平均濃度値が算出される。

【００２５】ステップ４３では、ステップ４２で算出し
た所定方向の１ライン相加平均濃度値を微分する。図６
の（ａ）に示す相加平均濃度値からは同図の（ｂ）に示
す微分値が得られ、図７の（ａ）に示す相加平均濃度値
からは同図の（ｂ）に示す微分値が得られる。つぎのス
テップ４４では、ステップ４３の演算結果である図６の
（ｂ）および図７の（ｂ）の微分値により、図６の
（ａ）および図７の（ａ）における相加平均濃度が下向
きに凸となる暗さのピークに対応するポイント（Ｙ座標
値）の抽出を行う。微分値が負から正に反転するＹ座標
値は、暗さのピークに対応しており、眼、眉、口等をそ
れぞれ代表する１個ずつのＹ座標値となる。

【００２６】図６の（ａ）に示す相加平均濃度値は、同
図の（ｂ）に示す微分値となり、微分値が負から正に反
転するポイントｐ１、ｐ２、ｐ３、ｐ４、ｐ５が抽出さ
れる。次に、上記それぞれのポイントに達するまでの微
分値のピーク値ｑ１、ｑ２、ｑ３、ｑ４、ｑ５が所定値
以下であるか否か、すなわち、図６の（ｂ）のハッチン
グ部分に入るか否かを判定し、所定値以下の濃度値の変
化を持つポイントｐ１、ｐ２、ｐ５、を対象としてＹ座
標値Ａ１、Ａ２、Ａ３を抽出して、これらを第１の抽出
点とする。微分値が負から正に反転するポイントの手前
の微分値のピークを判別することにより、濃度の変化の
小さい顔面のしわや凹凸が抽出されることを回避してい
る。

【００２７】図７の（ａ）に示す相加平均濃度値では、
同図の（ｂ）に示す微分値が負から正に反転するポイン
トｐ１、ｐ２、ｐ３が抽出されるが、いずれのポイント
も手前の微分値のピークｑ１、ｑ２、ｑ３が所定値以下
であるハッチング部分に入っていないので、第１の抽出
点がない。ステップ４５では、第１の抽出点を抽出する
ポイント抽出の処理が１ライン終了すると、次のライン
の処理に切り換え、ステップ４１へ戻り、処理を繰り返
す。

【００２８】ステップ４１で全ラインのポイント抽出が
終了したと判断されたときには、図８に示すような第１
の抽出点が抽出されていることになる。つまり、図８の
ラインＸｃ上では、Ａ１、Ａ２の２つの第１抽出点が抽
出されており、ラインＸｄ上では、Ａ１、Ａ２、Ａ３、
Ａ４の４つの第１抽出点が抽出されている。ステップ４
２が発明の濃度検出手段を構成するとともに、このステ
ップ４２およびステップ４３、４４が第１のポイント抽
出手段を構成している。

【００２９】ステップ４１で全ラインに関して第１の抽
出点の抽出が終了したと判断されると、ステップ４６に
おいて、隣り合う各ラインの第１の抽出点（抽出ポイン
ト）のＹ座標値Ａ１、Ａ２、Ａ３、・・・・を比較する。そ
して、Ｙ座標値の差が所定値（例えば１０画素）以内の
場合には、Ｘ軸方向につなげてグループ化し、連続デ
ータのグループ番号、連続開始ライン番号、連続デ
ータ数を記憶する。

【００３０】ステップ４６の具体的な処理内容を図９を
用いて説明する。ここでは、簡単のためライン（画素
列）を１１本として説明する。ライン１〜１１でそれぞ
れ特定された第１の抽出点は、抽出点ごとに、グルー
プ番号（Ｇ）、Ｙ座標値（Ｙ値）、連続個数（Ｎ）を
付与されて連結データを形成している。図９に示される
３４個の抽出点は、１０個のグループにまとめられてい
る。ライン１には、Ｙ座標値１９２と２２９の２つの第
１の抽出点である抽出ポイントがある。第１のＹ座標値
が１９２のポイントの左隣にはラインが存在しないの
で、この段階では、他の連続データはないので、連続デ
ータのグループ番号は１となる。また、Ｙ座標値２２
９のポイントも同様の理由でこの段階での連続データは
上記１以外には存在しないので、連続データのグループ
番号は、次の２とする。

【００３１】次に、右隣のライン２には、Ｙ座標値が１
９１と２２４の２つの抽出ポイントがある。ライン２の
Ｙ座標値１９１のポイントは、左隣のライン１のＹ座標
値１９２と１０画素以内のポイントであるため、抽出ポ
イント１９２とつなげる抽出ポイントとして、連続デー
タのグループ番号を１とする。このとき、連続データ
数は２となる。ライン２のＹ座標値２２４のポイント
についても、同様に判定を行い、連続データのグループ
番号は２、連続データ数は２とする。

【００３２】次のライン３のＹ座標値３６０のポイント
では、左隣のライン２に３６０とＹ軸方向の画素数１０
以内になるポイントが存在しないので、の連続データ
のグループ番号は３となり、の連続データ数は１とな
る。なお、ステップ４６における、連続開始ライン番
号は、の連続データ数が１と判断されるポイントを有
するライン番号のことをいう。従って、例えば、Ｙ座標
値３６０のポイントでは３となる。ステップ４６では、
このようにして各ラインのポイントの連続性の判断を全
ラインについて終了するまで行い、曲線群を得る。終了
するとステップ４７へ移行する。

【００３３】ステップ４７では、先ず、連続データグル
ープの連続データ数を評価する。本実施例では、連続デ
ータ数が５個以上あるときに、有効な連続データグルー
プを形成しているとする。次いで、有効連続データグル
ープについて、眼の位置の候補点データを形成する。同
じ連続データグループ番号を持つポイントのＹ座標値の
平均を算出して連続ポイントの平均値として記憶す
る。この値は、そのグループの代表Ｙ座標値として用い
られる。また、連続開始ラインとその連続データ数から
連続終了ラインを求め、連続開始ラインと連続終了ラ
インのＸ座標値の平均値を算出して記憶する。この値
は、そのグループの代表Ｘ座標値となる。

【００３４】ステップ４８では、ステップ４７で得られ
た各連続グループデータを基に、各連続グループの長
さ、および（Ｘ、Ｙ）座標の位置関係から眼の位置を検
出する。すなわち、眼の特徴量を考えると、横に長く、
上に凸型の弓形形状であると定義づけることができる。
この定義づけに基づいて連結データの絞り込みを行う
と、眼は横に長いという条件から、ポイント連続数が５
ポイント以上続き、また、弓形形状であるという条件か
ら、連続開始ポイントと連続終了ポイントのＹ座標値の
差の小さい連続データを眼の候補として絞り込むことが
できる。これに基づき連続データの絞り込みを行うと、
図１０の（ａ）に示すようなグループＧ１〜Ｇ６が有効
データグループとして抽出される。

【００３５】次に、前述のステップ４７で算出した各グ
ループのＸ、Ｙ代表座標値の位置を考えると、図１０の
（ｂ）に示すように、Ｘ座標方向での接近度合いによ
り、ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒに分類
できる。これは、左眼と右眼とはＸ座標方向に大きく離
れ、すなわち、顔の左右ほぼ対称に分かれ、左眼と左眉
とはＸ座標方向に大きく離れることはなく、右眼と右眉
も互いにＸ座標方向に大きく離れることはない。また、
鼻下の影により連結データとなったものや、口の連結デ
ータは中央部付近に位置する。

【００３６】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んでいくことで眼の
位置を容易に検出することができる。ＺＯＮＥ：Ｌに含
まれる連結データは、左眼と左眉であり、ＺＯＮＥ：Ｒ
に含まれる連結データは右眼と右眉であると判定する
と、図１０の（ａ）では、眼の位置はＧ３とＧ４であ
り、その座標値も特定できる。ステップ４６が発明の曲
線群の抽出手段を構成し、ステップ４７、４８が眼の位
置検出手段を構成している。

【００３７】次に図１１は、図３に示したステップ３６
における眼の開度検出の処理動作の詳細を示す。ここで
は、図１２（ａ）に示すようにＹ軸方向にライン（画素
列）上のデータに対して第２、第３抽出点抽出の処理を
行い１ライン終了後に、一つ隣のラインの処理に移行す
る。そこでまず、ステップ５１では、眼を含む所定領域
１００内で、Ｙ軸方向にライン上のデータに対して第
２、第３抽出点の抽出処理が終了したかどうかをチェッ
クする。

【００３８】ステップ５１のチェックで、全ラインにつ
いての第２、第３抽出点の抽出が終了していないと判断
されたときは、ステップ５２へ進む。ステップ５２で
は、縦方向の１ラインの濃度値の相加平均演算を行う。
この処理は、画像データ撮影時の濃度値の変化の小さな
ばらつきをなくすことを目的としており、濃度値の大局
的な変化を捉えるために行う。図１２の（ｂ）は、図１
２の（ａ）の画素列Ｘａのラインデータの相加平均演算
の処理結果を示す。続いてステップ５３では、ステップ
５２で算出した相加平均値について微分演算を行う。処
理結果を図１２の（ｃ）に示す。

【００３９】つぎのステップ５４では、先ず、ステップ
５２で算出した相加平均濃度値と、ステップ５３で算出
した微分値により第２の抽出点Ｐの抽出を行う。この第
２の抽出点の抽出方法は、前述した第１の抽出点の抽出
方法と同様である。図１２の（ｃ）の微分値が負から正
に変化するポイントＰは、図１２の（ｂ）においてグラ
フが左向きに凸になるポイントとなり、濃度のピークポ
イントとなる。この濃度のピークポイントを第２の抽出
点として抽出し、そのポイントの前後の濃度値の変化
（微分値）が所定値以下あるいは以上であるか否か、す
なわち、図１２の（ｃ）のハッチング部分に入っている
か否かを判定する。

【００４０】そして、この条件を満足する濃度値の変化
をもつポイントを第３の抽出点Ｑ、Ｒとして抽出する。
すなわち、Ｒ点は微分値の正の最大値、Ｑ点は負の最大
値の点となる。この第３の抽出点Ｒ、Ｑは、第２の抽出
点を含む縦方向の画素列に沿う暗部の、図１２の（ａ）
の画面上の明るい部分との境界点を表している。ステッ
プ５２〜５４が発明の第２のポイント抽出手段を構成し
ている。

【００４１】ステップ５５では、第２の抽出点が存在す
るか否かをチェックし、存在すればステップ５６へ移行
し、存在しなければステップ５１１へ進む。ステップ５
６では、先ず第２の抽出点Ｐの前後の微分値の正負の最
大値である第３の抽出点ＱとＲとのＹ座標方向の間隔Ｈ
ａを求める。すなわち、第２の抽出点を含む画素列に沿
う暗部の長さを求める。次いで、縦方向の画素ラインに
おいて第３の抽出点が図１２、図１３に示すように連続
して存在する場合には、各ラインについて第３の抽出点
Ｑ、Ｒの間隔を比較し、最大値Ｈｂを更新する。

【００４２】ステップ５７では、図１２の（ａ）のＸａ
から図１３の（ａ）のＸｂに示すように、第２の抽出点
が連続して存在しているときに、第２の抽出点のＸ軸方
向への連続数のカウントアップを行う。ステップ５８で
は、第２の抽出点の連続数が所定値を越えたか否かを判
定し、越えていればステップ５９へ進み、越えていなけ
ればステップ５１０へ進む。ステップ５１０では、処理
を次のラインへ切り換えてステップ５１へ戻り、切り換
えたラインについて上記の処理を繰り返す。こうして第
２の抽出点の連続数が所定値になるまで同じ処理を続け
る。

【００４３】この処理中に、抽出ポイントの連続性が途
切れて、ステップ５５のチェックで第２の抽出点が存在
しないと判定されたときは、ステップ５１１へ移行す
る。ステップ５１１では、ステップ５６で更新した第３
の抽出点Ｑ、Ｒの間隔の最大値とカウンターをクリアし
てステップ５１０へ進み、ステップ５１０では次のライ
ンへの切り換えを行いステップ５１へ戻る。この抽出ポ
イントの連続性が途切れたときの処理は、図１５に示す
ように、眼鏡を掛けている場合の眼鏡のフレームが図１
６の（ａ）に示すように、眼を含む領域１００内に入っ
て連結データになったときに、フレームの第３の抽出点
Ｑ、Ｒの間隔の最大値Ｈ１ｍａｘを眼の開度としないよ
うにするもので、ステップ５８の処理は、図１６におけ
るＬ１の長さを判定していることとなる。

【００４４】ステップ５８で第２の抽出点の連続性が所
定値を超えたときは、ステップ５９へ移行する。ステッ
プ５９では、第３の抽出点Ｑ、Ｒの間隔の最大値を更新
して記憶する。ステップ５９ではまた、連続データ内で
の最大値のメモリの更新と、所定値を越える他の連続デ
ータ間での更新も行う。

【００４５】すなわち、眼の中心に輝点が入ったときに
は、図１４の（ｃ）に示すように濃度のピーク点がＰ
１、Ｐ２の２つとなり、濃度変化の度合いが小さくなる
ので、ピーク点Ｐ１、Ｐ２各々の片側の微分値のピー
ク、即ちピークＰ１ではＲ１、ピークＰ２ではＱ２が同
図のハッチング部分に入らないことがある。このよう
に、第２の抽出点成立の条件を満足しないため、第２の
抽出点の連続性が途切れることがあり、眼のデータが図
１６の（ａ）に例示するようにＬ２とＬ３に分割される
ことがある。そこで、このときには、ステップ５８の連
続数の所定数を眼の半分弱の長さに設定することによ
り、Ｌ２、Ｌ３の両者が所定値を越える連続データとし
て抽出され、ステップ５９の第３の抽出点Ｑ、Ｒの間隔
の最大値の更新がＨ２ｍａｘとＨ３ｍａｘにより行われ
る。

【００４６】なお、図１６において、Ｄ区間はステップ
５４での第２、第３の抽出点の抽出条件を満たす抽出点
のない箇所を、Ｌ区間は抽出点が存在する箇所を示して
いる。一方、ステップ５１において上述した処理が終了
したと判定されると、ステップ５１２へ移行し、開眼時
には図１６の（ａ）のＨ３ｍａｘ、閉眼時には同図
（ｂ）のＨ２ｍａｘで示される第３の抽出点Ｑ、Ｒの間
隔の最大値を眼の開度値として出力する。

【００４７】次に図１７に示すように、眼に髪の毛が掛
かっている場合について説明する。この場合において
も、開眼時を示す図１８の（ａ）において髪の毛の掛か
っている部分Ｄ５、閉眼時を示す同図の（ｂ）において
髪の毛の掛かっている部分Ｄ６は、いずれもステップ５
４での第２の抽出点の抽出条件を満足せず第２の抽出点
の存在しない区間となるため、髪の毛の掛かっていない
場合と同様にして眼の開度検出を行うことができる。こ
こでは、ステップ５７、５８が発明の連続性判定手段を
構成し、ステップ５６、５９、５１１、５１２が眼の開
度検出手段を構成している。

【００４８】次に図３のフローチャートのステップ３
７、３９、３１１における眼の追跡および追跡ミスした
ときの復帰方法を図１９〜図２０により説明する。図３
のフローチャートに基づいて、システムをスタートさせ
た直後には、第１フレームでは、当然眼の存在領域（眼
を含む所定領域）は設定されていない。したがって、ス
テップ３３のチェックで眼の存在領域はないと判断さ
れ、ステップ３４の眼の位置検出を経て、ステップ３５
で眼の存在領域１００が設定される。このとき、眼の中
心座標と眼の存在領域１００の中心座標は図１９の
（ａ）に示すように一致している。

【００４９】第１フレームについて一連の処理が終了し
て第２フレームの処理に移り、処理が再びステップ３３
へ進むと、今度はすでに眼の存在領域１００が設定され
ているため、眼の存在領域有りと判定される。これによ
り次はステップ３６へ進んで眼の開度検出を行ったあ
と、ステップ３７へ進む。このとき、眼が正しく捉えら
れている場合には、例えば図１９の（ｂ）に示すように
なる。ここでは、眼の存在領域１００は第１フレームで
設定された位置にあるのに対し、眼の位置は２フレーム
目に取り込まれた第２フレームの画像データにおける目
の位置であるため、顔の動きなどにより、目の中心点は
眼の存在領域１００の中心に対してずれた位置にある。
しかし、眼の存在領域１００の境界に眼が接しないかぎ
り、これまで説明してきた眼の開度検出を行うことがで
きる。

【００５０】つぎにステップ３９では、このようにして
捉えられた図１９の（ｂ）の眼の中心座標に眼の存在領
域１００の基準点を変更する。すなわち、ステップ３６
の眼の開度検出で、図１６の（ａ）に示すように、眼の
開度が第３の抽出点Ｑ、Ｒ間の間隔Ｈｍａｘが開眼と判
断される大きな値のＨ３ｍａｘの場合は、そのＨ３ｍａ
ｘとなった画素列の位置するポイントのＸ座標と、Ｈ３
ｍａｘの中央値のＹ座標を眼の存在領域１００の新たな
基準点とする。また、図１６の（ｂ）に示すように、Ｈ
ｍａｘが閉眼と判断される小さな値Ｈ２ｍａｘの場合
は、データ連続数の中央値のＸ座標と、Ｈ２ｍａｘの中
央値のＹ座標を基準点として、眼の存在領域１００を設
定する。これにより、運転者の顔の動きに対応させるこ
とができる。

【００５１】図１９の（ｃ）、（ｄ）はそれぞれ第３フ
レーム、第４フレームで取り込まれた顔の画像データに
おける眼の位置と眼の存在領域１００との位置関係を示
したものである。前フレームの処理において眼の存在領
域１００の変更が行われているので、眼の中心座標と眼
の存在領域１００の中心座標とのずれは小さくなってい
る。

【００５２】ステップ３７での眼の追跡が正しくなされ
ているか否かの確認は、眼の開度値を用いて行なわれ
る。すなわち、被撮影者である運転者が特定されてしま
えば、眼の開度値は開眼時〜閉眼時の範囲で変化するだ
けであることから、この範囲外の値が出力されたとき
は、眼の追跡ミスがあったと判定する。この場合は、ス
テップ３１１へ移行して、眼の開度の出力値と眼の存在
領域をクリアし、次のフレーム処理に移行する。そして
ステップ３３で、再び顔全体からの処理に入る。

【００５３】つぎに、ステップ３８における開閉眼の判
定の基準値について説明する。前述のように、運転者が
特定された場合、眼の開度の出力値は開眼状態から閉眼
状態の間で変化するから、開・閉眼の判定を行う基準値
つまり開閉眼を判定するスレッシュホールドは、その範
囲内にあることになる。ここでは、居眠り状態の人は熟
睡状態ではないため、完全に眼の閉じない場合もあるこ
とから、開眼・閉眼の中央値をスレッシュホールドとし
ている。

【００５４】つぎに、図３のフローチャートのステップ
３１０における覚醒度の判定について説明する。図２０
は、ステップ３８で出力される判定結果を示す開閉眼パ
ターンである。この開閉眼パターン上で覚醒度判定区間
（例えば１分程度）に出力される閉眼積算値が所定値
（例えば５）以上であるかどうかをチェックすることに
より、覚醒度を判定する。図２０の例においては閉眼
（ｃｌｏｓｅ）の積算値が７となっているので居眠りと
判定する。このようにして得られた覚醒度により居眠り
状態を検出することが可能となり、的確に警報装置を作
動させ、居眠り状態を解消させ、未然に居眠り事故等を
防ぐことができる。

【００５５】本実施例は以上のように構成されているの
で、個人差による顔の位置の違いにも対応して、居眠り
状態の検出を常に安定して行うことができるまたこの
際、ステップ３７、３９、３１１による眼の追跡ロジッ
クを有しているので、新しい画像フレームの処理におい
てステップ３４、３５による顔全体からの眼の位置検出
を省略でき、眼の開度検出の高速化を図ることができる
という利点を有する。

【００５６】つぎに第２の実施例について説明する。こ
の実施例は、眼の追跡性能を一層向上させたものであ
る。このため、眼を含む所定領域（眼の存在領域）を比
較的大きく設定する。第１の実施例では、眼を含む所定
領域１００の高さ（Ｙ軸方向）を小さく設定しているた
め、第２の抽出点は１つに絞られる。ところで、眼の追
跡性能を向上させるためには、眼を含む所定領域を広く
設定したほうがよい。しかし、眼を含む所定領域を大き
くすると、図２１に示すように、眼と眉の両方が当該所
定領域２００に入ってしまい、１つのライン（画素列）
について検出される第２の抽出点が２つになる場合があ
る。本実施例ではこれに対処して、図２２、図２３に示
すフローチャートにしたがって処理が行なわれる。

【００５７】ステップ６１〜６４の処理によりライン
（画素列）に沿う暗部の最も暗い位置である第２の抽出
点Ｐと、暗い部分と明るい部分との境界点である第３の
抽出点Ｑ、Ｒの抽出を行う。ステップ６１〜６４の処理
は、図１１のフローチャートのステップ５１〜５４と同
じであるので詳しい説明を省略する。ステップ６５で
は、ライン上の第２の抽出点が１つであるかどうかをチ
ェックし、そのラインに第２の抽出点が１つでない場合
には、ステップ６１２へ移行する。１つである場合には
ステップ６６からステップ６７、６８へと進み、第２の
抽出点の連続数が所定値を超えるまで同様の処理を繰り
返す。ステップ６６〜６８の処理は、図１１のフローチ
ャートのステップ５６〜５８と同じである。

【００５８】ステップ６８で連続数が所定値を超えたと
判定されると、ステップ６９へ進む。ステップ６９で
は、第２の抽出点が２つ存在する、すなわち検出対象が
２つ存在することを示す２ポイント抽出フラグが立って
いるか否かをチェックし、立っていないときにはステッ
プ６１０に進み、立っているときにはステップ６１１へ
進む。ステップ６１０では、１ポイントの、すなわち検
出対象が１つの場合の第３の抽出点Ｑ、Ｒの間隔の最大
値を更新してメモリし、ステップ６１１へ移行する。ス
テップ６１１では、処理を次のラインへ切り換えてステ
ップ６１に戻り、最初からの処理を繰り返す。

【００５９】ステップ６１２では、第２の抽出点が２つ
であるか否かをチェックし、２つであればステップ６１
３へ進み、３以上であればステップ６１９へ進む。すな
わち、図２１に示すように、１ポイントの１つの検出対
象Ｂについて第２の抽出点の抽出を行っている途中に検
出対象Ａが現れ、２ポイントすなわち検出される第２の
抽出点が２つになった場合は、ステップ６１３へ進む。
ステップ６１３では、これまで更新を続けてきた１ポイ
ント（検出対象Ｂ）についての第３の抽出点Ｑ、Ｒの間
隔の最大値とその連続数のカウンターをクリアする。そ
してステップ６１４で、かわりに２つの検出対象の第３
の抽出点Ｑ、Ｒの間隔の最大値の更新を行う。

【００６０】つぎのステップ６１５では、２つの第２の
抽出点のＸ軸方向への連続数をカウントし、ステップ６
１６で、２つの第２の抽出点の連続数が所定値を超えた
か否かをチェックする。連続数が所定値を越えていれば
ステップ６１７へ進んで、２ポイント抽出フラグを立て
る。なお、１ポイントのすなわち検出対象が１つであっ
たときの第３の抽出点Ｑ、Ｒの間隔の最大値がメモリさ
れている場合は、このとき同時にその値をクリアする。
この処理は、２つの抽出ポイントが検出され、それが連
続した場合は、検出対象が眼と眉である率が高いことか
ら行っている。

【００６１】そして、ステップ６１８では、２つ目の検
出対象の第３の抽出点Ｑ、Ｒの間隔の最大値の更新を行
いながらメモリを続ける。ここでは、濃度検出がＹ軸上
で上から下へ走査されているので、順序として眉から眼
の順番となり、２つ目が眼に該当することになるからで
ある。この後、処理が進み再び検出対象Ｂの第２の抽出
点が抽出され、また、その連続性が検出されても、ステ
ップ６９のチェックで２ポイントフラグが立っているた
め、ステップ６１０で１つ目（検出対象Ｂ）の第３の抽
出点Ｑ、Ｒの間隔の最大値がメモリされることはない。

【００６２】一方、ステップ６１９では、それまで更新
されてきた抽出点Ｑ、Ｒの間隔の最大値があればそれを
クリアし、カウンタもクリアしてステップ６１１へ進
む。これは、第２の抽出点が３つ以上であれば検出対象
が眼と眉でもないと判断されるからである。ステップ６
２０では、縦方向への全ラインの処理が終了したとき
に、第３の抽出点Ｑ、Ｒの間隔の最大値を眼の開度値と
して出力する。

【００６３】１つの第２の抽出点の連続性が確認された
場合は、ステップ６１０で、１ポイントの第３の抽出点
Ｑ、Ｒ間隔が更新してメモリされる。また、２つの第２
の抽出点の連続性が確認された場合は、ステップ６１８
で２つ目の第３の抽出点Ｑ、Ｒ間隔が更新してメモリさ
れる。したがって、全てのラインの処理が終了したと
き、ステップ６２０でその一方の値が眼の開度値として
出力される。

【００６４】以上のように本実施例では２つの第２の抽
出点が検出されたときその一方を選択するようにして第
３の抽出点Ｑ、Ｒ間隔を求めるものとしたので、眼を含
む所定領域を拡大することができ、眼の追跡性能が一層
向上される。

【００６５】なお、以上の説明では、眼を含む所定領域
２００の中に入る検出対象は、その確率が最も高い眼と
眉であると仮定してステップ６１８で２つ目の第３の抽
出点Ｑ、Ｒの間隔の最大値をメモリするものとしたが、
まれに眼鏡の下側のフレームと眼が入った場合は、その
位置関係が逆になる。この場合には、仮に誤った眼鏡の
フレームを検出対象として選択してしまっても、その出
力値を時系列的にモニターすると、眼と違ってその値の
変化はないので、眼ではないことの判定を行うことがで
きる。これによりステップ６１８での検出対象を１つ目
に切り換える。このような処理は、逆に誤って眉の方を
検出している場合にも適用することができる。また、上
記説明では３つ以上の第２の抽出点について連続データ
が表れる場合を選択対象から除外するようにしたが、こ
の場合においてもその検出対象が何であるか（眉、眼、
眼鏡のフレーム等）を特定できれば同様に処理を広げて
いくことができる。

【００６６】

【発明の効果】以上のとおり、本発明は、顔の画像デー
タ処理による居眠り状態検出装置において、顔の縦方向
の画素列における濃度の局所的な高まり毎に第１の抽出
点を抽出し、隣接する画素列の近接した第１の抽出点を
連続して顔の横方向に伸びる曲線群を抽出してこの曲線
群から眼の曲線を特定して、眼の位置を検出するように
し、検出した眼を含む所定領域内で縦方向の画素列に沿
って同様に第２の抽出点を抽出するとともに、該第２の
抽出点を含む濃度の局所的な高まりの境界点を示す第３
の抽出点を抽出し、横方向に連続した第３の抽出点のデ
ータを基に眼の開度を検出して、その眼の開度の状態変
化から覚醒度を判定するものとしたので、運転者の体格
や運転姿勢の違いなどがあっても容易確実に眼の位置を
検出することができる。

【００６７】なお、画素列における画素の濃度検出に当
たって、１つの画素を含んで連続した複数の画素の濃度
値を平均化して求めることにより、画像データ撮影時の
濃度値の変化の小さいバラツキをなくして濃度値の大局
的な変化を捉えることができる。また、上記第１の抽出
点や第２の抽出点は、画素列上の濃度の片方向のピーク
の前後の微分値が所定値を越える画素を選択することに
より、眼、眉、口など暗い部分のほぼ中心位置に対応さ
せて容易に抽出することができる。さらに、曲線群の抽
出にあたっては、第１の抽出点の連続した個数が所定値
を越えるグループのみを選択することにより、ほくろや
鼻の孔などが抽出されることが回避され、眼の位置の検
出が容易となる。また第３の抽出点として第２の抽出点
の前後の最大微分値の点を求めることにより、顔面のし
わや凹凸等の抽出されることが回避される。

【００６８】さらに、２つの第２の抽出点が検出される
とき、所定の検出順序にあたる一方の抽出点データを選
択して眼の開度値を検出することにより、所定領域を大
きくすることができ、眼の位置追跡が容易となる効果が
得られる。この場合、眼の開度値の所定値以上の変化が
所定時間以上ない場合には検出対象を切り換えて他方の
抽出点データを用いるようにすることにより、設定した
検出順序が誤っていても正しいデータに切り換えられ
る。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の第１の実施例の構成を示すブロック図
である。

【図３】居眠り状態検出の処理動作を示すフローチャー
トである。

【図４】眼の位置検出の処理動作を示すフローチャート
である。

【図５】眼の位置検出のための画素列を説明する図であ
る。

【図６】第１の抽出点の抽出要領を説明する図である。

【図７】第１の抽出点の存在しない例を説明する図であ
る。

【図８】曲線群の抽出を説明する図である。

【図９】第１の抽出点のグループ化処理を説明する図で
ある。

【図１０】曲線群から眼の位置を検出する要領を説明す
る図である。

【図１１】眼の開度検出の処理動作を示すフローチャー
トであある。

【図１２】第２および第３の抽出点の抽出要領を説明す
る図である。

【図１３】第３の抽出点の間隔からの開度検出を説明す
る図である。

【図１４】眼の中心に輝点があるときの開度検出を説明
する図である。

【図１５】眼鏡を掛けている場合の顔画像を示す図であ
る。

【図１６】眼鏡のフレームが抽出されたときの処理を説
明する図である。

【図１７】髪の毛が眼に掛かっている場合の顔画像を示
す図である。

【図１８】髪の毛が眼に掛かっているときの処理を説明
する図である。

【図１９】眼の追跡状態を説明する図である。

【図２０】覚醒度の判定要領を説明する図である。

【図２１】本発明の第２の実施例を説明する図である。

【図２２】居眠り状態検出の処理動作を示すフローチャ
ートである。

【図２３】居眠り状態検出の処理動作を示すフローチャ
ートである。

【図２４】従来例を示す図である。

【符号の説明】

１ 画像入力手段 ２ 濃度検出手段 ３ 第１のポイント抽出手段 ４ 曲線群の抽出手段 ５ 眼の位置検出手段 ６ 第２のポイント抽出手段 ７ 連続性判定手段 ８ 眼の開度検出手段 ９ 覚醒度判定手段 ２１ ＴＶカメラ ２２ Ａ／Ｄ変換器 ２３ 画像メモリ ２４ 画像データ演算回路 ２５ 眼の位置検出回路 ２６ 開閉眼検出回路 ２７ 覚醒度判定回路 ２８ 警報装置 Ａ１、Ａ２、Ａ３、Ａ４ 第１の抽出点 Ｐ 第２の抽出点 Ｑ、Ｒ 第３の抽出点

Claims (9)

【特許請求の範囲】
1. 【請求項１】 顔の画像データを処理して居眠り状態を
   検出する居眠り状態検出装置において、 顔画像を入力する画像入力手段と、 顔の縦方向の画素列に沿って画素の濃度を検出する濃度
   検出手段と、 前記画素列に沿う走査における濃度の局所的な高まり毎
   に１個ずつの画素を定めて第１の抽出点を抽出する第１
   のポイント抽出手段と、 隣接する画素列の画素列方向に近接した前記第１の抽出
   点を連結して顔の横方向に伸びる曲線群を抽出する曲線
   群の抽出手段と、 前記曲線群から眼の曲線を特定して眼の位置を検出する
   眼の位置検出手段と、 眼を含む所定領域内で縦方向の画素列に沿って濃度の局
   所的な高まりごとに１個ずつの画素を定めて第２の抽出
   点を抽出するとともに、該第２の抽出点を含む濃度の局
   所的な高まりの境界点を示す第３の抽出点を抽出する第
   ２のポイント抽出手段と、 隣接する画素列の画素列方向に近接した第２の抽出点の
   有無により顔の横方向への連続性を判定する連続性判定
   手段と、 連続した第３の抽出点のデータを基に眼の開度を検出す
   る眼の開度検出手段と、 前記眼の開度に基づき眼の開閉状態の変化から覚醒度を
   判定する覚醒度判定手段とを有することを特徴とする居
   眠り状態検出装置。
2. 【請求項２】 前記濃度検出手段は、画素列において１
   つの画素を含んで連続した複数の画素の濃度値を平均化
   して当該１つの画素の濃度値とすることを特徴とする請
   求項１記載の居眠り状態検出装置。
3. 【請求項３】 前記第１のポイント抽出手段は、前記画
   素列上の濃度の片方向のピークの前後の微分値が所定値
   を越える画素を特定して前記第１の抽出点とすることを
   特徴とする請求項１または２記載の居眠り状態検出装
   置。
4. 【請求項４】 前記曲線群の抽出手段は、前記第１の抽
   出点の連続した個数が所定値を越えるグループのみを選
   択することを特徴とする請求項１、２または３記載の居
   眠り状態検出装置。
5. 【請求項５】 前記第２のポイント抽出手段は、前記画
   素列上の濃度の片方向のピークの前後の微分値が所定値
   を越える画素を特定して前記第２の抽出点とすることを
   特徴とする請求項１、２、３または４記載の居眠り状態
   検出装置。
6. 【請求項６】 前記第２のポイント抽出手段は、第２の
   抽出点の前後の最大微分値を前記第３の抽出点とするこ
   とを特徴とする請求項１、２、３、４または５記載の居
   眠り状態検出装置。
7. 【請求項７】 前記眼の開度検出手段は、前記第３の抽
   出点間の間隔の最大間隔を眼の開度値とすることを特徴
   とする請求項１、２、３、４、５または６記載の居眠り
   状態検出装置。
8. 【請求項８】 前記第２のポイント抽出手段において縦
   方向の画素列に沿って２つの第２の抽出点が検出され、
   前記連続性判定手段において当該２つの第２の抽出点が
   連続条件を満たすとき、前記眼の開度検出手段は、前記
   走査方向に基づく所定の検出順序の第２の抽出点データ
   に基づいて眼の開度値を検出することを特徴とする請求
   項１記載の居眠り状態検出装置。
9. 【請求項９】 前記眼の開度検出手段は、前記眼の開度
   値の所定値以上の変化が所定時間以上ない場合に、前記
   検出順序を入れ換えて第２の抽出点データの検出対象を
   切り換えることを特徴とする請求項８記載の居眠り状態
   検出装置。