JPH09202154A

JPH09202154A - 人物状態検出装置

Info

Publication number: JPH09202154A
Application number: JP1273896A
Authority: JP
Inventors: Hiroyoshi Suzuki; 尋善鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-01-29
Filing date: 1996-01-29
Publication date: 1997-08-05

Abstract

(57)【要約】【課題】人物の顔画像を撮像し顔画像より瞬目状態を
検出して人物の状態を判定する人物状態検出装置におい
て、顔画像中よりの目の未検出、誤検出や瞬目状態の誤
検出による装置の異常動作を報知し、装置の動作状態の
誤認を防止する。【解決手段】２次元撮像手段１により人物の顔面を含
む所定領域を撮像し、このようにして得られた前記人物
の顔画像から目領域検出手段２により目領域を検出し、
瞬目状態検出手段４により目領域検出手段２の出力より
前記人物の瞬目状態を検出し、人物状態判定手段５によ
って前記人物の状態（居眠り等）を判定する。動作状態
判定手段３により目未検出頻度を演算して目未検出頻度
により人物状態検出装置の誤動作状態を判定し、誤動作
状態判定時に、少なくとも人物状態判定手段５の動作を
停止させる。動作状態判定手段３による誤動作状態判定
時に、前記人物あるいは外部装置に人物状態検出装置５
の機能停止状態を報知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は人物状態検出装置に
関し、特に撮影された人物の顔画像より瞬目状態を検出
して前記人物の状態を判定する人物状態検出装置に関す
るものである。

【０００２】

【従来の技術】従来より、運転者の顔を車両室内に設け
られたカメラで撮影し、得られた顔画像を処理して顔の
特徴点である目を抽出し、目の方向や瞬目状態より車両
運転者の脇見、居眠り運転等の運転状態を判定する人物
状態検出装置が開示されている。

【０００３】図２７〜図３０は特開平３−２０２０４５
号公報、特開平６−３２１５４号公報等に開示された従
来の人物状態検出装置を示す図であって、図２７は従来
の人物状態検出装置のブロック構成図、図２８は従来の
人物状態検出装置のハードウエア構成図、図２９、３０
は従来装置における顔画像の撮像例である。以下、上記
各図を用いてかかる従来例について説明する。

【０００４】図２７において、従来の人物状態検出装置
は、車両の運転者等の人物の顔を撮像する２次元撮像手
段１と、２次元撮像手段１により撮像された顔画像から
目領域を検出する目領域検出手段２と、撮像された顔画
像から瞬目状態を検出する瞬目状態検出手段４と、瞬目
状態検出手段４の出力に基づいて、撮像された人物の状
態（居眠り等）を判定する人物状態判定手段５と、人物
状態判定手段５の出力に基づいて警報を発生する警報手
段６とを備える。

【０００５】図２８において、１０は２次元撮像手段１
を形成する顔画像撮像部を示している。顔画像撮像部１
０は、カメラｃと、光源駆動回路１５と、その光源駆動
回路１５により駆動される近赤外光源１６とから構成さ
れる。カメラｃは、ＣＣＤ等よりなる２次元撮像素子１
１と、その２次元撮像素子１１の出力画像を処理する映
像信号処理回路１２と、２次元撮像素子１１の前方に配
置された撮像レンズ１３と、その撮像レンズ１３の前面
光軸上に配置された可視光カットフィルタ１４とからな
る。光源駆動回路１５は映像信号処理回路１２の明暗出
力に接続され、近赤外光源１６は高輝度の近赤外ＬＥＤ
を多数個並べた光源や、ハロゲンランプやキセノンラン
プの前に可視光カットフィルタを設けた光源である。光
源駆動回路１５及び近赤外光源１６は一体的に構成さ
れ、カメラｃとは別個に配置されている。

【０００６】２０は、２次元撮像手段１の一部、目領域
検出手段２、瞬目状態検出手段４、及び人物状態判定手
段５を形成する人物状態検出部を示しており、この人物
状態検出部２０は、映像信号処理回路１２のＣＣＤ撮像
タイミング信号が入力される入力インタフェース（Ｉ／
Ｆ）２１と、映像信号処理回路１２の映像出力が入力さ
れるＡ／Ｄ変換器２２と、そのＡ／Ｄ変換器２２の出力
に接続された画像処理部（Ｈ／Ｗ）２３と、画像処理部
（Ｈ／Ｗ）２３の出力に接続された画像メモリ２４と、
出力インタフェース（Ｉ／Ｆ）２５と、ＣＰＵ２６と、
ＲＯＭ２７と、ＲＡＭ２８とを有する。入力Ｉ／Ｆ２
１、Ａ／Ｄ変換器２２、画像処理Ｈ／Ｗ２３、画像メモ
リ２４、出力Ｉ／Ｆ２５、ＲＯＭ２７、ＲＡＭ２８はＣ
ＰＵ２６とバス２９で接続されている。

【０００７】尚、目領域検出手段２、瞬目状態検出手段
４及び人物状態判定手段５の機能は、人物状態検出部２
０のＲＯＭ２７やＲＡＭ２８等に記憶された処理プログ
ラムやデータ等を用いてＣＰＵ２６によりソフトウエア
的に実行される。

【０００８】６１は警報手段６を形成する警報スピーカ
ーで、出力Ｉ／Ｆ２５の出力に接続されている。ｐは撮
像対象の運転者を示している。

【０００９】次に上記従来の装置の動作について説明す
る。先ず、２次元撮像手段１を形成するカメラｃのＣＣ
Ｄ１１により、日中は太陽光の可視光カットフィルタ１
４を通過する太陽光の近赤外成分により運転者ｐの顔画
像を撮像し、ＣＣＤ１１の出力信号を映像信号処理回路
１２で映像信号に変換する。映像信号処理回路１２は、
画像輝度を積分して平均画像輝度を求め、運転者ｐの周
囲が暗くなって平均画像輝度が低下した場合には、暗状
態出力を光源駆動回路１５に送出して近赤外光源１６を
点灯して運転者の顔面周辺を照明して、この照明光によ
り同様に運転者ｐの顔画像を撮像する。

【００１０】図２９に示すような、カメラｃで撮像され
た運転者ｐの顔画像３０の映像信号は、Ａ／Ｄ変換器２
２によりＡ／Ｄ変換されてデジタル階調画像に変換さ
れ、画像処理Ｈ／Ｗ２３で濃淡正規化画像、２値画像等
に変換して画像輝度情報を圧縮した後、画像メモリ２４
に記憶される。

【００１１】次に、目領域検出手段２は、ＲＯＭ２７に
記憶された処理プログラムに基づき、ＣＰＵ２６でバス
２９を介して画像処理Ｈ／Ｗ２３及び画像メモリ２４を
アクセスして、撮像された顔画像３０中より目領域を抽
出する。瞬目状態検出手段４は、同様に処理プログラム
に基づき、目領域検出手段２で検出された目領域の開閉
状態を判定して瞬目状態を検出し、人物状態判定手段５
は瞬目状態より運転者ｐの居眠り状態を判定し、居眠り
状態と判定した場合には、ＣＰＵ２６より出力Ｉ／Ｆ２
５を介して警報手段６の警報スピーカー６１を駆動して
運転者ｐに警報する共に、同じく出力Ｉ／Ｆ２５を介し
て外部装置（図示せず）に居眠り状態判定信号を送出す
る。

【００１２】これら一連の動作は入力Ｉ／Ｆ２１より入
力されたＣＣＤ撮像タイミング信号に合わせて、ＲＯＭ
２７に記憶された命令によりＣＰＵ２６で制御され、Ｒ
ＡＭ２８は制御、演算中の一時的なデータの記憶に用い
られる。

【００１３】

【発明が解決しようとする課題】しかしながら、かかる
従来装置においては顔画像から目がうまく抽出できずに
眉や眼鏡枠等を目と誤認識した場合や、目が検出されて
も目領域の撮像状態が悪く、目の開閉判定がうまくいか
ない場合には、瞬目検出ができないため居眠り判定が異
常機能状態となっているにも拘わらず、装置のかかる機
能異常を認識、報知する手段がないため、運転者は装置
が正常に機能していると誤認してしまうといった問題点
があった。

【００１４】また、かかる居眠り判定信号を、例えば車
両の制御状態等を変える装置に外部出力する場合におい
ても、同様に居眠り判定の機能異常による誤判定信号に
より外部装置の誤動作を招くといった問題点もあった。

【００１５】例えば、図３０は運転者ｐがサングラスを
装着していたり、眼鏡のレンズ面に外の景色、特に空の
雲等が映って目領域が認識できない顔画像の例３０１を
示すもので、かかる顔画像３０１の場合に、目領域検出
手段２が目候補存在領域として区切った領域３３中より
目によく似た眉や眼鏡枠の一部を目と誤検出してしま
い、装置が異常動作をしているにも拘わらず、運転者ｐ
や外部装置に装置の異常動作を認知させる手段がなかっ
た。

【００１６】この発明は上述した課題を解決しようとす
るものであり、目の誤検出や瞬目状態の誤検出による装
置の異常動作を運転者が速やかに認知でき、装置の動作
状態を誤認することのない人物状態検出装置を得ること
を目的とする。

【００１７】

【課題を解決するための手段】この発明の請求項１に係
る人物状態検出装置は、人物の顔面を含む所定領域を撮
像する２次元撮像手段と、前記人物の目領域を検出する
目領域検出手段と、前記人物の瞬目状態を検出する瞬目
状態検出手段と、前記人物の状態を判定する人物状態判
定手段と、目未検出頻度により前記人物状態検出装置の
誤動作状態を判定し、少なくとも前記人物状態判定手段
の動作を停止させる動作状態判定手段と、誤動作状態判
定時に前記人物及び外部装置の少なくとも一方に対して
前記人物状態検出装置の機能停止状態を報知する動作状
態報知手段とを備えたものである。

【００１８】この発明の請求項２に係る人物状態検出装
置は、前記人物の目領域が所定期間に渡り未検出である
場合に、前記人物状態検出装置が誤動作状態であると判
定する動作状態判定手段を備えたものである。

【００１９】この発明の請求項３に係る人物状態検出装
置は、前記人物の所定期間内の目領域未検出回数が所定
値以上であるか、目領域未検出回数が所定値となる期間
が所定期間以下である場合に、前記人物状態検出装置が
誤動作状態であると判定する動作状態判定手段を備えた
ものである。

【００２０】この発明の請求項４に係る人物状態検出装
置は、人物の顔面を含む所定領域を撮像する２次元撮像
手段と、前記人物の目領域を検出する目領域検出手段
と、前記人物の瞬目状態を検出する瞬目状態検出手段
と、前記人物の状態を判定する人物状態判定手段と、目
領域の検出位置より目領域誤認状態を判定してこの判定
結果より前記人物状態検出装置の誤動作状態を判定し、
少なくとも前記人物状態判定手段の動作を停止させる動
作状態判定手段と、誤動作状態判定時に前記人物及び外
部装置の少なくとも一方に対して前記人物状態検出装置
の機能停止状態を報知する動作状態報知手段とを備えた
ものである。

【００２１】この発明の請求項５に係る人物状態検出装
置では、前記動作状態判定手段は、左右の目領域の上下
位置の差あるいは左右位置の差の前画像からの変化が所
定値以上大きい場合に、前記変化状態が解消されるまで
目領域誤認状態と判定し、所定期間内の目領域誤認状態
判定回数が所定値以上であるか、目領域誤認状態判定回
数が所定値となる期間が所定期間以下である場合に、前
記人物状態検出装置が誤動作状態であると判定するもの
である。

【００２２】この発明の請求項６に係る人物状態検出装
置では、前記目領域検出手段は目領域以外の顔の左右対
称な特徴点を検出し、前記動作状態判定手段は、左右の
各目領域位置と前記特徴点との距離の差あるいは距離の
差の前画像からの変化が所定値以上大きい場合に、前記
変化状態が解消されるまで目領域誤認状態と判定し、所
定期間内の目領域誤認状態判定回数が所定値以上である
か、目領域誤認状態判定回数が所定値となる期間が所定
期間以下である場合に、前記人物状態検出装置が誤動作
状態であると判定するものである。

【００２３】この発明の請求項７に係る人物状態検出装
置では、前記動作状態判定手段は、左右の各目領域位置
の前画像からの変化が人物の顔面の左右、上下の動きに
基づいて定められた所定範囲である場合にのみ、目領域
誤認状態の有無を判定するものである。

【００２４】この発明の請求項８に係る人物状態検出装
置は、人物の顔面を含む所定領域を撮像する２次元撮像
手段と、前記人物の目領域を検出する目領域検出手段
と、前記人物の瞬目状態を検出する瞬目状態検出手段
と、前記人物の状態を判定する人物状態判定手段と、瞬
目検出頻度により前記人物状態検出装置の誤動作状態を
判定して、少なくとも前記人物状態判定手段の動作を停
止させる動作状態判定手段と、誤動作状態判定時に前記
人物及び外部装置の少なくとも一方に対して前記人物状
態検出装置の機能停止状態を報知する動作状態報知手段
とを備えたものである。

【００２５】この発明の請求項９に係る人物状態検出装
置は、前記動作状態判定手段の正常動作判定時に、瞬目
検出頻度により前記人物状態検出装置の誤動作状態を判
定して少なくとも前記人物状態判定手段の動作を停止さ
せる第二の動作状態判定手段を更に備えたものである。

【００２６】この発明の請求項１０に係る人物状態検出
装置では、前記動作状態判定手段あるいは第二の動作状
態判定手段は、前記人物の瞬目が所定期間に渡り未検出
である場合に、前記人物状態検出装置が誤動作状態であ
ると判定するものである。

【００２７】この発明の請求項１１に係る人物状態検出
装置では、前記動作状態判定手段あるいは第二の動作状
態判定手段は、前記人物の所定期間内の瞬目検出回数が
所定値以上であるか、瞬目検出回数が所定値となる期間
が所定期間以下である場合に、前記人物状態検出装置が
誤動作状態であると判定するものである。

【００２８】この発明の請求項１２に係る人物状態検出
装置では、前記動作状態判定手段あるいは第二の動作状
態判定手段は、前記人物の所定期間毎の瞬目検出回数の
変化あるいは所定瞬目検出回数毎の期間の変化が所定値
以上大きい場合に、前記人物状態検出装置が誤動作状態
であると判定するものである。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、添付図面を参照して説明する。

【００３０】実施の形態１．図１〜図８はこの発明の人
物状態検出装置の第一の実施の形態を示すものであり、
本発明を車両運転者の居眠り運転等の運転状態の検出に
応用した人物状態検出装置の実施の形態を示している。

【００３１】図１は本発明の人物状態検出装置の概略構
成図、図２は運転者状態検出の概略フローチャート、図
３は動作状態報知手段の構成図、図４は前記概略フロー
チャートにおける目領域検出部のフローチャート、図５
は目存在領域設定の説明図、図６は目候補領域帯設定の
説明図、図７は目候補領域設定の説明図、図８は動作状
態検出部のフローチャートである。

【００３２】以下、この実施の形態を上記各図及び従来
例の図２８、２９を援用して説明する。図１において、
本発明の人物状態検出装置は、２次元撮像手段１と、目
領域検出手段２と、動作状態判定手段３と、瞬目状態検
出手段４と、人物状態判定手段５と、警報手段６と、動
作状態報知手段７とを備えている。この図において、２
次元撮像手段１、目領域検出手段２、瞬目状態検出手段
４、人物状態判定手段５、警報手段６を構成するハード
ウエア（Ｈ／Ｗ）は図２８に示すものと同様のものであ
る。尚、目領域検出手段２、動作状態判定手段３、瞬目
状態検出手段４、人物状態判定手段５は人物状態検出部
２０ａを構成する。

【００３３】図１において、２次元撮像手段１は運転者
ｐの顔画像を撮像し、目領域検出手段２はかかる顔画像
中より目領域を検出する。次に、かかる目領域の検出結
果に基づき動作状態判定手段３において装置が正常に機
能しているか否かを判定し、正常機能状態と判定された
時には、従来と同様、瞬目状態検出手段４は検出された
目領域の開閉状態を調べて運転者ｐの瞬目状態を検出
し、人物状態判定手段５は瞬目状態より運転者ｐの居眠
り状態を判定し、警報手段６は居眠り状態が判定された
場合に運転者ｐに警報を発する共に外部装置に居眠り状
態判定信号を送出する。他方、異常機能状態との判定時
には、動作状態判定手段３は運転者ｐの居眠りを判定す
る人物状態判定手段５の入力である瞬目状態検出手段４
の動作を停止させる共に、動作状態報知手段７に信号を
送出して運転者ｐ及び外部装置に装置が機能停止状態に
あることを報知する。

【００３４】次に、図１の実施の形態の動作を図２の概
略フローチャートにより詳細に説明する。図２におい
て、先ずステップＳＴ１０で、図２８に示す顔画像撮像
部１０のカメラｃにより運転者ｐの顔面を含む所定領域
を撮像して顔画像３０を得る。ステップＳＴ１１におい
て、Ａ／Ｄ変換部は顔画像３０の映像信号を人物状態検
出部２０ａのＡ／Ｄ変換器２２でＡ／Ｄ変換してディジ
タル階調画像に変換して、画像処理Ｈ／Ｗ２３に出力す
る。次に、ステップＳＴ１２において、ＣＰＵ２６によ
り画像処理Ｈ／Ｗ２３をアクセスして、顔画像３０中よ
り顔の縦方向に所定長より短い黒レベル領域のみを抽出
（ボトムハットフィルタ処理）し、続いてステップＳＴ
１３において、同じく画像処理Ｈ／Ｗ２３によりかかる
フィルタ処理後のディジタル階調画像を画像輝度に応じ
た浮動閾値で２値化して図５の３１に示す２値画像を得
る。かかる２値画像３１はステップＳＴ１４で２値画像
フレームメモリとして画像メモリ２４に記憶される。

【００３５】次に、ステップＳＴ２０において、後述す
るように、目領域検出手段２は画像メモリ２４に記憶さ
れた２値画像データを処理して２値画像中より目領域を
検出し、目検出フラグ（ＦＬＡＧ）を立て、ステップＳ
Ｔ３０で、後述するように、動作状態判定手段３は、目
領域検出ステップＳＴ２０における目検出フラグの状態
を基にして装置が正常に動作しているか否かを検出し、
異常動作であれば、異常状態検出フラグをオン（ＯＮ）
にして、正常動作であれば、異常状態検出フラグをオフ
（ＯＦＦ）にする。

【００３６】続いて、ステップＳＴ３１において、異常
状態フラグがオフか否かを調べ、オフであればステップ
ＳＴ４０で瞬目状態検出手段４は目領域検出ステップＳ
Ｔ２０で検出された目領域の２値画像データにより目の
開閉状態を判定して瞬目を検出する。ステップＳＴ５０
において、人物状態判定手段５は瞬目状態検出ステップ
ＳＴ４０で得られた瞬目状態より運転者ｐの居眠り状態
を判定し、居眠り状態と判定した場合には、ステップＳ
Ｔ６０において警報手段６はＣＰＵ２６より出力Ｉ／Ｆ
２５を介して警報スピーカー６１を駆動して運転者ｐに
警報する共に、同じく出力Ｉ／Ｆ２５を介して接続した
外部装置に居眠り状態判定信号を送出して処理の一巡を
終える。

【００３７】ステップＳＴ３１において異常状態フラグ
がオンであれば、瞬目状態検出ステップＳＴ４０、居眠
り判定ステップＳＴ５０、警報ステップＳＴ６０の処理
を省略し、ステップＳＴ７０において動作状態報知手段
７は、ＣＰＵ２６より同様に出力Ｉ／Ｆ２５を介して図
３に示す異常表示灯７２（図３参照）を点灯して装置が
機能停止状態にあることを運転者ｐに報知する共に、同
じく出力Ｉ／Ｆ２５を介して接続した外部装置に機能停
止状態信号を送出して処理の一巡を終える。

【００３８】異常表示灯７２は、図３では、インスツル
メントパネル７１内の中央の目立つ位置に設けている
が、運転者ｐが常時視認しやすい位置であれば他の位置
に設けてもよい。また、異常表示灯７２のみによらず、
例えば出力Ｉ／Ｆ２５を介して警報スピーカー６１を、
居眠り状態警報時とは別の音色で、一時的に駆動して運
転者ｐに注意を促すようにしてもよい。

【００３９】次に、目領域検出ステップＳＴ２０につい
て、図４〜図７を用いて詳細に説明する。先ずステップ
ＳＴ２０１で、画像メモリ２４に入力された図５に示す
ような２値画像３１において、各々画像軸Ｘ、Ｙに沿っ
て各々Ｙ、Ｘ軸方向の画素を積算したＹ軸ヒストグラム
ＳＵＭＹ、Ｘ軸ヒストグラムＳＵＭＸを求め、［式１］ＸＦＣ＝ΣｉＸｉＳＵＭＹ（Ｘｉ）／ΣｉＳＵＭＹ（Ｘｉ）ＹＦＣ＝ΣｊＹｊＳＵＭＸ（Ｙｊ）／ΣｊＳＵＭＸ（Ｙｊ）として顔重心３２の位置座標ＦＣ（ＸＦＣ，ＹＦＣ）を
算出する。ここでΣｉＳＵＭＹ（Ｘｉ）＝ΣｊＳＵＭＸ
（Ｙｊ）でありΣｊＳＵＭＸ（Ｙｊ）は実際には計算を
要しない。

【００４０】上記２値画像３１においては、ボトムハッ
トフィルタ処理ステップＳＴ１２のフィルタ処理の結
果、頭髪を除いた眉、目、鼻孔、口裂といった顔の特徴
領域が抽出されるため、顔重心３２の位置ＦＣの近くに
略左右対称に目領域が存在する。そこで、ステップＳＴ
２０２で、顔重心３２の位置ＦＣを基準とした一組の矩
形の目存在領域ＥＥＲ３３を設定し、目の検索領域を限
定する。

【００４１】次に、ステップＳＴ２０３で、図６に示す
ように、目存在領域ＥＥＲ３３内でＹ軸ヒストグラムＳ
ＵＭＹを求め、ステップＳＴ２０４でＳＵＭＹのピーク
毎の所定の閾値ＳＨＬ以上の帯状領域を目候補領域帯Ｐ
ＢＥＲｉ３４として設定し、さらに目の検索領域を限定
する。図６では、眉を含む帯領域ＰＢＥＲ１と眼鏡の上
枠と目領域を含む帯領域ＰＢＥＲ２及び眼鏡の下枠を含
む帯領域ＰＢＥＲ３が、目候補領域帯ＰＢＥＲｉ３４と
して設定されている。

【００４２】続いて、ステップＳＴ２０５で、図７に示
すように、各目候補領域帯ＰＢＥＲｉ内のＸ軸ヒストグ
ラムＳＵＭＸを求め、ＳＵＭＸが所定の閾値ＳＨＬ以上
の目候補領域帯ＰＢＥＲｉの領域をＹ軸方向長ＥＷ、Ｘ
軸方向長ＥＨの目候補領域ＰＥＲｉｊ３５として設定す
る。図７では、眉に相当する領域ＰＥＲ１１と眼鏡の上
枠と目領域を含む領域ＰＥＲ２１及び眼鏡の下枠領域Ｐ
ＥＲ３１が、目候補領域ＰＥＲｉｊ３５として設定され
ている。

【００４３】すべての目候補領域ＰＥＲｉｊ３５の設定
が終了すると、ステップＳＴ２０７で、先ず右の目存在
領域３３内にある目候補領域ＰＥＲｉｊ３５のナンバー
ｉ、ｊをリセットして、ｉ＝１、ｊ＝１より順番に１候
補ずつステップＳＴ２０８で上記目候補領域３５内のＸ
軸ヒストグラムＳＵＭＸ、Ｙ軸ヒストグラムＳＵＭＹの
値と形状を用いて目評価関数を求め、ステップＳＴ２０
９で前記目評価関数により上記目候補領域３５を目と見
なしてよいか否かを判定し、目と判定した場合には、ス
テップＳＴ２１０で右目領域ＲＥＲとした目候補領域３
５のナンバーｉ、ｊとその位置座標を記憶する。ステッ
プＳＴ２０９において目でないと判定した場合には、ス
テップＳＴ２１１で右目の全目候補領域ＰＥＲｉｊを検
索したか否かを調べ、目候補領域ＰＥＲｉｊ３５が残っ
ている場合には、ステップＳＴ２１２で領域のナンバー
ｊ、ｉを順にインクリメントしてステップＳＴ２０８以
降を繰り返す。

【００４４】ステップＳＴ２１０で右目領域ＲＥＲを固
定したら、次にステップＳＴ２１３で左の目存在領域３
３内にある目候補領域ＰＥＲｉｊ３５のナンバーｉ、ｊ
をリセットした後、同様に左目の検索を行う。即ち、ス
テップＳＴ２１４で目評価関数を求め、ステップＳＴ２
１５で目候補領域３５を目と見なしてよいか否かを判定
し、目と判定した場合には、ステップＳＴ２１６で左目
領域ＬＥＲのナンバーｉ、ｊとその位置座標を記憶し、
目でないと判定した場合には、ステップＳＴ２１７で左
目の目候補領域ＰＥＲｉｊ３５が残っているか否かを調
べ、残っている場合はステップＳＴ２１８で領域のナン
バーｊ、ｉを順にインクリメントしてステップＳＴ２１
４以降を繰り返す。以上の処理により、両目とも固定さ
れた場合には、ステップＳＴ２１９で目検出フラグをオ
ンし、ステップＳＴ２１１で右目が見つからないか、ス
テップＳＴ２１８で左目が見つからないかした場合に
は、ステップＳＴ２２０で目検出フラグをオフした後、
処理をメインルーチンに戻す。例えば、図７では、目と
眼鏡の上枠が結合しているため目候補領域ＰＥＲ２１は
目とみなされず、結局、２値画像３１では目検出フラグ
はオフにされる。

【００４５】最後に、動作状態検出ステップＳＴ３０に
ついて、図８により詳細に説明する。図８において、先
ずステップＳＴ３０１で、目の未検出回数を調べるカウ
ンターｉ、Ｎのリセットフラグがオンであるか否かを調
べ、オンであればステップＳＴ３０２で目検出画像カウ
ンターｉを０に、判定画像カウンターＮを１にセットす
る。続いて、ステップＳＴ３０３で前記目検出フラグが
オンであるか否かを調べ、オンであれば、ステップＳＴ
３０４でカウンターｉを１つインクリメントする。例え
ば、上記２値画像３１では、目検出フラグがオフである
からカウンターｉはインクリメントされない。

【００４６】次に、ステップＳＴ３０５で、目検出フラ
グのオン、オフを判定した画像の数Ｎが所定期間Ｔをフ
レームレートで割った所定画像数ＮＯに達したか否かを
判定し、ＮがＮＯ以上の場合はステップＳＴ３０６でカ
ウンターｉの内容を調べる。一方、ＮがＮＯに達しない
場合には、ステップＳＴ３０７でカウンターＮを１つイ
ンクリメントし、ステップＳＴ３０８で異常状態フラグ
をオフし、ステップＳＴ３０９でカウンターリセットフ
ラグをオフした後、処理をメインルーチンに戻して次の
画像の目検出結果を待つ。

【００４７】ステップＳＴ３０６でカウンターｉの内容
が０、即ち所定期間Ｔの間全く目が検出されなかった場
合は、装置が正常に機能していないとして、ステップＳ
Ｔ３１０で異常状態フラグをオンし、最後にステップＳ
Ｔ３１１でカウンターリセットフラグをオンして処理を
メインルーチンに戻す。カウンターｉの内容が０以外の
場合には、異常状態フラグの内容を変えずにステップＳ
Ｔ３１１を実行する。

【００４８】即ち、かかる実施の形態によれば、所定期
間毎の目の検出状態を調べ、所定期間に渡り目が全く検
出できない場合に装置が異常と判定し、瞬目状態検出手
段４以降の動作を停止させる共に、動作状態報知手段７
に信号を送出して運転者ｐ及び外部装置に人物状態検出
装置が機能停止状態にあることを報知するようにしたた
め、単純な判定アルゴリズムで運転者が装置の異常動作
を速やかに認知でき、装置の動作状態を誤認することな
く装置の機能状態を常時正しく把握できる効果がある共
に、誤判定信号により外部装置の誤動作を招く恐れがな
い。

【００４９】実施の形態２．図９は他の実施の形態によ
る動作状態検出ステップのフローチャートである。図に
おいて、先ずステップＳＴ３０１、ＳＴ３０２を実行し
た後、ステップＳＴ３２１で目検出フラグがオフである
か否かを判定し、オフの場合には目未検出カウンターｉ
を１インクリメントする。続いて、ステップＳＴ３２３
で判定画像カウンターＮが所定画像数ＮＯに達したか否
かを判定し、ＮがＮＯ以上の場合は、ステップＳＴ３２
８でカウンターｉの内容を調べる。一方、ＮがＮＯに達
しない場合には、ステップＳＴ３２５でカウンターＮを
１つインクリメントし、ステップＳＴ３２６で異常状態
フラグをオフし、ステップＳＴ３２７でカウンターリセ
ットフラグをオフした後、処理をメインルーチンに戻し
て次の画像の目検出結果を待つ。

【００５０】ステップＳＴ３２４でカウンターｉの内容
が所定の最高許容数ＮＬＬを越えた場合、即ち所定期間
Ｔの間に所定画像数割合ＮＬＬ／ＮＯ以上目が検出され
なかった場合は、装置が正常に機能していないとしてス
テップＳＴ３２８で異常状態フラグをオンし、最後にス
テップＳＴ３２９でカウンターリセットフラグをオンし
て処理をメインルーチンに戻す。カウンターｉの内容が
ＮＬＬ以下の場合には、異常状態フラグの内容を変えず
にステップＳＴ３２９を実行する。

【００５１】図７に示すように、眼鏡の上枠と目が目候
補領域３５として全く分離できない場合や、従来例のご
とく眼鏡レンズの表面反射によって顔画像３０中に目が
よく観察できない場合には、目が検出できない場合が多
いが、画像によっては稀に目を検出する場合がある。

【００５２】かかる実施の形態では、実施の形態１と同
様の効果を奏する共に、上述のごとく目の未検出画像が
所定期間連続せず、多少目の検出画像が混在しても装置
の機能異常を判定できるという利点がある。

【００５３】尚、上記実施の形態では所定期間Ｔの間に
所定画像数割合以上目が検出されなかった場合を装置異
常と判定したが、目が検出されなかった画像が所定画像
数に達したときの期間が所定期間以下である場合に、装
置異常と判定してもよい。

【００５４】実施の形態３．図１０〜図１２はさらに他
の実施の形態を示すもので、目の誤検出があっても装置
の機能異常を判定するようにしたものであり、図１０〜
１１は動作状態検出ステップのフローチャートであり、
図１２は動作異常検出の画像での説明図である。

【００５５】図１０において、先ずステップＳＴ３０
１、ＳＴ３０２を実行した後、ステップＳＴ３３１で目
検出フラグがオンであるか否かを判定し、オンであれ
ば、ステップＳＴ３３２で検出され記憶された右目領域
及び左目領域の領域座標より各目領域中心座標、右目
（ＲＥＸ、ＲＥＹ）、左目（ＬＥＸ、ＬＥＹ）を算出し
て記憶し、オフ即ち目が未検出であればステップＳＴ３
３３で目が正常に認識されているか否かを示す異常検出
フラグをオンする。

【００５６】次に、ステップＳＴ３３４で、一つ前の画
像の目検出フラグがオンであったか否かを確認し、オン
であった場合には、ステップＳＴ３３５で前画像の各目
領域中心座標、右目（ＲＥＸＯＬＤ、ＲＥＹＯＬＤ）、
左目（ＬＥＸＯＬＤ、ＬＥＹＯＬＤ）を読み出し、ステ
ップＳＴ３３６で判定画像と前画像との右目の中心座標
の変化（ＤＲＥＸ、ＤＲＥＹ）、左目の中心座標の変
化、（ＤＬＥＸ、ＤＬＥＹ）を算出し、顔の向きが大き
く変わっていないことを確認するため、ステップＳＴ３
３７で中心Ｘ座標の変化ＤＲＥＸ、ＤＬＥＸが同一符号
で且つ所定許容値ＤＥＸＬより大であるか、あるいは中
心Ｙ座標の変化ＤＲＥＹ、ＤＬＥＹが同一符号で且つ所
定許容値ＤＥＹＬより大であるかを確認し、ＮＯ即ち顔
の向きが前画像と大きくは変わっていない場合には、前
画像との比較対照が可能として、ステップＳＴ３３８で
右目と左目のＸ軸方向間隔、Ｙ軸方向間隔の判定画像と
前画像との各差、ＤＷ、ＤＨを算出する。

【００５７】次に、ステップＳＴ３３９でＤＷが所定値
ＤＷＬより大きいかまたはＤＨが所定値ＤＨＬより大き
いかを調べ、ＹＥＳの場合はさらにステップＳＴ３４０
で前画像での異常検出フラグがオンであったか否かを調
べ、ＮＯの場合は前画像の異常検出フラグ状態を維持す
る。

【００５８】ステップＳＴ３４０で異常検出フラグがオ
ンでない場合には、判定画像において右目あるいは左目
のいずれかが誤検出されたと判断し、ステップＳＴ３４
１で前画像の目領域中心座標、右目（ＲＥＸＯＬＤ、Ｒ
ＥＹＯＬＤ）、左目（ＬＥＸＯＬＤ、ＬＥＹＯＬＤ）を
目を誤検出する前の実際の目の位置であるとして、各々
右目（ＲＥＸＪ、ＲＥＹＪ）、左目（ＬＥＸＪ、ＬＥＹ
Ｊ）として更新記憶した後、ステップＳＴ３４２で異常
検出フラグをオンにする。

【００５９】ステップＳＴ３４０で前画像での異常検出
フラグがオンであった場合には、ステップＳＴ３４３で
判定画像とその前に目が正常検出されていた画像での目
領域中心座標の差、右目（ＤＲＸＪ、ＤＲＹＪ）、左目
（ＤＬＸＪ、ＤＬＹＪ）を算出し、ステップＳＴ３４４
で右目の中心座標の差ＤＲＸＪ、ＤＬＸＪが所定許容値
ＤＸＪＬより小さく且つ左目の中心座標の差ＤＲＹＪ、
ＤＬＹＪが所定許容値ＤＹＪＬより小さいか否かを判定
し、ＹＥＳであった場合には、目が正常検出に戻ったと
判定して、ステップＳＴ３４５で異常検出フラグをオフ
し、逆にＮＯであった場合には、目の誤検出状態が続い
ているとして異常検知フラグの状態を維持する。

【００６０】図１２において、眼鏡表面反射のため左の
眼鏡枠を目と誤認した画像３１１が判定画像の場合、目
が正常に認識されている前画像３１０に対して左目領域
中心位置のＸ座標が大きく変わるため、ステップＳＴ３
３９でＹＥＳとなり、画像３１０での異常検出フラグが
オフのためステップＳＴ３４０ではＮＯとなり、ステッ
プＳＴ３４１で画像３１０の目領域中心位置を目の正常
位置として記憶した後、ステップＳＴ３４２で異常検出
フラグがオンされる。次に、判定画像３１２において
は、前画像３１１と右目領域中心位置のＸ座標が大きく
変わり且つ異常検出フラグがオンであるため、ステップ
ＳＴ３３９でＹＥＳ、ステップＳＴ３４０でＹＥＳとな
り、目領域中心位置と前記目の正常位置とが離れている
ため、ステップＳＴ３４４でＮＯとなり異常検出フラグ
はオンのまま維持される。続いて、判定画像３１３にお
いては、前画像３１２と両目領域中心位置が大きく変わ
りかつ異常検出フラグがオンであるため、ステップＳＴ
３３９でＹＥＳ、ステップＳＴ３４０でＹＥＳとなる
が、両目領域中心位置が記憶された前記目の正常位置近
くまで戻るため、ステップＳＴ３４４でＹＥＳとなり異
常検出フラグはオフされる。

【００６１】即ち、異常検出フラグは画像上で目領域が
未検出であるか、判定した目領域が眉等を目と誤認して
いる場合には、オン状態となっている。

【００６２】そこで、図１０において異常検出フラグ状
態が確定すると、ステップＳＴ３４６において異常検出
フラグがオンか否かを調べ、オンの時のみステップＳＴ
３４７で異常検出カウンターｉを１インクリメントす
る。ステップＳＴ３３４で前画像で目検出フラグがオフ
であったか、ステップＳＴ３３７で前画像に比べ顔の向
きが大きく変わっていると判定した場合には、この画像
を判定画像数に加えないようステップＳＴ３４８で判定
画像カウンターＮを１つデクリメントしておく。

【００６３】続いて、図１１のステップＳＴ３５０で判
定画像数Ｎが所定画像数ＮＯに達したか否かを判定し、
ＮがＮＯ以上の場合は、ステップＳＴ３５１でカウンタ
ーｉの内容を調べる。ＮがＮＯに達しない場合には、ス
テップＳＴ３５２でカウンターＮを１つインクリメント
し、ステップＳＴ３５３で異常状態フラグをオフし、ス
テップＳＴ３５４でカウンターリセットフラグをオフし
た後、処理をメインルーチンに戻す。

【００６４】ステップＳＴ３５１でカウンターｉの内容
が所定の最高許容数ＩＮＬを越えた場合、即ち所定期間
Ｔの間に所定画像数割合ＩＮＬ／ＮＯ以上異常検出フラ
グがオンであった場合は、装置が正常に機能していない
としてステップ３５５で異常状態フラグをオンし、最後
にステップＳＴ３５６でカウンターリセットフラグをオ
ンして処理をメインルーチンに戻す。カウンターｉの内
容がＩＮＬ以下の場合には、異常状態フラグの内容を変
えずにステップＳＴ３５６を実行する。

【００６５】かかる実施の形態においても、実施の形態
１と同様の効果を奏する共に、上述のごとく目領域検出
位置の変化に基づいて目の誤検出の有無を調べ、目の未
検出ばかりでなく目の誤検出があっても、その未検出及
び誤検出割合で確実に装置の機能異常を判定できるとい
う利点がある。

【００６６】実施の形態４．図１３〜図１６は目の誤検
出があっても装置の機能異常を判定するようにした別の
実施の形態を示すものであり、図１３は運転者状態検出
の概略フローチャート、図１４は特徴領域検出の詳細フ
ローチャート、図１５は動作状態検出のフローチャート
であり、図１６は動作異常検出の画像での説明図であ
る。

【００６７】図１３において、先ず図２と同じステップ
ＳＴ１０〜１４を実行後、ステップＳＴ２０で目領域検
出手段２は、顔画像中より目領域を検出し、ステップＳ
Ｔ８０において、後述するように、前記顔画像中より顔
の特徴領域である鼻孔を検出する。次に、ステップＳＴ
３０において、後述するように、動作状態判定手段３は
目領域検出結果と鼻孔検出結果を基にして目の誤検出が
ないか否かを調べて、誤検出の場合には異常検出フラグ
を立て、この異常検出フラグ状態の経過より装置が正常
に動作しているか否かを検出して異常状態検出フラグを
オン、オフする。ステップＳＴ３１以降の処理は実施の
形態１と同じである。

【００６８】次に、特徴領域検出ステップＳＴ８０を図
１４により詳細に説明する。図１４において、目領域検
出時と同様、先ずステップＳＴ８０１で顔重心位置ＦＣ
を基に顔の下部に図示しない矩形の鼻孔存在領域ＥＮＲ
を設定し、ステップＳＴ８０２でＥＮＲ内のＹ軸ヒスト
グラムＳＵＭＹを演算し、ステップＳＴ８０３でＳＵＭ
Ｙのピーク毎の所定の閾値ＳＨＬ以上の帯状領域を鼻孔
候補領域帯ＰＢＮＲｉとして設定する。

【００６９】続いて、ステップＳＴ８０４で鼻孔候補領
域帯ＰＢＮＲｉのナンバーｉをリセットし、ステップＳ
Ｔ８０５でｉ＝１より順に各鼻孔候補領域帯ＰＢＮＲｉ
内のＸ軸ヒストグラムＳＵＭＸを求め、ステップＳＴ８
０６でＳＵＭＸのピークの数ＮＰ、各ピーク間距離ＤＮ
Ｐｊを求め、ステップＳＴ８０７で前記ＮＰが２で、且
つピーク間距離ＤＮＰ１が所定範囲内にあるか否かで鼻
孔領域を判定する。

【００７０】ステップＳＴ８０７で鼻孔候補領域帯ＰＢ
ＮＲｉが鼻孔領域と判定された場合、ステップＳＴ８０
８でＰＢＮＲｉのＳＵＭＹのピークＸ座標、ＳＵＭＸの
２つのピークの中点Ｙ座標を求めて鼻孔間中心位置（Ｎ
ＣＸ、ＮＣＹ）として記憶し、ステップＳＴ８０９で鼻
孔検出フラグをオンとして処理をメインルーチンに戻
す。

【００７１】ステップＳＴ８０７で候補領域帯が鼻孔領
域でないと判定された場合は、ステップＳＴ８１０で全
鼻孔候補領域帯ＰＢＮＲｉを検索したか否かを調べ、鼻
孔候補領域帯ＰＢＮＲｉが残っている場合には、ステッ
プＳＴ８１１で領域帯のナンバーｉをインクリメントし
てステップＳＴ８０５以降を繰り返し、鼻孔候補領域帯
ＰＢＮＲｉが残っていない場合は、ステップＳＴ８１２
で鼻孔検出フラグをオフして処理をメインルーチンに戻
す。

【００７２】動作状態検出ステップＳＴ３０において
は、図１５に示すように、ステップＳＴ３０１、ＳＴ３
０２を実行後、ステップＳＴ３６１で目検出フラグがオ
ンか否かを確認し、オンであれば、続いてステップＳＴ
３６２で鼻孔検出フラグがオンか否かを確認し、オン即
ち目領域、鼻孔領域とも検出されている場合のみ、以下
の処理を実行する。

【００７３】先ず、ステップＳＴ３６３で検出した目領
域の領域座標より各目領域中心座標、右目（ＲＥＸ、Ｒ
ＥＹ）、左目（ＬＥＸ、ＬＥＹ）を算出し、ステップＳ
Ｔ３６４で右目及び左目と鼻孔中心間の距離、ＲＤ、Ｌ
Ｄを、［式２］ＲＤ＝√［（ＮＣＸ−ＲＥＸ）２＋（ＮＣＹ−ＲＥＹ）２］ＬＤ＝√［（ＮＣＸ−ＬＥＸ）２＋（ＮＣＹ−ＬＥＹ）２］として算出し、ステップＳＴ３６５で距離差ＤＮＥＤ
（＝ＲＤ−ＬＤ）を求める。

【００７４】続いて、ステップＳＴ３６６で距離差ＤＮ
ＥＤが所定の許容値ＤＮＥＤＬより大であるか否か即
ち、目−鼻孔中心の距離が左右略等しいか否かを判定
し、大である場合、どちらかの目が誤検出されていると
して、ステップＳＴ３６７で異常検出フラグをオンにす
る。また、ステップＳＴ３６１で目検出フラグがオフの
場合も、同様にステップＳＴ３６７で異常検出フラグを
オンにする。

【００７５】ステップＳＴ３６６で距離差ＤＮＥＤが所
定の許容値ＤＮＥＤＬ以下であった場合、ステップＳＴ
３６８でＲＤ、ＬＤと前画像の目−鼻孔中心の距離ＲＤ
ＯＬＤ、ＬＤＯＬＤとの差ＤＲＤ、ＤＬＤを演算した
後、ステップＳＴ３６９で異常検出フラグの状態を調べ
る。

【００７６】ここで、異常検出フラグがオフ即ち前画像
が正常に目を検出している場合には、ステップＳＴ３７
０で前記距離の差ＤＲＤ、ＤＬＤが共に許容値ＤＲＤ
Ｌ、ＤＬＤＬより小か否かを判定し、小であれば、判定
画像も正常に目を検出しているとしてステップＳＴ３７
１で目−鼻孔中心の距離ＲＤ、ＬＤを正常検出時の距離
ＲＪ、ＬＪとして記憶し、異常検出フラグをそのまま維
持する。逆に、小でなければ、判定画像はいずれかの目
が誤検出となったとして、ステップＳＴ３７２で異常検
出フラグをオンする。

【００７７】他方、ステップＳＴ３６９で異常検出フラ
グがオンの場合には、ステップＳＴ３７３で前記距離の
差ＤＲＤ、ＤＬＤが共に許容値ＤＲＤＬ、ＤＬＤＬより
小か否かを判定し、小であれば、判定画像の目誤検出状
態が続いているとして異常検出フラグをそのまま維持
し、小でなければ、ステップＳＴ３７４で判定画像の距
離ＲＤ、ＬＤと記憶された直前の正常検出時の距離Ｒ
Ｊ、ＬＪとの差ＤＲＪ、ＤＬＪを求め、ステップＳＴ３
７５で差ＤＲＪ、ＤＬＪが共に許容値ＤＲＪＬ、ＤＬＪ
Ｌより小であるか否かを調べる。

【００７８】ステップＳＴ３７５で、判定が小即ち判定
画像の距離ＲＤ、ＬＤが直前の正常検出時の距離ＲＪ、
ＬＪに近ければ判定画像は目の正常検出状態に戻ったと
して、ステップＳＴ３７６で異常検出フラグをオフし、
小でなければ目誤検出状態が続いているとして異常検出
フラグをそのまま維持する。

【００７９】図１６において、眼鏡反射のため眼鏡枠を
左目と誤認した画像３２１が判定画像の場合、左及び右
の目領域中心と鼻孔中心との距離ＲＤ、ＬＤの差ＤＮＥ
Ｄが大きいため、前画像３２０の異常検出フラグに拘わ
らずステップＳＴ３６６でＹＥＳとなり、ステップＳＴ
３６７で異常検出フラグがオンされる。次に、眉を左
目、眼鏡枠を右目と誤検出した判定画像３２２において
は、前記差ＤＮＥＤが小さいためステップＳＴ３６６で
ＮＯとなり、前画像３２１の異常検知フラグがオンのた
めステップＳＴ３６９でＹＥＳとなり、前画像３２１に
比べて距離ＲＤの変化が大きいためステップＳＴ３７３
でＮＯとなり、ステップＳＴ３７５で距離ＲＤ、ＬＤと
直前の正常画像３２０の距離ＲＤ、ＬＤとの各差ＤＲ
Ｊ、ＤＬＪが比較されるが、ＤＲＪ、ＤＬＪとも大のた
めＮＯに分岐し異常検出フラグはオンのまま維持され
る。続いて、目が正常検出に戻った判定画像３２３にお
いては、前画像と同様、ステップＳＴ３６６でＮＯ、ス
テップＳＴ３６９でＹＥＳとなり、前画像３２２に比べ
て距離ＲＤ、ＬＤの変化が大きいためステップＳＴ３７
３でＮＯとなるが、正常検出時との距離差ＤＲＪ、ＤＬ
Ｊが小さいためステップＳＴ３７５でＹＥＳとなり、ス
テップＳＴ３７６で異常検出フラグはオフされる。

【００８０】即ち、実施の形態３と同様、異常検出フラ
グは画像上で目領域が未検出であるか、判定した目領域
が眉等を目と誤認している場合にはオン状態となってい
る。

【００８１】そこで、図１５において異常検出フラグ状
態が確定すると、実施の形態３と同様にステップＳＴ３
７７において異常検出フラグがオンか否かを調べ、オン
の時のみステップＳＴ３７８で異常検出カウンターｉを
１つインクリメントする。ステップＳＴ３６２で鼻孔検
出フラグがオフである場合には、この画像を判定画像数
に加えないようステップＳＴ３７９で判定画像カウンタ
ーＮを１つデクリメントしておく。

【００８２】続いて、実施の形態３の図１１と同様に、
判定画像中における異常検出フラグの立った画像の割合
を調べ、前記割合が所定値より大きければ異常状態フラ
グの状態をオンにする。

【００８３】かかる実施の形態においても実施の形態１
と同様の効果を奏すると共に、上述のごとく目領域検出
位置と鼻孔中心との距離の変化に基づいて目の誤検出の
有無を調べ、目の未検出ばかりでなく目の誤検出があっ
ても、目の誤検出をさらに正確に判定して、目の未検出
及び誤検出割合でさらに確実に装置の機能異常を判定で
きるという利点がある。

【００８４】尚、上記実施の形態３、４においては、所
定期間Ｔの間に異常検出フラグオン画像が所定画像数割
合以上あった場合を装置異常と判定したが、異常検出フ
ラグオン画像が所定画像数に達したときの期間が所定期
間以下である場合に、装置異常と判定してもよい。

【００８５】実施の形態５．図１７〜図２２は瞬目状態
検出手段４の出力により装置の機能異常を判定するよう
にした実施の形態を示すものであり、図１７はこの実施
の形態による人物状態検出装置の概略構成図、図１８は
運転者状態検出の概略フローチャート、図１９は瞬目状
態検出のフローチャート、図２０は瞬目検出の画像での
説明図、図２１は動作状態検出のフローチャートであ
り、図２２は動作異常検出の画像での説明図である。

【００８６】図１７において、目領域検出手段２は２次
元撮像手段１で撮像した運転者ｐの顔画像中より目領域
を検出し、瞬目状態検出手段４は検出された目領域の開
閉状態を調べて運転者ｐの瞬目状態を検出する。次に、
かかる瞬目状態の検出結果に基づき、動作状態判定手段
３において装置が正常に機能しているか否かを判定し、
正常機能判定時には、従来と同様に、人物状態判定手段
５で運転者ｐの居眠り状態を判定し、警報手段６で居眠
り状態判定時に運転者ｐに警報を発すると共に、外部装
置に居眠り状態判定信号を送出する。他方、正常機能状
態でないと判定した場合には、人物状態判定手段５の動
作を停止させると共に、動作状態報知手段７に信号を送
出して運転者ｐ及び外部装置に装置が機能停止状態にあ
ることを報知する。尚、この実施の形態において、目領
域検出手段２、動作状態判定手段３、瞬目状態検出手段
４、人物状態判定手段５は人物状態検出部２０ｂを構成
する。

【００８７】次に、図１７の実施の形態の動作を図１８
により説明する。図１８において、先ずステップＳＴ１
０〜ＳＴ１４を実行後、ステップＳＴ２０で目領域検出
手段２により画像中より目領域を検出し目検出フラグを
立て、ステップＳＴ２１で目検出フラグの状態を調べ
て、目検出フラグがオフであれば処理を終える。目検出
フラグがオンであれば、ステップＳＴ４０で、後述する
ように瞬目状態検出手段４は目領域検出ステップＳＴ２
０により検出された目領域の画像データにより目の開閉
状態を判定して瞬目か否かを検出し、ステップＳＴ３０
において動作状態検出手段３により瞬目状態検出ステッ
プＳＴ４０における目閉フラグの状態を基に装置が正常
に動作しているか否かを検出し、異常状態検出フラグを
オン、オフする。

【００８８】続いて、ステップＳＴ３１において異常状
態フラグがオフか否かを調べ、オフであればステップＳ
Ｔ５０において居眠り判定処理、ステップＳＴ６０の警
報処理を行ってメインルーチンを終える。一方、異常状
態フラグがオンであれば、ステップＳＴ７０の動作状態
報知処理において装置の機能停止状態を運転者ｐに報知
すると共に、接続した外部装置に機能停止状態信号を送
出して処理の一巡を終える。

【００８９】次に、瞬目状態検出ステップＳＴ４０を図
１９により詳細に説明する。図１９において、ステップ
ＳＴ４０１で目領域検出手段２で検出された目領域ＬＥ
Ｒ、ＲＥＲの座標を読み出し、ステップＳＴ４０２で目
領域のＸ方向端部座標ＸＥＡＳとＸＥＡＥの差より目領
域の高さＥＨを求め、ステップＳＴ４０３で目領域の判
定画像での高さＥＨと前画像での高さＥＨＯＬＤとの差
ＤＥＨを求める。

【００９０】図２０に示すように、目の正常検出時には
目領域３５の高さＥＨは開眼時には大きく、閉眼時には
小さくなる。そこで、ステップＳＴ４０４で目領域での
差ＤＥＨを負の所定値ＤＥＨＣと比較し、差ＤＥＨが小
なるとき、即ち目領域の高さが前画像に比べ所定値ＤＥ
ＨＣを超えて小さくなっている場合には、目が開眼から
閉眼状態に移行したとして、ステップＳＴ４０５で目閉
フラグをオンする。逆に、ステップＳＴ４０４で差ＤＥ
Ｈが大なるときは、ステップＳＴ４０６で差ＤＥＨを正
の所定値ＤＥＨＯと比較し、差ＤＥＨが大なるとき、即
ち目領域の高さが前画像に比べ所定値ＤＥＨＯを超えて
大きくなっている場合には、目が閉眼から開眼状態に移
行したとして、ステップＳＴ４０７で目閉フラグをオフ
する。

【００９１】ステップＳＴ４０６で差ＤＥＨが小なると
き、即ち前後の画像で目の高さ変化が小さい場合には、
目の開閉眼状態に変化がないとしてステップＳＴ４０８
で前画像の目閉フラグの状態を調べ、目閉フラグがオン
であれば、ステップＳＴ４０５で判定画像の目閉フラグ
をオンに、目閉フラグがオフであれば、ステップＳＴ４
０７で目閉フラグをオフにして目閉フラグの状態を保持
する。

【００９２】最後に、ステップＳＴ４０９で、前画像の
目領域の高さＥＨＯＬＤを判定画像の値ＥＨで更新し
て、処理をメインルーチンに戻す。

【００９３】次に、図２１により、動作状態検出ステッ
プＳＴ３０の処理を説明する。目閉フラグ状態が決定す
ると、図２１において、先ずステップＳＴ９０１で瞬目
状態を調べるカウンターｉ、Ｎのリセットフラグがオン
であるか否かを調べ、オンであれば、ステップＳＴ９０
２で瞬目回数カウンターｉを０に、判定画像カウンター
Ｎを１にセットする。続いて、ステップＳＴ９０３で前
画像の目閉フラグ状態を調べ、目閉フラグがオフであれ
ば、ステップＳＴ９０４で判定画像の目閉フラグ状態を
調べて、目閉フラグがオンである場合、即ち目が開眼状
態から閉眼状態に変化した場合には、ステップＳＴ９０
５でカウンターｉを１つインクリメントする。

【００９４】次に、ステップＳＴ９０６で判定画像の数
Ｎが所定画像数ＮＯに達したか否かを判定し、ＮがＮＯ
以上の場合は、ステップ９０７でカウンターｉの内容を
調べる。ＮがＮＯに達しない場合には、ステップＳＴ９
０８でカウンターＮを１つインクリメントし、ステップ
ＳＴ９０９で異常状態フラグをオフし、ステップＳＴ９
１０でカウンターリセットフラグをオフした後、処理を
メインルーチンに戻す。

【００９５】ステップ９０７でカウンターｉの内容が
０、即ち所定期間Ｔの間全く瞬目が検出されなかった場
合は、瞬目が正常に検出されておらず装置が異常だとし
て、ステップ９１１で異常状態フラグをオンし、最後に
ステップＳＴ９１２でカウンターリセットフラグをオン
して処理をメインルーチンに戻す。カウンターｉの内容
が０以外の場合には、異常状態フラグの内容を変えずに
ステップＳＴ９１２を実行する。ここで、所定期間Ｔは
人の瞬目の間隔より個人差を考慮した最大想定値として
おく。

【００９６】図２２は装置の正常動作時と異常動作時の
目閉フラグの変化状態を示すもので、目が正常に検出さ
れている場合には、画像４から画像５で目が開状態から
閉状態に移るため、図２０に示すように、目領域３５の
高さＥＨの減少が大きく、画像５で目閉フラグがオンと
なり、画像７から画像８で目が閉状態から開状態に移る
ため、同様に高さＥＨの増加が大きく、画像８で目閉フ
ラグがオフとなる。前記動作状態検出ステップＳＴ３０
では、かかる目閉フラグがオフからオンに変化する回数
をカウンターｉで数えており、かかる場合には画像４か
ら画像５でｉがインクリメントされるため、異常状態フ
ラグはオフのままになっている。

【００９７】これに対し、画像３以降眉を目と誤認した
異常動作時においては、画像２から画像３で、図２０に
示すように、眉の高さＥＨがどちらかというと開眼時の
目の高さＥＨに近いため目閉フラグがオフのままとな
り、目の開閉が行われる画像４から画像５、画像７から
画像８においても目閉フラグがオフ状態が続き、結局瞬
目が検出されずにカウンターｉの内容が０のままとなっ
て、異常状態フラグがオンされる。

【００９８】即ち、かかる実施の形態によれば、所定期
間毎の瞬目状態を調べ、所定期間に渡って瞬目が全く検
出できない場合に装置が異常と判定し、人物状態検出手
段５以降の動作を停止すると共に、動作状態報知手段７
に信号を送出して、運転者ｐ及び外部装置に人物状態検
出装置が機能停止状態にあることを報知するようにした
ので、実施の形態１と同様の効果を奏すると共に、目の
検出状態に拘わらず簡単なアルゴリズムでの瞬目状態の
判断のみで装置の異常を判定するようにしたため、より
高速な処理が可能となる。

【００９９】実施の形態６．図２３は瞬目状態により装
置の機能異常を判定する他の実施の形態の動作状態検出
ステップのフローチャートである。図２３において、先
ずステップＳＴ９０１〜ＳＴ９０５を実行した後、ステ
ップＳＴ９２１で上記判定画像カウンターＮが所定画像
数ＮＯに達したか否かを判定し、ＮがＮＯ以上の場合
は、ステップ９２２で上記瞬目回数カウンターｉの内容
を所定の最高許容数ＮＵＬと比較する。ここで、ＮＵＬ
は画像数ＮＯにフレーム期間を掛けた期間Ｔにおける人
の群発性瞬目の最大想定回数としておく。ＮがＮＯに達
しない場合には、ステップＳＴ９２３でカウンターＮを
１つインクリメントし、ステップＳＴ９２４で異常状態
フラグをオフし、ステップＳＴ９２５でカウンターリセ
ットフラグをオフした後、処理をメインルーチンに戻
す。

【０１００】ステップＳＴ９２２でカウンターｉの内容
が所定の最高許容数ＮＵＬを越えた場合、即ち所定期間
Ｔの間に前記最大想定回数以上の瞬目が検出された場合
は、瞬目が正常に検出されておらず装置が異常だとして
ステップＳＴ９２６で異常状態フラグをオンし、最後に
ステップＳＴ９２７でカウンターリセットフラグをオン
して処理をメインルーチンに戻す。カウンターｉの内容
がＮＵＬ以下の場合には、異常状態フラグの内容を変え
ずにステップＳＴ９２７を実行する。

【０１０１】例えば、図示しないが、目の細い人のごと
く目領域３５の高さＥＨの変化が小さく、図１９に示す
差ＤＥＨが閾値ＤＥＨＣ、ＤＥＨＯに近い場合は、閾値
ＤＥＨＣ、ＤＥＨＯの決め方によっては目の実際の開閉
状態によらず目の開閉判定を多数回繰り返す場合があ
る。この場合、上記カウンターｉの回数が極めて大きな
値となるため、ステップＳＴ９２２で異常と判定され、
ステップ９２６で異常状態フラグがオンされる。

【０１０２】即ち、かかる実施の形態においても、実施
の形態５と同様の効果を奏すると共に、瞬目回数が異常
に多い場合に装置の機能異常を判定するようにしたた
め、判定期間内で異常動作中に稀に正常動作を行う場合
でも、装置の異常を確実に判定できる。

【０１０３】尚、上記実施の形態では、所定期間に所定
画像数割合以上瞬目が検出された場合を装置異常と判定
したが、瞬目検出画像が所定画像数に達したときの期間
が所定期間以下である場合に、装置異常と判定してもよ
い。

【０１０４】実施の形態７．図２４は瞬目状態により装
置の機能異常を判定する更に他の実施の形態の動作状態
検出手段のフローチャートである。図２４において、実
施の形態６と同様ステップＳＴ９０１〜ＳＴ９０５を実
行した後、ステップＳＴ９３１で上記判定画像カウンタ
ーＮが所定画像数ＮＯに達したか否かを判定し、ＮがＮ
Ｏ以上の場合は、ステップＳＴ９３２で前期間における
瞬目回数カウンターｉの内容ＮＯＬＤを読み出し、ステ
ップＳＴ９３３で瞬目回数カウンターｉの内容とＮＯＬ
Ｄとの差の絶対値ＤＮを、カウンターｉの内容とＮＯＬ
Ｄとの和の平均値で割った値ＲＮ、即ち判定期間毎の瞬
目回数の変化率を求める。一定期間に生じる瞬目回数は
個人により異なるが、瞬目回数の時間的変化は個人によ
らず小さい。そこで、ステップＳＴ９３４で前記ＲＮを
所定許容値ＲＮＬと比較し、ＲＮが所定の最高許容数Ｒ
ＮＬを超えた場合、即ち所定期間の瞬目回数の変化が急
に大きくなった場合は、瞬目が正常に検出されておらず
装置が異常だとしてステップＳＴ９３５で異常状態フラ
グをオンし、最後にステップＳＴ９３６で前記ＮＯＬＤ
でカウンターｉの内容を置き換え、ステップＳＴ９３７
でカウンターリセットフラグをオンして処理をメインル
ーチンに戻す。前記ＲＮが所定許容値ＲＮＬ以下の場合
には、異常状態フラグの内容を変えずにステップＳＴ９
３６以下を実行する。ステップＳＴ９３１でＮがＮＯに
達しない場合には、ステップＳＴ９３８でカウンターＮ
を１つインクリメントし、ステップＳＴ９３９で異常状
態フラグをオフし、ステップＳＴ９４０でカウンターリ
セットフラグをオフした後、処理をメインルーチンに戻
す。

【０１０５】かかる実施の形態においても、実施の形態
６と同様の効果を奏すると共に、瞬目状態の個人差によ
らず、確実に装置の機能異常を判定できるという利点が
ある。

【０１０６】尚、上記実施の形態では、所定期間毎の瞬
目回数の変化が所定値以上の場合を装置異常と判定した
が、所定瞬目検出回数毎の期間の変化が所定値以上の場
合を装置異常と判定してもよい。

【０１０７】実施の形態８．図２５及び図２６は目領域
検出手段と瞬目状態検出手段の双方の出力により装置の
機能異常を判定するようにした実施の形態を示すもので
あり、図２５は人物状態検出装置の概略構成図、図２６
は運転者状態検出の概略フローチャートである。

【０１０８】図２５において、目領域検出手段２は２次
元撮像手段１で撮像した運転者ｐの顔画像中より目領域
を検出し、かかる目領域の検出結果に基づき、動作状態
判定手段３において装置が正常に機能しているか否かを
判定し、正常機能状態と判定した時には、瞬目状態検出
手段４は検出された目領域の開閉状態を調べて運転者ｐ
の瞬目状態を検出し、異常機能状態と判定した時には、
動作状態判定手段３は瞬目状態検出手段４の動作を停止
させると共に動作状態報知手段７に信号を送出し、動作
状態報知手段７は運転者ｐ及び外部装置に装置が機能停
止状態にあることを報知する。

【０１０９】次に、瞬目状態検出手段４における瞬目状
態の検出結果に基づき、第二の動作状態判定手段９にお
いて装置が正常に機能しているか否かを判定し、正常機
能状態との判定時には、瞬目状態の検出結果に基づき人
物状態判定手段５で運転者ｐの居眠り状態を判定し、警
報手段６により居眠り状態判定時に運転者ｐに警報を発
すると共に外部装置に居眠り状態判定信号を送出する。
他方、異常機能状態との判定時には、人物状態判定手段
５の動作を停止させると共に、動作状態報知手段７に信
号を送出して、同様に装置が機能停止状態にあることを
報知する。尚、この実施の形態において、目領域検出手
段２、動作状態判定手段３、瞬目状態検出手段４、人物
状態判定手段５、第二の動作状態判定手段９は人物状態
検出部２０ｃを構成する。

【０１１０】次に、図２５の実施の形態の動作を図２６
により説明する。図２６において、先ずステップＳＴ１
０〜ＳＴ１４を実行後、ステップＳＴ２０で目領域検出
手段２により画像中より目領域を検出して目検出フラグ
の状態を決定し、ステップＳＴ３０で動作状態検出手段
３により目領域検出ステップＳＴ２０における目検出フ
ラグの状態を基に装置が正常に動作しているか否かを検
出し、正常動作であれば、異常状態検出フラグをオフに
して、異常動作であれば、異常状態検出フラグをオンに
する。続いて、ステップＳＴ３１において異常状態フラ
グがオフか否かを調べ、オフであれば、ステップＳＴ４
０で瞬目状態検出手段４により目領域検出ステップＳＴ
２０で検出された目領域の画像データにより目の開閉状
態を判定して瞬目を検出し、目閉フラグの状態を決定す
る。

【０１１１】次に、ステップＳＴ９０で第二動作状態判
定手段により瞬目状態検出ステップＳＴ４０における目
閉フラグの状態を基に装置が正常に動作しているか否か
を検出し、異常状態検出フラグを再度オン、オフする。
続いて、ステップＳＴ９１において再度異常状態フラグ
がオフか否かを調べ、オフであればステップＳＴ５０の
居眠り判定処理、ステップＳＴ６０の警報処理を行って
メインルーチンを終える。

【０１１２】ステップＳＴ３１あるいはステップＳＴ９
１において、異常状態フラグがオンであれば、ステップ
ＳＴ７０で動作状態報知手段７において装置の機能停止
状態を運転者ｐに報知すると共に、接続した外部装置に
機能停止状態信号を送出して同様にメインルーチンを終
える。

【０１１３】ここで、動作状態検出ステップＳＴ３０の
詳細な処理は、実施の形態１の図８、実施の形態２の図
９、実施の形態３の図１０のいずれによってもよいし、
また実施の形態４のごとく目領域検出ステップＳＴ２０
と動作状態検出ステップＳＴ３０の中途に、特徴領域検
出ステップＳＴ３０を設けて、図１５の処理を行っても
よい。

【０１１４】また、第二動作状態検出ステップＳＴ９０
の処理は、実施の形態５の図２１、実施の形態６の図２
３、実施の形態７の図２４のいずれによってもよい。

【０１１５】かかる実施の形態においては、目の検出状
態と目の瞬目状態の双方で装置の機能異常を判定するよ
うにしたため、実施の形態１と同様な効果を奏すると共
に、目の未検出、誤認識、瞬目の誤判定のいずれがあっ
ても、正確に装置の異常を判定できるという利点があ
る。

【０１１６】尚、上記各実施の形態においては、２値画
像より目を検出する方式を示しているが、濃度階調画像
より直接目を検出するようにしてもよいし、居眠り状態
検出時に警報手段６で警報するのみならず覚醒手段で運
転者を覚醒させるようにしてもよい。

【０１１７】また、上記各実施の形態においては、車両
運転者の脇見、居眠り運転等の運転状態を判定する人物
状態検出装置について示したが、撮影された人物の顔画
像より瞬目状態を検出して前記人物の状態を判定する人
物状態検出装置に一般的に用いることができる。

【０１１８】この発明は、以上説明したごとく構成され
ているので、以下に示すような効果を奏するものであ
る。

【０１１９】この発明の請求項１に係る人物状態検出装
置は、２次元撮像手段により人物の顔面を含む所定領域
を撮像し、目領域検出手段により前記人物の顔画像より
目領域を検出し、瞬目状態検出手段により前記人物の瞬
目状態を検出し、人物状態判定手段によって少なくとも
前記瞬目状態検出手段の出力より前記人物の状態を判定
し、動作状態判定手段により前記目領域検出手段での目
未検出頻度を演算して前記人物状態検出装置の誤動作状
態を判定して、少なくとも前記人物状態判定手段の動作
を停止させると共に、動作状態報知手段により前記人物
及び外部装置の少なくとも一方に対して前記人物状態検
出装置の機能停止状態を報知するようにしたので、運転
者が装置の異常動作を速やかに認知でき、装置の動作状
態を誤認することなく装置の機能状態を常時正しく把握
できると共に、誤判定信号により外部装置の誤動作を招
く恐れがない。

【０１２０】この発明の請求項２に係る人物状態検出装
置は、前記人物の目領域が所定期間にわたり未検出であ
るか否かを調べ、未検出である場合に、前記人物状態検
出装置が誤動作状態であると判定するという単純なアル
ゴリズムであるため、高速に装置の機能異常を検知でき
る。

【０１２１】この発明の請求項３に係る人物状態検出装
置は、前記人物の目未検出頻度を演算して、所定期間内
の目領域未検出回数が所定値以上であるか、目領域未検
出回数が所定値となる期間が所定期間以下である場合
に、前記人物状態検出装置が誤動作状態であると判定す
るようにしたため、異常動作中に稀に正常動作があって
も装置の機能異常を判定できる。

【０１２２】この発明の請求項４に係る人物状態検出装
置は、前記人物の検出した目領域位置より目領域誤認状
態を判定しこの判定結果より前記人物状態検出装置の誤
動作状態を判定するようにしたため、目の未検出ばかり
でなく目の誤検出があっても確実に装置の機能異常を判
定できる。

【０１２３】この発明の請求項５に係る人物状態検出装
置は、前記人物の検出した左右の目領域の上下位置の差
あるいは左右位置の差の前画像からの変化に基づいて目
領域誤認状態を判定し、所定期間内の目領域誤認状態判
定回数が所定値以上であるか、目領域誤認状態判定回数
が所定値となる期間が所定期間以下である場合に、前記
人物状態検出装置が誤動作状態であると判定するように
したため、目の未検出ばかりでなく目の誤検出があって
も、確実に装置の機能異常を判定できる。

【０１２４】この発明の請求項６に係る人物状態検出装
置は、目領域以外の顔の左右対称な特徴点を検出し、左
右の各目領域位置と検出された前記特徴点との距離の差
あるいは距離の差の前画像からの変化に基づいて目領域
誤認状態を判定し、所定期間内の目領域誤認状態判定回
数が所定値以上であるか、目領域誤認状態判定回数が所
定値となる期間が所定期間以下である場合に、前記人物
状態検出装置が誤動作状態であると判定するようにした
ため、目の未検出ばかりでなく目の誤検出があっても、
さらに確実に装置の機能異常を判定できる。

【０１２５】この発明の請求項７に係る人物状態検出装
置は、目領域検出手段により検出された左右の各目領域
の前画像からの左右、上下位置の変化が人物の顔面の動
きに基づいて定められた所定範囲である場合にのみ目領
域誤認状態の有無を判定するようにしたため、顔の向き
の上下左右の変化による目領域誤認状態の誤判断をさけ
ることができる。

【０１２６】この発明の請求項８に係る人物状態検出装
置は、動作状態判定手段により前記人物の瞬目の検出頻
度を演算して瞬目検出頻度により前記人物状態検出装置
の誤動作状態を判定するようにしたため、目の検出状態
に拘わらず瞬目状態のみで装置の異常を判定することが
でき、目の誤検出の判定処理が不要となるので高速な処
理が可能となる。

【０１２７】この発明の請求項９に係る人物状態検出装
置は、請求項１、４の前記動作状態判定手段において正
常動作状態と判定された場合に、第二の動作状態判定手
段により前記瞬目検出頻度を演算して前記人物状態検出
装置の誤動作状態を再度判定し、誤動作状態判定時に前
記人物状態判定手段の動作を停止すると共に、動作状態
報知手段により前記動作状態判定手段あるいは第二の動
作状態判定手段の誤動作状態判定時に、前記人物及び外
部装置の少なくとも一方に対して前記人物状態検出装置
の機能停止状態を報知するようにしたため、目の未検
出、誤認識、瞬目の誤判定のいずれがあっても、正確に
装置の異常を判定できる。

【０１２８】この発明の請求項１０に係る人物状態検出
装置は、前記人物の瞬目が所定期間に渡り未検出である
場合に、前記人物状態検出装置が誤動作状態であると判
定するという単純なアルゴリズムで高速に装置の機能異
常を判定できる。

【０１２９】この発明の請求項１１に係る人物状態検出
装置は、前記人物の瞬目検出頻度を演算し、所定期間内
の瞬目検出回数が所定値以上であるか、瞬目検出回数が
所定値となる期間が所定期間以下である場合に、前記人
物状態検出装置が誤動作状態であると判定するようにし
たため、異常動作中に稀に正常動作があっても装置の機
能異常を判定できる。

【０１３０】この発明の請求項１２に係る人物状態検出
装置は、前記人物の瞬目検出頻度を演算し、前記所定期
間毎の瞬目検出回数の変化あるいは所定瞬目検出回数毎
の期間の変化が所定以上大きい場合に、前記人物状態検
出装置が誤動作状態であると判定するようにしたため、
瞬目状態の個人差によらず、確実に装置の機能異常を判
定できる。

【図面の簡単な説明】

【図１】この発明の第一の実施の形態の人物状態検出
装置の概略構成図である。

【図２】この実施の形態の運転者状態検出の概略フロ
ーチャートである。

【図３】動作状態報知手段の構成図である。

【図４】目領域検出のフローチャートである。

【図５】目存在領域設定の説明図である。

【図６】目候補領域帯設定の説明図である。

【図７】目候補領域設定の説明図である。

【図８】この実施の形態による動作状態検出のフロー
チャートである。

【図９】他の実施の形態による動作状態検出のフロー
チャートである。

【図１０】さらに他の実施の形態による動作状態検出
のフローチャートの一部である。

【図１１】さらに他の実施の形態による動作状態検出
のフローチャートの他部である。

【図１２】さらに他の実施の形態による動作異常検出
の画像での説明図である。

【図１３】別の実施の形態を示す運転者状態検出の概
略フローチャートである。

【図１４】特徴領域検出の詳細フローチャートであ
る。

【図１５】別の実施の形態による動作状態検出のフロ
ーチャートである。

【図１６】別の実施の形態による動作異常検出の画像
での説明図である。

【図１７】さらに別の実施の形態による人物状態検出
装置の概略構成図である。

【図１８】さらに別の実施の形態による運転者状態検
出の概略フローチャートである。

【図１９】瞬目状態検出のフローチャートである。

【図２０】瞬目検出の画像での説明図である。

【図２１】さらに別の実施の形態による動作状態検出
のフローチャートである。

【図２２】さらに別の実施の形態による動作異常検出
の画像での説明図である。

【図２３】他の実施の形態による動作状態検出のフロ
ーチャートである。

【図２４】さらに他の実施の形態による動作状態検出
のフローチャートである。

【図２５】他の実施の形態による人物状態検出装置の
概略構成図である。

【図２６】他の実施の形態の運転者状態検出の概略フ
ローチャートである。

【図２７】従来の人物状態検出装置のブロック構成図
である。

【図２８】従来の人物状態検出装置のハードウエア構
成図である。

【図２９】従来装置における顔画像の撮像例である。

【図３０】従来装置における目が観測できない顔画像
の撮像例である。

【符号の説明】

１２次元撮像手段、２目領域検出手段、３動作状
態判定手段、４瞬目状態検出手段、５人物状態判定
手段、６警報手段、７動作状態報知手段、９第二
動作状態判定手段、１０顔画像撮像部、１１ＣＣ
Ｄ、１２映像信号処理回路、１３撮像レンズ、１４
可視光カットフィルタ、１５光源駆動回路、１６
近赤外光源、２０ａ人物状態検出部、２０ｂ人物状
態検出部、２０ｃ人物状態検出部、２１入力Ｉ／
Ｆ、２２Ａ／Ｄ変換器、２３画像処理Ｈ／Ｗ、２４
画像メモリ、２５出力インタフェース、２６ＣＰ
Ｕ、２７ＲＯＭ、２８ＲＡＭ、２９バス、３０、
３０１原画像、３１２値画像、３２顔重心、３３
目存在領域、３４目候補領域帯、３５目候補領
域、６１警報スピーカー、７１インスツルメントパ
ネル、７２異常表示灯、ｃカメラ、ｐ運転者。

Claims

【特許請求の範囲】

【請求項１】人物の顔面を含む所定領域を撮像する２
次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像よ
り前記人物の目領域を検出する目領域検出手段と、前記目領域検出手段の出力より前記人物の瞬目状態を検
出する瞬目状態検出手段と、少なくとも前記瞬目状態検出手段の出力より前記人物の
状態を判定する人物状態判定手段と、前記目領域検出手段の出力より目未検出頻度を演算して
目未検出頻度により前記人物状態検出装置の誤動作状態
を判定する共に、誤動作状態判定時に少なくとも前記人
物状態判定手段の動作を停止させる動作状態判定手段
と、前記誤動作状態判定時に前記人物及び外部装置の少なく
とも一方に対して前記人物状態検出装置の機能停止状態
を報知する動作状態報知手段と、を備えたことを特徴と
する人物状態検出装置。
【請求項２】前記動作状態判定手段は、前記目領域検
出手段の出力より前記人物の目領域が所定期間にわたり
未検出である場合に、前記人物状態検出装置が誤動作状
態であると判定する請求項１に記載の人物状態検出装
置。
【請求項３】前記動作状態判定手段は、前記目領域検
出手段の出力より前記人物の所定期間内の目領域未検出
回数が所定値以上であるか、目領域未検出回数が所定値
となる期間が所定期間以下である場合に、前記人物状態
検出装置が誤動作状態であると判定する請求項１に記載
の人物状態検出装置。
【請求項４】人物の顔面を含む所定領域を撮像する２
次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像よ
り前記人物の目領域を検出する目領域検出手段と、前記目領域検出手段の出力より前記人物の瞬目状態を検
出する瞬目状態検出手段と、少なくとも前記瞬目状態検出手段の出力より前記人物の
状態を判定する人物状態判定手段と、前記目領域検出手段の目領域位置出力より目領域誤認状
態を判定し、この判定結果より前記人物状態検出装置の
誤動作状態を判定する共に、誤動作状態判定時に少なく
とも前記人物状態判定手段の動作を停止させる動作状態
判定手段と、前記誤動作状態判定時に前記人物及び外部装置の少なく
とも一方に対して前記人物状態検出装置の機能停止状態
を報知する動作状態報知手段と、を備えたことを特徴と
する人物状態検出装置。
【請求項５】前記動作状態判定手段は、前記目領域検
出手段により検出された左右の目領域の上下位置の差あ
るいは左右位置の差の前画像からの変化が所定値以上大
きい場合に、前記変化状態が解消されるまで目領域誤認
状態と判定し、所定期間内の目領域誤認状態判定回数が
所定値以上であるか、目領域誤認状態判定回数が所定値
となる期間が所定期間以下である場合に、前記人物状態
検出装置が誤動作状態であると判定する請求項４に記載
の人物状態検出装置。
【請求項６】前記目領域検出手段は目領域以外の顔の
左右対称な特徴点を検出し、前記動作状態判定手段は、
前記目領域検出手段により検出された左右の各目領域位
置と前記特徴点との距離の差あるいは距離の差の前画像
からの変化が所定値以上大きい場合に、前記変化状態が
解消されるまで目領域誤認状態と判定し、所定期間内の
目領域誤認状態判定回数が所定値以上であるか目領域誤
認状態判定回数が所定値となる期間が所定期間以下であ
る場合に、前記人物状態検出装置が誤動作状態であると
判定する請求項４に記載の人物状態検出装置。
【請求項７】前記目領域検出手段により検出された左
右の各目領域位置の前画像からの変化が人物の顔面の左
右、上下の動きに基づいて定められた所定範囲である場
合にのみ、目領域誤認状態の有無を判定する請求項５又
は請求項６に記載の人物状態検出装置。
【請求項８】人物の顔面を含む所定領域を撮像する２
次元撮像手段と、前記２次元撮像手段により得られた前記人物の顔画像よ
り前記人物の目領域を検出する目領域検出手段と、前記目領域検出手段の出力より前記人物の瞬目状態を検
出する瞬目状態検出手段と、少なくとも前記瞬目状態検出手段の出力より前記人物の
状態を判定する人物状態判定手段と、前記瞬目状態検出手段の出力より瞬目検出頻度を演算し
て瞬目検出頻度により前記人物状態検出装置の誤動作状
態を判定する共に、誤動作状態判定時に少なくとも前記
人物状態判定手段の動作を停止させる動作状態判定手段
と、前記誤動作状態判定時に前記人物及び外部装置の少なく
とも一方に対して前記人物状態検出装置の機能停止状態
を報知する動作状態報知手段と、を備えたことを特徴と
する人物状態検出装置。
【請求項９】前記動作状態判定手段の正常動作判定時
に、前記瞬目状態検出手段の出力より瞬目検出頻度を演
算して、瞬目検出頻度により前記人物状態検出装置の誤
動作状態を判定する共に、誤動作状態判定時に、少なく
とも前記人物状態判定手段の動作を停止させる第二の動
作状態判定手段を更に備え、前記動作状態判定手段ある
いは前記第二の動作状態判定手段の誤動作状態判定時
に、前記動作状態報知手段により前記人物及び外部装置
の少なくとも一方に対して前記人物状態検出装置の機能
停止状態を報知することを特徴とする請求項１又は請求
項４に記載の人物状態検出装置。
【請求項１０】請求項８の前記動作状態判定手段ある
いは請求項９の前記第二の動作状態判定手段は、前記瞬
目状態検出手段の出力より前記人物の瞬目が所定期間に
渡り未検出である場合に、前記人物状態検出装置が誤動
作状態であると判定する請求項８又は請求項９に記載の
人物状態検出装置。
【請求項１１】請求項８の前記動作状態判定手段ある
いは請求項９の前記第二の動作状態判定手段は、前記瞬
目状態検出手段の出力より前記人物の所定期間内の瞬目
検出回数が所定値以上であるか、瞬目検出回数が所定値
となる期間が所定期間以下である場合に、前記人物状態
検出装置が誤動作状態であると判定する請求項８又は請
求項９に記載の人物状態検出装置。
【請求項１２】請求項８の前記動作状態判定手段ある
いは請求項９の前記第二の動作状態判定手段は、前記瞬
目状態検出手段の出力より前記人物の所定期間毎の瞬目
検出回数の変化あるいは所定瞬目検出回数毎の期間の変
化を求める共に、前記所定期間毎の瞬目検出回数の変化
あるいは所定瞬目検出回数毎の期間の変化が所定値以上
大きい場合に、前記人物状態検出装置が誤動作状態であ
ると判定する請求項８又は請求項９に記載の人物状態検
出装置。