JPH10236181A

JPH10236181A - 居眠り状態検出装置

Info

Publication number: JPH10236181A
Application number: JP5563497A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-02-24
Filing date: 1997-02-24
Publication date: 1998-09-08
Anticipated expiration: 2017-02-24
Also published as: JP3500891B2

Abstract

(57)【要約】【課題】眼の位置を確実に検出し居眠り状態を安定し
て検出する。【解決手段】ＴＶカメラで撮影された顔の入力画像に
ついて、顔の縦方向の画素列の濃度のピークから第１の
ポイントを抽出し、隣接する画素列の第１のポイントを
つなげて顔の横方向に伸びる曲線群を抽出する。この曲
線群のなかから顔における眼と眉など他の部分との一般
的な位置関係の特徴を利用して、眼を表わす曲線を識別
して眼の位置を検出する。次いで眼の位置を含む所定領
域を設定し、その中で第１のポイントと同様に眼の位置
を示す第２のポイントを抽出するとともに、その前後
（上下）に濃度の高まりの境界点間隔を基に眼の開度を
検出しその開閉状態の変化から覚醒度を判定する。第１
および第２のポイントの抽出は、濃度の微分値が負から
正に反転する濃度ピークＡを特定しその前後の最小、最
大微分値Ｂ、Ｃが所定値を越える条件を満足するかの判
定によって行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の画像データを
演算処理して、車両の運転者、船舶の操船者、プラント
等のオペレータ等の居眠り状態を検出する居眠り状態検
出装置に関する。

【０００２】

【従来の技術】従来の画像処理による居眠り状態検出装
置としては、例えば、特開平５−３４６０９４号公報に
記載されたようなものがある。これは、運転者の顔面を
撮影した濃淡画像データを二値化処理し、得られた二値
化画像において濃度投影、ラベリング処理等を行なうこ
とで眼の位置を検出して、開閉眼の状態変化から居眠り
状態を検出するようにしている。

【０００３】このほか、濃淡画像を処理対象としたもの
で、居眠り状態検出にも用いることができる車両運転者
の眼の位置検出装置としては、特願平８−１０１９０４
号に記載されたようなものを本出願人は提案している。
ここでは、被撮影者の顔面画像を用いて顔の縦方向の画
素列に沿って画素の濃度を検出し、画素列における濃度
の局所的な高まり毎に１個ずつの画素を定めて抽出ポイ
ントとし、隣接画素列の画素列方向に近接した抽出ポイ
ントを連結して顔の横方向に伸びる曲線群から眼の位置
検出することによって、居眠り状態を検出するようにし
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記前
者のものにあっては、図３６に示すように例えば眼に髪
の毛が重なってしまった場合、髪の毛は、ほぼ眼と同一
階調の濃度値であるため、２値化処理後の画像において
眼は単独したラベルにならないので、眼の位置、眼の開
閉状態を認識できなくなるという問題があった。

【０００５】またこれを解決すべく提案した後者の場合
は、コスト的にカメラの画角を固定せざるを得ない。こ
の場合、個人差により図３７に示すように画角に対して
顔の位置が極端に低くなることがある。このような場
合、例えば画素列Ｘａ上の平均濃度値は図３８の（ａ）
に示すようになり、抽出対象としたい眉や眼の他に髪の
毛の部分を含むことになる。したがってその微分値分布
図（ｂ）に基づいて眉と眼のポイントｐ２、ｐ３を抽出
するときに、その抽出条件である所定値以下の微分値ピ
ークｑ２、ｑ３を持つのと同様に髪の毛のポイントｐ１
がｑ１を持ち、抽出される。Ａ１、Ａ２、Ａ３は抽出ポ
イントのＹ座標を表わす。このように抽出対象として考
えている眼、眉、鼻、口などに加え、髪の毛の部分まで
も抽出対象となることで、眼の選択精度が低下するとい
う問題点があった。本発明は、上記従来の問題に鑑み、
運転者の髪型や顔の位置の違いなどに対応でき、眼の位
置、開閉状態をより一層確実に検出し居眠り状態検出を
常に安定して行なうことができる居眠り状態検出装置を
提供することを目的としている。

【０００６】

【課題を解決するための手段】このため、請求項１記載
の発明は、図１に示すように、顔の画像データを処理し
て居眠り状態を検出する居眠り状態検出装置において、
顔画像を入力する画像入力手段１と、顔の縦方向の画素
列に沿って画素の濃度を検出する濃度検出手段２と、前
記画素列に沿う濃度の片方向のピークの、その前後の濃
度微分値が所定値を越える画素を特定して第１のポイン
トを抽出する第１のポイント抽出手段３と、隣接する画
素列の画素列方向に近接した前記第１のポイントを連結
して顔の横方向に伸びる曲線群を抽出する曲線群の抽出
手段４と、前記曲線群から眼の曲線を特定して眼の位置
を検出する眼の位置検出手段５と、眼を含む所定領域内
で縦方向の画素列に沿う濃度の片方向のピークの、その
前後の濃度微分値が所定値を越える画素を特定して第２
のポイントを抽出する第２のポイント抽出手段６と、隣
接する画素列の画素列方向に近接した第２のポイントの
有無による顔の横方向への連続性を判定する連続性判定
手段７と、連続した第２のポイントの抽出データを基に
眼の開度を検出する眼の開度検出手段８と、眼の開度に
基づき眼の開閉状態の変化から覚醒度を判定する覚醒度
判定手段９とを有するものとした。

【０００７】請求項２記載の発明は、前記第１のポイン
ト抽出手段３あるいは第２のポイント抽出手段６が、前
記画素列に沿う走査で、所定値を越える濃度の最小微分
値を負微分値区間から求めるとともに、微分値が負から
正に反転する画素を記憶し、続いた正微分値区間から前
記とは別の所定値を越える最大微分値を検出することに
よって、前記微分値が負から正に反転する画素を抽出し
第１あるいは第２のポイントとするものとした。

【０００８】請求項３記載の発明するは、前記第１のポ
イント抽出手段３あるいは第２のポイント抽出手段６
が、前記画素列に沿う走査で、所定値を越える濃度の最
小微分値を負微分値区間から求めるとともに、微分値が
負から正に反転する画素を記憶し、所定区間内で前記と
は別の所定値を越える正微分値を検出することによっ
て、前記微分値が負から正に反転する画素を抽出し第１
あるいは第２のポイントとするものとした。

【０００９】また、前記第１のポイント抽出手段３ある
いは第２のポイント抽出手段６において、前記最小微分
値と前記正微分値の大きさ判定を行なう所定値を越える
最初の正微分値の画素間の距離が判定値以上の場合に
は、微分値が負から正に反転する画素を第１あるいは第
２のポイントの抽出から除外する処理を施すことが可能
である。

【００１０】さらに、前記第１のポイント抽出手段３あ
るいは第２のポイント抽出手段６において、前記正微分
値の大きさ判定を行なう所定値を越える最初の正微分値
が検出される前に、前記最小微分値よりさらに小さい値
を有する他の最小微分値がある場合には、前記微分値が
負から正に反転する画素を第１あるいは第２のポイント
の抽出から除外する処理を施すことも可能である。

【００１１】なお、前記微分値が負から正に反転する画
素に続いて、濃度変化のない０微分値の画素が所定数以
上に存在する場合には、前記微分値が負から正に反転す
る画素を第１あるいは第２のポイントの抽出から除外す
るのが望ましい。前記最大微分値あるいは正微分値の大
きさ判定を行なう所定値は前記最小微分値に応じて大き
さが変化するのが望ましい。

【００１２】

【作用】請求項１記載の発明では、まず、画像入力手段
１で入力された顔画像について、濃度検出手段２により
縦方向の画素列に沿って画素の濃度が検出される。そし
て、第１のポイント抽出手段３が、前後に所定値以上の
微分値を有する濃度のピークの画素を抽出して第１のポ
イントとする。曲線群の抽出手段４が第１のポイントを
隣接する画素列間で近接したものを繋げ、顔の横方向に
伸びる曲線群を抽出する。個々の曲線は、画像の明かる
い部分を横方向に横断する暗い部分を代表しており、
眼、眉、口等を表わす。眼の位置検出手段５は、たとえ
ば眼は顔の両側にあり、眼と眉とは上下に近い位置にあ
るという特徴を利用して、上記の曲線群から眼を表わす
曲線を識別して眼の位置を検出する。

【００１３】次いで、第２のポイント抽出手段６におい
て、眼の位置を含む所定領域を設定し、その中で第１の
ポイントと同様に第２のポイントを抽出する。第２のポ
イントが隣接する画素列間で近接して顔の横方向へ連続
することを連続性判定手段７で確認したあと、第２のポ
イントの抽出データを基に開度検出手段８が眼の開度を
検出する。そして、覚醒度判定手段９において、眼の開
度に基づいて眼の開閉状態の変化から覚醒度を判定す
る。

【００１４】顔の横方向に伸びる曲線群を抽出したう
え、顔における眼と眉など他の部分との一般的な位置関
係の特徴を利用して、眼を表わす曲線を識別して眼の位
置を検出するので、被撮影者の体格や姿勢の違いなどが
あっても容易確実に眼の位置を検出することができる。

【００１５】請求項２記載の発明では、微分値が負から
正に反転する画素は濃度のピークに対応しており、前記
第１のポイントあるいは第２のポイントとして抽出する
際、微分値が反転する前後の負、正微分値区間から最
小、最大微分値を求め、所定値による強度判定を行なう
ので、抽出されたポイントは境界のはっきりする暗い部
分の代表となり、眉、眼、口などに対応する。しわ、
影、等境界のはっきりしない暗い部分はピーク前後の微
分値強度が小さいので抽出対象から振り落とされ、質の
高い抽出となる。また、抽出ポイントは濃度のピークを
代表しており眼、眉、口のほぼ中心位置に対応する。

【００１６】請求項３記載の発明では、負微分値区間か
ら所定値を越える最小微分値を検出し、微分値が負から
正に反転する画素を前記第１のポイントあるいは第２の
ポイントとして抽出する際、所定区間内で所定値を越え
る正微分値を用いて強度判定を行なうので、最大値の求
めが不要となり、濃度値分布が歪んだり、変形したりし
た場合でもポイント抽出が可能となる。

【００１７】また、前記最小微分値と前記正微分値の大
きさ判定を行なう所定値を越える最初の正微分値の画素
間の距離が判定値以上の場合には、微分値が負から正に
反転する画素を第１あるいは第２のポイントの抽出から
除外するようにすると、微分値の分布曲線の変形による
誤抽出が防止される。

【００１８】さらに、前記第１のポイント抽出手段ある
いは第２のポイント抽出手段において、前記正微分値の
大きさ判定を行なう所定値を越える最初の正微分値が検
出される前に、前記最小微分値よりさらに小さい値を有
する他の最小微分値がある場合には、前記微分値が負か
ら正に反転する画素を第１あるいは第２のポイントの抽
出から除外するようにすると、微分値の分布曲線の変形
による誤抽出が防止される。

【００１９】なお、前記微分値が負から正に反転する画
素に続いて、濃度変化のない画素が所定数以上に存在す
る場合には、前記微分値が負から正に反転する画素を第
１あるいは第２のポイントの抽出から除外するようにす
ると、髪の毛などによる誤抽出が防止される。前記最大
微分値あるいは正微分値の大きさ判定を行なう所定値を
前記最小微分値に応じて大きさを変化させるようにすれ
ば、検出したい対象の濃度変化特徴に合わせポイントを
さらに高い精度で抽出することがである。

【００２０】

【発明の実施の形態】次に、本発明を自動車の運転者の
居眠り状態警報に適用した実施例について図面を参照し
て説明する。図２は、実施例の構成を示す図である。自
動車のインストルメントパネルに、運転者の顔部分を正
面から撮影するＴＶカメラ２１が設置されている。ＴＶ
カメラ２１で撮影された入力画像は、横（Ｘ）方向５１
２画素、縦（Ｙ）方向４８０画素で構成されており、Ａ
／Ｄ変換器２２で画素毎のアナログ電圧を例えば２５６
段階のデジタル値に変換されて、画像メモリ２３に格納
される。

【００２１】画像メモリ２３には、画像データ演算回路
２４が接続されている。画像データ演算回路２４は、画
像メモリ２３に格納された入力画像データに基づいて顔
の縦方向の画素列の濃度を検出し、画素列における濃度
の局所的な高まりとその濃度変化状態により後述する第
１のポイントを抽出し、第１のポイントの位置を示す二
次元データを内蔵のポイントメモリに記憶する。そし
て、各画素列について第１のポイントを抽出した後、隣
接する画素列の画素列方向に近接した第１のポイントを
つなげて顔の横方向への曲線群を抽出する。

【００２２】画像データ演算回路２４には、眼の位置検
出回路２５が接続され、続いて開閉眼検出回路２６が接
続されている。眼の位置検出回路２５は、曲線群から眼
の選択を行うことで眼の位置を検出する。開閉眼検出回
路２６は、位置検出された眼を含む所定領域内で縦方向
への濃度の高まりとその濃度の変化状態により後述する
第２のポイントを抽出し、第２のポイントの位置を示す
二次元データを内蔵のポイントメモリに記憶する。そし
て、顔の横方向への第２のポイントの連続性を判定し
て、連続データ内から眼の開度値を検出する。

【００２３】開閉眼検出回路２６には覚醒度判定回路２
７が接続され、覚醒度判定回路２７は開閉眼検出回路２
６より送出される開閉眼の検出結果から覚醒度を判定す
る。この覚醒度判定回路２７には警報装置２８が接続さ
れ、覚醒度が低下した居眠り状態の判定信号を受けて警
報を発生する。

【００２４】次に、上記構成における制御動作の流れを
図３のフローチャートにより説明する。ステップ３１で
は、ＴＶカメラ２１によって運転者の顔部分が撮影され
る。ステップ３２では、Ａ／Ｄ変換器２２によって画素
の濃度がデジタル値に変換された上で、画像メモリ２３
に１フレームの画像に対応する画像データが格納され
る。

【００２５】ステップ３３では、画像データ演算回路２
４において、眼の存在領域が設定されているかどうかを
チェックし、設定されていればステップ３６へ進み、設
定されていなければステップ３４へ進む。ここで、眼の
存在領域とは、後に図１３により説明するが、眼を含む
所定領域１００を示し、眼の開度検出の処理を行う領域
である。また、この眼を含む所定領域１００は、眼の追
跡領域としても用いられる。ステップ３４では、眼の位
置検出回路２５で、眼の位置検出を行う。眼の位置検出
の詳細について、図４のフローチャート及び図５〜図９
の説明図により後述する。

【００２６】ステップ３５では、眼を含む所定領域１０
０の横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を定
め、眼の存在領域（眼を含む所定領域）１００の設定を
行いステップ３６に進む。ステップ３６では、開閉眼検
出回路２６において、眼の開度検出を行う。眼の開度検
出の詳細については、図１０のフローチャート及び図１
１、図１２の説明図により後述する。

【００２７】ステップ３７では、ステップ３６で検出さ
れた眼の開度値より眼が正しく追跡されているか否かを
チェックし、正しく追跡されていればステップ３８へ進
み、正しく追跡されていないと判断されたときはステッ
プ３１１へ進む。ステップ３８では、眼の開度値により
開眼状態か閉眼状態かの判定を行う。続いてステップ３
９では、眼の追跡、つまり眼の存在領域の変更を行う。
眼の追跡の詳細については、図１３により後述する。

【００２８】ステップ３１０では、覚醒度の判定を覚醒
度判定回路２７により行い、覚醒状態であればステップ
３１に戻り、次のフレームの処理に移る。覚醒状態でな
ければ、ステップ３１２に進み、運転者を覚醒させるた
め警報装置２８を動作させて居眠り警報を発生させ、そ
の後ステップ３１に戻る。ステップ３１１では、眼の開
度値と眼の存在領域をクリアして、ステップ３１に戻
り、次のフレームの処理に移る。なお、上記のうちステ
ップ３１〜３２が本発明における画像入力手段を構成し
ている。

【００２９】図４は、ステップ３４における眼の位置検
出の処理動作の詳細を示す。ここでは、図５に示すよう
にＹ軸方向に４８０画素のライン（画素列）上のデータ
に対して、それぞれの画素列の濃度値データを演算処理
して第１のポイントとなる画素（Ｙ座標）を特定する。
すなわち、画素列上の濃度値の大きな変化を求め、その
局所的なピークを第１のポイントとする。このようなポ
イント抽出の処理を行い、１ライン終了すると、一つ隣
のラインの処理に移行する。そこでまず、ステップ４１
では、所定方向（Ｙ軸方向）の全ラインについてポイン
ト抽出が終了したかどうかをチェックする。

【００３０】ステップ４１で全ラインの第１のポイント
抽出が終了していないと判断されたときには、ステップ
４２に進む。ステップ４２では、所定方向の１ラインに
おいて濃度値の相加平均演算を行い、画素列上の相加平
均濃度値を求める。この処理は、画像デ−タ撮影時の濃
度値の変化の小さいバラツキを無くして濃度値の大局的
な変化を捉えることを目的としている。例えば、図５に
示す画素列Ｘａからは図６の（ａ）に示すような相加平
均濃度値が算出される。

【００３１】ステップ４３では、ステップ４２で算出し
た所定方向の１ライン相加平均濃度値を微分する。図６
の（ａ）に示す相加平均濃度値からは同図の（ｂ）に示
す微分値（微分データ）が得られる。次のステップ４４
では、ステップ４３の演算結果である図６の（ｂ）の微
分値により、同図の（ａ）における相加平均濃度が下向
きに凸となる暗さのピークに対応するポイント（Ｙ座
標）の抽出を行なう。微分値が負から正に反転するＹ座
標は、暗さのピークに対応しており、眼、眉、口などの
位置を示す座標となる。この濃度のピークポイントを、
その前後の濃度値の変化すなわち微分値が所定値以下あ
るいは以上であるか否かの判定によって第１のポイント
として抽出する。このポイントの抽出方法は、後に詳細
に説明する。ステップ４５では、第１のポイントを抽出
するポイント抽出の処理が１ライン終了すると、次のラ
インの処理に切り換え、ステップ４１へ戻り、処理を繰
り返す。

【００３２】ステップ４１で全ラインのポイント抽出が
終了したと判断されたときには、図７に示すような眼、
眉、口などを代表する第１のポイントが抽出されている
ことになる。つまり、図７のラインＸｃ上では、２つの
第１のポイントＡ１、Ａ２が抽出されており、ラインＸ
ｄ上では、Ａ１、Ａ２、Ａ３、Ａ４の４つの第１のポイ
ントが抽出されている。ステップ４２が本発明の濃度検
出手段を構成するとともに、このステップ４２およびス
テップ４３、４４が第１のポイント抽出手段を構成して
いる。

【００３３】ステップ４１で全ラインに関して第１のポ
イントの抽出が終了したと判断されると、ステップ４６
において、隣り合う各ラインの第１のポイントのＹ座標
値Ａ１、Ａ２、Ａ３、・・・・を比較する。そして、Ｙ座標
値の差が所定値（例えば１０画素）以内の場合には、Ｘ
軸方向につなげてグループ化し、連続データのグルー
プ番号、連続開始ライン番号、連続データ数を記憶
する。

【００３４】ステップ４６の具体的な処理内容を図８を
用いて説明する。ここでは、簡単にするためライン（画
素列）を１１本として説明する。ライン１〜１１でそれ
ぞれ抽出された第１のポイントは、ポイントごとに、
グループ番号（Ｇ）、Ｙ座標値（Ｙ値）、連続個数
（Ｎ）を付与されて連結データを形成している。図８に
示される３４個のポイントは、１０個のグループにまと
められている。

【００３５】ライン１には、Ｙ座標値１９２と２２９の
２つの第１のポイントがある。ライン１のＹ座標値が１
９２のポイントの左隣にはラインが存在しないので、こ
の段階では、他の連続データはないので、連続データの
グループ番号は１となる。また、Ｙ座標値２２９のポ
イントも同様の理由でこの段階での連続データは上記１
には存在しないので、連続データのグループ番号は、
次の２とする。

【００３６】次に、右隣のライン２には、Ｙ座標値が１
９１と２２４の２つの抽出ポイントがある。ライン２の
Ｙ座標値１９１のポイントは、左隣のライン１のＹ座標
値１９２と１０画素以内のポイントであるため、抽出ポ
イント１９２とつなげる抽出ポイントとして、連続デー
タのグループ番号を１とする。このとき、連続データ
数は２となる。ライン２のＹ座標値２２４のポイント
についても、同様に判定を行い、連続データのグループ
番号は２、連続データ数は２とする。

【００３７】次のライン３のＹ座標値３６０のポイント
では、左隣のライン２に３６０とＹ軸方向の画素数１０
以内になるポイントが存在しないので、の連続データ
のグループ番号は３となり、の連続データ数は１とな
る。なお、ステップ４６における、連続開始ライン番
号は、の連続データ数が１と判断されるポイントを有
するライン番号のことをいう。従って、例えば、Ｙ座標
値３６０のポイントでは３となる。ステップ４６では、
このようにして各ラインのポイントの連続性の判断を全
ラインについて終了するまで行い、曲線群を得る。終了
するとステップ４７へ移行する。

【００３８】ステップ４７では、先ず、連続データグ
ループの連続データ数を評価する。本実施例では、連続
データ数が５個以上あるときに、有効な連続データグル
ープを形成しているとする。次いで、有効連続データグ
ループについて、眼の位置の候補点データを形成する。
同じ連続データグループ番号を持つポイントのＹ座標値
の平均を算出して、連続ポイントの平均値として記憶す
る。この値は、そのグループの代表Ｙ座標値として用い
られる。また、連続開始ラインとその連続データ数から
連続終了ラインを求め、連続開始ラインと連続終了ラ
インのＸ座標値の平均値を算出して記憶する。この値
は、そのグループの代表Ｘ座標値となる。

【００３９】ステップ４８では、ステップ４７で得られ
た各連続グループデータを基に、各連続グループの長
さ、および（Ｘ、Ｙ）座標の位置関係から眼の位置を検
出する。すなわち、眼の特徴量を考えると、横に長く、
上に凸型の弓形形状であると定義づけることができる。
この定義づけに基づいて連結データの絞り込みを行う
と、眼は横に長いという条件から、ポイント連続数が５
ポイント以上続き、また、弓形形状であるという条件か
ら、連続開始ポイントと連続終了ポイントのＹ座標値の
差の小さい連続データを眼の候補として絞り込むことが
できる。これに基づき連続データの絞り込みを行うと、
図９の（ａ）に示すようなグループＧ１〜Ｇ６が有効デ
ータグループとして抽出される。

【００４０】次に、前述のステップ４７で算出した各グ
ループのＸ、Ｙ代表座標値の位置を考えると、図９の
（ｂ）に示すように、Ｘ座標方向での接近度合いによ
り、ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒに分類
できる。これは、左眼と右眼とはＸ座標方向に大きく離
れ、すなわち、顔の左右ほぼ対称に分かれ、左眼と左眉
とはＸ座標方向に大きく離れることはなく、右眼と右眉
も互いにＸ座標方向に大きく離れることはない。また、
鼻下の影により連結データとなったものや、口の連結デ
ータは中央部付近に位置する。

【００４１】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んでいくことで眼の
位置を容易に検出することができる。ＺＯＮＥ：Ｌに含
まれる連結データは、左眼と左眉であり、ＺＯＮＥ：Ｒ
に含まれる連結データは右眼と右眉であると判定する
と、図９の（ａ）では、眼の位置はＧ３とＧ４であり、
その座標値も特定できる。ステップ４６が発明の曲線群
の抽出手段を構成し、ステップ４７、４８が眼の位置検
出手段を構成している。

【００４２】図１０は、図３に示したステップ３６にお
ける眼の開度検出の処理動作の詳細を示す。ここでは、
図１１の（ａ）に示すようにＹ軸方向にライン（画素
列）上のデータに対して第２のポイント抽出の処理を行
ない、１ライン終了後に、１つ隣のラインの処理に移行
する。そこでまず、ステップ５１では、眼を含む所定領
域１００内で、Ｙ軸方向にライン上のデータに対して前
記眼の位置検出と同様のポイント抽出処理が終了したか
どうかをチェックする。

【００４３】ステップ５１のチェックで、全ラインにつ
いての第２のポイントの抽出が終了していないと判断さ
れたときは、ステップ５２へ進む。ステップ５２では、
縦方向の１ラインの濃度値の相加平均演算を行う。この
処理は、画像データ撮影時の濃度値の変化の小さなばら
つきをなくすことを目的としており、濃度値の大局的な
変化を捉えるために行う。図１１の（ｂ）は、同図の
（ａ）の画素列Ｘｃのラインデータの相加平均演算の処
理結果を示す。続いてステップ５３では、ステップ５２
で算出した相加平均値について微分演算を行う。処理結
果を図１１の（ｃ）に示す。

【００４４】次のステップ５４では、まず、ステップ５
３で算出した微分値により第２のポイント抽出を行う。
この第２のポイントの抽出方法は、前記第１のポイント
と同様に後に詳細に説明する。図１１の（ｃ）の微分値
が負から正に変化するポイントＡは、同図の（ｂ）にお
いてグラフが左向きに凸になるポイントとなり、濃度の
ピークポイントとなる。そのピークポイントの前後の微
分値が所定以下あるいは以上であるか否か、すなわち図
１１の（ｃ）のようにハッチング部分に入っているか否
かを判定することによって、濃度のピークポイントを第
２のポイントとして抽出する。そして、この条件を満足
する微分値をもつポイントＢ、Ｃを抽出する。ポイント
Ｂは微分値の負の最大値、ポイントＣは所定値を越えた
正の微分値の点となり、第２のポイントを含む縦方向の
画素列に沿う暗部と明かるい部分の境界点を表わしてい
る。ステップ５２〜５４は本発明の第２のポイント抽出
手段を構成している。

【００４５】ステップ５５では、第２のポイントが存在
するか否かをチェックし、存在すればステップ５６へ進
み、存在しなければステップ５１１へ進む。ステップ５
６では、先ずライン上の第２のポイントＡの前後の微分
値の最大値であるポイントＢとポイントＣ点のＹ座標方
向の間隔Ｈを求める。すなわち第２のポイントを含む画
素列に沿う暗部の長さを求める。次いで、縦方向の画素
列においてポイントＢとポイントＣが連続して存在する
場合には、各ラインについてその間隔Ｈを比較して、最
大値を更新する。

【００４６】ステップ５７では、各ラインにおいての第
２のポイントが連続して存在しているときに、第２のポ
イントのＸ軸方向への連続数のカウントアップを行う。
ステップ５８では、第２のポイントの連続数が所定値を
越えたか否かを判定し、越えていればステップ５９へ進
み、越えていなければステップ５１０へ進む。ステップ
５１０では、処理を次のラインへ切り換えてステップ５
１へ戻り、切り換えたラインについて上記の処理を繰り
返す。こうして第２のポイントの連続数が所定値になる
まで同じ処理を続ける。

【００４７】この処理中に、抽出ポイントの連続性が途
切れて、ステップ５５のチェックで第２のポイントが存
在しないと判定されたときは、ステップ５１１へ移行す
る。ステップ５１１では、ステップ５６で更新した抽出
点ＢとＣの間隔の最大値とカウンターをクリアしてステ
ップ５１０へ進み、ステップ５１０では次のラインへの
切り換えを行いステップ５１へ戻る。

【００４８】そして、ステップ５８で第２のポイントの
連続性が所定値を超えたときは、ステップ５９へ移行す
る。ステップ５９では、ポイントＢ、Ｃの間隔の最大値
を更新して記憶する。ステップ５９ではまた、連続デー
タ内での最大値のメモリの更新と、所定値を越える他の
連続データ間での更新も行う。

【００４９】また、請求項２で定義する微分値が負から
正に反転する画素に続く正微分値区間を設定する。後述
の図１５、図２０、図２１の第２ポイントの抽出条件で
は、図１１のＸＣライン上のように眼の中心に輝点が入
ったときは、濃度の暗いピーク点が２つとなり、最大微
分値が小さくなるので、ハッチング部分である所定値に
入らないことがある。このように、第２のポイントの抽
出条件を満足しないため、抽出ポイントの連続性が途切
れることがあり、眼のデータが図１２の（ａ）に例示す
るようにＬ１とＬ２に分割されることがある。しかし、
このような場合においても、ステップ５８の連続数の所
定数を眼の半分弱の長さに設定することにより、Ｌ１、
Ｌ２の両者が所定値を越える連続データとして抽出さ
れ、ステップ５９のポイントＢとポイントＣの間隔の最
大値の更新が、Ｈ１ｍａｘとＨ２ｍａｘにより行われ
る。

【００５０】もちろん、眼球に輝点が入ったにも拘わら
ず、第２のポイントＡと、眼とその周囲の明かるい部分
との境界点を示すポイントＢ、Ｃを連続して抽出できれ
ば、図１２の（ｂ）のように眼が一つの連続データＬ１
として扱われ、連続データ内の最大値Ｈ１ｍａｘがメモ
リに記憶されることになる。なお、図１２において、Ｄ
１、Ｄ２、Ｄ３区間はステップ５４での第２のポイント
の抽出条件を満たす抽出点のない箇所を、Ｌ１、Ｌ２区
間は抽出点が存在する箇所を示している。

【００５１】一方、ステップ５１において上述した処理
が終了したと判定されると、ステップ５１２へ移行し、
ポイントＢ、Ｃの間隔の最大値Ｈｍａｘを眼の開度値と
して出力する。ここでは、ステップ５７、５８が本発明
の連続性判定手段を構成し、ステップ５６、５９、５１
１、５１２が眼の開度検出手段を構成している。

【００５２】次に図３のフローチャートのステップ３
７、３９、３１１における眼の追跡および追跡ミスした
ときの復帰方法を図１３、図１４により説明する。図３
のフローチャートに基づいて、システムをスタートさせ
た直後には、第１フレームでは、当然眼の存在領域（眼
を含む所定領域）は設定されていない。したがって、ス
テップ３３のチェックで眼の存在領域はないと判断さ
れ、ステップ３４の眼の位置検出を経て、ステップ３５
で眼の存在領域１００が設定される。このとき、眼の中
心座標と眼の存在領域１００の中心座標は図１３の
（ａ）に示すように一致している。

【００５３】第１フレームについて一連の処理が終了し
て第２フレームの処理に移り、処理が再びステップ３３
へ進むと、今度はすでに眼の存在領域１００が設定され
ているため、眼の存在領域有りと判定される。これによ
り次はステップ３６へ進んで眼の開度検出を行ったあ
と、ステップ３７へ進む。このとき、眼が正しく捉えら
れている場合には、例えば図１３の（ｂ）に示すように
なる。ここでは、眼の存在領域１００は第１フレームで
設定された位置にあるのに対し、眼の位置は２フレーム
目に取り込まれた第２フレームの画像データにおける眼
の位置であるため、顔の動きなどにより、眼の中心点は
眼の存在領域１００の中心に対してずれた位置にある。
しかし、眼の存在領域１００の境界に眼が接しないかぎ
り、これまで説明してきた眼の開度検出を行うことがで
きる。

【００５４】ステップ３９では、このようにして捉えら
れた図１３の（ｂ）の眼の中心座標に眼の存在領域１０
０の基準点を変更する。これにより、運転者の顔の動き
に対応させることができる。図１３の（ｃ）、（ｄ）は
それぞれ第３フレーム、第４フレームで取り込まれた顔
の画像データにおける眼の位置と眼の存在領域１００と
の位置関係を示したものである。前フレームの処理にお
いて眼の存在領域１００の変更が行われているので、眼
の中心座標と眼の存在領域１００の中心座標とのずれは
小さくなっている。

【００５５】ステップ３７での眼の追跡が正しくなされ
ているか否かの確認は、眼の開度値を用いて行なわれ
る。すなわち、被撮影者である運転者が特定されてしま
えば、眼の開度値は開眼時〜閉眼時の範囲で変化するだ
けであることから、この範囲外の値が出力されたとき
は、眼の追跡ミスがあったと判定する。この場合は、ス
テップ３１１へ移行して、眼の開度の出力値と眼の存在
領域をクリアし、次のフレーム処理に移行する。そして
ステップ３３で、再び顔全体からの処理に入る。

【００５６】つぎに、ステップ３８における開閉眼の判
定の基準値について説明する。前述のように、運転者が
特定された場合、眼の開度の出力値は開眼状態から閉眼
状態の間で変化するから、開・閉眼の判定を行う基準値
つまり開閉眼を判定するスレッシュホールドは、その範
囲内にあることになる。ここでは、居眠り状態の人は熟
睡状態ではないため、完全に眼の閉じない場合もあるこ
とから、開眼・閉眼の中央値をスレッシュホールドとし
ている。

【００５７】つぎに、図３のフローチャートのステップ
３１０における覚醒度の判定について説明する。図１４
は、ステップ３８で出力される判定結果を示す開閉眼パ
ターンである。この開眼パターン上で覚醒度判定区間
（例えば１分程度）に出力される閉眼積算値が所定値
（例えば５）以上であるかどうかをチェックすることに
より、覚醒度を判定する。図１４の例においては閉眼
（ｃｌｏｓｅ）の積算値が７となっているので居眠りと
判定する。このようにして得られた覚醒度により居眠り
状態を検出することが可能となり、的確に警報装置を作
動させ、居眠り状態を解消させ、未然に居眠り事故等を
防ぐことができる。

【００５８】最後に、図４のステップ４４における第１
のポイント、および図１０のステップ５５における第２
のポイント抽出の詳細をフローチャートに基づいて説明
する。ここでは、図１５に示すように特定されたライン
上の微分値データに対して、微分値が負から正に反転す
るポイントＡを抽出する。抽出されたポイントＡに達す
るまでの負微分値更新区間（負微分値区間）において微
分値のピーク値である最小値が所定値以下、ポイントＡ
以降の正微分値更新区間（正微分値区間）において微分
値のピーク値である最大微分値が所定値以上かどうかを
判別し、すなわち負微分値更新区間内のピークポイント
Ｂと、正微分値更新区間内のピークポイントＣがハッチ
ング部分に入るという条件を満足する場合に、抽出され
たポイントＡを第１あるいは第２のポイントとする。

【００５９】そこで、眼の位置検出回路２５および開閉
眼検出回路２６に、ポイントのデータを記憶するポイン
トメモリの他にメモリｓｌｍｉｎ、メモリｓｌｍａｘ、
メモリｏｋｓｌｄ、カウンタｆｌ０、カウンタｍ、フラ
グｆｌｍａｘが備えられる。メモリｓｌｍｉｎは負微分
値更新区間内の最小微分値を記憶するものである。メモ
リｓｌｍａｘは正微分値更新区間内の最大微分値を記憶
するものである。カウンタｆｌ０は微分値が０となり、
かつ連続して検出されるときにその個数を計数するもの
である。カウンタｍは各ライン毎の抽出ポイント数を計
数するものである。フラグｆｌｍａｘは微分値が負から
正に変わるときに設定されるものである。メモリｏｋｓ
ｌｄは抽出されたポイントのＹ座標を記憶するものであ
る。

【００６０】まず、図１６のステップ８１で、ポイント
抽出の対象となるラインを特定して、ポイント抽出の処
理を開始する。ステップ８２では、各メモリ、カウン
タ、フラグの初期化を行なう。これによって、メモリｓ
ｌｍｉｎが０、メモリｓｌｍａｘが１０００、カウンタ
ｆｌ０が０、フラグｆｌｍａｘが０、カウンタｍが０に
設定される。ステップ８３では、１つのライン上の全て
の微分値について大きさ判定を行なったかどうかをチェ
ックする。全ての微分値についての大きさ判定を行なっ
ていない場合は、ステップ８４へ進む。

【００６１】ステップ８４では、判定対象となっている
微分値が負であるか否かを判断し、負の場合はステップ
８５へ進み、ここではその微分値がメモリｓｌｍｉｎが
記憶した微分値より小さいかどうかを判定する。判定対
象の微分値が記憶値より小さくなければ、図１７のステ
ップ８７へ進み、判定対象の微分値が記憶値より小さけ
ればステップ８６で、メモリｓｌｍｉｎ内の記憶値を更
新して、図１７のステップ８７へ進む。

【００６２】ステップ８７では、フラグｆｌｍａｘが設
定されているか、すなわちフラグｆｌｍａｘが１になっ
ているか否かをチェックする。フラグｆｌｍａｘが０の
場合はステップ８１０へ進み、フラグｆｌｍａｘが１に
なっている場合はステップ８８、ステップ８９を経て、
ステップ８１０へ進む。ステップ８１０では、各メモ
リ、フラグ、カウンタの初期化を行なう。これは微分値
が負である場合に、各メモリ、フラグ、カウンタを初期
状態に保つ処理で前回検出時のデータまたは検出途中の
ノイズによる記憶を削除するものである。ステップ８１
１では、Ｙ座標方向に判定対象を次の微分値に進めて、
ステップ８３に戻り、Ｙ座標が進んだ微分値について上
記の処理を繰り返す。こうして微分値が負でなくなるま
で同じ処理を続ける。この間の処理は図１５の負微分値
更新区間（負微分値区間）を形成するとともに、区間内
の最小微分値（ピークポイントＢ）が検出され、メモリ
ｓｌｍｉｎ内に記憶されることになる。

【００６３】そして、ステップ８４で、判定対象となる
微分値が負でないと検出されると、図１８のステップ８
１３へ進む。ステップ８１３では、判定対象となる微分
値が０であるかどうかを判別する。微分値が０の場合は
ステップ８１４へ進む。

【００６４】ステップ８１４では、まず、カウンタｆｌ
０の計数値が６になったかどうかをチェックし、計数値
が６未満の場合は、ステップ８１６へ進み、カウンタｆ
ｌ０の計数値が６になった場合は、ステップ８１５で、
フラグｆｌｍａｘとカウンタｆｌ０を初期化して、ステ
ップ８１６へ進む。ステップ８１６では、カウンタｆｌ
０をイクリメントして、ステップ８１７でＹ座標方向に
判定対象を次の微分値へ進めてステップ８３に戻る。

【００６５】０の微分値が連続して現われる場合は、上
記処理を繰り返すことになり、ステップ８１４でカウン
タｆｌ０の計数値が６になると、ステップ８１５でポイ
ントの抽出条件であるフラグｆｌｍａｘ、カウンタｆｌ
０を初期化して、フラグｆｌｍａｘ、カウンタｆｌ０を
０にする。０の微分値が連続して現われること（上記処
理が６回連続）は、髪の毛の部分に見られ濃度変化のな
い部分が長く続いていることである。フラグｆｌｍａ
ｘ、カウンタｆｌ０を初期化することで、髪の毛の部分
における黒くなってくる所で後述するフラグｆｌｍａｘ
が設定されるのをキャンセルし、髪の毛がポイントとし
て抽出されるのを防ぐ目的である。

【００６６】そして、ステップ８１３で、微分値が０で
ないと検出されると、図１９のステップ９１へ進む。ス
テップ９１では、負微分値更新区間でメモリｓｌｍｉｎ
に記憶された最小微分値が所定値より小さく、かつフラ
グｆｌｍａｘが０に設定されたという条件を満足するか
どうかをチェックする。満足する場合はステップ９２へ
進み、満足しない場合はステップ９３へ進む。

【００６７】ステップ９１に進んだことから、判定対象
の微分値が正であり、直前の微分値が負であった場合
は、微分値が負から正に反転するポイントＡを捉らえる
ことになる。そして、これまでの微分値が負であった場
合は、最小微分値のメモリｓｌｍｉｎが更新されてお
り、その記憶値が所定値以下という条件を満足したとき
に、捉らえたポイントが最小微分値判定条件を満足する
ことになる。ステップ９２では、負から正に反転する微
分値のＹ座標をメモリｏｋｓｌｄに記憶するともに、フ
ラグｆｌｍａｘを１に設定して、ステップ９３、ステッ
プ９４、ステップ９５を経てＹ座標方向に判定対象を次
の微分値へ進める。

【００６８】その後、正の微分値が入力されれば、フラ
グｆｌｍａｘが１に設定されているため、ステップ９３
へ進み、ここで判定対象となる微分値がメモリｓｌｍａ
ｘの記憶値と比較され、それより大きければステップ９
４において記憶値を更新してステップ９５へ進む。メモ
リｓｌｍａｘには初期化で１０００が設定されており、
１０００以上の微分値が更新されることになる。これに
よりデータの入れ換えが少なくなり、処理時間が速くな
る。ステップ９３で判定対象となる微分値がメモリｓｌ
ｍａｘの記憶値より小さい場合は、ステップ９５へ進
む。ステップ９５では、メモリｓｌｍｉｎ、カウンタｆ
ｌ０を初期化する。

【００６９】ステップ９６では、Ｙ座標方向に判定対象
を次の微分値へ進めて、ステップ８３に戻り、Ｙ座標が
進んだ微分値について上記の処理を繰り返す。この処理
は微分値が再び負になるまで行なわれる。その間の処理
は図１５の正微分値更新区間を形成するとともに、その
間の最大微分値（ピークポイントＣ）が検出されメモリ
ｓｌｍａｘに記憶されることになる。

【００７０】そして、負の微分値が再び現われ、図１６
のステップ８４で検出されるときに、ステップ８５の判
定によって図１７のステップ８７へ進む。ステップ８７
では、フラグｆｌｍａｘが１に設定されているか否かを
判定する。フラグｆｌｍａｘが１でなければ抽出ポイン
トなしとしてステップ８１０へ進み、フラグｆｌｍａｘ
が１であればステップ８８で、メモリｓｌｍａｘの記憶
値が所定値以上かどうかを判断し、所定値以上の場合
は、メモリｏｋｓｌｄに記憶してある画素はポイントの
抽出条件に満たし、ライン番号とＹ座標値からなる二次
元のデータをポイントメモリに記憶する。カウンタｍを
インクリメントして同じライン上の抽出ポイントを計数
させて、ステップ８１０へ進む。そしてステップ８８の
判断がメモリｓｌｍａｘの記憶値が所定値以上でない場
合は、抽出ポイントなしとしてステップ８１０へ進む。

【００７１】ステップ８１０では、メモリｏｋｓｌｄ、
メモリｓｌｍａｘ、カウンタｆｌ０、フラグｆｌｍａｘ
を初期化して、ステップ８１１へ進み、ここでＹ座標方
向に判定対象を次の微分値へ進めて、ステップ８３へ戻
り、上記の処理が再び行なわれる。最後にステップ８３
でＹ座標について全ての微分値を判定したと判断される
と、ステップ８１２へ進み、次のラインについての判断
に移る。

【００７２】本実施例は以上のように構成され、濃度の
ピークを代表し微分値が負から正に変わる画素をポイン
トとして抽出するときに、その画素に達するまでの濃度
値の最大変化（最小微分値）と、ポイント以降に濃度の
最大変化（最大微分値）をそれぞれ負微分値更新区間
と、正微分値更新区間において所定値と比較してポイン
トの抽出を行なうので、眼、眉、口など輪郭のはっきり
した暗い部分が抽出されることになる。抽出されるポイ
ントはそれらのほぼ中心位置に対応している。また最
小、最大微分値がポイントの抽出データとなるため、眼
の開度を検出する際それらを代表する画素の間隔が眼の
開度となり、特別な処理を要せず眼の開度検出ができ
る。個人差による顔の位置の違いにも十分対応でき、居
眠り状態の検出を常に安定して行うことができる。

【００７３】次に第２の実施例について説明する。この
実施例は、ポイントの検出精度を一層向上させたもので
ある。第１の実施例では、最小微分値と最大微分値の大
きさ判定に固定の所定値が使われているが、検出精度を
向上させる観点からすれば、微分値の大きさを判定する
所定値は極力小さく設定するのが望ましい。しかし所定
値を小さく設定すると、抽出対象外の髪の毛やしわ等が
ポイントとして抽出される可能性が大きくなる。

【００７４】そこで本実施例では、最大微分値の大きさ
判定を行なう所定値（基準値）を最小微分値の大きさに
従って変化させる。すなわち図２０のように負微分値更
新区間内で最小微分値が検出されると、それに基づいて
正微分値の大きさ判定を行なう所定値（基準値）の大き
さを設定して最大微分値の大きさ判断を行なうものであ
る。その他の構成は第１の実施例と同様である。

【００７５】従って、例えばピークポピントＢの微分値
が大きければ、正方向の微分値を検出する所定値が大き
く設定される。この結果、眼のように正負の微分値が大
きく変わらないものがポイントに代表されて抽出され
る。図３８に示す髪の毛に見られるように最小微分値ｑ
１が大きく、最大微分値が大きくならないポイントｐ１
は抽出されなくなる。

【００７６】次に、第３の実施例について説明する。こ
の実施例は、前記第２実施例と同様に正の微分値の大き
さを判定する所定値を最小微分値の大きさに従って変化
させる。ポイントの抽出は、ポイントＡに達するまでの
濃度値の最大変化が所定値以下であるか否かを、最小微
分値更新区間内のピークポイントＢの微分値が所定値以
下かどうかで判定する。この最小微分値が所定値以下で
ある場合に、この微分値を基準にＡ点以降の正微分値更
新区間内の所定値の大きさを設定し、この所定値を越え
る正微分値が検出されれば、ポイントＡを第１あるいは
第２のポイントとして抽出して、Ｙ座標値をメモリす
る。

【００７７】第１の実施例では、正微分値更新区間にお
いて所定値と比較する正微分値に最大微分値が用いられ
ている。そして最大微分値が眼の境界点を示すものとし
て眼の開度検出にも用いられるため、メガネをかけた対
象者の場合、夜間撮影用の赤外線ランプの光がレンズに
反射点としてあるときに、境界点に最大微分値が現われ
ない可能性がある。すなわち、図２１のように眼の黒部
分から白への濃度変化部分で、反射点による黒から白へ
の濃度変化ピークは２つが発生する可能性がある。この
ような場合に、ポイントの抽出に微分値の高いピークＤ
を用いると、眼の位置検出には問題ないが、眼の開度検
出ではピークＤが境界点として用いられるため、完璧な
眼の開度検出は難しくなる。本実施例では、これに対処
して、眼の境界点に近い、所定値を越える画素Ｃをポイ
ントＡの抽出データとして図２２〜図２５のフローチャ
ートにしたがって処理が行なわれる。

【００７８】眼の位置検出回路２３には、第１の実施例
と同様にメモリｓｌｍｉｎ、メモリｓｌｍａｘ、メモリ
ｏｋｓｌｄ、カウンタｆｌ０、カウンタｍ、フラグｆｌ
ｍａｘが備えられる。メモリｓｌｍａｘは用途を変え
て、Ｙ座標に沿う走査で所定値を越える最初の正微分値
を記憶する。

【００７９】図２２のステップ１２１〜ステップ１２８
は図１６の第１の実施例におけるステップ８１〜ステッ
プ８６と同様で、ラインを特定して、各メモリ、カウン
タ、フラグの初期化を行なう。判定対象となる負微分値
から最小値（ピークポイントＢ）がメモリｓｌｍｉｎに
記憶される。ステップ１２７はその最小値を検出する際
に、メモリ、フラグ、カウンタを初期状態に保ち、前回
検出時のデータや検出途中のノイズによる記憶を削除す
るための処理である。

【００８０】そして、ステップ１２４で、判定対象とな
る微分値が負でないと検出されると、図２４のステップ
１２１０へ進む。ステップ１２１０〜ステップ１２１３
は、図１８の第１の実施例におけるステップ８１３〜ス
テップ８１７と同様で、０の微分値の検出が６回続いた
ら、濃度変化のない髪の毛部分が検出されたとし、後述
する濃度が白から黒くなってくる所で設定されるフラグ
ｆｌｍａｘの設定をキャンセルして、誤検出を防止す
る。

【００８１】ステップ１２１０で、０でないと判定され
た場合は、図２５のステップ１３１へ進む。ステップ１
３１に進んだことは、判定対象の微分値が正であり、こ
れまでの微分値が負であった場合は、最小微分値のメモ
リｓｌｍｉｎが更新されており、その記憶値が所定値以
下という条件を満足したときに、負から正に反転するポ
イントＡが最小微分値判定条件を満足するポイントとな
る。

【００８２】ステップ１３１では、メモリｓｌｍｉｎに
記憶された最小微分値が所定値より小さく、かつフラグ
ｆｌｍａｘが１でないという条件に満足かどうかを判定
する。満足する場合はステップ１３２を経てステップ１
３３へ進み、満足しない場合はステップ１３３へ進む。

【００８３】ステップ１３２では、負から正に反転す
る微分値（ポイントＡ）のＹ座標をメモリｏｋｓｌｄに
記憶する。フラグｆｌｍａｘを１に設定する。メモ
リｓｌｍｉｎに記憶している最小微分値に係数をかけて
メモリｓｌｍａｘに記憶させる。こうして最小微分値に
比例する所定値が設定される。ステップ１３３で、フラ
グｆｌｍａｘが１かどうかをチェックし、１の場合はス
テップ１３４へ進み、１でない場合はステップ１３７へ
進む。

【００８４】ステップ１３４では、判定対象となる微分
値がメモリｓｌｍａｘの記憶値である所定値（基準値）
より大きいかどうかを判断し、大きくない場合は、ステ
ップ１３７へ進む。ステップ１３７では、メモリｓｌｍ
ｉｎ、カウンタｆｌ０を初期化して、ステップ１３８へ
進む。ステップ１３８では、Ｙ座標方向に判定対象を次
の微分値へ進めて、ステップ１２３に戻る。

【００８５】そして、ステップ１３４で、メモリｓｌｍ
ａｘの記憶値より大きい値を有する微分値が検出される
と、ポイントＡの抽出条件が満たされ、ステップ１３５
において、二次元のデータとしてライン番号とメモリｏ
ｋｓｌｄに記憶してあるＹ座標をポイントメモリに記憶
する。カウンタｍをインクリメントして同じライン上の
抽出ポイントを計数させたのち、ステップ１３６へ進
む。

【００８６】ステップ１３６では、メモリｏｋｓｌｄ、
メモリｓｌｍａｘ、カウンタｆｌ０、フラグｆｌｍａｘ
を初期化する。上記の処理を全ての微分値に対して行な
ったとステップ１２３で判定されたときに、ステップ１
２９において、次のラインでの判定に切り替えられる。

【００８７】本実施例は、以上のように構成され、最大
微分値の大きさ判定を行なう所定値を最小微分値の大き
さに基づいて設定し、その設定値を越えた最初の正の微
分値をポイント抽出の判定対象とすることによって、濃
度分布曲線が変形した場合でも、眼の境界点と対応関係
を持つポイント抽出データが得られ、前記第１の実施例
と同様の結果が得られるとともに、眼の開度検出が誤検
出を含まずに行なえる効果得られる。

【００８８】次に第４の実施例について説明する。この
実施例は、前記第３の実施例と同様に正の微分値の大き
さを判定する所定値を最小微分値の大きさに従って変化
させる。ポイントの抽出は、図２６に示すように、ポイ
ントＡ以降に所定値（基準値）より大きい微分値が検出
された場合、最小微分値のピークポイントＢと所定値に
達するポイントＣの間に、負微分値の出現に拘わらず、
ピークポイントＢとポイントＣの間のＹ座標方向の間隔
を判定値により判定して抽出を行なう。

【００８９】前記実施例では、所定値を越える正微分値
あるいは最大微分値の検出は正微分値区間内で行なわれ
ている。すなわち正微分値区間は眼の濃度ピークからそ
の境界点までカバーするものとして用いられている。し
かし眼球の中に輝点がある場合に、正微分値区間は輝点
までとなり、検出されるべきのポイントが不検出となる
可能性がある。本実施例では、所定値を越える正微分値
に検出区間を設けず正微分値と最小微分値の間の距離に
よりポイントを抽出するかどうかを決定する。図２７〜
図２９はポイント検出処理のフローチャートである。こ
こで、第３の実施例に示した構成の他にメモリｍｉｎｉ
ｉが備えられる。メモリｍｉｎｉｉは最小微分値のＹ座
標を記憶するものである。

【００９０】図２７のステップ１５１〜ステップ１５８
は前記実施例と同様に、ラインを特定して、各メモリ、
カウンタ、フラグの初期化を行なう。判定対象となる負
微分値から最小値（ピークポイントＢ）がメモリｓｌｍ
ｉｎに記憶されるとともに、ステップ１５６において最
小微分値のＹ座標をメモリｍｉｎｉｉに記憶させる。ス
テップ１５７はその最小値を検出する際に、カウンタｆ
ｌ０を初期状態に保ち、前回検出時のデータや検出途中
のノイズによる記憶を削除するための処理である。

【００９１】そして、ステップ１５４で、判定対象とな
る微分値が負でないと検出されると、図２８のステップ
１５１０へ進む。ステップ１５１０〜ステップ１５１４
は、図１８の第１の実施例におけるステップ８１３〜ス
テップ８１７と同様で、０の微分値の検出が６回続いた
ら、濃度変化のない髪の毛部分が検出されたとし、後述
する濃度が白から黒くなってくる所で設定されるフラグ
ｆｌｍａｘの設定をキャンセルして、誤検出を防止す
る。

【００９２】ステップ１５１０で、０でないと判定され
た場合は、図２９のステップ１６１へ進む。その後は第
３の実施例と同様に最小値に基づいた正微分値の所定値
設定が行なわれる。微分値が負から正に反転するポイン
トＡが検出されたあと、所定値を越える正微分値が検出
されると、ステップ１６５でそのＹ座標からメモリｍｉ
ｎｉｉに記憶してある最小微分値のＹ座標を引いてその
間の距離Ｆを求め、判定値（所定値）による判断で所定
距離以内の場合、ステップ１６６でポイントＡを第１あ
るいは第２のポイントとして抽出しライン番号とポイン
トのＹ座標をポイントメモリに記憶させる。この考え方
は、ピークポイントＢからのＹ座標方向の距離Ｆが上記
所定距離以内にポイントＣが出現しない場合に、ポイン
トＡに相当する第１あるいは第２のポイントの抽出から
除外するも適用できる。上記のような処理は全ての微分
値に対して行なうと、ステップ１５３で次のラインでの
判定に切り替えられる。

【００９３】本実施例は、以上のように構成され、最大
微分値の大きさ判定を行なう所定値を最小微分値の大き
さに基づいて設定し、その設定値を越えた最初の正の微
分値をポイント抽出の判定対象とする。判定対象につい
て、さらに最小微分値との距離間隔の判定を行なうの
で、前記実施例と同様な効果が得られるとともに、眼の
濃度データが途切れたときでも、ポイントの抽出が可能
である。

【００９４】次に、第５の実施例について説明する。こ
の実施例は第４の実施例の改良版として図３０に示すよ
うにポイントＡでの抽出条件満たされる前に、より濃淡
のはっきりしたポイントＡ１が対象外となってしまうこ
とを防止することを目的とする。すなわち図３０のよう
髪の毛を含む濃度データがある場合、第４の実施例で
は、白から髪の毛の黒い部分に変わるところで所定値を
越える最小微分値Ｂが検出される。そしてその最小微分
値Ｂを以て検出したいポイントＡ１を検出するときに所
定値を越える正微分値Ｃとの距離判定を行なうときに、
距離の判定値を越えポイントＡ１を抽出できなくなる。

【００９５】そこで、本実施例では最小微分値Ｂとポイ
ントＡが検出された後、所定値に達する微分値Ｃが現わ
れる前に、最小微分値Ｂ以上に小さい第２の最小微分値
Ｂ１が現われた場合、ポイントＡでの抽出条件判定をキ
ャンセルし、ポイント抽出を最小微分値Ｂ１をもつポイ
ントＡ１に切り換える処理を行なう。その他は第４の実
施例と同様である。

【００９６】ここで、第４の実施例に示した構成の他に
メモリｓｌｍｉｎ２とメモリｍｉｎｉｉ２、フラグｆｌ
ｍｉｎが備えられる。メモリｓｌｍｉｎ２は最小微分値
更新区間内の該当値を記憶するものである。メモリｍｉ
ｎｉｉ２は最小微分値更新区間内の該当値のＹ座標を記
憶するものである。フラグｆｌｍｉｎはメモリｓｌｍｉ
ｎ２の記憶値更新確認フラグで設定されたとき１とな
る。

【００９７】図３１〜図３５はポイント抽出のフローチ
ャートである。ステップ１８１〜ステップ１８１０は前
記実施例と同様に、ライン特定して、各メモリ、カウン
タ、フラグを初期化する。判定対象となる負微分値から
最小値Ｂがメモリｓｌｍｉｎに記憶されるとともに、ス
テップ１８６において最小微分値ＢのＹ座標をメモリｍ
ｉｎｉｉに記憶させる。

【００９８】ステップ１８７、ステップ１８８は、後述
の処理でメモリｓｌｍｉｎの記憶値である最小微分値Ｂ
よりさらに小さい第２の微分値Ｂ１が検出されたとき、
抽出をポイントＡからポイントＡ１に切り換えて行なう
ための処理である。すなわち抽出対象ポイントＡの仮抽
出が確認できるフラグｆｌｍａｘの設定確認と同時に、
現在の判定対象となっている微分値がメモリｓｌｍｉｎ
２の記憶値より小さいかどうかの判断を行なう処理であ
る。

【００９９】この際、判定対象の微分値がメモリｓｌｍ
ｉｎ２の記憶値より大きい場合は、ステップ１８９へ移
行し、第４の実施例と同様に通常の判定を続ける。判定
対象の微分値はメモリｓｌｍｉｎの記憶値より小さい場
合、第２の最小微分値Ｂ１が検出され、ステップ１８８
で最小微分値更新フラグｆｌｍｉｎを設定し、判定対象
の微分値に−０．５をかけて演算したものをメモリｓｌ
ｍａｘ記憶する。メモリｓｌｍｉｎ２、メモリｍｉｎｉ
ｉ２には第２の最小微分値Ｂ１の大きさとＹ座標をそれ
ぞれ再記憶させる。

【０１００】ステップ１８１２〜ステップ１８１６は、
第４の実施例のステップ１５１０〜ステップ１５１４と
同様で、０の微分値が６回続いたら、髪の毛が黒くなっ
てくる所で設定されるフラグｆｌｍａｘの設定をキャン
セルして、誤検出を防止する。そして、ステップ１８１
２で、０でないと判定された場合は、図３４のステップ
１９１へ進む。

【０１０１】ステップ１９１では、メモリｓｌｍｉｎに
記憶された最小微分値Ｂの記憶値が所定値以下、かつフ
ラグｆｌｍａｘが１でないという条件に満足かどうかを
判定する。満足する場合はステップ１９２を経てステッ
プ１９３へ進み、満足しない場合はステップ１９３へ進
む。ここで微分値が負から正に反転するポイントＡが仮
抽出され、負微分値更新区間１が終了する。

【０１０２】ステップ１９２では、ポイントＡのＹ座
標をメモリｏｋｓｌｄに記憶する。フラグｆｌｍａｘ
を１に設定する。メモリｓｌｍｉｎに記憶している最
小微分値に係数をかけて演算したものをメモリｓｌｍａ
ｘに記憶させる。メモリｓｌｍｉｎ内の記憶値をメモ
リｓｌｍｉｎ２に記憶する。ｍｉｎｉｉ２にメモリｍ
ｉｎｉｉの記憶値を記憶させる。こうして最小微分値更
新区間内の該当値を記憶するメモリに最小微分値の大き
さとＹ座標が記憶されるとともに最小微分値に比例する
所定値の設定が行なわれる。

【０１０３】ステップ１９３は、最小微分値値更新フラ
グｆｌｍｉｎの設定を判定し、フラグ設定されている場
合は、ステップ１９４で更新された最小微分値の負の区
間から正に反転するポイントＡ１が検出され、そのＹ座
標をメモリｏｋｓｌｄに再メモリして、フラグｆｌｍｉ
ｎを初期化する。ステップ１９５〜ステップ１９１１は
図２９の第４の実施例におけるステップ１６１〜ステッ
プ１６９と同様で、最小値に基づいた正微分値の所定値
設定が行なわれる。微分値が負から正に反転するポイン
トＡ１が検出されたあと、所定値を越える正微分値Ｃが
検出されると、ステップ１９７でそのＹ座標からメモリ
ｍｉｎｉｉ２に記憶してある最小微分値Ｂ１のＹ座標を
引いてその間の距離Ｆを求め、判定値（所定値）による
判断で所定距離以内の場合、ステップ１９８でポイント
Ａ１を第１あるいは第２のポイントとして抽出しライン
番号とポイントのＹ座標をポイントメモリに記憶させ
る。上記のような処理を全ての微分値に対して行なう
と、ステップ１８３で次のラインでの判定に切り替えら
れる。

【０１０４】本実施例は以上のように構成され、第４の
実施例に加えて、所定値を越える正微分値が検出される
前に、先に検出された最小微分値よりさらに微分値が小
さい第２の最小微分値が検出される場合は、それをもつ
ポイントを抽出対象とする処理を施したため、他の最小
微分値の入りにより距離判断でポイントが抽出できなく
なることを防止できる。

【０１０５】

【発明の効果】以上のとおり、本発明は、顔の画像デー
タ処理による居眠り状態検出装置において、顔の縦方向
の画素列における濃度の局所的な高まり毎に第１の抽出
点を抽出し、隣接する画素列の近接した第１の抽出点を
連続して顔の横方向に伸びる曲線群を抽出してこの曲線
群から眼の曲線を特定して、眼の位置を検出するように
し、検出した眼を含む所定領域内で縦方向の画素列に沿
って同様に第２の抽出点を抽出するとともに、該第２の
抽出点を含む濃度の局所的な高まりの境界点を示す第３
の抽出点を抽出し、横方向に連続した第３の抽出点のデ
ータを基に眼の開度を検出して、その眼の開度の状態変
化から覚醒度を判定するものとしたので、運転者の体格
や運転姿勢の違いなどがあっても容易確実に眼の位置を
検出することができる。

【０１０６】請求項２記載の発明では、ポイントの抽
出、微分値が負から正に反転する画素の特定は濃度のピ
ークに対応しており、前記第１のポイントあるいは第２
のポイントとして抽出する際、微分値が反転する前後の
負、正微分値区間から最小、最大微分値を求め、所定値
による強度判定を行なうので、抽出されるポイントは境
界のはっきりする暗い部分の代表となり、しわ、影、等
の境界がはっきりしない暗い部分は抽出対象から振り落
とされ、質の高い抽出となる。また、抽出ポイントは濃
度のピークを代表しており、眼、眉、口のほぼ中心位置
に対応する。これによって、後続処理が簡単になる。

【０１０７】請求項３記載の発明では、微分値が負から
正に反転する画素を前記第１のポイントあるいは第２の
ポイントとして抽出する際、画素前の負微分値区間から
所定値を越える最小微分値と正微分値の検出による強度
判定を行なうので、請求項２の発明と同様の効果が得ら
れるとともに、微分値の分布曲線が歪んだり、変形した
りして、最大微分値が位置変化した場合でも、暗い部分
と明かるい部分の境界データが得られ眼の開度検出など
が誤検出を起こさず行なえる。

【０１０８】また、前記最小微分値と前記正微分値の大
きさ判定を行なう所定値を越える最初の正微分値の画素
間の距離が判定値以上の場合には、微分値が負から正に
反転する画素を第１あるいは第２のポイントの抽出から
除外するようにすると、髪の毛による誤抽出が防止され
る。

【０１０９】さらに、前記第１のポイント抽出手段ある
いは第２のポイント抽出手段において、前記正微分値の
大きさ判定を行なう所定値を越える最初の正微分値が検
出される前に、前記最小微分値よりさらに小さい値を有
する他の最小微分値がある場合には、前記微分値が負か
ら正に反転する画素を第１あるいは第２のポイントの抽
出から除外するようにすると、微分値の分布曲線の変形
による誤抽出が防止される。

【０１１０】なお、前記微分値が負から正に反転する画
素に続いて、濃度変化のない画素が所定数以上に存在す
る場合には、前記微分値が負から正に反転する画素を第
１あるいは第２のポイントの抽出から除外するようにす
ると、微分値の分布曲線の変形による誤抽出が防止され
る。そして、最大微分値あるいは正微分値の大きさ判定
を行なう所定値を前記最小微分値に応じて大きさを変化
させるようにすれば、検出したい対象の濃度変化特徴に
合わせポイントをさらに高い精度で抽出することがであ
る。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の第１の実施例の構成を示すブロック図
である。

【図３】居眠り状態検出の処理動作を示すフローチャー
トである。

【図４】眼の位置検出の処理動作を示すフローチャート
である。

【図５】眼の位置検出のための画素列を説明する図であ
る。

【図６】第１のポイントの抽出原理の説明する図であ
る。

【図７】曲線群の抽出を説明する図である。

【図８】第１の抽出点のグループ化処理を説明する図で
ある。

【図９】曲線群から眼の位置を検出する要領を説明する
図である。

【図１０】眼の開度検出の処理動作を示すフローチャー
トであある。

【図１１】第２のポイントの抽出原理を説明する図であ
る。

【図１２】眼の中心に輝点があるときの開度検出を説明
する図である。

【図１３】眼の追跡状態を説明する図である。

【図１４】覚醒度の判定要領を説明する図である。

【図１５】ポイントの抽出要領を説明する図である。

【図１６】ポイント抽出の処理動作を示すフローチャー
トである。

【図１７】ポイント抽出の処理動作を示すフローチャー
トである。

【図１８】ポイント抽出の処理動作を示すフローチャー
トである。

【図１９】ポイント抽出の処理動作を示すフローチャー
トである。

【図２０】本発明の第２の実施例におけるポイントの抽
出要領を説明する図である。

【図２１】本発明の第３の実施例におけるポイントの抽
出要領を説明する図である。

【図２２】ポイント抽出の処理動作を示すフローチャー
トである。

【図２３】ポイント抽出の処理動作を示すフローチャー
トである。

【図２４】ポイント抽出の処理動作を示すフローチャー
トである。

【図２５】ポイント抽出の処理動作を示すフローチャー
トである。

【図２６】本発明の第４の実施例におけるポイントの抽
出要領を説明する図である。

【図２７】ポイント抽出の処理動作を示すフローチャー
トである。

【図２８】ポイント抽出の処理動作を示すフローチャー
トである。

【図２９】ポイント抽出の処理動作を示すフローチャー
トである。

【図３０】本発明の第５の実施例におけるポイントの抽
出要領を説明する図である。

【図３１】ポイント抽出の処理動作を示すフローチャー
トである。

【図３２】ポイント抽出の処理動作を示すフローチャー
トである。

【図３３】ポイント抽出の処理動作を示すフローチャー
トである。

【図３４】ポイント抽出の処理動作を示すフローチャー
トである。

【図３５】ポイント抽出の処理動作を示すフローチャー
トである。

【図３６】従来例を示す図である。

【図３７】他の従来例を示す図である。

【図３８】髪の毛の部分を含んだ画素の濃度変化とその
微分値変化を示す図である。

【符号の説明】

１画像入力手段２濃度検出手段３第１のポイント抽出手段４曲線群の抽出手段５眼の位置検出手段６第２のポイント抽出手段７連続性判定手段８眼の開度検出手段９覚醒度判定手段２１ＴＶカメラ２２Ａ／Ｄ変換器２３画像メモリ２４画像データ演算回路２５眼の位置検出回路２６開閉眼検出回路２７覚醒度判定回路２８警報装置

Claims

【特許請求の範囲】

【請求項１】顔の画像データを処理して居眠り状態を
検出する居眠り状態検出装置において、顔画像を入力す
る画像入力手段と、顔の縦方向の画素列に沿って画素の
濃度を検出する濃度検出手段と、前記画素列に沿う濃度
の片方向のピークの、その前後の濃度微分値が所定値を
越える画素を特定して第１のポイントを抽出する第１の
ポイント抽出手段と、隣接する画素列の画素列方向に近
接した前記第１のポイントを連結して顔の横方向に伸び
る曲線群を抽出する曲線群の抽出手段と、前記曲線群か
ら眼の曲線を特定して眼の位置を検出する眼の位置検出
手段と、眼を含む所定領域内で縦方向の画素列に沿う濃
度の片方向のピークの、その前後の濃度微分値が所定値
を越える画素を特定して第２のポイントを抽出する第２
のポイント抽出手段と、隣接する画素列の画素列方向に
近接した第２のポイントの有無による顔の横方向への連
続性を判定する連続性判定手段と、連続した第２のポイ
ントの抽出データを基に眼の開度を検出する眼の開度検
出手段と、前記眼の開度に基づき眼の開閉状態の変化か
ら覚醒度を判定することを特徴とする居眠り状態検出装
置。
【請求項２】前記第１のポイント抽出手段あるいは第
２のポイント抽出手段は、前記画素列に沿う走査で、所
定値を越える濃度の最小微分値を負微分値区間から求め
るとともに、微分値が負から正に反転する画素を記憶
し、続いた正微分値区間から前記とは別の所定値を越え
る最大微分値を検出することによって、前記微分値が負
から正に反転する画素を抽出し第１あるいは第２のポイ
ントとすることを特徴とする請求項１記載の居眠り状態
検出装置。
【請求項３】前記第１のポイント抽出手段あるいは第
２のポイント抽出手段は、前記画素列に沿う走査で、所
定値を越える濃度の最小微分値を負微分値区間から求め
るとともに、微分値が負から正に反転する画素を記憶
し、続いた所定区間から前記とは別の所定値を越える正
微分値を検出することによって、前記微分値が負から正
に反転する画素を抽出し第１あるいは第２のポイントと
することを特徴とする請求項１記載の居眠り状態検出装
置。
【請求項４】前記第１のポイント抽出手段あるいは第
２のポイント抽出手段は、前記最小微分値と前記正微分
値の大きさ判定を行なう所定値を越える最初の正微分値
との画素間の距離が判定値以上の場合には、前記微分値
が負から正に反転する画素を第１あるいは第２のポイン
トの抽出から除外することを特徴とする請求項３記載の
居眠り状態検出装置。
【請求項５】前記第１のポイント抽出手段あるいは第
２のポイント抽出手段は、前記正微分値の大きさ判定を
行なう所定値を越える最初の正微分値が検出される前
に、前記最小微分値よりさらに小さい値を有する他の最
小微分値がある場合には、前記微分値が負から正に反転
する画素を第１あるいは第２のポイントの抽出から除外
することを特徴とする請求項３または４記載の居眠り状
態検出装置。
【請求項６】前記第１のポイント抽出手段あるいは第
２のポイント抽出手段は、前記微分値が負から正に反転
する画素に続いて、濃度変化のない０微分値の画素が所
定数以上存在する場合には、前記微分値が負から正に反
転する画素を第１あるいは第２のポイントの抽出から除
外することを特徴とする請求項２、３、４または５記載
の居眠り状態検出装置。
【請求項７】前記最大微分値あるいは正微分値の大き
さ判定を行なう所定値は前記最小微分値に応じて大きさ
が変化するものであることを特徴とする請求項２、３、
４または５記載の居眠り状態検出装置。