JPH07296299A

JPH07296299A - 画像処理装置およびそれを用いた居眠り警報装置

Info

Publication number: JPH07296299A
Application number: JP6081642A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1994-04-20
Filing date: 1994-04-20
Publication date: 1995-11-10
Anticipated expiration: 2018-04-14
Also published as: JP3395344B2

Abstract

(57)【要約】【目的】画像データにおける顔の角度に関わりなく常に
正確に眼の位置や開閉検出を行なえる画像処理装置を提
供する。【構成】対象者の顔を撮像するＴＶカメラ２１と、該Ｔ
Ｖカメラの画像情報をＡ−Ｄ変換するＡ−Ｄ変換器２２
と、Ａ−Ｄ変換された画像信号を２値化し、２値化した
画像における顔幅を検出する顔幅検出手段２４と、該顔
幅検出手段の処理結果から眼の位置を検出し、その眼の
位置に相当する矩形領域を設定する眼の位置検出手段２
５と、上記眼の矩形領域の左右両端に所定領域を設定
し、該所定領域のそれぞれにおいて顔の横方向への濃度
投影を行なって眼の両端部の位置を検出し、該両端部す
なわち目頭と目尻の位置によって眼の傾きを検出し、そ
れに応じて対象者の顔の傾きを検出する顔の傾き検出手
段２６と、を備えた画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、顔の画像における顔の
傾きを抽出することによって眼の開閉状態などを正確に
判別する画像処理技術に関するものであり、車両運転者
の居眠り状態や脇見運転等の検出、警報装置などに利用
できる技術である。

【０００２】

【従来の技術】従来の運転者等の眼位置を検出する画像
処理装置としては、例えば特開平４−１７４３０９号に
記載されたものがある。この装置は、運転者の顔の画像
データを２値化したのち、運転者の眼が存在する範囲を
検出領域として、その領域内で眼の虹彩部を検出し、虹
彩部の検出結果から運転者の開閉眼（眼の開閉状態）を
判定し、それによって運転者の状態、すなわち運転者の
居眠りや脇見などの状態を判別するものである。このよ
うな装置は、居眠り運転や脇見運転の警報装置などに利
用可能である。

【０００３】

【発明が解決しようとする課題】上記のような従来の眼
位置検出装置においては、撮像した画像は顔がまっすぐ
になっていることを前提としており、画像データの水平
・垂直方向への白画素または黒画素の連続性で顔幅検
出、眼の位置検出を行なうように構成されている。しか
し、実際の運転状態においては、最初まっすぐに保たれ
ていた顔も、長時間同じ姿勢をとっていた疲れや眠気等
によって傾いてくることがある。このような場合には、
顔の角度に応じて顔の幅や眼の位置が変わるので、従来
の装置では顔幅検出や眼の位置検出を精度よく行なうこ
とが出来ない場合がある、という問題があった。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、画像データにおける
顔の角度に関わりなく常に正確に眼の位置や開閉検出を
行なうことのできる画像処理装置およびそれを用いた居
眠り警報装置を提供することを目的としている。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、対象者（例えば車両運転者）の顔を撮像して電
気信号の画像情報に変換する画像入力手段と、上記画像
入力手段から入力した画像情報を２値化する２値化手段
と、上記２値化した画像における顔の横幅、すなわち顔
幅を検出する顔幅検出手段と、上記顔幅検出手段の処理
結果から左右の眼のうち少なくとも一方の眼の位置を検
出し、その眼の位置に相当する矩形領域を設定する眼の
位置検出手段と、上記眼の位置検出手段でよって得られ
た少なくとも片眼の矩形領域の左右両端に所定領域を設
定し、該所定領域のそれぞれにおいて顔の横方向への濃
度投影を行なって眼の両端部の位置を検出し、該両端部
すなわち目頭と目尻の位置によって眼の傾きを検出し、
それに応じて対象者の顔の傾きを検出する顔の傾き検出
手段と、を備えるように構成している。なお、上記の構
成は、例えば後記第１の実施例に相当し、上記各手段
は、例えば後記図１における下記の部分に相当する。す
なわち、画像入力手段はＴＶカメラ２１に、２値化手段
はＡ−Ｄ変換器２２および演算装置２０内の機能の一部
に、顔幅検出手段、眼の位置検出手段および顔の傾き検
出手段は演算装置２０内の機能の一部である顔幅検出手
段２４、眼の位置検出手段２５、顔の傾き検出手段２６
に、それぞれ相当する。次に、請求項２に記載の発明
は、請求項１の発明において、顔の傾き検出手段を、両
眼についてそれぞれ眼の傾きの検出を行ない、二つの眼
の傾きから対象者の顔の傾きを検出するように構成した
ものである。なお、上記の構成は、例えば、後記第４の
実施例（図１５）に相当する。

【０００６】次に、請求項３に記載の発明は、顔の傾き
を検出する手段として、対象者の装着する眼鏡の左右両
端に取り付けられた発光手段と、入力画像における上記
二つの発光手段を結ぶ直線と基準線（例えば水平線また
は鉛直線）との成す角度に応じて対象者の顔の傾きを検
出する顔の傾き検出手段と、を設けたものである。な
お、上記の構成は、例えば、後記第５の実施例に相当
し、上記発光手段は、後記図１７における発光ダイオー
ド４０、４１に相当する。次に、請求項４に記載の発明
は、顔の傾きを検出する手段として、対象者の頭部背後
に設置され、上記画像入力手段から見て対象者の頭部に
よって一部が隠されるように設けられた発光手段と、入
力画像における上記発光手段の現われている部分を判別
することによって対象者の顔の傾きを検出する顔の傾き
検出手段と、を設けたものである。なお、上記の構成
は、例えば、後記第６の実施例に相当し、上記発光手段
は、後記図１８、図１９における発光ダイオード列５０
に相当する。次に、請求項５に記載の発明は、顔の傾き
を検出する手段として、対象者の頭部とは独立した個所
に固定された第１のコイルと、対象者の頭部の動きに連
動するように設けられた第２のコイルと、上記第１のコ
イルに電流を流すことによって上記第２のコイルに生じ
る電流を検出することにより、上記第１と第２のコイル
の位置関係を判別し、それに基づいて対象者の顔の傾き
を検出する顔の傾き検出手段と、を設けたものである。
なお、上記の構成は、例えば、後記第７の実施例に相当
し、上記第１のコイルと第２のコイルは、後記図２０、
図２１におけるソース６１とセンサ６０にそれぞれ相当
する。次に、請求項６に記載の発明は、顔の傾きを検出
する手段として、対象者の頭部の動きに連動するように
設けられたジャイロセンサと、上記ジャイロセンサの信
号に基づいて対象者の顔の傾きを検出する顔の傾き検出
手段と、を設けたものである。なお、上記の構成は、例
えば、後記第８の実施例に相当し、上記ジャイロセンサ
は、後記図２２におけるジャイロセンサ７０に相当す
る。

【０００７】次に、請求項７に記載の発明は、請求項１
〜請求項６において、顔幅検出手段を、顔の傾き検出手
段で検出した顔の傾きに応じて、顔幅を補正するように
構成したものである。なお、上記の構成は、例えば、後
記図１０で説明するものに相当する。次に、請求項８に
記載の発明は、請求項１〜請求項６において、顔の傾き
検出手段で検出した顔の傾きに応じて、画像入力手段の
撮像角度を補正する手段を備えるように構成したもので
ある。なお、上記の構成は、後記第２の実施例に相当
し、上記画像入力手段と撮像角度を補正する手段は、そ
れぞれ後記図１１おけるＴＶカメラ２１と顔の傾き補正
装置３１に相当する。次に、請求項９に記載の発明は、
請求項１〜請求項６において、画像入力手段の画像情報
を一時的に記憶する画像メモリと、顔の傾き検出手段で
検出した顔の傾きに応じて、上記画像メモリに記憶した
顔の画像の角度を補正する手段と、を設けたものであ
る。なお、上記の構成は、例えば、後記第３の実施例に
相当し、上記画像メモリと画像の角度を補正する手段
は、それぞれ後記図１３における画像メモリ２３と顔の
傾き補正手段２９に相当する。

【０００８】次に、請求項１０に記載の発明は、請求項
１乃至請求項９のいずれかに記載の画像処理装置におい
て、上記眼の位置検出手段で求めた眼の位置における眼
の画像の縦方向の幅から眼の開き度合いを検出する開閉
眼検出手段と、上記開閉眼検出手段で求めた開閉眼の信
号パタンにおいて、所定期間中の閉眼の積算数に応じて
対象者の覚醒度を判定する覚醒度判定手段と、上記覚醒
度判定手段の判定結果に基づいて、覚醒度が低下した場
合に警報を発生する警報手段と、を備えたことを特徴と
する居眠り警報装置である。なお、上記の構成は、例え
ば、後記第１、第２または第３の実施例に相当し、上記
各手段は、それぞれ図１、図１１または図１３における
下記の部分に相当する。すなわち、開閉眼検出手段と覚
醒度判定手段は演算装置２０内の機能である開閉眼検出
手段２７と覚醒度判定手段２８に、警報手段は警報装置
３０に、それぞれ相当する。

【０００９】

【作用】請求項１の発明においては、眼の位置検出手段
でよって得られた少なくとも片眼の矩形領域の左右両端
に所定領域を設定し、該所定領域のそれぞれにおいて顔
の横方向（Ｘ軸方向）への濃度投影を行なって眼の両端
部の位置を検出し、該両端部すなわち目頭と目尻の位置
によって眼の傾きを検出し、それに応じて対象者の顔の
傾きを検出するように構成している。上記のように請求
項１の発明においては、顔の傾き状態を常にモニタする
ことができるので、この結果を用いて顔の傾き方向、角
度を補正することができる。そのため、対象者の顔が傾
いている場合でも、常に正確な眼の位置や眼の開閉状態
の検出を行なうことが可能になるので、例えば、運転者
の眼の開閉状態から覚醒度を判定して居眠り警報等を行
う装置に適用すれば、常に正確な判定を行うことができ
る。また、請求項２の発明においては、眼の傾きの検出
を両眼について行うことにより、例えば眼尻が極端に垂
れているような場合でも、顔の傾きを正確に検出するこ
とができる。

【００１０】また、請求項３の発明においては、対象者
の装着する眼鏡の左右両端に取り付けられた発光手段を
画像上で検出し、それを基準として顔の傾きを検出する
ように構成しているので、対象者の顔の傾きを比較的容
易に検出することが出来る。ただし、この場合には、対
象者に特別な眼鏡を装着させる必要があるので、試験研
究用の装置に適している。また、請求項４の発明におい
ては、対象者の頭部背後に、例えば直線状に複数の発光
手段を設け、対象者の頭部で隠されていない発光手段を
画像上で判別することによって顔の傾きを検出するよう
に構成しているので、対象者の顔の傾きを比較的容易に
検出することが出来る。また、請求項５の発明において
は、第１のコイルを対象者の頭部とは独立した個所（例
えば車両の運転席上の天井等）に固定し、第２のコイル
を例えば対象者の眼鏡や帽子に取り付け、第１のコイル
に電流を流すことによって第２のコイルに生じる電流を
検出することにより第１と第２のコイルの位置関係を判
別し、それに基づいて対象者の顔の傾きを検出するよう
に構成したものである。この場合にも、対象者にコイル
を装着させる必要があるので、試験研究用の装置に適し
ている。また、請求項６の発明においては、対象者の頭
部（例えば眼鏡）に設けたジャイロセンサによって対象
者の顔の傾きを検出するように構成したものである。こ
の場合にも、対象者にジャイロセンサを装着させる必要
があるので、試験研究用の装置に適している。

【００１１】また、請求項７の発明においては、顔の傾
き検出手段で検出した顔の傾きに応じて、顔幅検出手段
における顔幅を補正するように構成したものである。こ
のように構成することにより、顔が傾いた場合でも眼の
位置や開閉状態を正確に検出することが出来る。この場
合の顔幅の補正とは、例えば、図１０に示すごとく、顔
の傾きに応じて斜めの顔幅ラインを設定するものであ
る。また、請求項８の発明においては、顔の傾き検出手
段で検出した顔の傾きに応じて、画像入力手段の撮像角
度を補正するように構成したものである。この場合は画
像入力手段の撮像角度自体が顔の傾きに対応した角度に
なるので、入力する画像自体は傾きのないまっすぐな画
像となる。したがって顔が傾いた場合でも眼の位置や開
閉状態を正確に検出することが出来る。また、請求項９
の発明においては、顔の傾き検出手段で検出した顔の傾
きに応じて、画像入力手段の画像情報を一時的に記憶す
る画像メモリに記憶した顔の画像の角度を補正するよう
に構成したものである。この場合には、画像入力手段の
撮像画像は傾いているが、画像メモリ内でその傾きを補
正するので、処理される画像情報は常にまっすぐな画像
となり、顔が傾いた場合でも眼の位置や開閉状態を正確
に検出することが出来る。次に、請求項１０の発明は、
請求項１〜請求項９に記載の画像処理装置を用いた居眠
り警報装置であり、眼の位置検出手段で求めた眼の画像
の縦方向の幅から眼の開き度合いを検出し、その開閉眼
の信号パタン、すなわち眼の開閉状態に応じた開と閉の
信号の列（例えば図１６の“ｏｐｅｎ”と“ｃｌｏｓ
ｅ”の列）において、所定期間中の閉の積算数に応じて
対象者の覚醒度を判定し、覚醒度が低下した場合に警報
を発生するものである。このように構成することによ
り、顔が傾いた場合でも常に正確に対象者の覚醒度を判
定し、的確に居眠り警報を行なうことが出来る。

【００１２】

【実施例】図１は、本発明の第１の実施例図であり、本
発明を居眠り警報装置に適用した場合のブロック図を示
す。図１において、ＣＣＤカメラ等のＴＶカメラ２１は
車両のインストルメントパネルに設置され、対象者とな
る運転者の顔部分を正面から撮影する。このＴＶカメラ
２１の入力画像は、例えば、図３に示すように、横（Ｘ
軸）方向５１２画素（０〜５１１）、縦（Ｙ軸）方向４
３２画素（０〜４３１）からなり、縦方向に顔部分がほ
ぼいっぱいになるように画角が調整されている。上記の
ＴＶカメラ２１で撮影された入力画像は、Ａ−Ｄ変換器
２２を介して、ディジタル量の入力画像データとして画
像メモリ２３に格納される。画像メモリ２３には、コン
ピュータなどからなる演算装置２０が接続されている。
この演算装置２０の内容を機能ごとに示すと、顔幅検出
手段２４、眼の位置検出手段２５、顔の傾き検出手段２
６、開閉眼検出手段２７、覚醒度判定手段２８および顔
の傾き補正手段２９となる。

【００１３】顔幅検出手段２４は、画像メモリ２３に格
納された入力画像データに基づいて顔の特徴量を抽出
し、顔幅を検出する。また、眼の位置検出手段２５は眼
の位置を検出する。また、顔の傾き検出手段２６は顔の
傾きを検出する。また、開閉眼検出手段２７は眼の開閉
状態を判定する。また、覚醒度判定手段２８は運転者の
覚醒度を判定する。また、顔の傾き補正手段２９は、顔
の傾き検出手段２６で検出した顔の傾き情報に基づいて
補正量を設定し、その情報を顔幅検出手段２４にフィー
ドバックする。覚醒度判定手段２８は、上記のようにし
て得られた結果から運転者の覚醒度を判定し、覚醒度が
低下したと判定した場合には、警報装置３０を動作させ
て警報を発生させる。それによって運転者の居眠り状態
を解消させる。なお、警報装置３０としては、ブザー、
チャイム、音声等の聴覚的警報装置、ランプやフラッシ
ュ等の視覚的警報装置、椅子振動装置等の触覚的警報装
置、香り発生装置等の嗅覚的警報装置などがある。

【００１４】次に、図２は、上記の演算処理を示すフロ
ーチャートである。以下、図１の実施例の動作を図２の
フローチャートに基づいて説明する。まず、ステップＳ
１において、ＴＶカメラ２１によって運転者の顔部分を
撮影して画像情報を入力する。次に、ステップＳ２で、
１フレーム分の入力画像をＡ−Ｄ変換器２２でディジタ
ル信号に変換し、画像メモリ２３に格納する。次に、ス
テップＳ３では、画像メモリ２３に格納された入力画像
データを所定の閾値で２値化する。この２値化は顔の部
分の明暗を明確にするため、閾値は眼球を識別して抽出
できるレベルに設定する。例えば、ビデオ信号を２５６
階調（０〜２５５）のディジタルデータに変換して、白
い部分を「２５５」、黒い部分を「０」とし、スレッシ
ュホールドレベルで２値化して２値化画像を得る。この
２値化画像において、眼の位置や眼の開閉状態の検出精
度を向上させるために、黒画素の小さな集まり（ノイ
ズ）を除去する。このノイズ除去の手法としては、白画
素を対象とした膨張処理やメジアンフィルタ処理などが
ある。次に、ステップＳ４において、眼の存在領域が設
定されているか否かを判定する。ここで、眼の存在領域
は、図７で示されるようなウィンドウとされる（詳細後
述）。眼の存在領域が設定されていない場合は、スッテ
ップＳ５において顔幅の設定を行ない、Ｓ６において眼
が存在する領域の横方向（Ｘ方向）の幅と縦方向の（Ｙ
方向）の幅を設定する。この処理の詳細は図３〜図５に
基づいて後述する。ステップＳ４で眼の存在領域が設定
されていると判断された場合には、ステップＳ７で眼の
開き度合いの検出が行なわれる。この処理の詳細は図６
に基づいて後述する。

【００１５】次に、ステップＳ８において顔の傾きの検
出を行なう。この検出方法の詳細は、図８、図９、図１
０に基づいて後述する。次に、ステップＳ９において、
ステップＳ８で検出された眼の開き度合いの値から眼が
正しく追跡されているか否かを確認する。眼が正しく追
跡されていると判定された場合は、ステップＳ１０に移
って、眼の追跡すなわち眼の存在領域位置の変更を行な
う。また、眼が正しく追跡されていないと判定された場
合は、ステップＳ１３に移って眼の開き度合いの値と眼
の存在領域をクリアし、ステップＳ１に戻って次のフレ
ームの処理に移る。この処理の詳細は図７に基づいて後
述する。眼が正しく追跡されていると判定され、眼の存
在領域を変更した後は、ステップＳ１１に移り、開閉眼
の判定すなわち眼の開閉状態の判定を行なう。ここでの
開閉眼の判定は、眼の開き度合いの出力値によって行な
う。この処理の詳細は図６に基づいて後述する。次に、
ステップＳ１２において、ステップＳ１１で検出された
開閉眼パタンから運転者の覚醒度の判定が行なわれる。
覚醒度の判定の詳細は図１６に基づいて後述する。上記
のステップＳ１２において、覚醒度低下状態と判定され
た場合、すなわち運転者が居眠り状態もしくはそれに近
い状態であると判定された場合には、警報を発生する。
覚醒度低下状態ではないと判定された場合、すなわち正
常時には、ステップＳ１に戻って上記の処理フローを繰
り返す。

【００１６】以下、各ステップにおける処理の詳細を図
面に基づいて説明する。まず、図３は、ステップＳ５に
おける顔の横幅設定処理の詳細を示す図である。運転者
の前方に配置したＴＶカメラ２１で撮影され、２値化処
理された２値化画像は、図３（ａ）のような画像データ
となる。この画像データに対して、図３（ｂ）に示すよ
うに顔の上端部と下端部の領域にマスク処理を行なう。
マスク処理は、画像データの処理範囲を制限するため
に、強制的に指定領域の画素値を変更するものであり、
この顔幅検出の場合は、２値化画像での運転者の眼や髪
の毛と同じ、黒画素（０階調）に画素値を変更すること
により、図３（ｂ）に示す上端部と下端部の黒部分をマ
スクしている。この理由は顔幅を検出するのにあまり関
係のない上端部や下端部の画像データを消去し、より正
確な顔幅検出を行なうためである。また、マスクは髪の
毛などの黒い部分と同一階調となるよう設定としている
ため、マスク領域に接している髪の毛などの黒い画素の
集まりは、マスク処理によって一つの大きな黒画素の集
まり（ラベル）とすることができる。この後、ラベリン
グ処理を用いると、マスクによって顔の輪郭部に存在す
る黒画素の集まりが接続されるため、ラベル数をかなり
削減することができる。ラベリング処理とは、２値化さ
れた画像データ内の黒画素もしくは白画素の集まりを、
個々に認識させる手法のことであり、認識されたラベル
は、そのラベル毎に大きさ（面積）、位置（座標）など
を同時に把握することもできる。しかし、ラベリング処
理を行なうことの出来るラベル数には制限があり、ラベ
ル数の多さは処理速度の低下を招くというデメリットも
ある。故にマスクは、ラベル数を削減するための重要な
処理となってくる。その後、顔幅検出に関係しない、
眉、眼、鼻の穴などの黒画素の集まりのラベルを、その
面積値を判定基準値として黒白変換する粒子除去処理を
行なう。この処理により、黒画素として残されるラベル
はマスク領域＋顔の輪郭部だけとすることができ、より
正確な顔幅検出が可能となる。このような処理を施した
結果、図３（ｂ）に示すような画像データが得られる。
次に、顔幅の検出処理について説明する。図３（ｃ）
は、横軸にＸ座標、縦軸に図３（ｂ）の画像データの各
Ｘ座標上の白画素（２５５階調）数を積算して示したも
のである。この白画素積算値について、Ｘ座標方向の中
央（２５５）から左右方向に白画素の減少傾向を調べて
行くことにより、白画素数の減少が止まるＸ座標（ｘ
１、ｘ２）、もしくは白画素数が或る所定値になるＸ座
標（ｘ１、ｘ２）を、顔幅として正確かつ容易に検出す
ることができる。なお、ステップＳ５においては、後記
ステップＳ８で説明するごとく、顔が傾いていた場合に
は、後記図１０のように、その傾きに応じて顔幅の設定
を補正する。

【００１７】次に、ステップＳ６における眼の存在領域
の設定処理について図４および図５に基づいて説明す
る。ステップＳ５で得られた顔幅から眼の存在する左右
領域が特定できる。すなわち、図４（ａ）に示すよう
に、顔幅の左右のラインから顔の中心線を求め、左右の
眼を別々に検出する。ここでは右側の眼の検出について
のみ説明するが、左側の眼についても同様の処理が可能
である。まず、始めに顔の中心線と顔幅の右側ラインで
囲まれる領域を残して、マスク処理を行なう。この時、
顔幅検出の中で説明したように、図４（ｂ）に示す所定
の面積値以下のものは、黒白変換によって除去すること
ができる。また、マスクと接する黒画素の集まりは単独
ラベルとならないため、眉、眼、鼻の穴、口などの黒画
素のラベルは容易に抽出することができる。

【００１８】次に、図５に基づいて眼に相当するラベル
の選択処理について説明する。図５は、上記のようにし
て抽出された各ラベルデータを示す図であり、図４
（ｂ）における眉、眼、鼻の穴、口の部分を示す。図５
に示す各ラベルデータから、その面積の大きさ、座標、
縦横比を用いて、眼の選択を行なう。眼は開眼時におい
ても閉眼時においても、どちらかというと横長のラベル
であることから、鼻の穴に相当するラベルデータをまず
始めに除いてやることができる。次に、ラベルの面積値
や座標データによる位置関係、つまり眉の上に眼がある
ことは有り得ないし、口が眼や眉より顔の外側には存在
し得ないことにより、眼のラベルは比較的容易に選択す
ることができる。なお、各ラベルの縦横比は、画像デー
タの垂直、水平成分の最小値を求めるフィレ径という画
像処理手法を用いている。

【００１９】次に、ステップＳ７における眼の開き度合
いを出力する処理について図６に基づいて詳細に説明す
る。図６において、（ａ）は正常状態時の全体画像、
（ａ'）は（ａ）における眼の部分のみの画像、（ｂ）
は眼を居眠り状態時における全体画像、（ｂ'）は
（ｂ）における眼の部分のみの画像、をそれぞれ示す。
ステップＳ６で得られた眼の黒画素のラベルについて、
図６に示すように縦方向への長さ、つまり高さを求める
ことで眼の開き度合いを認識することができる。図６
（ａ）、（ａ'）に示すように、運転者が正常状態の場
合には、当然、眼ははっきり開いた状態であり、眼の開
き度合いを表す出力値も大きくなる。また、図６
（ｂ）、（ｂ'）に示すように、運転者が居眠り状態の
場合には、眼は閉じた状態または薄目の状態が頻繁に見
られるようになる。この時、眼の開き度合いを表す出力
値は当然小さくなる。

【００２０】次に、ステップＳ８については説明の都合
上、後述することにして、先にステップＳ９、Ｓ１０、
Ｓ１３における眼の追跡および追跡ミスした場合の復帰
処理について図７に基づいて詳細に説明する。ステップ
Ｓ６で得られた眼の黒画素のラベルの中心座標を基準と
して、眼の存在領域を設定する。このフローチャートに
基づくシステムをスタートさせた直後、つまり画像の最
初に入力したフレーム（以下、第１フレームと記す）で
は、当然、眼の存在領域は設定されていないため、ステ
ップＳ５、Ｓ６で眼の存在領域が設定される。この時、
眼の中心座標と眼のウィンドウの中心座標は図７（ａ）
に示すように一致している。一連の処理終了後、第２番
目のフレーム（以下、第２フレームと記す）の処理に移
り、ステップＳ４へ進むと、ここでは既に眼のウィンド
ウが設定されているため、ステップＳ７に移り、眼の開
き度合いの出力を行なってステップＳ８に移る。この
時、眼が正しく捉えられている場合は、図７（ｂ）に示
すようになる。図７（ｂ）の眼のウィンドウは第１フレ
ームで設定された位置にあるのに対し、眼の位置は、第
２フレームで取り込まれた画像データの眼の位置である
ため、運転者の動き等により、眼の中心点はウィンドウ
に対してずれてくる。しかし、眼の存在領域に眼が接し
ない限り眼の抽出は容易に行なうことができる。眼の存
在領域の大きさは、眼の動きに追従できるようにマスク
処理を行なったとき、眼の黒画素のラベルが、ウィンド
ウに接するおそれが少ない横１１０画素・縦７０画素と
する。また、眼のウィンドウ内に眼以外の黒画素のラベ
ルが残った場合は、そのラベルの面積の大きさによって
選択することができる。眼のウィンドウは、顔の動きに
よる眼の追従を考慮した必要最小限の領域としているた
め、眼以外に大きな面積を持つラベルが存在することは
なく、面積が大きなラベルを選択するだけで、容易に眼
を抽出することができる。このようにして捉えられた図
７（ｂ）の眼の中心座標に一致するように、ステップＳ
１０で眼の存在領域の基準点を変更することにより、運
転者の顔の動きに対応させることができる。また、図７
（ｃ）、（ｄ）は第３フレーム、第４フレームで取り込
まれる顔画像データでの眼の位置と眼の存在領域の位置
関係を示したものである。上記のごときステップＳ９、
Ｓ１０、Ｓ１３による眼の追跡ロジックを有することに
より、ステップＳ５、Ｓ６での顔全体からの眼の位置検
出を省略できるため、眼の開き度合いの検出の高速化を
図ることができる。また、ステップＳ９で眼の追跡が正
しくできているか否かの判定は、図６（ａ'）、（ｂ'）
に示した眼の開き度合いの値によって行なう。要するに
運転者が特定されてしまえば、眼の開き度合いの値は開
眼時〜閉眼時の範囲で変化するだけであることから、こ
の範囲外の値が出力された時は、眼の追跡ミス、つまり
顔の急激な動きや、確認動作などで運転者が前方を見て
いない状況であると判定し、ステップＳ１３で眼の開き
度合いの出力値と眼の存在領域をキャンセルすることに
より、ステップＳ４で再び、顔全体からの処理に入るよ
うにする。

【００２１】次に、ステップＳ１１における開閉眼を判
定する処理について図６に基づいて詳細に説明する。前
記のごとく、運転者が特定された場合には、眼の開き度
合いの出力値は開眼状態から閉眼状態の間で変化する。
したがって、開眼と閉眼の判定を行なう基準値、つまり
開閉眼を判定するスレッシュホールドは、その範囲内に
あることになる。そのスレッシュホールドをどのように
設定するのが妥当なのかを、検討した結果、居眠り状態
の運転者は、熟睡状態ではないため完全に眼の閉じない
こともあることから、開眼と閉眼の中央値をスレッシュ
ホールドとすることが望ましいと思われる。

【００２２】次に、ステップＳ８における顔の傾きを判
定する処理について、図８〜図１０に基づいて詳細に説
明する。図８は顔が傾いた状態を示している。このよう
な画像データでは、ステップＳ６で眼の存在領域の設定
を行なう時、つまり眼の位置検出を行なう際に、図４
（ｂ）のようにマスク処理を行なうと、例えば左側の眼
は顔の中心線に接してしまうため、眼をラベルデータと
して抽出できなくなる。このような画像データとなった
場合に対応するために、眼の位置検出後、図５のフィレ
径（ｘｕ２、ｙｕ２）、（ｘｄ２、ｙｄ２）で示す眼の
矩形領域の左右端領域において、Ｙ座標方向への黒画素
の濃度投影を行なう。その詳細を図９を用いて説明す
る。図９（ａ）は顔が傾いていない状態における眼の画
像を示す。この状態において、眼の矩形領域の左右端の
所定領域（破線で囲んだ部分）においてＹ座標方向への
黒画素の濃度投影を行なう。すなわち、上記領域内のＸ
方向の黒画素の数をＹ座標の各値において計数する。こ
のとき、黒画素数が最も多くなるＹ座標値の位置が眼の
端部を示すことになる。したがって眼の矩形領域の左端
と右端でそれぞれ求めた眼の端部が目頭と目尻を示すこ
とになるので、それらを結んだ直線と水平線（または鉛
直線）との成す角度が眼の傾きθ₁となる。図９（ｂ）
は顔が傾いている状態における眼の画像を示す。（ａ）
と同様の処理を行なった場合、左右両端における黒画素
数が最も多くなるＹ座標値を比較すると、その差は
（ａ）の顔が傾いていない場合に比べて大きくなり、眼
の傾き（この場合はθ₂）が大きくなったことが判定で
きる。この座標値の差は、画像データ上でＸ座標方向の
距離も求められることにから、角度として求めることも
容易である。このようにして求めた眼の傾きθ₁とθ₂の
変化量により、顔の傾きを常にモニタすることができ
る。そのため、顔が傾いた状態のために眼の追跡に誤り
が生じて再度顔全体から眼の検出に移る場合でも、図１
０に示すように、眼の傾き量を顔の傾き角度（θ₁±
θ₂）として補正して顔幅ラインを設定し、マスク処理
を行なうことで、眼がマスクに接することがなくなり、
顔が傾いていない場合と同様に精度の高い検出を続ける
ことができる。また、顔の傾き補正を行なった処理を数
回実施しても、眼の位置検出に失敗する場合は、処理タ
イミング間に顔が元の状態に復帰したと考え、通常の処
理に戻すバックアップロジックも考えられる。

【００２３】次に、図２のステップＳ１２における覚醒
度の判定処理について、図１６に基づいて詳細に説明す
る。図１６は、図２のステップＳ１１で出力される眼の
開閉状態を示す信号パタンの一例図である。図１６にお
いて、「ｏｐｅｎ」は眼が開いている状態、「ｃｌｏｓ
ｅ」は眼が閉じている状態を示す。このような信号パタ
ンにおいて、適当な覚醒度判定区間（例えば１分間程
度）に出力される閉眼積算値（ｃｌｏｓｅであった場合
の数）によって覚醒度を判定することができる。例え
ば、１分間の覚醒度判定区間中に４回以上閉眼が検出さ
れた場合（閉眼積算値＝４）に覚醒度低下もしくは居眠
り状態と判定する。なお、まばたきによる閉眼判定出力
を除くため、１回のみの閉眼出力は積算せず、かつ２回
以上連続する閉眼出力においては２回目以降のものだけ
を積算するようにしてもよい。図１６は、上記のように
処理した例を示している。このようにして得られた覚醒
度により、運転者の居眠り状態を正確に検出することが
可能となるので、的確に警報装置を作動させ、居眠り状
態を解消させることが出来る。

【００２４】次に、図１１および図１２は、本発明の第
２の実施例図であり、図１１はブロック図、図１２は車
両運転席付近の斜視図を示す。この実施例は、顔の傾き
補正を、機構的に行なうものであり、図１１の顔の傾き
補正手段２９から出力された信号に応じて、顔が傾いた
方向にＴＶカメラ２１を回転させる機構、すなわち顔の
傾き補正装置３１を設けたものである。その他の符号や
内容は、前記第１の実施例と同様である。この場合に
は、ＴＶカメラ２１の撮像角度自体が顔の傾きに対応し
た角度になるので、入力する画像自体は傾きのないまっ
すぐな画像となる。したがって顔が傾いた場合でも眼の
位置や開閉状態を正確に検出することが出来る。

【００２５】次に、図１３および図１４は、本発明の第
３の実施例図であり、図１３はブロック図、図１４は画
像メモリの回転変換を示す図である。この実施例は、顔
の傾き補正を、画像メモリ２３の内容を回転変換させる
ことによって行なうものである。図１３において、顔の
傾き補正回路２９から出力される補正信号を画像メモリ
２３に送り、図１４（ａ）に示すごとき傾いた顔のデー
タを、上記補正信号で指示された補正方向、補正量に応
じて回転変換させ、図１４（ｂ）に示すごとき傾きを補
正した画像データに置き換えて、その後の処理に移るも
のである。その他の符号や内容は、前記第１の実施例と
同様である。この場合には、ＴＶカメラ２１の撮像画像
は傾いているが、画像メモリ内でその傾きを補正するの
で、処理される画像情報は常にまっすぐな画像となり、
顔が傾いた場合でも眼の位置や開閉状態を正確に検出す
ることが出来る。

【００２６】次に、本発明の第４の実施例について説明
する。この実施例は、眼の傾き検出処理を両眼に適用す
るものである。図１５は、これまで片方の眼で説明して
きた眼の傾き検出処理を両眼に適用した例を示す図であ
る。両眼での眼の傾き検出においては、前記図９（ａ）
で示した初期状態の角度θ₁の状態を、より正確に捉え
ることができる。図１５（ａ）は顔が傾いている状態を
示し、（ｂ）は眼がタレている（目尻が下がっている）
顔の場合を示す。初期状態での角度θ₁が最初からかな
り大きな値を示す場合には、次の二つの場合が考えられ
る。一つは図１５（ａ）のように顔が実際に大きく傾い
ていた場合と、もう一つは図１５（ｂ）のように顔は傾
いてはいないが、眼がタレた顔の場合である。このよう
な場合であっても、図１５に示すような両眼での検出で
あれば、どちらの場合であるかを判断することができ
る。すなわち、（ａ）の場合には、両眼の角度が共に一
方向に傾いているのに対し、（ｂ）の場合には、それぞ
れ異なった方向に傾いている。したがって両眼の角度を
比較することによって（ａ）と（ｂ）を明確に判別する
ことが出来る。上記の判別結果を用いて、例えば、
（ａ）の場合は運転者またはシステムが異常状態にある
と判断して警報し、（ｂ）の場合は検出したθ₁を基準
として前記第１実施例〜第３実施例の内容での処理を続
ける。

【００２７】次に、図１７は、本発明の第５の実施例図
である。この実施例は、対象者（例えば運転者）が装着
している眼鏡の両端に発光ダイオード４０、４１（電球
等、他の発光手段でも可）を取り付け、その２つの高輝
度ポイントを画像処理によって認識し、顔の傾きθを求
めるものである。この場合には、発光ダイオード４０と
４１とを結ぶ直線と水平線（または鉛直線）との成す角
度θを検出することによって、顔の傾きを容易に検出す
ることが出来る。

【００２８】次に、図１８および図１９は、本発明の第
６の実施例を示す図である。この実施例は、対象者（運
転者等）の背後（ルーフ裏面、ヘッドレスト等）に直列
に配列された複数の発光ダイオードからなる発光ダイオ
ード列５０（電球等、他の発光手段でも可）を設置し、
対象者の頭部によって隠される発光ダイオードを基準と
して顔の傾きθを求めるものである。まず、運転開始直
後の顔が真っ直な状態において、顔の中心線Ｘｃｌを求
め、Ｘｃｌライン上の画像データの下方に基準点Ｐを設
定する〔図１９（ａ）〕。なお、基準点Ｐの設定は、前
述した画像認識による顔幅検出でも可能である。その後
の顔の傾きは、図１９（ｂ）に示すように、頭部の傾き
に応じて隠された発光ダイオードと逆に現われた発光ダ
イオードとから、基準点Ｐと、頭部によって隠される発
光ダイオード列の中心点との角度θによって求めること
が出来る。具体的には、頭部の左側と右側に見えている
発光ダイオードが、それぞれ端から何番目の発光ダイオ
ードであるかを判別することにより、それらの中心にあ
る発光ダイオード、すなわち中心点を推定することが出
来る。なお、図１９においては、発光ダイオードのよう
な点状の発光部を複数個直線状に並べたものを例示した
が、螢光ランプのような１個のライン状の発光装置を用
い、その発光ラインにおける頭部の両側の位置を、ライ
ンの端からの長さとして検出するものでもよい。

【００２９】次に、図２０および図２１は、本発明の第
７の実施例図である。この実施例は、磁気センサを利用
することによって顔の傾きを求めるものである。例え
ば、対象者の頭部と連動するように眼鏡に取り付けたセ
ンサ（直交コイル）６０とルーフ裏面に固定したソース
（直交コイル）６１との相互位置変化に応じて発生する
電流を、コンピュータ等の演算装置６２で処理すること
により、顔の傾きの角度を求めることができる。図２１
は、上記の検出手段の具体的な構成を示す図である。図
２１において、ドライブ回路６４からソース６１に交流
電流を流すと、図示のごとき磁界が発生する。この磁界
中にセンサ６０を置くと、センサ６０に電流が誘起され
る。この電流の大きさは、ソース６１とセンサ６０との
相互位置に応じて変化する。したがってセンサ６０に発
生した電流を、検出回路６３を介して演算装置６２に送
り、対象者の頭部直立時の値と比較することにより、顔
の傾き角度を検出することが出来る。

【００３０】次に、図２２は、本発明の第８の実施例図
である。この実施例は、ジャイロセンサを利用すること
によって顔の傾きを求めるものである。例えば、ジャイ
ロセンサ７０を対象者の眼鏡に取り付け、回転運動の結
果生じるコリオリ力に応じて、ジャイロセンサ７０内の
２つの熱抵抗体に抵抗差を生じさせ、これを演算装置７
１で計測することにより、顔の傾き角度を検出すること
ができる。

【００３１】

【発明の効果】以上説明したごとく、本発明において
は、対象者の顔の傾きを常に判定することが出来るの
で、それに応じて画像上の顔の傾き方向や角度を補正す
ることにより、眼の位置や眼の開閉検出を正確に行なう
ことが出来る、という効果が得られる。また、そのため
車両運転者等の対象者の顔が傾いている場合であって
も、その眼の位置や眼の開閉検出を安定して行なうこと
が出来るので、運転者の居眠り状態などの検出精度を更
に向上させることができる、という効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック図。

【図２】図１の実施例における演算処理を示すフローチ
ャート。

【図３】顔幅設定処理を説明するための図であり、
（ａ）は２値化画像、（ｂ）は上端部と下端部にマスク
処理を行なった画像、（ｃ）Ｘ軸方向の白画素数を示す
グラフ。

【図４】眼の上下位置検出処理を説明するための図であ
り、（ａ）は２値化画像に中心線を設けたもの、（ｂ）
は左右両端部にマスク処理を行なった画像。

【図５】図４における眉、眼、鼻孔、口に相当する黒画
素のラベルを示す図。

【図６】眼の開き度合いの検出処理を説明するための図
であり、（ａ）は正常状態時の全体画像、（ａ'）は
（ａ）における眼の部分のみの画像、（ｂ）は居眠り状
態時における全体画像、（ｂ'）は（ｂ）における眼の
部分のみの画像、をそれぞれ示す図。

【図７】眼の位置の追跡処理および追跡ミスした場合の
復帰処理を示す図。

【図８】顔の傾き判定処理を説明するための２値化画像
を示す図。

【図９】顔の傾き判定処理を説明するための眼の画像を
示す図であり、（ａ）は顔が傾いていない場合、（ｂ）
は傾いている場合の画像。

【図１０】顔が傾いていた場合の処理を示す図。

【図１１】本発明の第２の実施例のブロック図。

【図１２】本発明の第２の実施例の構成を示す斜視図。

【図１３】本発明の第３の実施例のブロック図。

【図１４】画像メモリの回転変換処理を説明するための
画像を示す図。

【図１５】本発明の第４の実施例図であり、両眼による
顔の傾きの判定処理を説明するための画像を示す図。

【図１６】覚醒度判定処理に用いる眼の開閉状態を示す
信号パタンの一例図。

【図１７】本発明の第５の実施例を説明するための画像
を示す図。

【図１８】本発明の第６の実施例の側面図。

【図１９】本発明の第６の実施例を説明するための図で
あり、（ａ）は顔が直立している場合、（ｂ）は顔が傾
いている場合を示す図。

【図２０】本発明の第７の実施例の斜視図。

【図２１】本発明の第７の実施例に用いる検出手段の原
理図。

【図２２】本発明の第８の実施例の斜視図。

【符号の説明】

２０…演算装置３０…警報装置２１…ＴＶカメラ３１…顔の傾き
補正装置２２…Ａ−Ｄ変換器４０、４１…発光ダイ
オード２３…画像メモリ５０…発光ダイ
オード列２４…顔幅検出手段６１…ソース２５…眼の位置検出手段６０…センサ２６…顔の傾き検出手段６３…検出回路２７…開閉眼検出手段６２…演算装置２８…覚醒度判定手段７０…ジャイロ
センサ２９…顔の傾き補正手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｂ６０Ｒ 21/00 ＺＧ０１Ｂ 11/26 ＨＧ０６Ｔ 1/00 Ｇ０８Ｂ 21/00 ＱＧ０８Ｇ 1/09 Ｃ

Claims

【特許請求の範囲】

【請求項１】対象者の顔を撮像して電気信号の画像情報
に変換する画像入力手段と、上記画像入力手段から入力した画像情報を２値化する２
値化手段と、上記２値化した画像における顔の横幅、すなわち顔幅を
検出する顔幅検出手段と、上記顔幅検出手段の処理結果から左右の眼のうち少なく
とも一方の眼の位置を検出し、その眼の位置に相当する
矩形領域を設定する眼の位置検出手段と、上記眼の位置検出手段でよって得られた少なくとも片眼
の矩形領域の左右両端に所定領域を設定し、該所定領域
のそれぞれにおいて顔の横方向への濃度投影を行なって
眼の両端部の位置を検出し、該両端部すなわち目頭と目
尻の位置によって眼の傾きを検出し、それに応じて対象
者の顔の傾きを検出する顔の傾き検出手段と、を備えたことを特徴とする画像処理装置。
【請求項２】上記顔の傾き検出手段は、両眼についてそ
れぞれ眼の傾きの検出を行ない、二つの眼の傾きから対
象者の顔の傾きを検出するものである、ことを特徴とす
る請求項１に記載の画像処理装置。
【請求項３】対象者の顔を含む周辺部を撮像して電気信
号の画像情報に変換する画像入力手段と、上記画像入力手段から入力した画像情報を２値化する２
値化手段と、上記２値化した画像における顔の横幅、すなわち顔幅を
検出する顔幅検出手段と、上記顔幅検出手段の処理結果から左右の眼のうち少なく
とも一方の眼の位置を検出する眼の位置検出手段と、対象者の装着する眼鏡の左右両端に取り付けられた発光
手段と、入力画像における上記二つの発光手段を結ぶ直線と基準
線との成す角度に応じて対象者の顔の傾きを検出する顔
の傾き検出手段と、を備えたことを特徴とする画像処理装置。
【請求項４】対象者の顔を含む周辺部を撮像して電気信
号の画像情報に変換する画像入力手段と、上記画像入力手段から入力した画像情報を２値化する２
値化手段と、上記２値化した画像における顔の横幅、すなわち顔幅を
検出する顔幅検出手段と、上記顔幅検出手段の処理結果から左右の眼のうち少なく
とも一方の眼の位置を検出する眼の位置検出手段と、対象者の頭部背後に設置され、上記画像入力手段から見
て対象者の頭部によって一部が隠されるように設けられ
た発光手段と、入力画像における上記発光手段の現われている部分を判
別することによって対象者の顔の傾きを検出する顔の傾
き検出手段と、を備えたことを特徴とする画像処理装置。
【請求項５】対象者の顔を撮像して電気信号の画像情報
に変換する画像入力手段と、上記画像入力手段から入力した画像情報を２値化する２
値化手段と、上記２値化した画像における顔の横幅、すなわち顔幅を
検出する顔幅検出手段と、上記顔幅検出手段の処理結果から左右の眼のうち少なく
とも一方の眼の位置を検出する眼の位置検出手段と、対象者の頭部とは独立した個所に固定された第１のコイ
ルと、対象者の頭部の動きに連動するように設けられた第２の
コイルと、上記第１のコイルに電流を流すことによって上記第２の
コイルに生じる電流を検出することにより、上記第１と
第２のコイルの位置関係を判別し、それに基づいて対象
者の顔の傾きを検出する顔の傾き検出手段と、を備えたことを特徴とする画像処理装置。
【請求項６】対象者の顔を撮像して電気信号の画像情報
に変換する画像入力手段と、上記画像入力手段から入力した画像情報を２値化する２
値化手段と、上記２値化した画像における顔の横幅、すなわち顔幅を
検出する顔幅検出手段と、上記顔幅検出手段の処理結果から左右の眼のうち少なく
とも一方の眼の位置を検出する眼の位置検出手段と、対象者の頭部の動きに連動するように設けられたジャイ
ロセンサと、上記ジャイロセンサの信号に基づいて対象者の顔の傾き
を検出する顔の傾き検出手段と、を備えたことを特徴とする画像処理装置。
【請求項７】上記顔幅検出手段は、上記顔の傾き検出手
段で検出した顔の傾きに応じて、上記顔幅を補正するよ
うに構成したものである、ことを特徴とする請求項１乃
至請求項６のいずれかに記載の画像処理装置。
【請求項８】上記顔の傾き検出手段で検出した顔の傾き
に応じて、上記画像入力手段の撮像角度を補正する手段
を備えたことを特徴とする請求項１乃至請求項６のいず
れかに記載の画像処理装置。
【請求項９】上記画像入力手段の画像情報を一時的に記
憶する画像メモリと、上記顔の傾き検出手段で検出した顔の傾きに応じて、上
記画像メモリに記憶した顔の画像の角度を補正する手段
と、を備えたことを特徴とする請求項１乃至請求項６のいず
れかに記載の画像処理装置。
【請求項１０】請求項１乃至請求項９のいずれかに記載
の画像処理装置において、上記眼の位置検出手段で求めた眼の位置における眼の画
像の縦方向の幅から眼の開き度合いを検出する開閉眼検
出手段と、上記開閉眼検出手段で求めた開閉眼の信号パタンにおい
て、所定期間中の閉眼の積算数に応じて対象者の覚醒度
を判定する覚醒度判定手段と、上記覚醒度判定手段の判定結果に基づいて、覚醒度が低
下した場合に警報を発生する警報手段と、を備えたことを特徴とする居眠り警報装置。