JPH1044824A

JPH1044824A - 車両運転者の開閉眼判定装置

Info

Publication number: JPH1044824A
Application number: JP21658896A
Authority: JP
Inventors: Ryota Shirato; 良太白▲土▼
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-07-30
Filing date: 1996-07-30
Publication date: 1998-02-17

Abstract

(57)【要約】【課題】個人差による顔の位置が違っても開閉眼状態
を安定して検出する。【解決手段】ＴＶカメラ２１で撮影された顔画像につ
いて画像データ演算回路２４で画像処理し、眼の位置検
出部２５で眼の位置を検出して、眼の位置を含む処理対
象領域を設定する。眼の大きさ検出部２６では処理対象
領域での濃度値の頻度分布を求め、そのピーク値の点を
境界値として眼の領域を検出し、眼の領域の縦方向の長
さの最大値を眼の大きさとする。開閉眼・覚醒度判定部
２７が眼の開閉状態を判定し、その経過から覚醒の程度
が低いとき警報装置２８により運転者に警報を与える。
処理対象領域の頻度分布から求めた境界値により眼の大
きさを検出するので、顔の位置が変化しても常に適切な
しきい値設定ができ、開閉眼の状態を精度よく判定でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車等の運転者
の顔を撮影した画像データから、脇見や覚醒度が低下し
ている状態等を検出するために用いられる運転者の開閉
眼判定装置に関する。

【０００２】

【従来の技術】従来の車両運転者の開閉眼判定装置とし
て、例えば特開平６−１７９２１号公報に記載されたも
のがある。この装置では、車両運転者の眼の位置を検出
するに際して、図２２の（ａ）に示すように、昼間は画
像フレームの上方かつ車室中央側部分に対応する局所領
域Ａの濃度情報を計測し、夜間は画像フレームの下半分
からなる局所領域Ｂの濃度情報を計測して、それぞれそ
の濃度情報に基づいて画像処理における画像データの２
値化しきい値を設定している。これにより、顔画像が画
像フレームの略中央位置にある場合には、外光で車室内
の光環境が大きく変化しても、画像処理上これに影響さ
れることなく眼球部とその他の部位とを識別し、運転者
の眼の位置が精度よく検出される。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
装置にあっては、図２２の（ｂ）のように運転者の顔の
位置が個人差や運転姿勢の変化などにより低くなると、
領域Ａに本来の検出対象である運転者の眼部分が含まれ
なくなるため、顔画像の画像処理において局所領域Ａの
濃度情報に基づいて２値化しきい値を設定しても、その
２値化しきい値が適切な値でなくなることがあり得る。
局所領域Ｂの濃度情報に基づく夜間の顔画像の画像処理
においても同様の可能性がある。したがって、本発明
は、上記の問題点に鑑み、運転者の顔の位置が個人差や
運転姿勢により変化しても適切なしきい値設定ができ、
安定的に運転者の眼の位置を検出して、開閉眼の状態を
精度よく判定できる車両運転者の開閉眼判定装置を提供
することを目的とする。

【０００４】

【課題を解決するための手段】このため、本発明は、図
１に示すように、車両運転者の顔画像を入力する画像入
力手段１と、顔画像から眼の位置を検出する眼の位置検
出手段２と、顔画像のフレーム内に上記眼の位置を含む
処理対象領域を設定する処理対象領域設定手段３と、処
理対象領域内の識別パラメータの頻度分布を検出する頻
度分布検出手段４と、頻度分布から眼の領域を判定する
境界値を求める境界値演算手段５と、境界値に基づいて
処理対象領域内の眼の大きさを検出する眼の大きさ検出
手段６と、眼の大きさに基づいて開眼および閉眼状態を
判定する開閉眼判定手段７とを有するものとした。

【０００５】上記境界値演算手段５は、頻度分布が最大
となる識別パラメータの値を用いて境界値を算出するこ
とができ、とくに、頻度分布が最大となる識別パラメー
タの値に比例させるのが好ましい。さらに、頻度分布が
最大となる識別パラメータの値における頻度が所定値を
越える場合には、その頻度の最大値に応じて所定量だけ
加算して境界値とすることができる。

【０００６】あるいは、境界値演算手段５は、頻度分布
の重心を算出し、重心位置の識別パラメータの値を前記
境界値とすることができ、とくに、上記重心は頻度分布
の微分がそれぞれ最小および最大となる識別パラメータ
の値で区切られる間で算出するのが好ましい。また、境
界値演算手段５は、頻度分布の微分がそれぞれ最小およ
び最大となる識別パラメータの中央値を境界値とするこ
ともでき、あるいは、頻度分布の微分がそれぞれ最小お
よび最大となる間で微分値が０となる識別パラメータの
値を境界値としてもよい。上記識別パラメータとして
は、明度、彩度および色相の少なくとも１つを用いるこ
とができる。

【０００７】

【作用】まず、画像入力手段１で入力された顔画像につ
いて、眼の位置検出手段２により画像の濃度データ等か
ら顔の特徴部分を抽出して眼の位置を求める。次いで、
処理対象領域設定手段３で上記眼の位置を含む処理対象
領域が設定され、頻度分布検出手段４がこの処理対象領
域で明度、彩度あるいは色相などの識別パラメータの頻
度分布を検出する。この頻度分布から境界値演算手段５
において眼の領域を判定する境界値が求められ、境界値
に基づいて眼の大きさ検出手段６が眼の大きさを検出す
る。そして、開閉眼判定手段７が検出された眼の大きさ
に基づいて開眼および閉眼状態を判定する。識別パラメ
ータの頻度分布から境界値を求め、これに基づいて眼の
大きさを検出するから、運転者の顔の位置が個人差や運
転姿勢により変化しても眼の領域を精度よく検出するこ
とができるとともに、検出された眼の大きさから処理対
象領域が正しく眼の位置を追跡しているかも容易に判断
できる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を実施
例により説明する。図２は、運転者の覚醒状態警報装置
に適用した実施例のシステム構成を示す。自動車のイン
ストルメントパネルに、運転者の顔部分を正面から撮影
するＴＶカメラ２１が設置されている。カメラ２１から
出力されるアナログ画像信号がＡ−Ｄ変換器２２によっ
てデジタル信号化され、画像メモリ２３に記憶される。
画像メモリ２３への入力画面は、図５に示すように、横
方向に５１２、縦方向に４８０の画素に分割されて１画
像フレームを構成し、各画素の明度を２５６階調（８ビ
ット）の階調値として記憶される。

【０００９】画像メモリ２３には、画像データ演算回路
２４を介して、眼の位置検出部２５と眼の大きさ検出部
２６とが接続されている。そして眼の大きさ検出部２６
には順次開閉眼・覚醒度判定部２７と警報装置２８が接
続され、運転者の眼の大きさのデータに基づき開閉眼・
覚醒度判定部２７で覚醒状態が低下していると判断され
た場合には警報装置２８が駆動されて運転者に対して警
報を与えるようになっている。

【００１０】図３は上記構成における動作の全体の流れ
を示すフローチャートである。まず、ステップ３１にお
いて、ＴＶカメラ２１により運転者の顔画像が撮影さ
れ、ステップ３２で、顔画像データが画像メモリ２３に
デジタル信号として記録される。これらステップ３
１、３２が発明の画像入力手段を構成している。ステッ
プ３３では、画像データ演算回路２４において、前回の
画像フレームの画像処理結果から今回の画像フレーム上
に処理対象領域が設定されていればステップ３６へ進
み、設定されていない場合はステップ３４に進む。

【００１１】ステップ３４では、眼の位置検出部２５に
より運転者の顔画像全体から眼の位置を検出し、次いで
ステップ３５で、画像データ演算回路２４でその眼の位
置に基づいて眼の開閉の検出処理を実行する処理対象領
域を設定する。ステップ３６では、眼の大きさ検出部２
６により、処理対象領域内の画像データを用いて画像上
での運転者の眼の大きさを検出し、ステップ３７におい
て、眼の大きさのデータから処理対象領域が適当であっ
たかどうかを判定する。処理対象領域が適当でなければ
ステップ３１２に進んで、検出された眼の大きさと設定
されていた処理対象領域をクリアしてステップ３１に戻
る。処理対象領域が適当であると判定されると、ステッ
プ３８に進んで、開閉眼・覚醒度判定部２７で眼が開い
ているか閉じているかを判定するともに、ステップ３９
において、画像データ演算回路２４で処理対象領域を更
新する。

【００１２】次いでステップ３１０では、ステップ３８
で判定された開閉眼の経時変化から運転者の覚醒状態を
判定する。覚醒の程度が高いと判定された場合は、その
ままステップ３１に戻って次の撮影画像の入力を行な
い、覚醒の程度が低いと判定された場合は、ステップ３
１１において、警報装置２８により運転者に警報を与え
た後、ステップ３１に戻る。

【００１３】次に、上記フローにおける各ステップの詳
細について順次説明する。まずステップ３４における眼
の位置検出の詳細について、図４のフローチャートによ
り説明する。図４は、ステップ３４における眼の位置検
出の処理動作の詳細を示す。ここでは、図５に示すよう
にＹ軸方向に４８０画素のライン（画素列）上のデータ
に対して、それぞれの画素列の濃度値を演算処理して抽
出点となる画素（Ｙ座標）を特定する。すなわち、画素
列上の濃度値の大きな変化を求め、その局所的なピーク
を抽出点とする。このような抽出処理を行い、１ライン
終了すると、一つ隣のラインの処理に移行する。そこで
まず、ステップ４１では、所定方向（Ｙ軸方向）の全ラ
インについて抽出点の抽出が終了したかどうかをチェッ
クする。

【００１４】ステップ４１で全ラインの抽出点抽出が終
了していないと判断されたときには、ステップ４２に進
む。ステップ４２では、所定方向の１ラインにおいて濃
度値の相加平均演算を行い、画素列上の濃度値の変化曲
線から高い周波数を除去した相加平均濃度値を求める。
この処理は、画像データ撮影時の濃度値の変化の小さい
バラツキをなくして濃度値の大局的な変化を捉えること
を目的としている。例えば、図５に示すラインＸａから
は図６の（ａ）に示すような相加平均濃度値が算出さ
れ、ラインＸｂからは図７の（ａ）に示すような相加平
均濃度値が算出される。

【００１５】ステップ４３では、ステップ４２で算出し
た所定方向の１ライン相加平均濃度値を微分する。図６
の（ａ）に示す相加平均濃度値からは同図の（ｂ）に示
す微分値が得られ、図７の（ａ）に示す相加平均濃度値
からは同図の（ｂ）に示す微分値が得られる。つぎのス
テップ４４では、ステップ４３の演算結果である図６の
（ｂ）および図７の（ｂ）の微分値により、図６の
（ａ）および図７の（ａ）における相加平均濃度が下向
きに凸となる暗さのピークに対応するポイント（Ｙ座標
値）の抽出を行う。微分値が負から正に反転するＹ座標
値は、暗さのピークに対応しており、眼、眉、口等をそ
れぞれ代表する１個ずつのＹ座標値となる。

【００１６】図６の（ａ）に示す相加平均濃度値は、同
図の（ｂ）に示す微分値となり、微分値が負から正に反
転するポイントｐ１、ｐ２、ｐ３、ｐ４、ｐ５が抽出さ
れる。次に、上記それぞれのポイントに達するまでの微
分値のピーク値ｑ１、ｑ２、ｑ３、ｑ４、ｑ５が所定値
以下であるか否か、すなわち、図６の（ｂ）のハッチン
グ部分に入るか否かを判定し、所定値以下の濃度値の変
化を持つポイントｐ１、ｐ２、ｐ５、を対象としてＹ座
標値Ａ１、Ａ２、Ａ３を抽出して、これらを抽出点とす
る。微分値が負から正に反転するポイントの手前の微分
値のピークを判別することにより、濃度の変化の小さい
顔面のしわや凹凸が抽出されることを回避している。

【００１７】図７の（ａ）に示す相加平均濃度値では、
同図の（ｂ）に示す微分値が負から正に反転するポイン
トｐ１、ｐ２、ｐ３が抽出されるが、いずれのポイント
も手前の微分値のピークｑ１、ｑ２、ｑ３が所定値以下
であるハッチング部分に入っていないので、抽出点がな
い。ステップ４５では、抽出点を抽出するポイント抽出
の処理が１ライン終了すると、次のラインの処理に切り
換え、ステップ４１へ戻り、処理を繰り返す。

【００１８】ステップ４１で全ラインのポイント抽出が
終了したと判断されたときには、図８に示すような抽出
点が抽出されていることになる。つまり、図８のライン
Ｘｃ上では、Ａ１、Ａ２の２つの抽出点が抽出されてお
り、ラインＸｄ上では、Ａ１、Ａ２、Ａ３、Ａ４の４つ
の抽出点が抽出されている。

【００１９】ステップ４１で全ラインに関して抽出点の
抽出が終了したと判断されると、ステップ４６におい
て、隣り合う各ラインの抽出点（抽出ポイント）のＹ座
標値Ａ１、Ａ２、Ａ３、・・・・を比較する。そして、Ｙ座
標値の差が所定値（例えば１０画素）以内の場合には、
Ｘ軸方向につなげてグループ化し、連続データのグル
ープ番号、連続開始ライン番号、連続データ数を記
憶する。

【００２０】ステップ４６の具体的な処理内容を図９を
用いて説明する。ここでは、簡単のためライン（画素
列）を１１本として説明する。ライン１〜１１でそれぞ
れ特定された抽出点は、抽出点ごとに、グループ番号
（Ｇ）、Ｙ座標値（Ｙ値）、連続個数（Ｎ）を付与さ
れて連結データを形成している。図９に示される３４個
の抽出点は、１０個のグループにまとめられている。ラ
イン１には、Ｙ座標値１９２と２２９の２つの抽出点で
ある抽出ポイントがある。第１のＹ座標値が１９２のポ
イントの左隣にはラインが存在しないので、この段階で
は、他の連続データはないので、連続データのグループ
番号は１となる。また、Ｙ座標値２２９のポイントも
同様の理由でこの段階での連続データは上記１以外には
存在しないので、連続データのグループ番号は、次の
２とする。

【００２１】次に、右隣のライン２には、Ｙ座標値が１
９１と２２４の２つの抽出ポイントがある。ライン２の
Ｙ座標値１９１のポイントは、左隣のライン１のＹ座標
値１９２と１０画素以内のポイントであるため、抽出ポ
イント１９２とつなげる抽出ポイントとして、連続デー
タのグループ番号を１とする。このとき、連続データ
数は２となる。ライン２のＹ座標値２２４のポイント
についても、同様に判定を行い、連続データのグループ
番号は２、連続データ数は２とする。

【００２２】次のライン３のＹ座標値３６０のポイント
では、左隣のライン２に３６０とＹ軸方向の画素数１０
以内になるポイントが存在しないので、の連続データ
のグループ番号は３となり、の連続データ数は１とな
る。なお、ステップ４６における、連続開始ライン番
号は、の連続データ数が１と判断されるポイントを有
するライン番号のことをいう。従って、例えば、Ｙ座標
値３６０のポイントでは３となる。ステップ４６では、
このようにして各ラインのポイントの連続性の判断を全
ラインについて終了するまで行い、曲線群を得る。終了
するとステップ４７へ移行する。

【００２３】ステップ４７では、先ず、連続データグル
ープの連続データ数を評価する。本実施例では、連続デ
ータ数が５個以上あるときに、有効な連続データグルー
プを形成しているとする。次いで、有効連続データグル
ープについて、眼の位置の候補点データを形成する。同
じ連続データグループ番号を持つポイントのＹ座標値の
平均を算出して連続ポイントの平均値として記憶す
る。この値は、そのグループの代表Ｙ座標値として用い
られる。また、連続開始ラインとその連続データ数から
連続終了ラインを求め、連続開始ラインと連続終了ラ
インのＸ座標値の平均値を算出して記憶する。この値
は、そのグループの代表Ｘ座標値となる。

【００２４】ステップ４８では、ステップ４７で得られ
た各連続グループデータを基に、各連続グループの長
さ、および（Ｘ、Ｙ）座標の位置関係から眼の位置を検
出する。すなわち、眼の特徴量を考えると、横に長く、
上に凸型の弓形形状であると定義づけることができる。
この定義づけに基づいて連結データの絞り込みを行う
と、眼は横に長いという条件から、ポイント連続数が５
ポイント以上続き、また、弓形形状であるという条件か
ら、連続開始ポイントと連続終了ポイントのＹ座標値の
差の小さい連続データを眼の候補として絞り込むことが
できる。これに基づき連続データの絞り込みを行うと、
図１０の（ａ）に示すようなグループＧ１〜Ｇ６が抽出
点群の有効データグループとして抽出される。

【００２５】次に、前述のステップ４７で算出した各グ
ループのＸ、Ｙ代表座標値の位置を考えると、図１０の
（ｂ）に示すように、Ｘ座標方向での接近度合いによ
り、ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒに分類
できる。これは、左眼と右眼とはＸ座標方向に大きく離
れ、すなわち、顔の左右ほぼ対称に分かれ、左眼と左眉
とはＸ座標方向に大きく離れることはなく、右眼と右眉
も互いにＸ座標方向に大きく離れることはない。また、
鼻下の影により連結データとなったものや、口の連結デ
ータは中央部付近に位置する。

【００２６】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んでいくことで眼の
位置を容易に検出することができる。ＺＯＮＥ：Ｌに含
まれる連結データは、左眼と左眉であり、ＺＯＮＥ：Ｒ
に含まれる連結データは右眼と右眉であると判定する
と、図１０の（ａ）では、眼の位置はＧ３とＧ４であ
り、その座標値も特定できる。ステップ４１〜４８から
なるステップ３４が発明の眼の位置検出手段を構成して
いる。

【００２７】次に、先のステップ３５における処理対象
領域の設定では、上述のように、図１０において運転者
の左眼を示す連結グループはグループＧ４であるから、
ここでは、グループＧ４を構成するポイント群の重心座
標、すなわちＸ，Ｙ座標の平均値を左眼の領域の中心と
する。そして、これを含む短形領域を処理対象領域とし
て設定する。本実施例では、Ｘ方向に１２０画素、Ｙ方
向に６０画素の大きさの短形領域を、図１０の（ａ）に
示す領域Ｒのように設定している。

【００２８】次に、ステップ３６における眼の大きさ検
出について、処理の詳細を図１１のフローチャートによ
り説明する。まず、ステップ１１０１において、図１２
の（ａ）に示す処理対象領域Ｒの全画素を対象として明
度の濃度値についての頻度（画素数）分布グラフを作成
し、ステップ１１０２でフィルタ処理や移動平均法等の
手法を用いて頻度分布グラフにスムージング処理を施
す。こうして図１２の（ｂ）に示すような滑らかな頻度
分布グラフを得る。

【００２９】次に、ステップ１１０３において、上記頻
度分布グラフのピーク値、すなわち、最も画素数の多い
濃度値Ｄ１とその画素数Ｐを求める。そして、ステップ
１１０４で、処理対象領域Ｒ内の眼の領域と眼以外の領
域を区別するための境界値を算出する。ここでは、図１
２の（ｂ）に示すようにピーク値（濃度値Ｄ１）の１／
２の値に、該ピーク値の画素数Ｐに比例したオフセット
値ｄを加えた値を境界値Ｔｈとしている。オフセット値
ｄは、図１３に示すように、ピーク値の画素数Ｐが大き
くなるほど同じく大きくなるように設定される。

【００３０】次に、ステップ１１０５において、境界値
Ｔｈをしきい値として２値化処理を行ない、図１４に示
すような処理対象領域の２値化画像を作成する。最後に
ステップ１１０６において、上記２値化画像上で眼の領
域のＹ方向の大きさを検出し、ここでは、図１４の処理
対象領域内をＹ方向に走査し、眼の領域ＬのＹ方向の長
さを検出して、その最大値ｙ０を眼の領域のＹ方向の大
きさとして検出する。そして、この値を運転者の眼の開
閉を判定する眼の大きさとして次のステップ３７へ進
む。上記ステップ１１０１、１１０２が発明の頻度分布
検出手段を構成し、ステップ１１０３、１１０４が境界
値演算手段を、そしてステップ１１０５、１１０６が眼
の大きさ検出手段を構成している。

【００３１】次に、ステップ３７における処理対象領域
が適当であるかどうかの判断処理の詳細について説明す
る。本実施例では、前述のように処理対象領域ＲをＸ方
向に１２０画素、Ｙ方向に６０画素の大きさに設定して
おり、これに対してステップ３６で検出される眼の大き
さは概ね２〜４０画素程度である。そこで、眼の大きさ
が０か、あるいは４０画素を越えている場合は、処理対
象領域内Ｒに眼が存在していないか、または眼以外の顔
の部位を処理対象としているものと判断する。したがっ
て、眼の大きさが０か、あるいは４０画素を越えている
ときは、処理対象領域が適当でないものとして、図３の
フローチャートではステッ３７からステップ３１２へ進
み、それ以外の場合はステップ３８へ進む。

【００３２】なお、運転者が眼鏡をかけている場合や髪
の毛が眼の一部にかかってしまって顔画像が図１５の
（ａ）、（ｂ）に示すようなものとなる場合がある。こ
のような場合は、同図に示すように、処理対象領域内の
上部の一部を画面のＸ方向に走査して１ライン分の濃度
値データを求め、検出される画素列が１ライン分のデー
タの５０％未満の割合を占めるときは、当該画素列を処
理対象から除外するようにする。これにより、眼鏡の緑
や髪の毛の影響を除外することができる。

【００３３】また、図１６の（ａ）のように上部の１ラ
インデータがちょうど眼鏡のフレームに該当する場合に
も、処理対象領域全体中に占める眼鏡のフレームの割合
が少ないので、とくに除外しなくても開閉眼の判定には
影響を及ぼさない。さらに、図１６の（ｂ）のように髪
の毛の領域が上部の１ラインデータの５０％以上を占め
るときには、処理対象領域の中心が眼の重心からずれて
いるから、眼の大きさの検出結果は正常な値でなくな
り、図３のフロー上ステップ３７からステップ３１２へ
進むことになって、処理対象領域Ｒが再設定されること
になる。

【００３４】次に、図３のフローのステップ３８におけ
る開閉眼の判定について説明する。運転者は通常覚醒状
態であっても瞬きをするので、眼を閉じている時の眼の
大きさを検出することができる。そこで、本装置の始動
時は、まず、所定時間中の眼の大きさのデータを蓄積し
て、その最大値と最小値の平均値を眼の開閉判定しきい
値として設定する。そして所定時間経過後より比較を行
ない、図１７に示すように、眼の大きさ（ｙ０）が開閉
判定のしきい値ｗより大きければ開眼状態、小さければ
閉眼状態であると判定する。このステップ３８が発明の
開閉眼判定手段を構成している。

【００３５】次に、ステップ３９における処理対象領域
の更新について説明する。ここでは図１４に示した２値
化画像をもとに、眼の領域Ｌの重心座標を算出し、この
重心座標が次回の開閉眼判定処理の処理対象領域の中心
になるように更新していく。すなわち、図３のフローチ
ャートに基づいて、システムをスタートさせた直後に
は、第１フレームでは、当然眼を含む処理対象領域は設
定されていない。したがって、ステップ３３のチェック
で処理対象領域はないと判断され、ステップ３４の眼の
位置検出を経て、ステップ３５で処理対象領域Ｒが設定
される。このとき、眼の重心座標と処理対象領域Ｒの中
心座標は図１８の（ａ）に示すように一致している。

【００３６】第１フレームについて一連の処理が終了し
て第２フレームの処理に移り、処理が再びステップ３３
へ進むと、今度はすでに処理対象領域Ｒが設定されてい
るため、処理対象領域有りと判定される。これにより次
はステップ３６へ進んで眼の大きさ検出を行ったあと、
ステップ３７へ進む。このとき、眼が正しく捉えられて
いる場合には、例えば図１８の（ｂ）に示すようにな
る。ここでは、処理対象領域Ｒは第１フレームで設定さ
れた位置にあるのに対し、眼の位置は２フレーム目に取
り込まれた第２フレームの画像データにおける目の位置
であるため、顔の動きなどにより、目の重心座標は処理
対象領域Ｒの中心に対してずれた位置にある。

【００３７】ステップ３９では、このようにして捉えら
れた図１８の（ｂ）の眼の重心座標に処理対象領域Ｒの
基準点を変更する。これにより、運転者の顔の動きに対
応させることができる。図１８の（ｃ）、（ｄ）はそれ
ぞれ第３フレーム、第４フレームで取り込まれた顔の画
像データにおける眼の位置と処理対象領域Ｒとの位置関
係を示したものである。前フレームの処理において処理
対象領域Ｒの変更が行われているので、眼の中心（重心
座標）と処理対象領域Ｒの中心座標とのずれは小さくな
っている。上記のステップ３３、３５、３７、３９およ
び３１２が発明の処理対象領域設定手段を構成してい
る。

【００３８】次に、第３図のステップ３１０における覚
醒状態の判定について説明する。図１９は、先のステッ
プ３８で出力される判定結果を示す開閉眼パターンであ
る。このパターン上で所定の覚醒度判定区間内で眼が閉
じていると判断された割合を算出し、眼が閉じていると
判断された割合が小さければ運転者は高い覚醒状態にあ
り、大きければ低い覚醒状態にあると判定する。例え
ば、覚醒度判定区間を１分程度として、この間の閉眼積
算値が例えば５以上であるかどうかをチェックすること
により、覚醒度を判定する。図１９の例においては閉眼
（ｃｌｏｓｅ）の積算値が７となっているので居眠りと
判定する。

【００３９】本実施例は以上のように構成され、画像デ
ータ演算回路２４で眼の位置に基づいて眼の開閉の検出
処理を実行する処理対象領域を設定し、処理対象領域の
濃度値の頻度分布から境界値を求め、境界値に基づいて
眼の大きさ検出部２６で運転者の眼の大きさを検出する
ようにしたから、運転者の顔の位置が個人差や運転姿勢
により変化しても常に適切なしきい値設定ができ、開閉
眼の状態を精度よく判定して居眠り状態を検出すること
ができる。これにより、的確に警報装置を作動させ、居
眠り状態を解消させ、未然に居眠り事故等を防ぐことが
できる。

【００４０】またこの際、ステップ３７、３９、３１２
による処理対象領域の更新を通じての眼の追跡ロジック
を有し、眼の大きさを検出する都度、眼の大きさのデー
タから処理対象領域が適当であったかどうかを判定する
ものとし、処理対象領域を更新するので、新しい画像フ
レームの処理においてステップ３４、３５による顔全体
からの眼の位置検出を省略でき、眼の大きさ検出の高速
化を図ることができるという利点を有する。

【００４１】次に、本実施例の変形例について説明す
る。これは、上述の図３のフローにおけるステップ３６
のかわりに、図２０のフローチャートにしたがって眼の
大きさを検出するようにしたものである。まず、ステ
ップ１８０１において、たとえば明度の濃度値について
の頻度分布グラフを作成し、ステップ１８０２でフィル
タ処理や移動平均法等の手法を用いて頻度分布グラフに
スムージング処理を施す。こうして図２１の（ａ）に示
すような滑らかな頻度分布グラフを得る。

【００４２】次に、ステップ１８０３において、図２１
の（ｂ）に示すような頻度分布の微分を求めるととも
に、ステップ１８０４において、微分値が最大となる濃
度値ｄ１と、微分値が最小となる濃度値ｄ２で囲まれる
頻度分布グラフの領域Ｅの重心Ｇの濃度値Ｄ２を計算し
て求める。このあとのステップ１８０５〜１８０７で
は、図１１のフローにおけるステップ１１０３〜１１０
５と同様の処理を、ピーク濃度値Ｄ１の代わりに重心濃
度値Ｄ２を用いて行なう。この変形例によっても、同様
に車両運転者の開閉眼の状態を精度よく判定して居眠り
状態を検出することができる。

【００４３】眼の大きさの検出処理の変形例としては、
このほかにも、図２１における微分値が最大および最小
になる濃度値ｄ１、ｄ２の中間値、あるいは、ｄ１とｄ
２の間にあって微分値が０になる濃度値Ｄ３を、ピーク
濃度値Ｄ１の代わりに用いることができる。

【００４４】また、上記実施例では眼の大きさを検出す
るために２値化処理を行なっているが、これを省略し
て、各画素の値を境界値と直接比較して眼の大きさを求
めるようにしてよい。なお、上記実施例では、眼の大き
さの検出処理に用いる境界値を求めるに際して、処理対
象領域内の頻度分布グラフ作成対象を顔画像の明度の濃
度値としたが、これに限定されることなく、明度のほ
か、彩度あるいは色相を用いて頻度分布を求めることも
でき、これにより適切な境界値Ｔｈを得て眼の領域を識
別することができる。

【００４５】

【発明の効果】以上のとおり、本発明は、運転者の顔画
像を画像処理してその開閉眼を判定する装置において、
眼の位置を含む処理対象領域を設定し、この処理対象領
域の明度、彩度あるいは色相などの識別パラメータの頻
度分布から境界値を求め、境界値に基づいて眼の大きさ
を検出して、その眼の大きさに基づいて開眼および閉眼
状態を判定するものとしたので、運転者の顔の位置が個
人差や運転姿勢により変化しても眼の領域を精度よく検
出することができる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】発明の実施例を示すシステム構成図である。

【図３】実施例における全体の流れを示すフローチャー
トである。

【図４】眼の位置検出の処理の詳細を示すフローチャー
トである。

【図５】眼の位置検出のための画素列を説明する図であ
る。

【図６】眼の位置検出のための抽出点の抽出要領を説明
する図である。

【図７】眼の位置検出のための抽出点の抽出要領を説明
する図である。

【図８】抽出結果を示す図である。

【図９】抽出点のグループ化処理を説明する図である。

【図１０】抽出点群から眼の位置を検出する要領を説明
する図である。

【図１１】眼の大きさ検出の処理の詳細を示すフローチ
ャートである。

【図１２】処理対象領域における頻度分布グラフを示す
図である。

【図１３】眼の領域を判定する境界値算出に用いるオフ
セット値を示す図である。

【図１４】処理対象領域の２値化要領を示す図である。

【図１５】眼鏡をかけたり髪の毛が眼にかかっている場
合の顔画像の処理の説明図である。

【図１６】眼鏡をかけたり髪の毛が眼にかかっている場
合の顔画像を示す図である。

【図１７】開閉眼の判定要領を示す図である。

【図１８】処理対象領域の更新状態を示す図である。

【図１９】覚醒度の判定に用いる開閉眼パターン例を示
す図である。

【図２０】眼の大きさ検出処理の変形例を示すフローチ
ャートである。

【図２１】眼の領域を判定する境界値算出の変形例を説
明する図である。

【図２２】従来例を示す図である。

【符号の説明】

１画像入力手段２眼の位置検出手段３処理対象領域設定手段４頻度分布検出手段５境界値演算手段６眼の大きさ検出手段７開閉眼判定手段２１ＴＶカメラ２２Ａ−Ｄ変換器２３画像メモリ２４画像データ演算回路２５眼の位置検出部２６眼の大きさ検出部２７開閉眼・覚醒度判定部２８警報装置Ａ１、Ａ２、Ａ３、Ａ４抽出点Ｒ処理対象領域Ｘａ、Ｘｂ、Ｘｃ、Ｘｄライン

Claims

【特許請求の範囲】

【請求項１】車両運転者の顔画像を入力する画像入力
手段と、顔画像から眼の位置を検出する眼の位置検出手
段と、顔画像のフレーム内に前記眼の位置を含む処理対
象領域を設定する処理対象領域設定手段と、前記処理対
象領域内の識別パラメータの頻度分布を検出する頻度分
布検出手段と、前記頻度分布から眼の領域を判定する境
界値を求める境界値演算手段と、前記境界値に基づいて
前記処理対象領域内の眼の大きさを検出する眼の大きさ
検出手段と、前記眼の大きさに基づいて開眼および閉眼
状態を判定する開閉眼判定手段とを有することを特徴と
する車両運転者の開閉眼判定装置。
【請求項２】前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値を用いて前記境界値を算
出するものであることを特徴とする請求項１記載の車両
運転者の開閉眼判定装置。
【請求項３】前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値に比例させて前記境界値
を算出するものであることを特徴とする請求項２記載の
車両運転者の開閉眼判定装置。
【請求項４】前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値における頻度が所定値を
越える場合には、さらにその頻度の最大値に応じて所定
量だけ加算して前記境界値とするものであることを特徴
とする請求項３記載の車両運転者の開閉眼判定装置。
【請求項５】前記境界値演算手段は、前記頻度分布の
重心を算出し、重心位置の識別パラメータの値を前記境
界値とするものであることを特徴とする請求項１記載の
車両運転者の開閉眼判定装置。
【請求項６】前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる識別パラメータの
値で区切られる間で前記頻度分布の重心を算出するもの
であることを特徴とする請求項５記載の車両運転者の開
閉眼判定装置。
【請求項７】前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる識別パラメータの
中央値を前記境界値とするものであることを特徴とする
請求項１記載の車両運転者の開閉眼判定装置。
【請求項８】前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる間で微分値が０と
なる識別パラメータの値を前記境界値とするものである
ことを特徴とする請求項１記載の車両運転者の開閉眼判
定装置。
【請求項９】前記識別パラメータが、明度、彩度およ
び色相の少なくとも１つであることを特徴とする請求項
１、２、３、４、５、６、７または８記載の車両運転者
の開閉眼判定装置。