JPH04216403A - 眼位置検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、運転者の眼の位置を
検出する眼位置検出装置に関する。

【０００２】

【従来の技術】従来の車両運転者等の眼位置検出装置と
しては、例えば特開昭６０−１５８３０３号公報、特開
昭６０−１５８３０４号公報、特開昭６１−７７７０５
号公報および特開昭６１−７７７０６号公報に記載され
たようなものがある。これらは車両運転者の眼の位置を
認識する装置であり、運転者の顔部分を撮影して２枚の
画像として入力し、この画像の明領域の中にある独立し
た暗領域を特異点として抽出し、その特異点を眼として
認識する構成となっており、運転者の居眠りや、わき見
の検出に利用できるものである。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の車両運転者の眼位置検出装置では、鼻穴や黒
子等も明るい閉領域の中にある独立した暗領域としての
特異点となるため、これらを眼として誤認識してしまう
恐れがある。

【０００４】そこでこの発明は、眼の存在領域が正確に
検出できる眼位置検出装置の提供を目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
にこの発明は、第１図に示すように、眼を含む顔画像を
入力する画像入力手段ＣＬ１と、前記画像入力手段ＣＬ
１から送出される入力画像を２値化する２値化手段ＣＬ
２と、前記２値化画像において画像の左右方向へ走査し
連続する白色画素数を計数する白色画素数計数手段ＣＬ
３と、この白色画素数計数手段ＣＬ３の検出に基づき顔
面の端を特定する顔面の端特定手段ＣＬ４と、前記左右
方向への走査において黒色画素が所定個以下の小特異点
を検出する小特異点検出手段ＣＬ５と、この小特異点検
出手段ＣＬ５が小特異点を検出したとき当該部分対応の
左右走査情報を顔面の端特定の情報から削除する削除手
段ＣＬ６と、前記顔面の端特定手段ＣＬ４により特定さ
れた顔面の端から眼の存在領域の横方向の位置を決定す
る眼球の左右領域決定手段ＣＬ７と、決定された眼の横
方向の存在領域で縦方向の下から黒領域を検出する黒領
域検出手段ＣＬ８と、検出された黒領域を基準にして眼
の存在領域の縦方向の位置を決定する眼球の縦領域決定
手段ＣＬ９とからなる構成とした。

【０００６】

【作用】上記構成によれば、２値化画像において、例え
ば画像の中央部から左右一方に走査し、連続する白色画
素数を白色画素数計数手段ＣＬ３が計数する。白色画素
数の変化量から、例えば顔画像の幅方向端の安定部を検
出し、前記安定部の有無と前記連続画素数の変化量によ
り顔面の輪郭線の連続性を判断する等して顔面の端が端
特定手段ＣＬ４によって特定される。

【０００７】前記走査において小特異点検出手段ＣＬ５
が小特異点を検出したとき削除手段ＣＬ６において当該
検出部分対応の左右走査情報を顔面の端特定の情報から
削除する。

【０００８】そして、特定された顔面の端から左右領域
決定手段ＣＬ７によって眼の存在領域の横方向位置が決
定される。ついで、黒領域検出手段ＣＬ８により前記横
方向の存在領域で縦方向の下から黒領域を検出する。こ
の検出された黒領域を基準にして、縦領域決定手段ＣＬ
９が眼の存在領域の縦方向の幅を決定する。

【０００９】

【実施例】以下、この発明の実施例を図面に基づいて説
明する。

【００１０】図２はこの発明の一実施例に係る眼位置検
出装置の構成図、図３は図２の構成に基づくフローチャ
ートを示すものである。

【００１１】図２に示すように、この眼位置検出装置は
自動車に適用したもので、インストルメントパネル（図
示せず）内の運転者に対する正面方向に、運転者の顔部
分を照射する赤外ストロボ１と、この赤外ストロボ１の
赤外光で照射される顔部分を撮影する画像入力手段ＣＬ
１としてのＴＶカメラ３と、前記赤外ストロボ１の発光
とＴＶカメラ３の画像入力とのタイミングを合せるタイ
ミング指令回路５とを備えている。そして、赤外ストロ
ボ１にタイミング指令回路５からストロボ発光指令が出
力されると、赤外ストロボ１が発光して運転者の顔部分
を照射し、これと同時にＴＶカメラ３に対し画像入力指
令が出力され、赤外光で照射された顔部分を撮影するよ
うになっている。

【００１２】ＴＶカメラ３の画像は、この実施例では第
４図に示すように、横（Ｘ）方向５２０画素、縦（Ｙ）
方向５００画素からなり、縦方向に顔部分がほぼいっぱ
いになるように画角が調整されている。

【００１３】ＴＶカメラ３には、撮影した入力画像をデ
ジタル量に変換するＡ／Ｄ変換器７を介して画像メモリ
９が接続されている。この画像メモリ９はＴＶカメラ３
の入力画像データを入力するものである。

【００１４】画像メモリ９には、該画像メモリ９に格納
された入力画像データに基づいて眼球の存在位置領域を
規定する眼球存在位置規定回路１１が接続され、さらに
、眼球存在位置規定回路１１で規定された領域内にある
画像メモリ９の画像データを処理して眼の虹彩部分を検
出する虹彩検出回路１３が接続されている。

【００１５】また、虹彩検出回路１３には、該虹彩検出
回路１３での虹彩検出結果から運転者の居眠りやわき見
等の有無を判定する居眠りわき見判定回路１５が接続さ
れている。

【００１６】前記眼球存在位置規定回路１１は、入力画
像をあるしきい値で２値化する２値化手段ＣＬ２と、前
記２値化画像において画像の左右方向へ走査し連続する
白色画素数を計数する白色画素数計数手段ＣＬ３と、こ
の白色画素数計数手段ＣＬ３の検出に基づき顔面の端を
特定する顔面の端特定手段ＣＬ４と、前記左右方向への
走査において黒色画素が所定個以下の小特異点を検出す
る小特異点検出手段ＣＬ５と、小特異点を検出したとき
当該検出部分対応の左右走査情報を顔面の端特定の情報
から削除する削除手段ＣＬ６と、前記顔面の端特定手段
ＣＬ４により特定された顔面の端から眼の存在領域の横
方向の位置を決定する眼球の左右領域決定手段ＣＬ７と
、決定された眼の横方向の存在領域で縦方向の下から黒
領域を検出する黒領域検出手段ＣＬ８と、検出された黒
領域を基準にして眼の存在領域の縦方向の位置を決定す
る眼球の縦領域決定手段ＣＬ９とを構成するものである
。

【００１７】つぎに、図３のフローチャートに基づいて
全体の作用を説明する。

【００１８】まず、ステップＳ１で赤外線ストロボ１の
発光と同期してＴＶカメラ３によって運転者の顔部分を
撮影し、この画像をＡ／Ｄ変換回路７でデジタル信号に
変換して画像メモリ９に格納する（ステップＳ２）。

【００１９】つぎに、ステップＳ３で画像メモリ９に格
納された入力画像データを眼球存在位置規定回路１１に
取り込み、あるしきい値で２値化する。これは顔部分の
明暗をはっきりさせるためであり、２値化しきい値は眼
球を抽出できるレベルに設定されている。

【００２０】すなわち、ビデオ信号を２５６階調（０〜
２５５）のデジタルデータに変換し、白い部分を“２５
５”、黒い部分を“０”とし、あるスレッシュホールド
レベルで２値化して２値化画像Ｊ（Ｘ，Ｙ）を得たもの
である。

【００２１】つぎに、ステップＳ４において、左右それ
ぞれの眼球の存在領域（ウインドウ、図４の点線で示す
四角部分）の横方向（Ｘ方向）の幅を決定し、さらに、
ステップＳ５において、左右それぞれの眼球のウインド
ウの縦方向（Ｙ方向）の幅を決定する。この処理の詳細
は図５〜図７に示すフローチャートにより後述する。

【００２２】つぎに、左右それぞれの眼球のウインドウ
が決定されると、ステップＳ６で虹彩中心検出が行われ
る。そして、虹彩中心が検出されると、ステップＳ７で
虹彩中心から乗員の居眠り、わき見判定が行われる。

【００２３】図５は、図３のステップＳ４の詳細フロー
チャートを示すもので、左右各々のウインドウの横方向
の位置を決定するものである。

【００２４】まず、ステップＳ１００において、図１０
に示すように画像の中央（Ｘ座標＝２５０）に検索開始
ラインを設定し、そこから横方向左に白色連続画素数Ｗ
ＸＣＬをカウントするとともに、白色連続画素数が最大
のときの左端Ｘ座標ＸＬＭを記憶する。

【００２５】さらに、連続する白色画素から黒色画素に
切り替わる位置を検出し、この切り替わり位置からの黒
色画素の連続数をカウントし、その数が１０未満であれ
ば鼻検出フラグＮＯＦＬＧを１とする。

【００２６】この処理については図７に示すフローチャ
ートにより後述する。

【００２７】続いてステップＳ１０１で鼻検出フラグＮ
ＯＦＬＧがセットされているか否かを調べ、セットされ
ている場合は、ステップＳ１０２で黒色画素カウンタＮ
ＯＣＯＮが所定個、例えば１０より大きいか否かを調べ
、黒色画素カウンタＮＯＣＯＮが１０未満の場合は鼻穴
や黒子等の小特異点を検出したとしてステップＳ１００
へ戻り、次のラインを走査する。すなわち、鼻穴や黒子
等を検出したときには、以下のステップは行なわれず、
当該ラインの走査を事実上行なわなかったこととなる。 換言すれば、小特異点を検出したとき、当該検出部分対
応の左右走査情報を顔面の端特定の情報から削除するこ
ととなる。従って、鼻穴や黒子等を誤検出することがな
く、正確な検出ができると共に、事実上、各ステップを
実行しないこととなり、演算時間が著しく早くなる。こ
のため、各種状況変化に迅速に対応することができる。 なお、鼻穴、黒子等を検出したとき、当該ラインの走査
を直ちに終了することもでき、さらに演算時間を短くす
ることができる。

【００２８】また、ステップＳ１０２で黒色画素カウン
タＮＯＣＯＮが１０を越える場合は、鼻穴よりも大きい
黒領域であるとしてステップＳ１０４で左安定カウンタ
ＷＬＣＯＮ、左安定フラグＳＴＦＬＧＬ、黒色画素カウ
ンタＮＯＣＯＮをクリアし、ステップＳ１００へ戻り次
のラインを走査する。

【００２９】ステップＳ１０１で鼻検出フラグＮＯＦＬ
Ｇが０の場合は、ステップＳ１０３で左の連続画素数が
１００より大きいか否かを調べ、頭髪、眉、眼球などで
１００以下の場合、ステップＳ１０４で左安定カウンタ
ＷＬＣＯＮ、左安定フラグＳＴＦＬＧＬ、黒色画素カウ
ンタＮＯＣＯＮをクリアし、ステップＳ１００へ戻り次
のラインを走査する。

【００３０】左の連続画素数が１００より大きい場合は
、ステップＳ１０５で左側端点検出フラグＯＫＦＧＬが
セットされているか否かを調べ、セットされている場合
はステップＳ１１８以降の右端検索処理へ移行する。

【００３１】左側端点検出フラグＯＫＦＧＬが０の場合
は、ステップＳ１０６及びＳ１０７でＷＸＣＬと、直前
の走査ラインにおける連続数ＭＡＥＬとの差が１０未満
ならば左安定カウンタＷＬＣＯＮをカウントアップする
。

【００３２】ステップＳ１０８及びＳ１０９では、現走
査ラインは直前走査ラインの連続数ＭＡＥＬとの差が小
さい安定候補部であるので、この中での連続画素数が最
大の時のＸＬをＸ１、最小の時のＸＬをＸ２として記憶
する。

【００３３】ステップＳ１１０〜Ｓ１１２では、左安定
カウンタＷＬＣＯＮが１０を越え、かつＸ１とＸ２の差
が３０未満か否かを調べ、この条件を満足していれば左
安定フラグＳＴＦＧＬをセットし（ステップＳ１１１）
、左の白色連続画素数ＷＸＣＬを新たにＭＡＥＬとする
。

【００３４】ステップＳ１０６で白色連続画素数ＷＸＣ
Ｌと前の走査での連続数ＭＡＥＬの差が１０以上である
場合は、顔輪郭線の連続性が失われた可能性があると判
断し、ステップＳ１１３〜Ｓ１１７の処理へ移行する。

【００３５】この部分は、連続画素数が大きく変化した
のが眉等のためか、輪郭線の途切れなのかを連続画素数
の変化と安定部分の存在とによって判断している。

【００３６】まず、ステップＳ１１３で左安定フラグＳ
ＴＦＬＧＬを調べ、この連続白色画素数が大きく変化す
る前に安定部分が存在し左安定フラグＳＴＦＬＧＬがセ
ットされていた場合は、ステップＳ１１４で連続画素数
が増加したか否かを調べる。

【００３７】連続画素数が増加している場合は、外光が
射し込む等して顔の輪郭線が途切れたと判断し、ステッ
プＳ１１５においてステップＳ１０８で記憶したＸ座標
Ｘ１を顔の左端とする。

【００３８】ステップＳ１１５で顔の左端を設定したと
きはステップＳ１１７で左側端点検出フラグＯＫＦＧＬ
をセットした上でステップＳ１１８へ移行する。

【００３９】ステップＳ１１４で連続画素数が増加して
いない場合は、眉、眼、眼鏡部分や大きな陰影のある部
分と考えられるため、ステップＳ１１６でＸ１，Ｘ２，
ＷＬＣＯＮ，ＳＴＦＬＧＬ，ＮＯＣＯＮをクリアしステ
ップＳ１１２へ移行する。

【００４０】ステップＳ１１８およびＳ１１９では、上
記のステップＳ１０５〜Ｓ１１７と同様にして顔の右側
の輪郭線の途切れ判断と輪郭線途切れ時の右端設定を行
う。

【００４１】以上の処理をステップＳ１２０およびＳ１
２１に示すように、顔面の左右端検出フラグＯＫＦＧＬ
，ＯＫＦＧＲが両方ともセットされるか、さもなければ
予め設定したＹ方向の検索範囲終了まで続ける。

【００４２】両方の端点検出フラグＯＫＦＧＬ，ＯＫＦ
ＧＲがセットされた場合は、横幅設定を終了し、Ｙ（縦
）方向の検索範囲を終了したときは図６に示すステップ
Ｓ１２２〜Ｓ１２５の処理へ移行する。

【００４３】ここでは、左右の端点検出フラグＯＫＦＧ
Ｌ，ＯＫＦＧＲがセットされているか否かを調べ、それ
ぞれセットされていない場合は、ステップＳ１００で記
憶した全走査の中で左右の白色画素連続数が最大の時の
左右端Ｘ座標ＸＬＭ，ＸＲＭを顔の左右端とする。

【００４４】以上のように顔の左右端が検出できたら、
次式に従ってウインドウの横方向の位置を決定できる。

【００４５】 　　このように、顔面の片側から外光が射し込む等して
顔画像の輪郭線に連続性がなくなっても、顔の幅方向端
の安定部の有無と連続画素数の変化量より輪郭線の連続
性を判断して顔面の左右端を特定することができる。

【００４６】この輪郭線の連続性を判断する際に、連続
する白色画素から黒色画素に切り替る位置から連続する
黒色画素数が所定個数以下で、かつ、該走査の連続が所
定回以下のときには、鼻穴や黒子を検出したとしてこの
部分の走査では輪郭線の検出処理を行わず事実上走査を
行わなかったことにする構成としたため、鼻穴や黒子等
を眼として誤認識することがなくなるとともに、輪郭線
の検出時間を短縮することが可能となる。

【００４７】また、２値化画像において画像の中央、す
なわち、顔の略中央から少くとも左右一方へ走査して白
色画素の連続により左右端を検出するので、背景が白で
なくても必ず顔面をとらえて適格な検出を行うことがで
きる。また、髪型や眼鏡装置等の影響を受けずに頬部な
どで顔の左右端を検出することが可能となった。さらに
、顔面の左右端を各々独立に検出する構成としたため、
顔面の片側の端が外光の影響で検出できなくても、反対
側は検出することが可能となっている。

【００４８】次に前記ステップＳ１００での鼻検出フラ
グＮＯＦＬＧをセットする処理の詳細を図７に示すフロ
ーチャートに基づいて説明する。

【００４９】まず、ステップＳ２０１で縦方向の走査Ｙ
座標を４０とする。このＹ＝４０はこの範囲内に顔面の
最大幅は存在しないことを前提に処理を早めたものであ
る。ステップＳ２０２で横方向の検索走査開始ラインＸ
座標値２５０を左検索Ｘ座標ＸＬにセットする。このＸ
座標値は、図１０に示すように車両運転者がカメラの画
角以内に存在すれば確実に顔面部の中に存在するライン
を指定している。

【００５０】つぎに、ステップＳ２０３で画素Ｊ（ＸＬ
，Ｙ）が白か否かを調べ、白の場合はステップＳ２０４
で左側白画素連続カウンタＷＸＣＬをカウントアップし
、ステップＳ２０５で検索Ｘ座標ＸＬをカウントダウン
する。そして、ステップＳ２０６で検索Ｘ座標ＸＬの値
が７か否かを調べ、７のときは顔の左端まできたことに
なるからステップＳ２０７で鼻検出フラグＮＯＦＬＧを
０として処理を終了する。

【００５１】ステップＳ２０３において画素Ｊ（ＸＬ，
Ｙ）が白でない場合は、ステップＳ２０８で今まで記憶
していた左側端点の最小値ＸＬＭと今回の端点ＸＬを比
較し、ＸＬの方が小さい場合（より左側にある場合）は
ステップＳ２０９においてＸＬを新たな左端点ＸＬＭと
する。

【００５２】つぎに、ステップＳ２１０で画素Ｊ（ＸＬ
，Ｙ）が黒か否かを調べ、黒の場合はステップＳ２１１
で左側黒画素連続カウンタＷＸＢＬをカウントアップす
る。ステップＳ２１２では、黒画素連続カウンタＷＸＢ
Ｌが１０以上か否かを調べ、１０を越える場合は、鼻穴
より大きい黒領域であると判断され、ステップＳ２１４
で鼻検出フラグＮＯＦＬＧを０として処理を終了する。 黒画素連続カウンタＷＸＢＬが１０未満の場合はステッ
プＳ２１３へ移行し、検索Ｘ座標ＸＬをカウントダウン
してステップＳ２１０へ移行する。

【００５３】ステップＳ２１０において、画素Ｊ（ＸＬ
，Ｙ）が黒でない場合、すなわちステップＳ２１２でＷ
ＸＢＬが１０未満と判断された直後に白に戻った場合は
、連続する黒色画素は鼻の穴程度の大きさの黒領域であ
ると判断し、ステップＳ２１５で鼻検出フラグＮＯＦＬ
Ｇをセット（＝１）し、この処理を終了する。

【００５４】なお、右検索についても略同様に行ってい
る。但し、ステップＳ２０６はＡ＝５１３となり、ステ
ップＳ２０５及びＳ２１３はカウントアップＸＬ＝ＸＬ
＋１となる。

【００５５】図８は前記図３のステップＳ５の詳細フロ
ーチャートを示すものである。この処理はウインドウの
Ｙ方向の座標を検出するもので、左右それぞれの眼にお
いて行われる。

【００５６】また、この処理は大きく分けて黒領域２点
の検索部分と、眼鏡の有無検出部との二つに分かれる。

【００５７】黒領域２点の検索部分では、左眼に対して
図１１に示すように、左眼ウインドウの右側Ｘ座標Ｘ２
　から１０ドット左側、すなわちＸ２　−１０を始点と
し、この位置から横方向（Ｘ方向）にＸ２　−９０まで
を範囲とし、検索開始のＹ座標ＹＬから０の範囲で縦方
向上方（Ｙ方向）へ検索し、これを横方向４ドットの間
隔毎に行っていく。Ｙ座標ＹＬは左右端点ＸＬＭ，ＸＲ
Ｍを決定した走査ラインの下方に設定するものである。

【００５８】また、右眼に関しては右眼ウインドウ左側
Ｘ座標ＸＸ１　から１０ドット右側、すなわちＸＸ１　
＋１０を始点とし、この位置から横方向（Ｘ方向）にＸ
Ｘ１　＋９０までを範囲とし、Ｙ座標ＹＬから０の範囲
で縦方向上方（Ｙ方向）へ検索し、これを横方向４ドッ
トの間隔毎に行っていく。

【００５９】眼鏡の有無検出部では、左眼に関しては図
１２に示すように、左眼ウインドウの右側Ｘ座標Ｘ２　
から左眼ウインドウの左側Ｘ座標Ｘ１　への横方向（Ｘ
方向）の範囲で、また、右眼に関しては右眼ウインドウ
の左側Ｘ座標ＸＸ１　から右眼ウインドウの右側Ｘ座標
ＸＸ２　への横方向（Ｘ方向）の範囲で後述するように
検索する。

【００６０】以下、左眼ウインドウのＹ方向の幅を決定
する処理について図８に基づいて説明する。

【００６１】まず、ステップＳ３０１において、一番目
と二番目の黒領域のＹ座標の最大値（最下点）のメモリ
変数ＢＹ１ＭＡＸおよびＢＹ２ＭＡＸがクリアされ、Ｘ
方向の検出範囲規定カウンタＸＣＨＥＣＫがＸ２　−１
０に、また、Ｙ方向の検索範囲規定カウンタＹＣＨＥＣ
ＫがＹＬに初期化される。

【００６２】つぎに、ステップＳ３０２でＸ方向の検索
範囲規定カウンタＸＣＨＥＣＫがＸ２　−９０以下か否
かが判別される。この判別はＸ方向へすべて検索したか
否かを判別するものである。このときは、未だ、Ｘ方向
全ての検索を終了していないからステップＳ３０３へ移
行し、一番目の黒領域を検出したフラグＦＬ１、黒色画
素連続カウンタＢＬＡＣＫ、白色画素連続カウンタＷＨ
ＩＴＥ、一番目の黒領域と二番目の黒領域との間隔が１
０ドット以上あるフラグＷＨＩＴＥＦＬおよび一番目の
黒領域と二番目の黒領域のそれぞれの最大値記憶バッフ
ァＢＹ１およびＢＹ２がクリアされる。

【００６３】つぎに、ステップＳ３０４で検索画素が黒
か否かが判別され、黒の場合は白色画素連続カウンタＷ
ＨＩＴＥをクリアし（ステップＳ３０５）、黒色画素連
続カウンタＢＬＡＣＫをカウントアップする（ステップ
Ｓ３０６）。そして、ステップＳ３０７で黒色画素連続
カウンタＢＬＡＣＫの黒画素が１か否かが判別される。 これは黒画素の検出が初めてか否かを判断するものであ
る。黒画素が１の場合は黒領域の最下点Ｙ座標候補とし
てＹ方向の検索範囲規定カウンタＹＣＨＥＣＫでカウン
トされた現Ｙ座標をＳＥＴＹに記憶する（ステップＳ３
０８）。例えば図１１で“１”としてあるＹ座標を記憶
する。つぎに、ステップＳ３０９で黒画素連続カウンタ
ＢＬＡＣＫの黒画素が２以上か否かが判別され、黒画素
が２以上の場合は一番目の黒領域を検出したフラグＦＬ
１がセットされているか否かが判別される（ステップＳ
３１０）。フラグＦＬ１がセットされていない場合は、
ステップＳ３１１へ移行し、一番目の黒領域の最大値記
憶バッファＢＹ１にＳＥＴＹの値を代入して保管し、フ
ラグＦＬ１をセットする。そして、ステップＳ３２８で
Ｙ座標ＹＣをカウントダウンし、一つ上の画素の検索に
移る。

【００６４】ステップＳ３１０でフラグＦＬ１がセット
されている場合はステップＳ３１２へ移行し、一番目の
黒領域と二番目の黒領域の間隔が１０ドット以上あるフ
ラグＷＨＩＴＥＦＬがセットされているか否かが判別さ
れる。そして、フラグＷＨＩＴＥＦＬがセットされてい
る場合は二番目の黒領域を検出したことになるのでステ
ップＳ３１３で二番目の黒領域の最大値記憶バッファＢ
Ｙ２にＳＥＴＹの値を代入して保管する。例えば、図１
１で“２”と示してあるＹ座標を保管する。また、ステ
ップＳ３１２でフラグＷＨＩＴＥＦＬがセットされてい
ない場合は、一番目の黒領域と二番目の黒領域の間隔が
狭く両者の差が明確でないのでステップＳ３１４へ移行
し、黒画素の連続数が５０ドットを越えるか否かが判別
される。黒画素の連続数が５０ドットを越えている場合
は頭髪を検出したことになるためステップＳ３１５へ移
行してバッファＢＹ２をクリアし、また、５０ドットを
越えていない場合はステップＳ３２８へ移行しＹ座標Ｙ
Ｃをカウントダウンし、一つ上の画素の検索に移る。

【００６５】前記ステップＳ３０４で検索画素が白の場
合にはステップＳ３１６へ移行して黒色画素連続カウン
タＢＬＡＣＫをクリアし、ステップＳ３１７で一番目の
黒領域を検出したフラグＦＬ１がセットされているか否
かが判別される。そして、フラグＦＬ１がセットされて
いない場合は、未だ黒領域が一つも検出されていないた
めステップＳ３２８へ移行しＹ座標ＹＣをカウントダウ
ンし、一つ上の画素の検索に移る。フラグＦＬ１がセッ
トされている場合にはステップＳ３１８へ移行し、白色
画素連続カウンタＷＨＩＴＥをカウントアップする。そ
して、ステップＳ３１９で白画素が１０ドット以上連続
したか否かが判別され、１０ドット以上連続した場合は
眼と眉の間か、眼鏡フレームと眼の間を検索したとして
ステップＳ３２０へ移行し、一番目の黒領域と二番目の
黒領域の間隔が１０ドット以上あるフラグＷＨＩＴＥＦ
Ｌをセットする。また、白画素が１０ドット以上連続し
ていない場合はステップＳ３２８へ移行してＹ座標ＹＣ
をカウントダウンし、一つ上の画素の検索に移る。

【００６６】つぎに、ステップＳ３２１で白画素が８０
ドット以上連続したか否かが判別され、８０ドット以上
連続した場合は眉毛を検出せず顔を検出したことになる
からステップＳ３２２へ移行し、二番目の黒領域の最大
値記憶バッファＢＹ２をクリアする。また、白画素が８
０ドット以上連続していない場合はステップＳ３２８へ
移行してＹ座標ＹＣをカウントダウンし、一つ上の画素
の検索に移る。

【００６７】つぎに、一番目と二番目の黒領域の候補点
としてのそれぞれのバッファＢＹ１およびＢＹ２が決定
されると、ステップＳ３２３において、候補点としての
バッファＢＹ１の値を今までに記憶された一番目の黒領
域値の最大値（最下点）ＢＹ１ＭＡＸと比較し、より大
きい方をＢＹ１ＭＡＸとして記憶する（ステップＳ３２
４）。例えば、図１１において中央部の１のＹ座標がＢ
Ｙ１ＭＡＸとして記憶される。続いて、ステップＳ３２
５において、候補点としてのバッファＢＹ２の値を今ま
でに記憶された二番目の黒領域の最大値（最下点）ＢＹ
２ＭＡＸと比較し、より大きい方をＢＹ２ＭＡＸとして
記憶する。例えば、図１１において右側の２のＹ座標が
ＢＹ２ＭＡＸとして記憶される。

【００６８】このようにして、一番目の黒領域の最下点
ＢＹ１ＭＡＸと二番目の黒領域の最下点ＢＹ２ＭＡＸが
決定される。

【００６９】つぎに、眼鏡の有無の検索を行う。まず、
図９のステップＳ３２９において、二番目の黒領域の最
大値記憶バッファＢＹ２が検出されているか否かを判別
し、このＢＹ２の値からステップＳ３３０，Ｓ３３１で
眼鏡検出のＹ座標ＢＹＨを求める。すなわち、二番目の
黒領域の最大値記憶バッファＢＹ２がなく、一番目の黒
領域の最大値記憶バッファＢＹ１のみの場合は、ＢＹＨ
＝ＢＹ１＋１０とし（ステップＳ３３０）、二番目の黒
領域の最大値記憶バッファＢＹ２がある場合は、ＢＹＨ
＝（ＢＹ１＋ＢＹ２）／２とする（ステップＳ３３１）
。

【００７０】なお、ステップＳ３３１でＢＹＨをＢＹ１
とＢＹ２との中間点としているが、これはＢＹ１とＢＹ
２の間の点であればよいものである。

【００７１】つぎに、ステップＳ３３２で、黒画素の数
をカウントする黒色画素カウンタＢＬＡＣＫＸをクリア
し、画素座標ＸＣ，ＹＣに初期値ＸＣ＝Ｘ２（ＸＣ＝Ｘ
Ｘ１　）、ＹＣ＝ＢＹＨを設定する（ステップＳ３３３
，Ｓ３３４）。ステップＳ３３５で画素Ｊが黒か否かが
検索され、黒の場合はＸ方向へ黒色画素カウンタＢＬＡ
ＣＫＸを左眼のときはＸＣ＝Ｘ２　からカウントアップ
し、右眼のときはＸＣ＝ＸＸ１　からカウントダウンす
る（ステップＳ３３６，Ｓ３３７）。ステップＳ３３８
でＸ方向へ、左眼ではＸＸ１　を越えるまで、右眼では
Ｘ２　を下回るまで検索したか否かが判別され、ＸＸ１
　を越えまたはＸ２　を下回るまで検索が終了するとス
テップＳ３３９へ移行し、黒色画素カウンタＢＬＡＣＫ
Ｘの値が３以上か否かが判別される。黒色画素カウンタ
ＢＬＡＣＫＸの値が３未満の場合は眼鏡中央部のフレー
ムを検出したと判別してステップＳ３４０へ移行し、眼
鏡無しカウンタＭＥＧＯＦＦをカウントアップする。

【００７２】以上の処理を左眼の検索範囲内で行い、ス
テップＳ３４１で眼鏡無しカウンタＭＥＧＯＦＦの値が
５を越えるか否かが判別される。

【００７３】眼鏡無しカウンタＭＥＧＯＦＦの値が５よ
り大きい場合は眼鏡をかけていないものと判断してステ
ップＳ３４２へ移行し、一番目に検出した黒領域のＹ座
標の下端点ＢＹ１ＭＡＸを基準にしてウインドウの縦方
向（Ｙ方向）の幅を規定するＹ座標ＹＴ，ＹＢを、ＹＴ
＝ＢＹ１ＭＡＸ−４０，ＹＢ＝ＢＹ１ＭＡＸ＋１０に設
定する。また、眼鏡無しカウンタＭＥＧＯＦＦの値が５
より小さい場合は眼鏡をかけているものと判断してステ
ップＳ３４３へ移行し、二番目に検出した黒領域のＹ座
標の最下点ＢＹ２ＭＡＸを基準にしてウインドウの縦方
向（Ｙ方向）の幅を規定するＹ座標ＹＴ，ＹＢを、ＹＴ
＝ＢＹ２ＭＡＸ−４０，ＹＢ＝ＢＹ２ＭＡＸ＋１０に設
定する。

【００７４】以上の処理を左右両眼において行うことに
より、それぞれの眼のウインドウが設定される。

【００７５】このようにウインドウ設定に関しては、顔
の幅方向端で左右別個にウインドウの横の範囲を決定す
ることとしたため、顔の向きにより赤外線ストロボの照
射画像に影が発生する場合でもその影響が排除される。

【００７６】また、ウインドウの縦方向の範囲の設定に
おいても、例えば、僅か２点の黒領域を僅か２０回の縦
方向の走査をするだけで設定できるため、横方向範囲設
定と同様に影や少しの画像の変化でも正確なウインドウ
の設定を高速に行うことが可能となった。

【００７７】さらに、あらゆる顔画像に対しても、最大
でも眉から下の画像の変化の殆んど無い部分で検索を行
うため、帽子を被っている場合、眼鏡を装着している場
合においても、眼球存在領域の特定が正確にでき、居眠
り、わき見の等検出が可能となった。

【００７８】そして、図３のフローチャートのステップ
Ｓ６で、２値化した画像Ｊ（Ｘ，Ｙ）から上記で設定さ
れたウインドウ内に対する虹彩部分を検出する処理が行
われる。

【００７９】虹彩は、一般に暗い円形領域として観測さ
れるから、この円形領域を検出してその領域面積を認識
すれば、運転者の居眠りの有無等が判定できる。

【００８０】図１３は、虹彩の検出原理を示す説明図で
ある。

【００８１】今、ウインドウ内の任意の点（ｘ，ｙ）を
中心とする半径Ｒの円を設定するとともに、点（ｘ，ｙ
）を中心として放射状に４つの矩形を設定する。この矩
形は、円の内外方にそれぞれＰ画素だけ延在するように
設定される。そして、円より外方の矩形白抜き部の明度
値の総和と、円より内方の矩形ハンチング部の明度値の
総和との差δを求める。

【００８２】これを上記任意の点（ｘ，ｙ）においてＲ
ｍｉｎ〜Ｒｍａｘまで行い、差δの最大値を△としてこ
れを求める。つぎに、点（ｘ，ｙ）を中心として同様な
演算を行い、差δの最大値が上記最大値△より大きけれ
ば、今回演算されたδの最大値を最大値として記憶する
。このような演算をウインドウ内の全画素点を中心とし
て行い最大値△を出力する。

【００８３】これは、ウインドウ内に虹彩が存在すると
き、虹彩は他の領域に比べて輝度が低い円形図形として
検出され、虹彩を中心に求められる上記差δが最大とな
るという原理に基づいている。

【００８４】図１４は以上の処理のフローチャートを示
すものである。

【００８５】まず、ステップＳ９０１で、ウインドウ内
を走査するカウンターｘ，ｙをＬにリセットする。なお
、ここで設定されたウインドウの大きさは、ｘ方向Ｍド
ット、ｙ方向Ｎドットする。つぎに、ステップＳ９０２
で、虹彩検出の中心座標の点Ｊ（ｘ，ｙ）が黒いか否か
が判別され、黒い場合はステップＳ９０３へ移行し、検
出半径ＲをＲｍｉｎとする。つづいて、ステップＳ９０
４およびＳ９０５において、△およびｐをリセットする
。

【００８６】つぎに、ステップＳ９０６乃至Ｓ９０８で
、具体的に白い部分に囲まれた黒い円形領域として検出
する。すなわち、ステップＳ９０６において式の前半の
４項Ｊ（ｘ＋Ｒ＋ｐ，ｙ），Ｊ（ｘ，ｙ−Ｒ−ｐ），Ｊ
（ｘ−Ｒ−ｐ，ｙ），Ｊ（ｘ，ｙ＋Ｒ＋ｐ）はそれぞれ
座標中心（ｘ，ｙ）から半径Ｒ＋ｐ離れた右、下、左、
上の位置の明度を表わし、式の後半の４項Ｊ（ｘ＋Ｒ−
ｐ−１，ｙ），Ｊ（ｘ，ｙ−Ｒ＋ｐ＋１），Ｊ（ｘ−Ｒ
＋ｐ＋１，ｙ），Ｊ（ｘ，ｙ＋Ｒ−ｐ−１）はそれぞれ
中心座標（ｘ，ｙ）から半径Ｒ−（ｐ＋１）離れた右、
下、左、上の位置の明度を表わしている。そして、ステ
ップＳ９０７でｐを１づつ増加させｐ−１まで変化させ
てステップＳ９０６乃至Ｓ９０８を繰返し実行し、半径
Ｒｍｉｎにおける図１３の矩形白抜き部の明度値総和（
ステップＳ９０６の式の前半４項の和）と矩形ハッチン
グ部の明度値総和（ステップＳ９０６の式の後半４項の
和）の差δが最大値△として求められる（ステップＳ９
１０）。つぎに、ステップＳ９１１で半径Ｒｍｉｎ＋１
として再度ステップＳ９０５へ移行し、ステップＳ９０
６乃至Ｓ９０８を繰返し実行することにより半径Ｒｍｉ
ｎ＋１としたときの矩形領域の明度差δを求める。 この明度差δが第１回目の半径Ｒｍｉｎについて演算さ
れた△よりも大きければ、その明度差δを最大値△とす
る。このような操作を半径Ｒｍａｘまで繰返して行い、
任意の点（ｘ，ｙ）について最大明度差△が求まる（ス
テップＳ９１２）。これは、検出する虹彩の半径は、個
人あるいはカメラと乗員の距離によって異るため、検出
半径にあるゾーン（Ｒｍｉｎ〜Ｒｍａｘ）を設けるため
である。

【００８７】以下、この処理をｘ＝１〜Ｍまで、ｙ＝１
〜Ｎまでウインドウ全体に亘って行う。このような処理
によって求まる△ｍａｘは、虹彩の中心について演算さ
れた明度差である。そして、開眼時と閉眼時とではこの
明度差△は大きく異るため、この最大明度差△を用いて
開眼か閉眼かの判別が容易になる。

【００８８】このようにして虹彩を検出することにした
ため、運転者の開眼、閉眼状態を確実且つ迅速にモニタ
リングすることも可能となった。これにより、運転者の
居眠り、わき見の検出を行うことができるという効果が
得られる。

【００８９】つぎに、前記図３のフローチャートのステ
ップＳ７における居眠りわき見の判定において、開眼ま
たは閉眼の判別は、ステップＳ６で算出されたウインド
ウ内の最大明度差△をしきい値処理し明度差△≧Ｔｈ（
しきい値）のときは開眼、明度差△≦Ｔｈのときは閉眼
であると判断する。

【００９０】まばたきした場合にも上記虹彩検出処理で
閉眼と判断されることがあるから、１回の虹彩検出処理
で運転者が居眠りをしていると判断すると誤判断するこ
とがあるため、同一の虹彩検出処理を複数回繰返し実行
し、ある所定回数以上連続して閉眼が認識されたときに
居眠りしていると判定する。

【００９１】例えば、図１５に示すように、黒点で示す
時間間隔ごとに画像が入力され、そして虹彩検出処理の
結果、閉眼と判断される回数が３回連続したときは運転
者が居眠りしていると判定する。

【００９２】また、片目のみが閉眼と判断した場合は、
実際には閉眼でなく、わき見をしているために原画面か
ら片目が外れているものと考えられる。従って居眠り判
断と同様に３回連続して片目が閉眼していると判断され
たときには、わき見と判定する。

【００９３】上記のように、運転者の顔画像の頬部に出
現する横方向の白色部分の最大幅より運転者の眼球を含
む領域の横方向の幅を設定し、前記最大幅を設定した点
からの縦方向の走査により検出した２点の黒領域の中間
の点から横方向に走査し、黒色画素の有無により眼鏡を
装着しているか否かを判断し、その有無により前記２点
の黒領域のどちらが眼であるかを判断して運転者の眼球
を含む領域の縦方向の幅を設定し、その領域内において
虹彩部分を検出することにより、眼球が開いているか、
閉じているか、正面を向いていないか等を判断すること
ができる。これにより、運転者の居眠り、わき見の検出
を行うことができる。

【００９４】

【発明の効果】以上の説明より明らかなように、この発
明の構成によれば、黒色画素が所定個以下の小特異点を
検出したときは当該検出部分の走査情報を顔面の端特定
の情報から削除するから、鼻穴や黒子等を眼として誤認
識することがなくなる。また、当該部分対応の左右走査
情報を鼻穴等を検出した時に削除することができ演算時
間を短縮することが可能であり、眼位置検出の処理時間
を短縮することができる。

【図面の簡単な説明】

【図１】この発明の構成図である。

【図２】この発明の一実施例に係る構成図である。

【図３】図２の構成に基づくフローチャートである。

【図４】この実施例の処理に関する説明図である。

【図５】この発明に係るウインドウの横方向の位置を決
定するフローチャートである。

【図６】この発明に係るウインドウの横方向の位置を決
定するフローチャートである。

【図７】図５に示す処理の一部を詳細に説明するフロー
チャートである。

【図８】この発明に係るウインドウの縦方向の範囲設定
処理のフローチャートである。

【図９】この発明に係るウインドウの縦方向の範囲設定
処理のフローチャートである。

【図１０】この実施例の走査方式に関する説明図である
。

【図１１】この実施例の処理に関する説明図である。

【図１２】この実施例の処理に関する説明図である。

【図１３】虹彩検出処理の原理説明図である。

【図１４】虹彩検出処理のフローチャートである。

【図１５】居眠り判断のための説明図である。

【符号の説明】

ＣＬ１　　画像入力手段 ＣＬ２　　２値化手段 ＣＬ３　　白色画素数計数手段 ＣＬ４　　顔面の端特定手段 ＣＬ５　　小特異点検出手段 ＣＬ６　　削除手段 ＣＬ７　　眼球の左右領域決定手段 ＣＬ８　　黒領域検出手段 ＣＬ９　　眼球の縦領域決定手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　眼を含む顔画像を入力する画像入力手
   段と、前記画像入力手段から送出される入力画像を２値
   化する２値化手段と、前記２値化画像において画像の左
   右方向へ走査し連続する白色画素数を計数する白色画素
   数計数手段と、この白色画素数計数手段の検出に基づき
   顔面の端を特定する顔面の端特定手段と、前記左右方向
   への走査において黒色画素が所定個以下の小特異点を検
   出する小特異点検出手段と、この小特異点検出手段が小
   特異点を検出したとき当該検出部分対応の左右走査情報
   を顔面の端特定の情報から削除する削除手段と、前記顔
   面の端特定手段により特定された顔面の端から眼球の存
   在領域の横方向の位置を決定する眼球の左右領域決定手
   段と、決定された眼の横方向の存在領域で縦方向の下か
   ら黒領域を検出する黒領域検出手段と、検出された黒領
   域を基準にして眼の存在領域の縦方向の位置を決定する
   眼球の縦領域決定手段とからなることを特徴とする眼位
   置検出装置。