JPH04174304A

JPH04174304A - 眼位置検出装置

Info

Publication number: JPH04174304A
Application number: JP2299946A
Authority: JP
Inventors: Yasushi Ueno; 裕史上野; Kazuhiko Yoshida; 和彦吉田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-11-07
Filing date: 1990-11-07
Publication date: 1992-06-22
Anticipated expiration: 2012-11-17
Also published as: JP2677010B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、運転者の眼の位置を検出する眼位置検出装置
に関する。

（従来の技術）従来の車両運転者等の眼位置検出装置としては、例えば
特開昭６０−１５８３０３号公報、特開昭６０−１５８
３０４号公報、特開昭６１−７７７０５号公報および特
開昭６１．−７７７０６号公報に記載されたようなもの
がある。これらは車両運転者の眼の位置を認識する装置
であり、運転者の顔部骨を撮影して２枚の画像として入
力し、この画像の明領域の中にある独立した暗領域を特
異点として抽出し、その特異点を眼として認識する構成
となっており、運転者の居眠りや、わき見の検出に利用
できるものである。

（発明が解決しようとする課題）しかしながら、このような従来の車両運転者の眼位置検
出装置では、顔画像の明るい閉領域の中にある独立した
特異点としての暗領域を眼として認識する構成なので、
例えば外光が片側から射し込んで運転者の顔画像の輪郭
線が途切れている場合には、顔面部分が閉領域にならず
、眼球が検出できなくなる恐れがある。

また、顔が多少、横に向いて顔に陰影がある場合、眼鏡
装着の場合、頭髪が額を覆っている場合等には、眼の部
分が独立した暗領域とはならず眼の位置の検出が不能で
あり、却って眉毛や眼鏡のフレーム等を眼として誤認識
してしまう恐れがある。

本発明は上記の点に鑑みなされたもので、顔画像の輪郭
線が途切れていたり、また眼の部分が独立した暗領域と
ならなくとも、眼の存在領域が正確に検出できる車両運
転者の眼位置検出装置を提供することを目的とする。

［発明の構成コ（課題を解決するための手段）上記課題を解決するために本発明は、第１図に示すよう
に、眼を含む顔画像を入力する画像入力手段ＣＬＩと、
前記画像入力手段ＣＬＩから送出されている入力画像を
２値化する２値化手段ＣＬ２と、前記２値化画像におい
て画像の左右方向へ走査し連続する白色画素数を計数す
る白色画素数計数手段ＣＬ３と、前記白色画素数の変化
量から顔画像の幅方向端の安定部を検出する安定部検出
手段ＣＬ４と、前記安定部の有無と前記連続画素数の変
化量より顔画像の輪郭線の連続性を判断する輪郭線の連
続性判断手段ＣＬ５と、前記判断に基づき顔面の端を特
定する顔面の端特定手段ＣＬ６と、前記顔面の端特定手
段により特定された顔面の端から眼の存在領域の横方向
の位置を決定する眼球の左右領域決定手段ＣＬ７と、決
定された眼の横方向の存在領域で縦方向の下から黒領域
を検出する黒領域検出手段ＣＬ８と、検出された黒領域
を基準にして眼の存在領域の縦方向の位置を決定する眼
球の縦領域決定手段ＣＬ９とから成る構成とした。

（作用）上記構成によれば、２値化画像において画像の左右方向
へ走査し、連続する白色画素数を計数し、前記白色画素
数の変化量から顔画像の幅方向端の安定部を検出し、前
記安定部の有無と前記連続画素数の変化量より顔面の輪
郭線の連続性を判断する。この連続性判断により顔面の
端が特定され、この顔面の端から眼の存在領域の横方向
位置が決定される。そして黒領域検出手段ＣＬ８により
前記横方向の存在領域で縦方向の下から黒領域を検出す
る。この検出された黒領域を基準にして、縦領域決定手
段ＣＬ９が眼の存在領域の縦方向の幅を設定する。

（実施例）以下、本発明を図面に基づいて説明する。

第２図は本発明の一実施例に係る眼の位置検出装置の構
成図、第３図は第２図の構成に基づくフローチャートを
示すものであるー。

第２図に示すように、この眼位置検出装置は自動車に適
用したもので、インストルメントパネル（図示せず）内
の運転者に対する正面方向に、運転者の顔部分を照射す
る赤外ストロボ１と、この赤外ストロボ１の赤外光で照
射される顔部分を撮影する画像入力手段ＣＬ１としての
ＴＶ右カメラと、前記赤外ストロボ１の発光とＴＶ右カ
メラの画像入力とのタイミグを合せるタイミング指令回
路５とを備えている。そして、赤外ストロボｌにタイミ
ング指令回路５からストロボ発光指令が出力されると、
赤外ストロボ１が発光して運転者の顔部分を照射し、こ
れと同時にＴＶ右カメラに対し画像入力指令が出力され
、赤外光で照射された顔部分を撮影するようになってい
る。

ＴＶ右カメラの入力画像は本実施例では第４図に示すよ
うに、横（Ｘ）方向５２０画素、縦（Ｙ）方向５００画
素からなり、縦方向に顔部分がほぼいっばいになるよう
に画角が調整されている。

ＴＶ右カメラには、撮影した入力画像をデジタル量に変
換するＡ／Ｄ変換器７を介して画像メモリ９が接続され
ている。この画像メモリ９はＴＶ右カメラの入力画像デ
ータを入力するものである。

画像メモリ９には、該画像メモリ９に格納された入力画
像データに基ついて眼球の存在位置領域を規定する眼球
存在位置規定回路１１が接続され、さらに、眼球存在位
置規定回路１１で規定された領域内にある画像メモリ９
の画像データを処理して眼の虹彩部分を検出する虹彩検
出回路１３か接続されている。

また、虹彩検出回路１３には、該虹彩検出回路１３での
虹彩検出結果から運転者の居眠りゃわき見等の有無を判
定する居眠りわき見等の有無を判定する居眠りわき見判
定回路１５が接続されている。

前記眼球存在位置規定回路１１は、入力画像をあるしき
い値で２値化する２値化手段ＣＬ２と、２Ｍ化画像にお
いて画像の左右方向へ走査し連続する白色画素数を計数
する白色画素数計数手段ＣＬ３と、前記白色画素数の変
化量から顔画像の幅方向端の安定部を検出する安定部検
出手段ＣＬ４と、前記安定部の有無と前記連続画素数の
変化量より輪郭線の連続性を判断する輪郭線の連続性判
断手段ＣＬ５と、前記判断に基づき顔面の端を特定する
顔面の端特定手段ＣＬ６と、顔の幅から左右の眼の存在
領域の横方向の位置を決定する眼球の左右領域決定手段
ＣＬ７と、決定された眼の横方向の存在領域で縦方向の
下から黒領域を検出する黒領域検出手段ＣＬ８と、検出
された黒領域を基準にして、眼の存在領域の縦方向の位
置を決定する眼球の縦領域決定手段ＣＬ９とを構成する
ものである。

つぎに、第３図のフローチャートに基づいて全体の作用
を説明する。

まず、ステップＳ１で赤外線ストロボ１の発光と同期し
てＴＶ左カメラによって運転者の顔部分を撮影し、この
画像をＡ／Ｄ変換回路７でデジタル信号に変換して画像
メモリ９に格納する（ステップＳ２）。

つぎにステップＳ３で画像メモリ９に格納された入力画
像データを眼球存在位置規定回路１１に取り込み、ある
しきい値で２値化する。これは、顔部分の明暗をはっき
りさせるためであり、２値化しきい値は眼球を抽出でき
るレベルに設定されている。

すなわち、ビデオ信号を２５６階調（θ〜２５５）のデ
ジタルデータに変換し、白い部分を“２５５”、黒い部
分を“０”とし、あるスレッシュホールドレベルで２値
化して２値化画像Ｊ　（ｘ。

ｙ）を得たものである。

つぎに、ステップＳ４およびステップＳ６において左右
それぞれの眼球の存在領域（ウィンドウ、第４図の点線
で示す四角部分）の横方向（Ｘ方向）の幅を決定し、さ
らにステップＳ５およびステップＳ７において、左右そ
れぞれの眼球のウィンドウの縦方向（Ｙ方向）の幅を決
定する。この処理の詳細は第５図〜第７図に示すフロー
チャートにより後述する。

つぎに、左右それぞれの眼球のウィンドウが決定される
と、ステップＳ８で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップＳ９で虹彩中心から
乗員の居眠りわき見判定が行われる。

第５図は、本発明の実施例に係る左右各々のウィンドウ
の横方向の位置を決定するフローチャートを示す。この
図のステップ５１０１及び５１０２において第８図に示
すように、画像の中央（Ｘ座標−２５０）に検索開始ラ
インを設定し、そこから左右別個に白色連続画素数ＷＸ
　ＣＬ　（！：ＷＸ　ＣＲをカウントすると共に、白色
連続画素数が最大のときの左右端Ｘ座標ＸＬＭとＸＲＭ
を記憶する。

この処理については第６図によって後述する。

続いてステップ５１０３では、左右の連続画素数の和が
２００より大きいか否かを調べ、頭髪、眉、眼球部など
で２００以下の場合、ステップ５１０４で、左安定カウ
ンタＷＬＣＯＮ、右安定カウンタＷＲＣＯＮ、左安定フ
ラグ５ＴＦＬＧＬ。

右安定フラグ５ＴＦＬＧＲをクリアし、ステップ５１０
１へ戻り次のラインを走査する。

左右の連続画素数の和が２００より大きい場合、ステッ
プ５１０５で左側端点検出フラグ０ＫＦＧＬがセットさ
れているか否かを調べ、セットされている場合はステッ
プ５１２０以降の右端検索処理へ移る。

左側端点検出フラグ０ＫＦＧＬがＯの場合は、ステップ
５１０６及び５１０７でＷＸＣＬと、直前の走査ライン
における連続数ＭＡＥＬの差が１０未満ならば右安定カ
ウンタＷＬＣＯＮをカウントアツプする。

ステップ５１０８及び５１０９では、現走査ラインは直
前走査ラインの連続数との差が小さい安定候補部である
ので、この中での連続画素数が最大の時のＸＬをＸｌ、
最小の時のＸＬをＸｌとして記憶する。

ステップ８１１０〜５１１２では、左安定カウンタＷＬ
ＣＯＮが１０を越え、且っＸｌとＸｌの差が３０未満か
否かを調べ、この条件を満足していれば左安定フラグの
５ＴＦＧＬをセットし、左の白色連続画素数ＷＸＣＬを
新たにＭＡＥＬとする。

ステップ５１０６で白色連続画素数ＷＸＣＬと前の走査
での連続数ＭＡＥＬの差が１０以上である場合は、輪郭
線の連続性が失われた可能性があると判断し、ステップ
５１１３〜５１１９の処理へ移る。

この部分は、連続画素数が大きく変化したのか眉等のた
めか、輪郭線の途切れなのかを連続画素数の変化と安定
部分の存在とによって判断している。

先ずステップ８１１３で左安定フラグ５ＴＦＬＧＬを調
べ、この連続白画素数が大きく変化する前に安定部分が
存在し５ＴＦＬＧＬがセットされていた場合は、ステッ
プ５１１４で連続画素数が増加したか否かを調べる。

連続画素数が増加している場合は、輪郭線が途切れたと
判断し、ステップ５１１５においてステップ５１０８で
記憶したＸ座標Ｘ１を顔を左端とする。

連続白画素数が大きく変化する前に安定部分が存在しな
い場合や安定部分が存在しても連続画素数が減少してい
る場合は、輪郭線が途切れた部分から輪郭線のある部分
の走査に移ったか、または眉、眼、眼鏡部分などの走査
であることが考えられる。

そこでステップ５１１６て今回の走査の白色画素連続数
が、前回の走査の白色画素連続数よ、す５０以上減少し
ている場合は輪郭線が途切れた部分から輪郭線のある部
分の走査に移ったと判断し、今回の走査の左端点ＸＬを
顔の左端とする。

以上のようにステップ５１１５、またはステップ５１１
８で顔の左端を設定した時はステップ５１１９で左側端
点検出フラグ０ＫＦＧＬをセットした上でステップ５１
２０へ進む。

今回の連続数が前回の連続数より大きく減少していない
場合は、眉、眼、眼鏡部分や大きな陰影のある部分と考
えられるため、ステップ５１１７でＸｌ、Ｘｌ、ＷＬＣ
ＯＮ、５ＴＦＬＧＬをクリアしステップ５１１２へ進む
。

ステップ５１２０及び５１２１では、上記の５１０５〜
５１１９と同様にして顔の右側の輪郭線途切れ判断と輪
郭線途切れ時の右端設定を行う。

以上の処理をステップ５１２２および５１２３に示すよ
うに、顔面の左右端検出フラグが両方ともセットされる
か、さも無ければ予め設定したＹ方向の検索範囲終了ま
で続ける。

両方の端点検出フラグがセットされた場合は、横幅設定
を終了し、Ｙ（縦）方向の検索範囲を終了した時は第５
図（ｂ）に示すステップ８１２４〜５１２７の処理へ移
る。

ここでは、左右の端点検出フラグがセットされているか
否かを調べ、それぞれセットされていない場合はステッ
プ５１０２で記憶した全走査の中で左右の白色画素連続
数が最大の時の左右端Ｘ座標ＸＬＭ、ＸＲＭを顔の左右
端とする。

以上のように顔の左右端が検出できたら、下式に従って
ウィンドウの横方向の位置を決定できる。

・Ｘ軸セ＞９−−Ｘ、　−ＸＬＭ＋　（（ＸＲＭ−ＸＬ
Ｍ）／２　）・左眼ウィンドウの左側Ｘ座標−Ｘ　ｌ＝
　ＸＬＭ・左眼ウィンドウの右側Ｘ座標−Ｘｌ−Ｘｅ−
２５・右眼ウィンドウの左側Ｘ座標−ＸＸ１−Ｘｃ＋２
５・右眼ウィンドウの右側Ｘ座標−Ｘ　Ｘ　２−　ＸＲＭ
このように、顔面の片側から外光が射し込む等して顔画
像の輪郭線に連続性かなくなっても、顔の幅方向端の安
定部の有無と連続画素数の変化より輪郭線の連続性を判
断して顔面の左右端を特定することができる。

また、２値化画像において画像の中央、すなわち、顔の
略中央から左右へ走査して白色画素の連続により顔の左
右端を検出するので、背景が白でなくても必ず顔面をと
らえて適格な検出を行なうことができる。また、髪型や
眼鏡装置等の影響を受けずに頬部などで顔の左右端を検
出することが可能となった。さらに、顔面の左右端を各
々独立に検出する構成としたため、顔面の片側の端か外
光の影響で検出できなくても、反対側の端は検出するこ
とが可能となっている。

なお、前記ステップ５１０１．　５１０２ての白色連続
画素数が最大時の左右端Ｘ座標ＸＬＭとＸＲＭを記憶す
る過程を第６図に示すフローチャートに基づいて以下に
説明する。

まず、ステップ５２０１で縦方向の走査Ｙ座標を４０と
する。このＹ−４０はこの範囲内に顔面の最大幅は存在
しないことを前提に処理を早めたものである。ステップ
５２０２て横方向の検索走査開始ラインＸ座標値２５０
を左検索Ｘ座標ＸＬと右検索Ｘ座標ＸＲにセットする。

このＸ座標値は、第８図に示すように車両運転者がカメ
ラの画角以内に存在すれば、確実に顔面部の中に存在す
るラインを指定している。

次に、ステップ５２０３で右側走査終了フラグＯＫＲが
セットされているか否か調べ、セットされていればステ
ップ５２１１以降の顔面左端検索を行う。

ＯＫＲがセットされていない場合は、ステップ５２０４
で画素Ｊ　（ＸＲ，Ｙ）が白か否かを調べ、白の場合は
ステップ５２０５及び５２０６で右側白画素連続カウン
タＷＸＣＲを、ステップ５２０６で検索Ｘ座標ＸＲをカ
ウントアツプする。

ステップ５２０４において画素Ｊ　（ＸＲ，Ｙ）が白で
ない場合は、ステップ５２０７でＯＫＲをセットした後
ステップ５２０８で、今まで記憶していた右側端点の最
大値ＸＲＭと今回の端点ＸＲを比較し、ＸＲの方が大き
い場合（より右側にある場合）はステップ５２０９にお
いてＸＲを新たな右端点ＸＲＭとする。

次にステップ８２１１〜５２１７で上記と同じ処理を左
側について行う。右側の検索と相異するのは、ステップ
５２１４て検索Ｘ座標ＸＬをカウントダウンすることと
、ステップ５２１６及び５２１７で記憶していた左側端
点のＸＬＭと今回の端点ＸＬの小さい方（より左側にあ
る方）ＸＬを左端点ＸＬＭとすることである。

一つの走査ラインで左右端を検出し、ステップ５２２１
で走査終了フラグＯＫＬ、ＯＫＲの両方がセットされた
と判断された場合は、ステップ５２２２でこのフラグを
クリア（−０）Ｌ、ステップ８２２３で検索ラインＹを
増加し、この処理を終了する。

第７図は前記第３図ステップＳ５およびステップＳ７の
詳細フローチャートを示すものである。

この処理はウィンドウのＹ方向に座標を検出するもので
、左右それぞれの眼において行われる。

また、この処理は、大きく分けて黒領域２点の検索部分
と、眼鏡の有無検索部分との二つに分かれる。

黒領域２点の検索部分ては、左眼に関して第９図に示す
ように、左眼ウィンドウの右側Ｘ座標Ｘ２から１ｏドツ
ト左側、すなわちＸ２−１０を始点としくこれは鼻の穴
の黒い部分の検出を避けるためである。）、この位置か
ら横方向（Ｘ方向）にＸ２−９０までを範囲とし、検索
開始のＹ座標ＹＬから０の範囲で縦方向上方（Ｙ方向）
へ検索し、これを横方向４ドツトの間隔毎□に行ってい
く。

Ｙ座標ＹＬは左右端を決定した走査ラインの下方に設定
する。

また、右眼に関しては右眼ウィンドウ左側Ｘ座標ＸＸ、
から１０ドツト右側、すなわちＸＸＩ　＋１０を始点と
し、この位置から横方向（Ｘ方向）にＸＸ、＋９０まで
を範囲とし、Ｙ座標ＹＬがら０の範囲で縦方向上方（Ｙ
方向）へ検索し、これを横方向４ドツトの間隔毎に行っ
ていく。

眼鏡の有無検出部では、左眼に関して第１０図に示すよ
うに、左眼ウィンドウの右側Ｘ座標Ｘ２から左眼ウィン
ドウの左側Ｘ座標Ｘ１への横方向（Ｘ方向）の範囲で、
また、右眼に関しては右眼ウィンドウの左側Ｘ座標ＸＸ
１から右眼ウィンドウの右側Ｘ座標ＸＸ２への横方向（
Ｘ方向）の範囲で後述するように検索する。

以下、左目ウィンドウのＸ方向の幅を決定する処理につ
いて第７図に基づいて説明する。

まず、ステップ５３０１において、一番目と二番目の黒
領域のＹ座標の最大値（最下点）のメモリ変数ＢＹＩＭ
ＡＸおよびＢＹ２ＭＡＸがクリアされ、Ｘ方向の検出範
囲規定カウンタＸＣＨＥＣＫがＸ２−１０に、また、Ｘ
方向の検索範囲規定カウンタＹＣＨＥＣＫがＹＬに初期
化される。

つぎに、ステップ５３０２でＸ方向の検索範囲規定カウ
ンタＸＣＨＥＣＫがＸ２−９０以下か否かが判別される
。この判別はＸ方向へすべて検索したか否かを判別する
ものである。このときは、未だ、Ｘ方向全ての検索を終
了していないからステップ８３０３へ移行し、一番目の
黒領域を検出したフラグＦＬＩ、黒色画素連続カウンタ
ＢＬＡＣＫ、白色画素連続カウンタＷＨＩＴＥ、一番目
の黒領域と二番目の黒領域との間隔が１０ドツト以上あ
るフラグＷＨＩＴＥＦＬおよび一番目の黒領域と二番目
の黒領域のそれぞれの最大値記憶バッファＢＹＩおよび
ＢＹ２かクリアされる。

つぎに、ステップ５３０４て検索画素が黒か否かが判別
され、黒の場合は白色画素連続カウンタＷＲＩＴＥをク
リアしくステップ５３０５）、黒色画素連続カウンタＢ
ＬＡＣＫをカウントアツプする（ステップ５３０６）。

そして、ステップ５３０７で黒色画素連続カウンタＢＬ
ＡＣＫの黒画素が１か否かが判別される。これは黒画素
の検出が初めてか否かを判断するものである。黒画素が
１の場合は黒領域の最下点Ｙ座標候補としてＸ方向の検
索範囲規定カウンタＹＣＨＥＣＫでカウントされた現Ｙ
座標を５ＥＴＹに記憶する。例えば第９図で“１゛とし
であるＹ座標を記憶する。つぎに、ステップ５３０９で
黒画素連続カウンタＢＬＡＣＫの黒画素が２以上か否か
が判別され、黒画素が２以上の場合は一番目の黒領域を
検出したフラグＦＬＩがセットされているか否かが判別
される（ステップＳ　３１０）。フラグＦＬＩがセット
されていない場合は、ステップ５３１１へ移行し、一番
目の黒領域の最大値記憶バッファＢＹ１に５ＥＴＹの値
を代入して保管し、フラグＦＬＩをセットする。そして
、ステップ５３２８でＹ座標ＹＣをカウントダウンし、
一つ上の画素の検索に移る。

ステップ５３１０でフラグＦＬＩがセットされている場
合はステップ５３１２へ移行し、一番目の黒領域と二番
目の黒領域の間隔が１０ドツト以上あるフラグＷＨＩＴ
ＥＦＬがセットされているか否かが判別される。そして
、フラグＷＨＩＴＥＦＬがセットされている場合は二番
目の黒領域を検出したことになどのでステップ５３１３
で二番目の黒領域の最大値記憶バッファＢＹ２に５ＥＴ
Ｙの値を代入して保管する。例えば、第９図で“２”と
示しであるＹ座標を保管する。またステ、ブ５３１２で
フラグｗＨＩＴＥＦＬがセットされていない場合は、一
番目の黒領域と二番目の黒領域の間隔が狭く両者の差が
明確でないのでステップ５３１４へ移行し、黒画素の連
続数が５０ドツトを越えるか否かが判別される。黒画素
の連続数が５０ドツトを越えている場合は頭髪を検出し
たことになるためステップ５３１５へ移行してバッファ
ＢＹ２をクリアし、また、５０ドツトを越えていない場
合はステップ５３２８へ移行しＹ座標ＹＣを一つ上の画
素の検索に移る。

前記ステップ５３０４で検索画素が白の場合にはステッ
プ５３１６へ移行して黒色画素連続カウンタＢＬＡＣＫ
をクリアし、ステップ５３１７で一番目の黒領域を検出
したフラグＦＬ１がセットされているか否かが判別され
る。そして、フラグＦＬＩがセットされていない場合は
、未だ黒領域が一つも検出されていないためステップ８
３２８へ移行しＹ座標ＹＣをカウントダウンし、一つ上
の画素の検索に移る。フラグＦＬＩがセットされている
場合にはステップ５３１８へ移行し、白色画素連続カウ
ンタＷＲＩＴＥをカウントアツプする。そして、ステッ
プ５３１９で白画素が１０ドツト以上連続したか否がか
判別され、１０ドツト以上連続した場合は眼と眉の間か
、眼鏡フレームと眼の間を検出したものとしてステップ
５３１９へ移行し、一番目の黒領域と二番目の黒領域の
間隔が１０ドツト以上あるフラグＷＨＩＴＥＦＬをセッ
トする。また、白画素が１０ドツト以上連続していない
場合はステップ５３２８へ移行しＹ座標ＹＣをカウント
ダウンし、一つ上の画素の検索に移る。

つぎに、ステップ５３２１で白画素が８０ドツト以上連
続したか否かが判別され、８０ドツト以上連続した場合
は眉毛を検出せず顔を検出したことになるからステップ
５３２２へ移行し、二番目の黒領域の最大値記憶バッフ
ァＢＹ２をクリアする。また、白画素８０ドツト以上連
続していない場合はステップ５３２８へ移行し、Ｙ座標
Ｙｃをカウントダウンし、一つ上の画素の検索に移る。

つぎに、一番目と二番目の黒領域の候補点としてのそれ
ぞれのバッファＢＹＩおよびＢＹ２が決定されると、ス
テップ５３２３において、候補点としてのバッファＢＹ
Ｉの値を今までに記憶された一番目の黒領域値の最大値
（最下点）ＢＹＩＭＡＸと比較し、より大きい方をＢＹ
ＩＭＡＸとして記憶する（ステップ５３２４）。例えば
、第１０図において中央部の１のＹ座標がＢＹＩＭＡＸ
として記憶される。続いて、ステップ５３２５において
、候補点としてのバッファＢＹ２の値を今までに記憶さ
れた二番目の黒領域の最大値（最下点）ＢＹ２ＭＡＸと
比較し、より大きい方をＢＹ２ＭＡＸとして記憶する。

例えば、第９図において、右側の２のＹ座標がＢＹ２Ｍ
ＡＸとして記憶される。

このようにして、一番目の黒領域の最下点ＢＹＩＭＡＸ
と二番目の黒領域の最下点ＢＹ２ＭＡＸが決定される。

つぎに、眼鏡の有無の検索を行う。まず、第７図（ｂ）
のステップ５３２９において、二番目の黒領域の最大値
記憶バッファＢＹ２が検出されているか否かを判別し、
このＢＹ２の値がらステップ５３３０．５３３１て眼鏡
検出のＹ座標ＢＹＨを求める。すなわち、二番目の黒領
域の最大値記憶バッファＢＹ２がなく、一番目の黒領域
の最大値記憶バッファＢＹＩのみの場合は、ＢＹＨ−Ｂ
Ｙ１＋１０としくステップ３３３０）、二番目の黒領域
の最大値記憶バッファＢＹ２がある場合は、ＢＹＨ−（
ＢＹ１＋ＢＹ２）／２とする（ステップ３３３１）。

なお、ステップ５３３１でＢＹＨをＢＹＩとＢＹ２との
中間点としているが、これはＢＹＩとＢＹ２の間の点で
あればよいものである。

つぎに、ステップ５３３２で、黒画素の数をカウントす
る黒色画素カウンタＢＬＡＣＫＸをクリアし、画素座標
ＸＣ，ＹＣＩｍ初期値ｘｃ−ｘ２（Ｘ　Ｃ＝　Ｘ　Ｘ　
Ｉ）　、Ｙ　Ｃ＝　Ｂ　Ｙ　Ｈを設定すル（ステップ８
３３３．８３３４）。ステップ８３３５で画素Ｊが黒か
否かが検索され、黒の場合はＸ方向へ黒色画素カウンタ
ＢＬＡＣＫＸを左眼のときはＸＣ−Ｘ２からカウントア
ツプし、右眼のときはＸ　Ｃ＝　Ｘ　Ｘ　＋からカウン
トダウンする（ステップ５３３６．５３３７）。ステッ
プ８３３８てＸ方向へ、左眼ではＸＸＩを越えるまで、
右眼てはＸ２を下回るまで検索したが否がが判別され、
ＸＸＩを越え又はＸ２を下回るまで検索が終了するとス
テップ８３３９へ移行し、黒色画素カウンタＢＬＡＣＫ
Ｘの値が３以上が否がか判別される。

黒色画素カウンタＢＬＡＣＫＸの値が３未満の場合は眼
鏡中央部のフレームを検出したと判別してステップ５３
４０へ移行し、眼鏡無しカウンタＭＥＧＯＦＦをカウン
トアツプする。

以上の処理を左眼の検索範囲内で行い、ステップ５３４
１で眼鏡無しカウンタＭＥＧＯＦＦの値が５を越えるか
否かが判別される。

眼鏡無しカウンタＭＥＧＯＦＦの値が５より大きい場合
は眼鏡をかけていないものと判断してステップ５３４２
へ移行し、一番目に検出した黒領域のＹ座標の最下点Ｂ
　Ｙ　Ｉ　ＭＡＸを基準にしてウィンドウの縦方向（Ｙ
方向）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−ＢＹ
ＩＭＡＸ−４０，ＹＢ−ＢＹＩＭＡＸ＋１０＋：設定す
る。また、眼鏡無しカウンタＭＥＧＯＦＦの値が５より
小さい場合は眼鏡をかけているものと判断してステップ
５３４３へ移行し、二番目に検出した黒領域のＹ座標の
最下点ＢＹ２ＭＡＸを基準にしてウィンドウの縦方向（
Ｙ方向）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−Ｂ
Ｙ２ＭＡＸ−４０、ＹＢ−ＢＹ２ＭＡＸ＋１０に設定す
る。

以上の処理を左右両眼において行うことによりそれぞれ
の眼のウィンドウが設定される。

このようにウィンドウ設定に関しては、顔の幅方向端で
左右別個にウィンドウの横の範囲を決定する事としたた
め、顔の向きにより赤外線ストロボの照射画像に影が発
生する場合でもその影響が排除される。

また、ウィンドウの縦方向の範囲の設定に於いても、例
えば僅か２点の黒領域を僅か２０回の縦方向の走査をす
るだけで設定できるため、横方向範囲設定と同様に影や
少しの画像の変化でも正確なウィンドウの設定を高速に
行うことが可能となった。

さらに、あらゆる顔画像に対しても、最大でも￥１から
下の画像の変化のほとんど無い部分て検索を行うため、
帽子を被っている場合、眼鏡を装着している場合に於い
ても、眼球存在領域の特定が正確にでき居眠り、わき見
の検出が可能となった。

そして、第３図のフローチャートのステップＳ８て、２
値化した画像Ｊ　（Ｘ、Ｙ）から上記で設定されたウィ
ンドウ内に対する虹彩部分を検出する処理が行われる。

虹彩は、一般に暗い円形領域として観測されるから、こ
の円形領域を検出してその領域面積を認諜すれば、運転
者の居眠りの有無等が判定できる。

第１１図は、虹彩の検出原理を示す説明図である。

今、ウィンドウ内の任意の点（ｘ、ｙ）を中心とする半
径Ｒの円を設定するとともに、点（χ。

ｙ）を中心として放射状に４つの矩形を設定する。

この矩形は、円の内外方にそれぞれ１画素だけ延在する
ように設定される。そして、円より外方の矩形白抜き部
の明度値の総和と、円より内方の矩形ハツチング部の明
度値の総和との差δを求める。

これを上記任意の点（ｘ、ｙ）においてＲｍｉｎ−Ｒｍ
ａｘまで行い、差δの最大値を△としてこれを求める。

つぎに、点（ｘ、ｙ）を中心として同様な演算を行い゛
、差δの最大値が上記最大値Δより大きければ、今回演
算されたδの最大値を最大値として記憶する。このよう
な演算をウィンドウ内の全画素点を中心として行い最大
値△を出力する。

これは、ウィンドウ内に虹彩が存在するとき、虹彩は他
の領域に比べて輝度が低い円形図形として検出され、虹
彩を中心に求められる上記差δが最大となるという原理
に基づいている。

第１２図は以上の処理のフローチャートを示すものであ
る。

まず、ステップ５９０１で、ウィンドウ内を走査するカ
ウンターｘ、ｙをＬにリセットする。なお、ここで設定
されたウィンドウの大きさは、Ｘ方向Ｍドツト、ｙ方向
Ｎドツトとする。つぎに、ステップ５９０２で、虹彩検
出の中心座標の点Ｊ（ｘ、ｙ）が黒いか否かが判別され
、黒い場合はステップ８９０３へ移行し、検出半径Ｒを
Ｒｍｉｎとする。つづいて、ステップ５９０４および５
９０５において、△およびｐをリセットする。

つぎに、ステップ５９０６乃至５９０８て、具体的に白
い部分に囲まれた黒い円形領域として検出する。すなわ
ち、ステップ５９０６において式の前半の４項Ｊ　（ｘ
＋Ｒ十ｐ、ｙ）、Ｊ　（Ｘ、Ｙ−Ｒ−ｐ）、　　Ｊ　（
ｘ−Ｒ−ｐ、　　ｙ）、　　Ｊ　（ｘ、　　ｙ＋　Ｒ＋
　ｐ　）はそれぞれ座標中心（ｘ、ｙ）から半径Ｒ＋　
ｐ離れた右、下、左、上の位置の明度を表わし、式の後
半の４項Ｊ　（ｘ＋Ｒ−ｐ−１，Ｙ）　。

Ｊ　（ｘ、ｙ−Ｒ＋ｐ＋１）、Ｊ　（ｘ−Ｒ＋ｐ＋１゜
ｙ）、Ｊ　（ｘ、ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標
（ｘ、ｙ）から半径Ｒ−（ｐ＋１）離れた右、下、左、
上の位置の明度を表わしている。そして、ステップ５９
０７でｐを１ずつ増加させｐ−１まで変化させてステッ
プ８９０６乃至ステップ５９０８を繰返し実行し、半径
Ｒｍｉｎにおける第９図の矩形白抜き部の明度値総和（
ステップＳ９０６の式の前半４項の和）と矩形ハツチン
グ部の明度値総和（ステップＳ６の式の後半４項の和）
の差δか最大値△として求められる（ステップＳ９１０
　）　。つぎに、ステップＳ９１］て半径Ｒｍｉｎ＋１
として再度ステップ５９０５へ移行し、ステップ５９０
６乃至ステップ５９０８を繰返し実行することにより半
径Ｒｍｉｎ＋１としたときの矩形領域の明度差δを求め
る。この明度差δが第１回目の半径Ｒｍ　ｉ　ｎについ
て演算された△よりも大きければ、その明度差δを最大
値△とする。

このような操作を半径Ｒｍａｘまて繰返して行い、任意
の点（ｘ、ｙ）について最大明度差△が求まる（ステッ
プＳ　９１２）。これは、検出する虹彩の半径は、個人
あるいはカメラと乗員の距離によって異なるため、検出
半径にあるゾーン（Ｒｍ　ｉｎ−Ｒｍａｘ）を設けるた
めである。

以下、この処理をｘ−１〜Ｍまで、ｙ＝１〜Ｎまでウィ
ンドウ全体に亘って行う。このような処理によって求ま
る△ｍａｘは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉眼時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か開眼
かの判別か容易になる。

このようにして虹彩を検出することにしたため、運転者
の開眼、開眼状態を確実且つ迅速にモニタリングするこ
とも可能となった。これにより、運転者の居眠り、わき
見の検出を行うことかできるという効果が得られる。

つぎに、前記第３図のフローチャー１・のステップＳ９
における、居眠りわき見の判定において、開眼または閉
眼の判別は、ステップＳ８で算出されたウィンドウ内で
の最大明度差△をしきい値処理し、明度差△≧Ｔｈ　ｌ
きい値）のときは開眼、明度差△≦Ｔｈのときは閉眼で
あると判断する。

まばたきした場合にも上記の虹彩検出処理で開眼と判断
されることがあるから、１回の虹彩検出処理で運転者が
居眠りをしていると判断すると誤判断することがあるた
め、同一の虹彩検出処理を複数回繰返し実行し、ある所
定回数以上連続して開眼が認識されたときに居眠りして
いると判定する。

例えば、第１３図に示すように、黒点て示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、開眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定する。

また、片目のみが閉眼と判断した場合は、実際には閉眼
でなく、わき見をしているために原画面から片目が外れ
ているものと考えられる。従って居眠り判断と同様に３
回連続して片目が閉眼していると判断されたときには、
わき見と判定する。

上記のように、運転者の顔画像の頬部に出現する横方向
の白色部分の最大幅より運転者の眼球を含む領域の横方
向の幅を設定し、前記最大幅を設定した点からの縦方向
の走査により検出した２点の黒領域の中間の点から横方
向に走査し、黒色画素の有無により眼鏡を装着している
か否かを判断し、その有無により前記２点の黒領域のど
ちらが眼であるかを判断して運転者の眼球を含む領域の
縦方向の幅を設定し、その領域内において虹彩部分を検
出することにより、眼球が開いているか、閉じているか
、正面を向いていないか等を判断するこかできる。これ
により、運転者の居眠り、わき見の検出を行うことかで
きる。

［発明の効果コ以上説明したように、本発明によれば、顔画像の幅の安
定部の有無と連続画素数の変化量により輪郭線の連続性
を判断して顔面の左右端を特定することにしたので、外
光が片側から差し込む車室内で撮影した顔画像や、僅か
に横を向いた顔画像において輪郭線が消失しても車両運
転者の眼球を含む領域の横方向の範囲を決定し得る。

また、顔面の左右端を各々独立に検出する構成とした場
合には、顔面の片側の輪郭線のみが消失したり、顔面左
右の照度が不均一であったり、或は僅かな画像の変化が
生じても、正確な眼球存在領域の特定が可能である。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図は本発明の一実施例
に係る構成図、第３図は第２図の構成に基づくフローチ
ャート、第４図、第９図および第１０図は本実施例の処
理に関する説明図、第５図は本発明に係るウィンドウの
横方向の位置を決定するフローチャート、第６図は第５
図に示す処理の一部を詳細に説明するフローチャート、
第７図はウィンドウの縦方向の範囲設定処理のフローチ
ャート、第８図は本実施例の走査方式に関する説明図、
第１１図は虹彩検出処理の原理説明図、第１２図は虹彩
検出処理のフローチャート、第１３図は居眠り判断のた
めの説明図である。ＣＬｌ・・・画像入力手段Ｃｌ３・・・２値化手段Ｃｌ３・・・白色画素数計数手段Ｃｌ３・・・顔画像幅の安定部検出手段ＣＬ５・・・輪
郭線の連続性判断手段ＣＬ６・・・顔面の端特定手段Ｃｌ７・・・眼球の左右領域決定手段ＣＬ８・・・黒領域検出手段Ｃｌ９・・・眼球の縦領域決定手段第１図第２図第３図Ｙ第４図＠５図（ｂ）Ｙ第８図ＷＪ１０ｒｇＪ第１１図第１２図

Claims

【特許請求の範囲】

眼を含む顔画像を入力する画像入力手段と、前記画像入
力手段から送出される入力画像を２値化する２値化手段
と、前記２値化画像において画像の左右方向へ走査し連
続する白色画素数を計数する白色画素数計数手段と、前
記画素数の変化量から顔画像の幅方向端の安定部を検出
する安定部検出手段と、前記安定部の有無と前記連続画
素数の変化量より顔画像の輪郭線の連続性を判断する輪
郭線の連続性判断手段と、前記判断に基づき顔面の端を
特定する顔面の端特定手段と、前記顔面の端特定手段に
より特定された顔面の端から眼の存在領域の横方向の位
置を決定する眼球の左右領域決定手段と、決定された眼
の横方向の存在領域で縦方向の下から黒領域を検出する
黒領域検出手段と、検出された黒領域を基準にして眼の
存在領域の縦方向の位置を決定する眼球の縦領域決定手
段とから成ることを特徴とする眼位置検出装置。