JP2705388B2

JP2705388B2 - 運転者の眼位置検出装置

Info

Publication number: JP2705388B2
Application number: JP3220633A
Authority: JP
Inventors: 裕史上野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1991-08-30
Filing date: 1991-08-30
Publication date: 1998-01-28
Anticipated expiration: 2013-01-28
Also published as: JPH0560515A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、運転者の眼の位置を
検出する眼位置検出装置に関する。

【０００２】

【従来の技術】従来の車両運転者の眼位置検出装置に
は、特開昭６０−１５８３０３号、特開昭６０−１５８
３０４、特開昭６１−７７７０５号、特開昭６１−７７
７０６号公報に開示されているものがある。これらは車
両運転者の眼の位置を認識する装置であり、運転者の顔
部分を撮影して２枚の画像として入力し、この画像の明
領域の中にある独立した暗領域を特異的として抽出し、
この特異点を眼として認識する構成となっており、運転
者の居眠りや、わき見の検出に利用可能であるとしてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、この従
来の車両運転者の眼球位置検出装置は、顔画像の明るい
閉領域の中にある独立した暗領域を特異点として認識す
る構成としているため、例えば、日光が顔の片側から当
る等して運転者の顔画像の輪郭線が途切れている場合
は、顔面部分が閉領域にはならないため、眼球が検出で
きないという問題があった。

【０００４】また、いずれの従来装置も正面を向いた一
般的な顔に充分な照明を当てて撮影した顔画像について
の発明であり、顔が多少横を向いて顔画像の輪郭線が途
切れたり陰影がある場合、眼鏡装着の場合、頭髪が額を
覆っている場合等には眼の部分が独立した暗領域とはな
らず、眼の位置の検出が不能であったり、眉毛や眼鏡の
フレームなどを眼として誤認識してしまう問題があっ
た。

【０００５】さらに、鼻穴や黒子等も明るい閉領域の中
にある独立した暗領域の特異点となるため、これらを眼
として誤認識してしまう問題もあった。

【０００６】加えて、輪郭線の途切れ判別の際には、上
記陰影と融合して撮影された眉毛、眼球、フレーム、鼻
穴等がノイズとなって輪郭線の追跡を誤る恐れがあっ
た。

【０００７】そこでこの発明は、運転者の眼の位置の検
出精度をより向上させることのできる運転者の眼位置検
出装置の提供を目的としている。

【０００８】

【課題を解決するための手段】上記課題を解決するため
にこの発明は、眼を含む顔画像を入力する画像入力手段
と、前記画像入力手段から送出される入力画像を２値化
して第一２値化画像を生成する手段と、前記第一２値化
画像において黒色画素から成る連結成分領域を抽出する
手段と、前記連結成分領域の面積を測定する手段と、前
記連結成分領域の面積が所定値以下の領域は黒色画素を
白色画素に変換して第二２値化画像を生成する手段と、
前記第二２値化画像から顔画像の輪郭線を判別すること
により顔面の左右端点を特定する手段と、前記特定した
顔面の左右端点の内側の領域の濃淡情報より眼を黒色画
素とするためのしきい値を設定する手段と、前記入力画
像を該しきい値により２値化して第三２値化画像を生成
する手段と、前記第三２値化画像において前記顔面の左
右端の幅の内側を下側より縦方向上側へ走査し黒領域の
配置状況により眼の存在領域の縦方向の位置を決定する
手段とからなることを特徴とする。

【０００９】

【作用】顔画像において一般的に輪郭線が消失するのは
耳の部分や頬から顎にかけての一部分であること、輪郭
線判別の妨げになる鼻穴や黒子はこの部分では陰影など
の影響を受けない小さな黒色画素の孤立点となることに
着目した。

【００１０】先ず第一２値化手段ＣＬ２によって入力画
像全体の濃淡画像情報から所定のしきい値により第一２
値化画像を生成する。

【００１１】次に連結成分領域抽出手段ＣＬ３、及び面
積測定手段ＣＬ４により第一２値化画像において黒色画
素の連結成分領域を抽出し、面積を測定する。

【００１２】そして、第二２値化手段ＣＬ５により連結
成分領域の面積が所定値以下の領域を黒色画素から白色
画素に変換して第二２値化画像を生成する。

【００１３】この第二２値化画像から左右端点特定手段
ＣＬ６により、顔画像の輪郭線を判別することで顔面の
左右端点を特定する。

【００１４】次に、しきい値設定手段ＣＬ７及び第三２
値化手段ＣＬ８により、初めに入力した顔画像について
左右両端点の内側の領域の濃淡情報により眼を黒色画素
となるためしきい値を設定し、２値化して第三２値化画
像を生成する。

【００１５】最後に、眼の縦領域決定手段ＣＬ９によ
り、第三２値化画像において、上記左右端の幅が内側の
範囲を下側より縦方向上側に走査し、黒色画素の配置状
況により運転者の眼の縦方向の位置を決定する。

【００１６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１７】図２は本発明の一実施例に係る眼の位置検
出装置の構成図、図３は図２の構成に基づくフローチャ
ートを示す。

【００１８】図２に示すように、この眼位置検出装置は
自動車に装備したもので、インストルメントパネル（図
示せず）内の運転者に対する正面方向に、運転者の顔部
分を照射する赤外ストロボ１と、この赤外ストロボ１の
赤外光で照射される顔部分を撮影する画像入力手段ＣＬ
１としてのＴＶカメラ３とが配置され、前記赤外ストロ
ボ１の発光とＴＶカメラ３の画像入力とのタイミングを
合せるタイミング指令回路５とを備えている。そして、
赤外ストロボ１にタイミング指令回路５からストロボ発
光指令が出力されると、赤外ストロボ１が発光して運転
者の顔部分を照射し、これと同時にＴＶカメラ３に対し
画像入力指令が出力され、赤外光で照射された顔部分を
撮影するようになっている。

【００１９】ＴＶカメラ３の入力画像は本実施例では図
４に示すように、横（Ｘ）方向５２０画素、縦（Ｙ）方
向５００画素からなり、縦方向に顔部分がほぼいっぱい
になるよう画角が調整されている。

【００２０】ＴＶカメラ３には、撮影した入力画像をデ
ジタル量に変換するＡ／Ｄ変換器７を介して画像メモリ
９が接続され、ＴＶカメラ３の入力画像データを入力す
る。

【００２１】前記画像メモリ９には、該画像メモリ９に
格納された入力画像データに基づいて眼球の存在位置領
域を規定する眼球存在位置規定回路１１が接続され、さ
らに、規定された眼球の存在位置領域内にある画像メモ
リ９の画像データを処理して眼の虹彩部分を検出する虹
彩検出回路１３が接続されている。

【００２２】また、虹彩検出回路１３には、該虹彩検出
回路１３での虹彩検出結果から運転者の居眠り、わき見
の有無等の状態を判定する居眠りわき見判定回路１５が
接続されている。

【００２３】前記眼球存在位置規定回路１１は、入力画
像をあるしきい値で２値化して第一２値化画像を生成す
る第一２値化手段ＣＬ２と、前記第一２値化画像におい
て黒色画素から成る連結成分領域を抽出する手段ＣＬ３
と、前記連結成分領域の面積を測定する手段ＣＬ４と、
前記連結成分領域の面積が所定値以下の領域は黒色画素
を白色画素に変換して第二２値化画像を生成する手段Ｃ
Ｌ５と、前記第二２値化画像から顔画像の輪郭線を抽出
することにより顔面の左右端点を特定する手段ＣＬ６
と、前記特定した顔面の左右端点の内側の領域の濃淡情
報より眼を黒色画素とするためのしきい値を設定する手
段ＣＬ７と、前記入力画像を該しきい値により２値化し
て第三２値化画像を生成する手段ＣＬ８と、前記第三２
値化画像において前記顔面の左右端の幅の内側を下側よ
り縦方向上側へ走査し黒領域の配置状況により眼の存在
領域の縦方向の位置を決定する手段ＣＬ９とを構成する
ものである。

【００２４】つぎに、図３のフローチャートに基づいて
全体を説明する。

【００２５】まず、ステップＳ１で赤外線ストロボ１の
発光と同期してＴＶカメラ３によって運転者の顔部分を
撮影し、この画像をＡ／Ｄ変換回路７でデジタル信号に
変換して画像メモリ９に格納する（ステップＳ２）。

【００２６】つぎにステップＳ３で、画像メモリ９に格
納された入力画像データを眼球存在位置規定回路１１に
取り込み、あるしきい値で２値化する。これは、顔部分
の明暗をはっきりさせるためであり、２値化しきい値は
眼球を抽出できるレベルに設定されている。

【００２７】すなわち、ビデオ信号を２５６階調（０〜
２５５）のデジタルデータに変換し、白い部分を“２５
５”、黒い部分を“０”とし、あるスレッシュホールド
レベルで２値化して２値化画像Ｊ（ｘ，ｙ）を得たもの
である。前記ストレッシュホードレベルは、ストロボ照
射されている運転者の顔面及び、その背景は白とし、頭
髪等は黒とする程度のものであり、以下、図４のまま２
値化画像Ｊ１において顔面及び背景は白になっているも
のとして説明する。但し、背景が黒であっても処理でき
るものである。

【００２８】次にステップＳ４で、画像処理の基本的手
法であるラベリング処理により、４連結で黒画素が連結
している連結成分領域を抽出し、図５のように各領域に
各々番号を付す。例えば、頭部はＮＯ１，眉はＮＯ２、
ＮＯ３、眼はＮＯ４、ＮＯ５、鼻穴はＮＯ６、ＮＯ７、
口はＮＯ８といったものである。

【００２９】続くステップＳ５〜Ｓ８が、第二２値化画
像を生成する処理である。

【００３０】先ず、ステップＳ６で連結成分の面積を測
定する。これは連結成分を構成する画素数をカウントす
ることに相当し、ステップＳ４に於けるラベリング処理
と同時に行なうこともできる。

【００３１】次に、ステップＳ７で前記面積が所定値Ｐ
より小さいかを判定し、小さい場合はステップＳ８でこ
の連結成分の黒画素を全て白画素に変換する。

【００３２】これは、次にステップＳ９で行なうウイン
ドウ（図４の点線で示す四角部分で眼の存在領域）の横
幅設定処理において、輪郭線追跡のノイズとなる可能性
のある眉、眼、鼻穴などを除去することが目的てあり、
Ｐはこれらの面積より大きい２００〜３００画素程度の
値を設定する。

【００３３】以上の処理を、抽出した全ての連結成分Ｎ
Ｏ１〜ＮＯ８に関して行ったことを、ステップＳ５で判
断するまで続けることにより、図６に示すように第二２
値化画像Ｊ２が生成される。

【００３４】このように本発明実施例に関わる車両運転
者の眼位置検出装置は、顔幅検出のための輪郭線追跡の
際に必須となる輪郭線消失検出において、ノイズとなり
誤検出の原因である画像の陰影、眉毛、眼球、フレー
ム、鼻穴等は一般的に孤立した小さな黒色画素の連結成
分領域となることに着目し、黒色画素連結成分の面積が
所定値以下である場合、この連結成分を除去した第二２
値化画像Ｊ２を生成し、この画像Ｊ２により、ステップ
Ｓ９において左右それぞれの眼球の存在領域であるウイ
ンドウの横方向（Ｘ方向）の幅を決定することとした。

【００３５】これにより、輪郭線の安定部分の検出等の
輪郭線の連続性を検索している部分からノイズを除くこ
ととなり、外光が片側から当ったり横を向いた顔画像に
おいて鼻穴の高さ付近で輪郭線が消失しても、運転者の
眼球を含む領域の横方向の範囲を正確に決定することが
可能となった。

【００３６】また顔の領域の濃淡情報のみを利用し、し
きい値を算出する構成としたため、外光条件により顔面
左右の照度が不均一であっても、各々の眼球に関して検
出に適正なしきい値を設定することが可能となり、より
正確にウインドウを特定することが可能となる。

【００３７】つぎに、ステップＳ１０では、ステップＳ
２で記憶した入力画像に関し、眼球の存在領域である上
記の処理で設定したウインドウの横幅の内側の濃淡情報
に基づき、ステップＳ３と同様手法により２値化して第
三２値化画像を生成する。さらにステップＳ１１におい
て、左右それぞれの眼球のウインドウの縦方向（Ｙ方
向）の幅を決定する。

【００３８】ウインドウのＸＹ方向の幅決定の処理の詳
細は図７〜図１２に示すフローチャートにより後述す
る。

【００３９】つぎに、左右それぞれの眼球のウインドウ
が決定されると、ステップＳ１２で虹彩中心検出が行わ
れる。そして、ステップＳ１３で虹彩中心から乗員の居
眠りわき見判定が行われる。

【００４０】図７，図８は、本発明の実施例に係る左右
各々のウインドウの横方向の位置を決定するフローチャ
ートを示す。この図のステップＳ１０１及びＳ１０２に
おいて図１３に示すように、画像の略中央（Ｘ座標＝２
５０）に検索開始ラインを設定し、そこから左右別個に
白色連続画素数ＷＸＣＬとＷＸＣＲをカウントすると共
に、白色連続画素数が最大のときの左右端Ｘ座標ＸＬＭ
とＸＲＭを記憶する。この処理については図９によって
後述する。

【００４１】続いてステップＳ１０３では、左右の連続
画素数の和が２００より大きいか否かを調べ、頭髪、
眉、眼球部などで２００以下の場合、ステップＳ１０４
で、左安定カウンタＷＬＣＯＮ、右安定カウンタＷＲＣ
ＯＮ、左安定フラグＳＴＦＬＧＬ、右安定フラグＳＴＦ
ＬＧＲをクリアし、ステップＳ１０１へ戻り次のライン
を走査する。

【００４２】左右の連続画素数の和が２００より大きい
場合、ステップＳ１０５で左側端点検出フラグＯＫＦＧ
Ｌがセットされているか否かを調べ、セットされている
場合はステップＳ１２０以降の右端検索処理へ移る。

【００４３】左側端点検出フラグＯＫＦＧＬが０の場合
は、ステップＳ１０６及びＳ１０７でＷＸＣＬと、直前
の走査ラインにおける連続数ＭＡＥＬの差が１０未満な
らば右安定カウンタＷＬＣＯＮをカウントアップする。

【００４４】ステップＳ１０８及びＳ１０９では、現走
査ラインは直前走査ラインの連続数との差が小さい安定
候補部であるので、この中での連続画素数が最大の時の
ＸＬをＸ１、最小の時のＸＬをＸ２として記憶する。

【００４５】ステップＳ１１０〜Ｓ１１２では、左安定
カウンタＷＬＣＯＮが１０を越え、且つＸ１とＸ２の差
が３０未満か否かを調べ、この条件を満足していれば左
安定フラグのＳＴＦＧＬをセットし、左の白色連続画素
数ＷＸＣＬを新たにＭＡＥＬとする。

【００４６】ステップＳ１０６で白色連続画素数ＷＸＣ
Ｌと前の走査での連続数ＭＡＥＬの差が１０以上である
場合は、輪郭線の連続性が失われた可能性があると判断
し、ステップＳ１１３〜Ｓ１１９の処理へ移る。

【００４７】この部分は、連続画素数が大きく変化した
のが眉等のためか、輪郭線の途切れなのかを連続画素数
の変化と安定部分の存在とによって判断している。

【００４８】先ずステップＳ１１３で左安定フラグＳＴ
ＦＬＧＬを調べ、この連続白画素数が大きく変化する前
に安定部分が存在しＳＴＦＬＧＬがセットされていた場
合は、ステップＳ１１４で連続画素数が増加したか否か
を調べる。

【００４９】連続画素数が増加している場合は、輪郭線
が途切れたと判断し、ステップＳ１１５においてステッ
プＳ１０８で記憶したＸ座標Ｘ１を顔を左端とする。

【００５０】連続白画素数が大きく変化する前に安定部
分が存在しない場合や安定部分が存在しても連続画素数
が減少している場合は、輪郭線が途切れた部分から輪郭
線のある部分の走査に移ったか、または眉、眼、眼鏡部
分などの走査であることが考えられる。

【００５１】そこでステップＳ１１６で今回の走査の白
色画素連続数が、前回の走査の白色画素連続数より５０
以上減少している場合は輪郭線が途切れた部分から輪郭
線のある部分の走査に移ったと判断し、今回の走査の左
端点ＸＬを顔の左端とする。

【００５２】以上のようにステップＳ１１５、またはス
テップＳ１１８で顔の左端を設定した時はステップＳ１
１９で左側端点検出フラグＯＫＦＧＬをセットした上で
ステップＳ１２０へ進む。

【００５３】今回の連続数が前回の連続数より大きく減
少していない場合は、眉、眼、眼鏡部分や大きな陰影の
ある部分と考えられるため、ステップＳ１１７でＸ１，
Ｘ２，ＷＬＣＯＮ，ＳＴＦＬＧＬをクリアしステップＳ
１１２へ進む。

【００５４】ステップＳ１２０及びＳ１２１では、上記
のＳ１０５〜Ｓ１１９と同様にして顔の右側の輪郭線途
切れ判断と輪郭線途切れ時の右端設定を行う。

【００５５】以上の処理をステップＳ１２２およびＳ１
２３に示すように、顔面の左右端検出フラグが両方とも
セットされるか、さも無ければ予め設定したＹ方向の検
索範囲終了まで続ける。

【００５６】両方の端点検出フラグがセットされた場合
は、横幅設定を終了し、Ｙ（縦）方向の検索範囲を終了
した時は図８に示すステップＳ１２４〜Ｓ１２７の処理
へ移る。

【００５７】ここでは、左右の端点検出フラグがセット
されているか否かを調べ、それぞれセットされていない
場合はステップＳ１０２で記憶した全走査の中で左右の
白色画素連続数が最大の時の左右端Ｘ座標ＸＬＭ，ＸＲ
Ｍを顔の左右端とする。

【００５８】以上のように顔の左右端が検出できたら、
下式に従ってウインドウの横方向の位置を決定できる。

【００５９】・Ｘ軸センター＝Ｘ_c＝XLM+（(XRM-XLM)/2 ）・左眼ウインドウの左側Ｘ座標＝Ｘ₁＝ XLM ・左眼ウインドウの右側Ｘ座標＝Ｘ₂＝Ｘ_c- 25 ・右眼ウインドウの左側Ｘ座標＝ＸＸ₁＝Ｘ_c+ 25 ・右眼ウインドウの右側Ｘ座標＝ＸＸ₂＝XRM このように、顔面の片側から外光が射し込む等して顔画
像の輪郭線に連続性がなくなっても、顔の幅方向端の安
定部の有無と連続画素数の変化より輪郭線の連続性を判
断して顔面の左右端を特定することができる。

【００６０】また、２値化画像において画像の中央、す
なわち、顔の略中央から左右へ走査して白色画素の連続
により顔の左右端を検出するので、背景が白でなくても
必ず顔面をとらえて適格な検出を行なうことができる。
また、髪型や眼鏡装置等の影響を受けずに頬部などで顔
の左右端を検出することが可能となった。さらに、顔面
の左右端を各々独立に検出する構成としたため、顔面の
片側の端が外光の影響で検出できなくても、反対側の端
は検出することが可能となっている。

【００６１】なお、前記ステップＳ１０１，Ｓ１０２で
の白色連続画素数が最大時の左右端Ｘ座標ＸＬＭとＸＲ
Ｍを記憶する過程を図９に示すフロ―チャ―トに基づい
て以下に説明する。

【００６２】まず、ステップＳ２０１で縦方向の走査Ｙ
座標を４０とする。このＹ−４０はこの範囲内に顔面の
最大幅は存在しないことを前提に処理を早めたものであ
る。ステップＳ２０２で横方向の検索走査開始ラインＸ
座標値２５０を左検索Ｘ座標ＸＬと右検索Ｘ座標ＸＲに
セットする。このＸ座標値は、図１３に示すように車両
運転者がカメラの画角以内に存在すれば、確実に顔面部
の中に存在するラインを指定している。

【００６３】次に、ステップＳ２０３で右側走査終了フ
ラグＯＫＲがセットされているか否か調べ、セットされ
ていればステップＳ２１１以降の顔面左端検索を行う。

【００６４】ＯＫＲがセットされていない場合は、ステ
ップＳ２０４で画素Ｊ（ＸＲ，Ｙ）が白か否かを調べ、
白の場合はステップＳ２０５及びＳ２０６で右側白画素
連続カウンタＷＸＣＲを、ステップＳ２０６で検索Ｘ座
標ＸＲをカウントアップする。

【００６５】ステップＳ２０４において画素Ｊ（ＸＲ，
Ｙ）が白でない場合は、ステップＳ２０７でＯＫＲをセ
ットした後ステップＳ２０８で、今まで記憶していた右
側端点の最大値ＸＲＭと今回の端点ＸＲを比較し、ＸＲ
の方が大きい場合（より右側にある場合）はステップＳ
２０９においてＸＲを新たな右端点ＸＲＭとする。

【００６６】次にステップＳ２１１〜Ｓ２１７で上記と
同じ処理を左側について行う。右側の検索と相異するの
は、ステップＳ２１４で検索Ｘ座標ＸＬをカウントダウ
ンすることと、ステップＳ２１６及びＳ２１７で記憶し
ていた左側端点のＸＬＭと今回の端点ＸＬの小さい方
（より左側にある方）ＸＬを左端点ＸＬＭとすることで
ある。

【００６７】一つの走査ラインで左右端を検出し、ステ
ップＳ２２１で走査終了フラグＯＫＬ、ＯＫＲの両方が
セットされたと判断された場合は、ステップＳ２２２で
このフラグをクリア（＝０）し、ステップＳ２２３で検
索ラインＹを増加し、この処理を終了する。

【００６８】図１０，図１１，図１２は前記図３のステ
ップＳ１１の詳細フローチャートを示すものである。こ
の処理はウインドウのＹ方向の座標を検出するもので、
左右それぞれの眼において行われる。

【００６９】また、この処理は、大きく分けて黒領域２
点の検索部分と、眼鏡の有無検索部分との二つに分かれ
る。

【００７０】黒領域２点の検索部分では、左眼に関して
図１４に示すように、左眼ウインドウの右側Ｘ座標Ｘ₂
から１０ドット左側、すなわちＸ₂−１０を始点とし
（これは鼻の穴の黒い部分の検出を避けるためであ
る。）、この位置から横方向（Ｘ方向）にＸ₂−９０ま
でを範囲とし、検索開始のＹ座標ＹＬから０の範囲で縦
方向上方（Ｙ方向）へ検索し、これを横方向４ドットの
間隔毎に行っていく。Ｙ座標ＹＬは左右端を決定した走
査ラインの下方に設定する。

【００７１】また、右眼に関しては右眼ウインドウ左側
Ｘ座標ＸＸ₁から１０ドット右側、すなわちＸＸ₁＋１
０を始点とし、この位置から横方向（Ｘ方向）にＸＸ₁
＋９０までを範囲とし、Ｙ座標ＹＬから０の範囲で縦方
向上方（Ｙ方向）へ検索し、これを横方向４ドットの間
隔毎に行っていく。

【００７２】眼鏡の有無検出部では、左眼に関して図１
５に示すように、左眼ウインドウの右側Ｘ座標Ｘ₂から
左眼ウインドウの左側Ｘ座標Ｘ₁への横方向（Ｘ方向）
の範囲で、また、右眼に関しては右眼ウインドウの左側
Ｘ座標ＸＸ₁から右眼ウインドウの右側Ｘ座標ＸＸ₂へ
の横方向（Ｘ方向）の範囲で後述するように検索する。

【００７３】以下、左目ウインドウのＹ方向の幅を決定
する処理について図１０，図１１，図１２に基づいて説
明する。

【００７４】まず、ステップＳ３０１において、一番目
と二番目の黒領域のＹ座標の最大値（最下点）のメモリ
変数ＢＹ１ＭＡＸおよびＢＹ２ＭＡＸがクリアされ、Ｘ
方向の検出範囲規定カウンタＸＣＨＥＣＫがＸ₂−１０
に、また、Ｙ方向の検索範囲規定カウンタＹＣＨＥＣＫ
がＹＬに初期化される。

【００７５】つぎに、ステップＳ３０２でＸ方向の検索
範囲規定カウンタＸＣＨＥＣＫがＸ₂−９０以下か否か
が判別される。この判別はＸ方向へすべて検索したか否
かを判別するものである。このときは、未だ、Ｘ方向全
ての検索を終了していないからステップＳ３０３へ移行
し、一番目の黒領域を検出したフラグＦＬ１、黒色画素
連続カウンタＢＬＡＣＫ、白色画素連続カウンタＷＨＩ
ＴＥ、一番目の黒領域と二番目の黒領域との間隔が１０
ドット以上あるフラグＷＨＩＴＥＦＬおよび一番目の黒
領域と二番目の黒領域のそれぞれの最大値記憶バッファ
ＢＹ１およびＢＹ２がクリアされる。

【００７６】つぎに、ステップＳ３０４で検索画素が黒
か否かが判別され、黒の場合は白色画素連続カウンタＷ
ＨＩＴＥをクリアし（ステップＳ３０５）、黒色画素連
続カウンタＢＬＡＣＫをカウントアップする（ステップ
Ｓ３０６）。そして、ステップＳ３０７で黒色画素連続
カウンタＢＬＡＣＫの黒画素が１か否かが判別される。
これは黒画素の検出が初めてか否かを判断するものであ
る。黒画素が１の場合は黒領域の最下点Ｙ座標候補とし
てＹ方向の検索範囲規定カウンタＹＣＨＥＣＫでカウン
トされた現Ｙ座標をＳＥＴＹに記憶する。例えば図１４
で“１”としてあるＹ座標を記憶する。つぎに、ステッ
プＳ３０９で黒画素連続カウンタＢＬＡＣＫの黒画素が
２以上か否かが判別され、黒画素が２以上の場合は一番
目の黒領域を検出したフラグＦＬ１がセットされている
か否かが判別される（ステップＳ３１０）。フラグＦＬ
１がセットされていない場合は、ステップＳ３１１へ移
行し、一番目の黒領域の最大値記憶バッファＢＹ１にＳ
ＥＴＹの値を代入して保管し、フラグＦＬ１をセットす
る。そして、ステップＳ３２８でＹ座標ＹＣをカウント
ダウンし、一つ上の画素の検索に移る。

【００７７】ステップＳ３１０でフラグＦＬ１がセット
されている場合はステップＳ３１２へ移行し、一番目の
黒領域と二番目の黒領域の間隔が１０ドット以上あるフ
ラグＷＨＩＴＥＦＬがセットされているか否かが判別さ
れる。そして、フラグＷＨＩＴＥＦＬがセットされてい
る場合は二番目の黒領域を検出したことになるのでステ
ップＳ３１３で二番目の黒領域の最大値記憶バッファＢ
Ｙ２にＳＥＴＹの値を代入して保管する。例えば、図１
４で“２”と示してあるＹ座標を保管する。またステッ
プＳ３１２でフラグＷＨＩＴＥＦＬがセットされていな
い場合は、一番目の黒領域と二番目の黒領域の間隔が狭
く両者の差が明確でないのでステップＳ３１４へ移行
し、黒画素の連続数が５０ドットを越えるか否かが判別
される。黒画素の連続数が５０ドットを越えている場合
は頭髪を検出したことになるためステップＳ３１５へ移
行してバッファＢＹ２をクリアし、また、５０ドットを
越えていない場合はステップＳ３２８へ移行しＹ座標Ｙ
Ｃを一つ上の画素の検索に移る。

【００７８】前記ステップＳ３０４で検索画素が白の場
合にはステップＳ３１６へ移行して黒色画素連続カウン
タＢＬＡＣＫをクリアし、ステップＳ３１７で一番目の
黒領域を検出したフラグＦＬ１がセットされているか否
かが判別される。そして、フラグＦＬ１がセットされて
いない場合は、未だ黒領域が一つも検出されていないた
めステップＳ３２８へ移行しＹ座標ＹＣをカウントダウ
ンし、一つ上の画素の検索に移る。フラグＦＬ１がセッ
トされている場合にはステップＳ３１８へ移行し、白色
画素連続カウンタＷＨＩＴＥをカウントアップする。そ
して、ステップＳ３１９で白画素が１０ドット以上連続
したか否かが判別され、１０ドット以上連続した場合は
眼と眉の間か、眼鏡フレームと眼の間を検出したものと
してステップＳ３１９へ移行し、一番目の黒領域と二番
目の黒領域の間隔が１０ドット以上あるフラグＷＨＩＴ
ＥＦＬをセットする。また、白画素が１０ドット以上連
続していない場合はステップＳ３２８へ移行しＹ座標Ｙ
Ｃをカウントダウンし、一つ上の画素の検索に移る。

【００７９】つぎに、ステップＳ３２１で白画素が８０
ドット以上連続したか否かが判別され、８０ドット以上
連続した場合は眉毛を検出せず顔を検出したことになる
からステップＳ３２２へ移行し、二番目の黒領域の最大
値記憶バッファＢＹ２をクリアする。また、白画素８０
ドット以上連続していない場合はステップＳ３２８へ移
行し、Ｙ座標ＹＣをカウントダウンし、一つ上の画素の
検索に移る。

【００８０】つぎに、一番目と二番目の黒領域の候補点
としてのそれぞれのバッファＢＹ１およびＢＹ２が決定
されると、ステップＳ３２３において、候補点としての
バッファＢＹ１の値を今までに記憶された一番目の黒領
域値の最大値（最下点）ＢＹ１ＭＡＸと比較し、より大
きい方をＢＹ１ＭＡＸとして記憶する（ステップＳ３２
４）。例えば、図１４において中央部の１のＹ座標がＢ
Ｙ１ＭＡＸとして記憶される。続いて、ステップＳ３２
５において、候補点としてのバッファＢＹ２の値を今ま
でに記憶された二番目の黒領域の最大値（最下点）ＢＹ
２ＭＡＸと比較し、より大きい方をＢＹ２ＭＡＸとして
記憶する。例えば、図１４において、右側の２のＹ座標
がＢＹ２ＭＡＸとして記憶される。

【００８１】このようにして、一番目の黒領域の最下点
ＢＹ１ＭＡＸと二番目の黒領域の最下点ＢＹ２ＭＡＸが
決定される。

【００８２】つぎに、眼鏡の有無の検索を行う。まず、
図１２のステップＳ３２９において、二番目の黒領域の
最大値記憶バッファＢＹ２が検出されているか否かを判
別し、このＢＹ２の値からステップＳ３３０、Ｓ３３１
で眼鏡検出のＹ座標ＢＹＨを求める。すなわち、二番目
の黒領域の最大値記憶バッファＢＹ２がなく、一番目の
黒領域の最大値記憶バッファＢＹ１のみの場合は、ＢＹ
Ｈ＝ＢＹ１＋１０とし（ステップＳ３３０）、二番目の
黒領域の最大値記憶バッファＢＹ２がある場合は、ＢＹ
Ｈ＝（ＢＹ１＋ＢＹ２）／２とする（ステップＳ３３
１）。

【００８３】なお、ステップＳ３３１でＢＹＨをＢＹ１
とＢＹ２との中間点としているが、これはＢＹ１とＢＹ
２の間の点であればよいものである。

【００８４】つぎに、ステップＳ３３２で、黒画素の数
をカウントする黒色画素カウンタＢＬＡＣＫＸをクリア
し、画素座標ＸＣ、ＹＣに初期値ＸＣ＝Ｘ₂（ＸＣ＝Ｘ
Ｘ₁）、ＹＣ＝ＢＹＨを設定する（ステップＳ３３３、
Ｓ３３４）。ステップＳ３３５で画素Ｊが黒か否かが検
索され、黒の場合はＸ方向へ黒色画素カウンタＢＬＡＣ
ＫＸを左眼のときはＸＣ＝Ｘ₂からカウントアップし、
右眼のときはＸＣ＝ＸＸ₁からカウントダウンする（ス
テップＳ３３６、Ｓ３３７）。ステップＳ３３８でＸ方
向へ、左眼ではＸＸ₁を越えるまで、右眼ではＸ₂を下
回るまで検索したか否かが判別され、ＸＸ₁を越え又は
Ｘ₂を下回るまで検索が終了するとステップＳ３３９へ
移行し、黒色画素カウンタＢＬＡＣＫＸの値が３以上か
否かが判別される。黒色画素カウンタＢＬＡＣＫＸの値
が３未満の場合は眼鏡中央部のフレームを検出したと判
別してステップＳ３４０へ移行し、眼鏡無しカウンタＭ
ＥＧＯＦＦをカウントアップする。

【００８５】以上の処理を左眼の検索範囲内で行い、ス
テップＳ３４１で眼鏡無しカウンタＭＥＧＯＦＦの値が
５を越えるか否かが判別される。

【００８６】眼鏡無しカウンタＭＥＧＯＦＦの値が５よ
り大きい場合は眼鏡をかけていないものと判断してステ
ップＳ３４２へ移行し、一番目に検出した黒領域のＹ座
標の最下点ＢＹ１ＭＡＸを基準にしてウインドウの縦方
向（Ｙ方向）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ
＝ＢＹ１ＭＡＸ−４０、ＹＢ＝ＢＹ１ＭＡＸ＋１０に設
定する。また、眼鏡無しカウンタＭＥＧＯＦＦの値が５
より小さい場合は眼鏡をかけているものと判断してステ
ップＳ３４３へ移行し、二番目に検出した黒領域のＹ座
標の最下点ＢＹ２ＭＡＸを基準にしてウインドウの縦方
向（Ｙ方向）の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ
＝ＢＹ２ＭＡＸ−４０、ＹＢ＝ＢＹ２ＭＡＸ＋１０に設
定する。

【００８７】以上の処理を左右両眼において行うことに
よりそれぞれの眼のウインドウが設定される。

【００８８】このようにウインドウ設定に関しては、顔
の幅方向端で左右別個にウインドウの横の範囲を決定す
る事としたため、顔の向きにより赤外線ストロボの照射
画像に影が発生する場合でもその影響が排除される。

【００８９】また、ウインドウの縦方向の範囲の設定に
於いても、例えば僅か２点の黒領域を僅か２０回の縦方
向の走査をするだけで設定できるため、横方向範囲設定
と同様に影や少しの画像の変化でも正確なウインドウの
設定を高速に行うことが可能となった。

【００９０】さらに、あらゆる顔画像に対しても、最大
でも眉から下の画像の変化のほとんど無い部分で検索を
行うため、帽子を被っている場合、眼鏡を装着している
場合に於いても、眼球存在領域の特定が正確にでき居眠
り、わき見の検出が可能となった。

【００９１】そして、図３のフローチャートのステップ
Ｓ１２で、２値化した画像Ｊ（Ｘ，Ｙ）から上記で設定
されたウインドウ内に対する虹彩部分を検出する処理が
行われる。虹彩は、一般に暗い円形領域として観測され
るから、この円形領域を検出してその領域面積を認識す
れば、運転者の居眠りの有無等が判定できる。

【００９２】図１６は、虹彩の検出原理を示す説明図で
ある。

【００９３】今、ウインドウ内の任意の点（ｘ，ｙ）を
中心とする半径Ｒの円を設定するとともに、点（ｘ，
ｙ）を中心として放射状に４つの矩形を設定する。この
矩形は、円の内外方にそれぞれＰ画素だけ延在するよう
に設定される。そして、円より外方の矩形白抜き部の明
度値の総和と、円より内方の矩形ハッチング部の明度値
の総和との差δを求める。

【００９４】これを上記任意の点（ｘ，ｙ）においてＲ
ｍｉｎ〜Ｒｍａｘまで行い、差δの最大値を△としてこ
れを求める。つぎに、点（ｘ，ｙ）を中心として同様な
演算を行い、差δの最大値が上記最大値△より大きけれ
ば、今回演算されたδの最大値を最大値として記憶す
る。このような演算をウインドウ内の全画素点を中心と
して行い最大値△を出力する。

【００９５】これは、ウインドウ内に虹彩が存在すると
き、虹彩は他の領域に比べて輝度が低い円形図形として
検出され、虹彩を中心に求められる上記差δが最大とな
るという原理に基づいている。

【００９６】図１７は以上の処理のフローチャートを示
すものである。

【００９７】まず、ステップＳ９０１で、ウインドウ内
を走査するカウンターｘ，ｙをＬにリセットする。な
お、ここで設定されたウインドウの大きさは、ｘ方向Ｍ
ドット、ｙ方向Ｎドットとする。つぎに、ステップＳ９
０２で、虹彩検出の中心座標の点Ｊ（ｘ，ｙ）が黒いか
否かが判別され、黒い場合はステップＳ９０３へ移行
し、検出半径ＲをＲｍｉｎとする。つづいて、ステップ
Ｓ９０４およびＳ９０５において、△およびｐをリセッ
トする。

【００９８】つぎに、ステップＳ９０６乃至Ｓ９０８
で、具体的に白い部分に囲まれた黒い円形領域として検
出する。すなわち、ステップＳ９０６において式の前半
の４項Ｊ（ｘ＋Ｒ＋ｐ，ｙ），Ｊ（ｘ，ｙ−Ｒ−ｐ），
Ｊ（ｘ−Ｒ−ｐ，ｙ），Ｊ（ｘ，ｙ＋Ｒ＋ｐ）はそれぞ
れ座標中心（ｘ，ｙ）から半径Ｒ＋ｐ離れた右、下、
左、上の位置の明度を表わし、式の後半の４項Ｊ（ｘ＋
Ｒ−ｐ−１，ｙ），Ｊ（ｘ，ｙ−Ｒ＋ｐ＋１），Ｊ（ｘ
−Ｒ＋ｐ＋１，ｙ），Ｊ（ｘ，ｙ＋Ｒ−ｐ−１）はそれ
ぞれ中心座標（ｘ，ｙ）から半径Ｒ−（ｐ＋１）離れた
右、下、左、上の位置の明度を表わしている。そして、
ステップＳ９０７でｐを１ずつ増加させｐ−１まで変化
させてステップＳ９０６乃至ステップＳ９０８を繰返し
実行し、半径Ｒｍｉｎにおける図１６の矩形白抜き部の
明度値総和（ステップＳ９０６の式の前半４項の和）と
矩形ハッチング部の明度値総和（ステップＳ６の式の後
半４項の和）の差δが最大値△として求められる（ステ
ップＳ９１０）。つぎに、ステップＳ９１１で半径Ｒｍ
ｉｎ＋１として再度ステップＳ９０５へ移行し、ステッ
プＳ９０６乃至ステップＳ９０８を繰返し実行すること
により半径Ｒｍｉｎ＋１としたときの矩形領域の明度差
δを求める。この明度差δが第１回目の半径Ｒｍｉｎに
ついて演算された△よりも大きければ、その明度差δを
最大値△とする。このような操作を半径Ｒｍａｘまで繰
返して行い、任意の点（ｘ，ｙ）について最大明度差△
が求まる（ステップＳ９１２）。これは、検出する虹彩
の半径は、個人あるいはカメラと乗員の距離によって異
なるため、検出半径にあるゾーン（Ｒｍｉｎ〜Ｒｍａ
ｘ）を設けるためである。

【００９９】以下、この処理をｘ＝１〜Ｍまで、ｙ＝１
〜Ｎまでウインドウ全体に亘って行う。このような処理
によって求まる△ｍａｘは、虹彩の中心について演算さ
れた明度差である。そして、開眼時と閉眼時とではこの
明度差△は大きく異なるため、この最大明度差△を用い
て開眼か閉眼かの判別が容易になる。

【０１００】このようにして虹彩を検出することにした
ため、運転者の開眼、閉眼状態を確実且つ迅速にモニタ
リングすることも可能となった。これにより、運転者の
居眠り、わき見の検出を行うこどができるという効果が
得られる。

【０１０１】つぎに、前記図３のフローチャートのステ
ップＳ１３における、居眠りわき見の判定において、開
眼または閉眼の判別は、ステップＳ１２で算出されたウ
インドウ内での最大明度差△をしきい値処理し、明度差
△≧Ｔｈ（しきい値）のときは開眼、明度差△≦Ｔｈの
ときは閉眼であると判断する。

【０１０２】まばたきした場合にも上記の虹彩検出処理
で閉眼と判断されることがあるから、１回の虹彩検出処
理で運転者が居眠りをしていると判断すると誤判断する
ことがあるため、同一の虹彩検出処理を複数回繰返し実
行し、ある所定回数以上連続して閉眼が認識されたとき
に居眠りしていると判定する。

【０１０３】例えば、図１８に示すように、黒点で示す
時間間隔ごとに画像が入力され、そして虹彩検出処理の
結果、閉眼と判断される回数が３回連続したときは運転
者が居眠りしていると判定する。

【０１０４】また、片目のみが閉眼と判断した場合は、
実際には閉眼でなく、わき見をしているために原画面か
ら片目が外れているものと考えられる。従って居眠り判
断と同様に３回連続して片目が閉眼していると判断され
たときには、わき見と判定する。

【０１０５】

【発明の効果】以上の説明で明らかなように、本発明に
関わる運転者の眼位置検出装置は、輪郭線の安定部分の
検出等の輪郭線の連続性を検索している部分からノイズ
を除くこととなり、外光が片側から当ったり横を向いた
顔画像において鼻穴の高さ付近で輪郭線が消失しても、
運転者の眼球を含む領域の横方向の範囲を正確に決定す
ることが可能となった。

【０１０６】また顔の左右端を検出した後、入力画像の
眼球を検索する領域の濃淡情報のみを利用し、しきい値
を算出する構成としたため、外光条件により顔面左右の
照度が不均一であっても、各々の眼球に関して検出に適
正なしきい値を設定することが可能となり、より正確に
眼球存在領域を特定することが可能となった。

【図面の簡単な説明】

【図１】この発明の構成図である。

【図２】本発明の一実施例に係る構成図である。

【図３】図２の構成に基づくフローチャートである。

【図４】第一２値化画像の説明図である。

【図５】第一２値化画像におけるラベリングの説明図で
ある。

【図６】第二２値化画像の説明図である。

【図７】ウインドウの横方向の位置を決定するフローチ
ャートである。

【図８】ウインドウの横方向の位置を決定するフローチ
ャートである。

【図９】図７の処理の一部を詳細に説明するフローチャ
ートである。

【図１０】ウインドウの縦方向の範囲設定処理のフロー
チャートである。

【図１１】ウインドウの縦方向の範囲設定処理のフロー
チャートである。

【図１２】ウインドウの縦方向の範囲設定処理のフロー
チャートである。

【図１３】第二２値化画像における左右端点検出の説明
図である。

【図１４】第三２値化画像における縦領域検出の説明図
である。

【図１５】第三２値化画像における縦領域検出の説明図
である。

【図１６】虹彩検出処理の原理説明図である。

【図１７】虹彩検出処理のフローチャートである。

【図１８】居眠り判断のための説明図である。

【符号の説明】

ＣＬ１画像入力手段ＣＬ２第一２値化手段ＣＬ３連結成分領域抽出手段ＣＬ４面積測定手段ＣＬ５第二２値化手段ＣＬ６左右端点特定手段ＣＬ７しきい値設定手段ＣＬ８第三２値化手段ＣＬ９眼の縦領域決定手段

Claims

(57)【特許請求の範囲】

【請求項１】眼を含む顔画像を入力する画像入力手段
と、前記画像入力手段から送出される入力画像を２値化
して第一２値化画像を生成する手段と、前記第一２値化
画像において黒色画素から成る連結成分領域を抽出する
手段と、前記連結成分領域の面積を測定する手段と、前
記連結成分領域の面積が所定値以下の領域は黒色画素を
白色画素に変換して第二２値化画像を生成する手段と、
前記第二２値化画像から顔画像の輪郭線を判別すること
により顔面の左右端点を特定する手段と、前記特定した
顔面の左右端点の内側の領域の濃淡情報より眼を黒色画
素とするためのしきい値を設定する手段と、前記入力画
像を該しきい値により２値化して第三２値化画像を生成
する手段と、前記第三２値化画像において前記特定した
顔面の左右端の幅の内側を下側より縦方向上側へ走査し
黒色画素の配置状況により眼の存在領域の縦方向の位置
を決定する手段とからなることを特徴とする運転者の眼
位置検出装置。