JPH04174309A

JPH04174309A - 運転車の眼位置検出装置及び状態検出装置

Info

Publication number: JPH04174309A
Application number: JP2299947A
Authority: JP
Inventors: Yasushi Ueno; 裕史上野; Kazuhiko Yoshida; 和彦吉田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-11-07
Filing date: 1990-11-07
Publication date: 1992-06-22
Anticipated expiration: 2013-12-14
Also published as: JP2836238B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、運転者の眼の位置を検出する眼位置検出装置
及び状態検出装置に関する。

（従来の技術）従来の運転者の眼位置検出装置としては、例えば特開昭
６２−２４７４１０号公報に開示された電気装置の付勢
制御装置に用いられたものがある。すなわち、この電気
装置の付勢制御装置は車両運転者の眼の状態変化や口の
発生形状を認識することにより、例えばブザー、メータ
、自動ドア、リレー、モニタテレビ、電気制御機械装置
等のオン、オフ等を行うものとして提案されている。

そしてこの装置に用いられた眼位置検出装置は、眼位置
を検出するために眼の存在領域を特定している。そして
、この特定は運転者の顔幅が額幅で代表できるものとし
て額幅を検出し、この額幅に基づいて行っている。この
ため、まず頭髪の上端、左右端を黒画素の連続数で検出
し、次いで頭髪の上端よりも下方で、且つ頭髪の左右端
の範囲内で頭部を左右端の一方から横方向に走査し、黒
画素で囲まれた白画素の連続で額幅を検出するものとし
ている。

（発明が解決しようとする課題）ところで、この従来の装置は運転者の背景か白く、黒画
素で囲まれた白画素の連続は額のみであることを前提に
して検出を行っている。しかし、車内画像として運転者
の顔部の背景は、夜間はもちろん、昼間でもヘッドレス
トであったりリヤウィンドウ等から見られる車外の建造
物だったりして、必ずしも白ではない。このため、額幅
を検出する前提として頭髪の上端、左右端を検出しよう
としても検出できず、左右端から横方向へ走査しても正
確な検出ができなくなる恐れがあった。また、運転者の
顔は様々で髪型の相違などのため必ずしも額が顔幅を代
表していないこと、外光の状況により顔の片側が影にな
っている場合等に黒画素で狭まれた白画素の連続という
条件では、必ずしも顔の額幅が検出できるとは限らない
こと等の問題がある。

本発明は上記の点に鑑みなされたもので、より適格に検
出できる運転者の眼位置検出装置及び状態検出装置を提
供することを目的とする。

［発明の構成コ（課題を解決するための手段）上記課題を解決するために本発明は、第１図（ａ）に示
すように、眼を含む顔画像を入力する画像入力手段ＣＬ
１と、前記画像入力手段ＣＬ１から送出される入力画像
を２値化する２値化手段ＣＬ２と、前記２値化画像にお
いて画像の中央部から少なくとも左右一方に走査し連続
する白色画素数を計数する白色画素数計数手段ＣＬ３と
、前記白色画素数が最大となる部分の端点を顔面の端と
特定する顔面の端特定手段ＣＬ４と、前記顔面の端特定
手段ＣＬ４により特定された顔幅から眼の存在領域の横
方向の位置を決定する眼球の左右領域決定手段ＣＬ５と
、決定された眼の横方向の存在領域で縦方向の下から黒
領域を検出する黒領域検出手段ＣＬ６と、検出された黒
領域を基準にして眼の存在領域の縦方向の位置を決定す
る縦領域決定手段ＣＬ７とから、成る構成とした。

また、′Ｗ４１図（ｂ）のように、眼を含む顔画像を入
力する画像入力手段ＣＬ１と、前記画像入力手段ＣＬ１
から送出される入力画像を２値化する２値化手段ＣＬ２
と、前記２値化画像において画像の中央部から少なくと
も左右一方に走査し連続する白色画素数を計数する白色
画素数計数手段ＣＬ３と、前記白色画素数が最大となる
部分の端点を顔面の端と特定する顔面の端特定手段ＣＬ
４と、前記顔面の端特定手段ＣＬ４により特定された顔
幅から眼の存在領域の横方向の位置を決定する眼球の左
右領域決定手段ＣＬ５と、決定された眼の横方向の存在
領域で縦方向の下から黒領域を検出する黒領域検出手段
ＣＬ６と、検出された黒領域を基準にして眼の存在領域
の縦方向の位置を決定する縦領域決定手段ＣＬ７と、決
定された眼の存在領域から虹彩部分を検出する虹彩検出
手段ＣＬ８と、虹彩検出手段による検出結果から運転者
の状態を判定する判定手段ＣＬ９とを備える構成とした
。

（作用）上記構成によれば、２値化画像において画像の中央部か
ら少なくとも左右一方に走査し、連続する白色画素数を
計数し、この白色画素数が最大となる部分の端点を顔面
の端と特定する。この顔面の端から眼の存在領域の横方
向位置が決定され、黒領域検出手段ＣＬ６により前記横
方向の存在領域で縦方向の下から黒領域を検出する。検
出された黒領域を基準にして、縦領域決定手段ＣＬ７が
眼の存在領域の縦方向の幅を設定する。

また、決定された眼の存在領域から虹彩検出手段ＣＬ８
が虹彩部分を検出し、その結果から判定手段ＣＬ９が運
転者の居眠り等の状態を判定する。

（実施例）以下、本発明を図面に基づいて説明する。

第２図は本発明の一実施例に係る眼の位置検出装置の構
成図、第３図は第２図の構成に基づくフローチャートを
示すものである。

第２図に示すように、この眼位置検出装置、及び状態検
出装置は自動車に適用したもので、インストルメントパ
ネル（図示せず）内の運転者に対する正面方向に、運転
者の顔部分を照射する赤外ストロボ１と、この赤外スト
ロボ１の赤外光で照射される顔部分を撮影する画像入力
手段ＣＬＩとしてのＴＶ左カメラと、前記赤外ストロボ
１の発光とＴＶ左カメラの画像入力とのタイミグを合せ
るタイミング指令回路５とを備えている。そして、赤外
ストロボ１にタイミング指令回路５からストロボ発光指
令が出力されると、赤外ストロボ１が発光して運転者の
顔部分を照射し、これと同時にＴＶ左カメラに対し画像
入力指令が出力され、赤外光で照射された顔部分を撮影
するようになっている。

ＴＶ左カメラの入力画像は本実施例では第４図に示すよ
うに、横（Ｘ）方向５２０画素、縦（Ｙ）方向５００画
素からなり、縦方向に顔部分がほぼいっばいになるよう
に画角が調整されている。

ＴＶ左カメラには、撮影した入力画像をデジタル量に変
換するＡ／Ｄ変換器７を介して画像メモリ９が接続され
ている。この画像メモリ９はＴＶ左カメラの入力画像デ
ータを入力するものである。

画像メモリ９には、該画像メモリ９に格納された入力画
像データに基づいて眼球の存在位置領域を規定する眼球
存在位置規定回路１１が接続され、さらに、眼球存在位
置規定回路１１で規定された領域内にある画像メモリ９
の画像データを処理して眼の虹彩部分を検出する虹彩検
出手段ＣＬ８としての虹彩検出回路１３が接続されてい
る。

また、虹彩検出回路１３には、該虹彩検出回路１３での
虹彩検出結果から運転者の居眠りやわき見の有無等の状
態を判定する判定手段ＣＬ９としての居眠りわき見判定
回路１５が接続されている。

前記眼球存在位置規定回路１１は、入力画像をあるしき
い値で２値化する２値化手段ＣＬ２と、２値化画像にお
いて画像の中央部から少なくとも左右一方に走査し、連
続する白色画素数を計数する白色画素数計数手段ＣＬ３
と、前記白色画素数が最大となる部分の端点を顔面の端
と特定する顔面の端特定手段ＣＬ４と、前記顔面の端特
定手段ＣＬ４により特定された顔の幅から左右の眼の存
在領域の横方向の位置を決定する眼球の左右領域決定手
段ＣＬ５と、決定された眼の横方向の存在領域で縦方向
の下から黒領域を検出する黒領域検出手段ＣＬ６と、検
出された黒領域を基準にして、眼の存在領域の縦方向の
位置を決定する眼球の縦領域決定手段ＣＬ７とを構成す
るものである。

つぎに、第３図のフローチャートに基づいて全体の作用
を説明する。

まず、ステップＳ１で赤外線ストロボ１の発光と同期し
てＴＶ左カメラによって運転者の顔部分を撮影し、この
画像をＡ／Ｄ変換回路７でデジタル信号に変換して画像
メモリ９に格納する（ステップＳ２）。

つぎにステップＳ３で画像メモリ９に格納された入力画
像データを眼球存在位置規定回路１１に取り込み、ある
しきい値で２値化する。これは、顔部分の明暗をはっき
りさせるためであり、２値化しきい値は眼球を抽出てき
るレベルに設定されている。

すなわち、ビデオ信号を２５６階調（０〜２５５）のデ
ジタルデータに変換し、白い部分を“２５５”、黒い部
分を“０′とし、あるスレッシュホールドレベルで２値
化して２値化画像Ｊ　（ｘ。

ｙ）を得たものである。前記ストレッシュホールドレベ
ルは、ストロボ照射されている運転者の顔面は白とし、
その背景、すなわち、ヘッドレストやリヤウィンドウ等
から見える外形は黒とする程度のものであり、以下、２
値化画像Ｊにおいて顔面以外は黒になっているものとし
て説明する。但し、後述するように、背景が白であって
も処理できるものである。

つぎに、ステップＳ４およびステップＳ６において左右
それぞれの眼球の存在領域（ウィンドウ、第４図の点線
で示す四角部分）の横方向（Ｘ方向）の幅を決定し、さ
らにステップＳ５およびステップＳ７において、左右そ
れぞれの眼球のウィンドウの縦方向（Ｙ方向）の幅を決
定する。この処理の詳細は第５図および第６図に示すフ
ローチャートにより後述する。

つぎに、左右それぞれの眼球のウィンドウが決定される
と、ステップＳ８で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップＳ９で虹彩中心から
乗員の居眠りわき見判定が行われる。

第５図は、第３図のステップＳ４およびステ、ツブＳ６
の詳細フローチャートを示すもので、左右各々の眼球の
存在領域のＸ方向（横方向）の位置を決定するものであ
る。

まず、ステップ５１００で縦方向の走査Ｙ座標を４０す
る。このＹ−４０はこの範囲内に顔面の最大幅は存在し
ないことを前提に、処理を早めたものである。ステップ
５１０１で横方向の検索走査開始ラインＸ座標値２５０
を左検索Ｘ座標ＸＬと右検索Ｘ座標ＸＲにセットする。

このＸ座標値は、第７図に示すように車両運転者がカメ
ラの画角以内に存在すれば、確実に顔面部の中に存在す
るラインを指定している。

次に、ステップ５１０２で右側走査終了フラグＯＫＲが
セットされているか否か調べ、セットされていればステ
ップ５１１０以降の顔面左側検索を行う。

ＯＫＲがセットされていない場合は、ステップ５１０３
で画素Ｊ　（ＸＲ，Ｙ）が白か否か調べ白の場合は、ス
テップ５１０４で右側白画素連続カウンタＷＸＣＲを、
ステップ５１０５で検索Ｘ座標ＸＲをカウントアツプす
る。

ステップ８１０３において画素Ｊ　（ＸＲ，Ｙ）が白で
ない場合は、ステップ８１０６でＯＫＲをセットした後
ステップ５１０７で、今まで記憶していた右側端点の最
大値ＸＲＭと今回の端点ＸＲを比較し、ＸＲの方が大き
い場合（より右側にある場合）はステップ５１０８にお
いてＸＲを新たな右端点ＸＲＭとする。

次にステップ８１１０〜５１１６で上記と同じ処理を左
側について行う。右側の検索と相異するのは、ステップ
５１１３で検索Ｘ座標ＸＬをカウントダウンすることと
、ステップ５１１５．５１１６で記憶していた左側端点
のＸＬＭと今回の端点ＸＬの小さい方（より左側にある
方）ＸＬを左端点ＸＬＭとすることである。

一つの走査ラインで左右端を検出し、ステップ５１２０
で走査終了フラグＯＫＬ、ＯＫＲの両方がセットされた
と判断された場合は、ステップ５１２１でこのフラグを
クリア（−０）Ｌ、ステップ５１２２で検索ラインＹを
増加し、この処理を予め設定したＹ方向の検索範囲（Ｙ
−５００）が終了するまで続ける（ステップ３１２３）
。

以上のようにして顔の左右端が検出されると、これらの
点から次式に従ってウィンドウの横方向の位置を決定で
きる。

Ｘ軸センターＸｃ −ＸＬＭ＋（（ＸＲＭ−ＸＬＭ）／２）左眼ウィンドウ
の左側Ｘ座標−Ｘ１踵ＸＬＭ左眼ウィンドウの右側Ｘ座標−ｘ２Ｘｃ−２５右眼ウィンドウの左側Ｘ座１ｌ−ｘｘｔ−Ｘｃ＋２５右眼ウィンドウの右側Ｘ座標−ＸＸ２ＸＲＭこのように、２値化画像において画像の中央、すなわち
、顔の略中央から左右へ走査して白色画素の連続により
顔の左右端を検出するので、背景が白でなくても必ず顔
面をとらえて適格な検出を行なうことができる。また、
髪型や眼鏡装置等の影響を受けずに頬部などで顔の左右
端を検出することが可能となった。さらに、顔面の左右
端を各々独立に検出する構成としたため、顔面の片側の
端が外光の影響で検出てきなくても、反対側の端は検出
することが可能となっている。

但し、顔面の端の検出は、左右いずれか一方にする構成
とすることもてきる。また、顔面の背景が白である場合
は、走査が顔の端を通過しても白色画素が検出され、白
色画素の連続数が２５０前後になることもあるが、この
場合は正規の頭端点の検出ではない（エラー）と判断す
る構成にすれば、もみ上げ位置等で頭端点を検出するこ
とができる。

第６図はステップＳ５およびステップｓ７の詳細フロー
チャートを示すものである。この処理はウィンドウのＸ
方向の座標を検出するもので、左右それぞれの眼におい
て行われる。

また、この処理は大きく分けて黒領域２点の検索部分と
、眼鏡の有無検索部分との二つに分かれる。

黒領域２点の検索部分ては、左眼に関して第８図に示す
ように、左眼ウィンドウの右側Ｘ座標Ｘ２から１０ドツ
ト左側、すなわちＸ２−１０を始点としくこれは鼻の穴
の黒い部分の検出を避けるためである。）、この位置か
ら横方向（Ｘ方向）にＸ２−９０までを範囲とし、検索
開始のＹ座標ＹＬから０の範囲で縦方向上方（Ｘ方向）
へ検索し、これを横方向４ドツトの間隔毎に行っていく
。

Ｙ座標ＹＬは左右端点ＸＬＭ、ＸＲＭを決定した走査ラ
インの下方に設定するものである。

また、右眼に関しては右眼ウィンドウ左側Ｘ座標ＸＸ１
から１０ドツト右側、すなわちＸＸＩ　＋１０を始点と
し、この位置から横方向（Ｘ方向）にＸＸ＋　＋９０ま
でを範囲とし、Ｙ座標ＹＬから０の範囲で縦方向上方（
Ｘ方向）へ検索し、これを横方向４ドツトの間隔毎に行
っていく。

眼鏡の有無検出部では、左眼に関して第９図に示すよう
に、左眼ウィンドウの右側Ｘ座ＩＩ　Ｘ　２から左眼ウ
ィンドウの左側Ｘ座標ｘ１への横方向（Ｘ方向）の範囲
で、また、右眼に関しては右眼ウィンドウの左側Ｘ座標
ＸＸ１から左眼ウィンドウの右側Ｘ座標ＸＸ２への横方
向（Ｘ方向）の範囲で後述するように検索する。

以下、第６図（ａ）に基づき左目ウィンドウのＸ方向の
幅を決定する処理について説明する。

まず、ステップ５３０１において、一番目と二番目の黒
領域のＹ座標の最大値（最下点）のメモリ変数ＢＹＩＭ
ＡＸおよびＢＹ２ＭＡＸがクリアされ、Ｘ方向の検出範
囲規定カウンタＸＣＨＥＣＫがＸ２−１０に、また、Ｘ
方向の検索範囲規定カウンタＹＣＨＥＣＫがＹＬに初期
化される。

つぎに、ステップ５３０２でＸ方向の検索範囲規定カウ
ンタＸＣＨＥＣＫがＸ２−９０以下が否かが判別される
。この判別はＸ方向へすべて検索したか否かを判別する
ものである。このときは、未だ、Ｘ方向全ての検索を終
了していないからステップ８３０３へ移行し、一番目の
黒領域を検出したフラグＦＬＩ、黒色画素連続カウンタ
ＢＬＡＣＫ、白色画素連続カウンタＷＲＩＴＥ、一番目
の黒領域と二番目の黒領域との間隔が１０ドツト以上あ
るフラグＷＨＩＴＥＦＬおよび一番目の黒領域と二番目
の黒領域のそれぞれの最大値記憶バッファＢＹＩおよび
ＢＹ２がクリアされる。

つぎに、ステップ５３０４で検索画素が黒か否かが判別
され、黒の場合は白色画素連続カウンタＷＲＩＴＥをク
リアしくステップ５３０５）、黒色画素連続カウンタＢ
ＬＡＣＫをカウントアツプする（ステップ５３０６）。

そして、ステップ５３０７で黒色画素連続カウンタＢＬ
ＡＣＫの黒画素が１か否かが判別される。これは黒画素
の検出が初めてか否かを判断するものである。黒画素が
１の場合は黒領域の最下点Ｙ座標候補としてＸ方向の検
索範囲規定カウンタＹＣＨＥＣＫでカウントされた現Ｙ
座標を５ＥＴＹに記憶する。例えば第８図で“１”とし
であるＹ座標を記憶する。つぎに、ステップ５３０９で
黒画素連続カウンタＢＬＡＣＫの黒画素が２以上か否か
が判別され、黒画素が２以上の場合は一番目の黒領域を
検出したフラグＦＬＩがセットされているか否がが判別
される（ステップ５３１０）。フラグＦＬＩがセットさ
れていない場合は、ステップ５３１１へ移行し、一番目
の黒領域の最大値記憶バッファＢＹＩに５ＥＴＹの値を
代入して保管し、フラグＦＬ１をセットする。そして、
ステップ５３２８でＹ座標ＹＣをカウントダウンし、一
つ上の画素の検索に移る。

ステップ５３１０でフラグＦＬ１がセットされている場
合はステップ５３１２へ移行し、一番目の黒領域と二番
目の黒領域の間隔が１０ドツト以上あるフラグＷＨＩＴ
ＥＦＬがセットされているか否かが判別される。そして
、フラグＷＨＩＴＥＦＬがセットされている場合は二番
目の黒領域を検出したことになるのでステップ８３１３
で二番目の黒領域の最大値記憶バッファＢＹ２に５ＥＴ
Ｙの値を代入して保管する。例えば、第８図で“２°と
示しであるＹ座標を保管する。またステップ５３１２で
フラグＷＨＩＴＥＦＬがセットされていない場合は、一
番目の黒領域と二番目の黒領域の間隔が狭く両者の差が
明確でないのでステップ５３１４へ移行し、黒画素の連
続数が５０ドツトを越えるか否かが判別される。黒画素
の連続数が５０ドツトを越えている場合は頭髪を検出し
たことになるためステップ５３１５へ移行してバッファ
ＢＹ２をクリアし、また、５０ドツトを越えていない場
合はステップ５３２８へ移行しＹ座標ＹＣを一つ上の画
素の検索に移る。

前記ステップ５３０４で検索画素が白の場合にはステッ
プ５３１６へ移行して黒色画素連続カウンタＢＬＡＣＫ
をクリアし、ステップ５３１７で一番目の黒領域を検出
したフラグＦＬ１がセットされているか否かが判別され
る。そして、フラグＦＬＩがセットされていない場合は
、未だ黒領域が一つも検出されていないためステップ５
３２８へ移行しＹ座標ＹＣをカウントダウンし、一つ上
の画素の検索に移る。フラグＦＬＩがセットされている
場合にはステップ５３１８へ移行し、白色画素連続カウ
ンタＷＲＩＴＥをカウントアツプする。そして、ステッ
プ５３１９で白画素が１０ドツト以上連続したか否かが
判別され、１０ドツト以上連続した場合は眼と眉の間が
、眼鏡フレームと眼の間を検出したものとしてステップ
５３１９へ移行し、一番目の黒領域と二番目の黒領域の
間隔が１０ドツト以上あるフラグＷＨＩＴＥＦＬをセッ
トする。また、白画素が１０ドツト以上連続していない
場合はステップ５３２８へ移行しＹ座標ＹＣをカウント
ダウンし、一つ上の画素の検索に移る。

つぎに、ステップ５３２１で白画素が８０ドツト以上連
続したか否かが判別され、８０ドツト以上連続した場合
は眉毛を検出せず顔を検出したことになるからステップ
５３２２へ移行し、二番目の黒領域の最大値記憶バッフ
ァＢＹ２をクリアする。また、白画素８０ドツト以上連
続していない場合はステップ５３２８へ移行し、Ｙ座標
Ｙｃをカウントダウンし、一つ上の画素の検索に移る。

つぎに、一番目と二番目の黒領域の候補点としてのそれ
ぞれのバッファＢＹＩおよびＢＹ２が決定されると、ス
テップ３３２３において、候補点としてのバッファＢＹ
Ｉの値を今までに記憶された一番目の黒領域値の最大値
（最下点）ＢＹＩＭＡＸと比較し、より大きい方をＢＹ
ＩＭＡＸとして記憶する（ステップＳ　３２４）。例え
ば、第９図において中央部の１のＹ座標がＢＹＩＭＡＸ
として記憶される。続いて、ステップ５３２５において
、候補点としてのバッファＢＹ２の値を今マでに記憶さ
れた二番目の黒領域の最大値（最下点）ＢＹ２ＭＡＸと
比較し、より大きい方をＢＹ２ＭＡＸとして記憶する。

例えば、第８図において、右側の２のＹ座標がＢＹ２Ｍ
ＡＸとして記憶される。　このようにして、一番目の黒
領域の最下点ＢＹＩＭＡＸと二番目の黒領域の最下点Ｂ
Ｙ２ＭＡＸが決定される。

つぎに、眼鏡の有無の検索を行う。まず、第６図（ｂ）
のステップ５３２９において、二番目の黒領域の最大値
記憶バッファＢＹ２が検出されているか否かを判別し、
このＢＹ２の値からステップ５３３０．８３３１で眼鏡
検出のＹ座標ＢＹＥを求める。すなわち、二番目の黒領
域の最大値記憶バッファＢＹ２がなく、一番目の黒領域
の最大値記憶バッファＢＹＩのみの場合は、ＢＹＨ−Ｂ
Ｙ１＋１０としくステップ５３３０）、二番目の黒領域
の最大値記憶バッファＢＹ２がある場合は、ＢｙＨ−（
ＢＹ１＋ＢＹ２）／２とする（ステップ５３３１）。

なお、ステップ５３３１でＢＹＨをＢＹＩとＢＹ２との
中間点としているが、これはＢＹＩとＢＹ２の間の点で
あればよいものである。

つぎに、ステップ８３３２で、黒画素の数をカウントす
る黒色画素カウンタＢＬＡＣＫＸをクリアし、画素座標
ＸＣ，ＹＣｉ、：初期値Ｘ　Ｃ−Ｘ２（ＸＣ−ＸＸ、）
　、ＹＣ−ＢＹＨを設定する（ステップ８３３３．５３
３４）。ステップ８３３５で画素Ｊが黒か否かが検索さ
れ、黒の場合はＸ方向へ黒色画素カウンタＢＬＡＣＫＸ
を左眼のときはｘｃ−ｘ２からカウントアツプし、右眼
のときはｘｃ−ｘｘ、がらカウントダウンする（ステッ
プ８３３６．８３３７）。ステップ５３３８てＸ方向へ
、左眼ではＸＸ、を越えるまで、右眼ではＸ２を下回る
まで検索したか否かが判別され、ＸＸ１を越え又はＸ２
を下回るまで検索が終了するとステップ８３３９へ移行
し、黒色画素カウンタＢＬＡＣＫＸの値が３以上か否か
が判別される。

黒色画素カウンタＢＬＡＣＫＸの値が３未満の場合は眼
鏡中央部のフレームを検出したと判別してステップ５３
４０へ移行し、眼鏡無しカウンタＭＥＧＯＦＦをカウン
トアツプする。

以上の処理を左眼の検索範囲内で行い、ステップ５３４
１で眼鏡無しカウンタＭＥＧＯＦＦの値が５を越えるか
否かが判別される。

眼鏡無しカウンタＭＥＧＯＦＦの値が５より大きい場合
は眼鏡をかけていないものと判断してステップ５３４２
へ移行し、一番目に検出した黒領域のＹ座標の最下点Ｂ
ＹＩＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向）
の幅を規定するＹ座標ＹＴＳＹＢを、ＹＴ−ＢＹＩＭＡ
Ｘ−４０、ＹＢ−ＢＹＩＭＡＸ＋１０に設定する。また
、眼鏡無しカウンタＭＥＧＯＦＦの値が５より小さい場
合は眼鏡をかけているものと判断してステップ５３４３
へ移行し、二番目に検出した黒領域のＹ座標の最下点Ｂ
Ｙ２ＭＡＸを基準にしてウィンドウの縦方向（Ｙ方向）
の幅を規定するＹ座標ＹＴ、ＹＢを、ＹＴ−ＢＹ２ＭＡ
Ｘ−４０、ＹＢ−ＢＹ２ＭＡＸ＋１０に設定する。

以上の処理を左右両眼において行うことによりそれぞれ
の眼のウィンドウが設定される。

このようにウィンドウ設定に関しては、顔の最大端点で
左右別個にウィンドウの横の範囲を決定する事としたた
め、顔の向きにより赤外線ストロボの照射画像に影が発
生する場合でもその影響が排除される。

また、ウィンドウの縦方向の範囲の設定に於いても、例
えば僅か２点の黒領域を僅か２０回の縦方向の走査をす
るだけで設定できるため、横方向範囲設定と同様に影や
少しの画像の変化でも正確なウィンドウの設定を高速に
行うことが可能となった。

さらに、あらゆる顔画像に対しても、最大でも眉から下
の画像の変化のほとんど無い部分で検索を行うため、帽
子を被っている場合、眼鏡を装着している場合に於いて
も、眼球存在領域の特定が正確にでき居眠り、わき見の
検出が可能となった。

そして、第３図のフローチャートのステップＳ８で、２
値化した画像Ｊ　（Ｘ、Ｙ）から上記で設定されたウィ
ンドウ内に対する虹彩部分を検出する処理が行われる。

虹彩は、一般に暗い円形領域として観測されるから、こ
の円形領域を検出してその領域面積を認識すれば、運転
者の居眠りの有無等が判定できる。

第１０図は、虹彩の検出原理を示す説明図である。

今、ウィンドウ内の任意の点（ｘ、ｙ）を中心とする半
径Ｒの円を設定するとともに、点（ｘ。

ｙ）を中心として放射状に４つの矩形を設定する。

この矩形は、円の内外方にそれぞれ２画素だけ延在する
ように設定される。そして、円より外方の矩形白抜き部
の明度値の総和と、円より内方の矩形ハツチング部の明
度値の総和との差δを求める。

これを上記任意の点（ｘ、ｙ）においてＲｍｉｎ−Ｒｍ
ａｘまで行い、差δの最大値を△としてこれを求める。

つぎに、点（ｘ、ｙ）を中心として同様な演算を行い、
差δの最大値が上記最大値△より大きければ、今回演算
されたδの最大値を最大値として記憶する。このような
演算をウィンドウ内の全画素点を中心として行い最大値
△を出力する。

これは、ウィンドウ内に虹彩が存在するとき、虹彩は他
の領域に比べて輝度が低い円形図形として検出され、虹
彩を中心に求められる上記差δが最大となるという原理
に基づいている。

第１１図は以上の処理のフローチャートを示すものであ
る。

まず、ステップ５９０１で、ウィンドウ内を走査するカ
ウンターｘ、ｙをＬにリセットする。なお、ここで設定
されたウィンドウの大きさは、Ｘ方向Ｍドツト、ｙ方向
Ｎドツトとする。つぎに、ステップ５９０２で、虹彩検
出の中心座標の点Ｊ（ｘ、ｙ）が黒いか否かが判別され
、黒い場合はステップ８９０３へ移行し、検出半径Ｒを
Ｒｍｉｎとする。つづいて、ステップ５９０４および５
９０５において、△およびｐをリセットする。

つぎに、ステップ５９０６乃至５９０８て、具体的に白
い部分に囲まれた黒い円形領域として検出する。すなわ
ち、ステップ５９０６において式の前半の４項Ｊ　（ｘ
＋Ｒ十ｐ、ｙ）、Ｊ　（ｘ、ｙ−Ｒ−ｐ）　、　　Ｊ　
（ｘ−Ｒ−ｐ、　　ｙ）　、　　Ｊ　（ｘ、　　ｙ十Ｒ
十ｐ）はそれぞれ座標中心（ｘ、ｙ）から半径Ｒ＋ｐ離
れた右、下、左、上の位置の明度を表わし、式の後半の
４項Ｊ　（ｘ＋Ｒ−ｐ−１，ｙ）。

Ｊ　（ｘ、ｙ−Ｒ＋ｐ＋１）、Ｊ　（ｘ−Ｒ＋ｐ＋１゜
Ｙ）、Ｊ　（ｘ、ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標
（ｘ、ｙ）から半径Ｒ−（ｐ＋１）離れた右、下、左、
上の位置の明度を表わしている。そして、ステップ５９
０７でｐを１ずつ増加させｐ−１まで変化させてステッ
プ５９０６乃至ステップ５９０８を繰返し実行し、半径
Ｒｍｉｎにおける第９図の矩形白抜き部の明度値総和（
ステップ３９０６の式の前半４項の和）と矩形ハツチン
グ部の明度値総和（ステップＳ６の式の後半４項の和）
の差δが最大値△として求められる（ステップ５９１０
）。つぎに、ステップ５９１１で半径Ｒｍｉｎ＋１とし
て再度ステップ５９０５へ移行し１、ステップ５９０６
乃至ステップ５９０８を繰返し実行することにより半径
Ｒｍｉｎ＋１としたときの矩形領域の明度差δを求める
。この明度差δが第１回目の半径Ｒｍｉｎについて演算
された△よりも大きければ、その明度差δを最大値△と
する。

このような操作を半径Ｒｍａｘまで繰返して行い、任意
の点（ｘ、ｙ）について最大明度差△が求まる（ステッ
プＳ　９１２）。これは、検出する虹彩の半径は、個人
あるいはカメラと乗員の距離によって異なるため、検出
半径にあるゾーン（Ｒｍ　ｉｎ−Ｒｍａｘ）を設けるた
めである。

以下、この処理をｘ−１〜Ｍまで、ｙ−１〜Ｎまでウィ
ンドウ全体に亘って行う。このような処理によって求ま
るΔｍａｘは、虹彩の中心について演算された明度差で
ある。そして、開眼時と開眼時とではこの明度差Δは大
きく異なるため、この最大明度差Δを用いて開眼か閉眼
かの判別が容易になる。

このようにして虹彩を検出することにしたため、運転者
の開眼、閉眼状態を確実且つ迅速にモニタリングするこ
とも可能となった。これにより、運転者の居眠り、わき
見の検出を行うことができるという効果が得られる。

つぎに、前記第３図のフローチャートのステップＳ９に
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップＳ８で算出されたウィンドウ内での
最大明度差Δをしきい値処理し、明度差△≧Ｔｈ　［Ｌ
きい値）のときは開眼、明度差△≦Ｔｈのときは開眼で
あると判断する。

まばたきした場合にも上記の虹彩検出処理で閉眼と判断
されることがあるから、１回の虹彩検出処理で運転者が
居眠りをしていると判断すると誤判断することがあるた
め、同一の虹彩検出処理を複数回繰返し実行し、ある所
定回数以上連続して開眼が認識されたときに居眠りして
いると判定する。

例えば、第１２図に示すように、黒点で示す時間間隔ご
とに画像か入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定する。

また、片目のみが閉眼と判断した場合は、実際には開眼
でなく、わき見をしているために原画面から片目が外れ
ているものと考えられる。従って居眠り判断と同様に３
回連続して片目が閉眼していると判断されたときには、
わき見と判定する。

上記のように、運転者の顔画像の頬部に出現する横方向
の白色部分の最大幅より運転者の眼球を含む領域の横方
向の幅を設定し、前記最大幅を設定した点からの縦方向
の走査により検出した２点の黒領域の中間の点から横方
向に走査し、黒色画素の有無により眼鏡を装着している
か否かを判断し、その有無により前記２点の黒領域のど
ちらが眼であるかを判断して運転者の眼球を含む領域の
縦方向の幅を設定し、その領域内において虹彩部分を検
出することにより、眼球が開いているか、閉じているか
、正面を向いていないか等を判断するこができる。これ
により、運転者の居眠り、わき見の検出を行うことがで
きる。

［発明の効果］以上説明したように、本発明によれば、２値化画像の顔
面部の中央から検索走査を行うので、背景が白でなくて
も必ず顔をとらえてその端を検出することができ、また
髪型の相違などの影響を受けずに頬部などの顔面の端を
検出することができる。また、顔面の左右端を検出する
構成とすれば、顔面の片側の端が外光の影響て検出てき
ない場合でも反対側の端は検出することができる。これ
から、より適格な検出が可能となっている。また、この
ような眼位置検出装置を用いた状態検出装置により、運
転者の状態をより正確に検出てきる。

【図面の簡単な説明】

第１図は本発明の構成図、第２図は本発明の一実施例に
係る構成図、第３図は第２図の構成に基づくフローチャ
ート、第４図、第８図及び第９図は本実施例の処理に関
する説明図、第５図は本発明に係るウィンドウの横方向
の範囲設定処理のフローチャート、第６図はウィンドウ
の縦方向の範囲設定処理のフローチャート、第７図は本
発明に係る走査方式に関する説明図、第１０図は虹彩検
出処理の原理説明図、第１１図は虹彩検出処理のフロー
チャート、第１２図は居眠り判断のための説明図である
。ＣＬｌ・・・画像入力手段ＣＬ２・・・２値化手段ＣＬ３・・・白色画素数計数手段ＣＬ４・・・顔面の端特定手段ＣＬ５・・・眼球の左右領域決定手段ＣＬ６・・・黒領域検出手段ＣＬ７・・・眼球の縦領域決定手段ＣＬ８・・・虹彩検出手段ＣＬ９・・・判定手段代理人　弁理士　　三　好　秀　相部１図（１））第４図＠７図 −旦！１０図第１１図

Claims

【特許請求の範囲】

（１）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化画像において画像の中央部から少
なくとも左右一方に走査し連続する白色画素数を計数す
る白色画素数計数手段と、前記白色画素数が最大となる
部分の端点を顔面の端と特定する顔面の端特定手段と、
前記顔面の端特定手段により特定された顔幅から眼の存
在領域の横方向の位置を決定する眼球の左右領域決定手
段と、決定された眼の横方向の存在領域で縦方向の下か
ら黒領域を検出する黒領域検出手段と、検出された黒領
域を基準にして眼の存在領域の縦方向の位置を決定する
縦領域決定手段とから成ることを特徴とする運転者の眼
位置検出装置。
（２）眼を含む顔画像を入力する画像入力手段と、前記
画像入力手段から送出される入力画像を２値化する２値
化手段と、前記２値化画像において画像の中央部から少
なくとも左右一方に走査し連続する白色画素数を計数す
る白色画素数計数手段と、前記白色画素数が最大となる
部分の端点を顔面の端と特定する顔面の端特定手段と、
前記顔面の端特定手段により特定された顔幅から眼の存
在領域の横方向の位置を決定する眼球の左右領域決定手
段と、決定された眼の横方向の存在領域で縦方向の下か
ら黒領域を検出する黒領域検出手段と、検出された黒領
域を基準にして眼の存在領域の縦方向の位置を決定する
縦領域決定手段と、決定された眼の存在領域から虹彩部
分を検出する虹彩検出手段と、虹彩検出手段による検出
結果から運転者の状態を判定する判定手段とを備えたこ
とを特徴とする運転者の状態検出装置。