JP2677010B2

JP2677010B2 - 眼位置検出装置

Info

Publication number: JP2677010B2
Application number: JP29994690A
Authority: JP
Inventors: 裕史上野; 和彦吉田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-11-07
Filing date: 1990-11-07
Publication date: 1997-11-17
Anticipated expiration: 2012-11-17
Also published as: JPH04174304A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、運転者の眼の位置を検出する眼位置検出装
置に関する。

（従来の技術）従来の車両運転者等の眼位置検出装置としては、例え
ば特開昭60−158303号公報、特開昭60−158304号公報、
特開昭61−77705号公報および特開昭61−77706号公報に
記載されたようなものがある。これらは車両運転者の眼
の位置を認識する装置であり、運転者の顔部分を撮影し
て２枚の画像として入力し、この画像の明領域の中にあ
る独立した暗領域を特異点として抽出し、その特異点を
眼として認識する構成となっており、運転者の居眠り
や、わき見の検出に利用できるものである。

（発明が解決しようとする課題）しかしながら、このような従来の車両運転者の眼位置
検出装置では、顔画像の明るい閉領域の中にある独立し
た特異点として暗領域を眼として認識する構成なので、
例えば外光が片側から射し込んで運転者の顔画像の輪郭
線が途切れている場合には、顔面部分が閉領域になら
ず、眼球が検出できなくなる恐れがある。

また、顔が多少、横に向いて顔に陰影がある場合、眼
鏡装着の場合、頭髪が額を覆っている場合等には、眼の
部分が独立した暗領域とはならず眼の位置の検出が不能
であり、却って眉毛や眼鏡のフレーム等を眼として誤認
識してしまう恐れがある。

本発明は上記の点に鑑みなされたもので、顔画像の輪
郭線が途切れていたり、また眼の部分が独立した暗領域
とならなくとも、眼の存在領域が正確に検出できる車両
運転者の眼位置検出装置を提供することを目的とする。

［発明の構成］（課題を解決するための手段）上記課題を解決するために本発明は、第１図に示すよ
うに、眼を含む顔画像を入力する画像入力手段CL1と、
前記画像入力手段CL1から送出されている入力画像を２
値化する２値化手段CL2と、前記２値化画像において画
像の左右方向へ走査し連続する白色画素数を計数する白
色画素数計数手段CL3と、同一走査線内で連続する前記
白色画素数の走査線毎の変化量から顔画像の幅方向端の
安定部を検出する安定部検出手段CL4と、前記安定部の
有無と前記連続画素数の変化量より顔画像の輪郭線の連
続性を判断する輪郭線の連続性判断手段CL5と、前記判
断に基づき顔面の端を特定する顔面の端特定手段CL6
と、前記顔面の端特定手段により特定された顔面の端か
ら眼の存在領域の横方向の位置を決定する眼球の左右領
域決定手段CL7と、決定された眼の横方向の存在領域で
縦方向の下から順に黒領域を検出する黒領域検出手段CL
8と、検出された黒領域を基準にして眼の存在領域の縦
方向の位置を決定する眼球の縦領域決定手段CL9とから
成る構成とした。

（作用）上記構成によれば、２値化画像において画像の左右方
向へ走査し、連続する白色画素数を計数し、同一走査線
内で連続する前記白色画素数の走査線毎の変化量から顔
画像の幅方向端の安定部を検出し、前記安定部の有無と
前記連続画素数の変化量より顔面の輪郭線の連続性を判
断する。この連続性判断により顔面の端が特定され、こ
の顔面の端から眼の存在領域の横方向位置が決定され
る。そして黒領域検出手段CL8により前記横方向の存在
領域で縦方向の下から順に黒領域を検出する。この検出
された黒領域を基準にして、縦領域決定手段CL9が眼の
存在領域の縦方向の幅を設定する。

（実施例）以下、本発明を図面に基づいて説明する。

第２図は本発明の一実施例に係る眼の位置検出装置の
構成図、第３図は第２図の構成に基づくフローチャート
を示すものである。

第２図に示すように、この眼位置検出装置は自動車に
適用したもので、インストルメントパネル（図示せず）
内の運転者に対する正面方向に、運転者の顔部分を照射
する赤外ストロボ１と、この赤外ストロボ１の赤外光で
照射される顔部分を撮影する画像入力手段CL1としてのT
Vカメラ３と、前記赤外ストロボ１の発光とTVカメラ３
の画像入力とのタイミングを合せるタイミング指令回路
５とを備えている。そして、赤外ストロボ１にタイミン
グ指令回路５からストロボ発光指令が出力されると、赤
外ストロボ１が発光して運転者の顔部分を照射し、これ
と同時にTVカメラ３に対し画像入力指令が出力され、赤
外光で照射された顔部分を撮影するようになっている。

TVカメラ３の入力画像は本実施例では第４図に示すよ
うに、横（Ｘ）方向520画素、縦（Ｙ）方向500画素から
なり、縦方向に顔部分がほぼいっぱいになるように画角
が調整されている。

TVカメラ３には、撮影した入力画像をデジタル量に変
換するA/D変換器７を介して画像メモリ９が接続されて
いる。この画像メモリ９はTVカメラ３の入力画像データ
を入力するものである。

画像メモリ９には、該画像メモリ９に格納された入力
画像データに基づいて眼球の存在位置領域を規定する眼
球存在位置規定回路11が接続され、さらに、眼球存在位
置規定回路11で規定された領域内にある画像メモリ９の
画像データを処理して眼の虹彩部分を検出する虹彩検出
回路13が接続されている。

また、虹彩検出回路13には、該虹彩検出回路13での虹
彩検出結果から運転者の居眠りやわき見等の有無を判定
する居眠りわき見等の有無を判定する居眠りわき見判定
回路15が接続されている。

前記眼球存在位置規定回路11は、入力画像をあるしき
い値で２値化する２値化手段CL2と、２値化画像におい
て画像の左右方向へ走査し連続する白色画素数を計数す
る白色画素数計数手段CL3と、前記白色画素数の変化量
から顔画像の幅方向端の安定部を検出する安定部検出手
段CL4と、前記安定部の有無と前記連続画素数の変化量
より輪郭線の連続性を判断する輪郭線の連続性判断手段
CL5と、前記判断に基づき顔面の端を特定する顔面の端
特定手段CL6と、顔の幅から左右の眼の存在領域の横方
向の位置を決定する眼球の左右領域決定手段CL7と、決
定された眼の横方向の存在領域で縦方向の下から黒領域
を検出する黒領域検出手段CL8と、検出された黒領域を
基準にして、眼の存在領域の縦方向の位置を決定する眼
球の縦領域決定手段CL9とを構成するものである。

つぎに、第３図のフローチャートに基づいて全体の作
用を説明する。

まず、ステップS1で赤外線ストロボ１の発光と同期し
てTVカメラ３によって運転者の顔部分を撮影し、この画
像をA/D変換回路７でデジタル信号に変換して画像メモ
リ９に格納する（ステップS2）。

つぎにステップS3で画像メモリ９に格納された入力画
像データを眼球存在位置規定回路11に取り込み、あるし
きい値で２値化する。これは、顔部分の明暗をはっきり
させるためであり、２値化しきい値は眼球を抽出できる
レベルに設定されている。

すなわち、ビデオ信号を256階調（０〜255）のデジタ
ルデータに変換し、白い部分を“255"、黒い部分を“0"
とし、あるスレッシュホールドレベルで２値化して２値
化画像Ｊ（x,y）を得たものである。

つぎに、ステップS4およびステップS6において左右そ
れぞれの眼球の存在領域（ウインドウ、第４図の点線で
示す四角部分）の横方向（Ｘ方向）の幅を決定し、さら
にステップS5およびステップS7において、左右それぞれ
の眼球のウィンドウの縦方向（Ｙ方向）の幅を決定す
る。この処理の詳細は第５図〜第７図に示すフローチャ
ートにより後述する。

つぎに、左右それぞれの眼球のウインドウが決定され
ると、ステップS8で虹彩中心検出が行われる。そして、
虹彩中心が検出されると、ステップS9で虹彩中心から乗
員の居眠りやわき見判定が行われる。

第５図は、本発明の実施例に係る左右各々のウインド
ウの横方向を決定するフローチャートを示す。この図の
ステップS101及びS102において第８図に示すように、画
像の中央（Ｘ座標＝250）に検索開始ラインを設定し、
そこから左右別個に白色連続画素数WXCLとWXCRをカウン
トすると共に、白色連続画素数が最大のときの左右端Ｘ
座標XLMとXRMを記憶する。この処理について第６図によ
って後述する。

続いてステップS103では、左右の連続画素数の和が20
0より大きいか否かを調べ、頭髪、眉、眼球部などで200
以下の場合、ステップS104で、左安定カウンタWLCON、
右安定カウンタWRCON、左安定フラグSTFLGL、右安定フ
ラグSTFLGRをクリアし、ステップS101へ戻り次のライン
を走査する。

左右の連続画素数の和が200より大きい場合、ステッ
プS105で左側端点検出フラグOKFGLがセットされている
か否かを調べ、セットされている場合はステップS102以
降の右端検索処理へ移る。

左側端点検出フラグOKFGLが０の場合は、ステップS10
6及びS107でWXCLと、直前の走査ラインにおける連続数M
AELの差が10未満ならば右安定カウンタWLCONをカウント
アップする。

ステップS108及びS109では、現走査ラインは直前走査
ラインの連続数との差が小さい安定候補部であるので、
この中での連続画素数が最大の時のXLをX1、最少の時の
XLをX2として記憶する。

ステップS110〜S112では、左安定カウンタWLCONが10
を超え、且つX1とX2の差が30未満か否かを調べ、この条
件を満足していれば左安定フラグのSTFGLをセットし、
左の白色連続画素数WXCLを新たなMAELとする。

ステップS106で白色連続画素数WXCLと前の走査での連
続数MAELの差が10以上である場合は、輪郭線の連続性が
失われた可能性があると判断し、ステップS113〜S119の
処理へ移る。

この部分は、連続画素数が大きく変化したのが眉等の
ためか、輪郭線の途切れなのかを連続画素数の変化と安
定部分の存在によって判断している。

先ずステップS113で左安定フラグSTFLGLを調べ、この
連続白画素数が大きく変化する前に安定部が存在しSTFL
GLがセットされていた場合は、ステップS114で連続画素
数が増加したか否かを調べる。

連続画素数が増加している場合は、輪郭線が途切れた
と判断し、ステップS115においてステップS108で記憶し
たＸ座標X1を左端とする。

連続白画素数が大きく変化する前に安定部分が存在し
ない場合や安定部分が存在しても連続画素数が減少して
いる場合は、輪郭線が途切れた部分から輪郭線のある部
分の走査に移ったか、または眉、眼、眼鏡部分などの走
査であることが考えられる。

そこでステップS116で今回の走査の白色画素連続数
が、前回の走査の白色画素連続数より50以上減少してい
る場合は輪郭線が途切れた部分から輪郭線のある部分の
走査に移ったと判断し、今回の走査の左端点XLを左端と
する。

以上のようにステップS115、またはステップS118で顔
の左端を設定した時はステップS119で左側端点検出フラ
グOKFGLをセットした上でステップS120へ進む。

今回の連続数が前回の連続数より大きく減少していな
い場合は、眉、眼、眼鏡部分や大きな陰影のある部分と
考えられるため、ステップS117でX1,X2,WLCON,STFLGLを
クリアしステップS112へ進む。

ステップS120及びS121では、上記のS105〜S119と同様
にして顔の右側の輪郭線途切れ判断と輪郭線途切れ時の
右端設定を行う。

以上の処理をステップS122およびS123に示すように、
顔面の左右端検出フラグが両方ともセットされるか、さ
も無ければ予め設定したＹ方向の検索範囲終了まで続け
る。

両方の端点検出フラグがセットされた場合は、横幅設
定を終了し、Ｙ（縦）方向の検索範囲を終了した時は第
５図（ｂ）に示すステップS124〜S127の処理へ移る。

ここでは、左右の端点検出フラグがセットされている
か否かを調べ、それぞれセットされていない場合はステ
ップS102で記憶した全走査の中で左右の白色画素連続数
が最大の時の左右端Ｘ座標XLM,XRMを眼の左右端とす
る。

以上のように顔の左右端が検出できたら、下式に従っ
てウィンドウの横方向の位置を決定できる。

・Ｘ軸センター＝X_c＝XLM＋（（XRM−XLM）/2）・左眼ウィンドウの左側Ｘ座標＝X₁＝XLM ・右眼ウィンドウの右側Ｘ座標＝X₂＝X_c−25 ・右眼ウィンドウの左側Ｘ座標＝XX₁＝X_c＋25 ・右眼ウィンドウの右側Ｘ座標＝XX₂＝XRM このように、顔面の片側から外光が射し込む等して顔
画像の輪郭線に連続性がなくなっても、顔の幅方向端の
安定部の有無と連続画素数の変化より輪郭線の連続性を
判断して顔面の左右端を特定することができる。

また、２値化画像において画像の中央、すなわち、顔
の略中央から左右へ走査して白色画素の連続により顔の
左右端を検出するので、背景が白でなくても必ず顔面を
とらえて適格な検出を行なうことができる。また、髪型
や眼鏡装置等の影響を受けずに頬部などで顔の左右端を
検出することが可能となった。さらに、顔面の左右端を
各々独立に検出する構成としたため、顔面の片側と端が
外光の影響で検出できなくても、反対側の端は検出する
ことが可能となっている。

なお、前記ステップS101,S102での白色連続画素数が
最大時の左右端Ｘ座標XLMとXRMと記憶する過程を第６図
に示すフローチャートに基づいて以下に説明する。

まず、ステップS201で縦方向の走査Ｙ座標を40とす
る。このＹ−40はこの範囲内に顔面の最大幅は存在しな
いことを前提に処理を早めたものである。ステップS202
で横方向の検索走査開始ラインＸ座標値250に左検索Ｘ
座標XLと右検索XRにセットする。このＸ座標値は、第８
図に示すように車両運転者がカメラの画角以内に存在す
れば、確実に顔面部の中に存在するラインを指定してい
る。

次に、ステップS203で右側走査終了フラグOKRがセッ
トされているか否かを調べ、セットされていればステッ
プS211以降の顔面左端検索を行う。

OKRがセットされていない場合は、ステップS204で画
素Ｊ（XR,Y）が白か否かを調べ、白の場合はステップS2
05及びS206で右側白画素連続カウンタWXCRを、ステップ
S206で検索Ｘ座標XRをカウントアップする。

ステップS204において画素Ｊ（XR,Y）が白でない場合
は、ステップS207でOKRをセットした後ステップS208
で、今まで記憶していた右側端点の最大値XRMと今回の
端点XRを比較し、XRの方が大きい場合（より右側にある
場合）はステップS209においてXRを新たな右端点XRMと
する。

次にステップS211〜S217で上記と同じ処理を左側につ
いて行う。右側の検索と相異するのは、ステップS214で
検索Ｘ座標XLをカウントダウンすることと、ステップS2
16及びS217で記憶していた左側端点のXLMと今回の端点X
Lの小さい方（より左側にある方）XLを左端点XLMとする
ことである。

一つの走査ラインで左右端を検出し、ステップS221で
走査終了フラグOKL、OKRの両方がセットされたと判断さ
れた場合は、ステップS222でこのフラグをクリア（＝
０）し、ステップS223で検索ラインＹを増加し、この処
理を終了する。

第７図は前記第３図ステップS5およびステップS7の詳
細フローチャートを示すものである。この処理はウィン
ドウのＹ方向に座標を検出するもので、左右それぞれの
眼において行われる。

また、この処理は、大きく分けて黒領域２点の検索部
分と、眼鏡の有無検索部分との二つに分かれる。

黒領域２点の検索部分では、左眼に関して第９図に示
すように、左眼ウインドウの右側Ｘ座標X₂から10ドット
左側、すなわちX₂−10を始点とし（これは鼻の穴の黒い
部分の検出を避けるためである。）、この位置から横方
向（Ｘ方向）にX₂−90までを範囲とし、検索開始のＹ座
標YLから０の範囲で縦方向上方（Ｙ方向）へ検索し、こ
れを横方向４ドットの間隔毎に行っていく。Ｙ座標YLは
左右端を決定した走査ラインの下方に設定する。

また、右眼に関しては右眼ウインドウ左側Ｘ座標XX₁
から10ドット右側、すなちXX₁＋10を始点とし、この位
置から横方向（Ｘ方向）にXX₁＋90までを範囲とし、Ｙ
座標YLから０の範囲で縦方向上方（Ｙ方向）へ検索し、
これを横方向４ドットの間隔毎に行っていく。

眼鏡の有無検出部では、左眼に関して第10図に示すよ
うに、左眼ウインドウの右側Ｘ座標X₂から左眼ウインド
ウの左側Ｘ座標X₁への横方向（Ｘ方向）の範囲で、ま
た、右眼に関しては右眼ウインドウの左側Ｘ座標XX₁か
ら右眼ウインドウの右側Ｘ座標XX₂への横方向（Ｘ方
向）の範囲で後述するように検索する。

以下、左目ウインドウのＹ方向の幅を決定する処理に
ついて第７図に基づいて説明する。

まず、ステップS301において、一番目と二番目の黒領
域のＹ領域を最大値（最下点）のメモリ変数BY1MAXおよ
びBY2MAXがクリアされ、Ｘ方向の検出範囲規定カウンタ
XCHECKがX₂−10に、また、Ｙ方向の検索範囲規定カウン
タYCHECKがYLに初期化される。

つぎに、ステップS302でＸ方向の検索範囲規定カウン
タXCHECKがX₂−90以下か否かが判別される。この判別は
Ｘ方向へすべて検索したか否かを判別するものである。
このときは、未だ、Ｘ方向全ての検索を終了していない
からステップS303へ移行し、一番目の黒領域を検出した
フラグFL1、黒色画素連続カウンタBLACK、白色画素連続
カウンタWHITE、一番目の黒領域と二番目の黒領域との
間隔が10ドット以上あるフラグWHITEFLおよび一番目の
黒領域と二番目の黒領域のそれぞれの最大値記憶バッフ
ァBY1およびBY2がクリアされる。

つぎに、ステップS304で検索画素が黒か否かが判別さ
れ、黒の場合は白色画素連続カウンタWHITEをクリアし
（ステップS305）、黒色画素連続カウンタBLACKをカウ
ントアップする（ステップS306）。そして、ステップS3
07で黒色画素連続カウンタBLACKの黒画素が１か否かが
判別される。これは黒画素の検出が初めてか否かを判断
するものである。黒画素が１の場合は黒領域の最下点Ｙ
座標候補としてＹ方向の検索範囲規定カウンタYCHECKで
カウントされた現Ｙ座標をSETYに記憶する。例えば第９
図で“1"としてあるＹ座標を記憶する。つぎに、ステッ
プS309で黒画素連続カウンタBLACKの黒画素が２以上か
否かが判別され、黒画素が２以上の場合は一番目の黒領
域を検出したフラグFL1がセットされているか否かが判
別される（ステップS310）。フラグFL1がセットされて
いない場合は、ステップS311へ移行し、一番目の黒領域
の最大値記憶バッファBY1にSETYの値を代入して保管
し、フラグFL1をセットする。そして、ステップS328で
Ｙ座標YCをカウントダウンし、一つ上の画素の検索に移
る。

ステップS310でフラグFL1がセットされている場合は
ステップS312へ移行し、一番目の黒領域と二番目の黒領
域の間隔が10ドット以上あるフラグWHITEFLがセットさ
れているか否かが判別される。そして、フラグWHITEFL
がセットされている場合は二番目の黒領域を検出したこ
とになるのでステップS313で二番目の黒領域の最大値記
憶バッファBY2にSETYの値を代入して保管する。例え
ば、第９図で“2"と示してあるＹ座標を保管する。また
ステップS312でフラグWHITEFLがセットされていない場
合は、一番目の黒領域の二番目の黒領域の間隔が狭く両
者の差が明確でないのでステップS314へ移行し、黒画素
の連続数が50ドットを超えるか否かが判別される。黒画
素の連続数が50ドットを超えている場合は頭髪を検出し
たことになるためステップS315へ移行してバッファBY2
をクリアし、また、50ドットを越えていない場合はステ
ップS328へ移行しＹ座標YCを一つ上の画素の検索に移
る。

前記ステップS304で検索画素が白の場合にはステップ
S316へ移行して黒色画素連続カウンタBLACKをクリア
し、ステップS317で一番目の黒領域を検出したフラグFL
1がセットされているか否かが判別される。そして、フ
ラグFL1がセットされていない場合は、未だ黒領域が一
つも検出されていないためステップS328へ移行しＹ座標
YCをカウントダウンし、一つ上の画素の検索に移る。フ
ラグFL1がセットされている場合にはステップS318へ移
行し、白色画素連続カウンタWHITEをカウントアップす
る。そして、ステップS319で白画素が10ドット以上連続
したか否かが判別され、10ドット以上連続した場合は目
と眉の間か、眼鏡フレームと眼の間を検出したものとし
てステップS319へ移行し、一番目の黒領域と二番目の黒
領域の間隔が10ドット以上あるフラグWHITEFLをセット
する。また、白画素が10ドット以上連続していない場合
はステップS328へ移行しＹ座標YCをカウントダンウン
し、一つ上の画素の検索に移る。

つぎに、ステップS321で白画素が80ドット以上連続し
たか否かが判別され、80ドット以上連続した場合は眉毛
を検出せず顔を検出したことになるからステップS322へ
移行し、二番目の黒領域の最大値記憶バッファBY2をク
リアする。また、白画素80ドット以上連続していない場
合はステップS328へ移行し、Ｙ座標YCをカウントダウン
し、一つ上の画素の検索に移る。

つぎに、一番目と二番目の黒領域の候補点としてのそ
れぞれのバッファBY1およびBY2が決定されると、ステッ
プS323において、候補点としてのバッファBY1の値を今
までに記憶された一番目の黒領域値の最大値（最下点）
BY1MAXと比較し、より大きい方をBY1MAXとして記憶する
（ステップS324）。例えば、第10図において中央部の１
のＹ座標がBY1MAXとして記憶される。続いて、ステップ
S325において、候補点としてのバッファBY2の値を今ま
でに記憶された二番目の黒領域の最大値（最下点）BY2M
AXと比較し、より大きい方をBY2MAXとして記憶する。例
えば、第９図において、右側の２のＹ座標がBY2MAXとし
て記憶される。

このようにして、一番目の黒領域の最下点BY1MAXと二
番目の黒領域の最下点BY2MAXが決定される。

つぎに、眼鏡の有無の検索を行う。まず、第７図
（ｂ）のステップS329において、二番目の黒領域の最大
値記憶バッファBY2が検出されているか否かを判別し、
このBY2の値からステップS330、S331で眼鏡検出のＹ座
標BYHを求める。すなわち、二番目の黒領域の最大値記
憶バッファBY2がなく、一番目の黒領域の最大値記憶バ
ッファBY1のみの場合は、BYH＝BY1＋10とし（ステップS
330）、二番目の黒領域の最大値記憶バッファBY2がある
場合は、BYH＝（BY1＋BY2）/2とする（ステップS31
1）。

なお、ステップS331でBYHをBY1とBY2との中間点とし
ているが、これはBY1とBY2の間の点であればよいもので
ある。

つぎに、ステップS322で、黒画素の数をカウントする
黒色画素カウンタBLACKXをクリアし、画素座標XC、YCに
初期値XC＝X₂（XC＝XX₁）、YC＝BYHを設定する（ステッ
プS333、S334）。ステップS335で画素Ｊが黒か否かが検
索され、黒の場合はＸ方向へ黒色画素カウンタBLACKXを
左眼のときはXC＝X₂からカウントアップし、右眼のとき
はXC＝XX₁からカウントダウンする（ステップS336、S33
7）。ステップS338でＸ方向へ、左眼ではXX₁を越えるま
で、右眼ではX₂を下回るまで検索したか否かが判別さ
れ、XX₁を越え又はX₂を下回るまで検索が終了するとス
テップS339へ移行し、黒色画素カウンタBLACKXの値が３
以上か否かが判別される。黒色画素カウンタBLACKXの値
が３未満の場合は眼鏡中央部のフレームを検出したと判
別してステップS340へ移行し、眼鏡無しカウンタMEGOFF
をカウントアップする。

以上の処理を左眼の検索範囲内で行い、ステップS341
で眼鏡無しカウンタMEGOFFの値が５を越えるか否かが判
別される。

眼鏡無しカウンタMEGOFFの値が５より大きい場合は眼
鏡をかけていないものと判断してステップS342へ移行
し、一番目に検出した黒領域のＹ座標の最下点BY1MAXを
基準にしてウインドウの縦方向（Ｙ方向）の幅を規定す
るＹ座標YT、YBを、YT＝BY1MAX−40、YB＝BY1MAX＋10に
設定する。また、眼鏡無しカウンタMEGOFFの値が５より
小さい場合は眼鏡をかけているものと判断してステップ
S343へ移行し、二番目に検出した黒領域のＹ座標の最下
点BY2MAXを基準にしてウインドウの縦方向（Ｙ方向）の
幅を規定するＹ座標YT、YBを、YT＝BY2MAX−40、YB＝BY
2MAX＋10に設定する。

以上の処理を左右両眼において行うことによりそれぞ
れの眼のウインドウが設定される。

このようにウインドウ設定に関しては、顔の幅方向端
で左右別個にウインドウの横の範囲を決定する事とした
ため、顔の向きにより赤外線ストロボの照射画像に影が
発生する場合でもその影響が排除される。

また、ウインドウの縦方向の範囲の設定に於いても、
例えば僅か２点の黒領域を僅か20回の縦方向の走査をす
るだけで設定できるため、横方向範囲設定と同様に影や
少しの画像の変化でも正確なウインドウの設定を高速に
行うことが可能となった。

さらに、あらゆる顔画像に対しても、最大でも眉から
下の画像の変化にほとんど無い部分で検索を行うため、
帽子を被っている場合、眼鏡を装着している場合に於い
ても、眼球存在領域の特定が折角にでき居眠り、わき見
の検出が可能となった。

そして、第３図のフローチャートのステップS8で、２
値化した画像Ｊ（X,Y）から上記で設定されたウインド
ウ内に対する虹彩部分を検出する処理が行われる。虹彩
は、一般に暗い円形領域として観測されるから、この円
形領域を検出してその領域面積を認識すれば、運転者の
居眠りの有無等が判定できる。

第11図は、虹彩の検出原理を示す説明図である。

今、ウインドウ内の任意の点（x,y）を中心とする半
径Ｒの円を設定するとともに、点（x,y）を中心として
放射状に４つの矩形を設定する。この矩形は、円の内外
方にそれぞれＰ画素だけ延在するように設定される。そ
して、円より外方の矩形白抜き部の明度値の総和と、円
より内方の矩形ハッチング部の明度値の総和との差δを
求める。

これを上記任意の点（x,y）においてRmin〜Rmaxまで
行い、差δの最大値を△としてこれを求める。つぎに、
点（x,y）を中心として同様な演算を行い、差δの最大
値が上記最大値△より大きければ、今回演算されたδの
最大値を最大値として記憶する。このような演算をウイ
ンドウ内の全画素点を中心として行い最大値△を出力す
る。

これは、ウインドウ内に虹彩が存在するとき、虹彩は
他の領域に比べて輝度が低い円形図形として検出され、
虹彩を中心に求められる上記差δが最大となるという原
理に基づいている。

第12図は以上の処理フローチャートを示すものであ
る。

まず、ステップS901で、ウインドウ内を走査するカン
ウンターx,yをＬにリセットする。なお、ここで設定さ
れたウインドウの大きさは、ｘ方向Ｍドット、ｙ方向Ｎ
ドットとする。つぎに、ステップS902で、虹彩検出の中
心座標の点Ｊ（x,y）が黒いか否かが判別され、黒い場
合はステップS903へ移行し、検出半径ＲをRminとする。
つづいて、ステップS904およびS905において、△および
ｐをリセットする。

つぎに、ステップS906乃至S908で、具体的に白い含分
に囲まれた黒い円形領域として検出する。すなわち、ス
テップS906において式の前半の４項Ｊ（ｘ＋Ｒ＋p,y）,
J（x,y−Ｒ−ｐ）,J（ｘ−Ｒ−p,x）,J（x,y＋Ｒ＋ｐ）
はそれぞれ座標中心（x,y）から半径Ｒ＋ｐ離れた右、
下、左、上の位置の明度を表わし、式の後半の４項Ｊ
（ｘ＋Ｒ−ｐ−1,y）,J（x,y−Ｒ＋ｐ＋１）,J（ｘ−Ｒ
＋ｐ＋1,y）,J（x,y＋Ｒ−ｐ−１）はそれぞれ中心座標
（x,y）から半径Ｒ−（ｐ＋１）離れた右、下、左、上
の位置の明度を表わしている。そして、ステップS907で
ｐを１ずつ増加させｐ−１まで変化させてステップS906
乃至ステップS908を繰返し実行し、半径Rminにおける第
９図の矩形白抜き部の明度値総和（ステップS906の式の
前半４項の和）と矩形ハッチング部の明度値総和（ステ
ップS6の式の後半４項の和）の差δが最大値△として求
められる（ステップS910）。つぎに、ステップS911で半
径Rmin＋１として再度ステップS905へ移行し、ステップ
S906乃至ステップS908を繰返し実行することにより半径
Rmin＋１としたときの矩形領域の明度差δを求める。こ
の明度差δが第１回目の半径Rminについて演算された△
よりも大きければ、その明度差δを最大値△とする。こ
のような操作を半径Rmaxまで繰返して行い、任意の点
（x,y）について最大明度差△が求まる（ステップS91
2）。これは、検出する虹彩の半径は、個人あるいはカ
メラと乗員の距離によって異なるため、検出半径にある
ゾーン（Rmin〜Rmax）を設けるためである。

以下、この処理をｘ＝１〜Ｍまで、ｙ＝１〜Ｎまでウ
インドウ全体に亘って行う。このような処理によって求
まる△maxは、虹彩の中心について演算された明度差で
ある。そして、開眼時と閉眼時とではこの明度差△は大
きく異なるため、この最大明度差△を用いて開眼か閉眼
かの判別が容易になる。

このようにして虹彩を検出することにしたため、運転
者の開眼、閉眼状態を確実且つ迅速にモニタリングする
ことも可能となった。これにより、運転者の居眠り、わ
き見の検出を行うこどができるという効果が得られる。

つぎに、前記第３図のフローチャートのステップS9に
おける、居眠りわき見の判定において、開眼または閉眼
の判別は、ステップS8で算出されたウインドウ内での最
大明度差△をしきい値処理し、明度差△≧Th（しきい
値）のときは開眼、明度差△≦Thのときは閉眼であると
判断する。

まばたきした場合にも上記の虹彩検出処理で閉眼と判
断されることがあるから、１回の虹彩検出処理で居眠り
をしていると判断すると誤判断することがあるため、同
一の虹彩検出処理を複数回繰返し実行し、ある所定回数
以上連続して閉眼が認識されたときに居眠りしていると
判定する。

例えば、第13図に示すように、黒点で示す時間間隔ご
とに画像が入力され、そして虹彩検出処理の結果、閉眼
と判断される回数が３回連続したときは運転者が居眠り
していると判定する。

また、片目のみが閉眼と判断した場合は、実際には閉
眼でなく、わき見をしているために原画面から片目が外
れているものと考えられる。従って居眠り判断と同様に
３回連続して片目が閉目していると判断されたときに
は、わき見と判定する。

上記のように、運転者の顔画像の頬部に出現する横方
向の白色含分の最大幅より運転者の眼球を含む領域の横
方向の幅を設定し、前記最大幅を設定した点からの縦方
向の走査により検出した２点の黒領域の中間の点から横
方向に走査し、黒色画素の有無により眼鏡を装着してい
るか否かを判断し、その有無により前記２点の黒領域の
どちらが眼であるかを判断して運転者の眼球を含む領域
の縦方向の幅を設定し、その領域内において虹彩部分を
検出することにより、眼球が開いているか、閉じている
か、正面を向いていないか等を判断するこができる。こ
れにより、運転者の居眠り、わき見の検出を行うことが
できる。

［発明の効果］以上説明したように、本発明によれば、顔画像の幅の
安定部の有無と連続画素数の変化量により輪郭線の連続
性を判断して顔面の左右端を特定することにしたので、
外光が片側から差し込む車室内で撮影した顔画像や、僅
かに横を向いた顔画像において輪郭線が消失しても車両
運転者の眼球を含む領域の横方向の範囲を決定し得る。

また、顔面の左右端を各々独立に検出する構成とした
場合には、顔面の片側の輪郭線のみが消失したり、顔面
左右の照度が不均一であったり、或は僅かな画像の変化
が生じても、正確な眼球存在領域の特定が可能である。

【図面の簡単な説明】

第１図はこの発明の構成図、第２図は本発明の一実施例
に係る構成図、第３図は第２図の構成に基づくフローチ
ャート、第４図、第９図および第10図は本実施例の処理
に関する説明図、第５図は本発明に係るウインドウの横
方向の位置を決定するフローチャート、第６図は第５図
に示す処理の一部を詳細に説明するフローチャート、第
７図はウインドウの縦方向の範囲設定処理のフローチャ
ート、第８図は本実施例の走査方式に関する説明図、第
11図は虹彩検出処理の原理説明図、第12図は虹彩検出処
理のフローチャート、第13図は居眠り判断のための説明
図である。 CL1……画像入力手段 CL2……２値化手段 CL3……白色画素数計数手段 CL4……顔画像幅の安定部検出手段 CL5……輪郭線の連続性判断手段 CL6……顔面の端特定手段 CL7……眼球の左右領域決定手段 CL8……黒領域検出手段 CL9……眼球の縦領域決定手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｂ 21/00 Ａ６１Ｂ 3/10 ＢＧ０６Ｆ 15/62 ３８０

Claims

(57)【特許請求の範囲】

【請求項１】眼を含む顔画像を入力する画像入力手段
と、前記画像入力手段から送出される入力画像を２値化
する２値化手段と、前記２値化画像において画像の左右
方向へ走査し連続する白色画素数を計数する白色画素数
計数手段と、同一走査線内で連続する前記画素数の走査
線毎の変化量から顔画像の幅方向端の安定部を検出する
安定部検出手段と、前記安定部の有無と前記連続画素数
の変化量より顔画像の輪郭線の連続性を判断する輪郭線
の連続性判断手段と、前記判断に基づき顔面の端を特定
する顔面の端特定手段と、前記顔面の端特定手段により
特定された顔面の端から眼の存在領域の横方向の位置を
決定する眼球の左右領域決定手段と、決定された眼の横
方向の存在領域で縦方向の下から順に黒領域を検出する
黒領域検出手段と、検出された黒領域を基準にして眼の
存在領域の縦方向の位置を決定する眼球の縦領域決定手
段とから成ることを特徴とする眼位置検出装置。