JP2936943B2

JP2936943B2 - 運転者の状態検出装置

Info

Publication number: JP2936943B2
Application number: JP5039562A
Authority: JP
Inventors: 雅之金田; 純一笠井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-02-03
Filing date: 1993-02-03
Publication date: 1999-08-23
Anticipated expiration: 2014-08-23
Also published as: JPH06227278A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、運転者が眼を開いて
いるか、閉じているかを検出して居眠りなどを検出する
運転者の状態検出装置に関する。

【０００２】

【従来の技術】従来の車両運転者の状態検出装置として
は、例えば特開平３−１９４６６１号公報に記載された
ようなものがある。これは２値化した運転者の顔画像を
用いて、運転者の眼がある範囲を検出領域としてその領
域内で眼の虹彩部を検出することによって、虹彩部の検
出結果から運転者の開閉眼を判定し、運転者の状態を判
定する構成となっており、運転者の居眠りやわき見の検
出に利用可能であるとしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の車両運転者の状態検出装置では、眼鏡の着用や影、
あるいは光環境の変化などに起因して２値化の際生じた
ノイズなどにより、実際の眼位置からはずれた部位に検
出領域を設定してしまう恐れがある。一度設定を誤って
しまうと次の光環境の変化などを待たなければ正しい眼
位置の検出ができず、その間正確な開閉眼の検出が行な
えないことになり、そのため実際と合わない状態検出結
果をもたらすこともあり得る。

【０００４】とくに居眠り運転を誘発するような高速道
路など比較的長区間にわたり変化の少ない光環境が続く
ところでは、その光環境の変化をきっかけとして修復さ
れるまでの期間が長く、長時間正しい居眠り状態検出が
行なわれない恐れ、例えば「居眠り状態である」という
誤った判断が行なわれ、この状態が続くと運転者に対し
煩わしさを与えるという問題がある。したがって本発明
は、上記問題点に鑑み、的確に開閉眼の検出が確保さ
れ、運転者の状態検出が安定して行なわれるようにした
運転者の状態検出装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に本発明は、図１に示すように、運転者の顔画像を入力
する画像入力手段ＣＬ１と、該画像入力手段から入力さ
れた顔画像を２値化する２値化手段ＣＬ２と、２値化さ
れた画像内で眼球存在領域を定める眼球存在領域設定手
段ＣＬ３と、前記眼球存在領域内で開閉眼を検出する開
閉眼検出手段ＣＬ４と、該開閉眼検出手段で検出された
開閉眼のパターンに基づいて運転者の状態を判定する運
転者状態判定手段ＣＬ５と、前記開閉眼検出手段ＣＬ４
の検出結果の変化に基づいて眼球の誤検出を判定する誤
検出判定手段ＣＬ６と、前記誤検出の判定に基づいて前
記眼球存在領域を変更する再設定手段ＣＬ７とを備える
ものとした。

【０００６】

【作用】開閉眼検出手段ＣＬ４の検出結果が一定時間以
上変化しないとき、誤検出判定手段ＣＬ６が眼球の誤検
出と判定する。再設定手段ＣＬ７を通じて位置をずらし
た新たな眼球存在領域が設定され、この中で開閉眼の検
出が行なわれる。こうして、はじめ眼鏡の着用や影など
に起因するノイズなどにより眼球存在領域の設定に誤り
が発生しても、自動的に修復され、正確な開閉眼の検出
が確保されるから、正確、安定に居眠りなどの運転者状
態が検出される。

【０００７】

【実施例】図２は本発明の第１の実施例を示すブロック
図である。図示しないインストルメントパネルに設置さ
れ、運転者の顔部分を正面から照射する赤外ストロボ１
と、この赤外ストロボ１の赤外光で照射される顔部分を
撮影する画像入力手段ＣＬ１としてのＣＣＤカメラ３
と、前記赤外ストロボ１の発光とＣＣＤカメラ３の画像
入力とのタイミングを合わせるタイミング指令回路５と
を備えている。そして、赤外ストロボ１にタイミング指
令回路５からストロボ発光指令が出力されると、赤外ス
トロボ１が発光して運転者の顔部分を照射し、これと同
時にＣＣＤカメラ３に対し画像入力指令が出力され、赤
外光で照射された顔部分を撮影するようになっている。

【０００８】ＣＣＤカメラ３の入力画像は本実施例では
図３に示すように、横（Ｘ）方向５２０画素、縦（Ｙ）
方向５００画素からなり、縦方向に顔部分がほぼいっぱ
いになるように画角が調整される。ＣＣＤカメラ３で撮
影された入力画像は、Ａ／Ｄ変換器７を介して、デジタ
ル量の入力画像データとして画像メモリ９に格納され
る。画像メモリ９には、これに格納された入力画像デー
タに基づいて眼球の存在領域を規定する眼球存在位置規
定回路１１が接続されている。この眼球存在位置規定
回路１１で規定された領域内にある画像メモリ９の画像
データを処理して開閉眼の検出を行う開閉眼検出回路１
５が設けられ、これにその開閉眼の検出結果から運転者
の居眠り状態の有無を判定する居眠り判定回路１７が接
続されている。居眠り状態の判定結果が出ると警報出力
回路１９から警報が発せられる。

【０００９】さらに開閉眼検出回路１５の信号は誤検出
判定回路２０にも送られ、居眠り判定回路１７における
判定と並行に、誤検出の有無のチェックが行なわれる。
誤検出判定回路２０の判定結果は眼球存在位置規定回路
１１にフィードバックされ、誤検出である場合には、再
び眼球の存在領域の設定が行なわれる。

【００１０】次に、上記構成における動作の流れを、図
４のフローチャートにより説明する。まず、ステップ
Ｓ１において、赤外線ストロボ１の発光と同期してＣＣ
Ｄカメラ３によって運転者の顔部分が撮影され、ステッ
プＳ２で１フレーム分の入力画像がＡ／Ｄ変換器７でデ
ジタル信号に変換されたうえ画像メモリ９に格納され
る。ステップＳ３では、画像メモリ９に格納された入力
画像データが眼球存在位置規定回路１１に取り込まれ、
所定のしきい値で２値化される。この２値化は顔部分の
明暗をはっきりさせるため、しきい値は眼球を識別して
抽出できるレベルに設定される。すなわち、ビデオ信号
を２５６階調（０〜２５５）のデジタルデータに変換し
て、白い部分を「２５５」、黒い部分を「０」とし、ス
レッシュホールドレベルで２値化して２値化画像（画
素）Ｊ（Ｘ，Ｙ）を得る。

【００１１】次に、ステップＳ４において、眼球の存在
領域が設定されているかどうかがチェックされる。ここ
で、眼球の存在領域は、図３で点線で示されるようなウ
インドウとされる。以下、眼のウインドウと称するとき
は、その範囲内で眼球の検出や開閉眼の検出が行なわれ
る「眼球存在領域」を指す。眼球存在領域が設定されて
いない場合は、ステップＳ５およびＳ６において、眼が
存在する領域の横方向（Ｘ方向）の幅と縦方向の（Ｙ方
向）の幅を設定する。この処理の詳細は図５〜図７に示
すフローチャートにより後述する。

【００１２】ステップＳ４で眼のウインドウが設定され
ていると判断された場合には、ステップＳ７に進み、開
閉眼の検出が行なわれる。この処理の詳細は図１２、図
１４に示すフローチャートにより後述する。この後、ス
テップ８において、前ステップで検出された開閉眼パタ
ーンから運転者の居眠り判定が行なわれる。

【００１３】ステップ８と並行して、ステップ９では誤
検出判定回路で開閉眼検出データを基に誤検出の判定と
その対応処理がなされる。ここで正しく眼が捉えられて
いると判定されたときは、そのままステップＳ１に戻
り、次の画像データの処理と居眠りの検出が続けられ
る。ステップ９で正しく眼が捉えられていないと判定さ
れた場合は、この誤検出の判定ステップを通る回数に応
じた再設定処理がなされる。詳細は後述する。

【００１４】次に図５、図６は、ステップＳ５、Ｓ５’
における眼のウインドウの横幅設定の詳細を示す。ま
ず、ステップＳ１００で、検索開始点の初期設定が行な
われ、高さ方向の走査Ｙ座標が４０にセットされる。こ
れはＹ＝０〜４０の範囲内に顔面の最大幅は存在しない
ことを前提として処理時間を短縮するものである。ステ
ップＳ１０１では、図７に示されるように、２値化され
た１フレームの画像の中央（Ｘ＝２５０）に検索開始ラ
インを設定して、そこから左方向および右方向にそれぞ
れ連続白色画素数ＷＸＣＬとＷＸＣＲとがカウントされ
る。そしてステップＳ１０２において、連続白色画素数
が最大のときの左右端Ｘ座標ＸＬＭおよびＸＲＭが記憶
される。この処理の詳細については図８、図９により後
述する。

【００１５】続いてステップＳ１０３において、左右の
上記連続白色画素数の和が２００より大きいか否かがチ
ェックされる。頭髪や眉、眼球部などの存在により白色
データのの連続が遮断されて上記の和が２００以下の場
合には、ステップＳ１０４で、左安定カウンタＷＬＣＯ
Ｎおよび右安定カウンタＷＲＣＯＮ、左安定フラグＳＴ
ＦＬＧＬおよび右安定フラグＳＴＦＬＧＲがクリアさ
れ、ステップＳ１０１へ戻って次の検索ラインの走査に
移る。

【００１６】ステップＳ１０３で左右の連続白色画素数
の和が２００より大きい場合には、ステップＳ１０５に
進んで、左側端点検出フラグＯＫＦＧＬがセットされて
いるか否かが調べられ、セットされている場合はステッ
プＳ１２０以降の右端検索処理へ移る。左側端点検出フ
ラグＯＫＦＧＬがセットされていない場合は、ステップ
Ｓ１０６に進み、連続白色画素数ＷＸＣＬと直前の走査
ラインにおける連続数ＭＡＥＬの差が１０より小さいか
がチェックされる。

【００１７】ＷＸＣＬとＭＡＥＬの差が１０未満なら
ば、現走査ラインは直前走査ラインの連続数との差が小
さい安定候補部とされ、ステップＳ１０７で左安定カウ
ンタＷＬＣＯＮがカウントアップされ、ステップＳ１０
８およびＳ１０９で、安定候補部の中での連続白色画素
数が最大のときのＸ座標がＸ1 、最小のときのＸ座標が
Ｘ2 として記憶される。そしてステップＳ１１０で、左
安定カウンタＷＬＣＯＮが１０を越え、かつＸ1 とＸ2
の差が３０より小さいかがチェックされる。この条件が
満足されていれば、ステップＳ１１１、Ｓ１１２で左安
定フラグのＳＴＦＬＧＬがセットされ、今回の左の連続
白色画素数ＷＸＣＬが新たにＭＡＥＬの値とされる。

【００１８】ステップＳ１０６で連続白色画素数ＷＸＣ
Ｌと前の走査での連続ＭＡＥＬの差が１０以上であると
きには、輪郭線の連続性が失われた可能性があると判断
され、ステップＳ１１３〜Ｓ１１９の処理へ進む。ここ
では、連続白色画素数ＷＸＣＬが大きく変化したのが眉
などの存在によるためか、輪郭線の途切れなのかがその
連続白色画素数の変化と安定部分の有無によって判断さ
れる。

【００１９】まずステップＳ１１３では、連続白色画素
数が大きく変化する前に安定部分が存在していたかどう
かが左安定フラグＳＴＦＬＧＬにより調べられる。ＳＴ
ＦＬＧＬがセットされていた場合は、ステップＳ１１４
で連続白色画素数が増加方向に変化したのかがチェック
される。連続白色画素数ＷＸＣＬが増加しているとき
は、輪郭線が途切れたものと判断され、ステップＳ１１
５において、先のステップＳ１０８で記憶されたＸ1 が
顔の左端とされる。

【００２０】一方、連続白色画素数が大きく変化する前
に安定部分が存在していなかった場合や、安定部分が存
在していても連続白色画素数の変化が減少方向であった
場合には、輪郭線が途切れた部分から輪郭線のある部分
の走査に移ったか、あるいは眉や眼、あるいは眼鏡部分
などを検出したものと判断される。そこでこのときに
は、それぞれステップＳ１１６に進んで、今回の走査の
連続白色画素数が、前回の走査の連続白色画素数より５
０以上減少しているかがチェックされる。そして、ＭＡ
ＥＬとＷＸＣＬの差が５０より大きいときは、輪郭線が
途切れた部分から輪郭線のある部分の走査に移ったもの
として、ステップＳ１１８で今回の走査の連続白色画素
数ＷＸＣＬで決まる左端点Ｘ座標が顔の左端とされる。

【００２１】以上のようにしてステップＳ１１５、また
はステップＳ１１８において顔の左端が設定されたとき
は、それぞれステップＳ１１９で左側端点検出フラグＯ
ＫＦＧＬがセットされてステップＳ１２０へ進む。ま
た、ステップＳ１１６においてＭＡＥＬとＷＸＣＬの差
が５０以下のときには、眉や眼、あるいは眼鏡部分、そ
の他大きな陰影のある部分を検出したものとして、ステ
ップＳ１１７でＸ1 、Ｘ2 、ＷＬＣＯＮ、およびＳＴＦ
ＬＧＬがクリアされ、ステップＳ１１２で今回の連続白
色画素数ＷＸＣＬが新たにＭＡＥＬの値とされる。

【００２２】ステップＳ１２０およびＳ１２１では、上
記画像の左側におけるステップＳ１０５〜Ｓ１１９と同
様にして、右側顔画像について輪郭線途切れ判断と輪郭
線が途切れた際の顔の右端設定が行なわれる。

【００２３】以上の処理がステップＳ１２２およびＳ１
２３により、顔面の左右の端点検出フラグＯＫＦＧＬ、
ＯＫＦＧＲの両方ともセットされるか、さもなければ予
め設定された縦方向（Ｙ方向）の検索範囲の走査が終了
する繰り返される。端点検出フラグがセットされた場合
は、左側ではＸ1 、Ｘ2 を端点として、同様に右側では
ＸＸ1 、ＸＸ2 を端点として眼球存在領域の横幅設定が
終了する。

【００２４】また、両フラグがセットされる前に縦方向
の検索範囲が終了したときは、ステップＳ１２４〜Ｓ１
２７の処理に移る。ここでは、左右の端点検出フラグの
それぞれのセット状態を調べ、セットされていない場合
はステップＳ１０２で記憶されたＸＬＭまたはＸＲＭ、
すなわち全走査の中で左右それぞれにおける連続白色画
素数が最大のときのＸ座標が顔の左端または右端の座標
とされる。

【００２５】上に求められた顔の左右端座標を基に、下
式により眼のウインドウの横方向の幅位置が設定され
る。Ｘ軸センター座標＝ＸＣ＝ＸＬＭ＋（（ＸＲＭ−ＸＬ
Ｍ）／２）左眼ウインドウの左側Ｘ座標＝Ｘ1 ＝ＸＬＭ左眼ウインドウの右側Ｘ座標＝Ｘ2 ＝ＸＣ−２５右眼ウインドウの左側Ｘ座標＝ＸＸ1 ＝ＸＣ＋２５右眼ウインドウの右側Ｘ座標＝ＸＸ2 ＝ＸＲＭ

【００２６】前記のステップＳ１０１、Ｓ１０２におけ
る連続白色画素数のカウントと左右端Ｘ座標ＸＬＭ、Ｘ
ＲＭの記憶は図８、図９に示す流れで行なわれる。前述
のようにステップＳ１００において、横方向（Ｘ方向）
走査の縦方向における開始位置がＹ＝４０とされと、次
にステップＳ２０２で、横方向の検索開始ラインのＸ座
標値（＝２５０）が左検索Ｘ座標ＸＬおよび右検索Ｘ座
標ＸＲにセットされる。このＸ座標値は、図７に示され
るように、車両運転者がカメラの画角範囲内に存在すれ
ば、確実に顔面部のなかに位置するラインを表わしてい
る。

【００２７】次に、ステップＳ２０３において、右側走
査終了フラグＯＫＲがセットされているか否かが調べら
れる。ＯＫＲは後述するステップＳ２０７のほか、１本
の走査ラインの終端まで行ったときセットされる。ＯＫ
Ｒがセットされているときには、ステップＳ２１１以降
の顔面左端検索に進む。ＯＫＲがセットされていない場
合は、ステップＳ２０４に進んで、画素Ｊ（ＸＲ，Ｙ）
が白（２５５）かどうかがチェックされる。

【００２８】画素Ｊ（ＸＲ，Ｙ）が白の場合は、ステッ
プＳ２０５、Ｓ２０６で右側連続白色画素数ＷＸＣＲ、
および検索Ｘ座標ＸＲがそれぞれカウントアップされ
る。ステップＳ２０４のチェックで画素Ｊ（ＸＲ，Ｙ）
が白でない場合には、ステップＳ２０７に進んでＯＫＲ
がセットされた後、ステップＳ２０８で、今まで記憶さ
れていた右側端点の最大値ＸＲＭと今回の端点ＸＲが比
較され、ＸＲの方が大きい場合のみ、すなわち図７にお
いてより右側にある場合にのみ、ステップＳ２０９にお
いてＸＲが新たな右端点ＸＲＭとされたうえ、ステップ
Ｓ２１１に進む。

【００２９】ステップＳ２１１〜Ｓ２１７において、上
記と同様の処理が左側について行なわれる。ここでは、
先のステップＳ２０６でカウントアップされるのに対し
て、ステップＳ２１４では検索Ｘ座標ＸＬがカウントダ
ウンされる点、およびステップＳ２０８、Ｓ２０９でよ
り大きいＸＲがＸＲＭとされるのに対して、ステップＳ
２１６およびＳ２１７では今回の端点ＸＬが記憶されて
いた左側端点のＸＬＭよりも小さいとき、すなわちより
左側にあるとき、今回のＸＬが左端点ＸＬＭとされる点
が右側における検索と相異している。

【００３０】次いで、ステップＳ２２１において、走査
終了フラグＯＫＬおよびＯＫＲのセット状態がチェック
される。１本の走査ライン上で、走査がその終端まで済
むか、あるいは連続白色画素の左右端が検出されると、
走査終了フラグがセットされる。ＯＫＬおよびＯＫＲが
セットされているときには、ステップＳ２２２に進んで
これらのフラグはクリアされ、ステップＳ２２３でＹ座
標値がインクリメントされ、縦方向隣の検索ラインに移
る準備が行なわれる。

【００３１】次に、図４のステップＳ６、Ｓ６’の眼の
ウインドウの縦幅設定の詳細を示す。この処理は眼の
ウインドウのＹ方向幅座標を検出するもので、左右それ
ぞれの眼について行われる。処理は大きく分けて黒領域
２点の検索処理と、眼鏡の有無検索処理の２つに分かれ
る。

【００３２】黒領域２点の検索処理では、左眼について
図１０に例示するように、鼻の穴の黒い部分の検出を避
けるため、左眼ウインドウの右側Ｘ座標Ｘ2 から１０ド
ット左側、すなわち（Ｘ2 −１０）を始点とし、この位
置から横方向（Ｘ方向）に、（Ｘ2 −９０）までを検索
範囲としている。検索は検索開始ラインのＹ座標ＹＬ
から０の間を縦方向上方（Ｙ方向）へ走査し、これが横
方向４ドット毎の間隔で行なわれる。検索開始ライン
（Ｙ＝ＹＬ）は左右端を決定した走査ラインの下方に設
定される。

【００３３】右眼に関しては、右眼ウインドウ左側Ｘ座
標ＸＸ1 から１０ドット右側、すなわち（ＸＸ1 ＋１
０）を始点とし、この位置から横方向（Ｘ方向）に（Ｘ
Ｘ1 ＋９０）までが検索範囲とされる。走査は左眼と同
じくＹ＝ＹＬ〜０とされ、横方向には４ドット毎の間隔
で行なわれる。

【００３４】図１１、図１２、図１３は、上記眼のウイ
ンドウの縦幅設定を、とくに左眼側について示すフロー
チャートである。まず、ステップＳ３０１において、１
番目と２番目の黒領域のＹ座標の最大値（最下点）のメ
モリ変数ＢＹ１ＭＡＸおよびＢＹ２ＭＡＸの値が０にク
リアされるとともに、Ｘ方向の検出範囲規定カウンタＸ
ＣＨＥＣＫが（Ｘ2 −１０）に、Ｙ方向の検索範囲規定
カウンタＹＣＨＥＣＫがＹＬに初期化される。つぎに、
ステップＳ３０２で、Ｘ方向の検索範囲規定カウンタＸ
ＣＨＥＣＫが（Ｘ2 −９０）以下か否かがチェックされ
る。これは、検索がＸ方向にすべて終了したを判別する
ものである。

【００３５】スタート時においては、未だＸ方向全ての
検索は終了していないから、ステップＳ３０３に進ん
で、１番目の黒領域が検出されたことを示す検出フラグ
ＦＬ１、連続黒色画素カウンタＢＬＡＣＫ、連続白色画
素カウンタＷＨＩＴＥ、１番目の黒領域と２番目の黒領
域との間隔が１０ドット以上あることを示すフラグＷＨ
ＩＴＥＦＬおよび１番目の黒領域と２番目の黒領域のそ
れぞれの最大値記憶バッファＢＹ１およびＢＹ２がクリ
アされる。

【００３６】次に、ステップＳ３０４において検索画素
が黒か否かが判別され、黒の場合はステップＳ３０５で
連続白色画素カウンタＷＨＩＴＥがクリアされるととも
に、ステップＳ３０６で連続黒色画素カウンタＢＬＡＣ
Ｋがカウントアップされる。その後、ステップＳ３０７
で連続黒色画素カウンタＢＬＡＣＫの値が１か否かをチ
ェックすることにより、黒画素の検出が初めてどうかが
判断される。連続黒色画素カウンタＢＬＡＣＫの値が１
の場合は、ステップＳ３０８において、黒領域の最下点
の候補として、Ｙ方向の検索範囲規定カウンタＹＣＨＥ
ＣＫでカウントされた現Ｙ座標がＳＥＴＹに記憶され
る。これらの点は図１０中に符号「１」で表わされる。

【００３７】つぎのステップＳ３０９では、黒画素連続
カウンタＢＬＡＣＫの値が２以上であるかどうかがチェ
ックされる。黒画素が２以上の場合は、ステップＳ３１
０で１番目の黒領域を検出したフラグＦＬ１がセットさ
れているか否かが調べられる。ここでフラグＦＬ１がセ
ットされていない場合は、ステップＳ３１１に進んで、
１番目の黒領域の最大値記憶バッファＢＹ１にＳＥＴＹ
の値が代入されて保管されるとともに、フラグＦＬ１が
セットされる。そして、ステップＳ３２８でＹ座標ＹＣ
がカウントダウンされて、走査ライン上１つ上の画素の
検索に移る。

【００３８】ステップＳ３１０でフラグＦＬ１がセット
されている場合には、ステップＳ３１２へ進み、１番目
の黒領域と２番目の黒領域の間隔が１０ドット以上ある
ことを示すフラグＷＨＩＴＥＦＬがセットされているか
否かがチェックされる。フラグＷＨＩＴＥＦＬがセット
されている場合は、２番目の黒領域が検出されたことに
なるので、ステップＳ３１３で２番目の黒領域の最大値
記憶バッファＢＹ２にＳＥＴＹの値が代入され保管され
る。これは、図１０において符号「２」で示される。

【００３９】ステップＳ３１２でフラグＷＨＩＴＥＦＬ
がセットされていない場合には、１番目の黒領域と２番
目の黒領域の間隔が狭く、両者の差が明確でないので、
ステップＳ３１４において、黒画素の連続数が５０ドッ
トを越えるか否かが調べられる。ここで黒画素の連続数
が５０ドットを越えていない場合は、そのままステップ
Ｓ３２８に進んで１つ上の画素の検索に移る。また、黒
画素の連続数が５０ドットを越えている場合には、頭髪
が検出されたものとしてステップＳ３１５でバッファＢ
Ｙ２がクリアされる。

【００４０】一方、先のステップＳ３０４において、検
索画素が白であった場合には、ステップＳ３１６で連続
黒色画素カウンタＢＬＡＣＫがクリアされたうえ、ステ
ップＳ３１７で１番目の黒領域が検出されていることを
示すフラグＦＬ１がセットされているか否かがチェック
される。フラグＦＬ１がセットされていない場合は、未
だ黒領域が１つも検出されていないためステップＳ３２
８を経て１つ上の画素の検索に移る。

【００４１】フラグＦＬ１がセットされている場合に
は、ステップＳ３１８で連続白色画素カウンタＷＨＩＴ
Ｅがカウントアップされたうえ、ステップＳ３１９で白
画素が１０ドット以上連続したかどうかがチェックされ
る。ここで白画素が１０ドット以上連続しているときに
は、まず眼と眉の間か、あるいは眼鏡フレームと眼の間
が検出されたものと想定するとともに、ステップＳ３２
０で１番目の黒領域と二番目の黒領域の間隔が１０ドッ
ト以上あることを示すフラグＷＨＩＴＥＦＬがセットさ
れる。白画素が１０ドット以上連続していない場合は、
ステップＳ３２８を経て１つ上の画素の検索に移る。

【００４２】ステップＳ３２０の後は、ステップＳ３２
１において、白画素が８０ドット以上連続したかどうか
が調べられる。白画素が８０ドット以上連続した場合
は、眉毛が検出されたのではなく顔が検出されたものと
して、ステップＳ３２２に進み、２番目の黒領域の最大
値記憶バッファＢＹ２がクリアされる。白画素が８０ド
ット連続していないときには、ステップＳ３２８に進ん
で、Ｙ座標ＹＣがカウントダウンされて１つ上の画素の
検索に移る。

【００４３】ステップＳ３１１、Ｓ３１３、Ｓ３１５、
あるいはＳ３２２を経て１番目と２番目の黒領域の候補
点としてのそれぞれのバッファＢＹ１およびＢＹ２の値
が決定されると、ステップＳ３２３、Ｓ３２４におい
て、バッファＢＹ１の値が今までに記憶された１番目の
黒領域値の最大値（最下点）ＢＹ１ＭＡＸと比較され、
より大きい方がＢＹ１ＭＡＸとして記憶される。例え
ば、図１０を参照すれば、中央部の「１」の点のＹ座標
がＢＹ１ＭＡＸとして記憶される。続いて、ステップＳ
３２５、Ｓ３２６において、バッファＢＹ２の値が今ま
でに記憶された２番目の黒領域の最大値（最下点）ＢＹ
２ＭＡＸと比較され、より大きい方がＢＹ２ＭＡＸとし
て記憶される。図１０においては右側の「２」の点のＹ
座標がＢＹ２ＭＡＸとして記憶される。このようにし
て、２点の黒領域の検索により、１番目の黒領域の最下
点ＢＹ１ＭＡＸと２番目の黒領域の最下点ＢＹ２ＭＡＸ
が決定される。

【００４４】これに引き続いて、つぎに眼鏡の有無の検
索が行なわれる。ここでは、上記の黒領域の検索におい
て少なくも１番目の黒領域が検出された走査ラインが発
生すると、その走査ラインすなわち縦方向の検索が終了
する毎に、今度は画面中央部の鼻部分をカバーする領域
について横方向に延びる走査ラインが設定されて、眼鏡
を表わす黒領域の存否が検索される。

【００４５】まず、ステップＳ３２９において、２番目
の黒領域の最大値記憶バッファＢＹ２の値が０かどうか
がチェックされ、このＢＹ２の値を基にステップＳ３３
０またはＳ３３１で眼鏡検出のためのラインのＹ座標Ｂ
ＹＨが求められる。すなわち、２番目の黒領域の最大値
記憶バッファＢＹ２が０で、１番目の黒領域の最大値記
憶バッファＢＹ１だけ値があるときは、ＢＹＨ＝ＢＹ１＋１０とし、２番目の黒領域の最大値記憶バッファＢＹ２に値
があるときには、ＢＹＨ＝（ＢＹ１＋ＢＹ２）／２とされる。なお、後者のＢＹＨはＢＹ１とＢＹ２間の正
確な中間点である必要はなく、それらの間に位置する点
であれば任意である。

【００４６】このあとステップＳ３３２において、黒色
画素の数をカウントする黒色画素カウンタＢＬＡＣＫＸ
がクリアされ、ステップＳ３３３、Ｓ３３４で画素座標
ＸＣおよびＹＣに初期値Ｘ2 、ＢＹＨが設定される。ス
テップＳ３３５において、画素Ｊ（ＸＣ，ＹＣ）が黒か
否かが調べられ、黒の場合はステップＳ３３６で黒色画
素カウンタＢＬＡＣＫＸがカウントアップされた後、ま
た黒でないときはそのまま、ステップＳ３３７に進む。
ステップＳ３３７では、ＸＣがＸ方向へＸＣ＝Ｘ2 から
カウントアップされる。

【００４７】そして、ステップＳ３３８で、図１４のよ
うに、画素ＪがＸ方向へ検索範囲であるＸＸ1 を越える
まで検索されたかがチェックされ、ＸＣがＸＸ1 を越え
るまで検索横方向走査ライン上の画素検索が繰り返され
る。１本の走査ラインの検索が終了すると、ステップＳ
３３９へ進んで、黒色画素カウンタＢＬＡＣＫＸの値が
３より小さいかどうかがチェックされる。黒色画素カウ
ンタＢＬＡＣＫＸの値が３未満の場合は、眼鏡中央部の
フレームが検出されたものとして、ステップＳ３４０で
眼鏡無しカウンタＭＥＧＯＦＦがカウントアップされ
る。

【００４８】これが、Ｘ方向検索範囲内のすべての縦方
向走査ラインの検索が終わることに伴なって終了する
と、ステップＳ３４１において、眼鏡無しカウンタＭＥ
ＧＯＦＦの値が５を越えているか否かが調べられる。眼
鏡無しカウンタＭＥＧＯＦＦの値が５より大きい場合
は、眼鏡をかけていないものとして、ステップＳ３４２
に進む。ステップＳ３４２では、１番目に検出した黒領
域のＹ座標の最下点ＢＹ１ＭＡＸを基準にして、ウィン
ドウの縦方向（Ｙ方向）の幅を規定するＹ座標ＹＴ、Ｙ
Ｂが、ＹＴ＝ＢＹ１ＭＡＸ−４０ＹＢ＝ＢＹ１ＭＡＸ＋１０に設定される。

【００４９】また、眼鏡無しカウンタＭＥＧＯＦＦの値
が５以下のときには、眼鏡をかけているものとして、ス
テップＳ３４３に進む。ここでは２番目に検出した黒領
域のＹ座標の最下点ＢＹ２ＭＡＸを基準にして、ＹＴ＝ＢＹ２ＭＡＸ−４０ＹＢ＝ＢＹ２ＭＡＸ＋１０に設定される、

【００５０】以上の処理が右側の眼についても同様に行
なわれ、それぞれの眼のウインドウが設定される。な
お、右眼側の検索においては、ステップＳ３３３ではＸ
Ｃ＝ＸＸ1 とされる。また、ステップＳ３３７、Ｓ３３
８ではＸＣがＸＣ＝ＸＸ1 からカウントダウンされ、検
索範囲はＸＣがＸ2 を下回るまでの範囲とされる。

【００５１】こうして、顔の幅方向端を用いて左右個別
に眼のウインドウの横幅の範囲を設定するようにしたの
で、顔の向きによって赤外ストロボの照射画像に影が発
生する場合でもその影響が排除される。また、この眼の
ウインドウの縦幅設定では、２点の黒領域を有する範囲
を探索することとし、横に４ドット毎でわずか２０回の
縦方向走査を行なうだけで済むことになるから、ウイン
ドウ設定が短時間になされる。

【００５２】上記のようにして設定された眼のウインド
ウの範囲において、図４のステップＳ７の開閉眼の検出
が行なわれる。開閉眼の検出においては、２値化した画
像Ｊ（Ｘ，Ｙ）から眼のウインドウ内に虹彩部分を検出
する処理が行われる。虹彩は、一般に暗い円形領域とし
て観測されるから、この円形領域を検出し、その領域面
積の変化を監視することにより運転者の居眠りの有無な
どの判定のための情報を得る。

【００５３】図１５は、虹彩の検出原理を示す説明図で
ある。眼のウインドウ内の任意の点（ｘ，ｙ）を中心と
する半径Ｒの円を設定し、点（ｘ，ｙ）を中心として放
射状に４つの矩形を設定する。この矩形は、円の内外方
にそれぞれＰ画素だけ延在するように設定される。そし
て、円より外方の矩形白抜き部の明度値の総和と、円よ
り内方の矩形ハッチング部の明度値の総和との差δを求
める。これを上記任意の点（ｘ，ｙ）においてＲｍｉｎ
〜Ｒｍａｘまで行い、差δの最大値を最大明度差Δとし
てこれを記憶する。ウインドウ内の全画素点を中心とし
て順次行い、差δの最大値が上記記憶された最大明度差
Δより大きければ、今回演算された新たなδの最大値を
Δとして記憶する。これは、ウインドウ内に虹彩が存在
するとき、虹彩は他の領域に比べて輝度が低い円形図形
として検出され、虹彩を中心に求められる上記差δが最
大になることを利用している。

【００５４】図１６、図１７に上記処理のフローが示さ
れる。まず、ステップＳ９０１において、眼のウイン
ドウ内を走査するカウンターｘ，ｙの値がそれぞれ１に
リセットされる。ここに設定された眼のウインドウの
大きさは、ｘ方向Ｍドット、ｙ方向Ｎドットとする。つ
ぎにステップＳ９０２で、虹彩検出の中心座標の画素Ｊ
（ｘ，ｙ）が黒であるか否かが調べられ、黒であるとき
はステップＳ９０３に進んで、検出半径ＲをＲｍｉｎと
されたあと、ステップＳ９０４、Ｓ９０５において、Δ
およびｐがリセットされる。

【００５５】ステップＳ９０６において明度値の差δが
計算される。式中、前半の４項Ｌ（ｘ＋Ｒ＋ｐ，ｙ），
Ｌ（ｘ，ｙ−Ｒ−ｐ），Ｌ（ｘ−Ｒ−ｐ，ｙ），Ｌ
（ｘ，ｙ＋Ｒ＋ｐ）はそれぞれ座標中心（ｘ，ｙ）から
半径（Ｒ＋ｐ）離れた右、下、左、上の位置の明度を表
わし、式の後半の４項Ｌ（ｘ＋Ｒ−Ｐ−１，ｙ），Ｌ
（ｘ，ｙ−Ｒ＋ｐ＋１），Ｌ（ｘ−Ｒ＋Ｐ＋１，ｙ），
Ｌ（ｘ，ｙ＋Ｒ−ｐ−１）はそれぞれ中心座標（ｘ，
ｙ）から半径（Ｒ−（ｐ＋１））離れた右、下、左、上
の位置の明度を表わしている。

【００５６】そして、ステップＳ９０７でｐを１ずつカ
ウントアップさせながら、ステップＳ９０８によりｐが
（Ｐ−１）になるまで、上記δの計算が繰返される。ス
テップＳ９０９、Ｓ９１０では、こうして得られた半径
Ｒｍｉｎにおける矩形白抜き部の明度値総和と矩形ハッ
チング部の明度値総和の差δが最大明度差Δと比較さ
れ、δがΔより大きいときはδが新たな最大明度差Δと
される。ここでは最初のサイクルであるから半径Ｒｍｉ
ｎにおけるδがそのまま最大明度差Δに入る。

【００５７】このあと、ステップＳ９１１では、半径Ｒ
がカウントアップされ、すなわちＲ＝（Ｒｍｉｎ＋１）
としてステップＳ９０５へ戻り、ステップＳ９０６が繰
返されて半径（Ｒｍｉｎ＋１）としたときの矩形領域の
明度差δが求められる。この明度値の差δが第１回目の
半径ＲｍｉｎについてのΔよりも大きければ、今回の明
度値の差δが最大明度差Δとされる。これがステップＳ
９１２を経て半径Ｒｍａｘまで繰返され、任意の点
（ｘ，ｙ）について最大明度差Δが求まる。そして、上
記処理がｘ＝１〜Ｍ、ｙ＝１〜Ｎの眼のウインドウ全体
にわたって行なわれ、そのなかで求まる最大明度差のう
ち最大のものが、虹彩の中心についての明度差となる。

【００５８】開眼時と閉眼時とでは上記虹彩における最
大明度差Δは大きく異なるから、その変化状態を用いて
眼の誤検出の判定が行なわれる。図１８は、図４のフロ
ーチャートのステップＳ９における眼の誤検出の判定と
その対応処理の詳細を示す。眼の誤検出は、求められた
眼のウインドウ内での最大明度差Δの時系列の変化状態
によって行なわれる。眼が正しく捉えられている場合
は上記のとおり瞬きなどにより最大明度差の変化が発生
することが考えられることから、まずステップＳ５０１
において、最大明度差Δの所定の一定時間以上の無変化
の継続がチェックされる。

【００５９】上記所定時間内で最大明度差が変化してい
る場合は、ステップＳ５０２で誤検出判定フローカウン
ト値がリセットされて、現在実行されている開閉眼のパ
ターンによる居眠り検出が継続される。またステップＳ
５０１で最大明度差Δが一定時間内に変化しない場合に
は、眼球を正しく捉えていないと判断され、ステップＳ
５０３以下の誤検出フローに入る。ステップＳ５０３で
は、このステップを通過する毎に誤検出判定フローカウ
ンタがカウントされる。ステップＳ５０４でこの誤検出
フローに入ったのが何回目かを調べ、初めてこの誤検出
フローに入った場合は、ステップＳ５０５に進む。この
ステップ５０５では、眼のウインドウ設定の基準を上下
入れ替えてウインドウ範囲が補正される。

【００６０】これは、眼鏡検出における認識ミスのため
に眼鏡フレームにウインドウが設定された場合や、眉に
ウンンドウが設定されてしまった場合を想定したもので
ある。眼鏡をかけていない運転者については図１２のス
テップＳ３４２で眼のウインドウの基準座標ＹＢがＢＹ
１を用いて設定されるが、眼鏡をかけていないのに眼鏡
をかけているものと誤って判断された場合はステップＳ
３４３でＢＹ２が用いられて設定され、眉などを囲むウ
インドウになってしまう可能性がある。またこの逆の可
能性もあるから、これらの場合にもう一方の候補点に眼
のウインドウの設定基準を切り換え補正して、ずらして
みるものである。

【００６１】ステップＳ５０５の処理により、図４のメ
インフローで次に取り込む画像データからについては、
補正後の新たな眼のウインドウについて開閉眼の検出が
行なわれる。眼のウインドウが正しく眼を取り込むもの
となった場合は、瞬きなどによる最大明度差Δの変化が
みられるから、ステップＳ５０１からステップＳ５０２
を経て通常の居眠り検出フローに進む。

【００６２】眼のウインドウが補正されても最大明度差
Δの変化が見られないときは、再びステップＳ５０３、
Ｓ５０４に進み、今度は誤検出フローに２回以上入るこ
とになりステップＳ５０６以下の処理となる。ここで
は、図４のステップＳ３における画像データの２値化が
不適切のため、眼が消えてしまって眉や髪にウインドウ
が設定された場合や、顔にできる影が十分に取り除けら
れなかったためにその影にウインドウが設定されてしま
った場合が考えられる。そこで、２値化画像の改善を行
なうため、ステップＳ５０６では眼のウインドウがクリ
アされ、ステップＳ５０７で、ステップＳ３における画
像データ２値化のためのしきい値の補正量が設定され
る。２値化しきい値の補正は、画像データの濃度情報
などによりその補正方向を推定し設定される。

【００６３】このフローにはステップＳ５１０が設けら
れて、２値化しきい値の補正が３回行なわれても最大明
度差Δの変化が得られない場合は、ステップＳ５１１に
進み、他に原因があるものとしてシステムエラー信号が
発信される。

【００６４】以上のように、この実施例によれば、顔の
幅方向端の安定部の有無と連続画素数の変化に基づい
て、輪郭線の連続性を判断するから、顔面の片側から外
光が射し込むなどして顔画像の輪郭線が中断することが
あっても、顔面の端が簡単に特定され、眼球存在領域の
設定が容易である。さらに、顔面の左右端を個別に走査
検出するから、顔面の片側の端が外光の影響などで万一
検出できなくても、反対側の端は確実に検出される利点
がある。そして誤検出をチェックするようにしたから、
万一ノイズなどにより眼球存在領域の設定に誤りが発生
しても、自動的に修復され、正確な開閉眼の検出が確保
される。これにより、正確、安定に居眠りなどの運転者
状態が検出される。

【００６５】次に、第２の実施例として、メインフロー
のステップＳ７の開閉眼の検出を、眼球存在領域での眼
球部の連続黒色画素数をＹ方向に計数して行なうととも
に、その黒色画素数を用いて眼の誤検出を行なうものを
示す。眼球存在領域、すなわち眼のウインドウでの連続
黒色画素数の計数は、左右それぞれの眼について行われ
るが、ここでは左眼側を示す図１９を参照して説明す
る。左眼のウインドウの右側Ｘ座標Ｘ2 を始点とし、こ
の位置から横方向（Ｘ方向）にＸ1 までを範囲とし、検
索開始のＹ座標ＹＢから縦方向上方（Ｙ方向）に（ＹＢ
−５０）まで検索され、これが横方向１ドット毎に繰り
返される。また、右眼に関しては右眼のウインドウ左側
Ｘ座標ＸＸ1 を始点とし、この位置から横方向（Ｘ方
向）にＸＸ2 までを範囲とし、検索開始のＹ座標は右眼
のウインドウ座標設定処理で求められたＹＢ’から縦方
向上方（Ｙ方向）に（ＹＢ’−５０）までを同様に検索
される。

【００６６】このＹ方向検出の詳細フローが図２０、図
２１に示される。まず、ステップＳ４０１において、Ｘ
方向の検出範囲の規定カウンタＸＥＣＨＥＣＫがＸ2
に、また、Ｙ方向の検索範囲規定カウンタＹＥＣＨＥＣ
ＫがＹＢに初期化され、最大連続黒色画素数ＢＬＡＣＫ
ＥＭＡＸがクリアされる。次に、ステップＳ４０２では
Ｘ方向の検索範囲規定カウンタＸＥＣＨＥＣＫがＸ1 以
下か否かによりＸ方向へ全て検索したかがチェックされ
る。ここではまだ、Ｘ方向全ての検索を終了していない
からステップＳ４０３へ進み、新たなＸ軸の検索を行な
う前に、連続黒色画素を検出したことを示すフラグＥＢ
ＦＬ、連続白色画素を検出したことを示すフラグＥＷＦ
Ｌ、連続黒色画素カウンタＢＬＡＣＫＥ、連続白色画素
カウンタＷＨＩＴＥＥがクリアされる。

【００６７】次のステップＳ４２１では、Ｙ軸上の検索
初期値が白色画素であるか否かが調べられる。これが黒
色画素の場合は、眼のウインドウ内の髪などが検出され
たものとし、そのＸ値でのＹ方向への走査は中止され、
ステップＳ４１８を経て、１ドット間隔の次のＸ値の走
査ライン上の検索に移る。またステップＳ４２２でＹ方
向の検索が全て終わった場合もステップＳ４１８を経て
Ｘ方向隣の走査ライン上の検索に移る。

【００６８】検索初期画素が白色のときはステップＳ４
０４に進んで、連続白色画素のフラグがセットされてい
るかどうかが調べられる。いま初期設定でフラグＥＷＦ
Ｌがセットされていないときは、該当するドットが黒色
画素か白色画素かのチェックステップＳ４０５を経て、
ステップＳ４１２に進み、連続黒色画素のフラグＥＢＦ
Ｌのセットの有無がチェックされる。

【００６９】フラグＥＢＦＬがセットされていないと
き、ステップＳ４１６で連続白色画素カウンタＷＨＩＴ
ＥＥがカウントアップされる。そして、このカウント値
により連続白色画素が３０を越えるまでは毎回連続黒色
画素カウンタＢＬＡＣＫＥをクリアしながらステップＳ
４１７、Ｓ４２０、Ｓ４１９でＹ方向上方のドットへ走
査が継続された後、ステップＳ４１８を経て次のＸ軸方
向のライン、すなわち横隣のラインの検索に移る。

【００７０】新しいラインに移って、ステップＳ４０５
でドットが黒色画素のときには、ステップＳ４０６に進
んで連続白色画素カウンタＷＨＩＴＥＥがクリアされ、
また、ステップＳ４０７で連続黒色画素カウンタＢＬＡ
ＣＫＥがカウントアップされる。この後、ステップＳ４
０８、Ｓ４０９において、ＢＬＡＣＫＥのカウント値が
２を越していればフラグＥＢＦＬがセットされて、１つ
上の画素に移る。これは２ドット以下の黒色画素のノイ
ズを除こうとするものである。

【００７１】ステップＳ４１２でフラグＥＢＦＬがセッ
トされているときには、ステップＳ４１３で連続白色画
素カウンタＷＨＩＴＥＥがカウントアップされる。この
後、ステップＳ４１４、Ｓ４１５において、ＷＨＩＴＥ
Ｅのカウント値が５以上になったときはフラグＥＷＦＬ
がセットされ、５未満の場合はセットされないままでス
テップＳ４１９に進む。

【００７２】ステップＳ４０４でフラグＥＷＦＬがセッ
トされている場合は、ステップＳ４１０に進んで、連続
黒色画素カウンタＢＬＡＣＫＥのカウント値と最大連続
黒色画素数ＢＬＡＣＫＥＭＡＸとが比較される。ここで
Ｘ軸の現在のライン上でカウントされたＢＬＡＣＫＥが
ＢＬＡＣＫＥＭＡＸより多いときには、ステップＳ４１
４でＢＬＡＣＫＥＭＡＸにＢＬＡＣＫＥの値が入れら
れ、またＢＬＡＣＫＥがＢＬＡＣＫＥＭＡＸより少ない
場合にはＢＬＡＣＫＥＭＡＸはそのままで、次の横隣り
の検索に移る。

【００７３】上記の流れにおけるとくにステップＳ４０
４以降の動作を、図１９に例示した眼のウインドウ内の
走査ライン「イ」〜「ヘ」の場合について説明する。（１）走査ライン「イ」の場合この眼のウインドウにおける最初の走査ラインであると
して、ステップＳ４０４でのチェックでは連続白色画素
のフラグＥＷＦＬはまだセットされていないため、ステ
ップＳ４０５に進み、該当ドットが黒色画素か白色画素
かが調べられる。ここでは白色画素であるから、ステッ
プＳ４１２へ進む。ステップＳ４１２において、連続黒
色画素のフラグのセット状態がチェックされる。このと
き当該フラグはセットされておらず、ステップＳ４１６
へ進んで連続白色画素カウンタＷＨＩＴＥＥのカウント
アップがスタートされる。

【００７４】そして連続白色画素数が３０個を越えるま
では、ステップＳ４１７からＳ４２０を経てステップＳ
４１９に進んで、Ｙ座標がカウントダウンされ、走査ラ
イン上の１つ上の画素の検索に移り同一フローで白色画
素数のカウントアップが繰り返される。ステップＳ４
２０については後述する。白色画素が３０コを越えた場
合は、それ以後現れる黒色画素は眼である可能性が低
く、眉や髪などのカウントを防ぐため、Ｙ方向眼のウイ
ンドウの上縁までの走査がすべて終わっていなくても、
ステップＳ４１７からステップＳ４１８へ進んで、隣の
ライン検索に移る。この走査ラインでは、開閉眼の判断
に用いる最大連続黒色画素数ＢＬＡＣＫＥＭＡＸの値は
０のままで、数値が更新されることはない。

【００７５】（２）走査ライン「ロ」の場合ステップ４１８を経て新たな走査ライン「ロ」の検索に
移ると、ステップＳ４０３でフラグおよびカウンタがク
リアされ、ステップＳ４０４に進む。ステップＳ４０３
でフラグがクリアされているため、走査ライン「イ」の
場合と同様に、ステップＳ４０５、ステップＳ４１２、
ステップＳ４１６、ステップＳ４１７、ステップＳ４２
０、およびステップＳ４１９の流れで、黒色画素が現れ
るまで、Ｙ座標のカウントダウンと白色画素のカウント
アップが行なわれる。

【００７６】そして、少なくとも白色画素が３０コを越
える前に黒色画素が現れる。これにより、ステップＳ４
０５から今度はステップＳ４０６へ移り、連続白色画素
カウンタＷＨＩＴＥＥがクリアされる。次のステップＳ
４０７で連続黒色画素カウンタＢＬＡＣＫＥのカウント
アップがスタートされ黒色画素が連続するかぎりこのカ
ウントアップが継続される。この間ステップＳ４０８に
おいて、ノイズを除くためそのカウント値が２より大き
いかチェックされる。連続黒色画素２ドット以下で白色
画素が現れた場合、次のサイクルでステップＳ４０５か
らステップＳ４１２、ステップＳ４１６、ステップＳ４
１７を経てステップＳ４２０に至り、ノイズとしてカウ
ントされた恐れありとして、連続黒色画素カウンタがク
リアされる。

【００７７】検索を続けてステップＳ４０８で３ドット
以上の黒色画素が連続したものとなった場合には、ステ
ップＳ４０９でフラグＥＢＦＬがセットされて、同ライ
ン上の走査が継続される。このあと、黒色画素の連続が
途切れたときには、ステップ４０５からステップＳ４１
２へ移る。ここではフラグＥＢＦＬがセットされている
から、ステップＳ４１３に進み、連続白色画素カウンタ
ＷＨＩＴＥＥのカウントがスタートされる。

【００７８】次のステップＳ４１４では、白色画素の連
続数が５個以上であるかチェックされる。連続数が５個
未満の場合は、ステップＳ４１９を経てＹ座標を上方へ
進みながら同じ流れでＷＨＩＴＥＥのカウントアップが
繰り返される。こうして、白色画素の連続が５個以上に
なると、ステップＳ４１４からＳ４１５に進み、フラグ
ＥＷＦＬがセットされる。

【００７９】フラグＥＷＦＬセット後、ステップＳ４１
９へ戻って再びＹ座標がカウントダウンされ１つ上の画
素に移る。今度はフラグＥＷＦＬがセットされているか
ら、ステップＳ４０４からステップ４１０へ進み、ステ
ップＳ４０７で先にカウントされたＢＬＡＣＫＥの連続
黒色画素数と最大連続黒色画素数ＢＬＡＣＫＥＭＡＸと
が比較される。走査ライン「ロ」ではじめて連続黒色画
素が現われたとすれば、ＢＬＡＣＫＥＭＡＸ＝０であっ
たから、ステップＳ４１１においてＢＬＡＣＫＥＭＡＸ
にＢＬＡＣＫＥのカウント値が入れられる。

【００８０】このようにして、Ｙ軸上の初期値位置から
白色画素の連続が検出され、その後眼の部分にあたる黒
色画素の連続を検出してその黒色画素数がカウントされ
る。その後、また眼の上方側の白色画素が検出されるこ
とにより、眼の縦方向の大きさが認識されることにな
る。

【００８１】（３）走査ライン「ハ」の場合２値化されたとき白くなる眼球虹彩部を通るラインの場
合である。虹彩部の白化は、夜間、トンネル内などにお
ける赤外光のみでの画像の場合によく見られる。基本的
な流れは走査ライン「ロ」の場合と同様であるが、連続
黒色画素が検出されて連続黒色画素カウンタＢＬＡＣＫ
Ｅがカウントアップされている途中で、虹彩部の白色画
素により、眼の部分の黒色画素がまだ続くにもかかわら
ず、連続黒色画素のカウントが中断され、連続白色画素
カウンタＷＨＩＴＥＥのカウントアップが開始される。

【００８２】しかし、虹彩部では白色画素が５個続く前
に再び黒色画素が現れるので、フラグＥＷＦＬがセット
されることなくステップＳ４１４からＳ４１９へ移り、
中断されていたステップＳ４０７でのＢＬＡＣＫＥのカ
ウントアップが再開される。この後、眼の上側の白色画
素が検出された後の処理は、走査ライン「ロ」のときと
同じである。

【００８３】（４）走査ライン「ニ」の場合走査ライン「ロ」の場合と同一である。ステップＳ４
０７でカウントアップされた連続黒色画素カウンタＢＬ
ＡＣＫＥの値がより大きくなるから、眼の上側の連続白
色画素の検出のあと、ステップＳ４１０、Ｓ４１１にお
いてＢＬＡＣＫＥＭＡＸに代入されて、この眼のウイン
ドウにおける最大連続黒色画素数として記憶される。

【００８４】（５）走査ライン「ホ」の場合眼以外の例えば眉や髪などの黒領域にかかったラインで
ある。眉や髪などの黒色画素は少なくとも眼の下にあ
ることはないから、Ｙ方向の走査ライン上の検索が開始
されると、連続白色画素カウンタＷＨＩＴＥＥのカウン
トアップが繰り返されて連続白色画素数が３０個を越え
てしまう。これにより、ステップＳ４１７からＳ４１８
へ進んで現在の走査ラインでの検索が中止され、次のＸ
方向隣の走査ラインの検索に移る。

【００８５】（６）走査ライン「ヘ」の場合眼のウインドウの左端の髪部分を通るラインの場合であ
る。この場合、ウインドウの端部における髪部分では
連続黒色画素数が非常に多くなる可能性があるが、その
連続黒色画素の上方に連続白色画素が現れることはない
から、フラグＥＷＦＬがセットされることはなく、髪に
よる連続黒色画素カウンタＢＬＡＣＫＥの値が大きくな
っても、最大連続黒色画素数ＢＬＡＣＫＥＭＡＸの値の
置き換えは行なわれない。このため、このライン上の連
続黒色画素が眼球と誤認識されることはない。

【００８６】以上のＹ方向に延びる走査ラインの検索
が、Ｘ方向の範囲全部について終了すると、最大連続黒
色画素数ＢＬＡＣＫＥＭＡＸが眼球の縦方向（Ｙ方向）
の大きさとして得られたことになる。これらの処理では
ＢＬＡＣＫＥＭＡＸが開眼、閉眼に係わらず検出するこ
とができ、その連続黒色画素の数により開閉眼を認識す
ることが可能である。

【００８７】すなわち、画像の１フレーム毎にステップ
Ｓ４１１で求められる最大連続黒色画素数ＢＬＡＣＫＥ
ＭＡＸの最大値ＭＡＸと最小値ＭＩＮを更新記憶して、
ＭＡＸとＭＩＮを基にしきい値を設定することによっ
て、ＢＬＡＣＫＥＭＡＸとそのしきい値との比較から開
閉眼の別が検出される。そしてこの開閉眼のパターンに
よって居眠り状態の判定が行なわれる。

【００８８】次に、図２２は眼の誤検出の判定とその対
応処理を示す。まずステップＳ６０１において、上に求
められた最大連続黒色画素数ＢＬＡＣＫＥＭＡＸに所定
の一定時間以上にわたって変化がなかったかどうかがチ
ェックされる。上記所定時間内でＢＬＡＣＫＥＭＡＸが
変化している場合は、ステップＳ６０２で誤検出判定フ
ローカウント値がリセットされて、現在実行されている
開閉眼のパターンによる居眠り検出が継続される。また
ステップＳ６０１でＢＬＡＣＫＥＭＡＸが一定時間内に
変化しない場合には、眼球を正しく捉えていないと判断
され、ステップＳ６０３以下の誤検出フローに入る。

【００８９】初めてこの誤検出フローに入った場合は、
ステップＳ６０５に進んで、眼のウインドウ設定の基準
を上下入れ替えてウインドウ範囲が補正される。眼のウ
インドウが補正されても最大連続黒色画素数の変化が見
られないときは、再びステップＳ６０３、Ｓ６０４に進
み、今度は誤検出フローに２回以上入ることになりステ
ップＳ６０６以下の処理となる。ここでは、眼のウイン
ドウがクリアされ、ステップＳ６０７で画像データ２値
化のためのしきい値の補正量が設定される。その他、虹
彩部の明度差に代えて黒色画素数を用いているほかは図
１８のフローと同じである。

【００９０】このほか、図４のメインフローにおけるス
テップＳ７の開閉眼の検出としては、特開平３−２０２
０４５号公報に開示されたように、虹彩部を検出するた
め眼球存在領域における暗領域部分の面積を統計的手法
で処理して、運転者の虹彩中心位置を検出するようにし
たものも採用することができる。この場合には、運転開
始時に運転者の眼の大きさに関する個人データが学習さ
れ、これに基づいて開閉眼の判定値の変化領域が限定さ
れる。このため、例えば安全確認あるいはわき見運転、
さらには長時間運転による姿勢の崩れによって、眼球存
在領域から眼が逸脱すると、開閉眼の判定領域を越えた
値が出力されることになる。

【００９１】したがってこの際には、上記特性に基づ
き、第３の実施例としてステップ９の誤検出判定対応処
理を図２３のフローチャートに示されるものとすること
ができる。すなわち、ここでの眼の誤検出は、暗領域の
面積を内容とする開閉眼の値の変化状態によって行なわ
れ、ステップＳ８０１でｎがリセットされたあと、まず
ステップＳ８０３において、上記開閉眼の値が設定値Ｅ
ＹＥｍｉｎとＥＹＥｍａｘの間にあるかどうかがチェッ
クされる。ここで、ＥＹＥｍｉｎおよびＥＹＥｍａｘは
虹彩であることの条件を示す限界値である。

【００９２】開閉眼の値がこの範囲に入っていないとき
には、ステップＳ８０４でｎがカウントアップされ、同
じ状態が続く間ステップＳ８０５によりｎが５０になる
までカウントアップが継続される。上記カウントアップ
の途中で開閉眼の値が上記設定値範囲に入ったときに
は、この間の上記設定値範囲からの逸脱は安全確認のた
めであったものとして、ステップＳ８０３からＳ８０２
を経てステップＳ８０１へ戻り、ｎがリセットされる。
一方、ｎが５０までカウントアップされると、眼球を正
しく捉えていないと判断され、ステップＳ８０６以下の
誤検出フローに入る。

【００９３】ステップＳ８０６では、このステップを通
過する毎に誤検出判定フローカウンタがカウントされ
る。ステップＳ８０７でこの誤検出フローに入ったのが
何回目かを調べ、初めてこの誤検出フローに入った場合
は、ステップＳ８０８に進む。このステップＳ８０８で
は、眼のウインドウの設定ミスを想定してその設定基準
を上下入れ替えてウインドウ範囲が補正される。

【００９４】ステップＳ８０８の処理により、図４のメ
インフローで次に取り込む画像データからについては、
補正後の新たな眼のウインドウについて開閉眼の検出が
行なわれる。眼のウインドウが正しく眼を取り込むもの
となった場合は、開閉眼の値が上記設定値範囲に入るか
ら、ステップＳ８０３からＳ８０２を経てステップＳ８
０１に戻り、通常の居眠り検出フローに進む。

【００９５】眼のウインドウが補正されても開閉眼の値
が設定値範囲に入らないときは、再びステップＳ８０
６、Ｓ８０７に進み、今度は誤検出フローに２回以上入
ることになりステップＳ８０９以下の処理となる。ステ
ップＳ８０９では眼のウインドウがクリアされ、ステッ
プＳ８１０で、メインフローのステップＳ３における画
像データ２値化のためのしきい値の補正量が設定され
る。そして、ステップＳ８１１において、２値化しきい
値の補正が３回行なわれても開閉眼の値が設定値範囲に
入らないときは、ステップＳ８１２に進み、他に原因が
あるものとしてシステムエラー信号が発信される。

【００９６】図２４〜図２６には、本発明の第４の実施
例が示される。図２４はとくにそのフローチャートであ
って、ステップＳ７０１〜Ｓ７０３は図４のステップＳ
１〜Ｓ３と同じである。そしてステップＳ７０４では、
ステップＳ７０３で得られた２値化データを基に、図４
のステップＳ５、Ｓ６と同要領で左眼の第１ウインドウ
が設定され、ステップＳ７０５でも左眼について第２ウ
インドウが設定される。これと並行にステップＳ７０
４’、Ｓ７０５’において右眼について第１および第２
ウインドウが設定される。第１および第２のウインドウ
はそれぞれ眼の候補点として考えられる領域で、眼鏡を
かけていない運転者、眼鏡着用の運転者それぞれ、図２
５、図２６のように、上下に２つの黒領域を含むウイン
ドウとなる。

【００９７】次にステップＳ７０６において、左右の眼
それぞれについて、第１および第２の両ウインドウにお
ける開閉眼の検出が行なわれる。この開閉眼の検出は前
述したいずれの例を用いてもよい。そして、ステップＳ
７０７において、誤検出の判定が行なわれる。ここで
は、第１、第２のウインドウのうち、変化が多くみられ
るウインドウを選択して、このウインドウの開閉眼検出
結果が次のステップＳ７０８の居眠り検出に供される。

【００９８】眼鏡をかけていない図２５の例では、開閉
眼検出結果は第１のウインドウに瞬きによる変化が現わ
れており、第２ウインドウには何等の変化も生じていな
い。この場合には、第１ウインドウの開閉眼検出結果に
基づいて居眠り検出が行なわれる。一方、眼鏡着用の図
２６の例では、第１ウインドウには変化が見られず、第
２ウインドウにまばたきの変化が検出されているから、
ここでは居眠り検出は対象を第２のウインドウに切り替
えてその開閉眼検出結果に基づいて行なわれることにな
る。なお、両ウインドウともに変化がなくなった場合に
は、図４の例と同様に、２値化補正量などの設定により
次の２値化処理にフイードバックが行なわれる。

【００９９】この実施例によれば、以上のとおり眼鏡の
有無などの判別を誤ることがあっても、変化のある方に
居眠り検出のウインドウを切り換えるから、眼の誤検出
による居眠り検出の空白期間がとくに短くなり、信頼性
の高い状態検出ができる。

【０１００】この発明の状態検出の基となる画像データ
の入力に関しては、実施例ではＣＣＤカメラによる画像
フレームの縦方向に顔部分がほぼいっぱいになるように
画角が調整される。運転者が特定の一人に固定されてい
るときはカメラも固定されたままでよいが、車両が複数
の運転者によって用いられるときには、運転者に応じて
自動的に撮影画角が調節されると便利である。例えば、
体形が小さい運転者の場合は、シート位置が前方で、ま
たメータ類が見易いようにステアリングのチルト角度が
小さいドライビングポジションとなり、インストルメン
トパネルに設置されるカメラに顔が近づきその顔位置は
低い。そのままであると顔画像は大きくなる。他方、体
形の大きい運転者の場合には、シート位置が後方で、ス
テアリングのチルト角度が立っているドライビングポジ
ションとなり、顔はカメラから遠く高い位置となって、
顔画像が小さくなる。

【０１０１】したがって、シート位置やステアリングの
チルト角度を検出して、カメラを自動制御することがで
きる。すなわち、シートが前位置のときはカメラをズー
ムダウンさせ、またチルト角度が小さいときカメラの撮
影方向を下向きとする。また、シートが後方位置のとき
はカメラをズームアップさせ、チルト角度が大きいカメ
ラの撮影方向を上向きとする。このほか、シートバック
の傾斜状態を検知して、シートバックを倒した運転者の
場合はカメラを下向き、ズームアップとし、シートバッ
クを起こしている運転者の場合はカメラを上向き、ズー
ムダウンとすることもできる。

【０１０２】

【発明の効果】以上のとおり、本発明は眼球存在領域内
の開閉眼検出のデータを用い、一定時間内のそのデータ
の変化の有無から眼の誤検出を判定して、眼球存在領域
の補正を行なうようにしたから、ノイズや光環境の変化
などに起因して眼球存在領域の設定に誤りが発生して
も、自動的に修復され、正確な開閉眼の検出が確保され
る。これにより、正確に安定して運転者状態が検出され
る。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】実施例の構成を示すブロック図である。

【図３】入力画像の座標系を示す説明図である。

【図４】実施例の全体の動作のメインフローを示すフロ
ーチャートである。

【図５】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。

【図６】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。

【図７】横幅設定における画像走査の説明図である。

【図８】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。

【図９】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。

【図１０】眼球存在領域の縦幅設定における画像走査の
説明図である。

【図１１】縦幅設定の流れを示すフローチャートであ
る。

【図１２】縦幅設定の流れを示すフローチャートであ
る。

【図１３】縦幅設定の流れを示すフローチャートであ
る。

【図１４】眼鏡の有無検索における画像走査の説明図で
ある。

【図１５】虹彩の検出原理を示す説明図である。

【図１６】虹彩検出による開閉眼検出の流れを示すフロ
ーチャートである。

【図１７】虹彩検出による開閉眼検出の流れを示すフロ
ーチャートである。

【図１８】眼の誤検出判定の流れを示すフローチャート
である。

【図１９】第２の実施例を示す眼球存在領域内走査ライ
ンの説明図である。

【図２０】眼球検出による開閉眼検出の流れを示すフロ
ーチャートである。

【図２１】眼球検出による開閉眼検出の流れを示すフロ
ーチャートである。

【図２２】眼の誤検出判定の流れを示すフローチャート
である。

【図２３】第３の実施例を示す眼の誤検出判定のフロー
チャートである。

【図２４】第４の実施例を示すフローチャートである。

【図２５】ウインドウと開閉眼検出結果の関係を示す説
明図である。

【図２６】ウインドウと開閉眼検出結果の関係を示す説
明図である。

【符号の説明】

ＣＬ１画像入力手段ＣＬ２２値化手段ＣＬ３眼球存在領域設定手段ＣＬ４開閉眼検出手段ＣＬ５運転者状態判定手段ＣＬ６誤検出判定手段ＣＬ７再設定手段１赤外ストロボ３ＣＣＤカメラ５タイミング指令回路７Ａ／Ｄ変換器９画像メモリ１１眼球存在位置規定回路１１１５開閉眼検出回路１７居眠り判定回路１９警報出力回路２０誤検出判定回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) B60K 28/00 - 28/10 A61M 21/00 G01B 11/00 G08B 13/00 G08B 21/00

Claims

(57)【特許請求の範囲】

【請求項１】運転者の顔画像を入力する画像入力手段
と、該画像入力手段から入力された顔画像を２値化する
２値化手段と、２値化された画像内で眼球存在領域を定
める眼球存在領域設定手段と、前記眼球存在領域内で開
閉眼を検出する開閉眼検出手段と、該開閉眼検出手段で
検出された開閉眼のパターンに基づいて運転者の状態を
判定する運転者状態判定手段と、前記開閉眼検出手段の
検出データの変化に基づいて眼球の誤検出を判定する誤
検出判定手段と、前記誤検出の判定に基づいて前記眼球
存在領域を変更する再設定手段とを備えることを特徴と
する運転者の状態検出装置。
【請求項２】前記眼球存在領域設定手段はその範囲に
眼を含む候補領域として１の眼について複数の眼球存在
領域を設定し、前記誤検出判定手段は前記複数の眼球存
在領域のうち開閉眼検出手段の検出データに変化がある
眼球存在領域の開閉眼検出結果を前記運転者状態判定手
段の判定対象とし、前記いずれの眼球存在領域について
も開閉眼検出手段の検出データに所定時間変化がないと
きに前記再設定手段に眼球存在領域の変更を行なわせる
ものであることを特徴とする請求項１記載の運転者の状
態検出装置。
【請求項３】前記眼球存在領域設定手段はその範囲に
眼を含む候補領域として１の眼について複数の眼球存在
領域を設定し、前記誤検出判定手段は前記複数の眼球存
在領域のうち開閉眼検出手段の検出データに変化がある
眼球存在領域の開閉眼検出結果を前記運転者状態判定手
段の判定対象とし、前記いずれの眼球存在領域について
も開閉眼検出手段の検出データの値が所定範囲以外の値
となったときに前記再設定手段に眼球存在領域の変更を
行なわせるものであることを特徴とする請求項１記載の
運転者の状態検出装置。
【請求項４】前記再設定手段は前記２値化手段におけ
る２値化しきい値を補正する２値化しきい値補正手段を
含むことを特徴とする請求項１、２または３記載の運転
者の状態検出装置。