JP2822799B2 - 運転者の状態検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、運転者の眼の開閉状況
から居眠り状態などを検出する運転者の状態検出装置に
関する。

【０００２】

【従来の技術】従来の車両運転者の状態検出装置として
は、例えば特開平３−１９４６６１号公報に記載された
ようなものがある。これは２値化した運転者の顔画像を
用いて、運転者の眼がある範囲を検出領域としてその領
域内で眼の虹彩部を検出することによって、虹彩部の検
出結果から運転者の開閉眼を判定し、運転者の状態を検
出する構成となっており、運転者の居眠りやわき見の検
出に利用可能であるとしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の車両運転者の状態検出装置では、運転者の開閉眼を
判別するに際して、検出領域の中で黒い円形領域を検出
しこれを眼の虹彩と判断したうえで、その面積の大小に
より開眼状態、閉眼状態を判定するようにしているた
め、２値化された画像が、図２０の例Ａの開眼時に示さ
れるように、円形領域が明確に識別検出されるときには
精度良く判定できるが、同図の例Ｂ〜例Ｄのように２値
化した画像上で黒い円形領域の識別が困難なときには、
これが眉などと誤判定される恐れがある。

【０００４】さらに、虹彩部の検出にあたって、放射状
の矩形フィルタで明度差のＭＡＸ値を求め、そのＭＡＸ
値をとる点の座標を虹彩中心部と決定して、虹彩中心部
の回りの黒色画素の面積から開閉眼を判定するため、判
定のための演算処理時間も長くかかるという問題があっ
た。したがって本発明は、このような従来の問題点に鑑
み、画像状態が不良の場合でも精度よく開閉眼の状況を
検出でき、迅速に居眠り状態などの運転者の状態を判定
することができる運転者の状態検出装置を提供すること
を目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に本発明は、図１に示されるように、運転者の顔画像を
入力する画像入力手段ＣＬ１と、該画像入力手段から入
力された顔画像を２値化する２値化手段ＣＬ２と、２値
化された画像内で眼球存在領域を定める眼球存在領域設
定手段ＣＬ３と、前記眼球存在領域内で縦方向の連続黒
色画素に基づいて眼球を検出する眼球検出手段ＣＬ４
と、検出された眼球の前記連続黒色画素の数に基づいて
運転者の開閉眼を検出する開閉眼検出手段ＣＬ５と、該
開閉眼検出手段で検出された開閉眼のパターンに基づい
て運転者の状態を判定する運転者状態判定手段ＣＬ６と
を備えるものとした。

【０００６】

【作用】２値化画像の眼球存在領域内を縦方向に走査し
て、連続黒色画素を検索することによって眼球を検出す
るから、開眼状態か閉眼状態かにかかわらず確実に眼球
が検出される。眼球の上記連続黒色画素数によって開閉
眼が判別されるから、短時間に状態検出が行なわれる。

【０００７】

【実施例】以下、本発明を図面に基づいて説明する。図
２は、本発明の実施例の構成を示すブロック図である。
運転者の顔面に向けて照射する赤外線ストロボ１と、こ
の赤外線ストロボ１の赤外線で照射される顔部分を撮影
する画像入力手段ＣＬ１としてのＣＣＤＴＶカメラ３
が、車両の図示しないインストルメントパネルに設置さ
れている。前記赤外線ストロボ１とＴＶカメラ３はタイ
ミング指令回路５に接続され、ストロボ発光とＴＶカメ
ラの画像入力とのタイミング合わせが制御される。すな
わち、赤外線ストロボ１にタイミング指令回路５からス
トロボ発光指令が出力されると、赤外線ストロボ１が発
光して運転者の顔部分を照射し、これと同時にＴＶカメ
ラ３へ画像入力指令が出力され、赤外線で照射された顔
部分を撮影するようになっている。

【０００８】ＴＶカメラ３の入力画像は図３に示される
ように、横（Ｘ）方向５２０画素、縦（Ｙ）方向５００
画素からなり、縦方向に顔部分がほぼいっぱいになるよ
うに画角が調整されている。 ＴＶカメラ３には、撮影
した入力画像をデジタル量に変換するＡ／Ｄ変換器７を
介して画像メモリ９が接続され、入力画像データが格納
される。画像メモリ９には、眼球存在位置規定回路１１
が接続され、画像メモリ９に格納された入力画像データ
に基づいて眼球の存在位置領域を規定する。さらに、こ
の眼球存在位置規定回路１１に接続されて、眼球検出回
路１３が、画像メモリ９の画像データのうち上記の眼球
存在位置領域内にあるデータを処理して、眼球を検出す
る。次の開閉眼判別回路１５において、上に検出された
眼球データから開眼状態か閉眼状態かが判断される。こ
の開閉眼の状況から居眠り判定回路１７において運転者
の居眠り状態の有無が判定される。判定結果は警報回路
１７などに出力されて報知される。

【０００９】上記構成における全体の動作のメインフロ
ーを図４により説明する。まず、車両のイグニッション
スイッチがオンされて、運転者が運転席についたことが
確認され全体システムが起動すると、ステップＳ１でタ
イマがスタートされる。そしてステップＳ２で赤外線ス
トロボ１の発光と同期してＴＶカメラ３によって運転者
の顔部分が撮影されると、この画像がＡ／Ｄ変換回路７
でデジタル信号に変換されて、１フレーム分の入力画像
データとしてステップＳ３で画像メモリ９に格納され
る。ここでは、ビデオ信号が０〜２５５の２５６階調の
デジタルデータに変換され、白い部分が「２５５」、黒
い部分が「０」とされている。ステップＳ２、Ｓ３が発
明の画像入力手段ＣＬ１を構成している。

【００１０】画像メモリ９に格納された入力画像データ
は、眼球存在位置規定回路１１に取り込まれ、ステップ
Ｓ４において、顔部分の明暗をはっきりさせ眼球を抽出
できるよう、所定のしきい値で２値化されて、２値化画
像Ｊ（Ｘ，Ｙ）が求められる。２値化画像Ｊ（Ｘ，Ｙ）
を基に、次のステップＳ５およびステップＳ６におい
て、あるいはステップＳ５’およびステップＳ６’にお
いて、図３に破線で示される左右の眼球存在領域の横方
向（Ｘ方向）の幅および縦方向（Ｙ方向）の幅が決定さ
れる。ステップＳ４が発明の２値化手段ＣＬ２を構成し
ている。また、ステップＳ５、Ｓ５’が横幅設定手段
を、Ｓ６、Ｓ６’が縦幅設定手段を構成し、両者で眼球
存在領域設定手段ＣＬ３を構成している。

【００１１】眼球存在位置規定回路１１で眼球存在領域
が決定されると、次にステップＳ７において、眼球検出
回路１３により、眼球存在領域内での縦方向の連続黒色
画素の計数が行われて眼球が検出決定される。この後ス
テップ８で、開閉眼判別回路１５においてしきい値が設
定され、上に検出された眼球のデータがしきい値と比較
されて開閉眼が検出される。先のステップＳ１でスター
トされたタイマのカウントは、後述するように、ここで
のしきい値設定に用いられる。

【００１２】開閉眼の判断にあたっては、まず左側の眼
球存在領域の眼球データに開閉眼に伴なって所定の大き
な変化があるときは、この左側の眼球存在領域の眼球デ
ータに基づいてしきい値設定と開閉眼判断が行なわれ
て、ステップＳ９に移る。左側の眼球存在領域の眼球デ
ータの変化が小さいときは、次に右側の眼球存在領域の
眼球データと比較され、上記変化の大きいほうの眼球存
在領域のデータが用いられてしきい値設定と開閉眼判断
が行なわれる。そしてステップＳ９において、上に検出
された開閉眼のパターンから居眠り判定回路１７で運転
者の居眠り判定が行われる。ステップＳ７が発明の眼球
検出手段ＣＬ４を、ステップＳ１、Ｓ８が開閉眼検出手
段ＣＬ５を、そしてステップＳ８が運転者状態判定手段
ＣＬ６を構成している。

【００１３】次にステップＳ５、Ｓ５’の詳細が図５、
図６のフローチャートに示される。まずステップＳ１０
０で、検索開始点の初期設定が行なわれ、高さ方向の走
査Ｙ座標が４０にセットされる。これはＹ＝０〜４０の
範囲内に顔面の最大幅は存在しないことを前提として処
理時間を短縮するものである。ステップＳ１０１におい
て、図７に示すように、画像の中央（Ｘ座標＝２５０）
が検索開始ラインとされて、Ｙ座標上の横方向走査ライ
ン上を左右別個に連続白色画素数ＷＸＣＬおよびＷＸＣ
Ｒがカウントされ、ステップＳ１０２で、連続白色画素
数が最大のときの左右端Ｘ座標ＸＬＭおよびＸＲＭが記
憶される。ステップＳ１００〜Ｓ１０２が発明の連続白
色画素数計数手段を構成しており、この処理のさらに詳
細な説明は図８、図９により後述する。

【００１４】続いてステップＳ１０３で、左右の連続白
色画素数の和が２００より大きいか否かがチェックされ
る。頭髪や眉、眼球部などの存在により白色データの連
続が遮断されて上記の和が２００以下である場合には、
ステップＳ１０４で、左安定カウンタＷＬＣＯＮおよび
右安定カウンタＷＲＣＯＮ、左安定フラグＳＴＦＬＧＬ
および右安定フラグＳＴＦＬＧＲがクリアされて、ステ
ップＳ１０１へ戻り次のラインが走査される。

【００１５】左右の連続白色画素数の和が２００より大
きい場合には、ステップＳ１０５に進んで、左側端点検
出フラグＯＫＦＧＬがセットされているか否かがチェッ
クされ、セットされている場合はステップＳ１２０以降
の右端検索処理へ移る。左側端点検出フラグＯＫＦＧＬ
が０の場合には、ステップＳ１０６に進み、ＷＸＣＬと
直前の走査ラインにおける連続数ＭＡＥＬとの差が１０
未満であるかチェックされ、１０未満ならばステップ１
０７で左安定カウンタＷＬＣＯＮがカウントアップされ
る。このときには、現走査ラインは直前走査ラインの連
続数との差が小さい安定候補部とみなされ、ステップ１
０８、１０９でこの中での連続白色画素数ＷＸＣＬが最
大のときのＸＬをＸ1 、最小のときのＸＬをＸ2 として
記憶される。

【００１６】ステップＳ１１０では、左安定カウンタＷ
ＬＣＯＮが１０を越え、且つＸ1 とＸ2 の差が３０未満
か否かが調べられ、この条件を満足していればステップ
１１１で左安定フラグのＳＴＦＧＬがセットされ、ステ
ップ１１２で、左の連続白色画素数ＷＸＣＬが新たにＭ
ＡＥＬとされる。

【００１７】ステップＳ１０６で連続白色画素数ＷＸＣ
Ｌと前の走査での連続数ＭＡＥＬの差が１０以上であっ
たときには、画像輪郭線の連続性が失われた可能性があ
ると判断され、ステップＳ１１３〜Ｓ１１９の処理へ移
る。ここでは、連続画素数が大きく変化したのが眉など
の存在によるためか、輪郭線の途切れなのかが連続画素
数の変化と安定部分の存在とによって判断される。

【００１８】まずステップＳ１１３で、左安定フラグＳ
ＴＦＬＧＬがチェックされ、この連続白色画素数が大き
く変化する前に安定部分が存在し、ＳＴＦＬＧＬがセッ
トされていた場合は、ステップＳ１１４で連続画素数が
増加したか否かが調べられる。 連続画素数が増加して
いる場合には、輪郭線が途切れたと判断され、ステップ
Ｓ１１５に進んで、前回フローのステップＳ１０８で記
憶されたＸ座標Ｘ1 を顔の左端と定める。

【００１９】ステップ１１３で連続白色画素数が大きく
変化する前に安定部分が存在しない場合や、安定部分が
存在してもステップ１１４で連続画素数が減少している
場合は、輪郭線が途切れた部分から輪郭線のある部分の
走査に移ったか、あるいは眉や眼、眼鏡部分などを走査
したものであることが考えられる。そこでこのときには
ステップＳ１１６において、今回の走査の連続白色画素
数が前回の走査の連続白色画素数より５０以上減少して
いるかどうかがチェックされる。

【００２０】５０以上減少の場合は、輪郭線が途切れた
部分から輪郭線のある部分の走査に移ったものとして、
ステップ１１８に進んで今回の走査の左端点ＸＬを顔の
左端と定める。こうしてステップＳ１１５、またはステ
ップＳ１１８で顔の左端が決定されたときは、次のステ
ップＳ１１９で左側端点検出フラグＯＫＦＧＬがセット
された上でステップＳ１２０へ進む。ステップ１１６で
今回の連続白色画素数が前回の連続画素数より大きく減
少していない場合は、眉や眼、眼鏡部分、その他大きな
陰影のある部分と考えられ、ステップＳ１１７に進ん
で、Ｘ1 ，Ｘ2 ，ＷＬＣＯＮ，ＳＴＦＬＧＬがクリアさ
れた後ステップＳ１１２へ進む。

【００２１】ステップＳ１２０からＳ１２１では、画像
の左側についてのステップＳ１０５〜Ｓ１１９と同様に
して、画像の右側について輪郭線途切れの判断および輪
郭線が途切れた際の顔の右端決定が行なわれる。

【００２２】以上の処理がステップＳ１２２およびＳ１
２３により、顔面の左右の端点検出フラグＯＫＦＧＬ、
ＯＫＦＧＲの両方ともセットされるか、さもなければ予
め設定された縦方向（Ｙ方向）の検索範囲の走査が終了
するまで繰り返される。端点検出フラグがセットされた
場合は、左側ではＸ1 、Ｘ2 を端点として、同様に右側
ではＸＸ1 、ＸＸ2 を端点として眼球存在領域の横幅設
定が終了する。

【００２３】また、Ｙ方向の検索範囲の走査が終了した
ときは、ステップＳ１２４並びにＳ１２６でそれぞれ左
右の端点検出フラグがセットされているか否かが調べら
れ、セットされていない場合はそれぞれステップＳ１２
５、Ｓ１２７において、先のステップＳ１０２で記憶さ
れた全走査の中での連続白色画素数が最大のときの左右
端Ｘ座標ＸＬＭ，ＸＲＭを顔の左右端と定める。顔の左
右端が定められると、次式により眼球存在領域の横方向
の端点が決定される。 Ｘ軸センター＝ＸC ＝ＸＬＭ＋（（ＸＲＭ−ＸＬＭ）／
２） 左眼眼球存在領域の左側Ｘ座標＝Ｘ1 ＝ＸＬＭ 左眼眼球存在領域の右側Ｘ座標＝Ｘ2 ＝ＸC −２５ 右眼眼球存在領域の左側Ｘ座標＝ＸＸ1 ＝ＸC ＋２５ 右眼眼球存在領域の右側Ｘ座標＝ＸＸ2 ＝ＸＲＭ ステップＳ１０３〜Ｓ１１２が発明の安定部検出手段
を、ステップＳ１０６、Ｓ１１３、Ｓ１１４が輪郭線連
続性判断手段を、そしてステップＳ１１５〜Ｓ１２７が
顔端特定手段を構成している。ただし、ステップＳ１２
１は右側についての安定部検出手段および輪郭線連続性
判断手段を含む。

【００２４】前記のステップＳ１０１、Ｓ１０２におけ
る連続白色画素数のカウントと左右端Ｘ座標ＸＬＭとＸ
ＲＭの記憶は図８、図９に示す流れで行なわれる。前述
のようにステップＳ１００で、縦方向の走査Ｙ座標が４
０にセットされると、次にステップＳ２０２で、左検索
Ｘ座標ＸＬと右検索Ｘ座標ＸＲに横方向の検索走査開始
ラインのＸ座標値２５０がそれぞれセットされる。この
Ｘ座標値（＝２５０）は、図７に示されるように、車両
運転者がＴＶカメラの撮影画角内に存在すれば、確実に
顔面部の中に存在するラインを表わしている。

【００２５】次に、ステップＳ２０３で右側走査終了フ
ラグＯＫＲがセットされているか否かが調べられ、セッ
トされていればステップＳ２１１以降の顔面左端検索に
進む。ＯＫＲがセットされていない場合は、ステップＳ
２０４で、画素Ｊ（ＸＲ，Ｙ）が白か否かが調べられ、
白のときはステップＳ２０５およびＳ２０６で右側連続
白色画素カウンタＷＸＣＲ、検索Ｘ座標ＸＲがそれぞれ
カウントアップされる。ステップＳ２０４のチェックで
画素Ｊ（ＸＲ，Ｙ）が白でないときには、ステップＳ２
０７に進んで右側走査終了フラグＯＫＲがセットされた
後、ステップＳ２０８で、今まで記憶していた右側端点
の最大値ＸＲＭと今回の端点ＸＲが比較される。ここで
ＸＲの方が大きいとき、すなわちより右側にある場合は
ステップＳ２０９においてＸＲが新たな右端点ＸＲＭと
される。

【００２６】次にステップＳ２１１〜Ｓ２１７で、上記
ステップＳ２０３〜Ｓ２０９と同様の処理が顔面左側に
ついて行なわれる。右側における処理と相異するのは、
ステップＳ２１４で検索Ｘ座標ＸＬがカウントダウンさ
れること、ステップＳ２１７で左側記憶端点のＸＬＭと
今回の端点ＸＬの小さい方、すなわちより左側にある方
が新たな左端点ＸＬＭとされる点である。

【００２７】一つの走査ラインで左右端が検出され、ス
テップＳ２２１で走査終了フラグＯＫＬ、ＯＫＲの両方
がセットされたと判断された場合は、ステップＳ２２２
でこのフラグがクリアされた後、ステップＳ２２３で走
査ラインのＹ座標値がインクリメントされて、この処理
を終了する。

【００２８】以上により、顔面の片側から外光が射し込
んだりして顔画像の輪郭線に連続性がなくなったときに
も、安定部の有無と連続画素数の変化状況から、顔輪郭
線の連続性を確認して顔の左右端が特定される。また、
２値化画像において画像の中央から左右へ走査して白色
画素の連続により顔の左右端を検出するので、背景が白
でなくても必ず顔面をとらえることができ、適格な検出
を行なうことができる。

【００２９】メインフローのステップＳ６およびＳ６’
における眼球存在領域縦幅の設定過程は黒領域２点の検
索処理と、眼鏡の有無検索処理との二つに分かれる。黒
領域２点の検索処理では、左眼に関して、図１０のよう
に、鼻の穴の黒い部分の検出を避けるため左側眼球存在
領域の右側Ｘ座標Ｘ2 から１０ドット左側、すなわちＸ
2 −１０を始点とし、この位置から横方向（Ｘ方向）に
Ｘ2 −９０までの範囲について、検索開始のＹ座標ＹＬ
から０の間を縦方向上方へ走査され、これが横方向４ド
ットの間隔で実行される。Ｙ座標ＹＬは顔の左右端を決
定した走査ラインの下方に設定される。また、右眼に関
しても同様に右側眼球存在領域の左側Ｘ座標ＸＸ1 から
１０ドット右側、すなわちＸＸ1 ＋１０を始点とし、こ
の位置から横方向（Ｘ方向）にＸＸ1 ＋９０までの範囲
について、Ｙ座標ＹＬから０の間を縦方向上方へ走査さ
れ、これが横方向４ドットの間隔で実行される。

【００３０】この眼球存在領域縦幅の設定過程の詳細な
流れが図１１、図１２、図１３に示される。まず、ステ
ップＳ３０１において、１番目と２番目の黒領域のぞれ
ぞれ最高点を示すＹ座標の最大値のメモリ変数ＢＹ１Ｍ
ＡＸおよびＢＹ２ＭＡＸの値が０にクリアされ、Ｘ方向
の検出範囲規定カウンタＸＣＨＥＣＫがＸ2 −１０に、
またＹ方向の検索範囲規定カウンタＹＣＨＥＣＫがＹＬ
に初期化される。

【００３１】そして、ステップＳ３０２で、Ｘ方向の検
索範囲規定カウンタＸＣＨＥＣＫがＸ2 −９０以下か否
かが調べられる。これはＸ方向へすべて検索したか否か
を判別するものである。まだＸ方向全ての検索を終了し
ていない間はステップＳ３０３に進み、１番目の黒領域
を検出したことを示すフラグＦＬ１、連続黒色画素カウ
ンタＢＬＡＣＫ、連続白色画素カウンタＷＨＩＴＥ、１
番目の黒領域と２番目の黒領域との間隔が１０ドット以
上あることを示すフラグＷＨＩＴＥＦＬおよび１番目の
黒領域と２番目の黒領域のそれぞれの最大値記憶バッフ
ァＢＹ１およびＢＹ２がクリアされる。

【００３２】つぎに、ステップＳ３０４で検索画素が黒
か否かがチェックされ、黒の場合はステップＳ３０５で
連続白色画素カウンタＷＨＩＴＥがクリアされ、ステッ
プＳ３０６で連続黒色画素カウンタＢＬＡＣＫがカウン
トアップされる。そして、ステップＳ３０７において、
連続黒色画素カウンタＢＬＡＣＫのカウント値が１であ
るか否かがチェックされる。ここでは黒画素の検出が初
めてかを判断している。カウント値が１のときは、ステ
ップＳ３０８で、Ｙ方向の検索範囲規定カウンタＹＣＨ
ＥＣＫでカウントされた現Ｙ座標が、黒領域の最下点Ｙ
座標候補として、ＳＥＴＹに記憶される。すなわち、図
１０中に「１」で示されるＹ座標が記憶されることにな
る。

【００３３】つぎに、ステップＳ３０９で、連続黒色画
素カウンタＢＬＡＣＫのカウント値が２以上か否かがチ
ェックされる。カウント値が２以上のときは、ステップ
Ｓ３１０に進んで１番目の黒領域検出フラグＦＬ１がセ
ットされているか否かが調べられる。フラグＦＬ１がセ
ットされていないときは、ステップＳ３１１へ進み、１
番目の黒領域の最大値記憶バッファＢＹ１にＳＥＴＹの
値が代入されて保管され、フラグＦＬ１がセットされ
る。それからステップＳ３２８においてＹ座標ＹＣがカ
ウントダウンされ、走査ライン上一つ上の画素の検索に
移る。

【００３４】ステップＳ３１０でフラグＦＬ１がセット
されている場合には、ステップＳ３１２へ進んで、フラ
グＷＨＩＴＥＦＬがセットされているか否かがチェック
され、１番目の黒領域と２番目の黒領域との間隔が１０
ドット以上あるかどうかが調べられる。そして、フラグ
ＷＨＩＴＥＦＬがセットされているときは２番目の黒領
域を検出したことになるので、ステップＳ３１３におい
て２番目の黒領域の最大値記憶バッファＢＹ２にＳＥＴ
Ｙの値が代入されて保管される。すなわち、図１０中に
「２」で示されるＹ座標が保管されることになる。

【００３５】ステップＳ３１２でフラグＷＨＩＴＥＦＬ
がセットされていない場合には、１番目の黒領域と２番
目の黒領域の間隔が狭く両者の差が明確でないとして、
ステップＳ３１４へ進み、黒画素の連続数が５０ドット
を越えるか否かが調べられる。連続黒色画素カウンタＢ
ＬＡＣＫのカウント値が５０を越えているときは、頭髪
を検出したものとして、ステップＳ３１５においてバッ
ファＢＹ２がクリアされる。５０ドットを越えていない
場合はステップＳ３２８へ進んで、Ｙ座標ＹＣのカウン
トダウンにより一つ上の画素の検索に移る。

【００３６】前記ステップＳ３０４において検索画素が
白であるときには、ステップＳ３１６へ進んで連続黒色
画素カウンタＢＬＡＣＫがクリアされた後、ステップＳ
３１７で１番目の黒領域検出フラグＦＬ１がセットされ
ているか否かがチェックされる。そして、フラグＦＬ１
がセットされていないときは、未だ黒領域が一つも検出
されていないため、ステップＳ３２８を経て、一つ上の
画素の検索に移る。フラグＦＬ１がセットされている場
合にはステップＳ３１８へ進み、連続白色画素カウンタ
ＷＨＩＴＥがカウントアップされる。

【００３７】次のステップＳ３１９では白色画素が１０
ドット以上連続したか否かが調べられ、１０ドット以上
連続しているときは眼と眉の間か、あるいは眼鏡フレー
ムと目の間を検出したものとして、ステップＳ３２０で
フラグＷＨＩＴＥＦＬがセットされる。さらに次のステ
ップＳ３２１で、白色画素が８０ドット以上連続したか
否かが調べられ、８０ドット以上連続した場合は、眉毛
が検出されず額を検出したものとして、ステップＳ３２
２で２番目の黒領域の最大値記憶バッファＢＹ２がクリ
アされる。

【００３８】白色画素が８０ドット以上連続していない
場合、あるいはステップＳ３１９で白色画素が１０ドッ
ト以上連続していない場合には、ステップＳ３２８へ進
んでＹ座標ＹＣのカウントダウンにより走査ライン上一
つ上の画素の検索に移る。

【００３９】一方、１番目と２番目の黒領域の候補点と
してそれぞれのバッファＢＹ１およびＢＹ２の値が得ら
れると、ステップＳ３２３、Ｓ３２４において、バッフ
ァＢＹ１の値と今までに記憶された１番目の黒領域の最
下点を示す最大値ＢＹ１ＭＡＸとが比較され、より大き
い方の値がＢＹ１ＭＡＸとして記憶される。続いてステ
ップＳ３２５、Ｓ３２６において、バッファＢＹ２の値
と今までに記憶された２番目の黒領域の最大値ＢＹ２Ｍ
ＡＸとが比較され、より大きい方の値がＢＹ２ＭＡＸと
して記憶される。例えば、図１０においては中央部の
「１」のＹ座標がＢＹ１ＭＡＸとして記憶され、右側の
「２」のＹ座標がＢＹ２ＭＡＸとして記憶されることに
なる。このようにして、１番目の黒領域の最下点ＢＹ１
ＭＡＸと２番目の黒領域の最下点ＢＹ２ＭＡＸが決定さ
れる。ステップＳ３０１〜Ｓ３２６が発明の黒領域検出
手段を構成している。

【００４０】つぎに、眼鏡の有無の検索処理の過程に移
る。ここでは、上記の黒領域の検索において少なくも１
番目の黒領域が検出された走査ラインが発生すると、そ
の走査ラインすなわち縦方向の検索が終了する毎に、今
度は画面中央部の鼻部分をカバーする領域について横方
向に延びる走査ラインが設定されて、眼鏡を表わす黒領
域の存否が検索される。

【００４１】まずステップＳ３２９において、２番目の
黒領域の最大値記憶バッファＢＹ２に値が入っているか
否かがチェックされ、その状況に応じて眼鏡検出のＹ座
標ＢＹＨが求められる。すなわち、２番目の黒領域の最
大値記憶バッファＢＹ２に値がなく、１番目の黒領域の
最大値記憶バッファＢＹ１のみが値を持っている場合
は、ステップ３３０で、 ＢＹＨ＝ＢＹ１＋１０ とされる。２番目の黒領域の最大値記憶バッファＢＹ２
に値があるときは、ステップＳ３３１で、 ＢＹＨ＝
（ＢＹ１＋ＢＹ２）／２ とされる。なおこの式では、ＢＹＨをＢＹ１とＢＹ２の
中間点としているが、ＢＹ１とＢＹ２の間に位置する点
であれば任意である。

【００４２】この後、ステップＳ３３２において、黒色
画素の数をカウントする黒色画素カウンタＢＬＡＣＫＸ
がクリアされ、ステップＳ３３３、Ｓ３３４で画素座標
に初期値ＸＣ＝Ｘ2 、ＹＣ＝ＢＹＨが設定される。次に
ステップＳ３３５で、画素Ｊ（ＸＣ，ＹＣ）が黒である
か否かが調べられる。黒の場合はステップ３３６で黒色
画素カウンタＢＬＡＣＫＸがカウントアップされた後、
また黒でないときはそのまま、ステップ３３７に進む。
ステップ３３７では、画素座標が左側眼球存在領域にお
いてはＸＣ＝Ｘ2 からカウントアップされる。ステップ
Ｓ３３８で、図１４のように、画素Ｊが横方向（Ｘ方
向）にＸＸ1 を越えるまで検索したかがチェックされ、
ＸＣがＸＸ1 を越えるまで横方向走査ライン上の画素検
索が繰り返される。

【００４３】１本の走査ラインの検索が終了すると、ス
テップＳ３３９において、黒色画素カウンタＢＬＡＣＫ
Ｘの値が３より小さいか否かがチェックされ、黒色画素
カウンタＢＬＡＣＫＸの値が３未満のときは、眼鏡中央
部のフレームが検出されたものとして、ステップＳ３４
０において眼鏡無しカウンタＭＥＧＯＦＦがカウントア
ップされる。

【００４４】これが、Ｘ軸方向検索範囲内のすべての縦
方向走査ラインの検索が終わることに伴なって終了する
と、ステップＳ３４１において、眼鏡無しカウンタＭＥ
ＧＯＦＦの値が５を越えているか否かが調べられる。眼
鏡無しカウンタＭＥＧＯＦＦの値が５より大きいとき
は、眼鏡をかけていないものとして、ステップＳ３４２
に進む。ステップＳ３４２では、１番目に検出した黒領
域のＹ座標の最下点ＢＹ１ＭＡＸを基準にして、眼球存
在領域の縦幅を規定する上下のＹ座標ＹＴ、ＹＢが、 ＹＴ＝ＢＹ１ＭＡＸ−４０ ＹＢ＝ＢＹ１ＭＡＸ＋１０ に設定される。

【００４５】また、眼鏡無しカウンタＭＥＧＯＦＦの値
が５より小さい場合には、眼鏡をかけているものとし
て、ステップＳ３４３に進む。ここでは２番目に検出し
た黒領域のＹ座標の最下点ＢＹ２ＭＡＸを基準にして、
眼球存在領域のＹ座標が、 ＹＴ＝ＢＹ２ＭＡＸ−４０ ＹＢ＝ＢＹ２ＭＡＸ＋１０ に設定される。

【００４６】以上の処理が右側眼球存在領域の縦幅設定
においても同様に行なわれる。その際、眼鏡の有無の検
索処理では検索開始の初期値がＸＣ＝ＸＸ1 とされ、ス
テップ３３７ではＸＣ＝ＸＸ1 からカウントダウンさ
れ、逆方向にＸＣがＸ2 を下回るまで画素検索が繰り返
されることになる。

【００４７】以上のように、縦幅設定では、２点の黒領
域を有する範囲を探索することとし、横に４ドット毎に
僅か２０回の縦方向走査を行なうだけで済むから眼球存
在領域の設定が短時間になされる。さらに、髪その他か
ら影響を受けず画像変化のほとんどない眉から下の部分
に絞って検索を行うようにしたから、帽子を被っている
ような場合でも眼球存在領域の特定が正確にできる。

【００４８】次に、このようにして設定された眼球存在
領域におけるステップＳ７の眼球検出の詳細について説
明する。ここでは、左側の眼球存在領域については、眼
球存在領域の右側Ｘ座標Ｘ2 から横方向（Ｘ方向）にＸ
1 までを範囲として、検索開始のＹ座標ＹＢから縦方向
上方（Ｙ方向）にＹＢ−５０まで検索され、これが横方
向１ドット毎に繰り返される。また、右側眼球存在領域
についても、眼球存在領域左側Ｘ座標ＸＸ1 からＸＸ2
までを範囲として、同様に検索される。この流れの過程
が図１５、図１６に示される。

【００４９】まず、ステップＳ４０１において、Ｘ方向
の検索範囲の規定カウンタＸＥＣＨＥＣＫがＸ2 に、Ｙ
方向の検索範囲規定カウンタＹＥＣＨＥＣＫがＹＢに初
期化され、最大連続黒色画素数ＢＬＡＣＫＥＭＡＸがク
リアされる。次に、ステップＳ４０２でＸ方向の検索範
囲規定カウンタＸＥＣＨＥＣＫがＸ1 より小さいか否か
がチェックされる。これはＸ方向についてすべて検索が
終了したか否かを判別するものである。Ｘ方向全ての検
索が終了していない間は、ステップＳ４０３に進んで、
新たなＸ軸の検索の前に連続黒色画素を検出したことを
示すフラグＥＢＦＬ、連続白色画素を検出したことを示
すフラグＥＷＦＬ、連続黒色画素カウンタＢＬＡＣＫ
Ｅ、連続白色画素カウンタＷＨＩＴＥＥがクリアされ
る。

【００５０】次のステップＳ４２１で、Ｙ軸の検索初期
画素が白色か否かがチェックされる。ここで画素が黒色
の場合は、髪などが眼球存在領域内に入っているものと
し、そのライン上でのＹ方向検索が中止され、ステップ
Ｓ４１８を経て、次のＸ軸の検索に移る。検索初期画素
が白色のときはステップ４０４に進んで、連続白色画素
のフラグがセットされているかどうか調べられる。いま
初期設定でフラグＥＷＦＬがセットされていないとき
は、該当するドットが黒色画素か白色画素かのチェック
ステップＳ４０５を経て、ステップ４１２に進み、連続
黒色画素のフラグＥＢＦＬのセットの有無がチェックさ
れる。

【００５１】フラグＥＢＦＬがセットされていないと
き、ステップＳ４１６で連続白色画素カウンタＷＨＩＴ
ＥＥがカウントアップされる。そして、このカウント値
により連続白色画素数が３０を越えるまでは毎回連続黒
色画素カウンタＢＬＡＣＫＥをクリアしながらステップ
Ｓ４１７、Ｓ４２０、Ｓ４１９でＹ方向上方のドットへ
走査が継続された後、ステップ４１８を経て次のＸ軸方
向のライン、すなわち横隣りのラインの検索に移る。

【００５２】新しいラインに移って、ステップＳ４０５
でドットが黒色画素のときには、ステップＳ４０６に進
んで連続白色画素カウンタＷＨＩＴＥＥがクリアされ、
また、ステップＳ４０７で連続黒色画素カウンタＢＬＡ
ＣＫＥがカウントアップされる。この後、ステップＳ４
０８、Ｓ４０９において、ＢＬＡＣＫＥのカウント値が
２を越していればフラグＥＢＦＬがセットされて、１つ
上の画素に移る。これは２ドット以下の黒色画素のノイ
ズを除こうとするものである。

【００５３】ステップＳ４１２でフラグＥＢＦＬがセッ
トされているときには、ステップＳ４１３で連続白色画
素カウンタＷＨＩＴＥＥがカウントアップされる。この
後、ステップＳ４１４、Ｓ４１５において、ＷＨＩＴＥ
Ｅのカウント値が５以上になったときはフラグＥＷＦＬ
がセットされ、５未満の場合はセットされないままでス
テップＳ４１９に進む。

【００５４】ステップ４０４でフラグＥＷＦＬがセット
されている場合は、ステップＳ４１０に進んで、連続黒
色画素カウンタＢＬＡＣＫＥのカウント値と最大連続黒
色画素数ＢＬＡＣＫＥＭＡＸとが比較される。ここでＸ
軸の現在のライン上でカウントされたＢＬＡＣＫＥがＢ
ＬＡＣＫＥＭＡＸより多いときには、ステップＳ４１１
でＢＬＡＣＫＥＭＡＸにＢＬＡＣＫＥの値が入れられ、
またＢＬＡＣＫＥがＢＬＡＣＫＥＭＡＸより少ない場合
にはＢＬＡＣＫＥＭＡＸはそのままで、次の横隣りの検
索に移る。

【００５５】次に上記の流れにおけるとくにステップＳ
４０４以降の動作を、図１７に例示した眼球存在領域内
の走査線イ〜ヘの場合について説明する。 （１）走査線「イ」の場合 走査線「イ」が眼球存在領域における最初の走査線であ
るとして、連続白色画素のフラグＥＷＦＬはセットされ
ていないから、ステップＳ４０４からステップＳ４０５
に進み、ここで該当するドットが黒色画素か白色画素か
が調べられる。ここで画素が白色であるから、ステップ
Ｓ４１２へ進む。さらに、連続黒色画素のフラグＥＢＦ
Ｌもセットされていないため、ステップＳ４１２からス
テップＳ４１６に進んで、連続白色画素カウンタＷＨＩ
ＴＥＥがスタートされる。

【００５６】次に、連続白色画素数が３０個を越えるま
で、ステップＳ４１７からステップＳ４１９経由ステッ
プ４０４へ戻りＹ座標を上方へカウントダウンが繰り返
される。連続白色画素数が３０個を越えると、眼球存在
領域の上縁までＹ座標が走査されていなくても、ステッ
プ４１７からステップＳ４１８へ進んでＸ軸上次のライ
ンの検索に移る。ステップＳ４１７では白色画素が相当
数以上連続した後に現れる黒色画素は眼である可能性が
低く、眉や髪などになるため、これをカウントしないよ
うにするため３０個を上限としたものである。なお、
「イ」の走査線の検索では最大連続黒色画素数はＢＬＡ
ＣＫＥＭＡＸ＝０のままで、この数値が更新されること
はない。

【００５７】（２）走査線「ロ」の場合 新たなＸ軸のラインとして走査線「ロ」の検索に移る
と、ステップＳ４０３でフラグＥＢＦＬ、ＥＷＦＬ、お
よびカウンタＢＬＡＣＫＥ、ＷＨＩＴＥＥがクリアされ
てから、ステップＳ４０４に進む。このため走査線
「イ」のときと同じくステップＳ４０５、ステップＳ４
１２、ステップＳ４１６を経てステップＳ４１７に進
み、ＷＨＩＴＥＥをカウントアップしながら走査線を上
方へ検索が繰り返される。

【００５８】この走査線上では、連続白色画素数が３０
を越える前に黒色画素が現われ、これに対応して、ステ
ップ４０５からステップＳ４０６に移り、ここで連続白
色画素カウンタＷＨＩＴＥＥがクリアされる。次のステ
ップＳ４０７で連続黒色画素カウンタＢＬＡＣＫＥのカ
ウントアップがスタートされ、黒色画素が連続する限り
このカウントアップが継続される。この間ステップＳ４
０８、Ｓ４０９で、３ドット以上の黒色画素が連続した
場合、ノイズではないとしてフラグＥＢＦＬがセットさ
れる。

【００５９】黒色画素の連続が途切れたとき、ステップ
Ｓ４０５からまたステップＳ４１２へ移る。ここではフ
ラグＥＢＦＬがセットされているため、ステップＳ４１
３に進んで連続白色画素カウンタＷＨＩＴＥＥがスター
トされ、Ｓ４１９でＹ座標をカウントダウンしつつすな
わち走査線上方へ、白色画素が連続する間ＷＨＩＴＥＥ
のカウントアップが繰り返される。そして、白色画素の
連続数が５個以上になると、ステップＳ４１４、Ｓ４１
５でフラグＥＷＦＬがセットされる。

【００６０】以上により、眼球存在領域における縦方向
（Ｙ方向）走査線のスタートから白色画素連続のあと、
眼の部分にあたる黒色画素の連続が認められ、その後、
眼の上に所定数の白色画素連続を確認することで、連続
黒色画素数が眼の縦方向の大きさとして求められる。フ
ラグＥＷＦＬがセットされた後は、ステップＳ４１９を
経て次のＹ座標に移ったとき今度はステップＳ４０４か
らステップＳ４１０に進む。ステップＳ４１０ではステ
ップＳ４０７で先にカウントされたＢＬＡＣＫＥの連続
黒色画素数と最大連続黒色画素数ＢＬＡＣＫＥＭＡＸと
が比較される。

【００６１】走査線「ロ」ではじめて連続黒色画素が現
われたとすれば、ＢＬＡＣＫＥＭＡＸ＝０であったか
ら、ステップＳ４１１に進んでＢＬＡＣＫＥのカウント
値がＢＬＡＣＫＥＭＡＸに入れられる。

【００６２】（３）走査線「ハ」の場合 走査線「ハ」は、夜間やトンネル内など環境光線がスト
ロボの赤外線のみのときの画像を２値化したときによく
見られる現象で、虹彩部が白くなった部分を通るライン
である。基本的な流れは走査線「ロ」の場合と同様であ
るが、ここでは連続黒色画素が確認され、連続黒色画素
カウンタＢＬＡＣＫＥのカウントアップ中に、眼の部分
の黒色画素がまだ続くにも係わらず、虹彩部の白色画素
によりＢＬＡＣＫＥのカウントが中断され、ステップＳ
４０５からＳ４１２、Ｓ４１３へ進む。

【００６３】ここで虹彩部の白色画素について連続白色
画素カウンタＷＨＩＴＥＥのカウントアップが開始され
るが、虹彩部では白色画素が５個を越える前に再び黒色
画素に変わるので、フラグＥＷＦＬがセットされること
なく、ステップＳ４１９からステップＳ４０５〜Ｓ４０
７に戻って、中断されていた連続黒色画素のカウントア
ップが再開される。この後、眼の上に至って白色画素が
確認されたあとは走査線「ロ」のときと同一の処理とな
る。

【００６４】（４）走査線「ニ」の場合 走査線「ロ」のときと流れは全く同一であるが、黒色画
素の連続数がより多くなってステップＳ４０７における
ＢＬＡＣＫＥのカウント値が大きい。これにより、眼の
上の連続白色画素の確認後ステップＳ４１０、Ｓ４１１
において、ＢＬＡＣＫＥの値が最大連続黒色画素数ＢＬ
ＡＣＫＥＭＡＸの値としてメモリされる。

【００６５】（５）走査線「ホ」の場合 走査線「ホ」は、眼部分を通らず、眉や髪などの黒色部
分を切るラインである。眉や髪などの黒色画素は少なく
とも眼の下にあることはなく、走査線上の検索が開始さ
れると、白色画素が繰り返し検出される。この結果、ス
テップＳ４１７で連続白色画素数が３０個を越えてしま
うから、この走査線上での検索は中止され、次の横隣り
の走査線の検索に移る。

【００６６】（６）走査線「ヘ」の場合 この走査線は眼球存在領域の左端部の髪部分を通る。こ
こでは連続黒色画素数が非常に多くなり、この連続黒色
画素の上方に連続白色画素は現れない。したがって、フ
ラグＥＢＦＬがセットされた後ステップＳ４０５からＳ
４１２へ分岐することがないから、フラグＥＷＦＬがセ
ットされることもない。この結果、髪による連続黒色画
素数が多くなっても、ステップＳ４０４からＳ４１０へ
進むことがなく、最大連続黒色画素数ＢＬＡＣＫＥＭＡ
Ｘの数値の置き換えは行なわれない。このため、走査線
ヘ上の連続黒色画素が眼球と誤認識されることはない。

【００６７】以上のようにして、眼球存在領域の横幅の
全域にわたって全ての走査線の検索を終了すると、最大
連続黒色画素数ＢＬＡＣＫＥＭＡＸが眼球の縦方向（Ｙ
方向）の大きさとして求められる。上記のフローではＢ
ＬＡＣＫＥＭＡＸが開眼、閉眼に係わらず検出される。

【００６８】次に、前記の処理で検出された眼球データ
を用いた居眠り検出のフローが図１８に示される。これ
はメインフローのステップＳ８およびＳ９に該当する。
前述のようにステップＳ１でタイマがスタートされたあ
と、画像の１フレーム毎に先のステップＳ７とくにその
なかのステップＳ４１１で、眼球データとして最大連続
黒色画素数ＢＬＡＣＫＥＭＡＸが求められる。これを受
けて、ステップＳ５０１で、新たなフレームのデータを
得る毎にＢＬＡＣＫＥＭＡＸの最大値ＭＡＸと最小値Ｍ
ＩＮが更新記憶される。ステップＳ５０２でタイマスタ
ート後５分が経過したことが確認された後、ステップＳ
５０３で、最大連続黒色画素数のＭＡＸ値とＭＩＮ値を
基に、開閉眼のしきい値が設定される。なお、上記の時
間５分は、顔画像撮影のタイミングも考慮しまばたきに
よる閉眼状態の画像を確実に取り込むための時間として
設定されている。そして上記しきい値との比較により、
ステップＳ５０４において開閉眼の別が検出され、この
開閉眼のパターンによってステップＳ５０５で居眠り状
態の判定が行なわれる。

【００６９】開閉眼検出処理は車両の運転中繰り返し実
行され、ステップＳ５０５では所定時間以上連続して閉
眼が検出されたとき居眠り状態にあると判定される。す
なわち図１９に示されるように、時間軸上黒点で示され
る間隔で１フレームの顔画像が撮影入力され、各フレー
ムについての開閉眼検出の結果、閉眼状態が継続して所
定個数、例えば３フレーム以上続いているときに、運転
者は居眠り状態にあると判定される。

【００７０】本実施例によれば、眼球存在領域内を縦方
向に走査して連続黒色画素を検索することによって眼球
を検出するようにしたから、開眼状態か閉眼状態かにか
かわらず確実に眼球が検出される。そして、上記眼球存
在領域を設定するに際して、その横幅については顔の左
右別個にその端点を求めるようにしたので、運転者の顔
の向きによって赤外線ストロボの照射画像に影ができる
場合でも、左右いずれかに眼球存在領域が確実に設定さ
れその影響が排除される。また、縦幅設定の際も、２点
の黒領域を有する範囲を探索することとし、しかも横に
は数ドット間隔で縦方向走査を行なうようにしたから、
僅かな走査で済み眼球存在領域の設定が短時間になされ
る。 さらに、髪その他から影響を受けず画像変化のほ
とんどない眉から下の部分に絞って検索を行うから、帽
子を被っているような場合でも眼球存在領域の特定が正
確にでき、居眠りの判定精度が高い。しかも上述のとお
り、顔面の左右を各々独立に検索するから、顔面の片側
の端が外光の影響で検出されないときでも、反対側の端
は検出される。したがって左右いずれかの眼球存在領域
が確実に設定される。

【００７１】

【発明の効果】以上のとおり、本発明は２値化された画
像の眼球存在領域内を縦方向に走査して連続黒色画素を
検索することによって眼球を検出する眼球検出手段を設
け、開閉眼検出手段では検出された眼球の連続黒色画素
の数に基づいて運転者の開閉眼を判別するようにしたか
ら、開眼状態か閉眼状態かにかかわらず確実に眼球が検
出される効果を有する。しかも開閉眼の判別のための処
理時間が、虹彩円形部を求めその面積から判断するもの
に比べて大幅に短縮される。

【００７２】またとくに、眼球存在領域の横方向位置
を、横方向走査する連続白色画素数計数手段、安定部検
出手段、輪郭線連続性判断手段および顔端特定手段とを
有する横幅設定手段により顔の横方向端とするもので
は、確実に眼部分を含むことができる。そして、縦幅
を、黒領域検出手段で検出した２点の黒領域を基準とす
る縦幅設定手段により設定するときには、この黒領域検
出が僅かな走査で済むから眼球存在領域の設定が短時間
になされる。さらにその過程で髪部分などを除外するこ
とができるから、眼球存在領域の特定が正確にできると
いう利点がある。また開閉眼検出手段が眼球存在領域の
縦方向連続黒色画素の最大数の、複数の画像における最
大値と最小値をもとにしきい値を設定すると、環境光線
の状況や運転者毎の眼の大きさにばらつきがあっても、
常に開閉眼が容易に識別できるという効果がある。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】実施例の構成を示すブロック図である。

【図３】入力画像の座標系を示す説明図である。

【図４】実施例の全体の動作のメインフローを示すフロ
ーチャートである。

【図５】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。

【図６】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。

【図７】横幅設定における画像走査の説明図である。

【図８】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。

【図９】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。

【図１０】眼球存在領域の縦幅設定における画像走査の
説明図である。

【図１１】横幅設定の流れを示すフローチャートであ
る。

【図１２】横幅設定の流れを示すフローチャートであ
る。

【図１３】横幅設定の流れを示すフローチャートであ
る。

【図１４】眼鏡の有無検索における画像走査の説明図で
ある。

【図１５】眼球検出の流れを示すフローチャートであ
る。

【図１６】眼球検出の流れを示すフローチャートであ
る。

【図１７】眼球存在領域内走査線の説明図である。

【図１８】開閉眼検出の処理を示すフローチャートであ
る。

【図１９】居眠り判定の説明図である。

【図２０】入力画像の例を示す図である。

【符号の説明】

ＣＬ１ 画像入力手段 ＣＬ２ ２値化手段 ＣＬ３ 眼球存在領域設定手段 ＣＬ４ 眼球検出手段 ＣＬ５ 開閉眼検出手段 ＣＬ６ 運転者状態判定手段 １ 赤外ストロボ ３ ＴＶカメラ ５ タイミング指令回路 ７ Ａ／Ｄ変換器 ９ 画像メモリ １１ 眼球存在位置規定回路 １３ 眼球検出回路 １５ 開閉眼判別回路 １７ 居眠り判定回路 １９ 警報回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−194661（ＪＰ，Ａ) 特開 平４−24503（ＪＰ，Ａ) 特開 平４−25706（ＪＰ，Ａ) 特開 平４−174309（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01B 11/00 - 11/30 B60K 28/06 G06T 7/60

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 運転者の顔画像を入力する画像入力手段
   と、該画像入力手段から入力された顔画像を２値化する
   ２値化手段と、２値化された画像内で眼球存在領域を定
   める眼球存在領域設定手段と、前記眼球存在領域内で縦
   方向の連続黒色画素に基づいて眼球を検出する眼球検出
   手段と、検出された眼球の前記連続黒色画素の数に基づ
   いて運転者の開閉眼を検出する開閉眼検出手段と、該開
   閉眼検出手段で検出された開閉眼のパターンに基づいて
   運転者の状態を判定する運転者状態判定手段とを備えた
   ことを特徴とする運転者の状態検出装置。
2. 【請求項２】 前記眼球存在領域設定手段は、横幅設定
   手段と縦幅設定手段とからなり、横幅設定手段は、前記
   画像を横方向へ走査し連続白色画素数を計数する連続白
   色画素数計数手段と、前記連続白色画素数の変化量から
   前記画像の横方向端の安定部を検出する安定部検出手段
   と、該安定部の有無および前記連続白色画素数の変化量
   とから顔の輪郭線の連続性を判断する輪郭線連続性判断
   手段と、前記連続性判断に基づいて顔の横方向端を特定
   する顔端特定手段とを有して、特定された前記顔の横方
   向端を眼球存在領域の横幅を規定する端点とし、縦幅設
   定手段は、前記横幅設定手段で設定された横幅内で、前
   記画像を下方位置から縦方向に走査し２点の黒領域を検
   出する黒領域検出手段を有して、検出された黒領域を基
   準にして眼球存在領域の縦方向の位置を設定するもので
   あることを特徴とする請求項１記載の運転者の状態検出
   装置。
3. 【請求項３】前記開閉眼検出手段は、前記連続黒色画素
   の最大数の、複数の画像における最大値と最小値をもと
   に設定されるしきい値を基準にして、画像ごとの前記連
   続黒色画素の最大数を比較して開閉眼を検出することを
   特徴とする請求項１または２記載の運転者の状態検出装
   置。
4. 【請求項４】 前記運転者状態判定手段は、前記開閉眼
   検出手段で検出された閉眼状態が所定時間以上継続した
   とき運転者が異常状態にあると判定するものであること
   を特徴とする請求項１、２または３記載の運転者の状態
   検出装置。