JP2822799B2 - 運転者の状態検出装置 - Google Patents
運転者の状態検出装置Info
- Publication number
- JP2822799B2 JP2822799B2 JP21378092A JP21378092A JP2822799B2 JP 2822799 B2 JP2822799 B2 JP 2822799B2 JP 21378092 A JP21378092 A JP 21378092A JP 21378092 A JP21378092 A JP 21378092A JP 2822799 B2 JP2822799 B2 JP 2822799B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- black
- driver
- continuous
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Emergency Alarm Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】本発明は、運転者の眼の開閉状況
から居眠り状態などを検出する運転者の状態検出装置に
関する。
から居眠り状態などを検出する運転者の状態検出装置に
関する。
【0002】
【従来の技術】従来の車両運転者の状態検出装置として
は、例えば特開平3−194661号公報に記載された
ようなものがある。これは2値化した運転者の顔画像を
用いて、運転者の眼がある範囲を検出領域としてその領
域内で眼の虹彩部を検出することによって、虹彩部の検
出結果から運転者の開閉眼を判定し、運転者の状態を検
出する構成となっており、運転者の居眠りやわき見の検
出に利用可能であるとしている。
は、例えば特開平3−194661号公報に記載された
ようなものがある。これは2値化した運転者の顔画像を
用いて、運転者の眼がある範囲を検出領域としてその領
域内で眼の虹彩部を検出することによって、虹彩部の検
出結果から運転者の開閉眼を判定し、運転者の状態を検
出する構成となっており、運転者の居眠りやわき見の検
出に利用可能であるとしている。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の車両運転者の状態検出装置では、運転者の開閉眼を
判別するに際して、検出領域の中で黒い円形領域を検出
しこれを眼の虹彩と判断したうえで、その面積の大小に
より開眼状態、閉眼状態を判定するようにしているた
め、2値化された画像が、図20の例Aの開眼時に示さ
れるように、円形領域が明確に識別検出されるときには
精度良く判定できるが、同図の例B〜例Dのように2値
化した画像上で黒い円形領域の識別が困難なときには、
これが眉などと誤判定される恐れがある。
来の車両運転者の状態検出装置では、運転者の開閉眼を
判別するに際して、検出領域の中で黒い円形領域を検出
しこれを眼の虹彩と判断したうえで、その面積の大小に
より開眼状態、閉眼状態を判定するようにしているた
め、2値化された画像が、図20の例Aの開眼時に示さ
れるように、円形領域が明確に識別検出されるときには
精度良く判定できるが、同図の例B〜例Dのように2値
化した画像上で黒い円形領域の識別が困難なときには、
これが眉などと誤判定される恐れがある。
【0004】さらに、虹彩部の検出にあたって、放射状
の矩形フィルタで明度差のMAX値を求め、そのMAX
値をとる点の座標を虹彩中心部と決定して、虹彩中心部
の回りの黒色画素の面積から開閉眼を判定するため、判
定のための演算処理時間も長くかかるという問題があっ
た。したがって本発明は、このような従来の問題点に鑑
み、画像状態が不良の場合でも精度よく開閉眼の状況を
検出でき、迅速に居眠り状態などの運転者の状態を判定
することができる運転者の状態検出装置を提供すること
を目的とする。
の矩形フィルタで明度差のMAX値を求め、そのMAX
値をとる点の座標を虹彩中心部と決定して、虹彩中心部
の回りの黒色画素の面積から開閉眼を判定するため、判
定のための演算処理時間も長くかかるという問題があっ
た。したがって本発明は、このような従来の問題点に鑑
み、画像状態が不良の場合でも精度よく開閉眼の状況を
検出でき、迅速に居眠り状態などの運転者の状態を判定
することができる運転者の状態検出装置を提供すること
を目的とする。
【0005】
【課題を解決するための手段】上記課題を解決するため
に本発明は、図1に示されるように、運転者の顔画像を
入力する画像入力手段CL1と、該画像入力手段から入
力された顔画像を2値化する2値化手段CL2と、2値
化された画像内で眼球存在領域を定める眼球存在領域設
定手段CL3と、前記眼球存在領域内で縦方向の連続黒
色画素に基づいて眼球を検出する眼球検出手段CL4
と、検出された眼球の前記連続黒色画素の数に基づいて
運転者の開閉眼を検出する開閉眼検出手段CL5と、該
開閉眼検出手段で検出された開閉眼のパターンに基づい
て運転者の状態を判定する運転者状態判定手段CL6と
を備えるものとした。
に本発明は、図1に示されるように、運転者の顔画像を
入力する画像入力手段CL1と、該画像入力手段から入
力された顔画像を2値化する2値化手段CL2と、2値
化された画像内で眼球存在領域を定める眼球存在領域設
定手段CL3と、前記眼球存在領域内で縦方向の連続黒
色画素に基づいて眼球を検出する眼球検出手段CL4
と、検出された眼球の前記連続黒色画素の数に基づいて
運転者の開閉眼を検出する開閉眼検出手段CL5と、該
開閉眼検出手段で検出された開閉眼のパターンに基づい
て運転者の状態を判定する運転者状態判定手段CL6と
を備えるものとした。
【0006】
【作用】2値化画像の眼球存在領域内を縦方向に走査し
て、連続黒色画素を検索することによって眼球を検出す
るから、開眼状態か閉眼状態かにかかわらず確実に眼球
が検出される。眼球の上記連続黒色画素数によって開閉
眼が判別されるから、短時間に状態検出が行なわれる。
て、連続黒色画素を検索することによって眼球を検出す
るから、開眼状態か閉眼状態かにかかわらず確実に眼球
が検出される。眼球の上記連続黒色画素数によって開閉
眼が判別されるから、短時間に状態検出が行なわれる。
【0007】
【実施例】以下、本発明を図面に基づいて説明する。図
2は、本発明の実施例の構成を示すブロック図である。
運転者の顔面に向けて照射する赤外線ストロボ1と、こ
の赤外線ストロボ1の赤外線で照射される顔部分を撮影
する画像入力手段CL1としてのCCDTVカメラ3
が、車両の図示しないインストルメントパネルに設置さ
れている。前記赤外線ストロボ1とTVカメラ3はタイ
ミング指令回路5に接続され、ストロボ発光とTVカメ
ラの画像入力とのタイミング合わせが制御される。すな
わち、赤外線ストロボ1にタイミング指令回路5からス
トロボ発光指令が出力されると、赤外線ストロボ1が発
光して運転者の顔部分を照射し、これと同時にTVカメ
ラ3へ画像入力指令が出力され、赤外線で照射された顔
部分を撮影するようになっている。
2は、本発明の実施例の構成を示すブロック図である。
運転者の顔面に向けて照射する赤外線ストロボ1と、こ
の赤外線ストロボ1の赤外線で照射される顔部分を撮影
する画像入力手段CL1としてのCCDTVカメラ3
が、車両の図示しないインストルメントパネルに設置さ
れている。前記赤外線ストロボ1とTVカメラ3はタイ
ミング指令回路5に接続され、ストロボ発光とTVカメ
ラの画像入力とのタイミング合わせが制御される。すな
わち、赤外線ストロボ1にタイミング指令回路5からス
トロボ発光指令が出力されると、赤外線ストロボ1が発
光して運転者の顔部分を照射し、これと同時にTVカメ
ラ3へ画像入力指令が出力され、赤外線で照射された顔
部分を撮影するようになっている。
【0008】TVカメラ3の入力画像は図3に示される
ように、横(X)方向520画素、縦(Y)方向500
画素からなり、縦方向に顔部分がほぼいっぱいになるよ
うに画角が調整されている。 TVカメラ3には、撮影
した入力画像をデジタル量に変換するA/D変換器7を
介して画像メモリ9が接続され、入力画像データが格納
される。画像メモリ9には、眼球存在位置規定回路11
が接続され、画像メモリ9に格納された入力画像データ
に基づいて眼球の存在位置領域を規定する。さらに、こ
の眼球存在位置規定回路11に接続されて、眼球検出回
路13が、画像メモリ9の画像データのうち上記の眼球
存在位置領域内にあるデータを処理して、眼球を検出す
る。次の開閉眼判別回路15において、上に検出された
眼球データから開眼状態か閉眼状態かが判断される。こ
の開閉眼の状況から居眠り判定回路17において運転者
の居眠り状態の有無が判定される。判定結果は警報回路
17などに出力されて報知される。
ように、横(X)方向520画素、縦(Y)方向500
画素からなり、縦方向に顔部分がほぼいっぱいになるよ
うに画角が調整されている。 TVカメラ3には、撮影
した入力画像をデジタル量に変換するA/D変換器7を
介して画像メモリ9が接続され、入力画像データが格納
される。画像メモリ9には、眼球存在位置規定回路11
が接続され、画像メモリ9に格納された入力画像データ
に基づいて眼球の存在位置領域を規定する。さらに、こ
の眼球存在位置規定回路11に接続されて、眼球検出回
路13が、画像メモリ9の画像データのうち上記の眼球
存在位置領域内にあるデータを処理して、眼球を検出す
る。次の開閉眼判別回路15において、上に検出された
眼球データから開眼状態か閉眼状態かが判断される。こ
の開閉眼の状況から居眠り判定回路17において運転者
の居眠り状態の有無が判定される。判定結果は警報回路
17などに出力されて報知される。
【0009】上記構成における全体の動作のメインフロ
ーを図4により説明する。まず、車両のイグニッション
スイッチがオンされて、運転者が運転席についたことが
確認され全体システムが起動すると、ステップS1でタ
イマがスタートされる。そしてステップS2で赤外線ス
トロボ1の発光と同期してTVカメラ3によって運転者
の顔部分が撮影されると、この画像がA/D変換回路7
でデジタル信号に変換されて、1フレーム分の入力画像
データとしてステップS3で画像メモリ9に格納され
る。ここでは、ビデオ信号が0〜255の256階調の
デジタルデータに変換され、白い部分が「255」、黒
い部分が「0」とされている。ステップS2、S3が発
明の画像入力手段CL1を構成している。
ーを図4により説明する。まず、車両のイグニッション
スイッチがオンされて、運転者が運転席についたことが
確認され全体システムが起動すると、ステップS1でタ
イマがスタートされる。そしてステップS2で赤外線ス
トロボ1の発光と同期してTVカメラ3によって運転者
の顔部分が撮影されると、この画像がA/D変換回路7
でデジタル信号に変換されて、1フレーム分の入力画像
データとしてステップS3で画像メモリ9に格納され
る。ここでは、ビデオ信号が0〜255の256階調の
デジタルデータに変換され、白い部分が「255」、黒
い部分が「0」とされている。ステップS2、S3が発
明の画像入力手段CL1を構成している。
【0010】画像メモリ9に格納された入力画像データ
は、眼球存在位置規定回路11に取り込まれ、ステップ
S4において、顔部分の明暗をはっきりさせ眼球を抽出
できるよう、所定のしきい値で2値化されて、2値化画
像J(X,Y)が求められる。2値化画像J(X,Y)
を基に、次のステップS5およびステップS6におい
て、あるいはステップS5’およびステップS6’にお
いて、図3に破線で示される左右の眼球存在領域の横方
向(X方向)の幅および縦方向(Y方向)の幅が決定さ
れる。ステップS4が発明の2値化手段CL2を構成し
ている。また、ステップS5、S5’が横幅設定手段
を、S6、S6’が縦幅設定手段を構成し、両者で眼球
存在領域設定手段CL3を構成している。
は、眼球存在位置規定回路11に取り込まれ、ステップ
S4において、顔部分の明暗をはっきりさせ眼球を抽出
できるよう、所定のしきい値で2値化されて、2値化画
像J(X,Y)が求められる。2値化画像J(X,Y)
を基に、次のステップS5およびステップS6におい
て、あるいはステップS5’およびステップS6’にお
いて、図3に破線で示される左右の眼球存在領域の横方
向(X方向)の幅および縦方向(Y方向)の幅が決定さ
れる。ステップS4が発明の2値化手段CL2を構成し
ている。また、ステップS5、S5’が横幅設定手段
を、S6、S6’が縦幅設定手段を構成し、両者で眼球
存在領域設定手段CL3を構成している。
【0011】眼球存在位置規定回路11で眼球存在領域
が決定されると、次にステップS7において、眼球検出
回路13により、眼球存在領域内での縦方向の連続黒色
画素の計数が行われて眼球が検出決定される。この後ス
テップ8で、開閉眼判別回路15においてしきい値が設
定され、上に検出された眼球のデータがしきい値と比較
されて開閉眼が検出される。先のステップS1でスター
トされたタイマのカウントは、後述するように、ここで
のしきい値設定に用いられる。
が決定されると、次にステップS7において、眼球検出
回路13により、眼球存在領域内での縦方向の連続黒色
画素の計数が行われて眼球が検出決定される。この後ス
テップ8で、開閉眼判別回路15においてしきい値が設
定され、上に検出された眼球のデータがしきい値と比較
されて開閉眼が検出される。先のステップS1でスター
トされたタイマのカウントは、後述するように、ここで
のしきい値設定に用いられる。
【0012】開閉眼の判断にあたっては、まず左側の眼
球存在領域の眼球データに開閉眼に伴なって所定の大き
な変化があるときは、この左側の眼球存在領域の眼球デ
ータに基づいてしきい値設定と開閉眼判断が行なわれ
て、ステップS9に移る。左側の眼球存在領域の眼球デ
ータの変化が小さいときは、次に右側の眼球存在領域の
眼球データと比較され、上記変化の大きいほうの眼球存
在領域のデータが用いられてしきい値設定と開閉眼判断
が行なわれる。そしてステップS9において、上に検出
された開閉眼のパターンから居眠り判定回路17で運転
者の居眠り判定が行われる。ステップS7が発明の眼球
検出手段CL4を、ステップS1、S8が開閉眼検出手
段CL5を、そしてステップS8が運転者状態判定手段
CL6を構成している。
球存在領域の眼球データに開閉眼に伴なって所定の大き
な変化があるときは、この左側の眼球存在領域の眼球デ
ータに基づいてしきい値設定と開閉眼判断が行なわれ
て、ステップS9に移る。左側の眼球存在領域の眼球デ
ータの変化が小さいときは、次に右側の眼球存在領域の
眼球データと比較され、上記変化の大きいほうの眼球存
在領域のデータが用いられてしきい値設定と開閉眼判断
が行なわれる。そしてステップS9において、上に検出
された開閉眼のパターンから居眠り判定回路17で運転
者の居眠り判定が行われる。ステップS7が発明の眼球
検出手段CL4を、ステップS1、S8が開閉眼検出手
段CL5を、そしてステップS8が運転者状態判定手段
CL6を構成している。
【0013】次にステップS5、S5’の詳細が図5、
図6のフローチャートに示される。まずステップS10
0で、検索開始点の初期設定が行なわれ、高さ方向の走
査Y座標が40にセットされる。これはY=0〜40の
範囲内に顔面の最大幅は存在しないことを前提として処
理時間を短縮するものである。ステップS101におい
て、図7に示すように、画像の中央(X座標=250)
が検索開始ラインとされて、Y座標上の横方向走査ライ
ン上を左右別個に連続白色画素数WXCLおよびWXC
Rがカウントされ、ステップS102で、連続白色画素
数が最大のときの左右端X座標XLMおよびXRMが記
憶される。ステップS100〜S102が発明の連続白
色画素数計数手段を構成しており、この処理のさらに詳
細な説明は図8、図9により後述する。
図6のフローチャートに示される。まずステップS10
0で、検索開始点の初期設定が行なわれ、高さ方向の走
査Y座標が40にセットされる。これはY=0〜40の
範囲内に顔面の最大幅は存在しないことを前提として処
理時間を短縮するものである。ステップS101におい
て、図7に示すように、画像の中央(X座標=250)
が検索開始ラインとされて、Y座標上の横方向走査ライ
ン上を左右別個に連続白色画素数WXCLおよびWXC
Rがカウントされ、ステップS102で、連続白色画素
数が最大のときの左右端X座標XLMおよびXRMが記
憶される。ステップS100〜S102が発明の連続白
色画素数計数手段を構成しており、この処理のさらに詳
細な説明は図8、図9により後述する。
【0014】続いてステップS103で、左右の連続白
色画素数の和が200より大きいか否かがチェックされ
る。頭髪や眉、眼球部などの存在により白色データの連
続が遮断されて上記の和が200以下である場合には、
ステップS104で、左安定カウンタWLCONおよび
右安定カウンタWRCON、左安定フラグSTFLGL
および右安定フラグSTFLGRがクリアされて、ステ
ップS101へ戻り次のラインが走査される。
色画素数の和が200より大きいか否かがチェックされ
る。頭髪や眉、眼球部などの存在により白色データの連
続が遮断されて上記の和が200以下である場合には、
ステップS104で、左安定カウンタWLCONおよび
右安定カウンタWRCON、左安定フラグSTFLGL
および右安定フラグSTFLGRがクリアされて、ステ
ップS101へ戻り次のラインが走査される。
【0015】左右の連続白色画素数の和が200より大
きい場合には、ステップS105に進んで、左側端点検
出フラグOKFGLがセットされているか否かがチェッ
クされ、セットされている場合はステップS120以降
の右端検索処理へ移る。左側端点検出フラグOKFGL
が0の場合には、ステップS106に進み、WXCLと
直前の走査ラインにおける連続数MAELとの差が10
未満であるかチェックされ、10未満ならばステップ1
07で左安定カウンタWLCONがカウントアップされ
る。このときには、現走査ラインは直前走査ラインの連
続数との差が小さい安定候補部とみなされ、ステップ1
08、109でこの中での連続白色画素数WXCLが最
大のときのXLをX1 、最小のときのXLをX2 として
記憶される。
きい場合には、ステップS105に進んで、左側端点検
出フラグOKFGLがセットされているか否かがチェッ
クされ、セットされている場合はステップS120以降
の右端検索処理へ移る。左側端点検出フラグOKFGL
が0の場合には、ステップS106に進み、WXCLと
直前の走査ラインにおける連続数MAELとの差が10
未満であるかチェックされ、10未満ならばステップ1
07で左安定カウンタWLCONがカウントアップされ
る。このときには、現走査ラインは直前走査ラインの連
続数との差が小さい安定候補部とみなされ、ステップ1
08、109でこの中での連続白色画素数WXCLが最
大のときのXLをX1 、最小のときのXLをX2 として
記憶される。
【0016】ステップS110では、左安定カウンタW
LCONが10を越え、且つX1 とX2 の差が30未満
か否かが調べられ、この条件を満足していればステップ
111で左安定フラグのSTFGLがセットされ、ステ
ップ112で、左の連続白色画素数WXCLが新たにM
AELとされる。
LCONが10を越え、且つX1 とX2 の差が30未満
か否かが調べられ、この条件を満足していればステップ
111で左安定フラグのSTFGLがセットされ、ステ
ップ112で、左の連続白色画素数WXCLが新たにM
AELとされる。
【0017】ステップS106で連続白色画素数WXC
Lと前の走査での連続数MAELの差が10以上であっ
たときには、画像輪郭線の連続性が失われた可能性があ
ると判断され、ステップS113〜S119の処理へ移
る。ここでは、連続画素数が大きく変化したのが眉など
の存在によるためか、輪郭線の途切れなのかが連続画素
数の変化と安定部分の存在とによって判断される。
Lと前の走査での連続数MAELの差が10以上であっ
たときには、画像輪郭線の連続性が失われた可能性があ
ると判断され、ステップS113〜S119の処理へ移
る。ここでは、連続画素数が大きく変化したのが眉など
の存在によるためか、輪郭線の途切れなのかが連続画素
数の変化と安定部分の存在とによって判断される。
【0018】まずステップS113で、左安定フラグS
TFLGLがチェックされ、この連続白色画素数が大き
く変化する前に安定部分が存在し、STFLGLがセッ
トされていた場合は、ステップS114で連続画素数が
増加したか否かが調べられる。 連続画素数が増加して
いる場合には、輪郭線が途切れたと判断され、ステップ
S115に進んで、前回フローのステップS108で記
憶されたX座標X1 を顔の左端と定める。
TFLGLがチェックされ、この連続白色画素数が大き
く変化する前に安定部分が存在し、STFLGLがセッ
トされていた場合は、ステップS114で連続画素数が
増加したか否かが調べられる。 連続画素数が増加して
いる場合には、輪郭線が途切れたと判断され、ステップ
S115に進んで、前回フローのステップS108で記
憶されたX座標X1 を顔の左端と定める。
【0019】ステップ113で連続白色画素数が大きく
変化する前に安定部分が存在しない場合や、安定部分が
存在してもステップ114で連続画素数が減少している
場合は、輪郭線が途切れた部分から輪郭線のある部分の
走査に移ったか、あるいは眉や眼、眼鏡部分などを走査
したものであることが考えられる。そこでこのときには
ステップS116において、今回の走査の連続白色画素
数が前回の走査の連続白色画素数より50以上減少して
いるかどうかがチェックされる。
変化する前に安定部分が存在しない場合や、安定部分が
存在してもステップ114で連続画素数が減少している
場合は、輪郭線が途切れた部分から輪郭線のある部分の
走査に移ったか、あるいは眉や眼、眼鏡部分などを走査
したものであることが考えられる。そこでこのときには
ステップS116において、今回の走査の連続白色画素
数が前回の走査の連続白色画素数より50以上減少して
いるかどうかがチェックされる。
【0020】50以上減少の場合は、輪郭線が途切れた
部分から輪郭線のある部分の走査に移ったものとして、
ステップ118に進んで今回の走査の左端点XLを顔の
左端と定める。こうしてステップS115、またはステ
ップS118で顔の左端が決定されたときは、次のステ
ップS119で左側端点検出フラグOKFGLがセット
された上でステップS120へ進む。ステップ116で
今回の連続白色画素数が前回の連続画素数より大きく減
少していない場合は、眉や眼、眼鏡部分、その他大きな
陰影のある部分と考えられ、ステップS117に進ん
で、X1 ,X2 ,WLCON,STFLGLがクリアさ
れた後ステップS112へ進む。
部分から輪郭線のある部分の走査に移ったものとして、
ステップ118に進んで今回の走査の左端点XLを顔の
左端と定める。こうしてステップS115、またはステ
ップS118で顔の左端が決定されたときは、次のステ
ップS119で左側端点検出フラグOKFGLがセット
された上でステップS120へ進む。ステップ116で
今回の連続白色画素数が前回の連続画素数より大きく減
少していない場合は、眉や眼、眼鏡部分、その他大きな
陰影のある部分と考えられ、ステップS117に進ん
で、X1 ,X2 ,WLCON,STFLGLがクリアさ
れた後ステップS112へ進む。
【0021】ステップS120からS121では、画像
の左側についてのステップS105〜S119と同様に
して、画像の右側について輪郭線途切れの判断および輪
郭線が途切れた際の顔の右端決定が行なわれる。
の左側についてのステップS105〜S119と同様に
して、画像の右側について輪郭線途切れの判断および輪
郭線が途切れた際の顔の右端決定が行なわれる。
【0022】以上の処理がステップS122およびS1
23により、顔面の左右の端点検出フラグOKFGL、
OKFGRの両方ともセットされるか、さもなければ予
め設定された縦方向(Y方向)の検索範囲の走査が終了
するまで繰り返される。端点検出フラグがセットされた
場合は、左側ではX1 、X2 を端点として、同様に右側
ではXX1 、XX2 を端点として眼球存在領域の横幅設
定が終了する。
23により、顔面の左右の端点検出フラグOKFGL、
OKFGRの両方ともセットされるか、さもなければ予
め設定された縦方向(Y方向)の検索範囲の走査が終了
するまで繰り返される。端点検出フラグがセットされた
場合は、左側ではX1 、X2 を端点として、同様に右側
ではXX1 、XX2 を端点として眼球存在領域の横幅設
定が終了する。
【0023】また、Y方向の検索範囲の走査が終了した
ときは、ステップS124並びにS126でそれぞれ左
右の端点検出フラグがセットされているか否かが調べら
れ、セットされていない場合はそれぞれステップS12
5、S127において、先のステップS102で記憶さ
れた全走査の中での連続白色画素数が最大のときの左右
端X座標XLM,XRMを顔の左右端と定める。顔の左
右端が定められると、次式により眼球存在領域の横方向
の端点が決定される。 X軸センター=XC =XLM+((XRM−XLM)/
2) 左眼眼球存在領域の左側X座標=X1 =XLM 左眼眼球存在領域の右側X座標=X2 =XC −25 右眼眼球存在領域の左側X座標=XX1 =XC +25 右眼眼球存在領域の右側X座標=XX2 =XRM ステップS103〜S112が発明の安定部検出手段
を、ステップS106、S113、S114が輪郭線連
続性判断手段を、そしてステップS115〜S127が
顔端特定手段を構成している。ただし、ステップS12
1は右側についての安定部検出手段および輪郭線連続性
判断手段を含む。
ときは、ステップS124並びにS126でそれぞれ左
右の端点検出フラグがセットされているか否かが調べら
れ、セットされていない場合はそれぞれステップS12
5、S127において、先のステップS102で記憶さ
れた全走査の中での連続白色画素数が最大のときの左右
端X座標XLM,XRMを顔の左右端と定める。顔の左
右端が定められると、次式により眼球存在領域の横方向
の端点が決定される。 X軸センター=XC =XLM+((XRM−XLM)/
2) 左眼眼球存在領域の左側X座標=X1 =XLM 左眼眼球存在領域の右側X座標=X2 =XC −25 右眼眼球存在領域の左側X座標=XX1 =XC +25 右眼眼球存在領域の右側X座標=XX2 =XRM ステップS103〜S112が発明の安定部検出手段
を、ステップS106、S113、S114が輪郭線連
続性判断手段を、そしてステップS115〜S127が
顔端特定手段を構成している。ただし、ステップS12
1は右側についての安定部検出手段および輪郭線連続性
判断手段を含む。
【0024】前記のステップS101、S102におけ
る連続白色画素数のカウントと左右端X座標XLMとX
RMの記憶は図8、図9に示す流れで行なわれる。前述
のようにステップS100で、縦方向の走査Y座標が4
0にセットされると、次にステップS202で、左検索
X座標XLと右検索X座標XRに横方向の検索走査開始
ラインのX座標値250がそれぞれセットされる。この
X座標値(=250)は、図7に示されるように、車両
運転者がTVカメラの撮影画角内に存在すれば、確実に
顔面部の中に存在するラインを表わしている。
る連続白色画素数のカウントと左右端X座標XLMとX
RMの記憶は図8、図9に示す流れで行なわれる。前述
のようにステップS100で、縦方向の走査Y座標が4
0にセットされると、次にステップS202で、左検索
X座標XLと右検索X座標XRに横方向の検索走査開始
ラインのX座標値250がそれぞれセットされる。この
X座標値(=250)は、図7に示されるように、車両
運転者がTVカメラの撮影画角内に存在すれば、確実に
顔面部の中に存在するラインを表わしている。
【0025】次に、ステップS203で右側走査終了フ
ラグOKRがセットされているか否かが調べられ、セッ
トされていればステップS211以降の顔面左端検索に
進む。OKRがセットされていない場合は、ステップS
204で、画素J(XR,Y)が白か否かが調べられ、
白のときはステップS205およびS206で右側連続
白色画素カウンタWXCR、検索X座標XRがそれぞれ
カウントアップされる。ステップS204のチェックで
画素J(XR,Y)が白でないときには、ステップS2
07に進んで右側走査終了フラグOKRがセットされた
後、ステップS208で、今まで記憶していた右側端点
の最大値XRMと今回の端点XRが比較される。ここで
XRの方が大きいとき、すなわちより右側にある場合は
ステップS209においてXRが新たな右端点XRMと
される。
ラグOKRがセットされているか否かが調べられ、セッ
トされていればステップS211以降の顔面左端検索に
進む。OKRがセットされていない場合は、ステップS
204で、画素J(XR,Y)が白か否かが調べられ、
白のときはステップS205およびS206で右側連続
白色画素カウンタWXCR、検索X座標XRがそれぞれ
カウントアップされる。ステップS204のチェックで
画素J(XR,Y)が白でないときには、ステップS2
07に進んで右側走査終了フラグOKRがセットされた
後、ステップS208で、今まで記憶していた右側端点
の最大値XRMと今回の端点XRが比較される。ここで
XRの方が大きいとき、すなわちより右側にある場合は
ステップS209においてXRが新たな右端点XRMと
される。
【0026】次にステップS211〜S217で、上記
ステップS203〜S209と同様の処理が顔面左側に
ついて行なわれる。右側における処理と相異するのは、
ステップS214で検索X座標XLがカウントダウンさ
れること、ステップS217で左側記憶端点のXLMと
今回の端点XLの小さい方、すなわちより左側にある方
が新たな左端点XLMとされる点である。
ステップS203〜S209と同様の処理が顔面左側に
ついて行なわれる。右側における処理と相異するのは、
ステップS214で検索X座標XLがカウントダウンさ
れること、ステップS217で左側記憶端点のXLMと
今回の端点XLの小さい方、すなわちより左側にある方
が新たな左端点XLMとされる点である。
【0027】一つの走査ラインで左右端が検出され、ス
テップS221で走査終了フラグOKL、OKRの両方
がセットされたと判断された場合は、ステップS222
でこのフラグがクリアされた後、ステップS223で走
査ラインのY座標値がインクリメントされて、この処理
を終了する。
テップS221で走査終了フラグOKL、OKRの両方
がセットされたと判断された場合は、ステップS222
でこのフラグがクリアされた後、ステップS223で走
査ラインのY座標値がインクリメントされて、この処理
を終了する。
【0028】以上により、顔面の片側から外光が射し込
んだりして顔画像の輪郭線に連続性がなくなったときに
も、安定部の有無と連続画素数の変化状況から、顔輪郭
線の連続性を確認して顔の左右端が特定される。また、
2値化画像において画像の中央から左右へ走査して白色
画素の連続により顔の左右端を検出するので、背景が白
でなくても必ず顔面をとらえることができ、適格な検出
を行なうことができる。
んだりして顔画像の輪郭線に連続性がなくなったときに
も、安定部の有無と連続画素数の変化状況から、顔輪郭
線の連続性を確認して顔の左右端が特定される。また、
2値化画像において画像の中央から左右へ走査して白色
画素の連続により顔の左右端を検出するので、背景が白
でなくても必ず顔面をとらえることができ、適格な検出
を行なうことができる。
【0029】メインフローのステップS6およびS6’
における眼球存在領域縦幅の設定過程は黒領域2点の検
索処理と、眼鏡の有無検索処理との二つに分かれる。黒
領域2点の検索処理では、左眼に関して、図10のよう
に、鼻の穴の黒い部分の検出を避けるため左側眼球存在
領域の右側X座標X2 から10ドット左側、すなわちX
2 −10を始点とし、この位置から横方向(X方向)に
X2 −90までの範囲について、検索開始のY座標YL
から0の間を縦方向上方へ走査され、これが横方向4ド
ットの間隔で実行される。Y座標YLは顔の左右端を決
定した走査ラインの下方に設定される。また、右眼に関
しても同様に右側眼球存在領域の左側X座標XX1 から
10ドット右側、すなわちXX1 +10を始点とし、こ
の位置から横方向(X方向)にXX1 +90までの範囲
について、Y座標YLから0の間を縦方向上方へ走査さ
れ、これが横方向4ドットの間隔で実行される。
における眼球存在領域縦幅の設定過程は黒領域2点の検
索処理と、眼鏡の有無検索処理との二つに分かれる。黒
領域2点の検索処理では、左眼に関して、図10のよう
に、鼻の穴の黒い部分の検出を避けるため左側眼球存在
領域の右側X座標X2 から10ドット左側、すなわちX
2 −10を始点とし、この位置から横方向(X方向)に
X2 −90までの範囲について、検索開始のY座標YL
から0の間を縦方向上方へ走査され、これが横方向4ド
ットの間隔で実行される。Y座標YLは顔の左右端を決
定した走査ラインの下方に設定される。また、右眼に関
しても同様に右側眼球存在領域の左側X座標XX1 から
10ドット右側、すなわちXX1 +10を始点とし、こ
の位置から横方向(X方向)にXX1 +90までの範囲
について、Y座標YLから0の間を縦方向上方へ走査さ
れ、これが横方向4ドットの間隔で実行される。
【0030】この眼球存在領域縦幅の設定過程の詳細な
流れが図11、図12、図13に示される。まず、ステ
ップS301において、1番目と2番目の黒領域のぞれ
ぞれ最高点を示すY座標の最大値のメモリ変数BY1M
AXおよびBY2MAXの値が0にクリアされ、X方向
の検出範囲規定カウンタXCHECKがX2 −10に、
またY方向の検索範囲規定カウンタYCHECKがYL
に初期化される。
流れが図11、図12、図13に示される。まず、ステ
ップS301において、1番目と2番目の黒領域のぞれ
ぞれ最高点を示すY座標の最大値のメモリ変数BY1M
AXおよびBY2MAXの値が0にクリアされ、X方向
の検出範囲規定カウンタXCHECKがX2 −10に、
またY方向の検索範囲規定カウンタYCHECKがYL
に初期化される。
【0031】そして、ステップS302で、X方向の検
索範囲規定カウンタXCHECKがX2 −90以下か否
かが調べられる。これはX方向へすべて検索したか否か
を判別するものである。まだX方向全ての検索を終了し
ていない間はステップS303に進み、1番目の黒領域
を検出したことを示すフラグFL1、連続黒色画素カウ
ンタBLACK、連続白色画素カウンタWHITE、1
番目の黒領域と2番目の黒領域との間隔が10ドット以
上あることを示すフラグWHITEFLおよび1番目の
黒領域と2番目の黒領域のそれぞれの最大値記憶バッフ
ァBY1およびBY2がクリアされる。
索範囲規定カウンタXCHECKがX2 −90以下か否
かが調べられる。これはX方向へすべて検索したか否か
を判別するものである。まだX方向全ての検索を終了し
ていない間はステップS303に進み、1番目の黒領域
を検出したことを示すフラグFL1、連続黒色画素カウ
ンタBLACK、連続白色画素カウンタWHITE、1
番目の黒領域と2番目の黒領域との間隔が10ドット以
上あることを示すフラグWHITEFLおよび1番目の
黒領域と2番目の黒領域のそれぞれの最大値記憶バッフ
ァBY1およびBY2がクリアされる。
【0032】つぎに、ステップS304で検索画素が黒
か否かがチェックされ、黒の場合はステップS305で
連続白色画素カウンタWHITEがクリアされ、ステッ
プS306で連続黒色画素カウンタBLACKがカウン
トアップされる。そして、ステップS307において、
連続黒色画素カウンタBLACKのカウント値が1であ
るか否かがチェックされる。ここでは黒画素の検出が初
めてかを判断している。カウント値が1のときは、ステ
ップS308で、Y方向の検索範囲規定カウンタYCH
ECKでカウントされた現Y座標が、黒領域の最下点Y
座標候補として、SETYに記憶される。すなわち、図
10中に「1」で示されるY座標が記憶されることにな
る。
か否かがチェックされ、黒の場合はステップS305で
連続白色画素カウンタWHITEがクリアされ、ステッ
プS306で連続黒色画素カウンタBLACKがカウン
トアップされる。そして、ステップS307において、
連続黒色画素カウンタBLACKのカウント値が1であ
るか否かがチェックされる。ここでは黒画素の検出が初
めてかを判断している。カウント値が1のときは、ステ
ップS308で、Y方向の検索範囲規定カウンタYCH
ECKでカウントされた現Y座標が、黒領域の最下点Y
座標候補として、SETYに記憶される。すなわち、図
10中に「1」で示されるY座標が記憶されることにな
る。
【0033】つぎに、ステップS309で、連続黒色画
素カウンタBLACKのカウント値が2以上か否かがチ
ェックされる。カウント値が2以上のときは、ステップ
S310に進んで1番目の黒領域検出フラグFL1がセ
ットされているか否かが調べられる。フラグFL1がセ
ットされていないときは、ステップS311へ進み、1
番目の黒領域の最大値記憶バッファBY1にSETYの
値が代入されて保管され、フラグFL1がセットされ
る。それからステップS328においてY座標YCがカ
ウントダウンされ、走査ライン上一つ上の画素の検索に
移る。
素カウンタBLACKのカウント値が2以上か否かがチ
ェックされる。カウント値が2以上のときは、ステップ
S310に進んで1番目の黒領域検出フラグFL1がセ
ットされているか否かが調べられる。フラグFL1がセ
ットされていないときは、ステップS311へ進み、1
番目の黒領域の最大値記憶バッファBY1にSETYの
値が代入されて保管され、フラグFL1がセットされ
る。それからステップS328においてY座標YCがカ
ウントダウンされ、走査ライン上一つ上の画素の検索に
移る。
【0034】ステップS310でフラグFL1がセット
されている場合には、ステップS312へ進んで、フラ
グWHITEFLがセットされているか否かがチェック
され、1番目の黒領域と2番目の黒領域との間隔が10
ドット以上あるかどうかが調べられる。そして、フラグ
WHITEFLがセットされているときは2番目の黒領
域を検出したことになるので、ステップS313におい
て2番目の黒領域の最大値記憶バッファBY2にSET
Yの値が代入されて保管される。すなわち、図10中に
「2」で示されるY座標が保管されることになる。
されている場合には、ステップS312へ進んで、フラ
グWHITEFLがセットされているか否かがチェック
され、1番目の黒領域と2番目の黒領域との間隔が10
ドット以上あるかどうかが調べられる。そして、フラグ
WHITEFLがセットされているときは2番目の黒領
域を検出したことになるので、ステップS313におい
て2番目の黒領域の最大値記憶バッファBY2にSET
Yの値が代入されて保管される。すなわち、図10中に
「2」で示されるY座標が保管されることになる。
【0035】ステップS312でフラグWHITEFL
がセットされていない場合には、1番目の黒領域と2番
目の黒領域の間隔が狭く両者の差が明確でないとして、
ステップS314へ進み、黒画素の連続数が50ドット
を越えるか否かが調べられる。連続黒色画素カウンタB
LACKのカウント値が50を越えているときは、頭髪
を検出したものとして、ステップS315においてバッ
ファBY2がクリアされる。50ドットを越えていない
場合はステップS328へ進んで、Y座標YCのカウン
トダウンにより一つ上の画素の検索に移る。
がセットされていない場合には、1番目の黒領域と2番
目の黒領域の間隔が狭く両者の差が明確でないとして、
ステップS314へ進み、黒画素の連続数が50ドット
を越えるか否かが調べられる。連続黒色画素カウンタB
LACKのカウント値が50を越えているときは、頭髪
を検出したものとして、ステップS315においてバッ
ファBY2がクリアされる。50ドットを越えていない
場合はステップS328へ進んで、Y座標YCのカウン
トダウンにより一つ上の画素の検索に移る。
【0036】前記ステップS304において検索画素が
白であるときには、ステップS316へ進んで連続黒色
画素カウンタBLACKがクリアされた後、ステップS
317で1番目の黒領域検出フラグFL1がセットされ
ているか否かがチェックされる。そして、フラグFL1
がセットされていないときは、未だ黒領域が一つも検出
されていないため、ステップS328を経て、一つ上の
画素の検索に移る。フラグFL1がセットされている場
合にはステップS318へ進み、連続白色画素カウンタ
WHITEがカウントアップされる。
白であるときには、ステップS316へ進んで連続黒色
画素カウンタBLACKがクリアされた後、ステップS
317で1番目の黒領域検出フラグFL1がセットされ
ているか否かがチェックされる。そして、フラグFL1
がセットされていないときは、未だ黒領域が一つも検出
されていないため、ステップS328を経て、一つ上の
画素の検索に移る。フラグFL1がセットされている場
合にはステップS318へ進み、連続白色画素カウンタ
WHITEがカウントアップされる。
【0037】次のステップS319では白色画素が10
ドット以上連続したか否かが調べられ、10ドット以上
連続しているときは眼と眉の間か、あるいは眼鏡フレー
ムと目の間を検出したものとして、ステップS320で
フラグWHITEFLがセットされる。さらに次のステ
ップS321で、白色画素が80ドット以上連続したか
否かが調べられ、80ドット以上連続した場合は、眉毛
が検出されず額を検出したものとして、ステップS32
2で2番目の黒領域の最大値記憶バッファBY2がクリ
アされる。
ドット以上連続したか否かが調べられ、10ドット以上
連続しているときは眼と眉の間か、あるいは眼鏡フレー
ムと目の間を検出したものとして、ステップS320で
フラグWHITEFLがセットされる。さらに次のステ
ップS321で、白色画素が80ドット以上連続したか
否かが調べられ、80ドット以上連続した場合は、眉毛
が検出されず額を検出したものとして、ステップS32
2で2番目の黒領域の最大値記憶バッファBY2がクリ
アされる。
【0038】白色画素が80ドット以上連続していない
場合、あるいはステップS319で白色画素が10ドッ
ト以上連続していない場合には、ステップS328へ進
んでY座標YCのカウントダウンにより走査ライン上一
つ上の画素の検索に移る。
場合、あるいはステップS319で白色画素が10ドッ
ト以上連続していない場合には、ステップS328へ進
んでY座標YCのカウントダウンにより走査ライン上一
つ上の画素の検索に移る。
【0039】一方、1番目と2番目の黒領域の候補点と
してそれぞれのバッファBY1およびBY2の値が得ら
れると、ステップS323、S324において、バッフ
ァBY1の値と今までに記憶された1番目の黒領域の最
下点を示す最大値BY1MAXとが比較され、より大き
い方の値がBY1MAXとして記憶される。続いてステ
ップS325、S326において、バッファBY2の値
と今までに記憶された2番目の黒領域の最大値BY2M
AXとが比較され、より大きい方の値がBY2MAXと
して記憶される。例えば、図10においては中央部の
「1」のY座標がBY1MAXとして記憶され、右側の
「2」のY座標がBY2MAXとして記憶されることに
なる。このようにして、1番目の黒領域の最下点BY1
MAXと2番目の黒領域の最下点BY2MAXが決定さ
れる。ステップS301〜S326が発明の黒領域検出
手段を構成している。
してそれぞれのバッファBY1およびBY2の値が得ら
れると、ステップS323、S324において、バッフ
ァBY1の値と今までに記憶された1番目の黒領域の最
下点を示す最大値BY1MAXとが比較され、より大き
い方の値がBY1MAXとして記憶される。続いてステ
ップS325、S326において、バッファBY2の値
と今までに記憶された2番目の黒領域の最大値BY2M
AXとが比較され、より大きい方の値がBY2MAXと
して記憶される。例えば、図10においては中央部の
「1」のY座標がBY1MAXとして記憶され、右側の
「2」のY座標がBY2MAXとして記憶されることに
なる。このようにして、1番目の黒領域の最下点BY1
MAXと2番目の黒領域の最下点BY2MAXが決定さ
れる。ステップS301〜S326が発明の黒領域検出
手段を構成している。
【0040】つぎに、眼鏡の有無の検索処理の過程に移
る。ここでは、上記の黒領域の検索において少なくも1
番目の黒領域が検出された走査ラインが発生すると、そ
の走査ラインすなわち縦方向の検索が終了する毎に、今
度は画面中央部の鼻部分をカバーする領域について横方
向に延びる走査ラインが設定されて、眼鏡を表わす黒領
域の存否が検索される。
る。ここでは、上記の黒領域の検索において少なくも1
番目の黒領域が検出された走査ラインが発生すると、そ
の走査ラインすなわち縦方向の検索が終了する毎に、今
度は画面中央部の鼻部分をカバーする領域について横方
向に延びる走査ラインが設定されて、眼鏡を表わす黒領
域の存否が検索される。
【0041】まずステップS329において、2番目の
黒領域の最大値記憶バッファBY2に値が入っているか
否かがチェックされ、その状況に応じて眼鏡検出のY座
標BYHが求められる。すなわち、2番目の黒領域の最
大値記憶バッファBY2に値がなく、1番目の黒領域の
最大値記憶バッファBY1のみが値を持っている場合
は、ステップ330で、 BYH=BY1+10 とされる。2番目の黒領域の最大値記憶バッファBY2
に値があるときは、ステップS331で、 BYH=
(BY1+BY2)/2 とされる。なおこの式では、BYHをBY1とBY2の
中間点としているが、BY1とBY2の間に位置する点
であれば任意である。
黒領域の最大値記憶バッファBY2に値が入っているか
否かがチェックされ、その状況に応じて眼鏡検出のY座
標BYHが求められる。すなわち、2番目の黒領域の最
大値記憶バッファBY2に値がなく、1番目の黒領域の
最大値記憶バッファBY1のみが値を持っている場合
は、ステップ330で、 BYH=BY1+10 とされる。2番目の黒領域の最大値記憶バッファBY2
に値があるときは、ステップS331で、 BYH=
(BY1+BY2)/2 とされる。なおこの式では、BYHをBY1とBY2の
中間点としているが、BY1とBY2の間に位置する点
であれば任意である。
【0042】この後、ステップS332において、黒色
画素の数をカウントする黒色画素カウンタBLACKX
がクリアされ、ステップS333、S334で画素座標
に初期値XC=X2 、YC=BYHが設定される。次に
ステップS335で、画素J(XC,YC)が黒である
か否かが調べられる。黒の場合はステップ336で黒色
画素カウンタBLACKXがカウントアップされた後、
また黒でないときはそのまま、ステップ337に進む。
ステップ337では、画素座標が左側眼球存在領域にお
いてはXC=X2 からカウントアップされる。ステップ
S338で、図14のように、画素Jが横方向(X方
向)にXX1 を越えるまで検索したかがチェックされ、
XCがXX1 を越えるまで横方向走査ライン上の画素検
索が繰り返される。
画素の数をカウントする黒色画素カウンタBLACKX
がクリアされ、ステップS333、S334で画素座標
に初期値XC=X2 、YC=BYHが設定される。次に
ステップS335で、画素J(XC,YC)が黒である
か否かが調べられる。黒の場合はステップ336で黒色
画素カウンタBLACKXがカウントアップされた後、
また黒でないときはそのまま、ステップ337に進む。
ステップ337では、画素座標が左側眼球存在領域にお
いてはXC=X2 からカウントアップされる。ステップ
S338で、図14のように、画素Jが横方向(X方
向)にXX1 を越えるまで検索したかがチェックされ、
XCがXX1 を越えるまで横方向走査ライン上の画素検
索が繰り返される。
【0043】1本の走査ラインの検索が終了すると、ス
テップS339において、黒色画素カウンタBLACK
Xの値が3より小さいか否かがチェックされ、黒色画素
カウンタBLACKXの値が3未満のときは、眼鏡中央
部のフレームが検出されたものとして、ステップS34
0において眼鏡無しカウンタMEGOFFがカウントア
ップされる。
テップS339において、黒色画素カウンタBLACK
Xの値が3より小さいか否かがチェックされ、黒色画素
カウンタBLACKXの値が3未満のときは、眼鏡中央
部のフレームが検出されたものとして、ステップS34
0において眼鏡無しカウンタMEGOFFがカウントア
ップされる。
【0044】これが、X軸方向検索範囲内のすべての縦
方向走査ラインの検索が終わることに伴なって終了する
と、ステップS341において、眼鏡無しカウンタME
GOFFの値が5を越えているか否かが調べられる。眼
鏡無しカウンタMEGOFFの値が5より大きいとき
は、眼鏡をかけていないものとして、ステップS342
に進む。ステップS342では、1番目に検出した黒領
域のY座標の最下点BY1MAXを基準にして、眼球存
在領域の縦幅を規定する上下のY座標YT、YBが、 YT=BY1MAX−40 YB=BY1MAX+10 に設定される。
方向走査ラインの検索が終わることに伴なって終了する
と、ステップS341において、眼鏡無しカウンタME
GOFFの値が5を越えているか否かが調べられる。眼
鏡無しカウンタMEGOFFの値が5より大きいとき
は、眼鏡をかけていないものとして、ステップS342
に進む。ステップS342では、1番目に検出した黒領
域のY座標の最下点BY1MAXを基準にして、眼球存
在領域の縦幅を規定する上下のY座標YT、YBが、 YT=BY1MAX−40 YB=BY1MAX+10 に設定される。
【0045】また、眼鏡無しカウンタMEGOFFの値
が5より小さい場合には、眼鏡をかけているものとし
て、ステップS343に進む。ここでは2番目に検出し
た黒領域のY座標の最下点BY2MAXを基準にして、
眼球存在領域のY座標が、 YT=BY2MAX−40 YB=BY2MAX+10 に設定される。
が5より小さい場合には、眼鏡をかけているものとし
て、ステップS343に進む。ここでは2番目に検出し
た黒領域のY座標の最下点BY2MAXを基準にして、
眼球存在領域のY座標が、 YT=BY2MAX−40 YB=BY2MAX+10 に設定される。
【0046】以上の処理が右側眼球存在領域の縦幅設定
においても同様に行なわれる。その際、眼鏡の有無の検
索処理では検索開始の初期値がXC=XX1 とされ、ス
テップ337ではXC=XX1 からカウントダウンさ
れ、逆方向にXCがX2 を下回るまで画素検索が繰り返
されることになる。
においても同様に行なわれる。その際、眼鏡の有無の検
索処理では検索開始の初期値がXC=XX1 とされ、ス
テップ337ではXC=XX1 からカウントダウンさ
れ、逆方向にXCがX2 を下回るまで画素検索が繰り返
されることになる。
【0047】以上のように、縦幅設定では、2点の黒領
域を有する範囲を探索することとし、横に4ドット毎に
僅か20回の縦方向走査を行なうだけで済むから眼球存
在領域の設定が短時間になされる。さらに、髪その他か
ら影響を受けず画像変化のほとんどない眉から下の部分
に絞って検索を行うようにしたから、帽子を被っている
ような場合でも眼球存在領域の特定が正確にできる。
域を有する範囲を探索することとし、横に4ドット毎に
僅か20回の縦方向走査を行なうだけで済むから眼球存
在領域の設定が短時間になされる。さらに、髪その他か
ら影響を受けず画像変化のほとんどない眉から下の部分
に絞って検索を行うようにしたから、帽子を被っている
ような場合でも眼球存在領域の特定が正確にできる。
【0048】次に、このようにして設定された眼球存在
領域におけるステップS7の眼球検出の詳細について説
明する。ここでは、左側の眼球存在領域については、眼
球存在領域の右側X座標X2 から横方向(X方向)にX
1 までを範囲として、検索開始のY座標YBから縦方向
上方(Y方向)にYB−50まで検索され、これが横方
向1ドット毎に繰り返される。また、右側眼球存在領域
についても、眼球存在領域左側X座標XX1 からXX2
までを範囲として、同様に検索される。この流れの過程
が図15、図16に示される。
領域におけるステップS7の眼球検出の詳細について説
明する。ここでは、左側の眼球存在領域については、眼
球存在領域の右側X座標X2 から横方向(X方向)にX
1 までを範囲として、検索開始のY座標YBから縦方向
上方(Y方向)にYB−50まで検索され、これが横方
向1ドット毎に繰り返される。また、右側眼球存在領域
についても、眼球存在領域左側X座標XX1 からXX2
までを範囲として、同様に検索される。この流れの過程
が図15、図16に示される。
【0049】まず、ステップS401において、X方向
の検索範囲の規定カウンタXECHECKがX2 に、Y
方向の検索範囲規定カウンタYECHECKがYBに初
期化され、最大連続黒色画素数BLACKEMAXがク
リアされる。次に、ステップS402でX方向の検索範
囲規定カウンタXECHECKがX1 より小さいか否か
がチェックされる。これはX方向についてすべて検索が
終了したか否かを判別するものである。X方向全ての検
索が終了していない間は、ステップS403に進んで、
新たなX軸の検索の前に連続黒色画素を検出したことを
示すフラグEBFL、連続白色画素を検出したことを示
すフラグEWFL、連続黒色画素カウンタBLACK
E、連続白色画素カウンタWHITEEがクリアされ
る。
の検索範囲の規定カウンタXECHECKがX2 に、Y
方向の検索範囲規定カウンタYECHECKがYBに初
期化され、最大連続黒色画素数BLACKEMAXがク
リアされる。次に、ステップS402でX方向の検索範
囲規定カウンタXECHECKがX1 より小さいか否か
がチェックされる。これはX方向についてすべて検索が
終了したか否かを判別するものである。X方向全ての検
索が終了していない間は、ステップS403に進んで、
新たなX軸の検索の前に連続黒色画素を検出したことを
示すフラグEBFL、連続白色画素を検出したことを示
すフラグEWFL、連続黒色画素カウンタBLACK
E、連続白色画素カウンタWHITEEがクリアされ
る。
【0050】次のステップS421で、Y軸の検索初期
画素が白色か否かがチェックされる。ここで画素が黒色
の場合は、髪などが眼球存在領域内に入っているものと
し、そのライン上でのY方向検索が中止され、ステップ
S418を経て、次のX軸の検索に移る。検索初期画素
が白色のときはステップ404に進んで、連続白色画素
のフラグがセットされているかどうか調べられる。いま
初期設定でフラグEWFLがセットされていないとき
は、該当するドットが黒色画素か白色画素かのチェック
ステップS405を経て、ステップ412に進み、連続
黒色画素のフラグEBFLのセットの有無がチェックさ
れる。
画素が白色か否かがチェックされる。ここで画素が黒色
の場合は、髪などが眼球存在領域内に入っているものと
し、そのライン上でのY方向検索が中止され、ステップ
S418を経て、次のX軸の検索に移る。検索初期画素
が白色のときはステップ404に進んで、連続白色画素
のフラグがセットされているかどうか調べられる。いま
初期設定でフラグEWFLがセットされていないとき
は、該当するドットが黒色画素か白色画素かのチェック
ステップS405を経て、ステップ412に進み、連続
黒色画素のフラグEBFLのセットの有無がチェックさ
れる。
【0051】フラグEBFLがセットされていないと
き、ステップS416で連続白色画素カウンタWHIT
EEがカウントアップされる。そして、このカウント値
により連続白色画素数が30を越えるまでは毎回連続黒
色画素カウンタBLACKEをクリアしながらステップ
S417、S420、S419でY方向上方のドットへ
走査が継続された後、ステップ418を経て次のX軸方
向のライン、すなわち横隣りのラインの検索に移る。
き、ステップS416で連続白色画素カウンタWHIT
EEがカウントアップされる。そして、このカウント値
により連続白色画素数が30を越えるまでは毎回連続黒
色画素カウンタBLACKEをクリアしながらステップ
S417、S420、S419でY方向上方のドットへ
走査が継続された後、ステップ418を経て次のX軸方
向のライン、すなわち横隣りのラインの検索に移る。
【0052】新しいラインに移って、ステップS405
でドットが黒色画素のときには、ステップS406に進
んで連続白色画素カウンタWHITEEがクリアされ、
また、ステップS407で連続黒色画素カウンタBLA
CKEがカウントアップされる。この後、ステップS4
08、S409において、BLACKEのカウント値が
2を越していればフラグEBFLがセットされて、1つ
上の画素に移る。これは2ドット以下の黒色画素のノイ
ズを除こうとするものである。
でドットが黒色画素のときには、ステップS406に進
んで連続白色画素カウンタWHITEEがクリアされ、
また、ステップS407で連続黒色画素カウンタBLA
CKEがカウントアップされる。この後、ステップS4
08、S409において、BLACKEのカウント値が
2を越していればフラグEBFLがセットされて、1つ
上の画素に移る。これは2ドット以下の黒色画素のノイ
ズを除こうとするものである。
【0053】ステップS412でフラグEBFLがセッ
トされているときには、ステップS413で連続白色画
素カウンタWHITEEがカウントアップされる。この
後、ステップS414、S415において、WHITE
Eのカウント値が5以上になったときはフラグEWFL
がセットされ、5未満の場合はセットされないままでス
テップS419に進む。
トされているときには、ステップS413で連続白色画
素カウンタWHITEEがカウントアップされる。この
後、ステップS414、S415において、WHITE
Eのカウント値が5以上になったときはフラグEWFL
がセットされ、5未満の場合はセットされないままでス
テップS419に進む。
【0054】ステップ404でフラグEWFLがセット
されている場合は、ステップS410に進んで、連続黒
色画素カウンタBLACKEのカウント値と最大連続黒
色画素数BLACKEMAXとが比較される。ここでX
軸の現在のライン上でカウントされたBLACKEがB
LACKEMAXより多いときには、ステップS411
でBLACKEMAXにBLACKEの値が入れられ、
またBLACKEがBLACKEMAXより少ない場合
にはBLACKEMAXはそのままで、次の横隣りの検
索に移る。
されている場合は、ステップS410に進んで、連続黒
色画素カウンタBLACKEのカウント値と最大連続黒
色画素数BLACKEMAXとが比較される。ここでX
軸の現在のライン上でカウントされたBLACKEがB
LACKEMAXより多いときには、ステップS411
でBLACKEMAXにBLACKEの値が入れられ、
またBLACKEがBLACKEMAXより少ない場合
にはBLACKEMAXはそのままで、次の横隣りの検
索に移る。
【0055】次に上記の流れにおけるとくにステップS
404以降の動作を、図17に例示した眼球存在領域内
の走査線イ〜ヘの場合について説明する。 (1)走査線「イ」の場合 走査線「イ」が眼球存在領域における最初の走査線であ
るとして、連続白色画素のフラグEWFLはセットされ
ていないから、ステップS404からステップS405
に進み、ここで該当するドットが黒色画素か白色画素か
が調べられる。ここで画素が白色であるから、ステップ
S412へ進む。さらに、連続黒色画素のフラグEBF
Lもセットされていないため、ステップS412からス
テップS416に進んで、連続白色画素カウンタWHI
TEEがスタートされる。
404以降の動作を、図17に例示した眼球存在領域内
の走査線イ〜ヘの場合について説明する。 (1)走査線「イ」の場合 走査線「イ」が眼球存在領域における最初の走査線であ
るとして、連続白色画素のフラグEWFLはセットされ
ていないから、ステップS404からステップS405
に進み、ここで該当するドットが黒色画素か白色画素か
が調べられる。ここで画素が白色であるから、ステップ
S412へ進む。さらに、連続黒色画素のフラグEBF
Lもセットされていないため、ステップS412からス
テップS416に進んで、連続白色画素カウンタWHI
TEEがスタートされる。
【0056】次に、連続白色画素数が30個を越えるま
で、ステップS417からステップS419経由ステッ
プ404へ戻りY座標を上方へカウントダウンが繰り返
される。連続白色画素数が30個を越えると、眼球存在
領域の上縁までY座標が走査されていなくても、ステッ
プ417からステップS418へ進んでX軸上次のライ
ンの検索に移る。ステップS417では白色画素が相当
数以上連続した後に現れる黒色画素は眼である可能性が
低く、眉や髪などになるため、これをカウントしないよ
うにするため30個を上限としたものである。なお、
「イ」の走査線の検索では最大連続黒色画素数はBLA
CKEMAX=0のままで、この数値が更新されること
はない。
で、ステップS417からステップS419経由ステッ
プ404へ戻りY座標を上方へカウントダウンが繰り返
される。連続白色画素数が30個を越えると、眼球存在
領域の上縁までY座標が走査されていなくても、ステッ
プ417からステップS418へ進んでX軸上次のライ
ンの検索に移る。ステップS417では白色画素が相当
数以上連続した後に現れる黒色画素は眼である可能性が
低く、眉や髪などになるため、これをカウントしないよ
うにするため30個を上限としたものである。なお、
「イ」の走査線の検索では最大連続黒色画素数はBLA
CKEMAX=0のままで、この数値が更新されること
はない。
【0057】(2)走査線「ロ」の場合 新たなX軸のラインとして走査線「ロ」の検索に移る
と、ステップS403でフラグEBFL、EWFL、お
よびカウンタBLACKE、WHITEEがクリアされ
てから、ステップS404に進む。このため走査線
「イ」のときと同じくステップS405、ステップS4
12、ステップS416を経てステップS417に進
み、WHITEEをカウントアップしながら走査線を上
方へ検索が繰り返される。
と、ステップS403でフラグEBFL、EWFL、お
よびカウンタBLACKE、WHITEEがクリアされ
てから、ステップS404に進む。このため走査線
「イ」のときと同じくステップS405、ステップS4
12、ステップS416を経てステップS417に進
み、WHITEEをカウントアップしながら走査線を上
方へ検索が繰り返される。
【0058】この走査線上では、連続白色画素数が30
を越える前に黒色画素が現われ、これに対応して、ステ
ップ405からステップS406に移り、ここで連続白
色画素カウンタWHITEEがクリアされる。次のステ
ップS407で連続黒色画素カウンタBLACKEのカ
ウントアップがスタートされ、黒色画素が連続する限り
このカウントアップが継続される。この間ステップS4
08、S409で、3ドット以上の黒色画素が連続した
場合、ノイズではないとしてフラグEBFLがセットさ
れる。
を越える前に黒色画素が現われ、これに対応して、ステ
ップ405からステップS406に移り、ここで連続白
色画素カウンタWHITEEがクリアされる。次のステ
ップS407で連続黒色画素カウンタBLACKEのカ
ウントアップがスタートされ、黒色画素が連続する限り
このカウントアップが継続される。この間ステップS4
08、S409で、3ドット以上の黒色画素が連続した
場合、ノイズではないとしてフラグEBFLがセットさ
れる。
【0059】黒色画素の連続が途切れたとき、ステップ
S405からまたステップS412へ移る。ここではフ
ラグEBFLがセットされているため、ステップS41
3に進んで連続白色画素カウンタWHITEEがスター
トされ、S419でY座標をカウントダウンしつつすな
わち走査線上方へ、白色画素が連続する間WHITEE
のカウントアップが繰り返される。そして、白色画素の
連続数が5個以上になると、ステップS414、S41
5でフラグEWFLがセットされる。
S405からまたステップS412へ移る。ここではフ
ラグEBFLがセットされているため、ステップS41
3に進んで連続白色画素カウンタWHITEEがスター
トされ、S419でY座標をカウントダウンしつつすな
わち走査線上方へ、白色画素が連続する間WHITEE
のカウントアップが繰り返される。そして、白色画素の
連続数が5個以上になると、ステップS414、S41
5でフラグEWFLがセットされる。
【0060】以上により、眼球存在領域における縦方向
(Y方向)走査線のスタートから白色画素連続のあと、
眼の部分にあたる黒色画素の連続が認められ、その後、
眼の上に所定数の白色画素連続を確認することで、連続
黒色画素数が眼の縦方向の大きさとして求められる。フ
ラグEWFLがセットされた後は、ステップS419を
経て次のY座標に移ったとき今度はステップS404か
らステップS410に進む。ステップS410ではステ
ップS407で先にカウントされたBLACKEの連続
黒色画素数と最大連続黒色画素数BLACKEMAXと
が比較される。
(Y方向)走査線のスタートから白色画素連続のあと、
眼の部分にあたる黒色画素の連続が認められ、その後、
眼の上に所定数の白色画素連続を確認することで、連続
黒色画素数が眼の縦方向の大きさとして求められる。フ
ラグEWFLがセットされた後は、ステップS419を
経て次のY座標に移ったとき今度はステップS404か
らステップS410に進む。ステップS410ではステ
ップS407で先にカウントされたBLACKEの連続
黒色画素数と最大連続黒色画素数BLACKEMAXと
が比較される。
【0061】走査線「ロ」ではじめて連続黒色画素が現
われたとすれば、BLACKEMAX=0であったか
ら、ステップS411に進んでBLACKEのカウント
値がBLACKEMAXに入れられる。
われたとすれば、BLACKEMAX=0であったか
ら、ステップS411に進んでBLACKEのカウント
値がBLACKEMAXに入れられる。
【0062】(3)走査線「ハ」の場合 走査線「ハ」は、夜間やトンネル内など環境光線がスト
ロボの赤外線のみのときの画像を2値化したときによく
見られる現象で、虹彩部が白くなった部分を通るライン
である。基本的な流れは走査線「ロ」の場合と同様であ
るが、ここでは連続黒色画素が確認され、連続黒色画素
カウンタBLACKEのカウントアップ中に、眼の部分
の黒色画素がまだ続くにも係わらず、虹彩部の白色画素
によりBLACKEのカウントが中断され、ステップS
405からS412、S413へ進む。
ロボの赤外線のみのときの画像を2値化したときによく
見られる現象で、虹彩部が白くなった部分を通るライン
である。基本的な流れは走査線「ロ」の場合と同様であ
るが、ここでは連続黒色画素が確認され、連続黒色画素
カウンタBLACKEのカウントアップ中に、眼の部分
の黒色画素がまだ続くにも係わらず、虹彩部の白色画素
によりBLACKEのカウントが中断され、ステップS
405からS412、S413へ進む。
【0063】ここで虹彩部の白色画素について連続白色
画素カウンタWHITEEのカウントアップが開始され
るが、虹彩部では白色画素が5個を越える前に再び黒色
画素に変わるので、フラグEWFLがセットされること
なく、ステップS419からステップS405〜S40
7に戻って、中断されていた連続黒色画素のカウントア
ップが再開される。この後、眼の上に至って白色画素が
確認されたあとは走査線「ロ」のときと同一の処理とな
る。
画素カウンタWHITEEのカウントアップが開始され
るが、虹彩部では白色画素が5個を越える前に再び黒色
画素に変わるので、フラグEWFLがセットされること
なく、ステップS419からステップS405〜S40
7に戻って、中断されていた連続黒色画素のカウントア
ップが再開される。この後、眼の上に至って白色画素が
確認されたあとは走査線「ロ」のときと同一の処理とな
る。
【0064】(4)走査線「ニ」の場合 走査線「ロ」のときと流れは全く同一であるが、黒色画
素の連続数がより多くなってステップS407における
BLACKEのカウント値が大きい。これにより、眼の
上の連続白色画素の確認後ステップS410、S411
において、BLACKEの値が最大連続黒色画素数BL
ACKEMAXの値としてメモリされる。
素の連続数がより多くなってステップS407における
BLACKEのカウント値が大きい。これにより、眼の
上の連続白色画素の確認後ステップS410、S411
において、BLACKEの値が最大連続黒色画素数BL
ACKEMAXの値としてメモリされる。
【0065】(5)走査線「ホ」の場合 走査線「ホ」は、眼部分を通らず、眉や髪などの黒色部
分を切るラインである。眉や髪などの黒色画素は少なく
とも眼の下にあることはなく、走査線上の検索が開始さ
れると、白色画素が繰り返し検出される。この結果、ス
テップS417で連続白色画素数が30個を越えてしま
うから、この走査線上での検索は中止され、次の横隣り
の走査線の検索に移る。
分を切るラインである。眉や髪などの黒色画素は少なく
とも眼の下にあることはなく、走査線上の検索が開始さ
れると、白色画素が繰り返し検出される。この結果、ス
テップS417で連続白色画素数が30個を越えてしま
うから、この走査線上での検索は中止され、次の横隣り
の走査線の検索に移る。
【0066】(6)走査線「ヘ」の場合 この走査線は眼球存在領域の左端部の髪部分を通る。こ
こでは連続黒色画素数が非常に多くなり、この連続黒色
画素の上方に連続白色画素は現れない。したがって、フ
ラグEBFLがセットされた後ステップS405からS
412へ分岐することがないから、フラグEWFLがセ
ットされることもない。この結果、髪による連続黒色画
素数が多くなっても、ステップS404からS410へ
進むことがなく、最大連続黒色画素数BLACKEMA
Xの数値の置き換えは行なわれない。このため、走査線
ヘ上の連続黒色画素が眼球と誤認識されることはない。
こでは連続黒色画素数が非常に多くなり、この連続黒色
画素の上方に連続白色画素は現れない。したがって、フ
ラグEBFLがセットされた後ステップS405からS
412へ分岐することがないから、フラグEWFLがセ
ットされることもない。この結果、髪による連続黒色画
素数が多くなっても、ステップS404からS410へ
進むことがなく、最大連続黒色画素数BLACKEMA
Xの数値の置き換えは行なわれない。このため、走査線
ヘ上の連続黒色画素が眼球と誤認識されることはない。
【0067】以上のようにして、眼球存在領域の横幅の
全域にわたって全ての走査線の検索を終了すると、最大
連続黒色画素数BLACKEMAXが眼球の縦方向(Y
方向)の大きさとして求められる。上記のフローではB
LACKEMAXが開眼、閉眼に係わらず検出される。
全域にわたって全ての走査線の検索を終了すると、最大
連続黒色画素数BLACKEMAXが眼球の縦方向(Y
方向)の大きさとして求められる。上記のフローではB
LACKEMAXが開眼、閉眼に係わらず検出される。
【0068】次に、前記の処理で検出された眼球データ
を用いた居眠り検出のフローが図18に示される。これ
はメインフローのステップS8およびS9に該当する。
前述のようにステップS1でタイマがスタートされたあ
と、画像の1フレーム毎に先のステップS7とくにその
なかのステップS411で、眼球データとして最大連続
黒色画素数BLACKEMAXが求められる。これを受
けて、ステップS501で、新たなフレームのデータを
得る毎にBLACKEMAXの最大値MAXと最小値M
INが更新記憶される。ステップS502でタイマスタ
ート後5分が経過したことが確認された後、ステップS
503で、最大連続黒色画素数のMAX値とMIN値を
基に、開閉眼のしきい値が設定される。なお、上記の時
間5分は、顔画像撮影のタイミングも考慮しまばたきに
よる閉眼状態の画像を確実に取り込むための時間として
設定されている。そして上記しきい値との比較により、
ステップS504において開閉眼の別が検出され、この
開閉眼のパターンによってステップS505で居眠り状
態の判定が行なわれる。
を用いた居眠り検出のフローが図18に示される。これ
はメインフローのステップS8およびS9に該当する。
前述のようにステップS1でタイマがスタートされたあ
と、画像の1フレーム毎に先のステップS7とくにその
なかのステップS411で、眼球データとして最大連続
黒色画素数BLACKEMAXが求められる。これを受
けて、ステップS501で、新たなフレームのデータを
得る毎にBLACKEMAXの最大値MAXと最小値M
INが更新記憶される。ステップS502でタイマスタ
ート後5分が経過したことが確認された後、ステップS
503で、最大連続黒色画素数のMAX値とMIN値を
基に、開閉眼のしきい値が設定される。なお、上記の時
間5分は、顔画像撮影のタイミングも考慮しまばたきに
よる閉眼状態の画像を確実に取り込むための時間として
設定されている。そして上記しきい値との比較により、
ステップS504において開閉眼の別が検出され、この
開閉眼のパターンによってステップS505で居眠り状
態の判定が行なわれる。
【0069】開閉眼検出処理は車両の運転中繰り返し実
行され、ステップS505では所定時間以上連続して閉
眼が検出されたとき居眠り状態にあると判定される。す
なわち図19に示されるように、時間軸上黒点で示され
る間隔で1フレームの顔画像が撮影入力され、各フレー
ムについての開閉眼検出の結果、閉眼状態が継続して所
定個数、例えば3フレーム以上続いているときに、運転
者は居眠り状態にあると判定される。
行され、ステップS505では所定時間以上連続して閉
眼が検出されたとき居眠り状態にあると判定される。す
なわち図19に示されるように、時間軸上黒点で示され
る間隔で1フレームの顔画像が撮影入力され、各フレー
ムについての開閉眼検出の結果、閉眼状態が継続して所
定個数、例えば3フレーム以上続いているときに、運転
者は居眠り状態にあると判定される。
【0070】本実施例によれば、眼球存在領域内を縦方
向に走査して連続黒色画素を検索することによって眼球
を検出するようにしたから、開眼状態か閉眼状態かにか
かわらず確実に眼球が検出される。そして、上記眼球存
在領域を設定するに際して、その横幅については顔の左
右別個にその端点を求めるようにしたので、運転者の顔
の向きによって赤外線ストロボの照射画像に影ができる
場合でも、左右いずれかに眼球存在領域が確実に設定さ
れその影響が排除される。また、縦幅設定の際も、2点
の黒領域を有する範囲を探索することとし、しかも横に
は数ドット間隔で縦方向走査を行なうようにしたから、
僅かな走査で済み眼球存在領域の設定が短時間になされ
る。 さらに、髪その他から影響を受けず画像変化のほ
とんどない眉から下の部分に絞って検索を行うから、帽
子を被っているような場合でも眼球存在領域の特定が正
確にでき、居眠りの判定精度が高い。しかも上述のとお
り、顔面の左右を各々独立に検索するから、顔面の片側
の端が外光の影響で検出されないときでも、反対側の端
は検出される。したがって左右いずれかの眼球存在領域
が確実に設定される。
向に走査して連続黒色画素を検索することによって眼球
を検出するようにしたから、開眼状態か閉眼状態かにか
かわらず確実に眼球が検出される。そして、上記眼球存
在領域を設定するに際して、その横幅については顔の左
右別個にその端点を求めるようにしたので、運転者の顔
の向きによって赤外線ストロボの照射画像に影ができる
場合でも、左右いずれかに眼球存在領域が確実に設定さ
れその影響が排除される。また、縦幅設定の際も、2点
の黒領域を有する範囲を探索することとし、しかも横に
は数ドット間隔で縦方向走査を行なうようにしたから、
僅かな走査で済み眼球存在領域の設定が短時間になされ
る。 さらに、髪その他から影響を受けず画像変化のほ
とんどない眉から下の部分に絞って検索を行うから、帽
子を被っているような場合でも眼球存在領域の特定が正
確にでき、居眠りの判定精度が高い。しかも上述のとお
り、顔面の左右を各々独立に検索するから、顔面の片側
の端が外光の影響で検出されないときでも、反対側の端
は検出される。したがって左右いずれかの眼球存在領域
が確実に設定される。
【0071】
【発明の効果】以上のとおり、本発明は2値化された画
像の眼球存在領域内を縦方向に走査して連続黒色画素を
検索することによって眼球を検出する眼球検出手段を設
け、開閉眼検出手段では検出された眼球の連続黒色画素
の数に基づいて運転者の開閉眼を判別するようにしたか
ら、開眼状態か閉眼状態かにかかわらず確実に眼球が検
出される効果を有する。しかも開閉眼の判別のための処
理時間が、虹彩円形部を求めその面積から判断するもの
に比べて大幅に短縮される。
像の眼球存在領域内を縦方向に走査して連続黒色画素を
検索することによって眼球を検出する眼球検出手段を設
け、開閉眼検出手段では検出された眼球の連続黒色画素
の数に基づいて運転者の開閉眼を判別するようにしたか
ら、開眼状態か閉眼状態かにかかわらず確実に眼球が検
出される効果を有する。しかも開閉眼の判別のための処
理時間が、虹彩円形部を求めその面積から判断するもの
に比べて大幅に短縮される。
【0072】またとくに、眼球存在領域の横方向位置
を、横方向走査する連続白色画素数計数手段、安定部検
出手段、輪郭線連続性判断手段および顔端特定手段とを
有する横幅設定手段により顔の横方向端とするもので
は、確実に眼部分を含むことができる。そして、縦幅
を、黒領域検出手段で検出した2点の黒領域を基準とす
る縦幅設定手段により設定するときには、この黒領域検
出が僅かな走査で済むから眼球存在領域の設定が短時間
になされる。さらにその過程で髪部分などを除外するこ
とができるから、眼球存在領域の特定が正確にできると
いう利点がある。また開閉眼検出手段が眼球存在領域の
縦方向連続黒色画素の最大数の、複数の画像における最
大値と最小値をもとにしきい値を設定すると、環境光線
の状況や運転者毎の眼の大きさにばらつきがあっても、
常に開閉眼が容易に識別できるという効果がある。
を、横方向走査する連続白色画素数計数手段、安定部検
出手段、輪郭線連続性判断手段および顔端特定手段とを
有する横幅設定手段により顔の横方向端とするもので
は、確実に眼部分を含むことができる。そして、縦幅
を、黒領域検出手段で検出した2点の黒領域を基準とす
る縦幅設定手段により設定するときには、この黒領域検
出が僅かな走査で済むから眼球存在領域の設定が短時間
になされる。さらにその過程で髪部分などを除外するこ
とができるから、眼球存在領域の特定が正確にできると
いう利点がある。また開閉眼検出手段が眼球存在領域の
縦方向連続黒色画素の最大数の、複数の画像における最
大値と最小値をもとにしきい値を設定すると、環境光線
の状況や運転者毎の眼の大きさにばらつきがあっても、
常に開閉眼が容易に識別できるという効果がある。
【図1】本発明の構成を示すブロック図である。
【図2】実施例の構成を示すブロック図である。
【図3】入力画像の座標系を示す説明図である。
【図4】実施例の全体の動作のメインフローを示すフロ
ーチャートである。
ーチャートである。
【図5】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。
ャートである。
【図6】眼球存在領域の横幅設定の流れを示すフローチ
ャートである。
ャートである。
【図7】横幅設定における画像走査の説明図である。
【図8】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。
フローチャートである。
【図9】横幅設定時の連続白色画素数計数の流れを示す
フローチャートである。
フローチャートである。
【図10】眼球存在領域の縦幅設定における画像走査の
説明図である。
説明図である。
【図11】横幅設定の流れを示すフローチャートであ
る。
る。
【図12】横幅設定の流れを示すフローチャートであ
る。
る。
【図13】横幅設定の流れを示すフローチャートであ
る。
る。
【図14】眼鏡の有無検索における画像走査の説明図で
ある。
ある。
【図15】眼球検出の流れを示すフローチャートであ
る。
る。
【図16】眼球検出の流れを示すフローチャートであ
る。
る。
【図17】眼球存在領域内走査線の説明図である。
【図18】開閉眼検出の処理を示すフローチャートであ
る。
る。
【図19】居眠り判定の説明図である。
【図20】入力画像の例を示す図である。
CL1 画像入力手段 CL2 2値化手段 CL3 眼球存在領域設定手段 CL4 眼球検出手段 CL5 開閉眼検出手段 CL6 運転者状態判定手段 1 赤外ストロボ 3 TVカメラ 5 タイミング指令回路 7 A/D変換器 9 画像メモリ 11 眼球存在位置規定回路 13 眼球検出回路 15 開閉眼判別回路 17 居眠り判定回路 19 警報回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−194661(JP,A) 特開 平4−24503(JP,A) 特開 平4−25706(JP,A) 特開 平4−174309(JP,A) (58)調査した分野(Int.Cl.6,DB名) G01B 11/00 - 11/30 B60K 28/06 G06T 7/60
Claims (4)
- 【請求項1】 運転者の顔画像を入力する画像入力手段
と、該画像入力手段から入力された顔画像を2値化する
2値化手段と、2値化された画像内で眼球存在領域を定
める眼球存在領域設定手段と、前記眼球存在領域内で縦
方向の連続黒色画素に基づいて眼球を検出する眼球検出
手段と、検出された眼球の前記連続黒色画素の数に基づ
いて運転者の開閉眼を検出する開閉眼検出手段と、該開
閉眼検出手段で検出された開閉眼のパターンに基づいて
運転者の状態を判定する運転者状態判定手段とを備えた
ことを特徴とする運転者の状態検出装置。 - 【請求項2】 前記眼球存在領域設定手段は、横幅設定
手段と縦幅設定手段とからなり、横幅設定手段は、前記
画像を横方向へ走査し連続白色画素数を計数する連続白
色画素数計数手段と、前記連続白色画素数の変化量から
前記画像の横方向端の安定部を検出する安定部検出手段
と、該安定部の有無および前記連続白色画素数の変化量
とから顔の輪郭線の連続性を判断する輪郭線連続性判断
手段と、前記連続性判断に基づいて顔の横方向端を特定
する顔端特定手段とを有して、特定された前記顔の横方
向端を眼球存在領域の横幅を規定する端点とし、縦幅設
定手段は、前記横幅設定手段で設定された横幅内で、前
記画像を下方位置から縦方向に走査し2点の黒領域を検
出する黒領域検出手段を有して、検出された黒領域を基
準にして眼球存在領域の縦方向の位置を設定するもので
あることを特徴とする請求項1記載の運転者の状態検出
装置。 - 【請求項3】前記開閉眼検出手段は、前記連続黒色画素
の最大数の、複数の画像における最大値と最小値をもと
に設定されるしきい値を基準にして、画像ごとの前記連
続黒色画素の最大数を比較して開閉眼を検出することを
特徴とする請求項1または2記載の運転者の状態検出装
置。 - 【請求項4】 前記運転者状態判定手段は、前記開閉眼
検出手段で検出された閉眼状態が所定時間以上継続した
とき運転者が異常状態にあると判定するものであること
を特徴とする請求項1、2または3記載の運転者の状態
検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21378092A JP2822799B2 (ja) | 1992-07-18 | 1992-07-18 | 運転者の状態検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21378092A JP2822799B2 (ja) | 1992-07-18 | 1992-07-18 | 運転者の状態検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0632154A JPH0632154A (ja) | 1994-02-08 |
JP2822799B2 true JP2822799B2 (ja) | 1998-11-11 |
Family
ID=16644921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21378092A Expired - Fee Related JP2822799B2 (ja) | 1992-07-18 | 1992-07-18 | 運転者の状態検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2822799B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU4085793A (en) * | 1992-05-27 | 1993-12-30 | Plastisign Limited | Method of cold laminating rigid plastics and stationery and apparatus therefor |
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
JPH1166320A (ja) * | 1997-08-12 | 1999-03-09 | Mitsubishi Electric Corp | 目画像追跡装置 |
JP3556439B2 (ja) * | 1997-08-12 | 2004-08-18 | 三菱電機株式会社 | 顔画像処理装置 |
KR100295849B1 (ko) * | 1997-12-17 | 2001-11-22 | 이계안 | 졸음운전방지장치및방법 |
JP2000105830A (ja) * | 1998-09-29 | 2000-04-11 | Oki Electric Ind Co Ltd | 個人識別装置 |
KR100575713B1 (ko) * | 2002-11-18 | 2006-05-03 | 엘지전자 주식회사 | 카메라 단말기를 이용한 졸음 검출 방법 |
JP4162503B2 (ja) | 2003-01-31 | 2008-10-08 | 富士通株式会社 | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム |
JP4059224B2 (ja) | 2004-04-13 | 2008-03-12 | 株式会社デンソー | 運転者の外観認識システム |
KR100716370B1 (ko) * | 2005-09-15 | 2007-05-11 | 현대자동차주식회사 | 운전자의 눈 위치 검출 방법 |
JP4878273B2 (ja) * | 2006-11-22 | 2012-02-15 | アイシン精機株式会社 | 眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラム |
JP4974788B2 (ja) | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
JP5129683B2 (ja) | 2008-08-05 | 2013-01-30 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5361547B2 (ja) | 2008-08-07 | 2013-12-04 | キヤノン株式会社 | 撮像装置及び撮影方法、プログラム |
JP5704905B2 (ja) | 2010-12-01 | 2015-04-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
-
1992
- 1992-07-18 JP JP21378092A patent/JP2822799B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0632154A (ja) | 1994-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2541688B2 (ja) | 眼位置検出装置 | |
JP2822799B2 (ja) | 運転者の状態検出装置 | |
JPH04216402A (ja) | 眼位置検出装置 | |
JP2500726B2 (ja) | 上まぶた領域、目頭・目尻・上まぶた領域及び目の構造の検出方法及び装置 | |
JPH0944685A (ja) | 顔画像処理装置 | |
EP1939582B1 (en) | Face center position detecting device, face center position detecting method, and program | |
JP2000137792A (ja) | 眼部検出装置 | |
JPH08300978A (ja) | 顔画像の処理装置 | |
KR100617777B1 (ko) | 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법 | |
JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
JP2936943B2 (ja) | 運転者の状態検出装置 | |
JP2836238B2 (ja) | 運転車の眼位置検出装置及び状態検出装置 | |
JP3312562B2 (ja) | 居眠り状態検出装置 | |
JP2705388B2 (ja) | 運転者の眼位置検出装置 | |
JP2677010B2 (ja) | 眼位置検出装置 | |
JP2932551B2 (ja) | 虹彩位置検出装置及び運転者の状態検出装置 | |
WO2002035452A1 (en) | Eye image obtaining method, iris recognizing method, and system using the same | |
JP3116674B2 (ja) | 運転者の状態検出装置 | |
JP2000067225A (ja) | 眼位置検出装置 | |
JPH10143669A (ja) | 居眠り状態検出装置 | |
JP2541689B2 (ja) | 眼位置検出装置及び被検者状態検出装置 | |
JP3500891B2 (ja) | 居眠り状態検出装置 | |
JPH04216403A (ja) | 眼位置検出装置 | |
JP3582324B2 (ja) | 眼位置検出装置 | |
JPH08249454A (ja) | 車両運転者のわき見検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980804 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080904 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090904 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100904 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |