JPH1044824A - 車両運転者の開閉眼判定装置 - Google Patents
車両運転者の開閉眼判定装置Info
- Publication number
- JPH1044824A JPH1044824A JP21658896A JP21658896A JPH1044824A JP H1044824 A JPH1044824 A JP H1044824A JP 21658896 A JP21658896 A JP 21658896A JP 21658896 A JP21658896 A JP 21658896A JP H1044824 A JPH1044824 A JP H1044824A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- value
- open
- frequency distribution
- boundary value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Child & Adolescent Psychology (AREA)
- Biomedical Technology (AREA)
- Educational Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 個人差による顔の位置が違っても開閉眼状態
を安定して検出する。 【解決手段】 TVカメラ21で撮影された顔画像につ
いて画像データ演算回路24で画像処理し、眼の位置検
出部25で眼の位置を検出して、眼の位置を含む処理対
象領域を設定する。眼の大きさ検出部26では処理対象
領域での濃度値の頻度分布を求め、そのピーク値の点を
境界値として眼の領域を検出し、眼の領域の縦方向の長
さの最大値を眼の大きさとする。開閉眼・覚醒度判定部
27が眼の開閉状態を判定し、その経過から覚醒の程度
が低いとき警報装置28により運転者に警報を与える。
処理対象領域の頻度分布から求めた境界値により眼の大
きさを検出するので、顔の位置が変化しても常に適切な
しきい値設定ができ、開閉眼の状態を精度よく判定でき
る。
を安定して検出する。 【解決手段】 TVカメラ21で撮影された顔画像につ
いて画像データ演算回路24で画像処理し、眼の位置検
出部25で眼の位置を検出して、眼の位置を含む処理対
象領域を設定する。眼の大きさ検出部26では処理対象
領域での濃度値の頻度分布を求め、そのピーク値の点を
境界値として眼の領域を検出し、眼の領域の縦方向の長
さの最大値を眼の大きさとする。開閉眼・覚醒度判定部
27が眼の開閉状態を判定し、その経過から覚醒の程度
が低いとき警報装置28により運転者に警報を与える。
処理対象領域の頻度分布から求めた境界値により眼の大
きさを検出するので、顔の位置が変化しても常に適切な
しきい値設定ができ、開閉眼の状態を精度よく判定でき
る。
Description
【0001】
【発明の属する技術分野】本発明は、自動車等の運転者
の顔を撮影した画像データから、脇見や覚醒度が低下し
ている状態等を検出するために用いられる運転者の開閉
眼判定装置に関する。
の顔を撮影した画像データから、脇見や覚醒度が低下し
ている状態等を検出するために用いられる運転者の開閉
眼判定装置に関する。
【0002】
【従来の技術】従来の車両運転者の開閉眼判定装置とし
て、例えば特開平6−17921号公報に記載されたも
のがある。この装置では、車両運転者の眼の位置を検出
するに際して、図22の(a)に示すように、昼間は画
像フレームの上方かつ車室中央側部分に対応する局所領
域Aの濃度情報を計測し、夜間は画像フレームの下半分
からなる局所領域Bの濃度情報を計測して、それぞれそ
の濃度情報に基づいて画像処理における画像データの2
値化しきい値を設定している。これにより、顔画像が画
像フレームの略中央位置にある場合には、外光で車室内
の光環境が大きく変化しても、画像処理上これに影響さ
れることなく眼球部とその他の部位とを識別し、運転者
の眼の位置が精度よく検出される。
て、例えば特開平6−17921号公報に記載されたも
のがある。この装置では、車両運転者の眼の位置を検出
するに際して、図22の(a)に示すように、昼間は画
像フレームの上方かつ車室中央側部分に対応する局所領
域Aの濃度情報を計測し、夜間は画像フレームの下半分
からなる局所領域Bの濃度情報を計測して、それぞれそ
の濃度情報に基づいて画像処理における画像データの2
値化しきい値を設定している。これにより、顔画像が画
像フレームの略中央位置にある場合には、外光で車室内
の光環境が大きく変化しても、画像処理上これに影響さ
れることなく眼球部とその他の部位とを識別し、運転者
の眼の位置が精度よく検出される。
【0003】
【発明が解決しようとする課題】しかしながら、上記の
装置にあっては、図22の(b)のように運転者の顔の
位置が個人差や運転姿勢の変化などにより低くなると、
領域Aに本来の検出対象である運転者の眼部分が含まれ
なくなるため、顔画像の画像処理において局所領域Aの
濃度情報に基づいて2値化しきい値を設定しても、その
2値化しきい値が適切な値でなくなることがあり得る。
局所領域Bの濃度情報に基づく夜間の顔画像の画像処理
においても同様の可能性がある。したがって、本発明
は、上記の問題点に鑑み、運転者の顔の位置が個人差や
運転姿勢により変化しても適切なしきい値設定ができ、
安定的に運転者の眼の位置を検出して、開閉眼の状態を
精度よく判定できる車両運転者の開閉眼判定装置を提供
することを目的とする。
装置にあっては、図22の(b)のように運転者の顔の
位置が個人差や運転姿勢の変化などにより低くなると、
領域Aに本来の検出対象である運転者の眼部分が含まれ
なくなるため、顔画像の画像処理において局所領域Aの
濃度情報に基づいて2値化しきい値を設定しても、その
2値化しきい値が適切な値でなくなることがあり得る。
局所領域Bの濃度情報に基づく夜間の顔画像の画像処理
においても同様の可能性がある。したがって、本発明
は、上記の問題点に鑑み、運転者の顔の位置が個人差や
運転姿勢により変化しても適切なしきい値設定ができ、
安定的に運転者の眼の位置を検出して、開閉眼の状態を
精度よく判定できる車両運転者の開閉眼判定装置を提供
することを目的とする。
【0004】
【課題を解決するための手段】このため、本発明は、図
1に示すように、車両運転者の顔画像を入力する画像入
力手段1と、顔画像から眼の位置を検出する眼の位置検
出手段2と、顔画像のフレーム内に上記眼の位置を含む
処理対象領域を設定する処理対象領域設定手段3と、処
理対象領域内の識別パラメータの頻度分布を検出する頻
度分布検出手段4と、頻度分布から眼の領域を判定する
境界値を求める境界値演算手段5と、境界値に基づいて
処理対象領域内の眼の大きさを検出する眼の大きさ検出
手段6と、眼の大きさに基づいて開眼および閉眼状態を
判定する開閉眼判定手段7とを有するものとした。
1に示すように、車両運転者の顔画像を入力する画像入
力手段1と、顔画像から眼の位置を検出する眼の位置検
出手段2と、顔画像のフレーム内に上記眼の位置を含む
処理対象領域を設定する処理対象領域設定手段3と、処
理対象領域内の識別パラメータの頻度分布を検出する頻
度分布検出手段4と、頻度分布から眼の領域を判定する
境界値を求める境界値演算手段5と、境界値に基づいて
処理対象領域内の眼の大きさを検出する眼の大きさ検出
手段6と、眼の大きさに基づいて開眼および閉眼状態を
判定する開閉眼判定手段7とを有するものとした。
【0005】上記境界値演算手段5は、頻度分布が最大
となる識別パラメータの値を用いて境界値を算出するこ
とができ、とくに、頻度分布が最大となる識別パラメー
タの値に比例させるのが好ましい。さらに、頻度分布が
最大となる識別パラメータの値における頻度が所定値を
越える場合には、その頻度の最大値に応じて所定量だけ
加算して境界値とすることができる。
となる識別パラメータの値を用いて境界値を算出するこ
とができ、とくに、頻度分布が最大となる識別パラメー
タの値に比例させるのが好ましい。さらに、頻度分布が
最大となる識別パラメータの値における頻度が所定値を
越える場合には、その頻度の最大値に応じて所定量だけ
加算して境界値とすることができる。
【0006】あるいは、境界値演算手段5は、頻度分布
の重心を算出し、重心位置の識別パラメータの値を前記
境界値とすることができ、とくに、上記重心は頻度分布
の微分がそれぞれ最小および最大となる識別パラメータ
の値で区切られる間で算出するのが好ましい。また、境
界値演算手段5は、頻度分布の微分がそれぞれ最小およ
び最大となる識別パラメータの中央値を境界値とするこ
ともでき、あるいは、頻度分布の微分がそれぞれ最小お
よび最大となる間で微分値が0となる識別パラメータの
値を境界値としてもよい。上記識別パラメータとして
は、明度、彩度および色相の少なくとも1つを用いるこ
とができる。
の重心を算出し、重心位置の識別パラメータの値を前記
境界値とすることができ、とくに、上記重心は頻度分布
の微分がそれぞれ最小および最大となる識別パラメータ
の値で区切られる間で算出するのが好ましい。また、境
界値演算手段5は、頻度分布の微分がそれぞれ最小およ
び最大となる識別パラメータの中央値を境界値とするこ
ともでき、あるいは、頻度分布の微分がそれぞれ最小お
よび最大となる間で微分値が0となる識別パラメータの
値を境界値としてもよい。上記識別パラメータとして
は、明度、彩度および色相の少なくとも1つを用いるこ
とができる。
【0007】
【作用】まず、画像入力手段1で入力された顔画像につ
いて、眼の位置検出手段2により画像の濃度データ等か
ら顔の特徴部分を抽出して眼の位置を求める。次いで、
処理対象領域設定手段3で上記眼の位置を含む処理対象
領域が設定され、頻度分布検出手段4がこの処理対象領
域で明度、彩度あるいは色相などの識別パラメータの頻
度分布を検出する。この頻度分布から境界値演算手段5
において眼の領域を判定する境界値が求められ、境界値
に基づいて眼の大きさ検出手段6が眼の大きさを検出す
る。そして、開閉眼判定手段7が検出された眼の大きさ
に基づいて開眼および閉眼状態を判定する。識別パラメ
ータの頻度分布から境界値を求め、これに基づいて眼の
大きさを検出するから、運転者の顔の位置が個人差や運
転姿勢により変化しても眼の領域を精度よく検出するこ
とができるとともに、検出された眼の大きさから処理対
象領域が正しく眼の位置を追跡しているかも容易に判断
できる。
いて、眼の位置検出手段2により画像の濃度データ等か
ら顔の特徴部分を抽出して眼の位置を求める。次いで、
処理対象領域設定手段3で上記眼の位置を含む処理対象
領域が設定され、頻度分布検出手段4がこの処理対象領
域で明度、彩度あるいは色相などの識別パラメータの頻
度分布を検出する。この頻度分布から境界値演算手段5
において眼の領域を判定する境界値が求められ、境界値
に基づいて眼の大きさ検出手段6が眼の大きさを検出す
る。そして、開閉眼判定手段7が検出された眼の大きさ
に基づいて開眼および閉眼状態を判定する。識別パラメ
ータの頻度分布から境界値を求め、これに基づいて眼の
大きさを検出するから、運転者の顔の位置が個人差や運
転姿勢により変化しても眼の領域を精度よく検出するこ
とができるとともに、検出された眼の大きさから処理対
象領域が正しく眼の位置を追跡しているかも容易に判断
できる。
【0008】
【発明の実施の形態】以下、本発明の実施の形態を実施
例により説明する。図2は、運転者の覚醒状態警報装置
に適用した実施例のシステム構成を示す。自動車のイン
ストルメントパネルに、運転者の顔部分を正面から撮影
するTVカメラ21が設置されている。カメラ21から
出力されるアナログ画像信号がA−D変換器22によっ
てデジタル信号化され、画像メモリ23に記憶される。
画像メモリ23への入力画面は、図5に示すように、横
方向に512、縦方向に480の画素に分割されて1画
像フレームを構成し、各画素の明度を256階調(8ビ
ット)の階調値として記憶される。
例により説明する。図2は、運転者の覚醒状態警報装置
に適用した実施例のシステム構成を示す。自動車のイン
ストルメントパネルに、運転者の顔部分を正面から撮影
するTVカメラ21が設置されている。カメラ21から
出力されるアナログ画像信号がA−D変換器22によっ
てデジタル信号化され、画像メモリ23に記憶される。
画像メモリ23への入力画面は、図5に示すように、横
方向に512、縦方向に480の画素に分割されて1画
像フレームを構成し、各画素の明度を256階調(8ビ
ット)の階調値として記憶される。
【0009】画像メモリ23には、画像データ演算回路
24を介して、眼の位置検出部25と眼の大きさ検出部
26とが接続されている。そして眼の大きさ検出部26
には順次開閉眼・覚醒度判定部27と警報装置28が接
続され、運転者の眼の大きさのデータに基づき開閉眼・
覚醒度判定部27で覚醒状態が低下していると判断され
た場合には警報装置28が駆動されて運転者に対して警
報を与えるようになっている。
24を介して、眼の位置検出部25と眼の大きさ検出部
26とが接続されている。そして眼の大きさ検出部26
には順次開閉眼・覚醒度判定部27と警報装置28が接
続され、運転者の眼の大きさのデータに基づき開閉眼・
覚醒度判定部27で覚醒状態が低下していると判断され
た場合には警報装置28が駆動されて運転者に対して警
報を与えるようになっている。
【0010】図3は上記構成における動作の全体の流れ
を示すフローチャートである。まず、ステップ31にお
いて、TVカメラ21により運転者の顔画像が撮影さ
れ、ステップ32で、顔画像データが画像メモリ23に
デジタル信号として記録される。 これらステップ3
1、32が発明の画像入力手段を構成している。ステッ
プ33では、画像データ演算回路24において、前回の
画像フレームの画像処理結果から今回の画像フレーム上
に処理対象領域が設定されていればステップ36へ進
み、設定されていない場合はステップ34に進む。
を示すフローチャートである。まず、ステップ31にお
いて、TVカメラ21により運転者の顔画像が撮影さ
れ、ステップ32で、顔画像データが画像メモリ23に
デジタル信号として記録される。 これらステップ3
1、32が発明の画像入力手段を構成している。ステッ
プ33では、画像データ演算回路24において、前回の
画像フレームの画像処理結果から今回の画像フレーム上
に処理対象領域が設定されていればステップ36へ進
み、設定されていない場合はステップ34に進む。
【0011】ステップ34では、眼の位置検出部25に
より運転者の顔画像全体から眼の位置を検出し、次いで
ステップ35で、画像データ演算回路24でその眼の位
置に基づいて眼の開閉の検出処理を実行する処理対象領
域を設定する。ステップ36では、眼の大きさ検出部2
6により、処理対象領域内の画像データを用いて画像上
での運転者の眼の大きさを検出し、ステップ37におい
て、眼の大きさのデータから処理対象領域が適当であっ
たかどうかを判定する。処理対象領域が適当でなければ
ステップ312に進んで、検出された眼の大きさと設定
されていた処理対象領域をクリアしてステップ31に戻
る。処理対象領域が適当であると判定されると、ステッ
プ38に進んで、開閉眼・覚醒度判定部27で眼が開い
ているか閉じているかを判定するともに、ステップ39
において、画像データ演算回路24で処理対象領域を更
新する。
より運転者の顔画像全体から眼の位置を検出し、次いで
ステップ35で、画像データ演算回路24でその眼の位
置に基づいて眼の開閉の検出処理を実行する処理対象領
域を設定する。ステップ36では、眼の大きさ検出部2
6により、処理対象領域内の画像データを用いて画像上
での運転者の眼の大きさを検出し、ステップ37におい
て、眼の大きさのデータから処理対象領域が適当であっ
たかどうかを判定する。処理対象領域が適当でなければ
ステップ312に進んで、検出された眼の大きさと設定
されていた処理対象領域をクリアしてステップ31に戻
る。処理対象領域が適当であると判定されると、ステッ
プ38に進んで、開閉眼・覚醒度判定部27で眼が開い
ているか閉じているかを判定するともに、ステップ39
において、画像データ演算回路24で処理対象領域を更
新する。
【0012】次いでステップ310では、ステップ38
で判定された開閉眼の経時変化から運転者の覚醒状態を
判定する。覚醒の程度が高いと判定された場合は、その
ままステップ31に戻って次の撮影画像の入力を行な
い、覚醒の程度が低いと判定された場合は、ステップ3
11において、警報装置28により運転者に警報を与え
た後、ステップ31に戻る。
で判定された開閉眼の経時変化から運転者の覚醒状態を
判定する。覚醒の程度が高いと判定された場合は、その
ままステップ31に戻って次の撮影画像の入力を行な
い、覚醒の程度が低いと判定された場合は、ステップ3
11において、警報装置28により運転者に警報を与え
た後、ステップ31に戻る。
【0013】次に、上記フローにおける各ステップの詳
細について順次説明する。まずステップ34における眼
の位置検出の詳細について、図4のフローチャートによ
り説明する。図4は、ステップ34における眼の位置検
出の処理動作の詳細を示す。ここでは、図5に示すよう
にY軸方向に480画素のライン(画素列)上のデータ
に対して、それぞれの画素列の濃度値を演算処理して抽
出点となる画素(Y座標)を特定する。すなわち、画素
列上の濃度値の大きな変化を求め、その局所的なピーク
を抽出点とする。このような抽出処理を行い、1ライン
終了すると、一つ隣のラインの処理に移行する。そこで
まず、ステップ41では、所定方向(Y軸方向)の全ラ
インについて抽出点の抽出が終了したかどうかをチェッ
クする。
細について順次説明する。まずステップ34における眼
の位置検出の詳細について、図4のフローチャートによ
り説明する。図4は、ステップ34における眼の位置検
出の処理動作の詳細を示す。ここでは、図5に示すよう
にY軸方向に480画素のライン(画素列)上のデータ
に対して、それぞれの画素列の濃度値を演算処理して抽
出点となる画素(Y座標)を特定する。すなわち、画素
列上の濃度値の大きな変化を求め、その局所的なピーク
を抽出点とする。このような抽出処理を行い、1ライン
終了すると、一つ隣のラインの処理に移行する。そこで
まず、ステップ41では、所定方向(Y軸方向)の全ラ
インについて抽出点の抽出が終了したかどうかをチェッ
クする。
【0014】ステップ41で全ラインの抽出点抽出が終
了していないと判断されたときには、ステップ42に進
む。ステップ42では、所定方向の1ラインにおいて濃
度値の相加平均演算を行い、画素列上の濃度値の変化曲
線から高い周波数を除去した相加平均濃度値を求める。
この処理は、画像データ撮影時の濃度値の変化の小さい
バラツキをなくして濃度値の大局的な変化を捉えること
を目的としている。例えば、図5に示すラインXaから
は図6の(a)に示すような相加平均濃度値が算出さ
れ、ラインXbからは図7の(a)に示すような相加平
均濃度値が算出される。
了していないと判断されたときには、ステップ42に進
む。ステップ42では、所定方向の1ラインにおいて濃
度値の相加平均演算を行い、画素列上の濃度値の変化曲
線から高い周波数を除去した相加平均濃度値を求める。
この処理は、画像データ撮影時の濃度値の変化の小さい
バラツキをなくして濃度値の大局的な変化を捉えること
を目的としている。例えば、図5に示すラインXaから
は図6の(a)に示すような相加平均濃度値が算出さ
れ、ラインXbからは図7の(a)に示すような相加平
均濃度値が算出される。
【0015】ステップ43では、ステップ42で算出し
た所定方向の1ライン相加平均濃度値を微分する。図6
の(a)に示す相加平均濃度値からは同図の(b)に示
す微分値が得られ、図7の(a)に示す相加平均濃度値
からは同図の(b)に示す微分値が得られる。つぎのス
テップ44では、ステップ43の演算結果である図6の
(b)および図7の(b)の微分値により、図6の
(a)および図7の(a)における相加平均濃度が下向
きに凸となる暗さのピークに対応するポイント(Y座標
値)の抽出を行う。微分値が負から正に反転するY座標
値は、暗さのピークに対応しており、眼、眉、口等をそ
れぞれ代表する1個ずつのY座標値となる。
た所定方向の1ライン相加平均濃度値を微分する。図6
の(a)に示す相加平均濃度値からは同図の(b)に示
す微分値が得られ、図7の(a)に示す相加平均濃度値
からは同図の(b)に示す微分値が得られる。つぎのス
テップ44では、ステップ43の演算結果である図6の
(b)および図7の(b)の微分値により、図6の
(a)および図7の(a)における相加平均濃度が下向
きに凸となる暗さのピークに対応するポイント(Y座標
値)の抽出を行う。微分値が負から正に反転するY座標
値は、暗さのピークに対応しており、眼、眉、口等をそ
れぞれ代表する1個ずつのY座標値となる。
【0016】図6の(a)に示す相加平均濃度値は、同
図の(b)に示す微分値となり、微分値が負から正に反
転するポイントp1、p2、p3、p4、p5が抽出さ
れる。次に、上記それぞれのポイントに達するまでの微
分値のピーク値q1、q2、q3、q4、q5が所定値
以下であるか否か、すなわち、図6の(b)のハッチン
グ部分に入るか否かを判定し、所定値以下の濃度値の変
化を持つポイントp1、p2、p5、を対象としてY座
標値A1、A2、A3を抽出して、これらを抽出点とす
る。微分値が負から正に反転するポイントの手前の微分
値のピークを判別することにより、濃度の変化の小さい
顔面のしわや凹凸が抽出されることを回避している。
図の(b)に示す微分値となり、微分値が負から正に反
転するポイントp1、p2、p3、p4、p5が抽出さ
れる。次に、上記それぞれのポイントに達するまでの微
分値のピーク値q1、q2、q3、q4、q5が所定値
以下であるか否か、すなわち、図6の(b)のハッチン
グ部分に入るか否かを判定し、所定値以下の濃度値の変
化を持つポイントp1、p2、p5、を対象としてY座
標値A1、A2、A3を抽出して、これらを抽出点とす
る。微分値が負から正に反転するポイントの手前の微分
値のピークを判別することにより、濃度の変化の小さい
顔面のしわや凹凸が抽出されることを回避している。
【0017】図7の(a)に示す相加平均濃度値では、
同図の(b)に示す微分値が負から正に反転するポイン
トp1、p2、p3が抽出されるが、いずれのポイント
も手前の微分値のピークq1、q2、q3が所定値以下
であるハッチング部分に入っていないので、抽出点がな
い。ステップ45では、抽出点を抽出するポイント抽出
の処理が1ライン終了すると、次のラインの処理に切り
換え、ステップ41へ戻り、処理を繰り返す。
同図の(b)に示す微分値が負から正に反転するポイン
トp1、p2、p3が抽出されるが、いずれのポイント
も手前の微分値のピークq1、q2、q3が所定値以下
であるハッチング部分に入っていないので、抽出点がな
い。ステップ45では、抽出点を抽出するポイント抽出
の処理が1ライン終了すると、次のラインの処理に切り
換え、ステップ41へ戻り、処理を繰り返す。
【0018】ステップ41で全ラインのポイント抽出が
終了したと判断されたときには、図8に示すような抽出
点が抽出されていることになる。つまり、図8のライン
Xc上では、A1、A2の2つの抽出点が抽出されてお
り、ラインXd上では、A1、A2、A3、A4の4つ
の抽出点が抽出されている。
終了したと判断されたときには、図8に示すような抽出
点が抽出されていることになる。つまり、図8のライン
Xc上では、A1、A2の2つの抽出点が抽出されてお
り、ラインXd上では、A1、A2、A3、A4の4つ
の抽出点が抽出されている。
【0019】ステップ41で全ラインに関して抽出点の
抽出が終了したと判断されると、ステップ46におい
て、隣り合う各ラインの抽出点(抽出ポイント)のY座
標値A1、A2、A3、・・・・を比較する。そして、Y座
標値の差が所定値(例えば10画素)以内の場合には、
X軸方向につなげてグループ化し、連続データのグル
ープ番号、連続開始ライン番号、連続データ数を記
憶する。
抽出が終了したと判断されると、ステップ46におい
て、隣り合う各ラインの抽出点(抽出ポイント)のY座
標値A1、A2、A3、・・・・を比較する。そして、Y座
標値の差が所定値(例えば10画素)以内の場合には、
X軸方向につなげてグループ化し、連続データのグル
ープ番号、連続開始ライン番号、連続データ数を記
憶する。
【0020】ステップ46の具体的な処理内容を図9を
用いて説明する。ここでは、簡単のためライン(画素
列)を11本として説明する。ライン1〜11でそれぞ
れ特定された抽出点は、抽出点ごとに、グループ番号
(G)、Y座標値(Y値)、連続個数(N)を付与さ
れて連結データを形成している。図9に示される34個
の抽出点は、10個のグループにまとめられている。ラ
イン1には、Y座標値192と229の2つの抽出点で
ある抽出ポイントがある。第1のY座標値が192のポ
イントの左隣にはラインが存在しないので、この段階で
は、他の連続データはないので、連続データのグループ
番号は1となる。また、Y座標値229のポイントも
同様の理由でこの段階での連続データは上記1以外には
存在しないので、連続データのグループ番号は、次の
2とする。
用いて説明する。ここでは、簡単のためライン(画素
列)を11本として説明する。ライン1〜11でそれぞ
れ特定された抽出点は、抽出点ごとに、グループ番号
(G)、Y座標値(Y値)、連続個数(N)を付与さ
れて連結データを形成している。図9に示される34個
の抽出点は、10個のグループにまとめられている。ラ
イン1には、Y座標値192と229の2つの抽出点で
ある抽出ポイントがある。第1のY座標値が192のポ
イントの左隣にはラインが存在しないので、この段階で
は、他の連続データはないので、連続データのグループ
番号は1となる。また、Y座標値229のポイントも
同様の理由でこの段階での連続データは上記1以外には
存在しないので、連続データのグループ番号は、次の
2とする。
【0021】次に、右隣のライン2には、Y座標値が1
91と224の2つの抽出ポイントがある。ライン2の
Y座標値191のポイントは、左隣のライン1のY座標
値192と10画素以内のポイントであるため、抽出ポ
イント192とつなげる抽出ポイントとして、連続デー
タのグループ番号を1とする。このとき、連続データ
数は2となる。ライン2のY座標値224のポイント
についても、同様に判定を行い、連続データのグループ
番号は2、連続データ数は2とする。
91と224の2つの抽出ポイントがある。ライン2の
Y座標値191のポイントは、左隣のライン1のY座標
値192と10画素以内のポイントであるため、抽出ポ
イント192とつなげる抽出ポイントとして、連続デー
タのグループ番号を1とする。このとき、連続データ
数は2となる。ライン2のY座標値224のポイント
についても、同様に判定を行い、連続データのグループ
番号は2、連続データ数は2とする。
【0022】次のライン3のY座標値360のポイント
では、左隣のライン2に360とY軸方向の画素数10
以内になるポイントが存在しないので、の連続データ
のグループ番号は3となり、の連続データ数は1とな
る。なお、ステップ46における、連続開始ライン番
号は、の連続データ数が1と判断されるポイントを有
するライン番号のことをいう。従って、例えば、Y座標
値360のポイントでは3となる。ステップ46では、
このようにして各ラインのポイントの連続性の判断を全
ラインについて終了するまで行い、曲線群を得る。終了
するとステップ47へ移行する。
では、左隣のライン2に360とY軸方向の画素数10
以内になるポイントが存在しないので、の連続データ
のグループ番号は3となり、の連続データ数は1とな
る。なお、ステップ46における、連続開始ライン番
号は、の連続データ数が1と判断されるポイントを有
するライン番号のことをいう。従って、例えば、Y座標
値360のポイントでは3となる。ステップ46では、
このようにして各ラインのポイントの連続性の判断を全
ラインについて終了するまで行い、曲線群を得る。終了
するとステップ47へ移行する。
【0023】ステップ47では、先ず、連続データグル
ープの連続データ数を評価する。本実施例では、連続デ
ータ数が5個以上あるときに、有効な連続データグルー
プを形成しているとする。次いで、有効連続データグル
ープについて、眼の位置の候補点データを形成する。同
じ連続データグループ番号を持つポイントのY座標値の
平均を算出して連続ポイントの平均値として記憶す
る。この値は、そのグループの代表Y座標値として用い
られる。また、連続開始ラインとその連続データ数から
連続終了ラインを求め、連続開始ラインと連続終了ラ
インのX座標値の平均値を算出して記憶する。この値
は、そのグループの代表X座標値となる。
ープの連続データ数を評価する。本実施例では、連続デ
ータ数が5個以上あるときに、有効な連続データグルー
プを形成しているとする。次いで、有効連続データグル
ープについて、眼の位置の候補点データを形成する。同
じ連続データグループ番号を持つポイントのY座標値の
平均を算出して連続ポイントの平均値として記憶す
る。この値は、そのグループの代表Y座標値として用い
られる。また、連続開始ラインとその連続データ数から
連続終了ラインを求め、連続開始ラインと連続終了ラ
インのX座標値の平均値を算出して記憶する。この値
は、そのグループの代表X座標値となる。
【0024】ステップ48では、ステップ47で得られ
た各連続グループデータを基に、各連続グループの長
さ、および(X、Y)座標の位置関係から眼の位置を検
出する。すなわち、眼の特徴量を考えると、横に長く、
上に凸型の弓形形状であると定義づけることができる。
この定義づけに基づいて連結データの絞り込みを行う
と、眼は横に長いという条件から、ポイント連続数が5
ポイント以上続き、また、弓形形状であるという条件か
ら、連続開始ポイントと連続終了ポイントのY座標値の
差の小さい連続データを眼の候補として絞り込むことが
できる。これに基づき連続データの絞り込みを行うと、
図10の(a)に示すようなグループG1〜G6が抽出
点群の有効データグループとして抽出される。
た各連続グループデータを基に、各連続グループの長
さ、および(X、Y)座標の位置関係から眼の位置を検
出する。すなわち、眼の特徴量を考えると、横に長く、
上に凸型の弓形形状であると定義づけることができる。
この定義づけに基づいて連結データの絞り込みを行う
と、眼は横に長いという条件から、ポイント連続数が5
ポイント以上続き、また、弓形形状であるという条件か
ら、連続開始ポイントと連続終了ポイントのY座標値の
差の小さい連続データを眼の候補として絞り込むことが
できる。これに基づき連続データの絞り込みを行うと、
図10の(a)に示すようなグループG1〜G6が抽出
点群の有効データグループとして抽出される。
【0025】次に、前述のステップ47で算出した各グ
ループのX、Y代表座標値の位置を考えると、図10の
(b)に示すように、X座標方向での接近度合いによ
り、ZONE:L、ZONE:C、ZONE:Rに分類
できる。これは、左眼と右眼とはX座標方向に大きく離
れ、すなわち、顔の左右ほぼ対称に分かれ、左眼と左眉
とはX座標方向に大きく離れることはなく、右眼と右眉
も互いにX座標方向に大きく離れることはない。また、
鼻下の影により連結データとなったものや、口の連結デ
ータは中央部付近に位置する。
ループのX、Y代表座標値の位置を考えると、図10の
(b)に示すように、X座標方向での接近度合いによ
り、ZONE:L、ZONE:C、ZONE:Rに分類
できる。これは、左眼と右眼とはX座標方向に大きく離
れ、すなわち、顔の左右ほぼ対称に分かれ、左眼と左眉
とはX座標方向に大きく離れることはなく、右眼と右眉
も互いにX座標方向に大きく離れることはない。また、
鼻下の影により連結データとなったものや、口の連結デ
ータは中央部付近に位置する。
【0026】このようにX座標方向の接近度合いで、更
にデータを分類し、データを絞り込んでいくことで眼の
位置を容易に検出することができる。ZONE:Lに含
まれる連結データは、左眼と左眉であり、ZONE:R
に含まれる連結データは右眼と右眉であると判定する
と、図10の(a)では、眼の位置はG3とG4であ
り、その座標値も特定できる。ステップ41〜48から
なるステップ34が発明の眼の位置検出手段を構成して
いる。
にデータを分類し、データを絞り込んでいくことで眼の
位置を容易に検出することができる。ZONE:Lに含
まれる連結データは、左眼と左眉であり、ZONE:R
に含まれる連結データは右眼と右眉であると判定する
と、図10の(a)では、眼の位置はG3とG4であ
り、その座標値も特定できる。ステップ41〜48から
なるステップ34が発明の眼の位置検出手段を構成して
いる。
【0027】次に、先のステップ35における処理対象
領域の設定では、上述のように、図10において運転者
の左眼を示す連結グループはグループG4であるから、
ここでは、グループG4を構成するポイント群の重心座
標、すなわちX,Y座標の平均値を左眼の領域の中心と
する。そして、これを含む短形領域を処理対象領域とし
て設定する。本実施例では、X方向に120画素、Y方
向に60画素の大きさの短形領域を、図10の(a)に
示す領域Rのように設定している。
領域の設定では、上述のように、図10において運転者
の左眼を示す連結グループはグループG4であるから、
ここでは、グループG4を構成するポイント群の重心座
標、すなわちX,Y座標の平均値を左眼の領域の中心と
する。そして、これを含む短形領域を処理対象領域とし
て設定する。本実施例では、X方向に120画素、Y方
向に60画素の大きさの短形領域を、図10の(a)に
示す領域Rのように設定している。
【0028】次に、ステップ36における眼の大きさ検
出について、処理の詳細を図11のフローチャートによ
り説明する。まず、ステップ1101において、図12
の(a)に示す処理対象領域Rの全画素を対象として明
度の濃度値についての頻度(画素数)分布グラフを作成
し、ステップ1102でフィルタ処理や移動平均法等の
手法を用いて頻度分布グラフにスムージング処理を施
す。こうして図12の(b)に示すような滑らかな頻度
分布グラフを得る。
出について、処理の詳細を図11のフローチャートによ
り説明する。まず、ステップ1101において、図12
の(a)に示す処理対象領域Rの全画素を対象として明
度の濃度値についての頻度(画素数)分布グラフを作成
し、ステップ1102でフィルタ処理や移動平均法等の
手法を用いて頻度分布グラフにスムージング処理を施
す。こうして図12の(b)に示すような滑らかな頻度
分布グラフを得る。
【0029】次に、ステップ1103において、上記頻
度分布グラフのピーク値、すなわち、最も画素数の多い
濃度値D1とその画素数Pを求める。そして、ステップ
1104で、処理対象領域R内の眼の領域と眼以外の領
域を区別するための境界値を算出する。ここでは、図1
2の(b)に示すようにピーク値(濃度値D1)の1/
2の値に、該ピーク値の画素数Pに比例したオフセット
値dを加えた値を境界値Thとしている。オフセット値
dは、図13に示すように、ピーク値の画素数Pが大き
くなるほど同じく大きくなるように設定される。
度分布グラフのピーク値、すなわち、最も画素数の多い
濃度値D1とその画素数Pを求める。そして、ステップ
1104で、処理対象領域R内の眼の領域と眼以外の領
域を区別するための境界値を算出する。ここでは、図1
2の(b)に示すようにピーク値(濃度値D1)の1/
2の値に、該ピーク値の画素数Pに比例したオフセット
値dを加えた値を境界値Thとしている。オフセット値
dは、図13に示すように、ピーク値の画素数Pが大き
くなるほど同じく大きくなるように設定される。
【0030】次に、ステップ1105において、境界値
Thをしきい値として2値化処理を行ない、図14に示
すような処理対象領域の2値化画像を作成する。最後に
ステップ1106において、上記2値化画像上で眼の領
域のY方向の大きさを検出し、ここでは、図14の処理
対象領域内をY方向に走査し、眼の領域LのY方向の長
さを検出して、その最大値y0を眼の領域のY方向の大
きさとして検出する。そして、この値を運転者の眼の開
閉を判定する眼の大きさとして次のステップ37へ進
む。上記ステップ1101、1102が発明の頻度分布
検出手段を構成し、ステップ1103、1104が境界
値演算手段を、そしてステップ1105、1106が眼
の大きさ検出手段を構成している。
Thをしきい値として2値化処理を行ない、図14に示
すような処理対象領域の2値化画像を作成する。最後に
ステップ1106において、上記2値化画像上で眼の領
域のY方向の大きさを検出し、ここでは、図14の処理
対象領域内をY方向に走査し、眼の領域LのY方向の長
さを検出して、その最大値y0を眼の領域のY方向の大
きさとして検出する。そして、この値を運転者の眼の開
閉を判定する眼の大きさとして次のステップ37へ進
む。上記ステップ1101、1102が発明の頻度分布
検出手段を構成し、ステップ1103、1104が境界
値演算手段を、そしてステップ1105、1106が眼
の大きさ検出手段を構成している。
【0031】次に、ステップ37における処理対象領域
が適当であるかどうかの判断処理の詳細について説明す
る。本実施例では、前述のように処理対象領域RをX方
向に120画素、Y方向に60画素の大きさに設定して
おり、これに対してステップ36で検出される眼の大き
さは概ね2〜40画素程度である。そこで、眼の大きさ
が0か、あるいは40画素を越えている場合は、処理対
象領域内Rに眼が存在していないか、または眼以外の顔
の部位を処理対象としているものと判断する。したがっ
て、眼の大きさが0か、あるいは40画素を越えている
ときは、処理対象領域が適当でないものとして、図3の
フローチャートではステッ37からステップ312へ進
み、それ以外の場合はステップ38へ進む。
が適当であるかどうかの判断処理の詳細について説明す
る。本実施例では、前述のように処理対象領域RをX方
向に120画素、Y方向に60画素の大きさに設定して
おり、これに対してステップ36で検出される眼の大き
さは概ね2〜40画素程度である。そこで、眼の大きさ
が0か、あるいは40画素を越えている場合は、処理対
象領域内Rに眼が存在していないか、または眼以外の顔
の部位を処理対象としているものと判断する。したがっ
て、眼の大きさが0か、あるいは40画素を越えている
ときは、処理対象領域が適当でないものとして、図3の
フローチャートではステッ37からステップ312へ進
み、それ以外の場合はステップ38へ進む。
【0032】なお、運転者が眼鏡をかけている場合や髪
の毛が眼の一部にかかってしまって顔画像が図15の
(a)、(b)に示すようなものとなる場合がある。こ
のような場合は、同図に示すように、処理対象領域内の
上部の一部を画面のX方向に走査して1ライン分の濃度
値データを求め、検出される画素列が1ライン分のデー
タの50%未満の割合を占めるときは、当該画素列を処
理対象から除外するようにする。これにより、眼鏡の緑
や髪の毛の影響を除外することができる。
の毛が眼の一部にかかってしまって顔画像が図15の
(a)、(b)に示すようなものとなる場合がある。こ
のような場合は、同図に示すように、処理対象領域内の
上部の一部を画面のX方向に走査して1ライン分の濃度
値データを求め、検出される画素列が1ライン分のデー
タの50%未満の割合を占めるときは、当該画素列を処
理対象から除外するようにする。これにより、眼鏡の緑
や髪の毛の影響を除外することができる。
【0033】また、図16の(a)のように上部の1ラ
インデータがちょうど眼鏡のフレームに該当する場合に
も、処理対象領域全体中に占める眼鏡のフレームの割合
が少ないので、とくに除外しなくても開閉眼の判定には
影響を及ぼさない。さらに、図16の(b)のように髪
の毛の領域が上部の1ラインデータの50%以上を占め
るときには、処理対象領域の中心が眼の重心からずれて
いるから、眼の大きさの検出結果は正常な値でなくな
り、図3のフロー上ステップ37からステップ312へ
進むことになって、処理対象領域Rが再設定されること
になる。
インデータがちょうど眼鏡のフレームに該当する場合に
も、処理対象領域全体中に占める眼鏡のフレームの割合
が少ないので、とくに除外しなくても開閉眼の判定には
影響を及ぼさない。さらに、図16の(b)のように髪
の毛の領域が上部の1ラインデータの50%以上を占め
るときには、処理対象領域の中心が眼の重心からずれて
いるから、眼の大きさの検出結果は正常な値でなくな
り、図3のフロー上ステップ37からステップ312へ
進むことになって、処理対象領域Rが再設定されること
になる。
【0034】次に、図3のフローのステップ38におけ
る開閉眼の判定について説明する。運転者は通常覚醒状
態であっても瞬きをするので、眼を閉じている時の眼の
大きさを検出することができる。そこで、本装置の始動
時は、まず、所定時間中の眼の大きさのデータを蓄積し
て、その最大値と最小値の平均値を眼の開閉判定しきい
値として設定する。そして所定時間経過後より比較を行
ない、図17に示すように、眼の大きさ(y0)が開閉
判定のしきい値wより大きければ開眼状態、小さければ
閉眼状態であると判定する。このステップ38が発明の
開閉眼判定手段を構成している。
る開閉眼の判定について説明する。運転者は通常覚醒状
態であっても瞬きをするので、眼を閉じている時の眼の
大きさを検出することができる。そこで、本装置の始動
時は、まず、所定時間中の眼の大きさのデータを蓄積し
て、その最大値と最小値の平均値を眼の開閉判定しきい
値として設定する。そして所定時間経過後より比較を行
ない、図17に示すように、眼の大きさ(y0)が開閉
判定のしきい値wより大きければ開眼状態、小さければ
閉眼状態であると判定する。このステップ38が発明の
開閉眼判定手段を構成している。
【0035】次に、ステップ39における処理対象領域
の更新について説明する。ここでは図14に示した2値
化画像をもとに、眼の領域Lの重心座標を算出し、この
重心座標が次回の開閉眼判定処理の処理対象領域の中心
になるように更新していく。すなわち、図3のフローチ
ャートに基づいて、システムをスタートさせた直後に
は、第1フレームでは、当然眼を含む処理対象領域は設
定されていない。したがって、ステップ33のチェック
で処理対象領域はないと判断され、ステップ34の眼の
位置検出を経て、ステップ35で処理対象領域Rが設定
される。このとき、眼の重心座標と処理対象領域Rの中
心座標は図18の(a)に示すように一致している。
の更新について説明する。ここでは図14に示した2値
化画像をもとに、眼の領域Lの重心座標を算出し、この
重心座標が次回の開閉眼判定処理の処理対象領域の中心
になるように更新していく。すなわち、図3のフローチ
ャートに基づいて、システムをスタートさせた直後に
は、第1フレームでは、当然眼を含む処理対象領域は設
定されていない。したがって、ステップ33のチェック
で処理対象領域はないと判断され、ステップ34の眼の
位置検出を経て、ステップ35で処理対象領域Rが設定
される。このとき、眼の重心座標と処理対象領域Rの中
心座標は図18の(a)に示すように一致している。
【0036】第1フレームについて一連の処理が終了し
て第2フレームの処理に移り、処理が再びステップ33
へ進むと、今度はすでに処理対象領域Rが設定されてい
るため、処理対象領域有りと判定される。これにより次
はステップ36へ進んで眼の大きさ検出を行ったあと、
ステップ37へ進む。このとき、眼が正しく捉えられて
いる場合には、例えば図18の(b)に示すようにな
る。ここでは、処理対象領域Rは第1フレームで設定さ
れた位置にあるのに対し、眼の位置は2フレーム目に取
り込まれた第2フレームの画像データにおける目の位置
であるため、顔の動きなどにより、目の重心座標は処理
対象領域Rの中心に対してずれた位置にある。
て第2フレームの処理に移り、処理が再びステップ33
へ進むと、今度はすでに処理対象領域Rが設定されてい
るため、処理対象領域有りと判定される。これにより次
はステップ36へ進んで眼の大きさ検出を行ったあと、
ステップ37へ進む。このとき、眼が正しく捉えられて
いる場合には、例えば図18の(b)に示すようにな
る。ここでは、処理対象領域Rは第1フレームで設定さ
れた位置にあるのに対し、眼の位置は2フレーム目に取
り込まれた第2フレームの画像データにおける目の位置
であるため、顔の動きなどにより、目の重心座標は処理
対象領域Rの中心に対してずれた位置にある。
【0037】ステップ39では、このようにして捉えら
れた図18の(b)の眼の重心座標に処理対象領域Rの
基準点を変更する。これにより、運転者の顔の動きに対
応させることができる。図18の(c)、(d)はそれ
ぞれ第3フレーム、第4フレームで取り込まれた顔の画
像データにおける眼の位置と処理対象領域Rとの位置関
係を示したものである。前フレームの処理において処理
対象領域Rの変更が行われているので、眼の中心(重心
座標)と処理対象領域Rの中心座標とのずれは小さくな
っている。上記のステップ33、35、37、39およ
び312が発明の処理対象領域設定手段を構成してい
る。
れた図18の(b)の眼の重心座標に処理対象領域Rの
基準点を変更する。これにより、運転者の顔の動きに対
応させることができる。図18の(c)、(d)はそれ
ぞれ第3フレーム、第4フレームで取り込まれた顔の画
像データにおける眼の位置と処理対象領域Rとの位置関
係を示したものである。前フレームの処理において処理
対象領域Rの変更が行われているので、眼の中心(重心
座標)と処理対象領域Rの中心座標とのずれは小さくな
っている。上記のステップ33、35、37、39およ
び312が発明の処理対象領域設定手段を構成してい
る。
【0038】次に、第3図のステップ310における覚
醒状態の判定について説明する。図19は、先のステッ
プ38で出力される判定結果を示す開閉眼パターンであ
る。このパターン上で所定の覚醒度判定区間内で眼が閉
じていると判断された割合を算出し、眼が閉じていると
判断された割合が小さければ運転者は高い覚醒状態にあ
り、大きければ低い覚醒状態にあると判定する。例え
ば、覚醒度判定区間を1分程度として、この間の閉眼積
算値が例えば5以上であるかどうかをチェックすること
により、覚醒度を判定する。図19の例においては閉眼
(close)の積算値が7となっているので居眠りと
判定する。
醒状態の判定について説明する。図19は、先のステッ
プ38で出力される判定結果を示す開閉眼パターンであ
る。このパターン上で所定の覚醒度判定区間内で眼が閉
じていると判断された割合を算出し、眼が閉じていると
判断された割合が小さければ運転者は高い覚醒状態にあ
り、大きければ低い覚醒状態にあると判定する。例え
ば、覚醒度判定区間を1分程度として、この間の閉眼積
算値が例えば5以上であるかどうかをチェックすること
により、覚醒度を判定する。図19の例においては閉眼
(close)の積算値が7となっているので居眠りと
判定する。
【0039】本実施例は以上のように構成され、画像デ
ータ演算回路24で眼の位置に基づいて眼の開閉の検出
処理を実行する処理対象領域を設定し、処理対象領域の
濃度値の頻度分布から境界値を求め、境界値に基づいて
眼の大きさ検出部26で運転者の眼の大きさを検出する
ようにしたから、運転者の顔の位置が個人差や運転姿勢
により変化しても常に適切なしきい値設定ができ、開閉
眼の状態を精度よく判定して居眠り状態を検出すること
ができる。これにより、的確に警報装置を作動させ、居
眠り状態を解消させ、未然に居眠り事故等を防ぐことが
できる。
ータ演算回路24で眼の位置に基づいて眼の開閉の検出
処理を実行する処理対象領域を設定し、処理対象領域の
濃度値の頻度分布から境界値を求め、境界値に基づいて
眼の大きさ検出部26で運転者の眼の大きさを検出する
ようにしたから、運転者の顔の位置が個人差や運転姿勢
により変化しても常に適切なしきい値設定ができ、開閉
眼の状態を精度よく判定して居眠り状態を検出すること
ができる。これにより、的確に警報装置を作動させ、居
眠り状態を解消させ、未然に居眠り事故等を防ぐことが
できる。
【0040】またこの際、ステップ37、39、312
による処理対象領域の更新を通じての眼の追跡ロジック
を有し、眼の大きさを検出する都度、眼の大きさのデー
タから処理対象領域が適当であったかどうかを判定する
ものとし、処理対象領域を更新するので、新しい画像フ
レームの処理においてステップ34、35による顔全体
からの眼の位置検出を省略でき、眼の大きさ検出の高速
化を図ることができるという利点を有する。
による処理対象領域の更新を通じての眼の追跡ロジック
を有し、眼の大きさを検出する都度、眼の大きさのデー
タから処理対象領域が適当であったかどうかを判定する
ものとし、処理対象領域を更新するので、新しい画像フ
レームの処理においてステップ34、35による顔全体
からの眼の位置検出を省略でき、眼の大きさ検出の高速
化を図ることができるという利点を有する。
【0041】次に、本実施例の変形例について説明す
る。これは、上述の図3のフローにおけるステップ36
のかわりに、図20のフローチャートにしたがって眼の
大きさを検出するようにしたものである。 まず、ステ
ップ1801において、たとえば明度の濃度値について
の頻度分布グラフを作成し、ステップ1802でフィル
タ処理や移動平均法等の手法を用いて頻度分布グラフに
スムージング処理を施す。こうして図21の(a)に示
すような滑らかな頻度分布グラフを得る。
る。これは、上述の図3のフローにおけるステップ36
のかわりに、図20のフローチャートにしたがって眼の
大きさを検出するようにしたものである。 まず、ステ
ップ1801において、たとえば明度の濃度値について
の頻度分布グラフを作成し、ステップ1802でフィル
タ処理や移動平均法等の手法を用いて頻度分布グラフに
スムージング処理を施す。こうして図21の(a)に示
すような滑らかな頻度分布グラフを得る。
【0042】次に、ステップ1803において、図21
の(b)に示すような頻度分布の微分を求めるととも
に、ステップ1804において、微分値が最大となる濃
度値d1と、微分値が最小となる濃度値d2で囲まれる
頻度分布グラフの領域Eの重心Gの濃度値D2を計算し
て求める。このあとのステップ1805〜1807で
は、図11のフローにおけるステップ1103〜110
5と同様の処理を、ピーク濃度値D1の代わりに重心濃
度値D2を用いて行なう。この変形例によっても、同様
に車両運転者の開閉眼の状態を精度よく判定して居眠り
状態を検出することができる。
の(b)に示すような頻度分布の微分を求めるととも
に、ステップ1804において、微分値が最大となる濃
度値d1と、微分値が最小となる濃度値d2で囲まれる
頻度分布グラフの領域Eの重心Gの濃度値D2を計算し
て求める。このあとのステップ1805〜1807で
は、図11のフローにおけるステップ1103〜110
5と同様の処理を、ピーク濃度値D1の代わりに重心濃
度値D2を用いて行なう。この変形例によっても、同様
に車両運転者の開閉眼の状態を精度よく判定して居眠り
状態を検出することができる。
【0043】眼の大きさの検出処理の変形例としては、
このほかにも、図21における微分値が最大および最小
になる濃度値d1、d2の中間値、あるいは、d1とd
2の間にあって微分値が0になる濃度値D3を、ピーク
濃度値D1の代わりに用いることができる。
このほかにも、図21における微分値が最大および最小
になる濃度値d1、d2の中間値、あるいは、d1とd
2の間にあって微分値が0になる濃度値D3を、ピーク
濃度値D1の代わりに用いることができる。
【0044】また、上記実施例では眼の大きさを検出す
るために2値化処理を行なっているが、これを省略し
て、各画素の値を境界値と直接比較して眼の大きさを求
めるようにしてよい。なお、上記実施例では、眼の大き
さの検出処理に用いる境界値を求めるに際して、処理対
象領域内の頻度分布グラフ作成対象を顔画像の明度の濃
度値としたが、これに限定されることなく、明度のほ
か、彩度あるいは色相を用いて頻度分布を求めることも
でき、これにより適切な境界値Thを得て眼の領域を識
別することができる。
るために2値化処理を行なっているが、これを省略し
て、各画素の値を境界値と直接比較して眼の大きさを求
めるようにしてよい。なお、上記実施例では、眼の大き
さの検出処理に用いる境界値を求めるに際して、処理対
象領域内の頻度分布グラフ作成対象を顔画像の明度の濃
度値としたが、これに限定されることなく、明度のほ
か、彩度あるいは色相を用いて頻度分布を求めることも
でき、これにより適切な境界値Thを得て眼の領域を識
別することができる。
【0045】
【発明の効果】以上のとおり、本発明は、運転者の顔画
像を画像処理してその開閉眼を判定する装置において、
眼の位置を含む処理対象領域を設定し、この処理対象領
域の明度、彩度あるいは色相などの識別パラメータの頻
度分布から境界値を求め、境界値に基づいて眼の大きさ
を検出して、その眼の大きさに基づいて開眼および閉眼
状態を判定するものとしたので、運転者の顔の位置が個
人差や運転姿勢により変化しても眼の領域を精度よく検
出することができる。
像を画像処理してその開閉眼を判定する装置において、
眼の位置を含む処理対象領域を設定し、この処理対象領
域の明度、彩度あるいは色相などの識別パラメータの頻
度分布から境界値を求め、境界値に基づいて眼の大きさ
を検出して、その眼の大きさに基づいて開眼および閉眼
状態を判定するものとしたので、運転者の顔の位置が個
人差や運転姿勢により変化しても眼の領域を精度よく検
出することができる。
【図1】本発明の構成を示すブロック図である。
【図2】発明の実施例を示すシステム構成図である。
【図3】実施例における全体の流れを示すフローチャー
トである。
トである。
【図4】眼の位置検出の処理の詳細を示すフローチャー
トである。
トである。
【図5】眼の位置検出のための画素列を説明する図であ
る。
る。
【図6】眼の位置検出のための抽出点の抽出要領を説明
する図である。
する図である。
【図7】眼の位置検出のための抽出点の抽出要領を説明
する図である。
する図である。
【図8】抽出結果を示す図である。
【図9】抽出点のグループ化処理を説明する図である。
【図10】抽出点群から眼の位置を検出する要領を説明
する図である。
する図である。
【図11】眼の大きさ検出の処理の詳細を示すフローチ
ャートである。
ャートである。
【図12】処理対象領域における頻度分布グラフを示す
図である。
図である。
【図13】眼の領域を判定する境界値算出に用いるオフ
セット値を示す図である。
セット値を示す図である。
【図14】処理対象領域の2値化要領を示す図である。
【図15】眼鏡をかけたり髪の毛が眼にかかっている場
合の顔画像の処理の説明図である。
合の顔画像の処理の説明図である。
【図16】眼鏡をかけたり髪の毛が眼にかかっている場
合の顔画像を示す図である。
合の顔画像を示す図である。
【図17】開閉眼の判定要領を示す図である。
【図18】処理対象領域の更新状態を示す図である。
【図19】覚醒度の判定に用いる開閉眼パターン例を示
す図である。
す図である。
【図20】眼の大きさ検出処理の変形例を示すフローチ
ャートである。
ャートである。
【図21】眼の領域を判定する境界値算出の変形例を説
明する図である。
明する図である。
【図22】従来例を示す図である。
1 画像入力手段 2 眼の位置検出手段 3 処理対象領域設定手段 4 頻度分布検出手段 5 境界値演算手段 6 眼の大きさ検出手段 7 開閉眼判定手段 21 TVカメラ 22 A−D変換器 23 画像メモリ 24 画像データ演算回路 25 眼の位置検出部 26 眼の大きさ検出部 27 開閉眼・覚醒度判定部 28 警報装置 A1、A2、A3、A4 抽出点 R 処理対象領域 Xa、Xb、Xc、Xd ライン
Claims (9)
- 【請求項1】 車両運転者の顔画像を入力する画像入力
手段と、顔画像から眼の位置を検出する眼の位置検出手
段と、顔画像のフレーム内に前記眼の位置を含む処理対
象領域を設定する処理対象領域設定手段と、前記処理対
象領域内の識別パラメータの頻度分布を検出する頻度分
布検出手段と、前記頻度分布から眼の領域を判定する境
界値を求める境界値演算手段と、前記境界値に基づいて
前記処理対象領域内の眼の大きさを検出する眼の大きさ
検出手段と、前記眼の大きさに基づいて開眼および閉眼
状態を判定する開閉眼判定手段とを有することを特徴と
する車両運転者の開閉眼判定装置。 - 【請求項2】 前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値を用いて前記境界値を算
出するものであることを特徴とする請求項1記載の車両
運転者の開閉眼判定装置。 - 【請求項3】 前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値に比例させて前記境界値
を算出するものであることを特徴とする請求項2記載の
車両運転者の開閉眼判定装置。 - 【請求項4】 前記境界値演算手段は、前記頻度分布が
最大となる識別パラメータの値における頻度が所定値を
越える場合には、さらにその頻度の最大値に応じて所定
量だけ加算して前記境界値とするものであることを特徴
とする請求項3記載の車両運転者の開閉眼判定装置。 - 【請求項5】 前記境界値演算手段は、前記頻度分布の
重心を算出し、重心位置の識別パラメータの値を前記境
界値とするものであることを特徴とする請求項1記載の
車両運転者の開閉眼判定装置。 - 【請求項6】 前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる識別パラメータの
値で区切られる間で前記頻度分布の重心を算出するもの
であることを特徴とする請求項5記載の車両運転者の開
閉眼判定装置。 - 【請求項7】 前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる識別パラメータの
中央値を前記境界値とするものであることを特徴とする
請求項1記載の車両運転者の開閉眼判定装置。 - 【請求項8】 前記境界値演算手段は、前記頻度分布の
微分がそれぞれ最小および最大となる間で微分値が0と
なる識別パラメータの値を前記境界値とするものである
ことを特徴とする請求項1記載の車両運転者の開閉眼判
定装置。 - 【請求項9】 前記識別パラメータが、明度、彩度およ
び色相の少なくとも1つであることを特徴とする請求項
1、2、3、4、5、6、7または8記載の車両運転者
の開閉眼判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21658896A JPH1044824A (ja) | 1996-07-30 | 1996-07-30 | 車両運転者の開閉眼判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21658896A JPH1044824A (ja) | 1996-07-30 | 1996-07-30 | 車両運転者の開閉眼判定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1044824A true JPH1044824A (ja) | 1998-02-17 |
Family
ID=16690780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21658896A Pending JPH1044824A (ja) | 1996-07-30 | 1996-07-30 | 車両運転者の開閉眼判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1044824A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002015322A (ja) * | 2000-06-29 | 2002-01-18 | Nissan Motor Co Ltd | 脇見状態検出装置 |
DE102007055715A1 (de) | 2006-12-06 | 2008-07-03 | Aisin Seiki Kabushiki Kaisha, Kariya | Vorrichtung, Verfahren und Programm zur Augenerfassung |
US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
KR101324650B1 (ko) * | 2011-09-06 | 2013-11-01 | 인하대학교 산학협력단 | 졸음 운전 방지 장치 |
EP3226175A1 (en) | 2016-04-01 | 2017-10-04 | Fuji Xerox Co., Ltd | Image pattern recognition device and program |
US10949690B2 (en) * | 2017-02-15 | 2021-03-16 | Mitsubishi Electric Corporation | Driving state determination device, determination device, and driving state determination method |
JP6977975B1 (ja) * | 2020-12-22 | 2021-12-08 | 株式会社スワローインキュベート | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム |
-
1996
- 1996-07-30 JP JP21658896A patent/JPH1044824A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002015322A (ja) * | 2000-06-29 | 2002-01-18 | Nissan Motor Co Ltd | 脇見状態検出装置 |
US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
DE102007055715A1 (de) | 2006-12-06 | 2008-07-03 | Aisin Seiki Kabushiki Kaisha, Kariya | Vorrichtung, Verfahren und Programm zur Augenerfassung |
US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
KR101324650B1 (ko) * | 2011-09-06 | 2013-11-01 | 인하대학교 산학협력단 | 졸음 운전 방지 장치 |
EP3226175A1 (en) | 2016-04-01 | 2017-10-04 | Fuji Xerox Co., Ltd | Image pattern recognition device and program |
US10664727B2 (en) | 2016-04-01 | 2020-05-26 | Fuji Xerox Co., Ltd. | Image pattern recognition device and recording medium |
US10949690B2 (en) * | 2017-02-15 | 2021-03-16 | Mitsubishi Electric Corporation | Driving state determination device, determination device, and driving state determination method |
JP6977975B1 (ja) * | 2020-12-22 | 2021-12-08 | 株式会社スワローインキュベート | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム |
WO2022137604A1 (ja) * | 2020-12-22 | 2022-06-30 | 株式会社スワローインキュベート | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0944685A (ja) | 顔画像処理装置 | |
CN100504910C (zh) | 人的检测方法和设备 | |
CN106485191B (zh) | 一种驾驶员疲劳状态检测方法及系统 | |
JP5737400B2 (ja) | 赤目検出装置 | |
WO2008056229A2 (en) | Eye opening detection system and method of detecting eye opening | |
JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
JP5737401B2 (ja) | 瞼検出装置 | |
CN104573704A (zh) | 眼部检测装置、方法 | |
JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
JP3312562B2 (ja) | 居眠り状態検出装置 | |
JP2000105819A (ja) | 顔領域検出装置 | |
JP2008257575A (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
JP4107087B2 (ja) | 開閉眼判定装置 | |
JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
JP3444115B2 (ja) | 居眠り状態検出装置 | |
JP3746916B2 (ja) | 瞬目状態検出方法 | |
JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
JP2000142164A (ja) | 眼の状態検出装置及び居眠り運転警報装置 | |
JPH0793700A (ja) | 運転者状態監視装置 | |
JP5035139B2 (ja) | 眼画像処理装置 | |
JPH09270010A (ja) | 顔画像の特徴量認識装置 | |
JP2000067225A (ja) | 眼位置検出装置 | |
JP3465566B2 (ja) | 眼位置検出装置 | |
JP3500891B2 (ja) | 居眠り状態検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040210 |