JPH0944684A - 顔画像処理装置 - Google Patents

顔画像処理装置

Info

Publication number
JPH0944684A
JPH0944684A JP7193647A JP19364795A JPH0944684A JP H0944684 A JPH0944684 A JP H0944684A JP 7193647 A JP7193647 A JP 7193647A JP 19364795 A JP19364795 A JP 19364795A JP H0944684 A JPH0944684 A JP H0944684A
Authority
JP
Japan
Prior art keywords
eye
evaluation function
shape
face image
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7193647A
Other languages
English (en)
Other versions
JP3426060B2 (ja
Inventor
Nobumasa Suenaga
伸正 末永
Kenji Ogawa
賢二 小河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP19364795A priority Critical patent/JP3426060B2/ja
Priority to US08/612,815 priority patent/US5805720A/en
Priority to DE19614975A priority patent/DE19614975C2/de
Publication of JPH0944684A publication Critical patent/JPH0944684A/ja
Application granted granted Critical
Publication of JP3426060B2 publication Critical patent/JP3426060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【解決手段】 評価関数算出手段は、目存在領域８の２
値化された目画像全体の形状、つまり特徴を示す形状関
数（Ｙ方向ヒストグラムと、このＹ方向ヒストグラムの
所定範囲の近似直線）を算出し、この形状関数（近似直
線）から評価関数（近似直線の傾き）を算出する。そこ
で、開閉判定手段は、時間的に変化する評価関数の値Ｋ
からしきい値を決定し、目の開閉判定を行う。 【効果】 まつげ等により閉眼時のＹ方向の連続黒色画
素数の変化が少ない場合でも、精度よく目の開閉判定を
行うことが可能である。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、目の開閉状況か
ら車の運転者等の覚醒度低下状態、居眠り状態などを検
出する顔画像処理装置に関するものである。
【０００２】
【従来の技術】従来装置について図６３、図６４及び図
６５を参照しながら説明する。図６３は、例えば特開平
６−３２１５４号公報に示された従来の運転者の状態検
出装置の構成を示す概念図である。
【０００３】図６３において、従来装置は、運転者の顔
画像を入力してＡ／Ｄ変換する画像入力手段１と、該画
像入力手段１から入力された顔画像を２値化する２値化
手段２と、２値化された画像内で眼球存在領域を定める
眼球存在領域設定手段３と、前記眼球存在領域内で縦方
向（Ｙ方向）の連続黒色画素に基づいて眼球を検出する
眼球検出手段４と、検出された眼球の前記連続黒色画素
の数に基づいて運転者の開閉眼を検出する開閉眼検出手
段５と、該開閉眼検出手段５で検出された開閉眼のパタ
ーンに基づいて運転者の状態を判定する運転者状態判定
手段６とを備える。
【０００４】図６４は、上記開閉眼検出手段５の処理対
象である眼球存在領域７を示す２値画像である。
【０００５】従来装置の動作は以下のようになる。図６
３において、画像入力手段１で撮影された運転者の顔画
像は、２値化手段２によって２値化され２値画像にな
る。２値画像は眼球存在領域設定手段３により眼球存在
領域７を設定され、その領域７内で眼球検出手段４によ
り運転者の眼球が検出される。そして、眼球は開閉眼検
出手段５で開閉眼が検出される。開閉眼のパターンは運
転者状態判定手段６に入力され、居眠り状態等の運転者
の状態が判定される。
【０００６】また、上記開閉眼検出手段５の詳細な動作
は以下のようになる。図６４のように、例えば左目の存
在する２値画像中で開閉眼を検出する開閉眼検出手段５
は、眼球存在領域７の右側Ｘ座標（Ｘ２）から横方向
（Ｘ方向）に（Ｘ１）までを範囲として、検索開始位置
であるＹ座標（ＹＢ）から縦方向（Ｙ方向）に（ＹＢ−
５０）までを検索（走査）する。縦方向走査を横方向１
ライン毎に繰り返し、眼球存在領域７の横幅の全域にわ
たって全てのラインの走査を終了すると、縦方向（Ｙ方
向）の最大連続黒色画素数が眼球の縦方向（Ｙ方向）の
大きさとして求められる。この最大連続黒色画素数の値
より、所定のしきい値を求め、それと比較することによ
り、開閉眼の検出が可能となる。
【０００７】
【発明が解決しようとする課題】しかし、上記従来装置
では、運転者の目の開閉判定を行うに当たって、目の縦
方向（Ｙ方向）の最大連続黒色画素数を計測するという
手法を用いているため、まつげや陰影等によって２値化
された画像が図６５に示したようになる場合があり、開
眼時と閉眼時とのＹ方向の最大連続黒色画素数Ｌ１及び
Ｌ２の差があまりないときには、目の開閉判定で誤動作
を起こしてしまう可能性があるという問題点があった。
【０００８】この発明は、前述した問題点を解決するた
めになされたもので、目を閉じることに伴う目の形状の
変化に着目することにより、まつげ等により閉眼時のＹ
方向の連続黒色画素数の変化が少ない場合や、顔の上下
方向の向きや左右の傾きの変化によって連続的にＹ方向
の連続黒色画素数に変化が生じた場合でも、精度よく目
の開閉判定を行うことが可能な顔画像処理装置を得るこ
とを目的とする。
【０００９】
【課題を解決するための手段】この発明に係る顔画像処
理装置は、顔画像を撮像するカメラと、前記カメラから
の映像信号を入力する画像入力手段と、前記画像入力手
段からの顔画像を２値化する２値化手段と、前記２値化
された顔画像から目を含む目存在領域を抽出する目抽出
手段と、前記目存在領域より目の特徴を示す形状関数を
算出し、この形状関数に基づいて評価関数を算出する評
価関数算出手段と、前記評価関数に基づいて目の開閉判
定を行う開閉判定手段とを備えたものである。
【００１０】また、この発明に係る顔画像処理装置は、
顔画像を撮像するカメラと、前記カメラからの映像信号
を入力する画像入力手段と、前記画像入力手段からの顔
画像を２値化する２値化手段と、前記２値化された顔画
像から目抽出領域を抽出し、前記目抽出領域より目の候
補存在領域の目の特徴を示す形状関数を算出し、この形
状関数に基づいて評価関数を算出する評価関数算出手段
と、前記評価関数に基づいて目を含む目存在領域を抽出
する目抽出手段とを備えたものである。
【００１１】また、この発明に係る顔画像処理装置は、
顔画像を撮像するカメラと、前記カメラからの映像信号
を入力する画像入力手段と、前記画像入力手段からの顔
画像を２値化する２値化手段と、前記２値化された顔画
像から目抽出領域を抽出し、前記目抽出領域より目の候
補存在領域の目の特徴を示す形状関数を算出し、この形
状関数に基づいて評価関数を算出する評価関数算出手段
と、前記評価関数に基づいて目を含む目存在領域を抽出
するとともに目の開閉判定を行う目抽出開閉判定手段と
を備えたものである。
【００１２】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数を直線に近似
し、この近似直線の傾きに基づいて評価関数を算出する
ものである。
【００１３】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の端部所定範囲
の形状を最小二乗法により直線に近似し、この近似直線
の傾きに基づいて評価関数を算出するものである。
【００１４】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の端部所定範囲
及び前記形状関数の全体の形状を最小二乗法により直線
に近似し、これらの近似直線の傾きに基づいて評価関数
を算出するものである。
【００１５】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の両端部所定範
囲の形状を最小二乗法により直線に近似し、これらの近
似直線の傾きに基づいて評価関数を算出するものであ
る。
【００１６】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の両端部所定範
囲及び前記形状関数の全体の形状を最小二乗法により直
線に近似し、これらの近似直線で囲まれる形に基づいて
評価関数を算出するものである。
【００１７】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、両目の形状関数のそれぞれの
端部所定範囲の形状を最小二乗法により直線に近似し、
これらの近似直線の傾きに基づいて評価関数を算出する
ものである。
【００１８】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の２箇所の平均
値を求め、これらの平均値の差に基づいて評価関数を算
出するものである。
【００１９】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の中心部及び端
部所定範囲の平均値の差に基づいて評価関数を算出する
ものである。
【００２０】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の中心部及び両
端部所定範囲の平均値の差に基づいて評価関数を算出す
るものである。
【００２１】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、両目の前記形状関数の中心部
及び端部所定範囲の平均値の差に基づいて評価関数を算
出するものである。
【００２２】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数の値の度数分布
曲線を求め、この度数分布曲線に基づいて評価関数を算
出するものである。
【００２３】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、スポークフィルターを用いて
前記形状関数の円弧形状中心位置を検出し、この円弧形
状中心位置に基づいて評価関数を算出するものである。
【００２４】また、この発明に係る顔画像処理装置は、
前記評価関数手段が、前記形状関数の中心部所定範囲の
平均値と前記目存在領域のＸ方向ヒストグラムのピーク
のＹ座標との差に基づいて評価関数を算出するものであ
る。
【００２５】また、この発明に係る顔画像処理装置は、
前記形状関数を、前記目存在領域の２値画像のＹ方向ヒ
ストグラムとしたものである。
【００２６】また、この発明に係る顔画像処理装置は、
前記形状関数を、前記目存在領域の２値画像の上部境界
線としたものである。
【００２７】また、この発明に係る顔画像処理装置は、
前記形状関数を、前記目存在領域の２値画像のＹ方向中
心線としたものである。
【００２８】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数から複数の重心
を求めてそれらの重心を結ぶ直線を求め、この直線の傾
きに基づいて評価関数を算出するものである。
【００２９】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数のＸ方向端部及
び中心部所定範囲の重心を求め、これらの重心を結ぶ直
線の傾きに基づいて評価関数を算出するものである。
【００３０】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、前記形状関数のＸ方向両端部
及び中心部所定範囲の重心を求め、これらの重心を結ぶ
複数の直線の傾きに基づいて評価関数を算出するもので
ある。
【００３１】また、この発明に係る顔画像処理装置は、
前記評価関数算出手段が、両目の前記形状関数のＸ方向
端部及び中心部所定範囲の重心を求め、これらの重心を
結ぶ複数の直線の傾きに基づいて評価関数を算出するも
のである。
【００３２】また、この発明に係る顔画像処理装置は、
前記形状関数を、前記目存在領域の目画像の座標とした
ものである。
【００３３】さらに、この発明に係る顔画像処理装置
は、前記評価関数算出手段が、前記目存在領域の２値画
像のＸ方向ヒストグラムを形状関数とし、この形状関数
のピーク及び両端点のＹ座標を求め、これらの値に基づ
いて評価関数を算出するものである。
【００３４】
【発明の実施の形態】 実施の形態１．この発明の実施の形態１について図１、
図２及び図３を参照しながら説明する。図１は、この発
明の顔画像処理装置に係る実施の形態１の概略構成を示
す図である。
【００３５】図１において、この実施の形態１は、カメ
ラ１１と、画像入力手段１２と、２値化手段１３と、目
抽出手段１４と、評価関数算出手段１５と、開閉判定手
段１６とを備える。
【００３６】カメラ１１は、例えば運転席の計器パネル
（インストルメントパネル）に設置されたＣＣＤＴＶカ
メラであり、運転者の顔面を撮像する。このカメラ１１
から出力されたアナログ映像信号は、上記各手段１２〜
１６によって処理される。そして、運転者が居眠り状態
であると判定した場合は、例えばブザーを鳴動させた
り、音声で警告を発したり、運転席を振動させたりして
運転者に注意を促す。さらに、場合によってはブレーキ
を作動させたりして車を停止させる。
【００３７】カメラ１１で撮影された顔画像は、画像入
力手段１２に入力されＡ／Ｄ変換されてディジタル階調
画像に変換された後、２値化手段１３により所定のしき
い値で２値化、つまり例えば黒色画素と白色画素にされ
る。次に、目抽出手段１４によって目存在領域の抽出が
行われる。この目抽出手段１４は、例えば２値画像の黒
色画素の座標平均から重心を求め、この重心から一番近
い黒色画素の塊が存在するＸ方向左右所定範囲の長方形
領域を目存在領域として抽出する。その後、評価関数算
出手段１５は、目存在領域の２値化された目画像全体の
形状、つまり特徴を示す形状関数を算出し、この形状関
数から円弧形状に着目した評価関数を算出し、この値を
メモリに記録する。そこで開閉判定手段１６により時間
的に変化する評価関数の値Ｋからしきい値を決定し、目
の開閉判定を行う。
【００３８】図２は、この実施の形態１の目の開閉判定
方法を示す説明図である。この図は、時間の推移（開眼
時ＴＡ、閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記
時間の推移に応じた目存在領域８の２値画像と、各２値
画像の１次の形状関数である目存在領域８内のＹ方向ヒ
ストグラム（Ｙ方向の画素積算値）と、上記１次の形状
関数を基に算出した２次の形状関数である近似直線とを
表している。このＹ方向ヒストグラムは、目存在領域８
をＹ方向に走査し、各Ｘ座標毎に黒色画素数をカウント
したもの（ＳＵＭ）である。
【００３９】図３は、図２のＹ方向ヒストグラムを基に
算出した評価関数の値Ｋの変化を表している。
【００４０】直線９は、Ｙ方向ヒストグラムのカウント
値（ＳＵＭ）の端部所定範囲、例えばＸ座標（Ｌ〜Ｌ＋
２０）の形状を最小二乗法を用いて近似した直線であ
る。この場合の最小二乗法は、下記の式１で表せ、Ｋは
近似直線９の傾きを示し、これが評価関数の値となる。
なお、式１中の各Σの範囲（加算範囲）は、Ｘ＝Ｌ〜Ｌ
＋２０である。
【００４１】Ｋ＝｛20Σ(ＸＳＵＭ)−ΣＸΣＳＵＭ｝／
｛20Σ(Ｘ2)−(ΣＸ)2｝ ・・・式１
【００４２】図２に示すように、目の開閉に伴い、Ｙ方
向ヒストグラムの形状が変化する。その結果、図３に示
すように、閉眼時は評価関数の値Ｋが低い値を示してい
る。このことから、しきい値ＫＢを設定し、目の開閉判
定を行うことができる。
【００４３】さらに、目の全体についても同様に近似直
線１０を求めて傾きを算出し、２つの近似直線９及び１
０の傾きの差を評価関数として用いることにより、顔の
傾きによる誤検出が減少し、目の開閉判定精度が向上す
るという効果がある。なお、この場合の評価関数の値
は、図３と同様の傾向を示す。
【００４４】また、ここでは目の左端部所定範囲の形状
を用いたが、符号の逆転はあるが右端部所定範囲、例え
ばＸ座標（Ｒ〜Ｒ−２０）の場合も同様の結果がえられ
る。なお、この場合の評価関数の値は、図３と同様の傾
向を示す。
【００４５】また、目の左端部所定範囲及び右端部所定
範囲のそれぞれについて近似直線の傾きを算出し、２つ
の傾きのうちで時間的変化が大きいものを評価関数の値
に用いることにより、目の開閉判定の精度が向上すると
いう効果がある。
【００４６】実施の形態２．この発明の実施の形態２に
ついて図４及び図５を参照しながら説明する。図４は、
この実施の形態２の目の開閉判定方法を示す説明図であ
る。この図は、時間の推移（開眼時ＴＡ、閉眼時ＴＣ、
それらの間の時点ＴＢ）と、上記時間の推移に応じた目
存在領域８の２値画像と、各２値画像の上部境界線の座
標を用いた１次の形状関数（上部境界線形状関数）と、
上記１次の形状関数を基に算出した２次の形状関数であ
る近似直線とを表している。この上部境界線形状関数
は、目存在領域８をＹ方向に下から上方に向かって走査
し、各Ｘ座標毎に最後の黒色画素が検出されるまでの画
素数をカウントしたもの（ＵＦ）である。
【００４７】図５は、図４の上部境界線形状関数を基に
算出した評価関数の値Ｋの変化を表している。
【００４８】この実施の形態２の方法でも、上記実施の
形態１と同様に、目の開閉に伴い、上部境界線形状関数
が変化する。そして、所定範囲の近似直線９の傾きであ
る評価関数の値Ｋが、図５に示すように、閉眼時は低い
値を示し、目の開閉判定を行うことが可能である。
【００４９】実施の形態３．この発明の実施の形態３に
ついて図６及び図７を参照しながら説明する。図６は、
この実施の形態３の目の開閉判定方法を示す説明図であ
る。この図は、時間の推移（開眼時ＴＡ、閉眼時ＴＣ、
それらの間の時点ＴＢ）と、上記時間の推移に応じた目
存在領域８の２値画像と、各２値画像のＹ方向中心線の
形状を用いた１次の形状関数（Ｙ方向中心線形状関数）
と、上記１次の形状関数を基に算出した２次の形状関数
である近似直線とを表している。このＹ方向中心線形状
関数は、目存在領域８をＹ方向に下から上方に向かって
走査し、各Ｘ座標毎に最初の黒色画素、及び最後の黒色
画素が検出されるまでのそれぞれの画素数をカウント
し、それらの値を平均したもの（ＣＦ）である。
【００５０】図７は、図６のＹ方向中心線形状関数を基
に算出した評価関数の値Ｋの変化を表している。
【００５１】この実施の形態３の方法でも、上記実施の
形態１と同様に、目の開閉に伴い、Ｙ方向中心線形状関
数が変化し、目の開閉判定を行うことが可能である。
【００５２】実施の形態４．この発明の実施の形態４に
ついて図８及び図９を参照しながら説明する。図８は、
この実施の形態４の目の開閉判定方法を示す説明図であ
る。この図は、時間の推移（開眼時ＴＡ、閉眼時ＴＣ、
それらの間の時点ＴＢ）と、上記時間の推移に応じた目
存在領域８の２値画像と、各２値画像の１次の形状関数
であるＹ方向ヒストグラムと、上記１次の形状関数を基
に算出した２次の形状関数である近似直線とを表してい
る。
【００５３】図９は、図８のＹ方向ヒストグラムを基に
算出した評価関数の値Ｋの変化を表している。
【００５４】直線９及び９’は、Ｙ方向ヒストグラムの
左端部所定範囲（Ｌ〜Ｌ＋２０）、及び右端部所定範囲
（Ｒ−２０〜Ｒ）の形状を最小二乗法を用いて近似した
直線である。ここでは、下記の式２で示す、２つの近似
直線９及び９’の傾きの差が評価関数の値Ｋとなる。な
お、式２中の前半の各Σの範囲（加算範囲）はＸ＝Ｌ〜
Ｌ＋２０、後半の各Σの範囲（加算範囲）はＸ＝Ｒ−２
０〜Ｒである。
【００５５】Ｋ＝｛20Σ(ＸＳＵＭ)−ΣＸΣＳＵＭ｝／
｛20Σ(Ｘ2)−(ΣＸ)2｝−｛20Σ(ＸＳＵＭ)−ΣＸΣＳ
ＵＭ｝／｛20Σ(Ｘ2)−(ΣＸ)2｝ ・・・式２
【００５６】図８に示すように、目の開閉に伴い、Ｙ方
向ヒストグラムの形状が変化する。その結果、図９に示
すように、閉眼時は評価関数の値Ｋが低い値を示してい
る。このことから、しきい値をＫＢに設定し、目の開閉
判定を行うことができる。
【００５７】この実施の形態４の方法では、両端部所定
範囲の形状を用いているため、顔の傾きによる評価関数
の値Ｋの変化が少なくなるため誤検出が防止され、精度
よく目の開閉を判定できるという効果がある。
【００５８】さらに、目の全体についても同様に近似直
線１０を求め、左端部所定範囲の近似直線９、右端部所
定範囲の近似直線９’及び全体の近似直線１０の３つの
直線によってつくられる三角形の高さを評価関数の値と
して用いることにより、目尻の影等による誤検出が減少
し、目の開閉判定の精度が向上するという効果がある。
【００５９】実施の形態５．この発明の実施の形態５に
ついて図１０及び図１１を参照しながら説明する。図１
０は、この実施の形態４の目の開閉判定方法を示す説明
図である。この図は、時間の推移（開眼時ＴＡ、閉眼時
ＴＣ、それらの間の時点ＴＢ）と、上記時間の推移に応
じた目存在領域８の２値画像と、各２値画像の上部境界
線の座標を用いた１次の形状関数（上部境界線形状関
数）と、上記１次の形状関数を基に算出した２次の形状
関数である近似直線とを表している。
【００６０】図１１は、図１０の上部境界線形状関数を
基に算出した評価関数の値Ｋの変化を表している。
【００６１】この実施の形態５の方法でも、上記実施の
形態４と同様に、目の開閉に伴い、上部境界線形状関数
が変化し、目の開閉判定を行うことが可能である。
【００６２】実施の形態６．この発明の実施の形態６に
ついて図１２及び図１３を参照しながら説明する。図１
２は、この実施の形態６の目の開閉判定方法を示す説明
図である。この図は、時間の推移（開眼時ＴＡ、閉眼時
ＴＣ、それらの間の時点ＴＢ）と、上記時間の推移に応
じた目存在領域８の２値画像と、各２値画像のＹ方向中
心線の形状を用いた１次の形状関数（Ｙ方向中心線形状
関数）と、上記１次の形状関数を基に算出した２次の形
状関数である近似直線とを表している。
【００６３】図１３は、図１２のＹ方向中心線形状関数
を基に算出した評価関数の値Ｋの変化を表している。
【００６４】この実施の形態６の方法でも、上記実施の
形態４と同様に、目の開閉に伴い、Ｙ方向中心線形状関
数が変化し、目の開閉判定を行うことが可能である。
【００６５】実施の形態７．この発明の実施の形態７に
ついて図１４及び図１５を参照しながら説明する。図１
４は、この実施の形態７の目の開閉判定方法を示す説明
図である。この図は、時間の推移（開眼時ＴＡ、閉眼時
ＴＣ、それらの間の時点ＴＢ）と、上記時間の推移に応
じた両目の目存在領域８の２値画像と、各２値画像の１
次の形状関数であるＹ方向ヒストグラムと、上記１次の
形状関数を基に算出した２次の形状関数である近似直線
とを表している。
【００６６】図１５は、図１４のＹ方向ヒストグラムを
基に算出した評価関数の値Ｋの変化を表している。
【００６７】直線９及び９”は、それぞれのＹ方向ヒス
トグラムの両目の外側端部に対応する所定範囲（ＬＬ〜
ＬＬ＋２０、ＲＲ−２０〜ＲＲ）の形状を最小二乗法を
用いて近似した直線である。ここでも、上記実施の形態
４と同様に、２つの近似直線９及び９”の傾きの差が評
価関数の値Ｋとなる。
【００６８】図１４に示すように、目の開閉に伴い、Ｙ
方向ヒストグラムの形状が変化する。その結果、図１５
に示すように、閉眼時は評価関数の値Ｋが低い値を示し
ている。このことから、しきい値をＫＢに設定し目の開
閉判定を行うことが可能である。
【００６９】また、ここでは両目の外側端部に対応する
所定範囲の形状を用いたが、符号の逆転はあるが両目の
内側端部に対応する所定範囲の場合も同様の効果があ
る。
【００７０】また、この実施の形態７の方法では、対称
な端部所定範囲の形状を用いているため、顔の傾きによ
る評価関数の値Ｋの変化が少なくなるため誤検出が防止
され、精度よく目の開閉を判定できるという効果があ
る。
【００７１】さらに、両目の外側端部に対応な所定範囲
及び内側端部に対応する所定範囲のそれぞれについて評
価関数を算出し、２つの評価関数のうちで時間的変化が
大きいものを用いることにより、目の開閉判定の精度が
向上するという効果がある。
【００７２】実施の形態８．この発明の実施の形態８に
ついて図１６及び図１７を参照しながら説明する。図１
６は、この実施の形態８の目の開閉判定方法を示す説明
図である。この図は、時間の推移（開眼時ＴＡ、閉眼時
ＴＣ、それらの間の時点ＴＢ）と、上記時間の推移に応
じた両目の目存在領域８の２値画像と、各２値画像の上
部境界線の座標を用いた１次の形状関数（上部境界線形
状関数）と、上記１次の形状関数を基に算出した２次の
形状関数である近似直線とを表している。
【００７３】図１７は、図１６の上部境界線形状関数を
基に算出した評価関数の値Ｋの変化を表している。
【００７４】この実施の形態８の方法でも、上記実施の
形態７と同様に、目の開閉に伴い、上部境界線形状関数
が変化し、目の開閉判定を行うことが可能である。
【００７５】実施の形態９．この発明の実施の形態９に
ついて図１８及び図１９を参照しながら説明する。図１
８は、この実施の形態９の目の開閉判定方法を示す説明
図である。この図は、時間の推移（開眼時ＴＡ、閉眼時
ＴＣ、それらの間の時点ＴＢ）と、上記時間の推移に応
じた両目の目存在領域８の２値画像と、各２値画像のＹ
方向中心線の形状を用いた１次の形状関数（Ｙ方向中心
線形状関数）と、上記１次の形状関数を基に算出した２
次の形状関数である近似直線とを表している。
【００７６】図１９は、図１８のＹ方向中心線形状関数
を基に算出した評価関数の値Ｋの変化を表している。
【００７７】この実施の形態９の方法でも、上記実施の
形態７と同様に、目の開閉に伴い、Ｙ方向中心線形状関
数が変化し、目の開閉判定を行うことが可能である。
【００７８】実施の形態１０．この発明の実施の形態１
０について図２０及び図２１を参照しながら説明する。
図２０は、この実施の形態１０の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像のＹ
方向ヒストグラムとを表している。
【００７９】図２１は、図２０のＹ方向ヒストグラムを
基に算出した評価関数の値Ｋの変化を表している。
【００８０】この実施の形態１０では、下記の式３で示
す、目の中心部（Ｃ−５〜Ｃ＋５）、及び左端部所定範
囲（Ｌ〜Ｌ＋１０）のＹ方向ヒストグラムの平均値の差
が評価関数の値Ｋとなる。なお、式３中の前半のΣの範
囲（加算範囲）はＸ＝Ｃ−５〜Ｃ＋５、後半のΣの範囲
（加算範囲）はＸ＝Ｌ〜Ｌ＋１０である。
【００８１】 Ｋ＝（ΣＳＵＭ）／１０−（ΣＳＵＭ）／１０ ・・・ 式３
【００８２】図２０に示すように、目の開閉に伴い、Ｙ
方向ヒストグラムの形状が変化する。その結果、図２１
に示すように、閉眼時の評価関数の値Ｋが低い値を示し
ている。このことから、しきい値をＫＢに設定し、目の
開閉判定を行うことが可能である。
【００８３】また、ここでは目の左端部所定範囲のＹ方
向ヒストグラムの平均を用いたが、右端部所定範囲の場
合も同様の結果がえられる。
【００８４】実施の形態１１．この発明の実施の形態１
１について図２２及び図２３を参照しながら説明する。
図２２は、この実施の形態１１の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像の上
部境界線の座標を用いた形状関数（上部境界線形状関
数）とを表している。
【００８５】図２３は、図２２の上部境界線形状関数を
基に算出した評価関数の値Ｋの変化を表している。
【００８６】この実施の形態１１の方法でも、上記実施
の形態１０と同様に、目の開閉に伴い、上部境界線形状
関数が変化し、目の開閉判定を行うことが可能である。
【００８７】実施の形態１２．この発明の実施の形態１
２について図２４及び図２５を参照しながら説明する。
図２４は、この実施の形態１２の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像のＹ
方向中心線の形状を用いた形状関数（Ｙ方向中心線形状
関数）とを表している。
【００８８】図２５は、図２４のＹ方向中心線形状関数
を基に算出した評価関数の値Ｋの変化を表している。
【００８９】この実施の形態１２の方法でも、上記実施
の形態１０と同様に、目の開閉に伴い、Ｙ方向中心線形
状関数が変化し、目の開閉判定を行うことが可能であ
る。
【００９０】実施の形態１３．この発明の実施の形態１
３について図２６及び図２７を参照しながら説明する。
図２６は、この実施の形態１３の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像のＹ
方向ヒストグラムとを表している。
【００９１】図２７は、図２６のＹ方向ヒストグラムを
基に算出した評価関数の値Ｋの変化を表している。
【００９２】この実施の形態１３では、下記の式４で示
す、目の中心部（Ｃ−５〜Ｃ＋５）、及び左右の両端部
所定範囲（Ｌ〜Ｌ＋１０、Ｒ−１０〜Ｒ）のＹ方向ヒス
トグラムの平均値の差が評価関数の値Ｋとなる。なお、
式４中の第１番目のΣの範囲（加算範囲）はＸ＝Ｃ−５
〜Ｃ＋５、第２番目のΣの範囲（加算範囲）はＸ＝Ｌ〜
Ｌ＋１０、第３番目のΣの範囲（加算範囲）はＸ＝Ｒ−
１０〜Ｒである。
【００９３】 Ｋ＝（ΣＳＵＭ）／１０−（ΣＳＵＭ＋ΣＳＵＭ）／２０ ・・・ 式４
【００９４】図２６に示すように、目の開閉に伴い、Ｙ
方向ヒストグラムの形状が変化する。その結果、図２７
に示すように、閉眼時は評価関数の値Ｋが低い値を示し
ている。このことから、しきい値をＫＢに設定し、目の
開閉判定を行うことが可能である。
【００９５】実施の形態１４．この発明の実施の形態１
４について図２８及び図２９を参照しながら説明する。
図２８は、この実施の形態１４の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像の上
部境界線の座標を用いた形状関数（上部境界線形状関
数）とを表している。
【００９６】図２９は、図２８の上部境界線形状関数を
基に算出した評価関数の値Ｋの変化を表している。
【００９７】この実施の形態１４の方法でも、上記実施
の形態１３と同様に、目の開閉に伴い、上部境界線形状
関数が変化し、目の開閉判定を行うことが可能である。
【００９８】実施の形態１５．この発明の実施の形態１
５について図３０及び図３１を参照しながら説明する。
図３０は、この実施の形態１５の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目存在領域８の２値画像と、各２値画像のＹ
方向中心線の形状を用いた形状関数（Ｙ方向中心線形状
関数）とを表している。
【００９９】図３１は、図３０のＹ方向中心線形状関数
を基に算出した評価関数の値Ｋの変化を表している。
【０１００】この実施の形態１５の方法でも、上記実施
の形態１３と同様に、目の開閉に伴い、Ｙ方向中心線形
状関数が変化し、目の開閉判定を行うことが可能であ
る。
【０１０１】実施の形態１６．この発明の実施の形態１
６について図３２及び図３３を参照しながら説明する。
図３２は、この実施の形態１６の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた両目の目存在領域８の２値画像と、各２値画
像のＹ方向ヒストグラムとを表している。
【０１０２】図３３は、図３２のＹ方向ヒストグラムを
基に算出した評価関数の値Ｋの変化を表している。
【０１０３】この実施の形態１６では、下記の式５に示
す、両目の中心部（ＬＣ−５〜ＬＣ＋５、ＲＣ−５〜Ｒ
Ｃ＋５）、及び両目の外側端部に対応する所定範囲（Ｌ
Ｌ〜ＬＬ＋１０、ＲＲ−１０〜ＲＲ）のＹ方向ヒストグ
ラムの平均値の差が評価関数の値Ｋとなる。なお、式５
中の第１番目のΣの範囲（加算範囲）はＸ＝ＬＣ−５〜
ＬＣ＋５、第２番目のΣの範囲はＸ＝ＲＣ−５〜ＲＣ＋
５、第３番目のΣの範囲はＸ＝ＬＬ〜ＬＬ＋１０、第４
番目のΣの範囲はＸ＝ＲＲ−１０〜ＲＲである。
【０１０４】Ｋ＝（ΣＳＵＭ＋ΣＳＵＭ）／２０−（Σ
ＳＵＭ＋ΣＳＵＭ）／２０ ・・・式５
【０１０５】図３２に示すように、目の開閉に伴い、Ｙ
方向ヒストグラムの形状が変化する。その結果、図３３
に示すように、閉眼時は評価関数の値Ｋが低い値を示し
ている。このことから、しきい値をＫＢに設定し、目の
開閉判定を行うことが可能である。
【０１０６】また、ここでは両目の外側端部に対応する
所定範囲のＹ方向ヒストグラムの平均値を用いたが、両
目の内側端部に対応する所定範囲の場合も同様の効果が
ある。
【０１０７】実施の形態１７．この発明の実施の形態１
７について図３４及び図３５を参照しながら説明する。
図３４は、この実施の形態１７の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた両目の目存在領域８の２値画像と、各２値画
像の上部境界線の座標を用いた形状関数（上部境界線形
状関数）とを表している。
【０１０８】図３５は、図３４の上部境界線形状関数を
基に算出した評価関数の値Ｋの変化を表している。
【０１０９】この実施の形態１７の方法でも、上記実施
の形態１６と同様に、目の開閉に伴い、上部境界線形状
関数が変化し、目の開閉判定を行うことが可能である。
【０１１０】実施の形態１８．この発明の実施の形態１
８について図３６及び図３７を参照しながら説明する。
図３６は、この実施の形態１８の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた両目の目存在領域８の２値画像と、各２値画
像のＹ方向中心線の形状を用いた形状関数（Ｙ方向中心
線形状関数）とを表している。
【０１１１】図３７は、図３６のＹ方向中心線形状関数
を基に算出した評価関数の値Ｋの変化を表している。
【０１１２】この実施の形態１８の方法でも、上記実施
の形態１６と同様に、目の開閉に伴い、Ｙ方向中心線形
状関数が変化し、目の開閉判定を行うことが可能であ
る。
【０１１３】実施の形態１９．この発明の実施の形態１
９について図３８及び図３９を参照しながら説明する。
図３８は、この実施の形態１９の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ）と、上記時間の推移に応じた目の目存在領
域８の２値画像と、各２値画像の１次の形状関数である
Ｙ方向ヒストグラムと、上記１次の形状関数を基に算出
した２次の形状関数である、Ｙ方向ヒストグラムの値
（ＳＵＮ）の度数分布Ａを表す曲線（度数分布曲線）と
を表している。
【０１１４】図３９は、図３８の度数分布曲線を基に算
出した評価関数の値Ｋの変化を表している。
【０１１５】この実施の形態１９では、下記の式６に示
す、度数分布曲線の累積度数の最大値をＭＡＸ、このと
きのＪをＰＯＳとして評価関数の値Ｋを求める。
【０１１６】 Ｋ＝ＭＡＸ／Σ｛Ａ(POS-J)｝ ・・・ 式６
【０１１７】図３８に示すように、目の開閉に伴い、度
数分布曲線の形状が変化する。その結果、図３９に示す
ように、閉眼時は評価関数の値Ｋが高い値を示してい
る。このことから、しきい値をＫＢに設定し、目の開閉
判定を行うことが可能である。
【０１１８】実施の形態２０．この発明の実施の形態２
０について図４０及び図４１を参照しながら説明する。
図４０は、この実施の形態２０の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ）と、上記時間の推移に応じた目の目存在領
域８の２値画像と、各２値画像の上部境界線の座標を用
いた１次の形状関数（上部境界線形状関数）と、上記１
次の形状関数を基に算出した２次の形状関数である、上
部境界線形状関数の値（ＵＦ）の度数分布Ａを表す曲線
（度数分布曲線）とを表している。
【０１１９】図４１は、図４０の度数分布曲線を基に算
出した評価関数の値Ｋの変化を表している。
【０１２０】この実施の形態２０の方法でも、上記実施
の形態１９と同様に、目の開閉に伴い、度数分布曲線の
形状が変化し、目の開閉判定を行うことが可能である。
【０１２１】実施の形態２１．この発明の実施の形態２
１について図４２及び図４３を参照しながら説明する。
図４２は、この実施の形態２１の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ）と、上記時間の推移に応じた目の目存在領
域８の２値画像と、各２値画像のＹ方向中心線の形状を
用いた１次の形状関数（Ｙ方向中心線形状関数）と、上
記１次の形状関数を基に算出した２次の形状関数であ
る、Ｙ方向中心線形状関数の値（ＣＦ）の度数分布Ａを
表す曲線（度数分布曲線）とを表している。
【０１２２】図４３は、図４２の度数分布曲線を基に算
出した評価関数の値Ｋの変化を表している。
【０１２３】この実施の形態２１の方法でも、上記実施
の形態１９と同様に、目の開閉に伴い、度数分布曲線の
形状が変化し、目の開閉判定を行うことが可能である。
【０１２４】実施の形態２２．この発明の実施の形態２
２について図４４及び図４５を参照しながら説明する。
図４４は、この実施の形態２２の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ）と、上記時間の推移に応じた目の目存在領
域８の２値画像と、各２値画像のＹ方向ヒストグラム
（１次の形状関数）と、この１次の形状関数の円弧形状
を基にスポークフィルターを用いて求めた円の中心（２
次の形状関数）とを表している。
【０１２５】図４５は、図４４のＹ方向ヒストグラムを
基に算出した評価関数の値Ｋの変化を表している。
【０１２６】この実施の形態２２で示す中心部は、上記
形状関数の円弧形状を基にスポークフィルターを用いて
求めた円の中心であり、上記１次の形状関数の最大値と
この中心の縦方向の座標の差が評価関数の値Ｋとなる。
【０１２７】図４４に示すように、目の開閉に伴い、Ｙ
方向ヒストグラムの形状が変化する。その結果、図４５
に示すように、閉眼時は評価関数の値Ｋが高い値を示し
ている。このことから、しきい値をＫＢに設定し、目の
開閉判定を行うことが可能である。
【０１２８】実施の形態２３．この発明の実施の形態２
３について図４６を参照しながら説明する。図４６は、
この実施の形態２３の目の開閉判定方法を示す説明図で
ある。この図は、時間の推移（開眼時ＴＡ、閉眼時Ｔ
Ｃ）と、上記時間の推移に応じた目の目存在領域８の２
値画像と、各２値画像の上部境界線の座標を用いた１次
の形状関数（上部境界線形状関数）と、この１次の形状
関数の円弧形状を基にスポークフィルターを用いて求め
た円の中心（２次の形状関数）とを表している。
【０１２９】この実施の形態２３の方法でも、上記実施
の形態２２と同様に、目の開閉に伴い、上記形状関数が
変化する。その結果、閉眼時は評価関数の値Ｋが高い値
を示し、極端には図示のごとく閉眼時に凹凸の逆転によ
り縦方向下方に中心が無い発散状態を示すことから目の
開閉判定を行うことが可能である。
【０１３０】実施の形態２４．この発明の実施の形態２
４について図４７を参照しながら説明する。図４７は、
この実施の形態２４の目の開閉判定方法を示す説明図で
ある。この図は、時間の推移（開眼時ＴＡ、閉眼時Ｔ
Ｃ）と、上記時間の推移に応じた目の目存在領域８の２
値画像と、各２値画像のＹ方向中心線の形状を用いた１
次の形状関数（Ｙ方向中心線形状関数）と、この１次の
形状関数の円弧形状を基にスポークフィルターを用いて
求めた円の中心（２次の形状関数）とを表している。
【０１３１】この実施の形態２４の方法でも、上記実施
の形態２２と同様に、目の開閉に伴い、上記形状関数が
変化し、目の開閉判定を行うことが可能である。
【０１３２】実施の形態２５．この発明の実施の形態２
５について図４８及び図４９を参照しながら説明する。
図４８は、この実施の形態２５の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目の目存在領域８の２値画像と、各２値画像
の上部境界線の座標を用いた第１の形状関数（上部境界
線形状関数）と、各２値画像のＸ方向ヒストグラム（第
２の形状関数）とを表している。
【０１３３】図４９は、図４８の上記第１の形状関数と
第２の形状関数であるＸ方向ヒストグラムのピークを示
すＹ座標を基に算出した評価関数の値Ｋの変化を表して
いる。
【０１３４】この実施の形態２５では、下記の式７で示
す、目の中心部所定範囲（Ｃ−２０〜Ｃ＋２０）での上
部境界線の座標ＵＦとＸ方向ヒストグラムのピークのＹ
座標ＰＯＳとの差の合計が評価関数の値Ｋとなる。な
お、式７中のΣの範囲は、Ｘ＝Ｃ−２０〜Ｃ＋２０であ
る。
【０１３５】Ｋ＝Σ（ＵＦ−ＰＯＳ） ・・・ 式７
【０１３６】図４８に示すように、目の開閉に伴い、上
記第１の形状関数及びＸ方向ヒストグラムの形状が変化
する。その結果、図４９に示すように、閉眼時は評価関
数の値Ｋが低い値を示している。このことから、しきい
値をＫＢに設定し、目の開閉判定を行うことが可能であ
る。
【０１３７】実施の形態２６．この発明の実施の形態２
６について図５０及び図５１を参照しながら説明する。
図５０は、この実施の形態２６の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目の目存在領域８の２値画像と、各２値画像
のＹ方向中心線の形状を用いた第１の形状関数（Ｙ方向
中心線形状関数）と、各２値画像のＸ方向ヒストグラム
（第２の形状関数）とを表している。
【０１３８】図５１は、図５０の上記第１の形状関数と
Ｘ方向ヒストグラムのピークを示すＹ座標を基に算出し
た評価関数の値Ｋの変化を表している。
【０１３９】この実施の形態２６の方法でも、上記実施
の形態２５と同様に、目の開閉に伴い、上記第１の形状
関数及びＸ方向ヒストグラムの形状が変化し、目の開閉
判定を行うことが可能である。
【０１４０】実施の形態２７．この発明の実施の形態２
７について図５２及び図５３を参照しながら説明する。
図５２は、この実施の形態２７の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目の目存在領域８の２値画像と、各２値画像
の目画像の座標（１次の形状関数）と、上記目画像の２
つの重心を結ぶ直線（２次の形状関数）とを表してい
る。
【０１４１】図５３は、図５２の上記形状関数を基に算
出した評価関数の値Ｋの変化を表している。
【０１４２】図５２中の＋印は目の中心部所定範囲（Ｃ
−５〜Ｃ＋５）の重心（ＸＣ，ＹＣ）、及び左端部所定
範囲（Ｌ〜Ｌ＋１０）での重心（ＸＬ，ＹＬ）を示して
おり、重心は各領域内での黒色画素の座標の平均値であ
り、例えば重心（ＸＣ，ＹＣ）は中心部所定範囲内の黒
色画素総数Ｎを用いて下記の式８で表せる。
【０１４３】 （ＸＣ，ＹＣ）＝（ΣＸ／Ｎ，ΣＹ／Ｎ） ・・・ 式８
【０１４４】この実施の形態２７では、下記の式９で示
す、目の中心部所定範囲の重心（ＸＣ，ＹＣ）、及び左
端部所定範囲の重心（ＸＬ，ＹＬ）を結ぶ直線２０の傾
きが評価関数の値Ｋとなる。
【０１４５】 Ｋ＝（ＹＣ−ＹＬ）／（ＸＣ−ＸＬ） ・・・ 式９
【０１４６】図５２に示すように、目の開閉に伴い、上
記第１及び第２の形状関数の形状が変化する。その結
果、図５３に示すように、閉眼時は評価関数の値Ｋが低
い値を示している。このことから、しきい値をＫＢに設
定し、目の開閉判定を行うことが可能である。
【０１４７】また、ここでは目の左端部所定範囲の第１
の形状関数の平均を用いたが、右端部所定範囲の場合も
同様の結果がえられる。
【０１４８】実施の形態２８．この発明の実施の形態２
８について図５４及び図５５を参照しながら説明する。
図５４は、この実施の形態２８の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目の目存在領域８の２値画像と、各２値画像
の目画像の座標（１次の形状関数）と、上記目画像の２
つの重心を結ぶ２本の直線（２次の形状関数）とを表し
ている。
【０１４９】図５５は、図５４の上記形状関数を基に算
出した評価関数の値Ｋの変化を表している。
【０１５０】この実施の形態２８では、下記の式１０で
示す、目の中心部所定範囲（Ｃ−５〜Ｃ＋５）の重心
（ＸＣ，ＹＣ）と左端部所定範囲（Ｌ〜Ｌ＋１０）の重
心（ＸＬ，ＹＬ）を結ぶ直線２０の傾きと、同じく上記
重心（ＸＣ，ＹＣ）と右端部所定範囲（Ｒ−１０〜Ｒ）
の重心（ＸＲ，ＹＲ）を結ぶ直線２０’の傾きの差が評
価関数の値Ｋとなる。
【０１５１】 Ｋ＝（ＹＣ−ＹＬ）／（ＸＣ−ＸＬ）−（ＹＣ−ＹＲ）
／（ＸＣ−ＸＲ） ・・・ 式１０
【０１５２】図５４に示すように、目の開閉に伴い、上
記第１及び第２の形状関数の形状が変化する。その結
果、図５５に示すように、閉眼時は評価関数の値Ｋが低
い値を示している。このことから、しきい値をＫＢに設
定し、目の開閉判定を行うことが可能である。
【０１５３】実施の形態２９．この発明の実施の形態２
９について図５６及び図５７を参照しながら説明する。
図５６は、この実施の形態２９の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた両目の目存在領域８の２値画像と、各２値画
像の目画像の座標（１次の形状関数）と、上記目画像の
２つの重心を結ぶ両目の２本の直線（２次の形状関数）
とを表している。
【０１５４】図５７は、図５６の上記第１及び第２の形
状関数を基に算出した評価関数の値Ｋの変化を表してい
る。
【０１５５】この実施の形態２９では、下記の式１１で
示す、左目の中心部所定範囲（ＬＣ−５〜ＬＣ＋５）の
重心（ＸＣＬ，ＹＣＬ）と左端部所定範囲（ＬＬ〜ＬＬ
＋１０）の重心（ＸＬＬ，ＹＬＬ）を結ぶ直線２０の傾
きと、右目の中心部所定範囲（ＲＣ−５〜ＲＣ＋５）の
重心（ＸＣＲ，ＹＣＲ）と右端部所定範囲（ＲＲ−１０
〜ＲＲ）の重心（ＸＲＲ，ＹＲＲ）を結ぶ直線２０”の
傾きとの差が評価関数の値Ｋとなる。
【０１５６】 Ｋ＝(ＹＣＬ−ＹＬＬ)／(ＸＣＬ−ＸＬＬ)−(ＹＣＲ−
ＹＲＲ)／(ＸＣＲ−ＸＲＲ) ・・・ 式１１
【０１５７】図５６に示すように、目の開閉に伴い、上
記第１及び第２の形状関数の形状が変化する。その結
果、図５７に示すように、閉眼時は評価関数の値Ｋが低
い値を示している。このことから、しきい値をＫＢに設
定し、目の開閉判定を行うことが可能である。
【０１５８】また、ここでは両目の外側端部に対応する
所定範囲での重心を用いたが、両目の内側端部に対応す
る所定範囲の重心を用いた場合も同様の効果がある。
【０１５９】実施の形態３０．この発明の実施の形態３
０について図５８及び図５９を参照しながら説明する。
図５８は、この実施の形態３０の目の開閉判定方法を示
す説明図である。この図は、時間の推移（開眼時ＴＡ、
閉眼時ＴＣ、それらの間の時点ＴＢ）と、上記時間の推
移に応じた目の目存在領域８の２値画像と、各２値画像
のＸ方向ヒストグラム（形状関数）とを表している。こ
のＸ方向ヒストグラムは、目存在領域８をＸ方向に走査
し、各Ｘ座標の黒色画素数をカウントしたもの（ＳＵＭ
Ｘ）である。
【０１６０】図５９は、図５８の上記Ｘ方向ヒストグラ
ムを基に算出した評価関数の値Ｋの変化を表している。
【０１６１】この実施の形態３０では、下記の式１２で
示すように、Ｘ方向ヒストグラムのピークのＹ座標ＰＯ
Ｓ及びＹ方向上端部Ｕ、下端部Ｄを検出し、これらの位
置関係から評価関数の値Ｋを求める。
【０１６２】 Ｋ＝（Ｕ−ＰＯＳ）／（ＰＯＳ−Ｄ） ・・・ 式１２
【０１６３】図５８に示すように、目の開閉に伴い、Ｘ
方向ヒストグラムの形状が変化する。その結果、図５９
に示すように、閉眼時は評価関数の値Ｋが低い値を示し
ている。このことから、しきい値をＫＢに設定し、目の
開閉判定を行うことが可能である。
【０１６４】実施の形態３１．この発明の実施の形態３
１について図６０及び図６１を参照しながら説明する。
図６０は、この実施の形態３１の構成を示す図である。
また、図６１は、この実施の形態３１に係る顔の２値画
像から目の候補存在領域を抽出する方法を説明するため
の図である。
【０１６５】図６０において、この実施の形態３１は、
カメラ１１と、画像入力手段１２と、２値化手段１３
と、評価関数算出手段１５Ａと、目抽出手段１４Ａとを
備える。
【０１６６】この実施の形態３１は、２値化処理を行う
時点までは上記実施の形態１と同様だが、評価関数算出
手段１５Ａは、まず、顔の２値画像３０の黒色画素の座
標平均から重心３１を求める。次に、この重心３１のＸ
方向左右所定範囲の長方形領域を目存在領域３２と設定
する。そして、この目存在領域３２内でＸ方向ヒストグ
ラム３３（３３ａ、３３ｂ）を作成し、これを基にＸ方
向帯状領域を設定する。さらに、この帯状領域内でＹ方
向ヒストグラム３４（３４ａ、３４ｂ）を作成し、これ
を基に斜線部で示す目の候補存在領域３５（３５ａ、３
５ｂ）を抽出する。
【０１６７】ここで全ての目の候補存在領域３５につい
て評価関数選出手段５により上記各実施の形態のいずれ
かの評価関数を算出し、この値をメモリに記録する。こ
こで目は瞬きにより形状が変化し評価関数の値Ｋにも変
化が生じるのに対し、眉や眼鏡のフレーム等の形状には
時間的な変化はなく評価関数の値Ｋの変化はわずかであ
る。そこで、目抽出手段１４Ａにおいてそれぞれの評価
関数の値Ｋの時間的変化を調べ、評価関数の値Ｋ及び変
化量により目と眉や眼鏡のフレーム等との識別を行い目
の抽出判定を行う。
【０１６８】実施の形態３２．この発明の実施の形態３
２について図６２を参照しながら説明する。図６２は、
この実施の形態３２の構成を示す図である。上記実施の
形態１及び実施の形態３１の両方を組み合わせたもので
ある。全ての目の候補存在領域３５について評価関数選
出手段１５Ａにより上記各実施の形態のいずれかの評価
関数を算出し、この値をメモリに記録する。ここで目は
瞬きにより形状が変化し評価関数の値Ｋにも変化が生じ
るのに対し、眉や眼鏡のフレーム等の形状には時間的な
変化はなく評価関数の値Ｋの変化はわずかである。そこ
で、目抽出（開閉判定）手段１４Ｂにおいて、それぞれ
の評価関数の値Ｋの時間的変化を調べ、評価関数の値Ｋ
及び変化量により目と眉や眼鏡のフレーム等との識別を
行い目の抽出判定を行うと同時に、時間的に変化する評
価関数の値Ｋからしきい値を決定し、目の開閉判定を行
う。
【０１６９】上記各実施の形態は、閉眼に伴う形状の変
化に着目することにより、まつげ等により閉眼時のＹ方
向の連続黒色画素数に変化が無い場合や、顔の上下方向
の向きや左右の傾きの変化によって連続的にＹ方向の連
続黒色画素数に変化が生じた場合でも、精度よく目の開
閉判定を行うことが可能である。さらに、上記各実施の
形態の説明では、車に利用することについて述べている
が、列車、モノレール、航空機、船舶などのあらゆる乗
物等にも利用できる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の構成を示す図であ
る。
【図２】 この発明の実施の形態１の目の開閉検出方法
を説明するための図である。
【図３】 この発明の実施の形態１の評価関数の時間推
移を示す図である。
【図４】 この発明の実施の形態２の目の開閉検出方法
を説明するための図である。
【図５】 この発明の実施の形態２の評価関数の時間推
移を示す図である。
【図６】 この発明の実施の形態３の目の開閉検出方法
を説明するための図である。
【図７】 この発明の実施の形態３の評価関数の時間推
移を示す図である。
【図８】 この発明の実施の形態４の目の開閉検出方法
を説明するための図である。
【図９】 この発明の実施の形態４の評価関数の時間推
移を示す図である。
【図１０】 この発明の実施の形態５の目の開閉検出方
法を説明するための図である。
【図１１】 この発明の実施の形態５の評価関数の時間
推移を示す図である。
【図１２】 この発明の実施の形態６の目の開閉検出方
法を説明するための図である。
【図１３】 この発明の実施の形態６の評価関数の時間
推移を示す図である。
【図１４】 この発明の実施の形態７の目の開閉検出方
法を説明するための図である。
【図１５】 この発明の実施の形態７の評価関数の時間
推移を示す図である。
【図１６】 この発明の実施の形態８の目の開閉検出方
法を説明するための図である。
【図１７】 この発明の実施の形態８の評価関数の時間
推移を示す図である。
【図１８】 この発明の実施の形態９の目の開閉検出方
法を説明するための図である。
【図１９】 この発明の実施の形態９の評価関数の時間
推移を示す図である。
【図２０】 この発明の実施の形態１０の目の開閉検出
方法を説明するための図である。
【図２１】 この発明の実施の形態１０の評価関数の時
間推移を示す図である。
【図２２】 この発明の実施の形態１１の目の開閉検出
方法を説明するための図である。
【図２３】 この発明の実施の形態１１の評価関数の時
間推移を示す図である。
【図２４】 この発明の実施の形態１２の目の開閉検出
方法を説明するための図である。
【図２５】 この発明の実施の形態１２の評価関数の時
間推移を示す図である。
【図２６】 この発明の実施の形態１３の目の開閉検出
方法を説明するための図である。
【図２７】 この発明の実施の形態１３の評価関数の時
間推移を示す図である。
【図２８】 この発明の実施の形態１４の目の開閉検出
方法を説明するための図である。
【図２９】 この発明の実施の形態１４の評価関数の時
間推移を示す図である。
【図３０】 この発明の実施の形態１５の目の開閉検出
方法を説明するための図である。
【図３１】 この発明の実施の形態１５の評価関数の時
間推移を示す図である。
【図３２】 この発明の実施の形態１６の目の開閉検出
方法を説明するための図である。
【図３３】 この発明の実施の形態１６の評価関数の時
間推移を示す図である。
【図３４】 この発明の実施の形態１７の目の開閉検出
方法を説明するための図である。
【図３５】 この発明の実施の形態１７の評価関数の時
間推移を示す図である。
【図３６】 この発明の実施の形態１８の目の開閉検出
方法を説明するための図である。
【図３７】 この発明の実施の形態１８の評価関数の時
間推移を示す図である。
【図３８】 この発明の実施の形態１９の目の開閉検出
方法を説明するための図である。
【図３９】 この発明の実施の形態１９の評価関数の時
間推移を示す図である。
【図４０】 この発明の実施の形態２０の目の開閉検出
方法を説明するための図である。
【図４１】 この発明の実施の形態２０の評価関数の時
間推移を示す図である。
【図４２】 この発明の実施の形態２１の目の開閉検出
方法を説明するための図である。
【図４３】 この発明の実施の形態２１の評価関数の時
間推移を示す図である。
【図４４】 この発明の実施の形態２２の目の開閉検出
方法を説明するための図である。
【図４５】 この発明の実施の形態２２の評価関数の時
間推移を示す図である。
【図４６】 この発明の実施の形態２３の目の開閉検出
方法を説明するための図である。
【図４７】 この発明の実施の形態２４の目の開閉検出
方法を説明するための図である。
【図４８】 この発明の実施の形態２５の目の開閉検出
方法を説明するための図である。
【図４９】 この発明の実施の形態２５の評価関数の時
間推移を示す図である。
【図５０】 この発明の実施の形態２６の目の開閉検出
方法を説明するための図である。
【図５１】 この発明の実施の形態２６の評価関数の時
間推移を示す図である。
【図５２】 この発明の実施の形態２７の目の開閉検出
方法を説明するための図である。
【図５３】 この発明の実施の形態２７の評価関数の時
間推移を示す図である。
【図５４】 この発明の実施の形態２８の目の開閉検出
方法を説明するための図である。
【図５５】 この発明の実施の形態２８の評価関数の時
間推移を示す図である。
【図５６】 この発明の実施の形態２９の目の開閉検出
方法を説明するための図である。
【図５７】 この発明の実施の形態２９の評価関数の時
間推移を示す図である。
【図５８】 この発明の実施の形態３０の目の開閉検出
方法を説明するための図である。
【図５９】 この発明の実施の形態３０の評価関数の時
間推移を示す図である。
【図６０】 この発明の実施の形態３１の構成を示す図
である。
【図６１】 この発明の実施の形態３１の目の候補存在
領域を抽出する方法を説明するための図である。
【図６２】 この発明の実施の形態３２の構成を示す図
である。
【図６３】 従来の運転者の状態検出装置の構成を示す
図である。
【図６４】 従来例の目の開閉検出方法を説明するため
の図である。
【図６５】 従来例の目の開閉検出方法の問題点を説明
するための図である。
【符号の説明】
１１ カメラ、１２ 画像入力手段、１３ ２値化手
段、１４、１４Ａ 目抽出手段、１４Ｂ 目抽出（開閉
判定）手段、１５、１５Ａ 評価関数算出手段、１６
開閉判定手段、８ 目存在領域。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０

Claims (25)

    【特許請求の範囲】
  1. 【請求項１】 顔画像を撮像するカメラと、前記カメラ
    からの映像信号を入力する画像入力手段と、前記画像入
    力手段からの顔画像を２値化する２値化手段と、前記２
    値化された顔画像から目を含む目存在領域を抽出する目
    抽出手段と、前記目存在領域より目の特徴を示す形状関
    数を算出し、この形状関数に基づいて評価関数を算出す
    る評価関数算出手段と、前記評価関数に基づいて目の開
    閉判定を行う開閉判定手段とを備えた顔画像処理装置。
  2. 【請求項２】 顔画像を撮像するカメラと、前記カメラ
    からの映像信号を入力する画像入力手段と、前記画像入
    力手段からの顔画像を２値化する２値化手段と、前記２
    値化された顔画像から目抽出領域を抽出し、前記目抽出
    領域より目の候補存在領域の目の特徴を示す形状関数を
    算出し、この形状関数に基づいて評価関数を算出する評
    価関数算出手段と、前記評価関数に基づいて目を含む目
    存在領域を抽出する目抽出手段とを備えた顔画像処理装
    置。
  3. 【請求項３】 顔画像を撮像するカメラと、前記カメラ
    からの映像信号を入力する画像入力手段と、前記画像入
    力手段からの顔画像を２値化する２値化手段と、前記２
    値化された顔画像から目抽出領域を抽出し、前記目抽出
    領域より目の候補存在領域の目の特徴を示す形状関数を
    算出し、この形状関数に基づいて評価関数を算出する評
    価関数算出手段と、前記評価関数に基づいて目を含む目
    存在領域を抽出するとともに目の開閉判定を行う目抽出
    開閉判定手段とを備えた顔画像処理装置。
  4. 【請求項４】 前記評価関数算出手段は、前記形状関数
    を直線に近似し、この近似直線の傾きに基づいて評価関
    数を算出する請求項１から請求項３までのいずれかに記
    載の顔画像処理装置。
  5. 【請求項５】 前記評価関数算出手段は、前記形状関数
    の端部所定範囲の形状を最小二乗法により直線に近似
    し、この近似直線の傾きに基づいて評価関数を算出する
    請求項４記載の顔画像処理装置。
  6. 【請求項６】 前記評価関数算出手段は、前記形状関数
    の端部所定範囲及び前記形状関数の全体の形状を最小二
    乗法により直線に近似し、これらの近似直線の傾きに基
    づいて評価関数を算出する請求項４記載の顔画像処理装
    置。
  7. 【請求項７】 前記評価関数算出手段は、前記形状関数
    の両端部所定範囲の形状を最小二乗法により直線に近似
    し、これらの近似直線の傾きに基づいて評価関数を算出
    する請求項４記載の顔画像処理装置。
  8. 【請求項８】 前記評価関数算出手段は、前記形状関数
    の両端部所定範囲及び前記形状関数の全体の形状を最小
    二乗法により直線に近似し、これらの近似直線で囲まれ
    る形に基づいて評価関数を算出する請求項４記載の顔画
    像処理装置。
  9. 【請求項９】 前記評価関数算出手段は、両目の形状関
    数のそれぞれの端部所定範囲の形状を最小二乗法により
    直線に近似し、これらの近似直線の傾きに基づいて評価
    関数を算出する請求項４記載の顔画像処理装置。
  10. 【請求項１０】 前記評価関数算出手段は、前記形状関
    数の２箇所の平均値を求め、これらの平均値の差に基づ
    いて評価関数を算出する請求項１から請求項３までのい
    ずれかに記載の顔画像処理装置。
  11. 【請求項１１】 前記評価関数算出手段は、前記形状関
    数の中心部及び端部所定範囲の平均値の差に基づいて評
    価関数を算出する請求項１０記載の顔画像処理装置。
  12. 【請求項１２】 前記評価関数算出手段は、前記形状関
    数の中心部及び両端部所定範囲の平均値の差に基づいて
    評価関数を算出する請求項１０記載の顔画像処理装置。
  13. 【請求項１３】 前記評価関数算出手段は、両目の前記
    形状関数の中心部及び端部所定範囲の平均値の差に基づ
    いて評価関数を算出する請求項１０記載の顔画像処理装
    置。
  14. 【請求項１４】 前記評価関数算出手段は、前記形状関
    数の値の度数分布曲線を求め、この度数分布曲線に基づ
    いて評価関数を算出する請求項１から請求項３までのい
    ずれかに記載の顔画像処理装置。
  15. 【請求項１５】 前記評価関数算出手段は、スポークフ
    ィルターを用いて前記形状関数の円弧形状中心位置を検
    出し、この円弧形状中心位置に基づいて評価関数を算出
    する請求項１から請求項３までのいずれかに記載の顔画
    像処理装置。
  16. 【請求項１６】 前記評価関数手段は、前記形状関数の
    中心部所定範囲の平均値と前記目存在領域のＸ方向ヒス
    トグラムのピークのＹ座標との差に基づいて評価関数を
    算出する請求項１から請求項３までのいずれかに記載の
    顔画像処理装置。
  17. 【請求項１７】 前記形状関数は、前記目存在領域の２
    値画像のＹ方向ヒストグラムである請求項４から請求項
    １５までのいずれかに記載の顔画像処理装置。
  18. 【請求項１８】 前記形状関数は、前記目存在領域の２
    値画像の上部境界線である請求項４から請求項１６まで
    のいずれかに記載の顔画像処理装置。
  19. 【請求項１９】 前記形状関数は、前記目存在領域の２
    値画像のＹ方向中心線である請求項４から請求項１６ま
    でのいずれかに記載の顔画像処理装置。
  20. 【請求項２０】 前記評価関数算出手段は、前記形状関
    数から複数の重心を求めてそれらの重心を結ぶ直線を求
    め、この直線の傾きに基づいて評価関数を算出する請求
    項１から請求項３までのいずれかに記載の顔画像処理装
    置。
  21. 【請求項２１】 前記評価関数算出手段は、前記形状関
    数のＸ方向端部及び中心部所定範囲の重心を求め、これ
    らの重心を結ぶ直線の傾きに基づいて評価関数を算出す
    る請求項２０記載の顔画像処理装置。
  22. 【請求項２２】 前記評価関数算出手段は、前記形状関
    数のＸ方向両端部及び中心部所定範囲の重心を求め、こ
    れらの重心を結ぶ複数の直線の傾きに基づいて評価関数
    を算出する請求項２０記載の顔画像処理装置。
  23. 【請求項２３】 前記評価関数算出手段は、両目の前記
    形状関数のＸ方向端部及び中心部所定範囲の重心を求
    め、これらの重心を結ぶ複数の直線の傾きに基づいて評
    価関数を算出する請求項２０記載の顔画像処理装置。
  24. 【請求項２４】 前記形状関数は、前記目存在領域の目
    画像の座標である請求項２０から請求項２３までのいず
    れかに記載の顔画像処理装置。
  25. 【請求項２５】 前記評価関数算出手段は、前記目存在
    領域の２値画像のＸ方向ヒストグラムを形状関数とし、
    この形状関数のピーク及び両端点のＹ座標を求め、これ
    らの値に基づいて評価関数を算出する請求項１から請求
    項３までのいずれかに記載の顔画像処理装置。
JP19364795A 1995-07-28 1995-07-28 顔画像処理装置 Expired - Fee Related JP3426060B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP19364795A JP3426060B2 (ja) 1995-07-28 1995-07-28 顔画像処理装置
US08/612,815 US5805720A (en) 1995-07-28 1996-03-11 Facial image processing system
DE19614975A DE19614975C2 (de) 1995-07-28 1996-04-16 Gesichtsbildverarbeitungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19364795A JP3426060B2 (ja) 1995-07-28 1995-07-28 顔画像処理装置

Publications (2)

Publication Number Publication Date
JPH0944684A true JPH0944684A (ja) 1997-02-14
JP3426060B2 JP3426060B2 (ja) 2003-07-14

Family

ID=16311429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19364795A Expired - Fee Related JP3426060B2 (ja) 1995-07-28 1995-07-28 顔画像処理装置

Country Status (3)

Country Link
US (1) US5805720A (ja)
JP (1) JP3426060B2 (ja)
DE (1) DE19614975C2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571002B1 (en) 1999-05-13 2003-05-27 Mitsubishi Denki Kabushiki Kaisha Eye open/close detection through correlation
JP2004030006A (ja) * 2002-06-24 2004-01-29 Digital Fashion Ltd 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
JP2008226106A (ja) * 2007-03-15 2008-09-25 Aisin Seiki Co Ltd 眼開閉判別装置及びプログラム

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
JP3695990B2 (ja) * 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
CN1144166C (zh) * 1999-06-17 2004-03-31 现代自动车株式会社 瞌睡驾驶警告系统的驾驶员瞌睡检测方法
US6728401B1 (en) 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US20020180608A1 (en) 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
AU2003284186A1 (en) * 2002-10-28 2004-05-25 Morris Steffin Method and apparatus for detection of drownsiness and for monitoring biological processes
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US20050140801A1 (en) * 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
US20080080744A1 (en) * 2004-09-17 2008-04-03 Mitsubishi Electric Corporation Face Identification Apparatus and Face Identification Method
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
US7253739B2 (en) 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US7253738B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method of detecting eye closure based on edge lines
US7746235B2 (en) * 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
EP1987475A4 (en) 2006-02-14 2009-04-22 Fotonation Vision Ltd AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
WO2008023280A2 (en) 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7995804B2 (en) 2007-03-05 2011-08-09 Tessera Technologies Ireland Limited Red eye false positive filtering using face location and orientation
JP4309928B2 (ja) * 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
DE102008007152B4 (de) 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
CN101388070B (zh) * 2007-09-14 2011-11-30 鸿富锦精密工业（深圳）有限公司 选择最佳时机捕获影像的系统及方法
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
JP5055166B2 (ja) * 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
CN101616500B (zh) * 2008-06-23 2012-08-22 深圳富泰宏精密工业有限公司 移动设备及其密码设置方法
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
DE112011105439B4 (de) * 2011-07-11 2021-06-17 Toyota Jidosha Kabushiki Kaisha Rote-Augen-Erfassungsvorrichtung
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
DE102012208822A1 (de) * 2012-05-25 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US9335819B1 (en) * 2014-06-26 2016-05-10 Audible, Inc. Automatic creation of sleep bookmarks in content items
EP3177204A1 (en) 2014-09-09 2017-06-14 Torvec, Inc. Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CA3014812A1 (en) 2016-02-18 2017-08-24 Curaegis Technologies, Inc. Alertness prediction system and method
CN107977622B (zh) * 2017-11-30 2021-10-26 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN112622876B (zh) * 2021-03-09 2021-05-14 天津所托瑞安汽车科技有限公司 车辆质心位置确定方法、装置、设备和存储介质
DE102021123849A1 (de) 2021-09-15 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541688B2 (ja) * 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JP2822799B2 (ja) * 1992-07-18 1998-11-11 日産自動車株式会社 運転者の状態検出装置
JPH06308918A (ja) * 1993-04-21 1994-11-04 Fujitsu Ltd 画面表示制御方法及び画面表示制御装置
JP3214195B2 (ja) * 1993-11-11 2001-10-02 三菱電機株式会社 運転者撮影装置
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5422690A (en) * 1994-03-16 1995-06-06 Pulse Medical Instruments, Inc. Fitness impairment tester
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571002B1 (en) 1999-05-13 2003-05-27 Mitsubishi Denki Kabushiki Kaisha Eye open/close detection through correlation
JP2004030006A (ja) * 2002-06-24 2004-01-29 Digital Fashion Ltd 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
JP2008226106A (ja) * 2007-03-15 2008-09-25 Aisin Seiki Co Ltd 眼開閉判別装置及びプログラム

Also Published As

Publication number Publication date
JP3426060B2 (ja) 2003-07-14
DE19614975C2 (de) 2000-01-13
DE19614975A1 (de) 1997-01-30
US5805720A (en) 1998-09-08

Similar Documents

Publication Publication Date Title
JP3426060B2 (ja) 顔画像処理装置
US7376250B2 (en) Apparatus, method and program for moving object detection
US6332038B1 (en) Image processing device
EP1725975B1 (en) Method, apparatus and program for detecting an object
JP3350296B2 (ja) 顔画像処理装置
JP3987048B2 (ja) 車両周辺監視装置
JP4104867B2 (ja) ナイトビジョンシステム
KR0158038B1 (ko) 개인식별장치
JP4060159B2 (ja) 車両周辺監視装置
US20050063582A1 (en) Method and apparatus for image-based photorealistic 3D face modeling
EP1510973A2 (en) Method and apparatus for image-based photorealistic 3D face modeling
KR20010103631A (ko) 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법
CN104915642B (zh) 前方车辆测距方法及装置
CN116052152A (zh) 一种基于轮廓检测和深度神经网络的车牌识别系统
JP4107087B2 (ja) 開閉眼判定装置
JP2005011097A (ja) 顔有無判定装置及び顔有無判定プログラム
KR100543706B1 (ko) 비젼기반 사람 검출방법 및 장치
JP3319408B2 (ja) 顔の特徴抽出装置
CN103093204B (zh) 行为监测方法及装置
JPH07311833A (ja) 人物の顔の検出装置
JPH1049662A (ja) 車輌判別装置
JP3414331B2 (ja) 眼の位置検出装置
JPH1166490A (ja) 車両検出方法
CN108629226A (zh) 一种基于图像分层技术的车辆检测方法及系统
JPH09128548A (ja) 車両検出方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080509

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090509

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100509

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100509

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees