JP3600755B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP3600755B2 JP3600755B2 JP13304999A JP13304999A JP3600755B2 JP 3600755 B2 JP3600755 B2 JP 3600755B2 JP 13304999 A JP13304999 A JP 13304999A JP 13304999 A JP13304999 A JP 13304999A JP 3600755 B2 JP3600755 B2 JP 3600755B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- face image
- inclination
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Description
【０００１】
【発明の属する技術分野】
この発明は、顔の目画像を抽出し、目画像の状態より被撮影者の目の開閉状態を検出する装置に用いる顔画像処理装置に関する。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出して、目の開閉を検出する顔画像処理装置が開発されている。このような従来装置としては、濃度階調画像を２値画像に変換した後、抽出された顔の輪郭の内側での黒色領域より目を抽出し、抽出した目画像の目尻部分の上側形状の傾きを、１次相関をとることにより検出し、その傾きの変化により、目の開閉を判定する特開平９−４４６８４号公報が開示されている。
図１９は、特開平９−４４６８４号公報における運転者の状態検出を示す概略構成図である。
図において、１は運転者を撮影するカメラ、２はカメラ１の濃度階調画像が入力され、Ａ／Ｄ変換してディジタル階調画像とする画像入力手段、３は画像入力手段２の変換したディジタル階調画像を２値化する２値化手段、４は２値化画像の目存在領域を抽出する目抽出手段、５は目存在領域から形状関数を算出し、さらに円弧形状に着目した評価関数を算出する評価関数算出手段、６は評価関数の値から目の開閉判定を行う開閉判定手段である。
図２０は、図１９の動作を説明する図で、画像より抽出した目存在領域の２値画像を用いる目の開閉の判定について説明する。
【０００３】
このように構成された従来の運転者の状態検出においては、まず画像入力手段２において、運転者の顔を撮影したカメラ１からの濃度階調画像が映像信号として入力されて、Ａ／Ｄ変換され、変換されたディジタル階調画像が２値化手段３により、所定の閾値で２値化、即ち黒色画素と白色画素に変換される。次に、目抽出手段４によって目存在領域の抽出が行われる。この目抽出手段４は、例えば２値画像の黒色画素の座標平均から重心を求め、この重心から一番近い黒色画素の塊が存在するＸ方向左右の所定範囲の長方形領域を目存在領域として抽出する。その後、評価関数算出手段５は、目存在領域の２値化された目画像全体の形状、つまり特徴を示す形状関数を算出し、この形状関数から円弧形状に着目した評価関数を算出し、この値をメモリに記録する。そこで開閉判定手段６により、時間的に変化する評価関数の値Ｋから閾値を決定し、目の開閉判定を行う。
【０００４】
次に、形状関数の例を図２０を用いて説明する。
図２０は、時間の推移（開眼時ＴＡ、閉眼時ＴＣ、それらの間の時点ＴＢ）と、時間の推移に応じた目存在領域の２値画像を示したものである。この２値化された目画像の目尻側所定範囲の上側画素を、最小自乗法を用いて直線近似を行うと、図に示したように、開眼時は傾きが大きく、目を閉じるに従って傾きが小さくなる。即ち、所定範囲（ｎ画素）の目尻の上側画素の座標を（ｘｉ，ｙｉ）として、
Ｋ＝（ｎΣｘｙ−ΣｘΣｙ）／（ｎΣｘ２−（Σｘ）２）
で計算される。
また、顔の傾きにつれて目尻の傾きも変化するが、両目尻の傾きの平均を取ることにより、傾きの影響を補償する。即ち、左目の目尻の傾きをＫＬ、右目の目尻の傾きをＫＲとして、
Ｋ＝（ＫＬ＋ＫＲ）／２
なる式で目の開閉が評価され、次に、開閉評価手段６は、開閉判定閾値ＫＢを設定することにより、Ｋの値に基づいて開閉を判定する。
最後に、居眠り判定は、瞬目検出手段により検出した目の開閉状態に基づき、居眠りを判定する。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来装置においては、２値化手段３において、目画像を２値化する際、被撮像者の光環境が急変した場合や、Ａ／Ｄ変換する際のバラツキなどで２値化される目画像が変化する。特にその影響は瞼の線、特に目尻部に顕著な影響を与える。従って、上記に説明したように最小自乗法によって目尻部の傾きを計算すると、これらの要因によって値が変化し、誤検出が生じやすいという問題点があった。
また、被撮像者の光環境が左右で異なると、左右の目の２値化状態もアンバランスとなるため、正確な開閉評価が得られないといった問題点があった。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、目画像２値化手段により被撮影者の目画像の２値化状態が変化する場合でも、安定して目の開閉状態を判定できる顔画像処理装置を得ることを目的としている。
【０００７】
【課題を解決するための手段】
この発明に係わる顔画像処理装置においては、カメラによって撮影された顔画像が入力される画像入力手段、この画像入力手段によって入力された顔画像から２値化された目画像を抽出する目画像抽出手段、この目画像抽出手段によって抽出された目画像を座標回転する座標回転手段、この座標回転手段によって回転された目画像を用いて一次相関を演算する相関演算手段、この相関演算手段の演算によって得られる相関係数に基づき目の開閉を判定する開閉判定手段を備え、座標回転手段による目画像の座標回転は、座標軸に対して目画像を傾斜させるように、目の開眼時と閉眼時で相関係数に差が生じる所定角度でもって行われるものである。
また、目画像抽出手段は、画像入力手段によって入力された顔画像から目領域を特定する目領域判定手段と、目領域中の目画像を２値化する２値化手段とを有するものである。
【０００８】
また、目画像抽出手段によって２値化された目画像の縦幅を、目の開眼時と閉眼時で相関係数の差が大きくなるように拡張する縦幅拡張手段を備えたものである。
さらに、縦幅拡張手段による目画像の縦幅の拡張を、目の開眼時の相関係数によって制御する縦幅拡張制御手段を備えたものである。
【０００９】
また、顔画像の傾きにより、目画像抽出手段によって２値化された目画像に傾きがある場合に、この目画像の傾きを補正する傾き補正手段を備え、座標回転手段は傾き補正手段によって補正された目画像を回転するものである。
また、傾き補正手段は、座標回転手段による目画像の回転後に、目の開眼時と閉眼時で相関係数に差が生じるように補正するものである。
【００１０】
さらにまた、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き補正手段は、傾き推定手段によって推定された顔画像の傾きを用いて、目画像の補正を行うものである。
また、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き推定手段によって推定された顔画像の傾きを用いて、傾き補正手段による目画像の傾きの補正を制限するものである。
【００１１】
加えて、傾き推定手段は、顔画像から抽出された鼻孔画像を用いて傾きを推定するものである。
また、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する鼻孔領域判定手段と、この鼻孔領域判定手段によって特定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段によって行われるものである。
【００１２】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による顔画像処理装置を示す概略構成図である。
図において、１は被撮影者を撮影するカメラ、２はカメラの撮影した画像が入力される画像入力手段で、撮影画像をＡ／Ｄ変換することにより、ディジタル階調画像とする。８は画像中の目領域の特定を行う目領域判定手段、９は目領域中の目画像を２値化する目画像２値化手段で、目領域判定手段８と共に、目画像抽出手段を構成する。１０は２値化された目画像の座標を回転する座標回転手段、１１は座標が回転された目画像から、１次相関の相関係数を演算する相関演算手段、１２は相関係数の時間的変化から目の開閉を判定する開閉判定手段である。
【００１３】
図２は、この発明の実施の形態１による顔画像処理装置の相関係数の特徴を説明する図であり、図２（ａ）はデータがＸ軸と平行な場合、図２（ｂ）は図２（ａ）のデータを座標回転した場合を示している。
図３は、この発明の実施の形態１による顔画像処理装置の目の開閉を相関係数で評価することを説明する概念図であり、図３（ａ）は開眼時と閉眼時の２値化された目画像、図３（ｂ）は座標回転した目画像を示す。
図４は、この発明の実施の形態１による顔画像処理装置の目の開閉を検出する方法を示すタイムチャート図である。
【００１４】
次に、動作について説明する。
カメラ１で撮影された顔画像は従来例で説明したものと同様に、画像入力手段２に入力されてＡ／Ｄ変換されることにより、ディジタル階調画像に変換され、さらに目領域判定手段８により、画像中の目領域の特定が成される。次に、特定された目領域中の目画像が目画像２値化手段９により処理されて、２値化された目画像が得られる。さらに、２値化された目画像は、座標回転手段１０により、その座標が回転され、相関演算手段１１に入力される。相関演算手段１１により演算された１次相関の相関係数は、開閉判定手段１２に入力され、相関係数の時間的変化によって目の開閉が判定される。
【００１５】
次に、相関演算手段１１による１次相関演算によって得られる相関係数の性質について説明する。
相関係数自身は、統計学の参考書等で広く知られているものであり、２変量間の相関の強さを表すものである。即ち、相関が強ければ１、−１に近い値となり、逆に相関が無ければ０になる。言い換えるならば、１次相関演算で相関係数を求めることは、直線性を評価することに等しい。しかしながら、直線性を相関係数を用いて評価する場合、図２（ａ）に示すような問題が生じる。即ち、図に示したように直線がＸ軸と平行である場合、たとえそのデータが直線状であったとしても相関係数は０に近くなり、その直線性が評価できなくなる。この問題は、図２（ｂ）に示すようにデータの座標を回転させＸ−Ｙ座標からＵ−Ｖ座標に変換し、Ｕ−Ｖ座標で相関演算することにより解決できる。即ち、図２（ａ）では相関係数がほとんど０であったものが、図２（ｂ）ではほとんど１になる。なお、図２中に、ｘ−ｙ座標系からｕ−ｖ座標系への変換式と、ｕ−ｖ座標系における相関係数の演算式を示している。図中Ｒの自乗が相関係数である。
【００１６】
次に、相関係数の性質を用いた、目の開閉評価について説明する。
図３（ａ）に、開眼時と閉眼時の２値化された目画像を示す。図に示したように、目画像は通常Ｘ軸に平行であるとともに、画像の直線性は、閉眼時の方が高い。しかしながら、先に説明したように、Ｘ軸と平行な直線は、たとえその直線性が高くとも相関係数を計算すると０に近い値となるため、開眼時と閉眼時とで差はない。そこで、目画像を座標回転手段１０を用いて所定角度回転させ、回転させた画像の相関係数を相関演算手段１１を用いて計算させると、図３（ｂ）に示すよう、開眼時は相関係数が低く、また閉眼時は相関係数が高くなる。この所定角度は４５度が最も適切である。
図４に、まばたきの検出例を示す。図４は、目の開度に応じた相関係数の値の変化と共に、適当な開閉判定閾値を示している。この図に示したように、開閉判定手段１２により開閉判定閾値を越えた場合、閉眼判定をすることにより瞬きの検出、及び閾値を超えた時間を計測することにより、閉眼持続時間の検出が可能となる。なお、この開閉判定閾値の設定は、相関係数の平均的な値や、相関係数をフィルタリングした値、注目時点から所定時間前の値等から個人の特性に合わせて決定されるものである。
さらに、上述では相関係数で説明したが、相関係数の自乗を用いても何ら差し支えはない。
【００１７】
実施の形態２．
図５は、この発明の実施の形態２による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同一のものである。１３は目画像２値化手段９によって２値化された目画像の縦幅を拡張する縦幅拡張手段である。
図６は、この発明の実施の形態２による顔画像処理装置の細い目と大きい目との比較図である。
図７は、この発明の実施の形態２による顔画像処理装置の細い目の人の開閉眼を検出する方法を説明する概略図である。
【００１８】
次に動作について説明する。
図６は、細い目の被撮像者の例と、大きな目の被撮像者の例を示したものであるが、図に示したように、細い目の場合の相関係数は、目形状が直線に近いので、大きな目の被撮像者の例と比較すると、より１に近い値となり、開眼時と閉眼時の変化が小さくなり、まばたきの検出が困難になる。しかし、図７に示すように、目画像の座標を座標回転手段１０に入力する前に、縦幅拡張手段１３に入力して、目画像の個々の画素のＹ座標の値を所定倍することにより、目の縦幅を拡張する。その拡張後、座標回転手段１０に入力して座標を回転させ、相関演算手段１１に入力して相関係数を演算させると、図７に示したように、開眼時の相関係数の減少率は閉眼時の相関係数の減少率よりも大きいため、開眼時と閉眼時の相関係数の変化量が大きくなる。これにより、細い目の被撮像者のまばたき検出性能が向上する。ここで、所定倍の値は、画像の分解能や、撮像された目の大きさ等で最適な値が選択されるものである。
【００１９】
実施の形態３．
図８は、この発明の実施の形態３による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと同一のものである。１４は相関演算手段１１から得られる相関係数の平均的な値が所定範囲の値となるよう、縦幅拡張手段１３における拡張のための所定倍の値を制御する縦幅拡張制御手段である。
図９は、この発明の実施の形態３による顔画像処理装置の目の細い／大きいに関わらず、同様にまばたきを検出する方法を説明する図である。
【００２０】
実施の形態１では、目が細い被撮像者では、まばたきの検出が困難であり、実施の形態２では、その問題が解決できることを説明した。しかしながら、目の大きい被撮像者では、実施の形態１では良好な検出性が得られるが、実施の形態２では、逆に縦幅を拡張することに伴う相関係数の低下率が大きく、検出が困難となる。
また、実施の形態１及び実施の形態２とも、まばたきに伴う相関係数の時間的変化の振幅が目の大きさに依存して変化し、ひいてはまばたき検出性の個人差として現れる。
実施の形態３では、図９に示したように、相関演算手段１１から得られる相関係数の平均的な値または、開眼と判定されている時の相関係数の平均的な値が所定の範囲となるよう縦幅拡張制御手段１４を用いて、縦幅拡張手段１３における所定倍の値をフィードバック制御するものである。
このような制御を行うことにより、相関値の変化が、目の細い人、目の大きい人にかかわらず、同様の変化となり、ひいては開閉判定手段１２による開閉判定閾値の決定が簡素となると共に、まばたき検出性の個人差を低減することが可能となる。
【００２１】
実施の形態４．
図１０は、この発明の実施の形態４による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同一のものである。１５は目画像２値化手段９と座標回転手段１０の間に追加された傾き補正手段であり、相関演算手段１１から１次相関計算時の傾きが入力されている。
図１１は、この発明の実施の形態４による顔画像処理装置の顔が傾いたときの問題点を説明する図であり、図１１（ａ）は顔が傾いたときの目画像、図１１（ｂ）は図１１（ａ）を座標回転させたときの目画像である。
図１１（ａ）は、顔が傾いた時の目画像２値化手段９からの目画像を示している。通常座標回転手段１０による回転角度は実施の形態１で説明した通り、４５度であるので、座標回転手段１０より４５度回転させた目画像は、図１１（ｂ）のようになり、Ｘ軸またはＹ軸に平行な直線に近づくことが容易に分かる。従って、実施の形態１にて説明した相関係数の性質により、同じ目形状であっても、傾き角度によって値が変化し、ひいては閉眼時の相関係数も増大することがなくなるため、まばたきの検出が不可能となる。
図１２は、この発明の実施の形態４による顔画像処理装置の動作を示す概念図であり、図１２（ａ）は１近辺の傾きをもつ目画像、図１２（ｂ）は傾きが１からはずれた目画像、図１２（ｃ）は傾き補正手段を用いて補正された目画像を示す。
【００２２】
次に動作について説明する。
相関演算手段１１から相関値と共に傾きを取り出すと、その傾きを評価することにより、座標回転手段１０による回転角度が適切であるかどうかの判定が可能である。即ち、図１２（ａ）に示すよう傾きが１近辺であると、目画像は理想的な回転角度が与えられており、まばたきによる良好な相関係数の変化が期待できる。しかし、図１２（ｂ）に示すよう傾きが１からはずれるに従って、座標回転手段１０による回転角度が不適切になる。このような性質を用い、傾き補正手段１５は、相関演算手段１１から得られる傾きが入力され、その傾きが相関係数によるまばたき判定が良好にできる範囲をはずれないよう、座標回転手段１０に対し回転角度をフィードバック制御する。
これらの手段により、たとえ顔が傾いた場合でも、図１２（ｃ）に示すように、座標回転手段１０により回転された目画像の傾きは、所定の範囲にとどまるため、相関演算手段１１は、顔の傾きに依らず目の開閉度合いに対応した相関係数を出力することが可能となり、ひいては、目開閉判定手段１２による良好なまばたきの検出ができる。
【００２３】
実施の形態５．
図１３は、この発明の実施の形態５による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５は図１０におけるものと同一のものである。１７は鼻孔領域判定手段、１８は鼻孔抽出手段である。１９は傾き推定手段である。
図１４は、この発明の実施の形態５による顔画像処理装置の動作を示す概念図である。
【００２４】
次に動作について説明する。
実施の形態５では、実施の形態４に加え、２つの鼻孔を抽出する手段を備えている。即ち、画像入力手段２からの顔画像から、鼻孔領域判定手段１７により画像中の鼻孔領域の特定が成される。次に、特定された鼻孔領域中の２つの鼻孔像が鼻孔抽出手段１８により得られる。次に、２つの鼻孔像は傾き推定手段１９に入力される。傾き推定手段１９では、図１４に示すように、２つの鼻孔の重心の座標をそれぞれ求め、さらに２つの座標より顔の傾きを図に示すような式で計算する。次に、傾き推定手段１９により推定した顔の傾きをθとすると、座標回転手段１０に対する回転角度指示は、４５度−θという式で計算される。
これらの手段により、たとえ顔が傾いた場合でも、図１４に示すように、座標回転手段１０により回転された目画像の傾きは、顔の傾きによる影響が除去されているので、相関演算手段１１は、顔の傾きに依らず目の開閉度合いに対応した相関係数を出力することが可能となり、ひいては、開閉判定手段１２による良好なまばたきの検出ができる。
【００２５】
実施の形態６．
図１５はこの発明の実施の形態６による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５、１７〜１９は図１３におけるものと同一のものである。
図１６は、この発明の実施の形態６による顔画像処理装置の目画像の一部が欠けた場合の問題点の説明と、動作を説明する図であり、図１６（ａ）は不適切な補正角を示す図、図１６（ｂ）は補正角を制限した図である。
【００２６】
次に動作について説明する。
実施の形態６の基本構成は、実施の形態４と同等であり、これに実施の形態５にて説明した鼻孔による顔の傾き推定手段１９が追加された形となっている。しかし、傾き推定手段１９により推定された顔の傾きは、実施の形態５の場合とは異なり、この値を用いて、傾き補正手段１５における補正角を与えるものではなく、実施の形態４と同様に相関演算手段１１から得られる相関係数が所定の範囲に入るようにフィードバック制御した際に得られる補正角に対するクリップ値として作用する。すなわち、実施の形態４の方式では、相関値を演算するのに最適な補正角が得られるように傾き補正手段１５は動作するが、図１６（ａ）に示すよう、一部が欠けた目画像に起因行して、目画像２値化手段９による目画像が不適切な場合、傾き補正手段１５による傾き補正も誤ったものとなってしまう。従って、傾き補正手段１５による補正角を鼻孔検出による傾き推定手段１９で推定したこの傾きを用いて制限することにより、図１６（ｂ）に示すよう、誤った傾き補正を抑止する。例えば、図１６（ａ）に示したように、補正角を制御してしまうと、相関係数が大きくなるところ、図１６（ｂ）に示したように補正角を制限するとその影響を抑えることができる。これにより誤った開閉評価値の生成が抑止され、開閉検出手段１２によるまばたき検出精度が向上できる。
【００２７】
実施の形態７．
図１７は、この発明の実施の形態７による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと、１５は図１０におけるものと同一のものである。
図１８は、この発明の実施の形態７による顔画像処理装置の動作を説明する図であり、図１８（ａ）は傾いた顔の目画像２値化手段の出力を示す縦軸拡張手段によって縦軸を拡張した図、図１８（ｂ）はさらに傾き補正手段を用いたときの図である。
実施の形態７では、目画像２値化手段９と縦幅拡張手段１３の間に実施の形態４、５、６等で説明したのと同等な傾き補正手段１５が追加されたものである。
【００２８】
次に動作について説明する。
図１８（ａ）は、傾いた顔のときの目画像２値化手段９の出力を示す。この目画像をＹ軸方向に拡張すると、実際には目を斜め方向に拡張することになる。すなわち、目画像の縦方向を同時に拡張することになるので、縦方向のみの拡張と比較して相関係数は小さくなる。この影響により、実施の形態２、３で述べたような拡張の効果は現れず、ひいては開閉検出ができなくなる。従って、実施の形態４、５、６で説明したように顔の傾きを推定した後、傾き補正手段１５により目画像を水平位置に修正した後、縦幅拡張手段１３を用い、実施の形態２、３にて説明したことと同等の処理を行うことにより、顔の傾き、目の大小に関わらず良好なまばたき検出性能が得られる。
【００２９】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
カメラによって撮影された顔画像が入力される画像入力手段、この画像入力手段によって入力された顔画像から２値化された目画像を抽出する目画像抽出手段、この目画像抽出手段によって抽出された目画像を座標回転する座標回転手段、この座標回転手段によって回転された目画像を用いて一次相関を演算する相関演算手段、この相関演算手段の演算によって得られる相関係数に基づき目の開閉を判定する開閉判定手段を備え、座標回転手段による目画像の座標回転は、座標軸に対して目画像を傾斜させるように、目の開眼時と閉眼時で相関係数に差が生じる所定角度でもって行われるので、目画像の２値化状態が変化しても、安定して目の開閉を判定することができる。
また、目画像抽出手段は、画像入力手段によって入力された顔画像から目領域を特定する目領域判定手段と、目領域中の目画像を２値化する２値化手段とを有するので、特定した目領域から目画像を２値化することができる。
【００３０】
また、目画像抽出手段によって２値化された目画像の縦幅を、目の開眼時と閉眼時で相関係数の差が大きくなるように拡張する縦幅拡張手段を備えたので、目が細い被撮影者でも、良好に目の開閉を判定することができる。
さらに、縦幅拡張手段による目画像の縦幅の拡張を、目の開眼時の相関係数によって制御する縦幅拡張制御手段を備えたので、目の大小の個人差を吸収することが可能となる。
【００３１】
また、顔画像の傾きにより、目画像抽出手段によって２値化された目画像に傾きがある場合に、この目画像の傾きを補正する傾き補正手段を備え、座標回転手段は傾き補正手段によって補正された目画像を回転するので、顔画像の傾きを補正した目画像を回転することができる。
また、傾き補正手段は、座標回転手段による目画像の回転後に、目の開眼時と閉眼時で相関係数に差が生じるように補正するので、被撮影者の顔の傾きが変化した場合でも、良好に目の開閉を判定することができる。
【００３２】
さらにまた、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き補正手段は、傾き推定手段によって推定された顔画像の傾きを用いて、目画像の補正を行うので、的確に補正を行うことができる。
また、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き推定手段によって推定された顔画像の傾きを用いて、傾き補正手段による目画像の傾きの補正を制限するので、誤った補正を抑止することができる。
【００３３】
加えて、傾き推定手段は、顔画像から抽出された鼻孔画像を用いて傾きを推定するので、的確に顔の傾きを推定することができる。
また、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する鼻孔領域判定手段と、この鼻孔領域判定手段によって特定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段によって、鼻孔画像を抽出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による顔画像処理装置を示す概略構成図である。
【図２】この発明の実施の形態１による顔画像処理装置の相関係数の特徴を説明する図である。
【図３】この発明の実施の形態１による顔画像処理装置の目の開閉を相関係数で評価することを説明する概念図である。
【図４】この発明の実施の形態１による顔画像処理装置の目の開閉を検出する方法を示すタイムチャート図である。
【図５】この発明の実施の形態２による顔画像処理装置を示す概略構成図である。
【図６】この発明の実施の形態２による顔画像処理装置の細い目と大きい目との比較図である。
【図７】この発明の実施の形態２による顔画像処理装置の細い目の人の開閉眼を検出する方法を説明する概略図である。
【図８】この発明の実施の形態３による顔画像処理装置を示す概略構成図である。
【図９】この発明の実施の形態３による顔画像処理装置の目の細い／大きいに関わらず、同様にまばたきを検出する方法を説明する図である。
【図１０】この発明の実施の形態４による顔画像処理装置を示す概略構成図である。
【図１１】この発明の実施の形態４による顔画像処理装置の顔が傾いたときの問題点を説明する図である。
【図１２】この発明の実施の形態４による顔画像処理装置の動作を示す概念図である。
【図１３】この発明の実施の形態５による顔画像処理装置を示す概略構成図である。
【図１４】この発明の実施の形態５による顔画像処理装置の動作を示す概念図である。
【図１５】この発明の実施の形態６による顔画像処理装置を示す概略構成図である。
【図１６】この発明の実施の形態６による顔画像処理装置の目画像の一部が欠けた場合の問題点の説明と、動作を説明する図である。
【図１７】この発明の実施の形態７による顔画像処理装置を示す概略構成図である。
【図１８】この発明の実施の形態７による顔画像処理装置の動作を説明する図である。
【図１９】従来の運転者の状態検出を示す概略構成図である。
【図２０】従来の運転者の状態検出における動作を説明する図である。
【符号の説明】
１ カメラ、 ２ 画像入力手段、 ８ 目領域判定手段、
９ 目画像２値化手段、 １０ 座標回転手段、 １１ 相関演算手段、
１２ 開閉判定手段、 １３ 縦幅拡張手段、 １４ 縦幅拡張制御手段、
１５ 傾き補正手段、 １７ 鼻孔領域判定手段、 １８ 鼻孔抽出手段、
１９ 傾き推定手段。
【発明の属する技術分野】
この発明は、顔の目画像を抽出し、目画像の状態より被撮影者の目の開閉状態を検出する装置に用いる顔画像処理装置に関する。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出して、目の開閉を検出する顔画像処理装置が開発されている。このような従来装置としては、濃度階調画像を２値画像に変換した後、抽出された顔の輪郭の内側での黒色領域より目を抽出し、抽出した目画像の目尻部分の上側形状の傾きを、１次相関をとることにより検出し、その傾きの変化により、目の開閉を判定する特開平９−４４６８４号公報が開示されている。
図１９は、特開平９−４４６８４号公報における運転者の状態検出を示す概略構成図である。
図において、１は運転者を撮影するカメラ、２はカメラ１の濃度階調画像が入力され、Ａ／Ｄ変換してディジタル階調画像とする画像入力手段、３は画像入力手段２の変換したディジタル階調画像を２値化する２値化手段、４は２値化画像の目存在領域を抽出する目抽出手段、５は目存在領域から形状関数を算出し、さらに円弧形状に着目した評価関数を算出する評価関数算出手段、６は評価関数の値から目の開閉判定を行う開閉判定手段である。
図２０は、図１９の動作を説明する図で、画像より抽出した目存在領域の２値画像を用いる目の開閉の判定について説明する。
【０００３】
このように構成された従来の運転者の状態検出においては、まず画像入力手段２において、運転者の顔を撮影したカメラ１からの濃度階調画像が映像信号として入力されて、Ａ／Ｄ変換され、変換されたディジタル階調画像が２値化手段３により、所定の閾値で２値化、即ち黒色画素と白色画素に変換される。次に、目抽出手段４によって目存在領域の抽出が行われる。この目抽出手段４は、例えば２値画像の黒色画素の座標平均から重心を求め、この重心から一番近い黒色画素の塊が存在するＸ方向左右の所定範囲の長方形領域を目存在領域として抽出する。その後、評価関数算出手段５は、目存在領域の２値化された目画像全体の形状、つまり特徴を示す形状関数を算出し、この形状関数から円弧形状に着目した評価関数を算出し、この値をメモリに記録する。そこで開閉判定手段６により、時間的に変化する評価関数の値Ｋから閾値を決定し、目の開閉判定を行う。
【０００４】
次に、形状関数の例を図２０を用いて説明する。
図２０は、時間の推移（開眼時ＴＡ、閉眼時ＴＣ、それらの間の時点ＴＢ）と、時間の推移に応じた目存在領域の２値画像を示したものである。この２値化された目画像の目尻側所定範囲の上側画素を、最小自乗法を用いて直線近似を行うと、図に示したように、開眼時は傾きが大きく、目を閉じるに従って傾きが小さくなる。即ち、所定範囲（ｎ画素）の目尻の上側画素の座標を（ｘｉ，ｙｉ）として、
Ｋ＝（ｎΣｘｙ−ΣｘΣｙ）／（ｎΣｘ２−（Σｘ）２）
で計算される。
また、顔の傾きにつれて目尻の傾きも変化するが、両目尻の傾きの平均を取ることにより、傾きの影響を補償する。即ち、左目の目尻の傾きをＫＬ、右目の目尻の傾きをＫＲとして、
Ｋ＝（ＫＬ＋ＫＲ）／２
なる式で目の開閉が評価され、次に、開閉評価手段６は、開閉判定閾値ＫＢを設定することにより、Ｋの値に基づいて開閉を判定する。
最後に、居眠り判定は、瞬目検出手段により検出した目の開閉状態に基づき、居眠りを判定する。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来装置においては、２値化手段３において、目画像を２値化する際、被撮像者の光環境が急変した場合や、Ａ／Ｄ変換する際のバラツキなどで２値化される目画像が変化する。特にその影響は瞼の線、特に目尻部に顕著な影響を与える。従って、上記に説明したように最小自乗法によって目尻部の傾きを計算すると、これらの要因によって値が変化し、誤検出が生じやすいという問題点があった。
また、被撮像者の光環境が左右で異なると、左右の目の２値化状態もアンバランスとなるため、正確な開閉評価が得られないといった問題点があった。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、目画像２値化手段により被撮影者の目画像の２値化状態が変化する場合でも、安定して目の開閉状態を判定できる顔画像処理装置を得ることを目的としている。
【０００７】
【課題を解決するための手段】
この発明に係わる顔画像処理装置においては、カメラによって撮影された顔画像が入力される画像入力手段、この画像入力手段によって入力された顔画像から２値化された目画像を抽出する目画像抽出手段、この目画像抽出手段によって抽出された目画像を座標回転する座標回転手段、この座標回転手段によって回転された目画像を用いて一次相関を演算する相関演算手段、この相関演算手段の演算によって得られる相関係数に基づき目の開閉を判定する開閉判定手段を備え、座標回転手段による目画像の座標回転は、座標軸に対して目画像を傾斜させるように、目の開眼時と閉眼時で相関係数に差が生じる所定角度でもって行われるものである。
また、目画像抽出手段は、画像入力手段によって入力された顔画像から目領域を特定する目領域判定手段と、目領域中の目画像を２値化する２値化手段とを有するものである。
【０００８】
また、目画像抽出手段によって２値化された目画像の縦幅を、目の開眼時と閉眼時で相関係数の差が大きくなるように拡張する縦幅拡張手段を備えたものである。
さらに、縦幅拡張手段による目画像の縦幅の拡張を、目の開眼時の相関係数によって制御する縦幅拡張制御手段を備えたものである。
【０００９】
また、顔画像の傾きにより、目画像抽出手段によって２値化された目画像に傾きがある場合に、この目画像の傾きを補正する傾き補正手段を備え、座標回転手段は傾き補正手段によって補正された目画像を回転するものである。
また、傾き補正手段は、座標回転手段による目画像の回転後に、目の開眼時と閉眼時で相関係数に差が生じるように補正するものである。
【００１０】
さらにまた、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き補正手段は、傾き推定手段によって推定された顔画像の傾きを用いて、目画像の補正を行うものである。
また、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き推定手段によって推定された顔画像の傾きを用いて、傾き補正手段による目画像の傾きの補正を制限するものである。
【００１１】
加えて、傾き推定手段は、顔画像から抽出された鼻孔画像を用いて傾きを推定するものである。
また、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する鼻孔領域判定手段と、この鼻孔領域判定手段によって特定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段によって行われるものである。
【００１２】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による顔画像処理装置を示す概略構成図である。
図において、１は被撮影者を撮影するカメラ、２はカメラの撮影した画像が入力される画像入力手段で、撮影画像をＡ／Ｄ変換することにより、ディジタル階調画像とする。８は画像中の目領域の特定を行う目領域判定手段、９は目領域中の目画像を２値化する目画像２値化手段で、目領域判定手段８と共に、目画像抽出手段を構成する。１０は２値化された目画像の座標を回転する座標回転手段、１１は座標が回転された目画像から、１次相関の相関係数を演算する相関演算手段、１２は相関係数の時間的変化から目の開閉を判定する開閉判定手段である。
【００１３】
図２は、この発明の実施の形態１による顔画像処理装置の相関係数の特徴を説明する図であり、図２（ａ）はデータがＸ軸と平行な場合、図２（ｂ）は図２（ａ）のデータを座標回転した場合を示している。
図３は、この発明の実施の形態１による顔画像処理装置の目の開閉を相関係数で評価することを説明する概念図であり、図３（ａ）は開眼時と閉眼時の２値化された目画像、図３（ｂ）は座標回転した目画像を示す。
図４は、この発明の実施の形態１による顔画像処理装置の目の開閉を検出する方法を示すタイムチャート図である。
【００１４】
次に、動作について説明する。
カメラ１で撮影された顔画像は従来例で説明したものと同様に、画像入力手段２に入力されてＡ／Ｄ変換されることにより、ディジタル階調画像に変換され、さらに目領域判定手段８により、画像中の目領域の特定が成される。次に、特定された目領域中の目画像が目画像２値化手段９により処理されて、２値化された目画像が得られる。さらに、２値化された目画像は、座標回転手段１０により、その座標が回転され、相関演算手段１１に入力される。相関演算手段１１により演算された１次相関の相関係数は、開閉判定手段１２に入力され、相関係数の時間的変化によって目の開閉が判定される。
【００１５】
次に、相関演算手段１１による１次相関演算によって得られる相関係数の性質について説明する。
相関係数自身は、統計学の参考書等で広く知られているものであり、２変量間の相関の強さを表すものである。即ち、相関が強ければ１、−１に近い値となり、逆に相関が無ければ０になる。言い換えるならば、１次相関演算で相関係数を求めることは、直線性を評価することに等しい。しかしながら、直線性を相関係数を用いて評価する場合、図２（ａ）に示すような問題が生じる。即ち、図に示したように直線がＸ軸と平行である場合、たとえそのデータが直線状であったとしても相関係数は０に近くなり、その直線性が評価できなくなる。この問題は、図２（ｂ）に示すようにデータの座標を回転させＸ−Ｙ座標からＵ−Ｖ座標に変換し、Ｕ−Ｖ座標で相関演算することにより解決できる。即ち、図２（ａ）では相関係数がほとんど０であったものが、図２（ｂ）ではほとんど１になる。なお、図２中に、ｘ−ｙ座標系からｕ−ｖ座標系への変換式と、ｕ−ｖ座標系における相関係数の演算式を示している。図中Ｒの自乗が相関係数である。
【００１６】
次に、相関係数の性質を用いた、目の開閉評価について説明する。
図３（ａ）に、開眼時と閉眼時の２値化された目画像を示す。図に示したように、目画像は通常Ｘ軸に平行であるとともに、画像の直線性は、閉眼時の方が高い。しかしながら、先に説明したように、Ｘ軸と平行な直線は、たとえその直線性が高くとも相関係数を計算すると０に近い値となるため、開眼時と閉眼時とで差はない。そこで、目画像を座標回転手段１０を用いて所定角度回転させ、回転させた画像の相関係数を相関演算手段１１を用いて計算させると、図３（ｂ）に示すよう、開眼時は相関係数が低く、また閉眼時は相関係数が高くなる。この所定角度は４５度が最も適切である。
図４に、まばたきの検出例を示す。図４は、目の開度に応じた相関係数の値の変化と共に、適当な開閉判定閾値を示している。この図に示したように、開閉判定手段１２により開閉判定閾値を越えた場合、閉眼判定をすることにより瞬きの検出、及び閾値を超えた時間を計測することにより、閉眼持続時間の検出が可能となる。なお、この開閉判定閾値の設定は、相関係数の平均的な値や、相関係数をフィルタリングした値、注目時点から所定時間前の値等から個人の特性に合わせて決定されるものである。
さらに、上述では相関係数で説明したが、相関係数の自乗を用いても何ら差し支えはない。
【００１７】
実施の形態２．
図５は、この発明の実施の形態２による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同一のものである。１３は目画像２値化手段９によって２値化された目画像の縦幅を拡張する縦幅拡張手段である。
図６は、この発明の実施の形態２による顔画像処理装置の細い目と大きい目との比較図である。
図７は、この発明の実施の形態２による顔画像処理装置の細い目の人の開閉眼を検出する方法を説明する概略図である。
【００１８】
次に動作について説明する。
図６は、細い目の被撮像者の例と、大きな目の被撮像者の例を示したものであるが、図に示したように、細い目の場合の相関係数は、目形状が直線に近いので、大きな目の被撮像者の例と比較すると、より１に近い値となり、開眼時と閉眼時の変化が小さくなり、まばたきの検出が困難になる。しかし、図７に示すように、目画像の座標を座標回転手段１０に入力する前に、縦幅拡張手段１３に入力して、目画像の個々の画素のＹ座標の値を所定倍することにより、目の縦幅を拡張する。その拡張後、座標回転手段１０に入力して座標を回転させ、相関演算手段１１に入力して相関係数を演算させると、図７に示したように、開眼時の相関係数の減少率は閉眼時の相関係数の減少率よりも大きいため、開眼時と閉眼時の相関係数の変化量が大きくなる。これにより、細い目の被撮像者のまばたき検出性能が向上する。ここで、所定倍の値は、画像の分解能や、撮像された目の大きさ等で最適な値が選択されるものである。
【００１９】
実施の形態３．
図８は、この発明の実施の形態３による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと同一のものである。１４は相関演算手段１１から得られる相関係数の平均的な値が所定範囲の値となるよう、縦幅拡張手段１３における拡張のための所定倍の値を制御する縦幅拡張制御手段である。
図９は、この発明の実施の形態３による顔画像処理装置の目の細い／大きいに関わらず、同様にまばたきを検出する方法を説明する図である。
【００２０】
実施の形態１では、目が細い被撮像者では、まばたきの検出が困難であり、実施の形態２では、その問題が解決できることを説明した。しかしながら、目の大きい被撮像者では、実施の形態１では良好な検出性が得られるが、実施の形態２では、逆に縦幅を拡張することに伴う相関係数の低下率が大きく、検出が困難となる。
また、実施の形態１及び実施の形態２とも、まばたきに伴う相関係数の時間的変化の振幅が目の大きさに依存して変化し、ひいてはまばたき検出性の個人差として現れる。
実施の形態３では、図９に示したように、相関演算手段１１から得られる相関係数の平均的な値または、開眼と判定されている時の相関係数の平均的な値が所定の範囲となるよう縦幅拡張制御手段１４を用いて、縦幅拡張手段１３における所定倍の値をフィードバック制御するものである。
このような制御を行うことにより、相関値の変化が、目の細い人、目の大きい人にかかわらず、同様の変化となり、ひいては開閉判定手段１２による開閉判定閾値の決定が簡素となると共に、まばたき検出性の個人差を低減することが可能となる。
【００２１】
実施の形態４．
図１０は、この発明の実施の形態４による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２は図１におけるものと同一のものである。１５は目画像２値化手段９と座標回転手段１０の間に追加された傾き補正手段であり、相関演算手段１１から１次相関計算時の傾きが入力されている。
図１１は、この発明の実施の形態４による顔画像処理装置の顔が傾いたときの問題点を説明する図であり、図１１（ａ）は顔が傾いたときの目画像、図１１（ｂ）は図１１（ａ）を座標回転させたときの目画像である。
図１１（ａ）は、顔が傾いた時の目画像２値化手段９からの目画像を示している。通常座標回転手段１０による回転角度は実施の形態１で説明した通り、４５度であるので、座標回転手段１０より４５度回転させた目画像は、図１１（ｂ）のようになり、Ｘ軸またはＹ軸に平行な直線に近づくことが容易に分かる。従って、実施の形態１にて説明した相関係数の性質により、同じ目形状であっても、傾き角度によって値が変化し、ひいては閉眼時の相関係数も増大することがなくなるため、まばたきの検出が不可能となる。
図１２は、この発明の実施の形態４による顔画像処理装置の動作を示す概念図であり、図１２（ａ）は１近辺の傾きをもつ目画像、図１２（ｂ）は傾きが１からはずれた目画像、図１２（ｃ）は傾き補正手段を用いて補正された目画像を示す。
【００２２】
次に動作について説明する。
相関演算手段１１から相関値と共に傾きを取り出すと、その傾きを評価することにより、座標回転手段１０による回転角度が適切であるかどうかの判定が可能である。即ち、図１２（ａ）に示すよう傾きが１近辺であると、目画像は理想的な回転角度が与えられており、まばたきによる良好な相関係数の変化が期待できる。しかし、図１２（ｂ）に示すよう傾きが１からはずれるに従って、座標回転手段１０による回転角度が不適切になる。このような性質を用い、傾き補正手段１５は、相関演算手段１１から得られる傾きが入力され、その傾きが相関係数によるまばたき判定が良好にできる範囲をはずれないよう、座標回転手段１０に対し回転角度をフィードバック制御する。
これらの手段により、たとえ顔が傾いた場合でも、図１２（ｃ）に示すように、座標回転手段１０により回転された目画像の傾きは、所定の範囲にとどまるため、相関演算手段１１は、顔の傾きに依らず目の開閉度合いに対応した相関係数を出力することが可能となり、ひいては、目開閉判定手段１２による良好なまばたきの検出ができる。
【００２３】
実施の形態５．
図１３は、この発明の実施の形態５による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５は図１０におけるものと同一のものである。１７は鼻孔領域判定手段、１８は鼻孔抽出手段である。１９は傾き推定手段である。
図１４は、この発明の実施の形態５による顔画像処理装置の動作を示す概念図である。
【００２４】
次に動作について説明する。
実施の形態５では、実施の形態４に加え、２つの鼻孔を抽出する手段を備えている。即ち、画像入力手段２からの顔画像から、鼻孔領域判定手段１７により画像中の鼻孔領域の特定が成される。次に、特定された鼻孔領域中の２つの鼻孔像が鼻孔抽出手段１８により得られる。次に、２つの鼻孔像は傾き推定手段１９に入力される。傾き推定手段１９では、図１４に示すように、２つの鼻孔の重心の座標をそれぞれ求め、さらに２つの座標より顔の傾きを図に示すような式で計算する。次に、傾き推定手段１９により推定した顔の傾きをθとすると、座標回転手段１０に対する回転角度指示は、４５度−θという式で計算される。
これらの手段により、たとえ顔が傾いた場合でも、図１４に示すように、座標回転手段１０により回転された目画像の傾きは、顔の傾きによる影響が除去されているので、相関演算手段１１は、顔の傾きに依らず目の開閉度合いに対応した相関係数を出力することが可能となり、ひいては、開閉判定手段１２による良好なまばたきの検出ができる。
【００２５】
実施の形態６．
図１５はこの発明の実施の形態６による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１２、１５、１７〜１９は図１３におけるものと同一のものである。
図１６は、この発明の実施の形態６による顔画像処理装置の目画像の一部が欠けた場合の問題点の説明と、動作を説明する図であり、図１６（ａ）は不適切な補正角を示す図、図１６（ｂ）は補正角を制限した図である。
【００２６】
次に動作について説明する。
実施の形態６の基本構成は、実施の形態４と同等であり、これに実施の形態５にて説明した鼻孔による顔の傾き推定手段１９が追加された形となっている。しかし、傾き推定手段１９により推定された顔の傾きは、実施の形態５の場合とは異なり、この値を用いて、傾き補正手段１５における補正角を与えるものではなく、実施の形態４と同様に相関演算手段１１から得られる相関係数が所定の範囲に入るようにフィードバック制御した際に得られる補正角に対するクリップ値として作用する。すなわち、実施の形態４の方式では、相関値を演算するのに最適な補正角が得られるように傾き補正手段１５は動作するが、図１６（ａ）に示すよう、一部が欠けた目画像に起因行して、目画像２値化手段９による目画像が不適切な場合、傾き補正手段１５による傾き補正も誤ったものとなってしまう。従って、傾き補正手段１５による補正角を鼻孔検出による傾き推定手段１９で推定したこの傾きを用いて制限することにより、図１６（ｂ）に示すよう、誤った傾き補正を抑止する。例えば、図１６（ａ）に示したように、補正角を制御してしまうと、相関係数が大きくなるところ、図１６（ｂ）に示したように補正角を制限するとその影響を抑えることができる。これにより誤った開閉評価値の生成が抑止され、開閉検出手段１２によるまばたき検出精度が向上できる。
【００２７】
実施の形態７．
図１７は、この発明の実施の形態７による顔画像処理装置を示す概略構成図である。
図において、１、２、８〜１３は図５におけるものと、１５は図１０におけるものと同一のものである。
図１８は、この発明の実施の形態７による顔画像処理装置の動作を説明する図であり、図１８（ａ）は傾いた顔の目画像２値化手段の出力を示す縦軸拡張手段によって縦軸を拡張した図、図１８（ｂ）はさらに傾き補正手段を用いたときの図である。
実施の形態７では、目画像２値化手段９と縦幅拡張手段１３の間に実施の形態４、５、６等で説明したのと同等な傾き補正手段１５が追加されたものである。
【００２８】
次に動作について説明する。
図１８（ａ）は、傾いた顔のときの目画像２値化手段９の出力を示す。この目画像をＹ軸方向に拡張すると、実際には目を斜め方向に拡張することになる。すなわち、目画像の縦方向を同時に拡張することになるので、縦方向のみの拡張と比較して相関係数は小さくなる。この影響により、実施の形態２、３で述べたような拡張の効果は現れず、ひいては開閉検出ができなくなる。従って、実施の形態４、５、６で説明したように顔の傾きを推定した後、傾き補正手段１５により目画像を水平位置に修正した後、縦幅拡張手段１３を用い、実施の形態２、３にて説明したことと同等の処理を行うことにより、顔の傾き、目の大小に関わらず良好なまばたき検出性能が得られる。
【００２９】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
カメラによって撮影された顔画像が入力される画像入力手段、この画像入力手段によって入力された顔画像から２値化された目画像を抽出する目画像抽出手段、この目画像抽出手段によって抽出された目画像を座標回転する座標回転手段、この座標回転手段によって回転された目画像を用いて一次相関を演算する相関演算手段、この相関演算手段の演算によって得られる相関係数に基づき目の開閉を判定する開閉判定手段を備え、座標回転手段による目画像の座標回転は、座標軸に対して目画像を傾斜させるように、目の開眼時と閉眼時で相関係数に差が生じる所定角度でもって行われるので、目画像の２値化状態が変化しても、安定して目の開閉を判定することができる。
また、目画像抽出手段は、画像入力手段によって入力された顔画像から目領域を特定する目領域判定手段と、目領域中の目画像を２値化する２値化手段とを有するので、特定した目領域から目画像を２値化することができる。
【００３０】
また、目画像抽出手段によって２値化された目画像の縦幅を、目の開眼時と閉眼時で相関係数の差が大きくなるように拡張する縦幅拡張手段を備えたので、目が細い被撮影者でも、良好に目の開閉を判定することができる。
さらに、縦幅拡張手段による目画像の縦幅の拡張を、目の開眼時の相関係数によって制御する縦幅拡張制御手段を備えたので、目の大小の個人差を吸収することが可能となる。
【００３１】
また、顔画像の傾きにより、目画像抽出手段によって２値化された目画像に傾きがある場合に、この目画像の傾きを補正する傾き補正手段を備え、座標回転手段は傾き補正手段によって補正された目画像を回転するので、顔画像の傾きを補正した目画像を回転することができる。
また、傾き補正手段は、座標回転手段による目画像の回転後に、目の開眼時と閉眼時で相関係数に差が生じるように補正するので、被撮影者の顔の傾きが変化した場合でも、良好に目の開閉を判定することができる。
【００３２】
さらにまた、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き補正手段は、傾き推定手段によって推定された顔画像の傾きを用いて、目画像の補正を行うので、的確に補正を行うことができる。
また、画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き推定手段によって推定された顔画像の傾きを用いて、傾き補正手段による目画像の傾きの補正を制限するので、誤った補正を抑止することができる。
【００３３】
加えて、傾き推定手段は、顔画像から抽出された鼻孔画像を用いて傾きを推定するので、的確に顔の傾きを推定することができる。
また、鼻孔画像の抽出は、顔画像から鼻孔領域を特定する鼻孔領域判定手段と、この鼻孔領域判定手段によって特定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段によって、鼻孔画像を抽出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による顔画像処理装置を示す概略構成図である。
【図２】この発明の実施の形態１による顔画像処理装置の相関係数の特徴を説明する図である。
【図３】この発明の実施の形態１による顔画像処理装置の目の開閉を相関係数で評価することを説明する概念図である。
【図４】この発明の実施の形態１による顔画像処理装置の目の開閉を検出する方法を示すタイムチャート図である。
【図５】この発明の実施の形態２による顔画像処理装置を示す概略構成図である。
【図６】この発明の実施の形態２による顔画像処理装置の細い目と大きい目との比較図である。
【図７】この発明の実施の形態２による顔画像処理装置の細い目の人の開閉眼を検出する方法を説明する概略図である。
【図８】この発明の実施の形態３による顔画像処理装置を示す概略構成図である。
【図９】この発明の実施の形態３による顔画像処理装置の目の細い／大きいに関わらず、同様にまばたきを検出する方法を説明する図である。
【図１０】この発明の実施の形態４による顔画像処理装置を示す概略構成図である。
【図１１】この発明の実施の形態４による顔画像処理装置の顔が傾いたときの問題点を説明する図である。
【図１２】この発明の実施の形態４による顔画像処理装置の動作を示す概念図である。
【図１３】この発明の実施の形態５による顔画像処理装置を示す概略構成図である。
【図１４】この発明の実施の形態５による顔画像処理装置の動作を示す概念図である。
【図１５】この発明の実施の形態６による顔画像処理装置を示す概略構成図である。
【図１６】この発明の実施の形態６による顔画像処理装置の目画像の一部が欠けた場合の問題点の説明と、動作を説明する図である。
【図１７】この発明の実施の形態７による顔画像処理装置を示す概略構成図である。
【図１８】この発明の実施の形態７による顔画像処理装置の動作を説明する図である。
【図１９】従来の運転者の状態検出を示す概略構成図である。
【図２０】従来の運転者の状態検出における動作を説明する図である。
【符号の説明】
１ カメラ、 ２ 画像入力手段、 ８ 目領域判定手段、
９ 目画像２値化手段、 １０ 座標回転手段、 １１ 相関演算手段、
１２ 開閉判定手段、 １３ 縦幅拡張手段、 １４ 縦幅拡張制御手段、
１５ 傾き補正手段、 １７ 鼻孔領域判定手段、 １８ 鼻孔抽出手段、
１９ 傾き推定手段。
Claims (10)
- カメラによって撮影された顔画像が入力される画像入力手段、この画像入力手段によって入力された顔画像から２値化された目画像を抽出する目画像抽出手段、この目画像抽出手段によって抽出された目画像を座標回転する座標回転手段、この座標回転手段によって回転された目画像を用いて一次相関を演算する相関演算手段、この相関演算手段の演算によって得られる相関係数に基づき目の開閉を判定する開閉判定手段を備え、上記座標回転手段による目画像の座標回転は、座標軸に対して上記目画像を傾斜させるように、上記目の開眼時と閉眼時で上記相関係数に差が生じる所定角度でもって行われることを特徴とする顔画像処理装置。
- 目画像抽出手段は、画像入力手段によって入力された顔画像から目領域を特定する目領域判定手段と、上記目領域中の目画像を２値化する２値化手段とを有することを特徴とする請求項１記載の顔画像処理装置。
- 目画像抽出手段によって２値化された目画像の縦幅を、上記目の開眼時と閉眼時で上記相関係数の差が大きくなるように拡張する縦幅拡張手段を備えたことを特徴とする請求項１または請求項２記載の顔画像処理装置。
- 縦幅拡張手段による目画像の縦幅の拡張を、上記目の開眼時の相関係数によって制御する縦幅拡張制御手段を備えたことを特徴とする請求項３記載の顔画像処理装置。
- 顔画像の傾きにより、目画像抽出手段によって２値化された目画像に傾きがある場合に、この目画像の傾きを補正する傾き補正手段を備え、座標回転手段は上記傾き補正手段によって補正された目画像を回転することを特徴とする請求項１〜請求項４のいずれか一項記載の顔画像処理装置。
- 傾き補正手段は、上記座標回転手段による上記目画像の回転後に、上記目の開眼時と閉眼時で上記相関係数に差が生じるように補正することを特徴とする請求項５記載の顔画像処理装置。
- 画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、傾き補正手段は、上記傾き推定手段によって推定された顔画像の傾きを用いて、目画像の補正を行うことを特徴とする請求項５記載の顔画像処理装置。
- 画像入力手段によって入力された顔画像から顔画像の傾きを推定する傾き推定手段を備え、上記傾き推定手段によって推定された顔画像の傾きを用いて、傾き補正手段による目画像の傾きの補正を制限することを特徴とする請求項６記載の顔画像処理装置。
- 傾き推定手段は、顔画像から抽出された鼻孔画像を用いて傾きを推定することを特徴とする請求項７または請求項８記載の顔画像処理装置。
- 鼻孔画像の抽出は、顔画像から鼻孔領域を特定する鼻孔領域判定手段と、この鼻孔領域判定手段によって特定された鼻孔領域から鼻孔画像を抽出する鼻孔抽出手段によって行われることを特徴とする請求項９記載の顔画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13304999A JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
| US09/437,110 US6571002B1 (en) | 1999-05-13 | 1999-11-09 | Eye open/close detection through correlation |
| KR1020000001973A KR100355125B1 (ko) | 1999-05-13 | 2000-01-17 | 안화상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13304999A JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322561A JP2000322561A (ja) | 2000-11-24 |
| JP3600755B2 true JP3600755B2 (ja) | 2004-12-15 |
Family
ID=15095631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13304999A Expired - Fee Related JP3600755B2 (ja) | 1999-05-13 | 1999-05-13 | 顔画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6571002B1 (ja) |
| JP (1) | JP3600755B2 (ja) |
| KR (1) | KR100355125B1 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001034754A (ja) * | 1999-07-19 | 2001-02-09 | Sony Corp | 虹彩認証装置 |
| US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
| US7331671B2 (en) * | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
| US7995239B2 (en) * | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
| JP4177779B2 (ja) * | 2004-03-31 | 2008-11-05 | 富士フイルム株式会社 | 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム |
| US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
| JP4507679B2 (ja) * | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| US20050276454A1 (en) * | 2004-06-14 | 2005-12-15 | Rodney Beatson | System and methods for transforming biometric image data to a consistent angle of inclination |
| WO2006030519A1 (ja) * | 2004-09-17 | 2006-03-23 | Mitsubishi Denki Kabushiki Kaisha | 顔認証装置及び顔認証方法 |
| US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
| JP2006260397A (ja) * | 2005-03-18 | 2006-09-28 | Konica Minolta Holdings Inc | 開眼度推定装置 |
| JP4542011B2 (ja) * | 2005-09-27 | 2010-09-08 | 富士通株式会社 | カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム |
| US7650034B2 (en) * | 2005-12-14 | 2010-01-19 | Delphi Technologies, Inc. | Method of locating a human eye in a video image |
| US8014571B2 (en) | 2006-05-15 | 2011-09-06 | Identix Incorporated | Multimodal ocular biometric system |
| US7620216B2 (en) * | 2006-06-14 | 2009-11-17 | Delphi Technologies, Inc. | Method of tracking a human eye in a video image |
| US8121356B2 (en) | 2006-09-15 | 2012-02-21 | Identix Incorporated | Long distance multimodal biometric system and method |
| WO2008033784A2 (en) * | 2006-09-15 | 2008-03-20 | Retica Systems, Inc. | Long distance multimodal biometric system and method |
| WO2008091401A2 (en) | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| JP4825093B2 (ja) * | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
| US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
| JP4861109B2 (ja) * | 2006-09-27 | 2012-01-25 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
| US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
| JP4898532B2 (ja) * | 2007-04-13 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
| US8174555B2 (en) * | 2007-05-30 | 2012-05-08 | Eastman Kodak Company | Portable video communication system |
| US20090060286A1 (en) * | 2007-09-04 | 2009-03-05 | General Electric Company | Identification system and method utilizing iris imaging |
| JP2009237619A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 画像における顔領域および器官領域の検出 |
| KR100947990B1 (ko) * | 2008-05-15 | 2010-03-18 | 성균관대학교산학협력단 | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 |
| JP5349350B2 (ja) * | 2010-01-26 | 2013-11-20 | トヨタ自動車株式会社 | 開眼度判定装置及び開眼度判定方法 |
| JP5627511B2 (ja) * | 2011-03-03 | 2014-11-19 | アイシン精機株式会社 | 状態推定装置、状態推定方法及びプログラム |
| TWI536279B (zh) * | 2015-04-22 | 2016-06-01 | 緯創資通股份有限公司 | 人眼偵測方法及系統 |
| CN110268455B (zh) * | 2017-02-15 | 2022-12-09 | 三菱电机株式会社 | 驾驶状态判定装置及驾驶状态判定方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61199175A (ja) * | 1985-02-28 | 1986-09-03 | Mitsubishi Electric Corp | イメ−ジの任意角度回転方式 |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
| JP3426060B2 (ja) | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
| JPH0939603A (ja) * | 1995-07-31 | 1997-02-10 | Toyota Motor Corp | 居眠り判定装置 |
| US5867587A (en) * | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
| JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
| JP3477047B2 (ja) * | 1997-10-02 | 2003-12-10 | 三菱電機株式会社 | 網膜反射像を利用したまばたき検出顔画像処理装置 |
| US6292575B1 (en) * | 1998-07-20 | 2001-09-18 | Lau Technologies | Real-time facial recognition and verification system |
-
1999
- 1999-05-13 JP JP13304999A patent/JP3600755B2/ja not_active Expired - Fee Related
- 1999-11-09 US US09/437,110 patent/US6571002B1/en not_active Expired - Fee Related
-
2000
- 2000-01-17 KR KR1020000001973A patent/KR100355125B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100355125B1 (ko) | 2002-10-11 |
| US6571002B1 (en) | 2003-05-27 |
| JP2000322561A (ja) | 2000-11-24 |
| KR20000076473A (ko) | 2000-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3600755B2 (ja) | 顔画像処理装置 | |
| JP5756455B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3587506B2 (ja) | ステレオカメラの調整装置 | |
| Goldbeck et al. | Lane detection and tracking by video sensors | |
| JP6444283B2 (ja) | 姿勢判定装置 | |
| JP2007228154A (ja) | 画像処理装置および画像処理方法 | |
| JP2000339476A (ja) | 目位置及び顔位置検出装置 | |
| WO2013008304A1 (ja) | 瞼検出装置 | |
| KR101972582B1 (ko) | Ptz 촬상장치 기반 변위 측정 시스템 및 방법 | |
| KR101146417B1 (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JP4825737B2 (ja) | 開眼度判定装置 | |
| JP2011259342A (ja) | 画像処理装置および画像処理方法 | |
| JP2009088884A (ja) | 撮像データにおける動きベクトル検出方法と装置 | |
| JP6492603B2 (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
| JP4622141B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP2018097776A (ja) | 障害物検出装置および障害物検出方法 | |
| JP6567237B2 (ja) | 距離計測装置および距離計測方法 | |
| JP7107178B2 (ja) | 映像検出装置、映像検出方法および映像検出プログラム | |
| JP4196211B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3800208B2 (ja) | 画像処理方法 | |
| JP4204818B2 (ja) | 画像処理装置 | |
| WO2022210005A1 (ja) | 姿勢推定システム | |
| US20240104759A1 (en) | Information processing device, information processing method, and computer readable medium | |
| US20230386078A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |