JP4978574B2 - 眼検出装置 - Google Patents
眼検出装置 Download PDFInfo
- Publication number
- JP4978574B2 JP4978574B2 JP2008163452A JP2008163452A JP4978574B2 JP 4978574 B2 JP4978574 B2 JP 4978574B2 JP 2008163452 A JP2008163452 A JP 2008163452A JP 2008163452 A JP2008163452 A JP 2008163452A JP 4978574 B2 JP4978574 B2 JP 4978574B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- contour
- eye
- subject
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 24
- 210000000744 eyelid Anatomy 0.000 description 22
- 239000011521 glass Substances 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば車両の運転者等の眼を検出する眼検出装置に関するものである。
従来の眼検出装置としては、例えば特許文献１に記載されているように、運転者の顔を撮像し、運転者の眼画像からエッジ抽出により上瞼の曲率を検出し、この上瞼の曲率に基づいて開閉眼の判定を行うようにしたものが知られている。
特開２００７−２５７３３２号公報
しかしながら、上記従来技術においては、運転者が眼鏡を着用している場合に、眼鏡のエッジを眼の瞼のエッジと誤って検出し、結果的に運転者の開閉眼を誤判定してしまう虞がある。
本発明の目的は、眼鏡を着用した対象者の顔画像において眼鏡の輪郭と眼の輪郭との誤検出を防止することができる眼検出装置を提供することである。
本発明は、対象者の顔画像を取得し、当該顔画像に基づいて対象者の眼を検出する眼検出装置において、顔画像における対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段と、顔画像における対象者の顔輪郭を抽出する顔輪郭抽出手段と、顔画像における対象者の顔が横を向いているかどうかを検出する顔向き検出手段と、顔向き検出手段により対象者の顔が横を向いていることが検出されたときに、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する判断手段と、判断手段により眼輪郭候補の上下で顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を対象者の眼輪郭でないと判定する判別手段とを備えることを特徴とするものである。
本発明は、眼鏡を着用した対象者が横（左右）に顔を向けると、眼鏡のレンズ内で顔の輪郭がずれるという現象に着目して成されたものである。即ち、本発明の眼検出装置においては、対象者の顔画像に基づいて、対象者の眼輪郭候補及び顔輪郭を抽出すると共に、対象者の顔が横を向いているかどうかを検出する。そして、対象者の顔が横を向いているときは、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する。この際に、眼輪郭候補の上下で顔輪郭がずれて非連続となっているときは、その眼輪郭候補は対象者の眼の輪郭ではなく、対象者が着用している眼鏡の輪郭であると判定する。これにより、眼鏡の輪郭を眼の輪郭と誤検出してしまうことが防止される。
好ましくは、判断手段は、眼輪郭候補を延長させた仮想ラインの上下で顔輪郭にずれがあるか否かによって、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する。この場合には、対象者の顔向き角度によっては眼輪郭候補が顔輪郭に交わらない状態となっても、眼輪郭候補を延長させた仮想ラインが顔輪郭に交わるようになるため、眼輪郭候補の上下で顔輪郭がずれて非連続となっているかどうかを正確に判断することができる。
本発明によれば、眼鏡を着用した対象者の顔画像において眼鏡の輪郭と眼の輪郭との誤検出を防止することができる。これにより、対象者の顔の特徴点である眼を正確に検出することが可能となる。
以下、本発明に係わる眼検出装置の好適な実施形態について、図面を参照して詳細に説明する。
図１は、本発明に係わる眼検出装置の一実施形態を示す概略構成図である。同図において、本実施形態の眼検出装置１は、車両に搭載され、運転者Ｄの眼を検出する装置である。眼検出装置１は、画像センサ２と、この画像センサ２と接続された画像処理ＥＣＵ（Electronic Control Unit）３とを備えている。
画像センサ２は、例えばステアリングコラムカバー４上に設置され、運転者Ｄの顔を撮像して運転者Ｄの顔画像を取得するセンサである。画像センサ２としては、例えばＣＣＤカメラが用いられる。
画像処理ＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータを主要構成部品としている。画像処理ＥＣＵ３は、画像センサ２で取得された運転者Ｄの顔画像を入力し、画像処理を含む所定の処理を行い、運転者Ｄの上下瞼（まぶた）を検出する。画像処理ＥＣＵ３は、１つの画像センサ２で取得された画像のみを処理するので、複数の画像を処理する場合のような非常に高速な処理チップが不要となる。
図２は、画像処理ＥＣＵ３により実行される瞼検出処理手順の詳細を示すフローチャートである。同図において、まず画像センサ２により得られた運転者Ｄの顔画像データを入力する（手順Ｓ５１）。
そして、例えばエッジベース手法やパターン認識手法等を使って、運転者Ｄの顔画像データ上における運転者Ｄの複数の上下瞼候補エッジ（図４のＰ１〜Ｐ４参照）を抽出する（手順Ｓ５２）。このとき、例えばエッジ強度やエッジの連続性をパラメータとして尤度を求め、この尤度が所定値よりも高いものを上下瞼候補エッジとして抽出する。
続いて、運転者Ｄの顔画像データ上における運転者Ｄの横方向（左右方向）の顔向き角度を検出する（手順Ｓ５３）。このとき、画像処理によって、顔向きのロール角度（回転角度）、ピッチ角度（上下方向の角度）及びヨー角度（左右方向の角度）を算出する。
そして、運転者Ｄの顔が正面方向を向かずに横方向を向いているかどうかを判断する（手順Ｓ５４）。具体的には、運転者Ｄの顔向きのヨー角度が予め設定された閾値を越えたかどうかを判断する。運転者Ｄの顔が正面方向を向いていると判断されたときは、手順Ｓ５２に戻る。
一方、運転者Ｄの顔が横方向を向いていると判断されたときは、運転者Ｄの顔画像データ上における顔輪郭エッジ（図４のＱ参照）を抽出する（手順Ｓ５５）。そして、上記手順Ｓ５２で抽出された各上下瞼候補エッジの上下で顔輪郭エッジの段差が無いかどうかを判断する（手順Ｓ５６）。
ここで、運転者Ｄが眼鏡を着用している場合には、運転者Ｄが左右の確認等のために左右方向（横方向）に顔を向けると、眼鏡のレンズを通した時に見える顔の輪郭線がずれるという現象が発生する。具体的には、眼鏡のレンズが近眼（近視）用レンズの場合には、運転者Ｄが左右方向に顔を向けると、図３（ａ）に示すように、眼鏡Ｇのレンズ内で顔の輪郭線ｈが内側へずれるようになり、眼鏡のレンズが老眼（遠視）用レンズの場合には、運転者Ｄが左右方向に顔を向けると、図３（ｂ）に示すように、眼鏡Ｇのレンズ内で顔の輪郭線ｈが外側へずれるようになる。
そこで、図４に示すように、上下瞼候補エッジＰ１〜Ｐ４をそれぞれ顔の外側に延長させた仮想ラインＲ１〜Ｒ４（破線参照）を引く。このとき、顔輪郭エッジＱに一番近い画素座標（例えば５点）から仮想ラインＲ１〜Ｒ４を引くようにする。これにより、運転者Ｄの顔向きのヨー角度によっては真の上下瞼エッジに相当する上下瞼候補エッジＰ１，Ｐ２が顔輪郭エッジＱと交わらない場合でも、当該上下瞼候補エッジＰ１，Ｐ２を延長させた仮想ラインＲ１，Ｒ２が顔輪郭エッジＱと交わるようになる。なお、図４は、近眼用の眼鏡を着用した運転者Ｄが左右方向に顔を向けた時の顔画像を示したものである。
そして、上下瞼候補エッジＰ１〜Ｐ４を延長させた仮想ラインＲ１〜Ｒ４の上下で顔輪郭エッジＱにずれ（段差）が無いかどうかを判断する。
上下瞼候補エッジを延長させた仮想ラインの上下で顔輪郭エッジにずれが無い（図４中のＲ２，Ｒ３参照）ときは、その上下瞼候補エッジを上下瞼のエッジと断定する（手順Ｓ５７）。一方、上下瞼候補エッジを延長させた仮想ラインの上下で顔輪郭エッジにずれがある（図４中のＲ１，Ｒ４参照）ときは、その上下瞼候補エッジを眼鏡のエッジと断定し、上下瞼候補エッジから除外する（手順Ｓ５８）。
以上において、手順Ｓ５１，Ｓ５２は、顔画像における対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段を構成する。手順Ｓ５１，Ｓ５５は、顔画像における対象者の顔輪郭を抽出する顔輪郭抽出手段を構成する。手順Ｓ５１，Ｓ５３，Ｓ５４は、顔画像における対象者の顔が横を向いているかどうかを検出する顔向き検出手段を構成する。手順Ｓ５６は、顔向き検出手段により対象者の顔が横を向いていることが検出されたときに、眼輪郭候補の上下で顔輪郭が非連続となっているかどうかを判断する判断手段を構成する。手順Ｓ５８は、判断手段により眼輪郭候補の上下で顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を対象者の眼輪郭でないと判定する判別手段を構成する。
以上のように本実施形態にあっては、運転者Ｄの顔画像データに基づいて、運転者Ｄの上下瞼候補エッジを抽出すると共に運転者Ｄの横方向の顔向き角度を検出し、顔が正面方向を向いていないときは、更に顔画像データに基づいて顔輪郭エッジを抽出する。そして、各上下瞼候補エッジを延長させた仮想ラインの上下における顔輪郭エッジの連続性を判断し、仮想ラインの上下で顔輪郭エッジが非連続であると判断されたときは、当該上下瞼候補エッジを眼鏡のエッジと断定し、眼の輪郭エッジとして抽出しないようにする。これにより、運転者Ｄが眼鏡を着用している場合に、運転者Ｄの顔画像において眼鏡のエッジを眼の輪郭エッジとして誤検出することを防止できるようになる。
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態の眼検出装置１は、車両の運転者Ｄの眼を検出するものであるが、本発明は、特に車両用には限られず、例えばロボットに搭載して、ロボット周囲の人物の眼を検出するもの等にも適用可能である。
１…眼検出装置、２…画像センサ、３…画像処理ＥＣＵ（眼輪郭候補抽出手段、顔輪郭抽出手段、顔向き検出手段、判断手段、判別手段）、Ｄ…運転者（対象者）。
Claims (2)
- 対象者の顔画像を取得し、当該顔画像に基づいて前記対象者の眼を検出する眼検出装置において、
前記顔画像における前記対象者の眼輪郭候補を抽出する眼輪郭候補抽出手段と、
前記顔画像における前記対象者の顔輪郭を抽出する顔輪郭抽出手段と、
前記顔画像における前記対象者の顔が横を向いているかどうかを検出する顔向き検出手段と、
前記顔向き検出手段により前記対象者の顔が横を向いていることが検出されたときに、前記眼輪郭候補の上下で前記顔輪郭が非連続となっているかどうかを判断する判断手段と、
前記判断手段により前記眼輪郭候補の上下で前記顔輪郭が非連続となっていると判断されたときは、当該眼輪郭候補を前記対象者の眼輪郭でないと判定する判別手段とを備えることを特徴とする眼検出装置。 - 前記判断手段は、前記眼輪郭候補を延長させた仮想ラインの上下で前記顔輪郭にずれがあるか否かによって、前記眼輪郭候補の上下で前記顔輪郭が非連続となっているかどうかを判断することを特徴とする請求項１記載の眼検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163452A JP4978574B2 (ja) | 2008-06-23 | 2008-06-23 | 眼検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163452A JP4978574B2 (ja) | 2008-06-23 | 2008-06-23 | 眼検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010003232A JP2010003232A (ja) | 2010-01-07 |
| JP4978574B2 true JP4978574B2 (ja) | 2012-07-18 |
Family
ID=41584880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008163452A Expired - Fee Related JP4978574B2 (ja) | 2008-06-23 | 2008-06-23 | 眼検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4978574B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799866B (zh) * | 2010-03-31 | 2012-05-02 | 拓维信息系统股份有限公司 | 面向手机动漫人物的脸部器官定位方法 |
| JP6307805B2 (ja) | 2013-07-24 | 2018-04-11 | 富士通株式会社 | 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム |
| US10621418B2 (en) * | 2016-02-18 | 2020-04-14 | Mitsubishi Electric Corporation | Passenger detection device, passenger detection system, and passenger detection method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3063504B2 (ja) * | 1993-12-22 | 2000-07-12 | 日産自動車株式会社 | 画像データの特徴量検出装置 |
| JP3451832B2 (ja) * | 1996-04-01 | 2003-09-29 | 日産自動車株式会社 | 顔画像の特徴量認識装置 |
| JP2000137792A (ja) * | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
| JP4204336B2 (ja) * | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
-
2008
- 2008-06-23 JP JP2008163452A patent/JP4978574B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010003232A (ja) | 2010-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5790762B2 (ja) | 瞼検出装置 | |
| JP5359266B2 (ja) | 顔認識装置、顔認識方法及び顔認識プログラム | |
| JP4826506B2 (ja) | 視線推定装置 | |
| JP5207249B2 (ja) | 運転者状態監視システム | |
| JP4811259B2 (ja) | 視線方向推定装置及び視線方向推定方法 | |
| EP1583035A2 (en) | Eye tracking method based on correlation and detected eye movement | |
| JP5737401B2 (ja) | 瞼検出装置 | |
| JP6855872B2 (ja) | 顔認識装置 | |
| JP2008171065A (ja) | 眠気検知装置 | |
| JP4978574B2 (ja) | 眼検出装置 | |
| JP6574988B2 (ja) | 照合装置及び照合方法 | |
| JP2005296382A (ja) | 視線検出装置 | |
| JP7024332B2 (ja) | ドライバモニタシステム | |
| JP4696571B2 (ja) | 眼位置検出装置 | |
| JP4883013B2 (ja) | 顔画像処理装置 | |
| JP5035139B2 (ja) | 眼画像処理装置 | |
| JP4825737B2 (ja) | 開眼度判定装置 | |
| JP2009278185A (ja) | 画像認識装置 | |
| JP6697006B2 (ja) | 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体 | |
| JP4623044B2 (ja) | 眼の開閉状態検出装置 | |
| JP7301256B2 (ja) | 顔向き判定装置および顔向き判定方法 | |
| JP2010066968A (ja) | 視線状態検出装置 | |
| JP7127661B2 (ja) | 開眼度算出装置 | |
| WO2023175939A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
| JP2010205076A (ja) | 眼検出装置、及び当該装置において用いられる方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120403 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4978574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |