JP4895797B2 - 瞼検出装置、瞼検出方法及びプログラム - Google Patents

瞼検出装置、瞼検出方法及びプログラム Download PDF

Info

Publication number
JP4895797B2
JP4895797B2 JP2006349031A JP2006349031A JP4895797B2 JP 4895797 B2 JP4895797 B2 JP 4895797B2 JP 2006349031 A JP2006349031 A JP 2006349031A JP 2006349031 A JP2006349031 A JP 2006349031A JP 4895797 B2 JP4895797 B2 JP 4895797B2
Authority
JP
Japan
Prior art keywords
red
eye
eyelid
edge
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006349031A
Other languages
English (en)
Other versions
JP2008158922A (ja
Inventor
淳 足立
義 浅野
勇二 蜷川
健一 大上
真一 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Toyota Central R&D Labs Inc
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Toyota Central R&D Labs Inc, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2006349031A priority Critical patent/JP4895797B2/ja
Priority to US11/962,350 priority patent/US7784943B2/en
Priority to DE200710055912 priority patent/DE102007055912A1/de
Priority to CN2007101943690A priority patent/CN101209207B/zh
Publication of JP2008158922A publication Critical patent/JP2008158922A/ja
Application granted granted Critical
Publication of JP4895797B2 publication Critical patent/JP4895797B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔画像から上下の瞼を検出する瞼検出装置、瞼検出方法及びプログラム に関する。
顔画像に基づいて眼の状態を判定し、その人の視線の方向を計測したり、瞼の開閉度からその人の覚醒度を推定する方法がある。眼の状態を判定するためには、顔画像の眼部を正確に検出することが必要である。また、瞼の開閉度を検出するためには、瞼を正確に検出することが必要である。
例えば、特許文献1には、顔画像から虹彩部を検出して運転者の状態を判定する技術が記載されている。特許文献1の技術は、顔画像内で虹彩部を検出する領域を設定し、その領域内において暗領域の面積を検出するとともに、その面積に応じて候補点に統計的処理で重み付けして虹彩中心位置を検出する。
特開平03−202045号公報
人物を写真等に撮影するときに、赤目現象が発生することが知られている。赤目現象とは、暗い中で大きく開いた瞳孔から光が入り、眼球内部の毛細血管が走る脈絡膜層で反射して、再び瞳孔から出た光が画像に映り込む現象である。フラッシュ等で照明した場合、瞳孔の収縮が遅れるので、赤目現象が発生する。連続して照明する場合は、瞳孔が収縮するので、赤目現象は解消する。
夜間、運転者の顔を撮像する場合、可視光で照明するのは運転の妨げになるので、例えば、近赤外光で照明する。近赤外光では瞳孔が収縮しないので、連続して赤目現象が発生することがある。
従来の技術では、赤目現象が発生した場合に瞳孔が明領域になるので、暗領域による虹彩部の検出ができない。赤目現象の瞳孔を検出した場合、瞳孔のエッジを瞼として誤って検出する場合がある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、赤目現象の場合でも正確に瞼を検出できる装置を提供することである。
上記目的を達成するため、本発明の第1の観点に係る瞼検出装置は、顔画像を取得する画像取得手段と、前記顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出手段と、前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出する瞼検出手段と、を備え、前記赤目検出手段で赤目現象を検出した場合に、前記瞼検出手段は、前記赤目現象である瞳孔のエッジを前記上瞼候補及び前記下瞼候補から除外することを特徴とする。
好ましくは、前記瞼検出手段は、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔の上側エッジを下瞼から除外することを特徴とする。
又は、前記瞼検出手段は、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔の下側エッジを、上瞼から除外することを特徴とする。
好ましくは、前記赤目検出手段は、前記顔画像のうち所定の明暗画素パターンに合致する部分を前記赤目現象である瞳孔として検出することを特徴とする。
好ましくは、前記赤目検出手段の所定の明暗画素パターンは、中心部の明領域とその周囲に配置された暗領域とから構成されることを特徴とする。
前記赤目検出手段は、前記顔画像のうち複数の異なる所定の明暗画素パターンのいずれかに合致する部分を、前記赤目現象である瞳孔として検出してもよい。
あるいは、前記赤目検出手段は、前記顔画像のうち明暗の境界であるエッジの形状が所定の条件に合致する部分を前記赤目現象である瞳孔として検出してもよい。
好ましくは、周囲の明るさを検知する照度検知手段と、前記照度検知手段が検出する周囲の明るさに基づいて、前記赤目検出手段による前記赤目現象の検出を行うか否かを判断する赤目検出実行判定手段と、をさらに備えることを特徴とする。
特に、前記赤目検出実行判定手段は、前記照度検知手段で検出する周囲の明るさが所定の値よりも明るい場合に、前記赤目検出手段による前記赤目現象の検出を行わないと判断する。
又は、前記赤目検出実行判定手段は、前記照度検知手段で検出する周囲の明るさが所定の値よりも暗い場合に、前記赤目検出手段による前記赤目現象の検出を行うと判断する。
本発明の第2の観点に係る瞼検出方法は、顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出ステップと、前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出する瞼検出ステップと、前記赤目検出ステップで赤目現象を検出した場合に、前記瞼検出ステップで検出した前記上瞼候補及び前記下瞼候補から、前記赤目現象である瞳孔のエッジを除外する赤目瞳孔除外ステップと、を備えることを特徴とする。
本発明の第3の観点に係るプログラムは、コンピュータを、顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出手段と、前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出し、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔のエッジを前記上瞼候補及び前記下瞼候補から除外する瞼検出手段、として機能させることを特徴とする。
本発明の瞼検出装置によれば、赤目現象が生じている場合でも、瞼を正確に検出することができる。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。図1は、本発明の一実施の形態に係る瞼検出装置の構成を示すブロック図である。本実施形態の瞼検出装置1は、運転者の顔を撮影して顔画像を生成するカメラ2と、運転者の顔を照明する照明光源3と、照度センサ4と、運転者の眼部を検出するコンピュータ10と、コンピュータ10に接続された表示装置7とを備える。
カメラ2は撮像素子、例えば、CCD(Charge Coupled Device:電荷結合素子)などでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。カメラ2は、例えば、運転者の顔の階調画像を取得する。カメラ2によって生成される画像データは、運転者の顔だけでなく、その背景なども含まれている。
照度センサ4は、例えば、フォトダイオード又は太陽電池などの光電変換素子から構成される。照度センサ4は、素子に当たる光を電圧又は電流に変換し、周囲の明るさを検知する。照度センサ4は、例えば、車両の外の明るさを検知する場所に設置される。
表示装置7は、LCD(Liquid Crystal Display)又はCRT(Cathode Ray Tube)などから構成され、カメラ2で撮影された顔画像から生成された二値化画像などを表示する。
コンピュータ10は、カメラ2により取得された画像データを処理して顔の左右両端位置、上下位置を検出する。この検出した左右両端位置、上下位置に基づいて、瞼を探索する領域(瞼探索領域)を設定する。そして、瞼探索領域において赤目現象と上下瞼を検出する。
図2は、本発明の一実施の形態である瞼検出装置1の論理的な構成を示すブロック図である。瞼検出装置1は、カメラ2、照度センサ4、画像入力部21、瞼探索領域設定部22、瞼候補検出部23、赤目検出実行判定部24、赤目検出部25、赤目除外処理部26、瞼判定部27、表示処理部28、データ保持部5、表示装置7などから構成される。データ保持部5には、顔画像データ51、顔領域・瞼探索領域データ52、瞼候補データ53、赤目瞳孔データ54、瞼データ55が記憶保持される。瞼検出装置1は、顔画像から眼部の赤目現象と上下瞼のペアを検出する。
図3は、瞼検出装置1の物理的な構成の一例を示すブロック図である。コンピュータ10は、図3に示すように、送受信部16と、画像メモリ12と、外部記憶部13と、制御部14と、主記憶部15と、表示制御装置17と、光源制御装置18とを備える。画像メモリ12、外部記憶部13、主記憶部15、送受信部16、表示制御装置17及び光源制御装置18はいずれも内部バス11を介して制御部14に接続されている。
制御部14はCPU(Central Processing Unit)等から構成され、外部記憶部13に記憶されているプログラムに従って、画像入力部21、瞼探索領域設定部22、瞼候補検出部23、赤目検出実行判定部24、赤目検出部25、赤目除外処理部26、瞼判定部27及び表示処理部28の処理を実行する。画像入力部21、瞼探索領域設定部22、瞼候補検出部23、赤目検出実行判定部24、赤目検出部25、赤目除外処理部26、瞼判定部27及び表示処理部28は、制御部14とその上で実行されるプログラムで実現される。
主記憶部15はRAM(Random-Access Memory)等から構成され、制御部14の作業領域として用いられる。データ保持部5は、画像メモリ12及び主記憶部15の一部に記憶領域の構造体として記憶保持される。
外部記憶部13は、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、前記の処理を制御部14に行わせるためのプログラムを予め記憶し、また、制御部14の指示に従って、このプログラムのデータを制御部14に供給し、制御部14から供給されたデータを記憶する。なお、画像データは外部記憶部13に格納されている場合がある。
送受信部16は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はLAN(Local Area Network)インタフェースから構成されている。制御部14は、送受信部16を介して、カメラ2から画像データを入力する。画像メモリ12は、カメラ2により生成され、送受信部16を経由して入力された画像データを記憶する。送受信部16とカメラ2とのインタフェースは、NTSC (national television system committee)方式等でもよい。NTSC方式の場合は、例えば、送受信部16で画像信号をディジタルデータに変換する。送受信部16は、また、照度センサ4から周囲の明るさに対応する信号を入力し、制御部14に伝達する。
表示制御装置17は、制御部14の制御下に、表示装置7を制御する。
光源制御装置18は、照明光源3の点灯・消灯を制御する。
制御部14は、外部記憶部13に格納されているプログラムを実行することにより、カメラ2により取得された画像データを処理して顔の両端位置、上下位置を検出し、この検出した両端位置、上下位置に基づいて、瞼探索領域における赤目現象と上下瞼の候補を検出し、その候補の中で最も上下瞼の条件に適合する候補を上下瞼対として選択する。
図2に戻って、瞼検出装置1の各部の作用を説明する。カメラ2は顔の画像を撮像する。画像入力部21は、一定時間間隔でカメラ2から時系列の画像データを入力し、データ保持部5に顔画像データ51として記憶する。
瞼探索領域設定部22は、顔画像データ51から顔領域を抽出し、顔領域の中に瞼探索領域を設定する。顔の領域を抽出するには、例えば、顔画像から顔輪郭のエッジを算出する。あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出してもよい。顔輪郭の範囲で、上から眉のエッジを、下から口下のエッジを検出することによって、顔の領域を設定する。そして、例えば、統計的データに基づいた比率で、顔領域の中に瞼探索領域を設定する。図5は、顔領域Fと瞼探索領域Eの例を示す。瞼探索領域設定部22は、設定した顔領域F及び瞼探索領域Eを、顔領域・瞼探索領域データ52として、データ保持部5に記憶する。
なお、検出しやすい特徴的な部分、例えば鼻孔を検出し、鼻孔の位置に基づいて瞼探索領域Eを設定してもよい。例えば、鼻孔の上から眉までの距離に所定の比率を乗じた長さを眉からとり、顔輪郭の幅に所定の比率を乗じた長さを顔輪郭の中央にとって、瞼探索領域Eとすることができる。瞼探索領域Eを設定することによって、瞼検出の効率を向上できる。
図4A乃至図4Dは、エッジ算出用の固定データの例を説明する図である。外部記憶部13は、図4A、図4Bに示すような、水平方向エッジ検出用と垂直方向エッジ検出用ソーベルフィルタのオペレータを格納する。本発明では、画像中で水平方向に輝度が明から暗、又は暗から明に変化する点の連なりを水平方向エッジという。水平方向エッジの点は概ね縦方向に連続するので、縦エッジともいう。また、垂直方向に輝度が明から暗、又は暗から明に変化する点の連なりを垂直方向エッジという。垂直方向エッジの点は概ね横方向に連続するので、横エッジともいう。
図4Aに示す水平方向エッジ(縦エッジ)検出用ソーベルフィルタは、図4Cに示すような縦方向に連続する濃淡差の境界(エッジ)を抽出するためのオペレータである。図4Bに示す垂直方向エッジ(横エッジ)検出用のソーベルフィルタは、図4Dに示すような横方向に連続する濃淡差の境界(エッジ)を抽出するためのオペレータである。
また、外部記憶部13は、図5に示すように、主記憶部15に格納される顔画像のうち、顔の範囲Fを特定するデータ、及び、眼や眉の画像が存在すると想定される瞼探索領域Eを特定するデータを格納する。
瞼候補検出部23は、瞼探索領域Eから、例えば図4A及び図4Bに示すフィルタを用いて、水平方向エッジ及び垂直方向エッジを算出する。図6は、瞼探索領域Eの原画像の例を模式的に示す。図6では、画像の暗領域をハッチングを付して表している。図6には、瞼の垂直方向エッジが検出される位置を実線で表している。上瞼のエッジが検出される位置は実線Lu、下瞼のエッジが検出される位置は実線Llである。その他、垂直方向エッジとして、眉や虹彩のエッジが検出される。
垂直方向エッジのうち、上から下に向かって明から暗に変化するエッジを上瞼候補とする。垂直方向エッジのうち、上から下に向かって暗から明に変化するエッジを下瞼候補とする。瞼候補検出部23は、上瞼候補及び下瞼候補を瞼候補データ53として、データ保持部5に記憶する。
水平方向エッジと垂直方向エッジを組み合わせて、上瞼候補及び下瞼候補の確からしさを判断してもよい。例えば、上瞼は上に湾曲しているので、垂直方向エッジの両端に水平方向エッジが現れる。両側に水平方向エッジが存在する垂直方向エッジを、確からしい上瞼候補とすることができる。
図7は、赤目現象が生じている場合の瞼検索領域Eの画像を模式的に示す。図7では、図6と同様に、画像の暗領域をハッチングを付して表している。赤目現象の瞳孔(以下、赤目瞳孔と略すことがある)Pの上側では、上から下に向かって暗から明に輝度が変化する。従って、赤目瞳孔Pの上側に下瞼と同じ上から下に向かって暗から明に変化する垂直方向エッジが算出される。図7に、赤目瞳孔の上に算出される垂直方向エッジの位置を実線Lfで示す。また、瞳孔の下側には上瞼と同じく、上から下に向かって明から暗に変化する垂直方向エッジが算出される。
赤目瞳孔Pに現れる垂直方向エッジは、上瞼及び下瞼の候補になる。赤目瞳孔Pによってできる上瞼候補又は下瞼候補を、瞼と判定する可能性がある。特に、赤目瞳孔Pの上側に現れる下瞼候補は、下瞼として判定されると、上瞼候補との位置関係により眼が閉じられていると判定されるおそれがある。
赤目検出実行判定部24は、照度センサ4から周囲の明るさに対応する信号を入力する。周囲が明るい場合は、運転者の瞳孔は小さくなっているので、赤目現象は生じない。赤目現象が生じるのは、周囲が暗く運転者の瞳孔が大きく開かれている場合である。赤目検出実行判定部24は、周囲の明るさが所定の値より暗い場合に、赤目検出部25に対して赤目現象を検出する指令を出力する。また、周囲の明るさが所定の値より明るければ、赤目検出部25に対して赤目現象の検出を行わないよう指令する。
照度センサ4及び赤目検出実行判定部24を備えずに、常に赤目現象の検出を行ってもよい。赤目検出を実行するかどうか判定することによって、周囲が明るく赤目現象が生じない場合の瞼検出処理を効率よく行うことができる。
赤目検出部25は、瞼探索領域Eから、赤目現象が生じている瞳孔を検出する。赤目現象の瞳孔を検出するには、所定の明暗画素パターンを用い、その明暗画素パターンに合致する部分を赤目瞳孔Pと判断する。
図8A乃至図8Dは、赤目現象の瞳孔を検出する明暗画素パターンの例を示す。図8A乃至図8Dにおいて、小さい正方形は1つの画素を表す。図8Aと図8Bは9×9の画素配列、図8Cは6×6の画素配列、図8Dは7×7の画素配列である。
画素のうち、白抜きのものは輝度が所定のしきい値a以上の画素(白画素C)を、黒く塗りつぶしたものは輝度が所定のしきい値b以下の画素(黒画素B)を表す。ハッチングを施した画素は明暗画素パターンと画像を比較するときに、考慮しない画素D(ドントケア)を表す。ここで、しきい値a及びbは異なる値である。
明暗画素パターンを画像に重ねて、明暗画素パターンの白画素C及び黒画素Bにおいて重なる画素ごとに明暗画素パターンの画素と画像の画素を比較する。その画素ごとの明暗が全て一致した(論理積が全て真である)場合に、その画像の部分が明暗画素パターンに合致したと判断する。ここで、画素の明暗が一致するとは、白画素Cに対応する画素において輝度が所定のしきい値a以上であり、黒画素Bに対応する画素において輝度が所定のしきい値b以下であることをいう。そして明暗画素パターンが合致した位置に、赤目瞳孔があると判断する。明暗画素パターンとの一致をみることによって、空間的に明暗が変化する赤目瞳孔を検出することができる。
図8A乃至図8Dの例は、いずれも中心部に明領域の白画素Cがあり、その周囲に暗領域の黒画素Bが配置されている。赤目現象が生じたときに、瞳孔は輝度が明るくなる。瞳孔の周囲の虹彩は暗く映る。従って、図8A乃至図8Dのように中心部の明領域とその周囲に配置された暗領域を有する明暗画素パターンで、赤目現象を検出することができる。
明暗画素パターンはカメラ2の解像度と顔画像の大きさに合わせて、赤目現象の瞳孔に適合するように設定する。例えば、解像度が高い画像では、図8Aのように、中心部の明領域の画素数を多くする。解像度が低い画像では、図8Cのように、中心部の明領域の画素数を少なくする。また、明領域と暗領域の間に考慮しない画素Dを設けるのは、明領域又は暗領域の大きさが変わっても検出できるようにするためである。
さらに、複数の明暗画素パターンを用意しておいて、複数の明暗画素パターンのいずれかに合致する部分を赤目瞳孔と判定してもよい。顔の向きが異なる場合や眼の大きさなどに個人差があっても、赤目現象を検出する精度を向上できる。
赤目現象を検出するには、明暗画素パターンとの合致を判定する方法以外でもよい。例えば、明暗境界の形状から赤目現象の瞳孔を検出してもよい。図9は、赤目現象の場合の瞼探索領域Eの画像から明暗のエッジを検出した例を示す。赤目現象の瞳孔は明領域であり、その周囲の虹彩は暗領域になる。従って、赤目瞳孔Pの周囲に明暗のエッジが検出される。このエッジの形状が所定の条件に合致する部分を、赤目瞳孔Pとして検出することができる。具体的な方法の例を以下に記載する。
図10は、図9の部分Rを拡大して示す図である。赤目瞳孔Pでは水平方向のエッジとして、顔画像に向かって瞳孔の左端に、左から右に向かって暗から明に変化するエッジ(縦プラスエッジという)Hpが現れる。また、赤目瞳孔Pの右端に左から右に向かって明から暗に変化するエッジ(縦マイナスエッジという)Hmが現れる。垂直方向のエッジとして、赤目瞳孔Pの上端に、上から下に向かって暗から明に変化するエッジ(横プラスエッジという)Vpが現れる。そして赤目瞳孔Pの下端には、上から下に向かって明から暗に変化するエッジ(横マイナスエッジという)Vmが現れる。
左が縦プラスエッジHp、右が縦マイナスエッジHm、上が横プラスエッジVp、下が横マイナスエッジVmの4種類の明暗境界で囲まれ、その囲まれた領域の画素数が所定の範囲である部分を赤目瞳孔Pと判定できる。従って、それら条件で瞼検索領域Eを探索して赤目瞳孔Pを検出することができる。
あるいは、明暗のエッジパターンから赤目瞳孔Pを検出してもよい。図12A乃至図12Dは、赤目現象を検出するエッジパターンの例を示す。ここで、塗りつぶされた領域はエッジであり、上に横プラスエッジVp、下に横マイナスエッジVm、左に縦プラスエッジHp、右に縦マイナスエッジHmが配置されている。横エッジと縦エッジの双方に属する点をパターンに含めることもできる。例えば図12Dに示すように、横プラスエッジVpと縦プラスエッジHpの共通点K1、横プラスエッジVpと縦マイナスエッジHmの共通点K2、横マイナスエッジVmと縦プラスエッジHpの共通点K3、横マイナスエッジVmと縦マイナスエッジHmの共通点K4を、赤目現象を検出するエッジパターンに含めてもよい。例えば、明暗のエッジを検出したのち、図12A乃至図12Dに示すような所定のエッジパターンに一致する部分を赤目瞳孔Pとして検出する。又は、所定のエッジパターンと一致する率が所定の値以上である場合に、その部分を赤目瞳孔Pとして検出してもよい。
ここで、エッジパターンに一致するとは、例えば図12A〜図12Cにおいて、横プラスエッジVpの領域ではエッジの強さを表す値(例えば、輝度の変化量、ソーベルフィルタの演算値等。以下、エッジ値という)が所定の閾値Aよりも大きく、横マイナスエッジVmの領域では該エッジ値が所定の閾値Bよりも小さく、縦プラスエッジHpの領域ではエッジ値が所定の閾値Cよりも大きく、縦マイナスエッジHmの領域ではエッジ値が所定の閾値Dよりも小さい場合をいうものとする。
なお、ここでは例えば図4A又は図4Bに示すようなエッジ検出用オペレータを用いるので、エッジ値は輝度が上から下又は左から右に向かって明から暗に変化する境界においてはプラスの値であり、輝度が暗から明に変化する境界においてはマイナスの値となる。さらに、閾値A、Cは正の値であり、閾値B、Dは負の値である。閾値A、B、C、Dは絶対値を同じとしてもよいし、それぞれ異なる絶対値を有するようにしてもよい。
また、図12Dのように、縦エッジと横エッジの双方に属する点K1〜K4については、縦エッジ(水平方向エッジ)の値と横エッジ(垂直方向エッジ)の値の合成値で判定する。ある画素の水平方向エッジのソーベルフィルタ演算値をH、その画素の垂直方向エッジのソーベルフィルタ演算値をVとして、例えば、図12Dの共通点K1については、H+Vが所定の閾値cより大きい場合にその点のエッジ値が強いと判定する。同様に、共通点K2では、対象となる画素について−H+Vが所定の閾値dより大きい場合に、その点のエッジ値が強いと判定する。共通点K3では、H−Vを閾値eと、共通点K4では−H−Vを閾値fと比較して判定する。閾値c、d、e、fは同じ値としてもよいし、それぞれ異なる値を有するようにしてもよい。
赤目検出部25は、赤目現象を検出した場合、赤目瞳孔の位置などを赤目瞳孔データ54としてデータ保持部5に記憶する。赤目現象を検出しなかった場合は、赤目現象がないことを記憶する。
赤目除外処理部26は、赤目現象が検出された場合に、赤目瞳孔の上下に算出される垂直方向エッジを、下瞼候補及び上瞼候補から除外する。赤目瞳孔は、赤目現象を検出するための明暗画素パターンに合致している部分であるから、赤目瞳孔の上下に現れる垂直方向エッジの位置はわかっている。すなわち、赤目瞳孔の位置に置いた場合の明暗画素パターンの明領域と暗領域の境界にある瞼候補は、赤目瞳孔による垂直方向エッジとみなすことができる。
瞼判定部27は、残った上瞼候補及び下瞼候補について、上下の瞼をペアとしたときの条件に最も適合する組合わせを上下の瞼とする。例えば、上瞼候補のエッジと下瞼候補のエッジの長さがそろっていること、エッジ重心の横方向の位置が上下瞼対でそろっていること、エッジ重心間の距離が所定の範囲内であることなどで判定する。
具体的には、例えば、上瞼候補のエッジの長さをLm、下瞼候補のエッジの長さをLp、しきい値をLtとして、
|Lm−Lp|<Lt
の条件を満たす上瞼候補と下瞼候補の組み合わせを残す。
また、例えば、上瞼候補のエッジの重心X座標をXm、下瞼候補のエッジの重心X座標をXp、しきい値をXtとして、
|Xm−Xp|<Xt
の条件を満たす上瞼候補と下瞼候補の組み合わせを残す。
さらに、上瞼候補のエッジの重心Y座標をYm、下瞼候補のエッジの重心Y座標をYp、しきい値をDtとして、
(Xm−Xp)+(Ym−Yp)<Dt
の条件を満たす上瞼候補と下瞼候補の組み合わせを残す。
そして、残った組み合わせのうち、例えば、左右の眼として妥当な組み合わせで、かつ最もエッジ重心の横方向の位置が近い組み合わせを上下瞼対として選択する。瞼判定部27は、選択した上下瞼対を瞼データとしてデータ保持部5に記憶する。
表示処理部28は、検出された結果の上下瞼を顔の輪郭等とともに表示装置7に表示する。上下瞼から眼の開閉度を判定してもよい。上下瞼の開閉度から運転者の覚醒度合いを推定し、居眠りと判定された場合に、表示装置7で警告を表示(音響等を含む)してもよい。また、視線の方向の推定に、上下瞼データを利用することもできる。なお、表示装置7は必須の構成要素ではなく、瞼検出装置1の構成として備えていなくてもよい。
つぎに、瞼検出装置1の動作について説明する。なお、瞼検出装置1の動作は、制御部14がカメラ2、送受信部16、画像メモリ12、外部記憶部13及び主記憶部15と協働して行う。
図11は、瞼検出装置1の動作の一例を示すフローチャートである。制御部14は送受信部16を介してカメラ2から顔画像を入力する(ステップS1)。そして、前述のとおり、顔領域を設定するが、ここでは、さらに顔向きの判定を行う(ステップS2)。顔の向きは、例えば、顔の輪郭の対称性、眉と口下の顔輪郭内の相対位置によって判定する。顔向き画像正面から所定の閾値以上横を向いている場合は(ステップS3;No)、瞼検出には適当でないので、次のフレームの顔画像入力に戻る(ステップS1)。
顔向きが画像正面から所定の閾値以内であれば(ステップS3;Yes)、鼻孔を探索する(ステップS4)。鼻孔が検出できなければ(ステップS5;No)、瞼検出には適当でないので、次のフレームの顔画像入力に戻る(ステップS1)。鼻孔が検出できた場合は(ステップS5;Yes)、顔領域の中に瞼探索領域を設定する(ステップS6)。
制御部14は、設定された瞼探索領域内で水平方向エッジ及び垂直方向エッジを算出し、上下の瞼候補を検出する(ステップS7)。制御部14は、算出した水平方向エッジ及び垂直方向エッジについてグループ化し、所定の長さ(連続点数)以下のエッジを削除するなどの処理を行う。また、その長さ、重心の位置を計算する。さらに、垂直方向エッジと水平方向エッジの形状と位置関係から、上瞼候補の確からしさを算出してもよい。
次に、周囲の明るさを照度センサ4から入力し(ステップS8)、周囲の明るさが所定の値以下であれば(ステップS9;Yes)、赤目現象の検出を行う(ステップS10)。周囲の明るさが所定の値を超えていれば(ステップS9;No)、赤目現象の検出を行わず上瞼候補の対応づけ処理(ステップS14)に進む。
ここでは、例えば明暗画素パターンを用いて赤目現象を検出する(ステップS10)。複数の明暗画素パターンを用いて、いずれかの明暗画素パターンに合致する画像部分を赤目瞳孔としてもよい。赤目現象が検出された場合は(ステップS11;Yes)、赤目瞳孔の上エッジを下瞼候補から除外する(ステップS12)。また、赤目瞳孔の下エッジを上瞼候補から除外する(ステップS13)。赤目現象が検出されない場合は(ステップS11;No)、下瞼候補及び上瞼候補の除外処理は行わない。
前述のとおり、残った上瞼候補及び下瞼候補について、上下の瞼をペアとしたときの条件に最も適合する組合わせを上下の瞼とする(ステップS14)。
ここではさらに、上下の瞼の対が3以上残った場合に備えて、瞬きによって瞼を判定する。上下の瞼候補対ごとに開いている度合いを計算する(ステップS15)。開いている度合い(開度)は、例えば、上瞼の中心と下瞼の中心の距離である。
上下瞼候補対とその開度を時系列に対応づけて(ステップS16)、開度の変化が瞬きと判定される場合(ステップS17;Yes)、その瞬きした瞼候補を瞼と判定し、瞼データ55として登録する(ステップS18)。例えば、開度が所定の値以上の瞼候補が、所定のフレーム数の画像において、開度が小さくなり、再び開度が大きくなった場合に瞬きと判定する。
瞼候補に瞬きがない場合は(ステップS17;No)、瞼候補を瞼と判定せず次の画像入力を行う(ステップS1)。瞼検出処理を繰り返すうちに、いずれ瞬きが発生するので、瞼を正しく判定することができる。上下の瞼候補対が2組しかなく、顔の中の位置、形状、上下関係などから確実に瞼と判断できる場合は、瞬きによる瞼判定を省略してもよい。
瞼の開度を他の処理に利用することができる。例えば、所定のフレーム数以上連続して、瞼の開度が小さくなった場合に、居眠りと判定することができる。
本発明の瞼検出装置1によれば、赤目現象が発生している場合でも、顔画像データから、精度よく瞼を検出することができる。
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
制御部14、送受信部16、画像メモリ12、外部記憶部13及び主記憶部15などから構成される瞼検出装置1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する瞼検出装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで瞼検出装置1を構成してもよい。
また、瞼検出装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
本発明の実施形態に係る瞼検出装置のブロック図である。 本発明の一実施の形態である瞼検出装置の論理的な構成を示すブロック図である。 図1に示すコンピュータの構成を示すブロック図である。 縦エッジ検出用オペレータの例を示す図である。 横エッジ検出用オペレータの例を示す図である。 縦方向に連続する濃淡差の例を表す図である。 横方向に連続する濃淡差の例を表す図である。 顔画像の領域を特定するデータの例を示す図である。 瞼探索領域の原画像の例を模式的に示す図である。 赤目現象の場合の画像の例を模式的に示す図である。 赤目現象を検出する明暗画素パターンの例を示す図である。 赤目現象を検出する明暗画素パターンの例を示す図である。 赤目現象を検出する明暗画素パターンの例を示す図である。 赤目現象を検出する明暗画素パターンの例を示す図である。 赤目現象の場合の瞼探索領域の画像から明暗のエッジを検出した例を示す図である。 図9の部分Rを拡大して示す図である。 瞼検出装置の動作の一例を示すフローチャートである。 赤目現象を検出するエッジパターンの例を示す図である。 赤目現象を検出するエッジパターンの例を示す図である。 赤目現象を検出するエッジパターンの例を示す図である。 赤目現象を検出するエッジパターンの例を示す図である。
符号の説明
1 瞼検出装置
2 カメラ(画像取得手段)
4 照度センサ(照度検知手段)
5 データ保持部
10 コンピュータ
12 画像メモリ
13 外部記憶部
14 制御部(画像取得手段、赤目検出実行判定手段、赤目検出手段、瞼検出手段)
15 主記憶部
16 送受信部(画像取得手段)
21 画像入力部
22 瞼探索領域設定部
23 瞼候補検出部(瞼候補検出手段、瞼検出手段)
24 赤目検出実行判定部(赤目検出実行判定手段)
25 赤目検出部(赤目検出手段)
26 赤目除外処理部(瞼検出手段)
27 瞼判定部(瞼検出手段)
51 顔画像データ
52 顔領域・瞼探索領域データ
53 瞼候補データ
54 赤目瞳孔データ
55 瞼データ

Claims (12)

  1. 顔画像を取得する画像取得手段と、
    前記顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出手段と、
    前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出する瞼検出手段と、
    を備え、
    前記赤目検出手段で赤目現象を検出した場合に、前記瞼検出手段は、前記赤目現象である瞳孔のエッジを、前記上瞼候補及び前記下瞼候補から除外することを特徴とする瞼検出装置。
  2. 前記瞼検出手段は、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔の上側エッジを下瞼から除外することを特徴とする請求項1に記載の瞼検出装置。
  3. 前記瞼検出手段は、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔の下側エッジを、上瞼から除外することを特徴とする請求項1又は2に記載の瞼検出装置。
  4. 前記赤目検出手段は、前記顔画像のうち所定の明暗画素パターンに合致する部分を前記赤目現象である瞳孔として検出することを特徴とする請求項1乃至3のいずれか1項に記載の瞼検出装置。
  5. 前記赤目検出手段の所定の明暗画素パターンは、中心部の明領域とその周囲に配置された暗領域とから構成されることを特徴とする請求項4に記載の瞼検出装置。
  6. 前記赤目検出手段は、前記顔画像のうち複数の異なる所定の明暗画素パターンのいずれかに合致する部分を、前記赤目現象である瞳孔として検出することを特徴とする請求項4に記載の瞼検出装置。
  7. 前記赤目検出手段は、前記顔画像のうち明暗の境界であるエッジの形状が所定の条件に合致する部分を前記赤目現象である瞳孔として検出することを特徴とする請求項1乃至3のいずれか1項に記載の瞼検出装置。
  8. 周囲の明るさを検知する照度検知手段と、
    前記照度検知手段が検出する周囲の明るさに基づいて、前記赤目検出手段による前記赤目現象の検出を行うか否かを判断する赤目検出実行判定手段と、
    をさらに備えることを特徴とする請求項1乃至7のいずれか1項に記載の瞼検出装置。
  9. 前記赤目検出実行判定手段は、前記照度検知手段で検出する周囲の明るさが所定の値よりも明るい場合に、前記赤目検出手段による前記赤目現象の検出を行わないと判断することを特徴とする請求項8に記載の瞼検出装置。
  10. 前記赤目検出実行判定手段は、前記照度検知手段で検出する周囲の明るさが所定の値よりも暗い場合に、前記赤目検出手段による前記赤目現象の検出を行うと判断することを特徴とする請求項8に記載の瞼検出装置。
  11. 顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出ステップと、
    前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出する瞼検出ステップと、
    前記赤目検出ステップで赤目現象を検出した場合に、前記瞼検出ステップで検出した前記上瞼候補及び前記下瞼候補から、前記赤目現象である瞳孔のエッジを除外する赤目瞳孔除外ステップと、
    を備えることを特徴とする瞼検出方法。
  12. コンピュータを、
    顔画像から虹彩部の空間的な明暗の変化を感知して、瞳孔から入射した光が反射して前記顔画像に映り込む赤目現象を検出する赤目検出手段と、
    前記顔画像から明暗の境界であるエッジに基づいて上瞼候補及び下瞼候補を検出し、前記上瞼候補及び下瞼候補から上瞼及び下瞼を検出し、前記赤目検出手段で赤目現象を検出した場合に、前記赤目現象である瞳孔のエッジを前記上瞼候補及び前記下瞼候補から除外する瞼検出手段、
    として機能させることを特徴とするプログラム。
JP2006349031A 2006-12-26 2006-12-26 瞼検出装置、瞼検出方法及びプログラム Expired - Fee Related JP4895797B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006349031A JP4895797B2 (ja) 2006-12-26 2006-12-26 瞼検出装置、瞼検出方法及びプログラム
US11/962,350 US7784943B2 (en) 2006-12-26 2007-12-21 Eyelid detecting apparatus, eyelid detecting method and program thereof
DE200710055912 DE102007055912A1 (de) 2006-12-26 2007-12-21 Augenliderfassungsvorrichtung, Augenliderfassungsverfahren und zugehöriges Programm
CN2007101943690A CN101209207B (zh) 2006-12-26 2007-12-26 睑检测装置以及睑检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006349031A JP4895797B2 (ja) 2006-12-26 2006-12-26 瞼検出装置、瞼検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2008158922A JP2008158922A (ja) 2008-07-10
JP4895797B2 true JP4895797B2 (ja) 2012-03-14

Family

ID=39465934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006349031A Expired - Fee Related JP4895797B2 (ja) 2006-12-26 2006-12-26 瞼検出装置、瞼検出方法及びプログラム

Country Status (4)

Country Link
US (1) US7784943B2 (ja)
JP (1) JP4895797B2 (ja)
CN (1) CN101209207B (ja)
DE (1) DE102007055912A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US20110102643A1 (en) * 2004-02-04 2011-05-05 Tessera Technologies Ireland Limited Partial Face Detector Red-Eye Filter Method and Apparatus
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
JP4623171B2 (ja) * 2008-09-03 2011-02-02 株式会社デンソー 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
US8345922B2 (en) * 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
JP4623172B2 (ja) * 2008-09-03 2011-02-02 株式会社デンソー 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
EP2491534A1 (en) * 2009-10-19 2012-08-29 Hewlett-Packard Development Company, L.P. Red eye detection aided by face detection
WO2011105004A1 (ja) * 2010-02-26 2011-09-01 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
CN102243761B (zh) * 2010-05-14 2014-03-26 致伸科技股份有限公司 红眼图像检测方法及其相关装置
JP5519413B2 (ja) * 2010-06-03 2014-06-11 パナソニック株式会社 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
JP5655491B2 (ja) * 2010-10-18 2015-01-21 トヨタ自動車株式会社 開眼状態検出装置
CN103493100B (zh) 2011-04-19 2016-04-06 爱信精机株式会社 眼睑检测装置、眼睑检测方法
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP2013015970A (ja) * 2011-07-01 2013-01-24 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム
DE112011105435B4 (de) * 2011-07-11 2022-07-07 Toyota Jidosha Kabushiki Kaisha Augenliderfassungsvorrichtung
DE112011105445B4 (de) * 2011-07-11 2020-08-06 Toyota Jidosha Kabushiki Kaisha Rote-Augen-Bestimmungsvorrichtung
JP5737400B2 (ja) * 2011-07-11 2015-06-17 トヨタ自動車株式会社 赤目検出装置
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
CN102988037A (zh) * 2011-09-16 2013-03-27 贾天民 通过对人眼部量值的检测达到警示与控制行为的智能装置
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
JP6462209B2 (ja) 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
CN103919532B (zh) * 2014-04-24 2015-12-09 厦门大学 一种多光谱睑板腺检测分析装置
US10007845B2 (en) 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
EP3337383B1 (en) * 2015-08-21 2024-10-16 Magic Leap, Inc. Eyelid shape estimation
JP6918781B2 (ja) 2015-08-21 2021-08-11 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼ポーズ測定を用いた眼瞼形状推定
NZ741863A (en) 2015-10-16 2019-05-31 Magic Leap Inc Eye pose identification using eye features
CN105996986B (zh) * 2016-04-21 2018-08-24 厦门大学 一种基于多光谱检测人眼睑板腺模型的装置及其方法
DE112017005233B4 (de) * 2017-01-17 2021-08-26 Mitsubishi Electric Corporation Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren
CN108875541A (zh) * 2018-03-16 2018-11-23 中国计量大学 一种基于虚拟现实技术的视觉疲劳检测算法
WO2023054756A1 (ko) * 2021-09-29 2023-04-06 주식회사 아이디랩 안검 영역을 검출하는 방법 및 이를 위한 서버

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0220245A (ja) 1988-07-07 1990-01-23 Matsuura Nobuo 煮付用冷凍魚の製造方法
JP2932551B2 (ja) 1989-12-28 1999-08-09 日産自動車株式会社 虹彩位置検出装置及び運転者の状態検出装置
JP3063504B2 (ja) 1993-12-22 2000-07-12 日産自動車株式会社 画像データの特徴量検出装置
JP3143819B2 (ja) 1994-05-20 2001-03-07 株式会社豊田中央研究所 まぶたの開度検出装置
JP3533722B2 (ja) 1994-09-30 2004-05-31 オムロン株式会社 不良検査方法およびその装置
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3312562B2 (ja) 1996-07-18 2002-08-12 日産自動車株式会社 居眠り状態検出装置
JPH1044824A (ja) 1996-07-30 1998-02-17 Nissan Motor Co Ltd 車両運転者の開閉眼判定装置
JP3422183B2 (ja) 1996-08-22 2003-06-30 トヨタ自動車株式会社 顔画像における目の検出方法
JP3444115B2 (ja) 1996-11-13 2003-09-08 日産自動車株式会社 居眠り状態検出装置
JPH1166320A (ja) 1997-08-12 1999-03-09 Mitsubishi Electric Corp 目画像追跡装置
JP2000067225A (ja) 1998-08-26 2000-03-03 Nissan Motor Co Ltd 眼位置検出装置
JP2000123188A (ja) 1998-10-20 2000-04-28 Toyota Motor Corp 眼開閉判定装置
JP2000137792A (ja) 1998-10-30 2000-05-16 Toyota Motor Corp 眼部検出装置
JP3969894B2 (ja) * 1999-05-24 2007-09-05 三菱電機株式会社 顔画像処理装置
JP3695990B2 (ja) 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
JP4367807B2 (ja) 1999-11-16 2009-11-18 株式会社ジャパンエナジー 洗浄方法
JP2001307076A (ja) 2000-04-24 2001-11-02 Niles Parts Co Ltd 眼の状態検出装置、居眠り検出装置
GB2385736B (en) * 2002-02-22 2005-08-24 Pixology Ltd Detection and correction of red-eye features in digital images
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
CN1567377B (zh) * 2003-07-02 2011-05-04 致伸科技股份有限公司 数字图像的红眼处理方法
JP4390487B2 (ja) 2003-07-03 2009-12-24 セコム株式会社 頭部領域抽出装置
JP4725831B2 (ja) 2003-07-09 2011-07-13 Dic株式会社 エポキシ樹脂組成物とその硬化物
JP2005222152A (ja) * 2004-02-03 2005-08-18 Omron Corp 画像補正装置
US20050220346A1 (en) * 2004-03-30 2005-10-06 Fuji Photo Film Co., Ltd. Red eye detection device, red eye detection method, and recording medium with red eye detection program
JP2006048223A (ja) * 2004-08-02 2006-02-16 Canon Inc 画像処理装置及び画像処理方法及びコンピュータプログラム
JP4130820B2 (ja) 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法

Also Published As

Publication number Publication date
US7784943B2 (en) 2010-08-31
US20080151186A1 (en) 2008-06-26
DE102007055912A1 (de) 2008-07-03
CN101209207A (zh) 2008-07-02
CN101209207B (zh) 2012-05-23
JP2008158922A (ja) 2008-07-10

Similar Documents

Publication Publication Date Title
JP4895797B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
JP4137969B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
JP4307496B2 (ja) 顔部位検出装置及びプログラム
JP6577454B2 (ja) 軸上視線追跡システム及び方法
US7936926B2 (en) Apparatus, method, and program for face feature point detection
JP3143819B2 (ja) まぶたの開度検出装置
EP1969993B1 (en) Eyelid detection apparatus
JP6322986B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2000082147A (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
US12106530B2 (en) Iris recognition system, iris recognition method, and storage medium
JP6767482B2 (ja) 視線検出方法
US10902258B2 (en) Iris recognition system, iris recognition method, and storage medium
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
US20200184186A1 (en) Image processing system, image processing method, and storage medium
EP3671541B1 (en) Classification of glints using an eye tracking system
JP5128454B2 (ja) 瞼検出装置、瞼検出方法及びプログラム
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP6155106B2 (ja) 画像センサ
JP2020095499A (ja) 眼の開閉検出装置、乗員監視装置
JP6133700B2 (ja) 画像センサ
KR20140066848A (ko) 얼굴 검출 장치 및 얼굴 검출 방법
JP2008234209A (ja) 目傾き検出装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R151 Written notification of patent or utility model registration

Ref document number: 4895797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees