JP5262243B2 - 眼開閉判別装置、及びプログラム - Google Patents
眼開閉判別装置、及びプログラム Download PDFInfo
- Publication number
- JP5262243B2 JP5262243B2 JP2008090537A JP2008090537A JP5262243B2 JP 5262243 B2 JP5262243 B2 JP 5262243B2 JP 2008090537 A JP2008090537 A JP 2008090537A JP 2008090537 A JP2008090537 A JP 2008090537A JP 5262243 B2 JP5262243 B2 JP 5262243B2
- Authority
- JP
- Japan
- Prior art keywords
- eyelid
- reliability
- detected
- edge group
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Description
本発明は、例えば、車両等の移動体を運転している運転者等の眼の開閉を判別する眼開閉判別装置、及びプログラムに関する。
現在、運転者の眼の開閉状態を検出する眼開閉判別装置が実用化されている。
例えば、特許文献１に開示されている眼開閉判別装置は、顔画像からエッジ検出処理によって上瞼のエッジラインを検出し、上瞼エッジラインのピーク点からその両端を結ぶ線へ下ろした垂線の長さによって眼の開閉を判別する処理と、顔画像を二値化して、二値化された眼画像の縦幅によって眼の開閉を判別処理と、上瞼のエッジラインのピーク点と眉毛との間隔に基づいて眼の開閉を判別する処理と、上瞼のエッジラインの曲率半径に基づいて眼の開閉を判別する処理とを組み合わせることによって、眼の開閉を判別する。
特開２００４−１９２５５２号公報
しかし、上記の眼開閉判別装置は、白とび等により下瞼の一部が欠けている場合に、上瞼と下瞼との間の距離が正確に検出できないため、正確に眼の開閉を判別できない。
また、上瞼エッジラインのピーク点からその両端を結ぶ線へ下ろした垂線の長さによって眼の開閉を判別する場合に、目尻、目頭が欠けていると、目尻、目頭を結ぶ直線が正確に求められず、正確に眼の開閉を判別できない。
また、上瞼エッジラインのピーク点と眉毛との間隔や上瞼のエッジラインの曲率半径に基づいて眼の開閉を判別する場合には、運転者の眼の形状等によっては、正確に眼の開閉を判別できない。
また、上瞼エッジラインのピーク点からその両端を結ぶ線へ下ろした垂線の長さによって眼の開閉を判別する場合に、目尻、目頭が欠けていると、目尻、目頭を結ぶ直線が正確に求められず、正確に眼の開閉を判別できない。
また、上瞼エッジラインのピーク点と眉毛との間隔や上瞼のエッジラインの曲率半径に基づいて眼の開閉を判別する場合には、運転者の眼の形状等によっては、正確に眼の開閉を判別できない。
本発明は、上記問題点に鑑みてなされたもので、正確に眼の開閉を判別できる眼開閉判別装置及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第１の観点に係る眼開閉判別装置は、
顔画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段と、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段と、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段と、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段と、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段と、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段と、を備える、
ことを特徴とする。
例えば、前記信頼度取得手段は、前記エッジ群検出手段が検出したエッジの群のエッジの数に基づいて該エッジの群の信頼度を求めてもよい。
例えば、前記信頼度取得手段は、前記上瞼検出手段が検出した上瞼から前記エッジ群検出手段が検出したエッジの群までの距離に基づいて、該エッジの群の信頼度を求めてもよい。
顔画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段と、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段と、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段と、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段と、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段と、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段と、を備える、
ことを特徴とする。
例えば、前記信頼度取得手段は、前記エッジ群検出手段が検出したエッジの群のエッジの数に基づいて該エッジの群の信頼度を求めてもよい。
例えば、前記信頼度取得手段は、前記上瞼検出手段が検出した上瞼から前記エッジ群検出手段が検出したエッジの群までの距離に基づいて、該エッジの群の信頼度を求めてもよい。
例えば、前記エッジ群検出手段は、
前記下瞼領域設定手段が設定した領域を上方から下方に走査ウインドウで走査して、当該領域を上方から下方に走査された前記走査ウインドウ内で輝度が暗から明に変化するエッジの群を下瞼候補として検出し、
前記信頼度取得手段は、
前記エッジ群検出手段が検出したエッジの群の傾き角度を算出する傾き角度算出手段と、
前記エッジ群検出手段が検出したエッジの群を含む前記走査ウインドウを、前記傾き角度算出手段が算出した傾き角度に基づいて回転させるウインドウ回転手段と、を備え、
前記エッジ群検出手段は、
前記ウインドウ回転手段が回転させた前記走査ウインドウ内で輝度が暗から明に変化するエッジ群を検出し、
前記信頼度取得手段は、
検出したエッジ群の信頼度を求めてもよい。
前記下瞼領域設定手段が設定した領域を上方から下方に走査ウインドウで走査して、当該領域を上方から下方に走査された前記走査ウインドウ内で輝度が暗から明に変化するエッジの群を下瞼候補として検出し、
前記信頼度取得手段は、
前記エッジ群検出手段が検出したエッジの群の傾き角度を算出する傾き角度算出手段と、
前記エッジ群検出手段が検出したエッジの群を含む前記走査ウインドウを、前記傾き角度算出手段が算出した傾き角度に基づいて回転させるウインドウ回転手段と、を備え、
前記エッジ群検出手段は、
前記ウインドウ回転手段が回転させた前記走査ウインドウ内で輝度が暗から明に変化するエッジ群を検出し、
前記信頼度取得手段は、
検出したエッジ群の信頼度を求めてもよい。
例えば、前記下瞼判別手段は、前記ウインドウ回転手段が回転させた前記走査ウインドウ内で検出したエッジ群の信頼度が所定値以上である場合に、前記走査ウインドウ内のエッジの群を下瞼として判別してもよい。
例えば、前記エッジ群検出手段は、
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
求められた所定値以上の信頼度を有する走査ウインドウ内のエッジの群を下瞼候補として、該下瞼候補のうちで最大の信頼度を有する走査ウインドウ内のエッジの群を下瞼として判別してもよい。
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
求められた所定値以上の信頼度を有する走査ウインドウ内のエッジの群を下瞼候補として、該下瞼候補のうちで最大の信頼度を有する走査ウインドウ内のエッジの群を下瞼として判別してもよい。
例えば、前記エッジ群検出手段は、
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
前記信頼度取得手段が所定値以上の信頼度を算出した場合に、当該信頼度を有する前記走査ウインドウ内のエッジ群を下瞼として判別してもよい。
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
前記信頼度取得手段が所定値以上の信頼度を算出した場合に、当該信頼度を有する前記走査ウインドウ内のエッジ群を下瞼として判別してもよい。
例えば、前記信頼度取得手段は、
前記走査ウインドウに含まれるエッジの数を上瞼の重心位置から前記走査ウインドウ内のエッジ群までの距離で割った値を前記信頼度として算出してもよい。
前記走査ウインドウに含まれるエッジの数を上瞼の重心位置から前記走査ウインドウ内のエッジ群までの距離で割った値を前記信頼度として算出してもよい。
例えば、前記ウインドウ回転手段は、前記走査ウインドウ内のエッジ群の重心を中心として前記走査ウインドウを回転させてもよい。
例えば、前記信頼度取得手段は、
前記エッジ群検出手段が検出したエッジ群から下瞼候補となる直線を推定し、
当該推定した直線の信頼度を算出し、
前記下瞼判別手段は、前記直線のうちで信頼度が最大のものを、下瞼を示すものとして判別してもよい。
前記エッジ群検出手段が検出したエッジ群から下瞼候補となる直線を推定し、
当該推定した直線の信頼度を算出し、
前記下瞼判別手段は、前記直線のうちで信頼度が最大のものを、下瞼を示すものとして判別してもよい。
例えば、前記信頼度取得手段は、
前記直線を検出するために使用されたエッジの数を上瞼の重心位置から前記直線までの距離で割った値を前記信頼度として求めてもよい。
前記直線を検出するために使用されたエッジの数を上瞼の重心位置から前記直線までの距離で割った値を前記信頼度として求めてもよい。
例えば、前記眼開度取得手段は、
前記上瞼検出手段が検出した上瞼の重心又は中心から前記下瞼判別手段が判別した下瞼の重心又は中心までの距離を眼の開度として求めてもよい。
前記上瞼検出手段が検出した上瞼の重心又は中心から前記下瞼判別手段が判別した下瞼の重心又は中心までの距離を眼の開度として求めてもよい。
例えば、前記眼開度取得手段は、
前記上瞼検出手段が検出した上瞼を近似した直線を算出し、
前記下瞼判別手段が判別した下瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求めてもよい。
前記上瞼検出手段が検出した上瞼を近似した直線を算出し、
前記下瞼判別手段が判別した下瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求めてもよい。
例えば、前記眼開度取得手段は、
前記下瞼判別手段が検出した下瞼を近似した直線を算出し、
前記上瞼検出手段が検出した上瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求めてもよい。
前記下瞼判別手段が検出した下瞼を近似した直線を算出し、
前記上瞼検出手段が検出した上瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求めてもよい。
例えば、前記上瞼検出手段は、
前記顔画像内の所定の範囲を上から下方向へ走査して、輝度が明から暗に変化するエッジラインを検出し、
検出した複数のエッジラインの位置関係に基づいて、当該複数のエッジラインを眉毛の上辺と上瞼と鼻孔と口の上辺とに判別することによって、上瞼を検出してもよい。
前記顔画像内の所定の範囲を上から下方向へ走査して、輝度が明から暗に変化するエッジラインを検出し、
検出した複数のエッジラインの位置関係に基づいて、当該複数のエッジラインを眉毛の上辺と上瞼と鼻孔と口の上辺とに判別することによって、上瞼を検出してもよい。
本発明の第２の観点に係るプログラムは、
コンピュータを、
顔画像を取得する顔画像取得手段、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段、
として機能させることを特徴とする。
コンピュータを、
顔画像を取得する顔画像取得手段、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段、
として機能させることを特徴とする。
本発明によれば、眼の開閉を正確に判別できる。
（第１の実施形態）
以下、本発明の第１の実施形態に係る眼開閉判別装置５０について説明する。
以下、本発明の第１の実施形態に係る眼開閉判別装置５０について説明する。
第１の実施形態の眼開閉判別装置５０は、図１に示すように、ドライバーの顔を撮影して顔画像を生成するカメラ１０と、ドライバーの顔を照明する照明光源１２と、ドライバーの眼の開閉を判別するコンピュータ１４と、コンピュータ１４に接続された表示装置１６と、から構成される。
カメラ１０は例えばＣＣＤカメラ等から構成され、ドライバーの顔の階調画像を一定周期（例えば、１／３０秒）で取得し、出力する。カメラ１０から順次出力される顔画像は、ドライバーの顔（の画像）だけでなく、その背景（の画像）なども含む。
表示装置１６は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ１０で撮影された顔画像などを表示する。
コンピュータ１４は、カメラ１０により取得された顔動画像を処理してその眼の開閉を判別する装置である。コンピュータ１４は、図２に示すように、Ａ／Ｄ変換器２１と、画像メモリ２２と、ＲＯＭ（Read Only Memory）２３と、ＣＰＵ（Central Processing Unit）２４と、ＲＡＭ（Random Access Memory）２５と、表示制御装置２６と、光源制御装置２７と、設定メモリ２８と、操作装置２９と、から構成される。
Ａ／Ｄ（アナログ／ディジタル）変換器２１は、カメラ１０で撮影されたアナログ画像信号をディジタル信号に変換する。
画像メモリ２２は、カメラ１０により生成され、Ａ／Ｄ変換器２１でディジタル化された画像データを格納する。
ＲＯＭ２３は、ＣＰＵの動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。
ＣＰＵ２４は、コンピュータ１４全体を制御する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ１０により取得された一連の顔画像を処理して眼の開閉を判別する。
ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。
表示制御装置２６は、ＣＰＵ２４の制御のもと、映像データ等を表示装置１６が出力可能なデータ形式に変換し、表示装置１６に出力する。
光源制御装置２７は、照明光源１２の点灯・消灯を制御する。
設定メモリ２８は、ＣＰＵ２４が顔画像を処理して眼の開閉を判別する処理の設定に関する情報（以下、設定情報）を格納する。
操作装置２９は、ユーザから操作情報を受け付け、操作に応じた操作信号をＣＰＵ２４に送出する。
次に、ＲＯＭ２３に格納される固定データの例を、図３を参照しながら説明する。まず、ＲＯＭ２３は、図３（ａ）に示すような、縦エッジ検出用ソーベルフィルタのオペレータを格納する。縦エッジ検出用ソーベルフィルタは、図３（ｃ）に示すような縦方向の濃淡差を強調するためのオペレータである。また、ＲＯＭ２３は、図３（ｂ）に示すような、横エッジ検出用ソーベルフィルタのオペレータを格納する。横エッジ検出用ソーベルフィルタは、図３（ｄ）に示すような横方向の濃淡差を強調するためのオペレータである。
ただし、前提として、顔画像を構成する各画素は、ＲＧＢの各色が８ビットの諧調を有するように設定されており、第０階調〜第２５５階調の２５６諧調の内いずれかの諧調を有するものとする。第０階調は黒、第２５５階調は白である。
設定メモリ２８に格納される各種パラメータ（設定情報）の例を、図４を参照しながら説明する。
瞼検出用横ソーベル閾値は、顔画像から顔の上瞼又は下瞼候補を抽出する際に横エッジ検出用ソーベルフィルタを用いて処理した各画素の微分値から、横エッジラインか否かを判別するための閾値である。
下瞼探索領域縦幅は、下瞼を探索する領域である下瞼探索領域の縦幅である。
下瞼探索領域横幅は、下瞼探索領域の横幅である。
なお、下瞼探索領域は、検出された上瞼が上部に配置され、縦幅が下瞼探索領域縦幅と、横幅が下瞼探索領域横幅となるように設定される。
走査ウインドウ縦幅は、下瞼探索領域で下瞼を探索するために用いられる走査ウインドウの縦幅である。
なお、走査ウインドウの横幅は、下瞼探索領域横幅と同じである。
閾値１は、走査ウインドウ内のエッジ数と比較することによって、その信頼度の算出を行うか否かを判別するための閾値である。
閾値２は、後述する信頼度と比較することによって、検出されたエッジ群が下瞼であるか否かを判別するための閾値である。
閾値３は、上瞼と下瞼との間の距離と比較することによって、眼の開閉を判別するための閾値である。
なお、設定情報の値は、ユーザによって変更可能である。
瞼検出用横ソーベル閾値は、顔画像から顔の上瞼又は下瞼候補を抽出する際に横エッジ検出用ソーベルフィルタを用いて処理した各画素の微分値から、横エッジラインか否かを判別するための閾値である。
下瞼探索領域縦幅は、下瞼を探索する領域である下瞼探索領域の縦幅である。
下瞼探索領域横幅は、下瞼探索領域の横幅である。
なお、下瞼探索領域は、検出された上瞼が上部に配置され、縦幅が下瞼探索領域縦幅と、横幅が下瞼探索領域横幅となるように設定される。
走査ウインドウ縦幅は、下瞼探索領域で下瞼を探索するために用いられる走査ウインドウの縦幅である。
なお、走査ウインドウの横幅は、下瞼探索領域横幅と同じである。
閾値１は、走査ウインドウ内のエッジ数と比較することによって、その信頼度の算出を行うか否かを判別するための閾値である。
閾値２は、後述する信頼度と比較することによって、検出されたエッジ群が下瞼であるか否かを判別するための閾値である。
閾値３は、上瞼と下瞼との間の距離と比較することによって、眼の開閉を判別するための閾値である。
なお、設定情報の値は、ユーザによって変更可能である。
以下、上記構成を有する第１の実施形態に係る眼開閉判別装置５０の動作を説明する。
まず、図５〜７を参照して、眼開閉判別装置５０が、顔画像中の眼の開閉を判別する動作の概要を説明する。
カメラ１０は、図５（ａ）に示すような対象者の顔画像を所定周期（例えば、１／３０秒周期）で撮影して顔画像を出力する。出力された顔画像は画像メモリ２２に順次格納される。
次に、ＣＰＵ２４は、画像メモリ２２に格納されている顔画像を順次読み出し、以下の処理を行う。
先ず、ＣＰＵ２４は、縦エッジ検出用ソーベルフィルタ（図３（ａ））を用いて、読み出した顔画像を処理し、その顔画像の各画素の微分値に基づいて顔の左右端を検出する。また、ＣＰＵ２４は、横エッジ検出用ソーベルフィルタ（図３（ｂ））を用いて、読み出した顔画像を処理し、その顔画像の各画素の輝度値に基づいて顔の上下端を検出する。
例えば、図５（ａ）に示す顔画像の場合、顔の左右端は、ｉ≦ｘ≦ｊであり、上下端は、ｎ≦ｙ≦ｍである。顔の左右端と上下端から、顔の位置が検出できる。例えば、顔の上端は眉毛と額の間であり、顔の下端は口と顎の間である。
次に、ＣＰＵ２４は、図５（ａ）（ｂ）に示すように、上瞼探索領域Ａ（ｉ≦ｘ≦ｊ，ｎ≦ｙ≦ｍ）を設定し、図６（ａ）に示すように、横エッジ検出用ソーベルフィルタ（図３（ｂ））を用いて、上瞼探索領域Ａ上で輝度値が明から暗に変化する横エッジラインを検出する。詳しく説明すると、上瞼探索領域Ａを上方から下方に横エッジ検出用ソーベルフィルタで処理した値がマイナスであり、且つ、その値の絶対値が瞼検出用横ソーベル閾値以上である画素をエッジとして検出し、検出したエッジの連なりを横エッジラインとする。
ＣＰＵ２４は、検出した横エッジラインを、テンプレートマッチング法等を用いて、左右眉毛、左右上瞼、鼻孔、口等に区別することによって、上瞼のエッジラインを判別する。
ＣＰＵ２４は、図６（ｂ）に示すように、左右の上瞼のエッジラインを基準として、下瞼が含まれる可能性が高い下瞼探索領域Ｂ１，Ｂ２を設定する。ただし、下瞼探索領域Ｂ１，Ｂ２の縦幅及び横幅は予め設定されている。
ＣＰＵ２４は、図７（ａ）に示すように、下瞼探索領域Ｂ１，Ｂ２の最上部に、それぞれ走査ウインドウＣ１，Ｃ２を生成する。
ＣＰＵ２４は、下瞼探索領域Ｂ１，Ｂ２内で走査ウインドウＣ１，Ｃ２を走査させて、輝度値が暗から明に変化するエッジを検出する。詳しく説明すると、走査ウインドウ内を上方から下方に横エッジ検出用ソーベルフィルタで処理した値がプラスであり、且つ、その値の絶対値が瞼検出用横ソーベル閾値以上である画素をエッジとして検出する。
ＣＰＵ２４は、閾値１以上の個数のエッジ群を検出した場合に、走査を停止して、エッジ群の傾き角度及びエッジ群の重心を算出する。ここで、エッジ群の傾き角度とは、エッジ群に属する個々の画素毎にソーベルフィルタを用いて検出した傾き角度の平均値である。また、例えば、エッジ群の傾き角度とは、エッジ群を近似した直線又は曲線の傾き角度であってもよい。
ＣＰＵ２４は、図７（ｃ）に示すように、算出した傾き角度に基づいて、エッジ群の重心を中心として走査ウインドウを回転させる。つまり、走査ウインドウをエッジ群の傾きに合致させる。
ＣＰＵ２４は、回転させた走査ウインドウ内で、輝度値が暗から明に変化するエッジを再び検出し、検出したエッジ群の信頼度を算出する。ただし、回転した走査ウインドウに含まれるエッジの数を上瞼の重心の位置から走査ウインドウ内のエッジ群までの距離で割った値を信頼度として算出する。ここで、上瞼の重心の位置から走査ウインドウ内のエッジ群までの距離とは、上瞼の重心の位置から走査ウインドウの中心までの距離であってもよいし、上瞼の重心の位置から走査ウインドウ内のエッジ群の重心までの距離であってもよいし、上瞼の重心の位置から走査ウインドウ内の各エッジまでの距離の平均値であってもよい。
ＣＰＵ２４は、算出した信頼度が閾値２以上である場合に、当該信頼度を有する走査ウインドウに含まれるエッジ群を下瞼として判別する。
一方で、ＣＰＵ２４は、算出した信頼度が閾値２未満である場合に、回転させていない走査ウインドウの走査を再開させる。
ＣＰＵ２４は、下瞼を検出した場合に、上瞼と下瞼との距離を眼の開度として算出し、算出した距離に基づいて眼の開閉を判別する。ただし、上瞼と下瞼との距離は、上瞼の重心又は中心から下瞼の重心又は中心までの距離であってもよいし、下瞼又は上瞼の一点から、上瞼又は下瞼を近似した直線への垂線の距離であってもよい。また、眼の開閉は、算出した距離が閾値３以上の場合に、眼が開いていると判別し、算出した距離が閾値３未満の場合に、眼が閉じていると判別する。
ここで、本実施形態に係る眼開閉判別装置５０が行う眼状態判別処理について図８に示すフローチャートを参照して説明する。
コンピュータ１４内のＣＰＵ２４は、周期的に（例えば、１／３０秒毎）に図８の眼状態判別処理を開始する。
先ず、眼開閉判別装置５０の電源が投入されると、ＣＰＵ２４は、後述する前処理を行い、ドライバーの顔画像を取り込み、縦エッジを強調した画像と横エッジを強調した画像とを生成する（ステップＳ１００）。
次に、ＣＰＵ２４は、後述する顔位置検出処理を行い、上記の前処理で生成した縦エッジを強調した画像を使用して顔の左右端を検出し、横エッジを強調した画像を使用して顔の上下端を検出し、顔画像における顔の位置を検出する（ステップＳ２００）。
ＣＰＵ２４は、後述する上瞼検出処理を行い、上記の顔位置検出処理で検出した顔の位置に基づいて、上瞼の位置を検出する（ステップＳ３００）。
ＣＰＵ２４は、後述する下瞼検出処理を行い、上記の上瞼検出処理で検出した上瞼の位置に基づいて、下瞼の位置を検出する（ステップＳ４００）。
ＣＰＵ２４は、後述する眼開閉判別処理を行い、上瞼検出処理で検出した上瞼の位置と、下瞼検出処理で検出した下瞼の位置とに基づいて眼の開閉を判別する（ステップＳ５００）。
このようにして、眼開閉判別処理によれば、顔画像を取得して、その画像より眼の上瞼及び下瞼を検出して、その眼の開閉を判別することを周期的に繰り返すことができる。
次に、眼開閉判別処理のステップＳ１００において行われる前処理を説明する。簡単に説明すると、前処理において、眼開閉判別装置５０は、ドライバーの顔画像を撮像し、ソーベルフィルタを使用してエッジ検出を行う。
以下、図９を参照して、前処理（Ｓ１００）を詳細に説明する。
先ず、ＣＰＵ２４は、カメラ１０が撮影した対象者の顔画像をＡ／Ｄ変換器２１を介して取り込み、画像メモリ２２に格納するキャプチャ処理を行う（ステップＳ１１０）。
次に、ＣＰＵ２４は、座標変換処理を行い、画像メモリ２２に格納した各顔画像の画素を後述するソーベルフィルタ処理実行可能な程度に間引く処理を行う（ステップＳ１２０）。この処理は高速化のために実施されるものであって、必要に応じて実施されればよい。
ＣＰＵ２４は、ＲＯＭ２３に格納されている縦エッジ検出用オペレータ（図３（ａ））を用いて座標変換後の顔画像を処理して、顔画像内の縦エッジを強調した画像を生成する。また、ＣＰＵ２４は、ＲＯＭ２３に格納されている横エッジ検出用オペレータ（図３（ｂ））を用いて座標変換後の顔画像を処理して、顔画像内の横エッジを強調した画像を生成する（ステップＳ１３０）。
このようにして、前処理によれば、撮像した顔画像の縦エッジを強調した画像と横エッジを強調した画像を生成することができる。
ここで、眼開閉判別処理のステップＳ２００において行われる顔位置検出処理を説明する。簡単に説明すると顔位置検出処理において、眼開閉判別装置５０は、前処理において生成した縦エッジを強調した画像と横エッジを強調した画像を用いて顔画像における顔の位置を検出する。
以下、図１０を参照して、顔位置検出処理（Ｓ２００）を詳細に説明する。
先ず、ＣＰＵ２４は、後述する顔左右端検出処理を行い、前処理において生成した縦エッジを強調した画像を用いて、顔画像における顔の左右端の位置を検出する（ステップＳ２１０）。
次に、ＣＰＵ２４は、後述する顔上下端検出処理を行い、前処理において生成した横エッジを強調した画像を用いて、顔画像における顔の上下端の位置を検出すると（ステップＳ２２０）、顔位置検出処理を終了する。
このようにして、顔位置検出処理によれば、顔の左右端と上下端を検出することによって顔画像における顔の位置を検出することができる。
ここで、顔位置検出処理のステップＳ２１０において行われる顔左右端検出処理を説明する。簡単に説明すると顔左右端検出処理において、眼開閉判別装置５０は、前処理において生成した縦エッジを強調した画像を用いて、顔画像における顔の左右端の位置を検出する。
以下、図１１を参照して、顔左右端検出処理（Ｓ２１０）を詳細に説明する。
先ず、ＣＰＵ２４は、縦エッジ検出用ソーベルフィルタを用いたソーベルフィルタ処理後の各画素の値を縦方向に投影してヒストグラムを作成する顔左右端検出用ヒストグラム作成処理を行う（ステップＳ２１１）。具体的に述べると、各座標の画素値を何段階かに分割し、ｘ値毎に最も多く各座標の画素値を取る段階を決定する。ｘ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。
ＣＰＵ２４は、ステップＳ２１１において作成したヒストグラムにおいて、ピークを取る点（以下、ピーク点）を抽出する（ステップＳ２１２）。
ＣＰＵ２４は、ステップＳ２１２において抽出したピーク点からそのヒストグラム値が閾値以上のものを顔の左右端候補として抽出する（ステップＳ２１３）。
ＣＰＵ２４は、ステップＳ２１３の処理の結果、顔の左右端の候補として、ヒストグラム値が閾値以上のピーク点が二つ抽出されたか否かを判別する（ステップＳ２１４）。
ヒストグラム値が閾値以上のピーク点が二つ抽出されたと判別すると（ステップＳ２１４；ＹＥＳ）、ＣＰＵ２４は、処理をステップＳ２１６に進め、抽出した二つのピーク点を取る位置を顔の左右端と決定する（ステップＳ２１６）。
ヒストグラム値が閾値以上の二つのピーク点が抽出されていないと判別すると（ステップＳ２１４；ＮＯ）、ＣＰＵ２４は、ピーク点から、二点の距離が人の顔幅として適切な間隔を有する二つのピーク点の組み合わせを抽出する（ステップＳ２１５）。
ＣＰＵ２４は、抽出した二つのピーク点を取る位置を顔の左右端と決定する（ステップＳ２１６）。
このようにして、顔左右端検出処理によれば、顔画像において顔の左右端を検出することができる。
ここで、顔位置検出処理のステップＳ２２０において行われる顔上下端検出処理を説明する。簡単に説明すると顔上下端検出処理において、眼開閉判別装置５０は、前処理において生成した横エッジラインを強調した画像を用いて、顔画像における顔の上下端の位置を検出する。
以下、図１２を参照して、顔上下端検出処理（Ｓ２２０）を詳細に説明する。
先ず、ＣＰＵ２４は、横エッジ検出用ソーベルフィルタを用いたソーベルフィルタ処理後の各画素の値を横方向に投影してヒストグラムを作成する顔上下端検出用ヒストグラム作成処理を行う（ステップＳ２２１）。具体的に述べると、各座標の画素値を何段階かに分割し、ｙ値毎に最も多く各座標の画素値を取る段階を決定する。ｙ値毎の上記段階の平均値のグラフを上記のヒストグラムとする。
ＣＰＵ２４は、ステップＳ２２１において作成したヒストグラムにおいて、ピークを取る点（以下、ピーク点）を抽出する（ステップＳ２２２）。
ＣＰＵ２４は、ステップＳ２２２において抽出したピーク点のヒストグラム値に基づいて各ピーク点を眼・眉・口等に対応付ける（ステップＳ２２３）。
ＣＰＵ２４は、ステップＳ２２３において眼・眉・口等に対応付けられた各ピーク点に基づいて、顔画像における顔の上下端の位置を算出する（ステップＳ２２４）。例えば、検出した眉から３画素分上の位置を顔の上端とし、検出した口から３画素分下の位置を顔の下端（口と顎の間）とする。
このようにして、顔上下端検出処理によれば、顔画像において顔の上下端の位置を算出することができる。
以下、図１３を参照して、上瞼検出処理（Ｓ３００）を詳細に説明する。
先ず、ＣＰＵ２４は、ＲＯＭ２３に格納されている横エッジ検出用オペレータ（図３（ｂ））を用いて、顔位置検出処理で検出した顔の上下端と左右端とで囲まれる領域の画像を処理して、輝度値が明から暗に変化する横エッジラインを抽出する（ステップＳ３１０）。
ＣＰＵ２４は、ステップＳ３１０で抽出した横エッジラインを、テンプレートマッチング法等を用いて、左右上瞼、左右鼻孔、口に区別することによって、上瞼の位置を検出する（ステップＳ３２０）。
このようにして、上瞼検出処理によれば、顔画像の顔の上下端と左右端とに囲まれる領域上で、上瞼を検出することができる。
以下、図１４を参照して、下瞼検出処理（Ｓ４００）を詳細に説明する。
先ず、ＣＰＵ２４は、上瞼検出処理で検出した左右何れかの上瞼のエッジラインの位置に基づいて、下瞼が含まれる可能性が高い下瞼探索領域を設定し、下瞼探索領域の上部に走査ウインドウを設定する（ステップＳ４０１）。
ＣＰＵ２４は、走査ウインドウを用いて下瞼探索領域の上から下へ走査を開始し、輝度値が暗から明に変化するエッジの検出を開始する（ステップＳ４０２）。
ＣＰＵ２４は、走査ウインドウ内で閾値１以上の個数のエッジ群を検出したか否かを判別する（ステップＳ４０３）。
閾値１以上の個数のエッジ群を検出していないと判別した場合に（Ｓ４０３；ＮＯ）、ＣＰＵ２４は、走査ウインドウが下瞼探索領域の下端に到達したか否かを判別する（ステップＳ４０４）。
走査ウインドウが下瞼探索領域の下端に到達していないと判別すると（Ｓ４０４；ＮＯ）、ＣＰＵ２４は、ステップＳ４０３に戻す。
走査ウインドウが下瞼探索領域の下端に到達したと判別すると（Ｓ４０４；ＹＥＳ）、ＣＰＵ２４は、目状態判別処理を終了する。
閾値１以上の個数のエッジ群を検出したと判別した場合に（Ｓ４０３；ＹＥＳ）、ＣＰＵ２４は、走査ウインドウの走査を停止して（ステップＳ４０５）、エッジ群の傾き角度及びエッジ群の重心を算出する（ステップＳ４０６）。
ＣＰＵ２４は、算出した傾き角度に基づいて、エッジ群の重心を中心として走査ウインドウを回転させる（ステップＳ４０７）。つまり、走査ウインドウをエッジ群の傾きに合致させる。
ＣＰＵ２４は、回転させた走査ウインドウ内で、輝度値が暗から明に変化するエッジを再び検出し（ステップＳ４０８）、検出したエッジ群の信頼度を算出する（ステップＳ４０９）。
ＣＰＵ２４は、算出した信頼度が閾値２以上であるか否かを判別する（ステップＳ４１０）。
算出した信頼度が閾値２未満であると判別した場合に（Ｓ４１０；ＮＯ）、ＣＰＵ２４は、走査ウインドウを回転する前に戻して、走査を再開し（ステップＳ４１１）、ステップＳ４０３に戻す。
算出した信頼度が閾値２以上であると判別した場合に（Ｓ４１０；ＹＥＳ）、ＣＰＵ２４は、当該信頼度を有する走査ウインドウに含まれるエッジ群を下瞼として判別してＲＡＭ２５に記憶し（ステップＳ４１２）、後述する眼開閉判別処理に進める。
このようにして、下瞼検出処理によれば、上瞼のエッジラインに基づいて所定の領域を設定し、その領域を走査ウインドウで走査することによって、正確に下瞼を検出することができる。
以下、図１５を参照して、眼開閉判別処理（Ｓ５００）を詳細に説明する。
先ず、ＣＰＵ２４は、上瞼検出処理で検出した上瞼と下瞼検出処理で検出した下瞼との間の距離を算出する（ステップＳ５１０）。
次に、ＣＰＵ２４は、上瞼と下瞼との間の距離が閾値３以上であるか否かを判別する（ステップＳ５２０）。
上瞼と下瞼との間の距離が閾値３以上であると判別した場合に（Ｓ５２０；ＹＥＳ）、ＣＰＵ２４は、眼が開いていると判別し、ＲＡＭ２５に記憶し（ステップＳ５３０）、処理を終了する。
上瞼と下瞼との間の距離が閾値３未満であると判別した場合に（Ｓ５２０；ＮＯ）、ＣＰＵ２４は、眼が閉じていると判別し、ＲＡＭ２５に記憶し（ステップＳ５４０）、処理を終了する。
このようにして、眼開閉判別処理によれば、上瞼と下瞼との間の距離に基づいて、眼の開閉を判別することができる。
以上、第１の実施形態に係る眼開閉判別装置５０は、下瞼ラインの一部が白とびしていても、残りの下瞼ラインに基づいて下瞼を検出することができる。
また、眼が斜めに写った場合でも、走査ウインドウを回転してエッジ群を検出するので、正確に下瞼を検出することができる。
（第２の実施形態）
第１の実施形態において、眼開閉判別装置５０は、走査ウインドウを用いて走査を行い、閾値１以上の個数のエッジ群を検出した場合に、走査ウインドウをそのエッジ群の傾き角度に基づいて回転させ、回転させた走査ウインドウ内のエッジ群の信頼度を算出し、その信頼度が閾値２未満である場合には、走査ウインドウを回転させる前に戻して、走査を再開し、閾値２以上の信頼度が算出された場合には、その信頼度を有する走査ウインドウ内のエッジ群を下瞼として判別した。
第１の実施形態において、眼開閉判別装置５０は、走査ウインドウを用いて走査を行い、閾値１以上の個数のエッジ群を検出した場合に、走査ウインドウをそのエッジ群の傾き角度に基づいて回転させ、回転させた走査ウインドウ内のエッジ群の信頼度を算出し、その信頼度が閾値２未満である場合には、走査ウインドウを回転させる前に戻して、走査を再開し、閾値２以上の信頼度が算出された場合には、その信頼度を有する走査ウインドウ内のエッジ群を下瞼として判別した。
しかし、第２の実施形態においては、眼開閉判別装置５０は、走査ウインドウを回転させた後に、回転させた走査ウインドウで走査を行い、回転させた走査ウインドウ内のエッジ群の信頼度のうちで閾値２以上のものを抽出し、抽出した信頼度のうちで最大のものの走査ウインドウのエッジ群を下瞼として判別してもよい。
第２の実施形態に係る眼開閉判別装置５０の構成は、第１の実施形態と同様である。また、第２の実施形態に係る眼開閉判別装置５０の処理は、下瞼検出処理を除いて第１の実施形態と同様である。
以下、図１６を参照して、第２の実施形態における下瞼検出処理（Ｓ４００）を詳細に説明する。
先ず、ＣＰＵ２４は、第１の実施形態における下瞼検出処理のＳ４０１〜４０７と同様の処理を行い、走査ウインドウを用いて走査し、閾値１以上のエッジ群を検出した場合に、エッジ群の傾き角度に基づいて、エッジ群の重心を中心として走査ウインドウを回転させる。
次に、ＣＰＵ２４は、エッジ群の重心を中心とする新たな走査領域を設定する（ステップＳ４２０）。
ＣＰＵ２４は、回転させた走査ウインドウを用いて新たな走査領域の上から下への走査（輝度値が暗から明に変化するエッジの検出）を開始する（ステップＳ４２１）。また、走査しながら走査ウインドウ内で検出されたエッジ群の信頼度を算出する。
ＣＰＵ２４は、走査ウインドウ内で閾値２以上の信頼度を有するエッジ群が検出されたか否かを判別する（ステップＳ４２２）。
閾値２以上の信頼度を有するエッジ群が検出されていないと判別した場合には（Ｓ４２２；ＮＯ）、ＣＰＵ２４は、ステップＳ４２２に戻る。
閾値２以上の信頼度を有するエッジ群が検出されたと判別した場合には（Ｓ４２２；ＹＥＳ）、ＣＰＵ２４は、検出されたエッジ群の位置を下瞼候補としてＲＡＭ２５に記憶する（ステップＳ４２３）。
ＣＰＵ２４は、回転させた走査ウインドウが新たな走査領域の下辺に到達したか否かを判別する（ステップＳ４２４）。
回転させた走査ウインドウが新たな走査領域の下辺に到達していないと判別した場合には（Ｓ４２４；ＮＯ）、ＣＰＵ２４は、ステップＳ４２２に戻る。
回転させた走査ウインドウが新たな走査領域の下辺に到達したと判別した場合には（Ｓ４２４；ＹＥＳ）、ＣＰＵ２４は、ＲＡＭ２５を参照して、閾値２以上の信頼度を有するエッジ群が存在するか否かを判別する（ステップＳ４２５）。
閾値２以上の信頼度を有するエッジ群が存在しないと判別した場合には（Ｓ４２５；ＮＯ）、ＣＰＵ２４は、回転させた走査ウインドウを元に戻して走査を再開し（ステップＳ４２６）、ステップＳ４０３に戻す。
閾値２以上の信頼度を有するエッジ群が存在すると判別した場合には（Ｓ４２５；ＹＥＳ）、ＣＰＵ２４は、閾値２以上の信頼度を有するエッジ群のうちで、最大の信頼度を有するエッジ群を下瞼として判別し、ＲＡＭ２５に記憶し（ステップＳ４２７）、眼開閉判別処理に進める。
このようにして、第２の実施形態における下瞼検出処理によれば、所定値以上の信頼度を有するエッジ群を記憶して、そのうちから最も大きい信頼度を有するエッジ群を下瞼として判別するので、さらに正確に下瞼を検出することができる。
（第３の実施形態）
また、第３の実施形態においては、眼開閉判別装置５０は、走査ウインドウを回転させた後に、回転させた走査ウインドウで走査を行い、回転させた走査ウインドウ内のエッジ群の信頼度のうちで所定の閾値以上のものを下瞼として判別してもよい。
また、第３の実施形態においては、眼開閉判別装置５０は、走査ウインドウを回転させた後に、回転させた走査ウインドウで走査を行い、回転させた走査ウインドウ内のエッジ群の信頼度のうちで所定の閾値以上のものを下瞼として判別してもよい。
第３の実施形態に係る眼開閉判別装置５０の構成は、第１の実施形態と同様である。また、第３の実施形態に係る眼開閉判別装置５０の処理は、下瞼検出処理を除いて第１の実施形態と同様である。
以下、図１７を参照して、第３の実施形態における下瞼検出処理（Ｓ４００）を詳細に説明する。
先ず、ＣＰＵ２４は、第１の実施形態における下瞼検出処理のＳ４０１〜４０７と同様の処理を行い、走査ウインドウを用いて走査し、閾値１以上の個数のエッジ群を検出した場合に、エッジ群の傾き角度に基づいて、エッジ群の重心を中心として走査ウインドウを回転させる。
ＣＰＵ２４は、回転させた走査ウインドウを用いて新たな走査領域の上から下への走査（輝度値が暗から明に変化するエッジの検出）を開始する（ステップＳ４３０）。また、走査しながら走査ウインドウ内で検出されたエッジ群の信頼度を算出する。
ＣＰＵ２４は、走査ウインドウ内で閾値２以上の信頼度を有するエッジ群が検出されたか否かを判別する（ステップＳ４３１）。
閾値２以上の信頼度を有するエッジ群が検出されていないと判別した場合には（Ｓ４３１；ＮＯ）、ＣＰＵ２４は、走査ウインドウが下瞼探索領域の下端に到達したか否かを判別する（ステップＳ４３２）。
走査ウインドウが下瞼探索領域の下端に到達していないと判別すると（Ｓ４３２；ＮＯ）、ＣＰＵ２４は、ステップＳ４３１に戻す。
走査ウインドウが下瞼探索領域の下端に到達したと判別すると（Ｓ４３２；ＹＥＳ）、ＣＰＵ２４は、目状態判別処理を終了する。
閾値２以上の信頼度を有するエッジ群が検出されたと判別した場合には（Ｓ４３１；ＹＥＳ）、ＣＰＵ２４は、検出されたエッジ群を下瞼として判別し、ＲＡＭ２５に記憶し（ステップＳ４３３）、眼開閉判別処理に進める。
このようにして、第３の実施形態における下瞼検出処理によれば、検出したエッジ群の傾き角度に合わせて回転させた走査ウインドウを用いて走査を行い、所定値以上の信頼度を有するエッジ群を検出したところで、当該エッジ群を下瞼として判別するので、全領域の探索が不要であり、正確に且つ簡単な処理で下瞼を検出することができる。
（第４の実施形態）
また、第４の実施形態において、眼開閉判別装置５０は、下瞼探索領域内で輝度値が暗から明に変化するエッジ群を検出し、そのエッジ群より、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法等のロバスト推定法を用いて下瞼候補として複数の直線を検出し、検出した直線の信頼度を算出し、最大の信頼度を取る直線を下瞼として判別してもよい。また、エッジの数を上瞼の重心位置から直線までの距離で割った値を信頼度として算出してもよい。
第４の実施形態に係る眼開閉判別装置５０の構成は、第１の実施形態と同様である。また、第４の実施形態に係る眼開閉判別装置５０の処理は、下瞼検出処理を除いて第１の実施形態と同様である。
また、第４の実施形態において、眼開閉判別装置５０は、下瞼探索領域内で輝度値が暗から明に変化するエッジ群を検出し、そのエッジ群より、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法等のロバスト推定法を用いて下瞼候補として複数の直線を検出し、検出した直線の信頼度を算出し、最大の信頼度を取る直線を下瞼として判別してもよい。また、エッジの数を上瞼の重心位置から直線までの距離で割った値を信頼度として算出してもよい。
第４の実施形態に係る眼開閉判別装置５０の構成は、第１の実施形態と同様である。また、第４の実施形態に係る眼開閉判別装置５０の処理は、下瞼検出処理を除いて第１の実施形態と同様である。
以下、図１８を参照して、第４の実施形態における下瞼検出処理（Ｓ４００）を詳細に説明する。
先ず、ＣＰＵ２４は、上瞼検出処理で検出した左右何れかの上瞼のエッジラインの位置に基づいて、下瞼が含まれる可能性が高い下瞼探索領域を設定する（ステップＳ４４１）。
ＣＰＵ２４は、下瞼探索領域の上から下へ走査を開始し、輝度値が暗から明に変化するエッジの検出を行う（ステップＳ４４２）。
ＣＰＵ２４は、検出したエッジ群より、ＲＡＮＳＡＣ法等のロバスト推定法を用いて下瞼候補となる直線を検出する（ステップＳ４４３）。
ＣＰＵ２４は、検出した全直線の信頼度を算出する（ステップＳ４４４）。なお、エッジの数を、上瞼の重心位置から、選択した直線までの距離で割った値を信頼度として算出する。
ＣＰＵ２４は、算出した直線の信頼度が最大値を取る直線を下瞼として判別し（ステップＳ４４５）、ＲＡＭ２５に記憶し（ステップＳ４４６）、眼開閉判別処理に進める。
このようにして、第４の実施形態における下瞼検出処理によれば、下瞼探索領域内のエッジ群を検出し、検出したエッジ群より、ＲＡＳＡＣ法等のロバスト推定法を用いて下瞼となる複数の直線を検出するため、ノイズの影響を受けにくい。また、検出した全直線の信頼度を算出し、最大の信頼度を有する直線を下瞼として判別するので、短時間で簡単に下瞼を検出することができる。
なお、この発明は上記実施形態に限定されず、種々の変形及び応用が可能である。
また、第４の実施形態において、眼開閉判別装置５０は、検出した直線の信頼度を算出し、最大の信頼度を取る直線を下瞼として判別したが、検出した直線の信頼度を算出し、所定値以上の信頼度を取る直線のうちで、上瞼に最も近いものを下瞼として判別してもよい。
上記実施形態では、眼開閉判別装置５０は、上瞼又は下瞼候補を抽出する際に、ソーベルフィルタを使用したエッジ検出によって抽出したが、画像の濃度勾配を利用した濃度検出によって抽出してもよい。
上記実施形態では、コンピュータ１４は、カメラ１０が撮影した対象者の顔の動画像について眼開閉判別処理を行った。しかし、応用例では、カメラ１０以外の外部装置から取得した対象者の顔の動画像を画像メモリ２２に格納しておき、その動画像について眼開閉判別処理を行ってもよい。また、複数の顔の画像について眼開閉判別処理を行ってもよい。
上記実施形態では、左右どちらか片方の上瞼及び下瞼を検出したが、左右両方の上瞼及び下瞼を検出するようにしてもよい。
また、上記実施形態では、顔位置検出処理（Ｓ２００）において、顔画像にソーベルフィルタ処理を施し、その画素値に基づいたヒストグラムから顔位置を検出した。しかし、応用例では、特開２００４−３１０３９６号公報に開示されているように、撮像画像を構成する各画素について時間微分し、さらに、この時間微分された画像を縦方向に投影してヒストグラムを作成し、エッジ抽出画像のヒストグラムと時間微分画像のヒストグラムとを合計して、合計したヒストグラムのピーク値の高いものを顔の両端として判別し、顔位置を検出するようにしてもよい。
また、顔位置検出処理（Ｓ２００）において、テンプレートマッチング法を用い、顔画像に予め登録してあるテンプレートにマッチングさせて、顔の位置を検出してもよい。
なお、本発明に係る眼開閉判別装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、顔画像を入力可能な構成のコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読みとり可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する眼開閉判別装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有するストレージに当該プログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで眼開閉判別装置を構成してもよい。
また、上述の機能を、ＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協働により実現する場合などには、アプリケーション部分のみを記録媒体やストレージに格納してもよい。
また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上のサーバに前記プログラムを格納し、ネットワークを介して前記プログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。
また、その他、具体的な細部構成等についても適宜変更可能である。
１０ カメラ（顔画像取得手段）
１２ 照明光源
１４ コンピュータ
１６ 表示装置
２１ Ａ／Ｄ変換器
２２ 画像メモリ（顔画像取得手段）
２３ ＲＯＭ
２４ ＣＰＵ（上瞼検出手段、下瞼領域設定手段、エッジ群検出手段、信頼度取得手段、下瞼判別手段、眼開閉判別手段）
２５ ＲＡＭ
２６ 表示制御装置
２８ 設定メモリ
２９ 操作装置
５０ 眼開閉判別装置
１２ 照明光源
１４ コンピュータ
１６ 表示装置
２１ Ａ／Ｄ変換器
２２ 画像メモリ（顔画像取得手段）
２３ ＲＯＭ
２４ ＣＰＵ（上瞼検出手段、下瞼領域設定手段、エッジ群検出手段、信頼度取得手段、下瞼判別手段、眼開閉判別手段）
２５ ＲＡＭ
２６ 表示制御装置
２８ 設定メモリ
２９ 操作装置
５０ 眼開閉判別装置
Claims (16)
- 顔画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段と、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段と、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段と、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段と、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段と、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段と、を備える、
ことを特徴とする眼開閉判別装置。 - 前記信頼度取得手段は、前記エッジ群検出手段が検出したエッジの群のエッジの数に基づいて該エッジの群の信頼度を求める、
ことを特徴とする請求項１に記載の眼開閉判別装置。 - 前記信頼度取得手段は、前記上瞼検出手段が検出した上瞼から前記エッジ群検出手段が検出したエッジの群までの距離に基づいて、該エッジの群の信頼度を求める、
ことを特徴とする請求項１又は２に記載の眼開閉判別装置。 - 前記エッジ群検出手段は、
前記下瞼領域設定手段が設定した領域を上方から下方に走査ウインドウで走査して、当該領域を上方から下方に走査された前記走査ウインドウ内で輝度が暗から明に変化するエッジの群を下瞼候補として検出し、
前記信頼度取得手段は、
前記エッジ群検出手段が検出したエッジの群の傾き角度を算出する傾き角度算出手段と、
前記エッジ群検出手段が検出したエッジの群を含む前記走査ウインドウを、前記傾き角度算出手段が算出した傾き角度に基づいて回転させるウインドウ回転手段と、を備え、
前記エッジ群検出手段は、
前記ウインドウ回転手段が回転させた前記走査ウインドウ内で輝度が暗から明に変化するエッジ群を検出し、
前記信頼度取得手段は、
検出したエッジ群の信頼度を求める、
ことを特徴とする請求項１乃至３の何れか１項に記載の眼開閉判別装置。 - 前記下瞼判別手段は、前記ウインドウ回転手段が回転させた前記走査ウインドウ内で検出したエッジ群の信頼度が所定値以上である場合に、前記走査ウインドウ内のエッジの群を下瞼として判別する、
ことを特徴とする請求項４に記載の眼開閉判別装置。 - 前記エッジ群検出手段は、
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
求められた所定値以上の信頼度を有する走査ウインドウ内のエッジの群を下瞼候補として、該下瞼候補のうちで最大の信頼度を有する走査ウインドウ内のエッジの群を下瞼として判別する、
ことを特徴とする請求項４に記載の眼開閉判別装置。 - 前記エッジ群検出手段は、
前記回転させた前記走査ウインドウを含む新たな領域を設定し、
当該新たな領域を、前記ウインドウ回転手段が回転させた前記走査ウインドウで走査して、エッジ群を検出し、
前記信頼度取得手段は、
前記新たな領域を走査した前記走査ウインドウ内で検出したエッジ群の信頼度を求め、
前記下瞼判別手段は、
前記信頼度取得手段が所定値以上の信頼度を算出した場合に、当該信頼度を有する前記走査ウインドウ内のエッジ群を下瞼として判別する、
ことを特徴とする請求項４に記載の眼開閉判別装置。 - 前記信頼度取得手段は、
前記走査ウインドウに含まれるエッジの数を上瞼の重心位置から前記走査ウインドウ内のエッジ群までの距離で割った値を前記信頼度として算出する、
ことを特徴とする請求項４乃至７の何れか１項に記載の眼開閉判別装置。 - 前記ウインドウ回転手段は、前記走査ウインドウ内のエッジ群の重心を中心として前記走査ウインドウを回転させる、
ことを特徴とする請求項４乃至８の何れか１項に記載の眼開閉判別装置。 - 前記信頼度取得手段は、
前記エッジ群検出手段が検出したエッジ群から下瞼候補となる直線を推定し、
当該推定した直線の信頼度を算出し、
前記下瞼判別手段は、前記直線のうちで信頼度が最大のものを、下瞼を示すものとして判別する、
ことを特徴とする請求項１乃至３の何れか１項に記載の眼開閉判別装置。 - 前記信頼度取得手段は、
前記直線を検出するために使用されたエッジの数を上瞼の重心位置から前記直線までの距離で割った値を前記信頼度として求める、
ことを特徴とする請求項１０に記載の眼開閉判別装置。 - 前記眼開度取得手段は、
前記上瞼検出手段が検出した上瞼の重心又は中心から前記下瞼判別手段が判別した下瞼の重心又は中心までの距離を眼の開度として求める、
ことを特徴とする請求項１乃至１１の何れか１項に記載の眼開閉判別装置。 - 前記眼開度取得手段は、
前記上瞼検出手段が検出した上瞼を近似した直線を算出し、
前記下瞼判別手段が判別した下瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求める、
ことを特徴とする請求項１乃至１１の何れか１項に記載の眼開閉判別装置。 - 前記眼開度取得手段は、
前記下瞼判別手段が検出した下瞼を近似した直線を算出し、
前記上瞼検出手段が検出した上瞼の一点から前記直線への垂線の距離のうち最大のものを眼の開度として求める、
ことを特徴とする請求項１乃至１１の何れか１項に記載の眼開閉判別装置。 - 前記上瞼検出手段は、
前記顔画像内の所定の範囲を上から下方向へ走査して、輝度が明から暗に変化するエッジラインを検出し、
検出した複数のエッジラインの位置関係に基づいて、当該複数のエッジラインを眉毛の上辺と上瞼と鼻孔と口の上辺とに判別することによって、上瞼を検出する、
ことを特徴とする請求項１乃至１４の何れか１項に記載の眼開閉判別装置。 - コンピュータを、
顔画像を取得する顔画像取得手段、
前記顔画像取得手段が取得した前記顔画像より上瞼を検出する上瞼検出手段、
前記上瞼検出手段が検出した上瞼に基づいて、下瞼を探索する対象の領域を設定する下瞼領域設定手段、
前記下瞼領域設定手段が設定した領域を上方から下方に走査して、輝度が暗から明に変化するエッジの群を下瞼候補として検出するエッジ群検出手段、
前記エッジ群検出手段が検出したエッジの群の内容に基づいて、該エッジの群が下瞼である確度を示す信頼度を求める信頼度取得手段、
下瞼候補のうちで、所定値以上の信頼度を有するエッジの群、又は最大の信頼度を有するエッジの群を下瞼として判別する下瞼判別手段、
前記上瞼検出手段が検出した上瞼と前記下瞼判別手段が判別した下瞼との位置に基づいて眼の開度を求める眼開度取得手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008090537A JP5262243B2 (ja) | 2008-03-31 | 2008-03-31 | 眼開閉判別装置、及びプログラム |
| EP09155210A EP2107502B1 (en) | 2008-03-31 | 2009-03-16 | Eyelid opening level determination device and computer readable medium storing computer program thereof |
| US12/409,234 US8154591B2 (en) | 2008-03-31 | 2009-03-23 | Eyelid opening level determination device and computer readable medium storing computer program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008090537A JP5262243B2 (ja) | 2008-03-31 | 2008-03-31 | 眼開閉判別装置、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009240519A JP2009240519A (ja) | 2009-10-22 |
| JP5262243B2 true JP5262243B2 (ja) | 2013-08-14 |
Family
ID=40792470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008090537A Expired - Fee Related JP5262243B2 (ja) | 2008-03-31 | 2008-03-31 | 眼開閉判別装置、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8154591B2 (ja) |
| EP (1) | EP2107502B1 (ja) |
| JP (1) | JP5262243B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2698762B1 (en) * | 2011-04-15 | 2017-01-04 | Aisin Seiki Kabushiki Kaisha | Eyelid-detection device, eyelid-detection method, and program |
| JP5666383B2 (ja) * | 2011-05-26 | 2015-02-12 | パナソニック株式会社 | 眠気推定装置及び眠気推定方法 |
| JP2013015970A (ja) * | 2011-07-01 | 2013-01-24 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
| JP5435013B2 (ja) * | 2011-11-17 | 2014-03-05 | 沖電気工業株式会社 | 目開閉判定装置およびプログラム |
| TW201501044A (zh) * | 2013-06-24 | 2015-01-01 | Utechzone Co Ltd | 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體 |
| WO2017034860A1 (en) | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| EP3337383A4 (en) * | 2015-08-21 | 2019-04-03 | Magic Leap, Inc. | EYE SHAPE ESTIMATION |
| CA3170014A1 (en) | 2015-10-16 | 2017-04-20 | Magic Leap, Inc. | Eye pose identification using eye features |
| DE102015225109A1 (de) * | 2015-12-14 | 2017-06-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs |
| JP2017202038A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 判別装置、判別方法、および判別プログラム |
| CN110168610B (zh) * | 2017-01-17 | 2023-07-21 | 三菱电机株式会社 | 眼睑检测装置、瞌睡判定装置、及眼睑检测方法 |
| JP6973928B2 (ja) * | 2017-11-10 | 2021-12-01 | アルパイン株式会社 | 瞼開閉判定装置および眠気検知装置 |
| WO2019159229A1 (ja) * | 2018-02-13 | 2019-08-22 | 三菱電機株式会社 | 誤検出判定装置及び誤検出判定方法 |
| JP7099036B2 (ja) * | 2018-05-07 | 2022-07-12 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
| CN111557007B (zh) * | 2018-07-16 | 2022-08-19 | 荣耀终端有限公司 | 一种检测眼睛睁闭状态的方法及电子设备 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
| JP3143819B2 (ja) * | 1994-05-20 | 2001-03-07 | 株式会社豊田中央研究所 | まぶたの開度検出装置 |
| JP3127760B2 (ja) * | 1995-02-20 | 2001-01-29 | 株式会社豊田中央研究所 | 運転者の覚醒度検出装置 |
| JP2000137792A (ja) * | 1998-10-30 | 2000-05-16 | Toyota Motor Corp | 眼部検出装置 |
| JP2001307076A (ja) * | 2000-04-24 | 2001-11-02 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り検出装置 |
| CN101401724A (zh) * | 2001-06-13 | 2009-04-08 | 康普麦迪克斯有限公司 | 用于监测意识的方法和设备 |
| JP2004192552A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
| JP4162503B2 (ja) * | 2003-01-31 | 2008-10-08 | 富士通株式会社 | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム |
| JP4184133B2 (ja) | 2003-04-07 | 2008-11-19 | 株式会社豊田中央研究所 | 画像処理装置 |
| US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| JP4180027B2 (ja) * | 2004-08-27 | 2008-11-12 | 株式会社豊田中央研究所 | 顔部品位置検出装置及び方法並びにプログラム |
| US7444017B2 (en) * | 2004-11-10 | 2008-10-28 | Eastman Kodak Company | Detecting irises and pupils in images of humans |
| JP4725096B2 (ja) * | 2004-12-21 | 2011-07-13 | 日産自動車株式会社 | 覚醒度判断装置 |
| US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
| US7253738B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method of detecting eye closure based on edge lines |
| JP4414401B2 (ja) * | 2006-02-10 | 2010-02-10 | 富士フイルム株式会社 | 顔特徴点検出方法および装置並びにプログラム |
| WO2008091401A2 (en) * | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| JP4331197B2 (ja) | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
| JP4137969B2 (ja) | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4845698B2 (ja) * | 2006-12-06 | 2011-12-28 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
| JP4895797B2 (ja) * | 2006-12-26 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
| JP4895847B2 (ja) * | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
| US8045766B2 (en) * | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
| JP4259585B2 (ja) * | 2007-03-08 | 2009-04-30 | 株式会社デンソー | 眠気判定装置，プログラムおよび眠気判定方法 |
| JP4309926B2 (ja) * | 2007-03-13 | 2009-08-05 | アイシン精機株式会社 | 顔特徴点検出装置、顔特徴点検出方法及びプログラム |
| JP4309928B2 (ja) * | 2007-03-15 | 2009-08-05 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法、及び、プログラム |
| JP4974788B2 (ja) * | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
-
2008
- 2008-03-31 JP JP2008090537A patent/JP5262243B2/ja not_active Expired - Fee Related
-
2009
- 2009-03-16 EP EP09155210A patent/EP2107502B1/en not_active Expired - Fee Related
- 2009-03-23 US US12/409,234 patent/US8154591B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8154591B2 (en) | 2012-04-10 |
| EP2107502A1 (en) | 2009-10-07 |
| EP2107502B1 (en) | 2011-09-28 |
| JP2009240519A (ja) | 2009-10-22 |
| US20090244274A1 (en) | 2009-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5262243B2 (ja) | 眼開閉判別装置、及びプログラム | |
| JP4309928B2 (ja) | 瞼検出装置、瞼検出方法、及び、プログラム | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| US6526161B1 (en) | System and method for biometrics-based facial feature extraction | |
| JP4309926B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| KR100617390B1 (ko) | 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| JP2010244178A (ja) | 顔特徴点検出装置及びプログラム | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| WO2011158463A1 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
| JP2003150942A (ja) | 目位置追跡方法 | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| JP4848301B2 (ja) | 瞼検出装置及びプログラム | |
| JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
| JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| JP2004157778A (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| JP3963789B2 (ja) | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 | |
| US20060010582A1 (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| JP4895876B2 (ja) | 眼検出装置及びプログラム | |
| JP2008084109A (ja) | 目開閉判定装置及び目開閉判定方法 | |
| JP4848303B2 (ja) | 眼開閉判別装置及びプログラム | |
| KR960013819B1 (ko) | 사람 얼굴의 화상처리를 이용한 개인 인식방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5262243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |