JP4848301B2 - 瞼検出装置及びプログラム - Google Patents
瞼検出装置及びプログラム Download PDFInfo
- Publication number
- JP4848301B2 JP4848301B2 JP2007065662A JP2007065662A JP4848301B2 JP 4848301 B2 JP4848301 B2 JP 4848301B2 JP 2007065662 A JP2007065662 A JP 2007065662A JP 2007065662 A JP2007065662 A JP 2007065662A JP 4848301 B2 JP4848301 B2 JP 4848301B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- wrinkle
- eyelid
- face
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段と、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段と、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段と、を備え、
前記瞼の候補の変動量は、当該瞼の候補の位置の移動距離を含み、
前記瞼判別手段は、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別する、
ことを特徴とする。
前記瞼判別手段は、前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別してもよい。
前記開度の履歴において、瞬きに相当する変化が含まれない期間における当該開度の変動量に基づいて瞼を判別してもよい。
前記開度の標準偏差の時間軸に沿った変動量を算出し、
瞬きに相当する変化が含まれない期間における前記標準偏差の変動量が所定の閾値以下である瞼の候補を瞼として判別してもよい。
瞬きに相当する変化が含まれない期間における当該開度の変動量が所定の閾値以下である瞼の候補を瞼として判別してもよい。
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段と、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段と、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段と、
前記顔画像記憶手段に記憶されている画像から鼻孔の位置を検出する鼻孔位置検出手段と、を備え、
前記瞼の候補の変動量は、当該瞼の候補の上瞼に相当する部分と下瞼に相当する部分との距離が開いている度合である開度を含み、
前記瞼判別手段は、
前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記鼻孔位置検出手段が検出した鼻孔の位置に対する相対的な前記下瞼に相当する部分の位置が同じである瞼を判別することを特徴とする。
コンピュータを、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段、
として機能させるプログラムであって、
前記瞼の候補の変動量は、当該瞼の候補の位置の移動距離を含み、
前記瞼判別手段は、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別する、
ことを特徴とする。
本発明の第4の観点に係るプログラムは、
コンピュータを、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段、
前記顔画像記憶手段に記憶されている画像から鼻孔の位置を検出する鼻孔位置検出手段、
として機能させるプログラムであって、
前記瞼の候補の変動量は、当該瞼の候補の上瞼に相当する部分と下瞼に相当する部分との距離が開いている度合である開度を含み、
前記瞼判別手段は、
前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記鼻孔位置検出手段が検出した鼻孔の位置に対する相対的な前記下瞼に相当する部分の位置が同じである瞼を判別する、
ことを特徴とする。
以下、本発明の第1の実施形態に係る瞼検出装置50について説明する。
先ず、瞼検出用横ソーベル閾値は、顔画像から顔の瞼領域を抽出する際に横エッジ検出用ソーベルフィルタを用いて処理した各画素の微分値から、横エッジラインか否かを判別するための閾値である。
瞼領域設定パラメータa,bは、検出された顔位置と鼻孔位置とから瞼が存在すると推定される瞼領域を算出するためのパラメータである。
閾値Lth,Cxth,Dthは、瞼候補となるエッジラインペアを抽出するために使用する閾値である。
閾値Ath,σthは、瞼候補であるエッジラインペアから瞼を判別するために使用する閾値である。
ただし、Lpはプラスエッジの長さを表す値であり、Lmはマイナスエッジの長さを表す値であり、Lthは閾値である。ただし、閾値Lthは、図4に示されるように、設定メモリ28に格納されている。数式(1)を満たすマイナスエッジとプラスエッジとの長さは閾値Lthの範囲で近似している。
ただし、Cxpはプラスエッジの重心のx座標であり、Cxmはマイナスエッジの重心のx座標であり、Cxthは閾値である。ただし、閾値Cxthは、図4に示されるように、設定メモリ28に格納されている。数式(2)を満たすマイナスエッジとプラスエッジとの重心のx座標は閾値Cxthの範囲で近似している。
ただし、Dgはマイナスエッジの重心とプラスエッジの重心との間の距離であり、Dthは閾値である。ただし、閾値Dthは、図4に示されるように、設定メモリ28に格納されている。数式(3)を満たすマイナスエッジとプラスエッジとの重心間距離は閾値Dth以内である。
条件(4)を満たす瞼候補は、出現位置が安定しているので誤検出によるものではない可能性が高いといえる。
A(a)=0
となる点が存在する。・・・(5)
t=aを中心とした所定の範囲a−b≦t≦a+b(ただし、b>0)において、
B(t)>Bth
を満たす。・・・(6)
ただし、Bthは閾値である。ただし、閾値Bthは、図4に示されるように、設定メモリ28に格納されている。条件(5)(6)を満たす瞼候補は、距離Dg(t)において、瞬きに相当する極小値を取る。
t<a−b,a+b<tにおいて、
σ(t)<σth
を満たす。・・・(7)
ただし、σthは閾値である。ただし、閾値σthは、図4に示されるように、設定メモリ28に格納されている。条件(7)を満たすマイナスエッジとプラスエッジとの重心間距離Dgの標準偏差σは閾値σth以内である。つまり、条件(7)を満たすマイナスエッジとプラスエッジとの重心間距離Dgは、瞬きに相当する極小値を取らない範囲において安定していると言える。
第1の実施形態に係る瞼検出装置50は、瞼判別処理(S400)において、先ず、位置の移動が少ない瞼候補を抽出した(S420)。しかし、第2の実施形態に係る瞼検出装置50では、先ず、瞼候補抽出処理で検出した鼻孔の位置に対する相対的な位置が同じである瞼候補を抽出するようにしてもよい。
第1の実施形態に係る瞼検出装置50は、瞼判別処理(S400)のステップS440において、瞬きがない間の開度標準偏差が閾値以下の瞼候補を抽出した。しかし、第3の実施形態に係る瞼検出装置50では、瞬きがない間の開度の最大値と最小値との差が閾値以下の瞼候補を抽出するようにしてもよい。
12 照明光源
14 コンピュータ
16 表示装置
21 A/D変換器
22 画像メモリ(顔画像記憶手段)
23 ROM
24 CPU(瞼候補抽出手段、瞼判別手段、鼻孔位置検出手段)
25 RAM(履歴記憶手段)
26 表示制御装置
28 設定メモリ
29 操作装置
50 瞼検出装置
Claims (8)
- 異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段と、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段と、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段と、を備え、
前記瞼の候補の変動量は、当該瞼の候補の位置の移動距離を含み、
前記瞼判別手段は、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別する、
ことを特徴とする瞼検出装置。 - 前記瞼の候補の変動量は、当該瞼の候補の上瞼に相当する部分と下瞼に相当する部分との距離が開いている度合である開度を含み、
前記瞼判別手段は、前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別する、
ことを特徴とする請求項1に記載の瞼検出装置。 - 前記瞼判別手段は、
前記開度の履歴において、瞬きに相当する変化が含まれない期間における当該開度の変動量に基づいて瞼を判別する、
ことを特徴とする請求項2に記載の瞼検出装置。 - 前記瞼判別手段は、
前記開度の標準偏差の時間軸に沿った変動量を算出し、
瞬きに相当する変化が含まれない期間における前記標準偏差の変動量が所定の閾値以下である瞼の候補を瞼として判別する、
ことを特徴とする請求項3に記載の瞼検出装置。 - 前記瞼判別手段は、
瞬きに相当する変化が含まれない期間における当該開度の変動量が所定の閾値以下である瞼の候補を瞼として判別する、
ことを特徴とする請求項3に記載の瞼検出装置。 - 異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段と、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段と、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段と、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段と、
前記顔画像記憶手段に記憶されている画像から鼻孔の位置を検出する鼻孔位置検出手段と、を備え、
前記瞼の候補の変動量は、当該瞼の候補の上瞼に相当する部分と下瞼に相当する部分との距離が開いている度合である開度を含み、
前記瞼判別手段は、
前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記鼻孔位置検出手段が検出した鼻孔の位置に対する相対的な前記下瞼に相当する部分の位置が同じである瞼を判別する、
ことを特徴とする瞼検出装置。 - コンピュータを、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段、
として機能させるプログラムであって、
前記瞼の候補の変動量は、当該瞼の候補の位置の移動距離を含み、
前記瞼判別手段は、前記瞼の候補の位置の移動距離が所定の範囲以内である瞼の候補を瞼と判別する、
ことを特徴とするプログラム。 - コンピュータを、
異なったタイミングで取得した対象者の顔の複数の画像を記憶する顔画像記憶手段、
前記顔画像記憶手段に記憶されている画像を画像の明暗に基づいて処理し、前記対象者の顔の瞼の候補を抽出する瞼候補抽出手段、
瞼候補抽出手段が抽出した瞼の候補の変動量を計測し、計測した当該瞼の候補の変動量の履歴を記憶する履歴記憶手段、
前記履歴記憶手段が記憶した瞼の候補の変動量の履歴に基づいて、前記瞼候補抽出手段が抽出した瞼の候補のうちから瞼を判別する瞼判別手段、
前記顔画像記憶手段に記憶されている画像から鼻孔の位置を検出する鼻孔位置検出手段、
として機能させるプログラムであって、
前記瞼の候補の変動量は、当該瞼の候補の上瞼に相当する部分と下瞼に相当する部分との距離が開いている度合である開度を含み、
前記瞼判別手段は、
前記開度の履歴に瞬きに相当する変化が含まれ、且つ、前記鼻孔位置検出手段が検出した鼻孔の位置に対する相対的な前記下瞼に相当する部分の位置が同じである瞼を判別する、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007065662A JP4848301B2 (ja) | 2007-03-14 | 2007-03-14 | 瞼検出装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007065662A JP4848301B2 (ja) | 2007-03-14 | 2007-03-14 | 瞼検出装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008226047A JP2008226047A (ja) | 2008-09-25 |
JP4848301B2 true JP4848301B2 (ja) | 2011-12-28 |
Family
ID=39844558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007065662A Expired - Fee Related JP4848301B2 (ja) | 2007-03-14 | 2007-03-14 | 瞼検出装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4848301B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015970A (ja) * | 2011-07-01 | 2013-01-24 | Aisin Seiki Co Ltd | 瞼検出装置、瞼検出方法及びプログラム |
JP6187817B2 (ja) | 2013-10-09 | 2017-08-30 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP6462209B2 (ja) | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
JP6227996B2 (ja) | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3143819B2 (ja) * | 1994-05-20 | 2001-03-07 | 株式会社豊田中央研究所 | まぶたの開度検出装置 |
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
JPH1163927A (ja) * | 1997-08-27 | 1999-03-05 | Mitsubishi Heavy Ind Ltd | 頭部位置・姿勢の計測装置および作業監視装置 |
JP2000123188A (ja) * | 1998-10-20 | 2000-04-28 | Toyota Motor Corp | 眼開閉判定装置 |
-
2007
- 2007-03-14 JP JP2007065662A patent/JP4848301B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008226047A (ja) | 2008-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4309928B2 (ja) | 瞼検出装置、瞼検出方法、及び、プログラム | |
JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
JP5262243B2 (ja) | 眼開閉判別装置、及びプログラム | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
JP4895847B2 (ja) | 瞼検出装置及びプログラム | |
CN107122789B (zh) | 基于深度摄像头的多模态信息融合的学习专注度分析方法 | |
JP4739870B2 (ja) | サングラス検出装置及び顔中心位置検出装置 | |
US7907752B2 (en) | Face center position detecting device, face center position detecting method, and computer-readable medium | |
JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
JP2000082147A (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
JP2011115460A (ja) | 視線制御装置、視線制御方法、及びそのプログラム | |
JP4848301B2 (ja) | 瞼検出装置及びプログラム | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP4895876B2 (ja) | 眼検出装置及びプログラム | |
JP4878273B2 (ja) | 眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラム | |
JP4848303B2 (ja) | 眼開閉判別装置及びプログラム | |
JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
Shilaskar et al. | Student eye gaze tracking and attention analysis system using computer vision | |
JP2004030006A (ja) | 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法 | |
JP2008226189A (ja) | 特徴点検出装置及びプログラム | |
JP2008226073A (ja) | 目検出装置、目検出方法およびプログラム | |
CN115039149A (zh) | 虹膜检测方法、虹膜检测装置以及虹膜检测程序 | |
JP2011095827A (ja) | 眼部検出装置 | |
Magee | A real-time human-computer interface based on gaze detection from a low-grade video camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100225 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4848301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |