JP5221436B2 - 顔特徴点検出装置及びプログラム - Google Patents
顔特徴点検出装置及びプログラム Download PDFInfo
- Publication number
- JP5221436B2 JP5221436B2 JP2009090065A JP2009090065A JP5221436B2 JP 5221436 B2 JP5221436 B2 JP 5221436B2 JP 2009090065 A JP2009090065 A JP 2009090065A JP 2009090065 A JP2009090065 A JP 2009090065A JP 5221436 B2 JP5221436 B2 JP 5221436B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- parameter
- corner
- eyelid
- shape model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 80
- 230000001815 facial effect Effects 0.000 title description 6
- 210000000744 eyelid Anatomy 0.000 claims description 108
- 230000037303 wrinkles Effects 0.000 claims description 15
- 210000001508 eye Anatomy 0.000 description 272
- 238000000034 method Methods 0.000 description 60
- 238000011156 evaluation Methods 0.000 description 23
- 210000003128 head Anatomy 0.000 description 16
- 239000011521 glass Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
12 カメラ
14 表示装置
16 コンピュータ
16d CPU
Claims (7)
- 目頭及び目尻を備えた目領域を含む画像の画像データを取得する取得手段と、
前記取得手段で取得した画像データから、パターンマッチングにより目頭の第1位置及び目尻の第1位置を検出する位置検出手段と、
前記位置検出手段で検出された目頭の第1位置及び目尻の第1位置を端点とする上側の曲線及び下側の曲線で表され、かつ前記上側の曲線上に定めた上瞼位置を第1のパラメータ及び前記下側の曲線上に定めた下瞼位置を第2のパラメータとする第1の瞼形状モデルにおいて、前記第1のパラメータ及び前記第2のパラメータを変更したときの前記第1の瞼形状モデルと前記画像に含まれる瞼の形状とが一致する度合いを示す第1の尤度を、前記第1のパラメータ及び前記第2のパラメータ毎に演算する第1の演算手段と、
前記第1の演算手段で演算された第1の尤度が最も高い前記第1の瞼形状モデルで、かつ目頭位置を第3のパラメータ及び目尻位置を第4のパラメータとした第2の瞼形状モデルにおいて、前記第3のパラメータ及び前記第4のパラメータを変更したときの前記第2の瞼形状モデルと前記画像に含まれる瞼の形状とが一致する度合いを示す第2の尤度を、前記第3のパラメータ及び前記第4のパラメータ毎に演算する第2の演算手段と、
前記第2の演算手段で演算された第2の尤度が最も高い前記第2の瞼形状モデルの第3のパラメータで示される位置を目頭の第2位置及び第4のパラメータで示される位置を目尻の第2位置として決定する位置決定手段と、
を含む顔特徴点検出装置。 - 前記第2の演算手段は、前記位置検出手段によるパターンマッチングのマッチング度が予め定めた閾値より小さい場合に、前記画像に含まれる瞼の形状のうち前記第2の瞼形状モデルの上瞼位置及び下瞼位置近傍の部分を用いて第2の尤度を演算する請求項1記載の顔特徴点検出装置。
- 前記位置検出手段は、パターンマッチングのマッチング度が予め定めた閾値より小さい場合に、目頭の第1位置として複数の目頭候補点を検出し、目尻の第1位置として複数の目尻候補点を検出し、
前記第1の演算手段は、前記複数の目頭候補点から選択した1つの目頭候補点及び前記複数の目尻候補点から選択した1つの目尻候補点を端点とする第1の瞼形状モデルにおいて、目頭候補点と目尻候補点との組合せの全てについて前記第1の尤度を演算する
請求項1または請求項2記載の顔特徴点検出装置。 - 前記第2の演算手段は、前記第2の瞼形状モデルの上瞼位置と下瞼位置との距離が予め定めた開度閾値より小さい場合には、前記第3のパラメータ及び前記第4のパラメータを予め定めた範囲内で変更する請求項1〜請求項3のいずれか1項記載の顔特徴点検出装置。
- 前記位置決定手段で今回決定された目頭の第2位置と目頭の第1位置との差、及び今回決定された目尻の第2位置と目尻の第1位置との差の少なくとも一方が予め定めた前回差閾値より大きい場合には、今回決定された目頭の第2位置及び目尻の第2位置を目頭の第1位置及び目尻の第1位置として置き換えて、再度目頭の第2位置及び目尻の第2位置を決定するように制御する制御手段を含む請求項1〜請求項4のいずれか1項記載の顔特徴点検出装置。
- コンピュータを、
目頭及び目尻を備えた目領域を含む画像の画像データを取得する取得手段と、
前記取得手段で取得した画像データから、パターンマッチングにより目頭の第1位置及び目尻の第1位置を検出する位置検出手段と、
前記位置検出手段で検出された目頭の第1位置及び目尻の第1位置を端点とする上側の曲線及び下側の曲線で表され、かつ前記上側の曲線上に定めた上瞼位置を第1のパラメータ及び前記下側の曲線上に定めた下瞼位置を第2のパラメータとする第1の瞼形状モデルにおいて、前記第1のパラメータ及び前記第2のパラメータを変更したときの前記第1の瞼形状モデルと前記画像に含まれる瞼の形状とが一致する度合いを示す第1の尤度を、前記第1のパラメータ及び前記第2のパラメータ毎に演算する第1の演算手段と、
前記第1の演算手段で演算された第1の尤度が最も高い前記第1の瞼形状モデルで、かつ目頭位置を第3のパラメータ及び目尻位置を第4のパラメータとした第2の瞼形状モデルにおいて、前記第3のパラメータ及び前記第4のパラメータを変更したときの前記第2の瞼形状モデルと前記画像に含まれる瞼の形状とが一致する度合いを示す第2の尤度を、前記第3のパラメータ及び前記第4のパラメータ毎に演算する第2の演算手段と、
前記第2の演算手段で演算された第2の尤度が最も高い前記第2の瞼形状モデルの第3のパラメータで示される位置を目頭の第2位置及び第4のパラメータで示される位置を目尻の第2位置として決定する位置決定手段と、
して機能させるための顔特徴点検出プログラム。 - コンピュータを、請求項1〜請求項5のいずれか1項記載の顔特徴点検出装置を構成する各手段として機能させるための顔特徴点検出プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090065A JP5221436B2 (ja) | 2009-04-02 | 2009-04-02 | 顔特徴点検出装置及びプログラム |
EP10758593.7A EP2416294B1 (en) | 2009-04-02 | 2010-03-26 | Face feature point detection device and program |
PCT/JP2010/055454 WO2010113821A1 (ja) | 2009-04-02 | 2010-03-26 | 顔特徴点検出装置及びプログラム |
KR1020117022723A KR101267205B1 (ko) | 2009-04-02 | 2010-03-26 | 얼굴특징점 검출 장치 및 프로그램 |
CN2010800132867A CN102362291B (zh) | 2009-04-02 | 2010-03-26 | 脸部特征点检测装置及方法 |
US13/259,065 US8331630B2 (en) | 2009-04-02 | 2010-03-26 | Face feature point detection device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090065A JP5221436B2 (ja) | 2009-04-02 | 2009-04-02 | 顔特徴点検出装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010244178A JP2010244178A (ja) | 2010-10-28 |
JP5221436B2 true JP5221436B2 (ja) | 2013-06-26 |
Family
ID=42828112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009090065A Active JP5221436B2 (ja) | 2009-04-02 | 2009-04-02 | 顔特徴点検出装置及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8331630B2 (ja) |
EP (1) | EP2416294B1 (ja) |
JP (1) | JP5221436B2 (ja) |
KR (1) | KR101267205B1 (ja) |
CN (1) | CN102362291B (ja) |
WO (1) | WO2010113821A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5454737B2 (ja) * | 2011-04-15 | 2014-03-26 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
JP5728080B2 (ja) * | 2011-04-19 | 2015-06-03 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
US8824808B2 (en) * | 2011-08-19 | 2014-09-02 | Adobe Systems Incorporated | Methods and apparatus for automated facial feature localization |
JP5802524B2 (ja) * | 2011-11-21 | 2015-10-28 | 株式会社Pfu | 画像処理装置、画像処理方法、および画像処理プログラム |
KR101141901B1 (ko) | 2011-12-13 | 2012-07-12 | 한국 한의학 연구원 | 윗 눈꺼풀 모양 검출장치 및 방법 |
KR101164769B1 (ko) | 2011-12-13 | 2012-07-12 | 한국 한의학 연구원 | 눈 특징점 검출장치 및 방법 |
CN103208111B (zh) * | 2012-01-17 | 2015-10-07 | 富士通株式会社 | 用于修正图像角点的方法和装置以及图像处理设备 |
US20130243270A1 (en) * | 2012-03-16 | 2013-09-19 | Gila Kamhi | System and method for dynamic adaption of media based on implicit user input and behavior |
EP2876607B1 (en) * | 2012-07-23 | 2019-07-31 | Fujitsu Limited | Shape data generation method and device |
KR102012254B1 (ko) * | 2013-04-23 | 2019-08-21 | 한국전자통신연구원 | 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치 |
US9122914B2 (en) * | 2013-05-09 | 2015-09-01 | Tencent Technology (Shenzhen) Co., Ltd. | Systems and methods for matching face shapes |
JP6227996B2 (ja) * | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
CN105279764B (zh) | 2014-05-27 | 2020-09-11 | 北京三星通信技术研究有限公司 | 眼睛图像处理设备和方法 |
US9710707B1 (en) | 2014-12-31 | 2017-07-18 | Morphotrust Usa, Llc | Detecting iris orientation |
US9846807B1 (en) | 2014-12-31 | 2017-12-19 | Morphotrust Usa, Llc | Detecting eye corners |
US10089525B1 (en) | 2014-12-31 | 2018-10-02 | Morphotrust Usa, Llc | Differentiating left and right eye images |
US9747508B2 (en) * | 2015-07-24 | 2017-08-29 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
WO2017034860A1 (en) * | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
IL297610B2 (en) | 2015-10-16 | 2023-11-01 | Magic Leap Inc | Eye position detection using eye features |
JP2019082743A (ja) * | 2016-03-18 | 2019-05-30 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
US10082866B2 (en) | 2016-04-12 | 2018-09-25 | International Business Machines Corporation | Gaze point detection using dynamic facial reference points under varying lighting conditions |
CN106203262A (zh) * | 2016-06-27 | 2016-12-07 | 辽宁工程技术大学 | 一种基于眼睑曲线相似度与眼型指数的眼型分类方法 |
JP6946831B2 (ja) * | 2017-08-01 | 2021-10-13 | オムロン株式会社 | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 |
WO2019159229A1 (ja) * | 2018-02-13 | 2019-08-22 | 三菱電機株式会社 | 誤検出判定装置及び誤検出判定方法 |
CN110634174B (zh) * | 2018-06-05 | 2023-10-10 | 深圳市优必选科技有限公司 | 一种表情动画过渡方法、系统及智能终端 |
CN110956067B (zh) * | 2019-05-26 | 2022-05-17 | 魔门塔(苏州)科技有限公司 | 一种人眼眼睑曲线的构建方法及装置 |
CN113221599B (zh) * | 2020-01-21 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种眼睑曲线的构建方法及装置 |
CN111582270A (zh) * | 2020-04-24 | 2020-08-25 | 哈尔滨工业大学 | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 |
SE2250299A1 (en) * | 2022-03-04 | 2023-09-05 | Tobii Ab | Eye openness |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
CN100382751C (zh) * | 2005-05-08 | 2008-04-23 | 上海交通大学 | 基于vpf和改进的susan的眼角和瞳孔的定位方法 |
JP2007094906A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 特徴点検出装置および方法 |
JP4414401B2 (ja) * | 2006-02-10 | 2010-02-10 | 富士フイルム株式会社 | 顔特徴点検出方法および装置並びにプログラム |
JP2007265367A (ja) * | 2006-03-30 | 2007-10-11 | Fujifilm Corp | 視線検出方法および装置ならびにプログラム |
FR2907569B1 (fr) * | 2006-10-24 | 2009-05-29 | Jean Marc Robin | Procede et dispositif de simulation virtuelle d'une sequence d'images video. |
FR2911984B1 (fr) * | 2007-01-30 | 2009-02-27 | Siemens Vdo Automotive Sas | Procede pour identifier des points symboliques sur une image d'un visage d'une personne |
JP4309928B2 (ja) * | 2007-03-15 | 2009-08-05 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法、及び、プログラム |
JP4825737B2 (ja) * | 2007-06-20 | 2011-11-30 | トヨタ自動車株式会社 | 開眼度判定装置 |
CN100561503C (zh) * | 2007-12-28 | 2009-11-18 | 北京中星微电子有限公司 | 一种人脸眼角与嘴角定位与跟踪的方法及装置 |
JP2010033305A (ja) * | 2008-07-29 | 2010-02-12 | Hitachi Ltd | 画像情報処理方法、及び装置 |
US8345922B2 (en) * | 2008-09-03 | 2013-01-01 | Denso Corporation | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil |
FR2920938B1 (fr) * | 2008-09-30 | 2010-01-29 | Jean Marc Robin | Procede et dispositif de simulation virtuelle d'une image |
JP4788786B2 (ja) * | 2009-02-09 | 2011-10-05 | 株式会社デンソー | 眠気検出装置,プログラムおよび眠気検出方法 |
-
2009
- 2009-04-02 JP JP2009090065A patent/JP5221436B2/ja active Active
-
2010
- 2010-03-26 US US13/259,065 patent/US8331630B2/en active Active
- 2010-03-26 EP EP10758593.7A patent/EP2416294B1/en active Active
- 2010-03-26 WO PCT/JP2010/055454 patent/WO2010113821A1/ja active Application Filing
- 2010-03-26 KR KR1020117022723A patent/KR101267205B1/ko active IP Right Grant
- 2010-03-26 CN CN2010800132867A patent/CN102362291B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2416294A4 (en) | 2012-04-11 |
US8331630B2 (en) | 2012-12-11 |
WO2010113821A1 (ja) | 2010-10-07 |
CN102362291B (zh) | 2013-09-04 |
US20120014610A1 (en) | 2012-01-19 |
JP2010244178A (ja) | 2010-10-28 |
EP2416294A1 (en) | 2012-02-08 |
KR20120006493A (ko) | 2012-01-18 |
EP2416294B1 (en) | 2013-05-29 |
CN102362291A (zh) | 2012-02-22 |
KR101267205B1 (ko) | 2013-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5221436B2 (ja) | 顔特徴点検出装置及びプログラム | |
US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
CN109426835B (zh) | 信息处理装置、信息处理装置的控制方法和存储介质 | |
JP4895847B2 (ja) | 瞼検出装置及びプログラム | |
JP4137969B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
JP2007042072A (ja) | 追跡装置 | |
US9990710B2 (en) | Apparatus and method for supporting computer aided diagnosis | |
JP4680161B2 (ja) | 画像評価装置および方法並びにプログラム | |
JP2007241579A (ja) | 特徴点検出装置及びその方法 | |
CN109816051B (zh) | 一种危化品货物特征点匹配方法及系统 | |
EP2639743A2 (en) | Image processing device, image processing program, and image processing method | |
CN116051631A (zh) | 光斑标注方法及系统 | |
CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
JPWO2017030056A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111639582A (zh) | 活体检测方法及设备 | |
JP5201184B2 (ja) | 画像処理装置及びプログラム | |
US10140509B2 (en) | Information processing for detection and distance calculation of a specific object in captured images | |
JP2021099749A (ja) | ほうれい線の検出方法 | |
JP5035139B2 (ja) | 眼画像処理装置 | |
KR101276792B1 (ko) | 눈 검출 장치 및 방법 | |
WO2022242490A1 (en) | Method for detecting and removing personnel interference while measuring volume of an object | |
TW202203079A (zh) | 智能鏡的臉部影像定位方法 | |
JP2000182056A (ja) | 画像処理装置 | |
CN115620067A (zh) | 新冠肺炎抗原检测结果判别方法及装置、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130307 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5221436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |