JP5618686B2 - 視線検出装置、視線検出方法及びプログラム - Google Patents
視線検出装置、視線検出方法及びプログラム Download PDFInfo
- Publication number
- JP5618686B2 JP5618686B2 JP2010174730A JP2010174730A JP5618686B2 JP 5618686 B2 JP5618686 B2 JP 5618686B2 JP 2010174730 A JP2010174730 A JP 2010174730A JP 2010174730 A JP2010174730 A JP 2010174730A JP 5618686 B2 JP5618686 B2 JP 5618686B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- eye
- face
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Description
P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, in Proc. Of CVPR, vol.1, pp.511-518, December, 2001
御手洗祐輔, 森克彦, 真継優和, “選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム”, FIT (情報科学技術フォーラム), Ll-013, 2003
鈴木亜紀子, 滝口哲也, 有木康雄, “PCA相関フィルタによる目領域の探索”, FIT (情報科学技術フォーラム), H-015, 2007
M. Bertozzi, A. Broggi, M. Del Rose, M. Felisa, A. Rakotomamonjy and F. Suard, “A Pedestrian Detector Using Histograms of Oriented Gradients and a Support Vector Machine Classifier”, IEEE Intelligent Transportation Systems Conference, 2007
条件(1):目尻特徴点のY座標−目頭特徴点のY座標<Th1
条件(2):上瞼特徴点のX座標−下瞼特徴点のX座標<Th2
条件(3)(目尻特徴点のX座標+目頭特徴点のX座標)/2−上瞼特徴点のX座標<Th3
条件(4):目尻特徴点のX座標+目頭特徴点のX座標)/2−下瞼特徴点のX座標<Th4
また、条件(1)〜(4)に対して夫々閾値処理を実施するのではなくて、条件(1)〜(4)の左辺の値そのものを視線の信頼度とするようにしてもよい。この場合には、逆に0に近い程、信頼できる意味を持つようになる。ステップS2201でも同様、視線信頼度算出部1400は、右目の特徴点(目尻、目頭、上瞼、下瞼)位置に基づいて、第2の視線の信頼度の算出を行う。
V. Vapnik. “Statistical Learning Theory”, John Wiley & Sons, 1998
例えば図11に示すように、左向き(−60度〜−30度)、正面向き(−30度〜30度)、右向き(30度〜60度)の3つのパターンを分類する識別器を予め用意しておく。具体的には、左向きをポジティブデータ、それ以外をネガティブデータ、正面向きをポジティブデータ、それ以外をネガティブデータ等として3つの識別器を用意しておく。そして、3つの識別器のうち、最も高い値を算出した識別器に対応する顔の向きを人物の顔の向きとして決定する方法である。なお、本実施形態では、顔の向きの分解能を3つとしたが、本発明がその3つに限られるわけではない。また、左向きを−60度〜−30度、正面向きを−30度〜30度、右向きを30度〜60度として定義したが、これに限られるわけではない。
視線総合推定値=第1の視線の信頼度×第1の視線推定値+第2の視線の信頼度×第2の視線推定値
Claims (8)
- 画像データから顔を検出する第1の検出手段と、
検出された前記顔における左右それぞれの目の複数の所定部位を検出する第2の検出手段と、
検出された前記顔の向きに対応する特徴量を前記画像データから抽出する第1の抽出手段と、
検出された前記複数の所定部位の相対位置関係に基づいて前記左右それぞれの目の視線の信頼度を算出する算出手段と、
算出された前記左右それぞれの目の視線の信頼度に基づいて前記左右の目の少なくとも1つを選択する選択手段と、
前記選択手段により選択された目の目領域の特徴量を前記画像データから抽出する第2の抽出手段と、
前記顔の向きに対応する特徴量と前記選択された目の目領域の特徴量とに基づいて視線を推定する推定手段とを有することを特徴とする視線検出装置。 - 検出された前記顔のサイズを判定する判定手段を更に有し、
前記第2の検出手段は、前記判定手段により所定サイズ以上と判定された顔から前記複数の所定部位を検出することを特徴とする請求項1に記載の視線検出装置。 - 検出された前記顔の向きが所定の向きで解像度がそれぞれ異なる2つの正規化画像を生成する生成手段を更に有し、
前記第1の抽出手段は、前記2つの正規化画像のうち低解像度の正規化画像から前記顔の向きに対応する特徴量を抽出し、
前記第2の抽出手段は、前記2つの正規化画像のうち高解像度の正規化画像から前記選択された目の目領域の特徴量を抽出することを特徴とする請求項1又は2に記載の視線検出装置。 - 前記選択された目の目領域の幅及び高さを正規化した画像を生成する第2の生成手段を更に有し、
前記第2の抽出手段は、前記第2の生成手段により生成された画像から前記選択された目の目領域の特徴量を抽出することを特徴とする請求項1乃至3の何れか1項に記載の視線検出装置。 - 前記目の複数の所定部位は、目領域の幅及び高さを規定する部位であり、
前記第2の生成手段は、前記選択された目の複数の所定部位に基づいて、前記選択された目の目領域の幅及び高さを正規化した画像を生成することを特徴とする請求項4に記載の視線検出装置。 - 前記特徴量は、エッジ、輝度、色、周波数、及び、これらのヒストグラムのうちの少なくとも何れかであることを特徴とする請求項1乃至5の何れか1項に記載の視線検出装置。
- 視線検出装置によって実行される視線検出方法であって、
画像データから顔を検出する第1の検出ステップと、
検出された前記顔における左右それぞれの目の複数の所定部位を検出する第2の検出ステップと、
検出された前記顔の向きに対応する特徴量を前記画像データから抽出する第1の抽出ステップと、
検出された前記複数の所定部位の相対位置関係に基づいて前記左右それぞれの目の視線の信頼度を算出する算出ステップと、
算出された前記左右それぞれの目の視線の信頼度に基づいて前記左右の目の少なくとも1つを選択する選択ステップと、
前記選択ステップにより選択された目の目領域の特徴量を前記画像データから抽出する第2の抽出ステップと、
前記顔の向きに対応する特徴量と前記選択された目の目領域の特徴量とに基づいて視線を推定する推定ステップとを含むことを特徴とする視線検出方法。 - 画像データから顔を検出する第1の検出ステップと、
検出された前記顔における左右それぞれの目の複数の所定部位を検出する第2の検出ステップと、
検出された前記顔の向きに対応する特徴量を前記画像データから抽出する第1の抽出ステップと、
検出された前記複数の所定部位の相対位置関係に基づいて前記左右それぞれの目の視線の信頼度を算出する算出ステップと、
算出された前記左右それぞれの目の視線の信頼度に基づいて前記左右の目の少なくとも1つを選択する選択ステップと、
前記選択ステップにより選択された目の目領域の特徴量を前記画像データから抽出する第2の抽出ステップと、
前記顔の向きに対応する特徴量と前記選択された目の目領域の特徴量とに基づいて視線を推定する推定ステップとをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010174730A JP5618686B2 (ja) | 2010-08-03 | 2010-08-03 | 視線検出装置、視線検出方法及びプログラム |
US13/192,923 US8891819B2 (en) | 2010-08-03 | 2011-07-28 | Line-of-sight detection apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010174730A JP5618686B2 (ja) | 2010-08-03 | 2010-08-03 | 視線検出装置、視線検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012037934A JP2012037934A (ja) | 2012-02-23 |
JP5618686B2 true JP5618686B2 (ja) | 2014-11-05 |
Family
ID=45849910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010174730A Active JP5618686B2 (ja) | 2010-08-03 | 2010-08-03 | 視線検出装置、視線検出方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8891819B2 (ja) |
JP (1) | JP5618686B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11983896B2 (en) | 2018-10-09 | 2024-05-14 | Mitsubishi Electric Corporation | Line-of-sight detection apparatus and line-of-sight detection method |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101642402B1 (ko) * | 2010-02-01 | 2016-07-25 | 삼성전자주식회사 | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 |
JP5808171B2 (ja) * | 2010-07-16 | 2015-11-10 | 株式会社 資生堂 | 目元画像シミュレーション装置、目元画像生成方法、及び目元画像生成プログラム |
JP5765015B2 (ja) * | 2011-03-30 | 2015-08-19 | 富士通株式会社 | 視線検出装置、視線検出方法および視線検出プログラム |
US9996743B2 (en) * | 2012-11-28 | 2018-06-12 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for detecting gaze locking |
JP6157165B2 (ja) * | 2013-03-22 | 2017-07-05 | キヤノン株式会社 | 視線検出装置及び撮像装置 |
US9384384B1 (en) * | 2013-09-23 | 2016-07-05 | Amazon Technologies, Inc. | Adjusting faces displayed in images |
US20150169046A1 (en) * | 2013-12-13 | 2015-06-18 | Honeywell International Inc. | Line scan camera eye tracking system and method |
JP6256165B2 (ja) * | 2014-04-09 | 2018-01-10 | 富士通株式会社 | 視線検出装置、視線検出プログラム及び視線検出方法 |
EP3078343A4 (en) * | 2014-07-22 | 2017-08-16 | Olympus Corporation | Medical system |
US10452136B2 (en) | 2014-10-13 | 2019-10-22 | Thomson Licensing | Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium |
EP3009918A1 (en) * | 2014-10-13 | 2016-04-20 | Thomson Licensing | Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method and computer readable storage medium |
US9846807B1 (en) * | 2014-12-31 | 2017-12-19 | Morphotrust Usa, Llc | Detecting eye corners |
US10089525B1 (en) | 2014-12-31 | 2018-10-02 | Morphotrust Usa, Llc | Differentiating left and right eye images |
JP6664163B2 (ja) * | 2015-08-05 | 2020-03-13 | キヤノン株式会社 | 画像識別方法、画像識別装置及びプログラム |
KR102463169B1 (ko) * | 2015-09-07 | 2022-11-04 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
JP6822482B2 (ja) * | 2016-10-31 | 2021-01-27 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
JP6558388B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像処理装置 |
US9940518B1 (en) | 2017-09-11 | 2018-04-10 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
US20200183490A1 (en) * | 2017-09-11 | 2020-06-11 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
WO2019155570A1 (ja) * | 2018-02-08 | 2019-08-15 | 日本電気株式会社 | 視線推定装置、視線推定方法、および記録媒体 |
JP7255721B2 (ja) * | 2018-02-08 | 2023-04-11 | 日本電気株式会社 | 視線推定装置、視線推定方法、およびプログラム |
JP7388349B2 (ja) * | 2018-03-29 | 2023-11-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019205007A1 (en) * | 2018-04-25 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for blink action recognition based on facial feature points |
US20220036581A1 (en) * | 2018-09-26 | 2022-02-03 | Nec Corporation | Estimation device, estimation method, and storage medium |
JP2020126573A (ja) * | 2019-02-06 | 2020-08-20 | 株式会社デンソー | 画像処理装置、目検出方法、及び注視方向検出方法 |
CN109924942B (zh) * | 2019-04-25 | 2024-04-05 | 南京博视医疗科技有限公司 | 一种基于线扫描成像系统的光学稳像方法及系统 |
JP7140072B2 (ja) * | 2019-07-29 | 2022-09-21 | 株式会社デンソー | 眼球指標検出装置、眼球指標検出方法、眼球指標検出プログラム |
CN111208904A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种视线估计设备性能评估方法、系统和设备 |
US11593962B2 (en) | 2020-12-29 | 2023-02-28 | Tobii Ab | Eye gaze tracking system, associated methods and computer programs |
JP7103443B2 (ja) * | 2021-01-05 | 2022-07-20 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN117315536B (zh) * | 2023-09-25 | 2024-06-04 | 南通大学 | 一种在线学习专注度监测方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256852A (ja) | 2002-02-28 | 2003-09-12 | Tetsuo Miyake | 注視判定方法 |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
US7809160B2 (en) * | 2003-11-14 | 2010-10-05 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections |
JP2005253778A (ja) * | 2004-03-12 | 2005-09-22 | Gen Tec:Kk | 視線検出方法及び同装置 |
JP2007265367A (ja) | 2006-03-30 | 2007-10-11 | Fujifilm Corp | 視線検出方法および装置ならびにプログラム |
CN101489467B (zh) * | 2006-07-14 | 2011-05-04 | 松下电器产业株式会社 | 视线方向检测装置和视线方向检测方法 |
JP4826506B2 (ja) * | 2007-02-27 | 2011-11-30 | 日産自動車株式会社 | 視線推定装置 |
JP4372804B2 (ja) * | 2007-05-09 | 2009-11-25 | トヨタ自動車株式会社 | 画像処理装置 |
JP2009059257A (ja) * | 2007-09-03 | 2009-03-19 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP5230748B2 (ja) * | 2008-09-26 | 2013-07-10 | パナソニック株式会社 | 視線方向判定装置及び視線方向判定方法 |
JP5303685B2 (ja) * | 2010-11-09 | 2013-10-02 | 富士フイルム株式会社 | 拡張現実感提供装置 |
JP5625976B2 (ja) * | 2011-02-09 | 2014-11-19 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにプログラム |
-
2010
- 2010-08-03 JP JP2010174730A patent/JP5618686B2/ja active Active
-
2011
- 2011-07-28 US US13/192,923 patent/US8891819B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11983896B2 (en) | 2018-10-09 | 2024-05-14 | Mitsubishi Electric Corporation | Line-of-sight detection apparatus and line-of-sight detection method |
Also Published As
Publication number | Publication date |
---|---|
JP2012037934A (ja) | 2012-02-23 |
US8891819B2 (en) | 2014-11-18 |
US20120189160A1 (en) | 2012-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5618686B2 (ja) | 視線検出装置、視線検出方法及びプログラム | |
US20210397816A1 (en) | System and method for detecting and removing occlusions in a three-dimensional image | |
CN102375974B (zh) | 信息处理设备和信息处理方法 | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
KR101760258B1 (ko) | 얼굴 인식 장치 및 그 방법 | |
US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
KR101490016B1 (ko) | 인물 화상 처리 장치 및 인물 화상 처리 방법 | |
JP5517858B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
CN105740779B (zh) | 人脸活体检测的方法和装置 | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20120250982A1 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6207210B2 (ja) | 情報処理装置およびその方法 | |
KR20160066380A (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
JP2014093023A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
KR20160093523A (ko) | 안구 위치 정보 확정 방법 및 장치 | |
JP2019212148A (ja) | 情報処理装置及び情報処理プログラム | |
JP2015125731A (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
Tin | Robust Algorithm for face detection in color images | |
JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
JP7107380B2 (ja) | 推定装置、推定方法、およびプログラム | |
KR20090099349A (ko) | 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템 | |
Abidi et al. | Face biometrics for personal identification: multi-sensory multi-modal systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5618686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |