JP6346525B2 - 視線検出装置 - Google Patents
視線検出装置 Download PDFInfo
- Publication number
- JP6346525B2 JP6346525B2 JP2014176135A JP2014176135A JP6346525B2 JP 6346525 B2 JP6346525 B2 JP 6346525B2 JP 2014176135 A JP2014176135 A JP 2014176135A JP 2014176135 A JP2014176135 A JP 2014176135A JP 6346525 B2 JP6346525 B2 JP 6346525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calculated value
- pupil
- line
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Mechanical Engineering (AREA)
Description
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、それぞれの部分画像に基づいて視線方向を算出する算出ステップと、視線方向の角度範囲の大小に応じて、異なる部分画像から得られた複数種類の視線方向の算出値のいずれかを選択する選択ステップと、が行われ、前記部分画像は、瞳孔画像と角膜反射光画像であり、前記瞳孔画像と前記角膜反射光画像とから視線方向の第1の算出値が求められ、前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第2の算出値が求められ、前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、前記顔画像から顔の向きが算出され、前記黒目画像または前記瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第3の算出値が求められ、視線方向が基準値から第1の角度範囲までは、前記第1の算出値を真の視線方向の算出値として選択し、視線方向が第1の角度範囲を超えたときに、前記第2の算出値を真の視線方向の算出値として選択し、視線方向が前記第1の角度範囲よりも大きい角度である第2の角度範囲を超えたら、前記第3の算出値を真の視線方向の算出値として選択することを特徴とするものである。
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、それぞれの部分画像に基づいて視線方向を算出する算出ステップと、異なる部分画像から得られた複数種類の視線方向の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する選択ステップと、が行われ、前記部分画像は、瞳孔画像と角膜反射光画像であり、前記瞳孔画像と前記角膜反射光画像とから視線方向の第1の算出値が求められ、前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第2の算出値が求められ、前記第1の算出値と前記第2の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択することを特徴とするものである。
図1に示すように、本発明の実施の形態の視線検出装置1は、ケース2を有している。ケース2は左右方向に細長い立方体形状であり、前方に開口部3が形成されている。開口部3の形状は長方形であり、この開口部が1枚のカバー板4で覆われている。カバー板4は、赤外光を透過することができるが可視光の波長帯域については光線透過率が低下するように着色されている。あるいは、カバー板4が透光性であり、前記光線透過率を低下させる着色シートが積層されて構成されている。したがって、図1(B)において、実際は、ケース2の内部構造はカバー板4を透過して目視することはできない。
ケース2の内部に第1受像装置10と第2受像装置20が収納されている。
図2は、対象者の目60の視線の向きとカメラ13,23の光軸O1,O2との関係を模式的に示す説明図である。第1受像装置10の第1カメラ13の光軸O1と各光源の光軸がカバー板4に対して斜めに向けられ、第2受像装置20においても、第2カメラ23の光軸O2と各光源の光軸がカバー板4に対して斜めに向けられている。そのため、第1カメラ13の光軸O1と第2カメラ23の光軸O2の双方が、視線検出装置1から所定距離離れている対象者の目60に向けられている。
図6に示す演算制御部CCでは、黒目画像抽出部46で、画像取得部44,45で取得された画像から部分画像として黒目(虹彩)の画像が抽出されて、黒目形状算出部48に与えられる。あるいは、明瞳孔画像検出部51で検出された明瞳孔画像、または暗瞳孔画像検出部52で検出された暗瞳孔画像から黒目の画像が抽出されて黒目形状算出部48に与えられてもよい。黒目形状算出部48では、黒目画像に対応するエリア画像が生成され、エリア画像の楕円の長軸寸法と短軸寸法とが算出される。この長軸寸法と短軸寸法との比が視線方向算出部56に与えられて、黒目がどのような楕円形状になっているかが算出される。さらに、長軸または短軸の傾きにより、空間内での黒目の上下方向への傾き角度も算出することができる。
<第3の算出値(顔の向きと黒目の位置)>
図5(A)は、正面を向いたときの、顔の向きと、黒目66の位置または瞳孔62の位置を示す画像であり、図5(B)は、視線を正面方向から大きくそらしたときの、顔の向きと、黒目66の位置または瞳孔62の位置を示す画像である。
図7は、視線方向算出部56での算出値の選択プロセスを示している。視線方向算出値56では、図3に示す瞳孔62の中心と角膜反射光の反射点65とから視線方向の第1の算出値D1が得られ、図4に示す黒目66または瞳孔62の楕円形状を算出することで視線方向の第2の算出値D2が得られ、図5に示す顔の向きと目60における黒目66または瞳孔62の相対位置とで視線方向の第3の算出値D3が得られる。
算出値の第1の選択方法としては、算出された角度範囲によって算出値を選択する。
算出値の第2の選択方法は、第1の選択方法を補完する方法である。
第3の選択方法では、図3に示すように、角膜61の反射点65が検出されて角膜反射光中心算出部54からの検知出力が得られているとき、あるいは第1の算出値D1が得られているときは、図7に示すST1において、第1の算出値D1と第2の算出値D2のうちのばらつきを比較し、ST2においてばらつきの小さい方向の値を真の視線方向の算出値とする。
10、20 受像装置
11、21 第1光源
12、22 第2光源
13、23 カメラ
44、45 画像取得部
46 黒目画像抽出部
47 顔画像抽出部
48 黒目形状算出部
49 顔向き算出部
50 瞳孔画像抽出部
53 瞳孔中心算出部
54 角膜反射光中心算出部
55 瞳孔形状算出部
56 視線方向算出部
60 目
62 瞳孔
65 角膜の反射点
66 黒目
O1,O2 光軸
Claims (4)
- 対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、
それぞれの部分画像に基づいて視線方向を算出する算出ステップと、
視線方向の角度範囲の大小に応じて、異なる部分画像から得られた複数種類の視線方向の算出値のいずれかを選択する選択ステップと、が行われ、
前記部分画像は、瞳孔画像と角膜反射光画像であり、前記瞳孔画像と前記角膜反射光画像とから視線方向の第1の算出値が求められ、
前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第2の算出値が求められ、
前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、前記顔画像から顔の向きが算出され、前記黒目画像または前記瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第3の算出値が求められ、
視線方向が基準値から第1の角度範囲までは、前記第1の算出値を真の視線方向の算出値として選択し、視線方向が第1の角度範囲を超えたときに、前記第2の算出値を真の視線方向の算出値として選択し、視線方向が前記第1の角度範囲よりも大きい角度である第2の角度範囲を超えたら、前記第3の算出値を真の視線方向の算出値として選択することを特徴とする視線検出装置。 - 対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、
それぞれの部分画像に基づいて視線方向を算出する算出ステップと、
異なる部分画像から得られた複数種類の視線方向の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する選択ステップと、が行われ、
前記部分画像は、瞳孔画像と角膜反射光画像であり、前記瞳孔画像と前記角膜反射光画像とから視線方向の第1の算出値が求められ、
前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第2の算出値が求められ、
前記第1の算出値と前記第2の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択することを特徴とする視線検出装置。 - 視線方向を複数の角度範囲に区分して、それぞれの角度範囲で、どの部分画像から得られた視線方向の算出値を選択するかを予め割り振っておき、
前記角度範囲の境界部において、その境界部の両側の角度範囲で使用されている異なる前記算出値のうちのばらつきの小さい算出値を真の視線方向の算出値として選択する請求項2記載の視線検出装置。 - 前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、前記顔画像から顔の向きが算出され、前記黒目画像または前記瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第3の算出値が求められ、
前記第1の算出値が得られなくなったら、前記第2の算出値と前記第3の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する請求項2記載の視線検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014176135A JP6346525B2 (ja) | 2014-08-29 | 2014-08-29 | 視線検出装置 |
US14/799,193 US9760774B2 (en) | 2014-08-29 | 2015-07-14 | Line-of-sight detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014176135A JP6346525B2 (ja) | 2014-08-29 | 2014-08-29 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016051315A JP2016051315A (ja) | 2016-04-11 |
JP6346525B2 true JP6346525B2 (ja) | 2018-06-20 |
Family
ID=55402847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014176135A Expired - Fee Related JP6346525B2 (ja) | 2014-08-29 | 2014-08-29 | 視線検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9760774B2 (ja) |
JP (1) | JP6346525B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101745140B1 (ko) * | 2015-09-21 | 2017-06-08 | 현대자동차주식회사 | 시선 추적 장치 및 방법 |
US9830708B1 (en) | 2015-10-15 | 2017-11-28 | Snap Inc. | Image segmentation of a video stream |
US9907463B2 (en) * | 2016-05-26 | 2018-03-06 | Dental Smartmirror, Inc. | Using an intraoral mirror with an integrated camera to record immersive dental status, and applications thereof |
EP3479293A4 (en) * | 2016-06-29 | 2020-03-04 | Seeing Machines Limited | SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING |
WO2018030515A1 (ja) * | 2016-08-12 | 2018-02-15 | 国立大学法人静岡大学 | 視線検出装置 |
DE102017207206A1 (de) * | 2017-04-28 | 2018-10-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ansteuern eines Fahrerbeobachtungssystems zum Beobachten eines Fahrers eines Fahrzeugs |
EP3485799B9 (en) * | 2017-11-16 | 2022-02-16 | Aptiv Technologies Limited | Eye tracking device |
WO2019187808A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN109614858B (zh) * | 2018-10-31 | 2021-01-15 | 北京航天晨信科技有限责任公司 | 一种瞳孔中心的检测方法和装置 |
CN110365905B (zh) * | 2019-07-25 | 2021-08-31 | 北京迈格威科技有限公司 | 自动拍照方法及装置 |
CN111144356B (zh) * | 2019-12-30 | 2021-01-05 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
CN111208905A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种多模组视线追踪方法、系统和视线追踪设备 |
CN111208904A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种视线估计设备性能评估方法、系统和设备 |
CN113743263B (zh) * | 2021-08-23 | 2024-02-13 | 华中师范大学 | 一种教师非言语行为测量方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6950104B1 (en) * | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
JP4604190B2 (ja) * | 2004-02-17 | 2010-12-22 | 国立大学法人静岡大学 | 距離イメージセンサを用いた視線検出装置 |
EP2338416B1 (en) * | 2008-09-26 | 2019-02-27 | Panasonic Intellectual Property Corporation of America | Line-of-sight direction determination device and line-of-sight direction determination method |
WO2012020760A1 (ja) | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP5358540B2 (ja) | 2010-09-07 | 2013-12-04 | 本田技研工業株式会社 | 視線検出装置 |
US9547798B2 (en) * | 2014-05-20 | 2017-01-17 | State Farm Mutual Automobile Insurance Company | Gaze tracking for a vehicle operator |
-
2014
- 2014-08-29 JP JP2014176135A patent/JP6346525B2/ja not_active Expired - Fee Related
-
2015
- 2015-07-14 US US14/799,193 patent/US9760774B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160063304A1 (en) | 2016-03-03 |
US9760774B2 (en) | 2017-09-12 |
JP2016051315A (ja) | 2016-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6346525B2 (ja) | 視線検出装置 | |
US20180160079A1 (en) | Pupil detection device | |
JP4604190B2 (ja) | 距離イメージセンサを用いた視線検出装置 | |
JP6474900B2 (ja) | ヘッドマウントディスプレイ | |
JP4452833B2 (ja) | 視線移動検出方法及び視線移動検出装置 | |
US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
WO2018037685A1 (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
KR20130107981A (ko) | 시선 추적 장치 및 방법 | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
TW201511732A (zh) | 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法 | |
JP2016085588A (ja) | 視線検出装置および視線検出方法 | |
JP6360752B2 (ja) | 照明撮像装置 | |
JP5601179B2 (ja) | 視線検出装置及び視線検出方法 | |
WO2018164104A1 (ja) | 眼部画像処理装置 | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
JP2021527980A (ja) | 高フレームレート画像前処理システム及び方法 | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
EP3801196B1 (en) | Method and system for glint/reflection identification | |
JP2016051312A (ja) | 視線検出装置 | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
JP6687195B2 (ja) | 眼部画像処理装置 | |
JP2016035654A (ja) | 視線検出装置および視線入力システム | |
WO2017154356A1 (ja) | 視線検出装置および視線検出方法 | |
JP2018108167A (ja) | 視機能検査装置、視機能検査方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6346525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |