JP6737057B2 - 視線検出装置、視線検出方法、及び視線検出プログラム - Google Patents
視線検出装置、視線検出方法、及び視線検出プログラム Download PDFInfo
- Publication number
- JP6737057B2 JP6737057B2 JP2016157681A JP2016157681A JP6737057B2 JP 6737057 B2 JP6737057 B2 JP 6737057B2 JP 2016157681 A JP2016157681 A JP 2016157681A JP 2016157681 A JP2016157681 A JP 2016157681A JP 6737057 B2 JP6737057 B2 JP 6737057B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- corneal reflection
- reflection
- reference point
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 88
- 238000000605 extraction Methods 0.000 claims description 136
- 210000001508 eye Anatomy 0.000 claims description 75
- 210000001747 pupil Anatomy 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 37
- 239000011521 glass Substances 0.000 claims description 33
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 65
- 230000000007 visual effect Effects 0.000 description 35
- 230000011514 reflex Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 13
- 210000004087 cornea Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000001028 reflection method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1に示すように、視線検出システム1は、例えば、表示装置2の表示面201を観察する人物3の視線4の検出に用いられる。視線検出システム1は、赤外光源5と、撮像装置6と、視線検出装置7と、を含む。赤外光源5は、例えば、赤外発光ダイオードである。赤外光源5は、表示装置2の表示面201を観察する人物3の頭部に向けて赤外光501を発する向きで、表示装置2の近傍に設置される。撮像装置6は、赤外線カメラである。撮像装置6は、表示装置2の表示面201を観察する人物3の頭部を含む赤外線画像を撮像する向きで、表示装置2の近傍に設置される。視線検出装置7は、撮像装置6で撮像した赤外線画像に写っている人物3の目の部分(眼球部分)における角膜反射の位置と、瞳孔の位置とに基づいて、人物3の視線4を検出する。すなわち、視線検出装置7は、瞳孔−角膜反射法により人物3の視線4を検出する。視線検出装置7で検出した人物3の視線4は、例えば、表示装置2の表示面201上における人物3の視線位置(すなわち人物3が表示面201のどこを見ているか)に基づいた視線入力等に利用される。
図2に示すように、視線検出装置7は、画像取得部710と、情報抽出部720と、視線算出部730と、出力部740と、を備える。また、視線検出装置7は、視線履歴750を記憶する記憶部(図示せず)を備える。
情報抽出部720は、取得した赤外線画像に写っている人物3の目の部分から、角膜反射の位置と瞳孔の位置とを含む、人物3の視線の算出に用いる情報を抽出する。情報抽出部720は、領域抽出部721と、角膜反射抽出部722と、瞳孔抽出部723と、抽出情報保持部724と、を含む。
図3に示すように、本実施形態に係る角膜反射抽出部722は、角膜反射候補抽出部722Aと、基準点抽出部722Bと、閾値ベクトル算出部722Cと、角膜反射特定部722Dと、を含む。
H=2・tan(φ/2)・L ・・・(1)
式(1)におけるφは、撮像装置6の水平画角である。
D=(W・H)/HR ・・・(2)
式(2)において、Wは画像内における顔の移動幅を表す画素数であり、HRは水平解像度である。
VTH=VM−R・(VM/|VM|) ・・・(3)
式(3)におけるRは、ステップS610で取得した角膜反射の移動範囲を表す円の半径である。
図8の(a)には、時刻tにおける人物3の顔の向きと、撮像装置6で撮像した画像10との例を示している。時刻tにおける人物3の視線4は、表示装置2の表示面201の正面方向から時計回り(左側)に角度θ1だけ傾いている。また、図8の(b)には、時刻t+Δtにおける人物3の顔の向きと、撮像装置6で撮像した画像10との例を示している。ここで、時間差Δtは、例えば、0.1秒〜0.3秒程度とする。時刻t+Δtにおける人物3の視線4は、表示装置2の表示面201の正面方向から時計回りに角度θ2(<θ1)だけ傾いている。
図9の(a)には、図8の(a)に示した時刻tの画像10における矩形領域14を示している。図9の(a)の矩形領域14には、人物3の左目301Lと、メガネ15の一部が写っている。また、図9の(a)の矩形領域14には、赤外光源5が発した赤外光の反射1301,1302,1303が写っている。3個の反射1301,1302,1303のうち、左目301Lの瞳孔302Lの中心に最も近い反射1301は、左目301L(角膜)における赤外光の反射である。また、3個の反射1301,1302,1303のうち、残りの2個の反射1302,1303は、それぞれ、メガネ15における左目用のレンズ1503における赤外光の反射(メガネ反射)である。
図11に示すように、コンピュータ20は、プロセッサ2001と、主記憶装置2002と、補助記憶装置2003と、入力装置2004と、出力装置2005と、入出力インタフェース2006と、通信制御装置2007と、媒体駆動装置2008と、を備える。コンピュータ20におけるこれらの要素2001〜2008は、バス2010により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
(付記1)
人物の目を含む像が写っている第1の画像と、前記第1の画像よりも後に撮像された第2の画像から所定の特徴を有する角膜反射の候補を抽出する角膜反射候補抽出部と、
前記第1の画像及び前記第2の画像から前記人物における基準点を抽出する基準点抽出部と、
前記第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出する閾値ベクトル算出部と
前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定する角膜反射特定部と、
前記画像から瞳孔の位置を抽出する瞳孔抽出部と、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する視線算出部と、
を備えることを特徴とする視線検出装置。
(付記2)
前記閾値ベクトル算出部は、前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲に基づいて、第2の画像における前記候補位置から前記目の移動範囲までの距離が最小となる前記閾値ベクトルを算出する、
ことを特徴とする付記1に記載の視線検出装置。
(付記3)
前記角膜反射特定部は、前記基準点の移動ベクトルの大きさが、前記閾値ベクトルの大きさよりも大きくなる前記第1の画像と前記第2の画像との組を選択して、前記角膜反射の位置を特定する、
ことを特徴とする付記2に記載の視線検出装置。
(付記4)
前記基準点抽出部は、前記人物が装着しているメガネの所定箇所を前記基準点として前記画像から抽出する、
ことを特徴とする付記1に記載の視線検出装置。
(付記5)
前記基準点抽出部は、前記人物の眉毛を前記基準点として前記画像から抽出する、
ことを特徴とする付記1に記載の視線検出装置。
(付記6)
前記人物の前記目の移動範囲の最大値を保持する保持部、を更に備え、
前記閾値ベクトル算出部は、前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲の最大値とに基づいて、前記閾値ベクトルを算出する、
ことを特徴とする付記2に記載の視線検出装置。
(付記7)
前記視線算出部は、特定した前記角膜反射が複数である場合に、当該複数の前記角膜反射のうちの前記瞳孔に最も近い角膜反射の位置と、前記瞳孔の位置とに基づいて、前記人物の視線を算出する、
ことを特徴とする付記1に記載の視線検出装置。
(付記8)
コンピュータが、
人物の目を含む像が写っている画像から前記人物における基準点を抽出するとともに、所定の特徴を有する角膜反射の候補を抽出し、
第1の画像よりも後に撮像された第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルを算出し、
前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出するとともに、前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、
前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定し、
前記画像から瞳孔の位置を抽出し、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する、
処理を実行することを特徴とする視線検出方法。
(付記9)
前記閾値ベクトルを算出する処理において、前記コンピュータは、
前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲に基づいて、第2の画像における前記候補位置から前記目の移動範囲までの距離が最小となる前記閾値ベクトルを算出する、
ことを特徴とする付記8に記載の視線検出方法。
(付記10)
前記コンピュータは、
前記基準点の移動ベクトルの大きさが、前記閾値ベクトルの大きさよりも大きくなる前記第1の画像と前記第2の画像との組を選択して、前記角膜反射の位置を特定する、
ことを特徴とする付記9に記載の視線検出方法。
(付記11)
前記基準点を抽出する処理において、前記コンピュータは、
前記人物が装着しているメガネの所定箇所を前記基準点として前記画像から抽出する、
ことを特徴とする付記8に記載の視線検出方法。
(付記12)
前記基準点を抽出する処理において、前記コンピュータは、
前記人物の眉毛を前記基準点として前記画像から抽出する、
ことを特徴とする付記8に記載の視線検出方法。
(付記13)
前記閾値ベクトルを算出する処理において、前記コンピュータは、
当該コンピュータのメモリに記憶させた前記人物の目の移動範囲の最大値を読み出し、
前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲の最大値とに基づいて、前記閾値ベクトルを算出する、
ことを特徴とする付記9に記載の視線検出方法。
(付記14)
前記人物の視線を算出する処理において、前記コンピュータは、
特定した前記角膜反射が複数である場合には、当該複数の前記角膜反射のうちの前記瞳孔に最も近い角膜反射の位置と、前記瞳孔の位置とに基づいて、前記人物の視線を算出する、
ことを特徴とする付記8に記載の視線検出方法。
(付記15)
人物の目を含む像が写っている画像から前記人物における基準点を抽出するとともに、所定の特徴を有する角膜反射の候補を抽出し、
第1の画像よりも後に撮像された第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルを算出し、
前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出するとともに、前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、
前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定し、
前記画像から瞳孔の位置を抽出し、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する、
処理をコンピュータに実行させる視線検出プログラム。
2 表示装置
3 人物
4 視線
5 赤外光源
6 撮像装置
7 視線検出装置
10 画像
11 顔領域
12A,12B 目領域
13,1301,1311 角膜反射(の候補)
15 メガネ
20 コンピュータ
21 可搬型記録媒体
301R 右目
301L 左目
302R,302L 瞳孔
1302,1303,1312,1313 角膜反射の候補
710 画像取得部
720 情報抽出部
721 領域抽出部
722 角膜反射抽出部
723 瞳孔抽出部
724 抽出情報保持部
730 視線算出部
740 出力部
750 視線履歴
1501 リム
1502 ブリッジ
1503 レンズ
2001 プロセッサ
2002 主記憶装置
2003 補助記憶装置
2004 入力装置
2005 出力装置
2006 入出力インタフェース
2007 通信制御装置
2008 媒体駆動装置
P1,P2 基準点
Claims (8)
- 人物の目を含む像が写っている第1の画像と、前記第1の画像よりも後に撮像された第2の画像から所定の特徴を有する角膜反射の候補を抽出する角膜反射候補抽出部と、
前記第1の画像及び前記第2の画像から前記人物における基準点を抽出する基準点抽出部と、
前記第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出する閾値ベクトル算出部と、
前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定する角膜反射特定部と、
前記画像から瞳孔の位置を抽出する瞳孔抽出部と、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する視線算出部と、
を備えることを特徴とする視線検出装置。 - 前記閾値ベクトル算出部は、前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲に基づいて、第2の画像における前記候補位置から前記目の移動範囲までの距離が最小となる前記閾値ベクトルを算出する、
ことを特徴とする請求項1に記載の視線検出装置。 - 前記角膜反射特定部は、前記基準点の移動ベクトルの大きさが、前記閾値ベクトルの大きさよりも大きくなる前記第1の画像と前記第2の画像との組を選択して、前記角膜反射の位置を特定する、
ことを特徴とする請求項2に記載の視線検出装置。 - 前記基準点抽出部は、前記人物が装着しているメガネの所定箇所を前記基準点として前記画像から抽出する、
ことを特徴とする請求項1に記載の視線検出装置。 - 前記基準点抽出部は、前記人物の眉毛を前記基準点として前記画像から抽出する、
ことを特徴とする請求項1に記載の視線検出装置。 - 前記人物の前記目の移動範囲の最大値を保持する保持部、を更に備え、
前記閾値ベクトル算出部は、前記第2の画像における前記候補位置を前記基準点の移動ベクトルの始点としたときの当該移動ベクトルの終点の位置と、前記人物の前記目の移動範囲の最大値とに基づいて、前記閾値ベクトルを算出する、
ことを特徴とする請求項2に記載の視線検出装置。 - コンピュータが、
人物の目を含む像が写っている画像から前記人物における基準点を抽出するとともに、所定の特徴を有する角膜反射の候補を抽出し、
第1の画像よりも後に撮像された第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルを算出し、
前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出するとともに、前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、
前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定し、
前記画像から瞳孔の位置を抽出し、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する、
処理を実行することを特徴とする視線検出方法。 - 人物の目を含む像が写っている画像から前記人物における基準点を抽出するとともに、所定の特徴を有する角膜反射の候補を抽出し、
第1の画像よりも後に撮像された第2の画像において前記第1の画像の基準点と重なる位置を始点とし前記第2の画像における基準点を終点とする前記基準点の移動ベクトルを算出し、
前記基準点の移動ベクトルと、予め定めた閾値とに基づいて、前記第2の画像において前記第1の画像の角膜反射の候補の位置と重なる候補位置を始点とする閾値ベクトルを算出するとともに、前記第2の画像における前記候補位置を始点とし前記第2の画像から抽出した前記角膜反射の候補の位置を終点とする反射位置の移動ベクトルを算出し、
前記閾値ベクトルと、前記反射位置の移動ベクトルとに基づいて、前記第2の画像から抽出された複数の角膜反射の候補の中から角膜反射の位置を特定し、
前記画像から瞳孔の位置を抽出し、
特定した前記角膜反射の位置と、抽出した前記瞳孔の位置とに基づいて、前記画像に写っている前記人物の視線を算出する、
処理をコンピュータに実行させる視線検出プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157681A JP6737057B2 (ja) | 2016-08-10 | 2016-08-10 | 視線検出装置、視線検出方法、及び視線検出プログラム |
US15/651,099 US10152633B2 (en) | 2016-08-10 | 2017-07-17 | Line-of-sight detection device and line-of-sight detection method |
EP17181824.8A EP3284395B1 (en) | 2016-08-10 | 2017-07-18 | Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157681A JP6737057B2 (ja) | 2016-08-10 | 2016-08-10 | 視線検出装置、視線検出方法、及び視線検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018025987A JP2018025987A (ja) | 2018-02-15 |
JP6737057B2 true JP6737057B2 (ja) | 2020-08-05 |
Family
ID=59381109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016157681A Active JP6737057B2 (ja) | 2016-08-10 | 2016-08-10 | 視線検出装置、視線検出方法、及び視線検出プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10152633B2 (ja) |
EP (1) | EP3284395B1 (ja) |
JP (1) | JP6737057B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10671071B2 (en) * | 2016-08-09 | 2020-06-02 | Nissan Motor Co., Ltd. | Control method and control device of automatic driving vehicle |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
EP3588444A4 (en) * | 2017-02-24 | 2020-02-12 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP6915502B2 (ja) * | 2017-11-09 | 2021-08-04 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
CN109359503B (zh) * | 2018-08-15 | 2022-07-01 | 温州生物材料与工程研究所 | 瞳孔识别图像处理方法 |
SE543240C2 (en) * | 2018-12-21 | 2020-10-27 | Tobii Ab | Classification of glints using an eye tracking system |
JP6717477B1 (ja) * | 2019-09-13 | 2020-07-01 | 株式会社スワローインキュベート | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP6757949B1 (ja) * | 2020-05-28 | 2020-09-23 | 株式会社スワローインキュベート | 画像処理方法、画像処理装置、及び画像処理プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1357831A2 (en) * | 2001-02-09 | 2003-11-05 | Sensomotoric Instruments GmbH | Multidimensional eye tracking and position measurement system |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
JP4451195B2 (ja) | 2004-04-13 | 2010-04-14 | 本田技研工業株式会社 | 視線検出装置 |
JP2006095008A (ja) * | 2004-09-29 | 2006-04-13 | Gen Tec:Kk | 視線検出方法 |
JP4491604B2 (ja) | 2004-12-17 | 2010-06-30 | 国立大学法人静岡大学 | 瞳孔検出装置 |
EP2338416B1 (en) * | 2008-09-26 | 2019-02-27 | Panasonic Intellectual Property Corporation of America | Line-of-sight direction determination device and line-of-sight direction determination method |
JP5417272B2 (ja) | 2010-07-14 | 2014-02-12 | 本田技研工業株式会社 | 眼球撮像装置 |
JP5184596B2 (ja) * | 2010-09-03 | 2013-04-17 | 本田技研工業株式会社 | 脇見判定装置 |
JP5776323B2 (ja) | 2011-05-17 | 2015-09-09 | 富士通株式会社 | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 |
JP5949389B2 (ja) * | 2012-09-24 | 2016-07-06 | 富士通株式会社 | 検出装置、検出プログラムおよび検出方法 |
JP6303297B2 (ja) * | 2013-06-14 | 2018-04-04 | 富士通株式会社 | 端末装置、視線検出プログラムおよび視線検出方法 |
JP6322986B2 (ja) * | 2013-12-09 | 2018-05-16 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6256165B2 (ja) | 2014-04-09 | 2018-01-10 | 富士通株式会社 | 視線検出装置、視線検出プログラム及び視線検出方法 |
JP6555707B2 (ja) * | 2014-11-12 | 2019-08-07 | 国立大学法人静岡大学 | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム |
JP6696119B2 (ja) * | 2015-05-01 | 2020-05-20 | 富士通株式会社 | 変換装置、変換方法、及び変換プログラム |
JP2017079883A (ja) * | 2015-10-23 | 2017-05-18 | 富士通株式会社 | 視線検出システム、視線検出方法、および視線検出プログラム |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
-
2016
- 2016-08-10 JP JP2016157681A patent/JP6737057B2/ja active Active
-
2017
- 2017-07-17 US US15/651,099 patent/US10152633B2/en active Active
- 2017-07-18 EP EP17181824.8A patent/EP3284395B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018025987A (ja) | 2018-02-15 |
EP3284395A1 (en) | 2018-02-21 |
US20180046842A1 (en) | 2018-02-15 |
EP3284395B1 (en) | 2019-01-02 |
US10152633B2 (en) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6737057B2 (ja) | 視線検出装置、視線検出方法、及び視線検出プログラム | |
US9489574B2 (en) | Apparatus and method for enhancing user recognition | |
CN107209849B (zh) | 眼睛跟踪 | |
KR102093198B1 (ko) | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 | |
US20190102956A1 (en) | Information processing apparatus, information processing method, and program | |
CN111212594B (zh) | 电子设备和利用电子设备确定结膜充血程度的方法 | |
JP5776323B2 (ja) | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 | |
US20100109998A1 (en) | System and method for sensing facial gesture | |
JP2017213191A (ja) | 視線検出装置、視線検出方法、及び視線検出プログラム | |
US20170236304A1 (en) | System and method for detecting a gaze of a viewer | |
EP3158921A1 (en) | Line of sight detection system and method | |
CN110313006A (zh) | 一种人脸图像检测方法及终端设备 | |
US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
JP5834941B2 (ja) | 注目対象特定装置、注目対象特定方法、及びプログラム | |
JP6583996B2 (ja) | 映像評価装置、及びプログラム | |
JP6476678B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
US20200125855A1 (en) | Information processing apparatus, information processing method, system, and storage medium to determine staying time of a person in predetermined region | |
US20170178107A1 (en) | Information processing apparatus, information processing method, recording medium and pos terminal apparatus | |
JP2016139353A (ja) | 画像判定装置および画像判定方法 | |
EP3910530A1 (en) | Determining display zoom level | |
CN114766027A (zh) | 信息处理方法、信息处理装置以及控制程序 | |
US20170068848A1 (en) | Display control apparatus, display control method, and computer program product | |
KR101587533B1 (ko) | 피사체의 시선에 따라 영상을 이동시키는 영상처리시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6737057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |