JP7263959B2 - Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program - Google Patents
Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program Download PDFInfo
- Publication number
- JP7263959B2 JP7263959B2 JP2019133582A JP2019133582A JP7263959B2 JP 7263959 B2 JP7263959 B2 JP 7263959B2 JP 2019133582 A JP2019133582 A JP 2019133582A JP 2019133582 A JP2019133582 A JP 2019133582A JP 7263959 B2 JP7263959 B2 JP 7263959B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- subject
- image
- distance
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims description 319
- 238000001514 detection method Methods 0.000 title claims description 79
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 19
- 210000001508 eye Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 101000685663 Homo sapiens Sodium/nucleoside cotransporter 1 Proteins 0.000 description 7
- 102100023116 Sodium/nucleoside cotransporter 1 Human genes 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
本発明は、眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムに関する。 The present invention relates to an eyeball detection device, a line of sight detection device, an eyeball detection method, and an eyeball detection program.
被験者の視線を検出する視線検出装置として、例えばカメラによって被験者の顔を撮像し、撮像された顔画像から左右の眼球画像を探索により検出し、検出結果に基づいて被験者の視線を検出する構成が知られている(例えば、特許文献1参照)。 As a line-of-sight detection device for detecting the line of sight of a subject, for example, there is a configuration in which the subject's face is imaged with a camera, the left and right eyeball images are detected from the captured face image by searching, and the line of sight of the subject is detected based on the detection result. known (see, for example, Patent Document 1).
特許文献1に記載の視線検出装置では、左右の眼球画像のうち例えば一方の眼球画像を見失った場合であっても、顔画像から左右の両方の眼球画像を探索する必要があり、長い処理時間が必要となる。また、例えば顔認識装置等のように、顔画像から眼球画像を探索する他の装置においても、同様の課題が存在する。
In the line-of-sight detection device described in
本発明は、上記に鑑みてなされたものであり、対象者の眼球を検出する際の処理時間を短縮することが可能な眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムを提供することを目的とする。 The present invention has been made in view of the above, and provides an eyeball detection device, a line of sight detection device, an eyeball detection method, and an eyeball detection program capable of shortening the processing time when detecting the eyeballs of a subject. intended to
本発明に係る眼球検出装置は、対象者の左右の眼球画像を含む顔画像を取得する撮像装置と、前記対象者と前記撮像装置との間の第1距離を算出する第1距離算出部と、前記顔画像から前記左右の眼球画像を探索し、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記眼球検出部の探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する眼球探索部とを備える。 An eyeball detection device according to the present invention includes an imaging device that acquires a face image including left and right eyeball images of a subject, and a first distance calculation unit that calculates a first distance between the subject and the imaging device. , searching the left and right eyeball images from the face image, and if one of the left and right eyeball images of the subject person is detected by the search, a search result of the eyeball detection unit for the one eyeball image; an eyeball searching unit that searches for the other eyeball image of the subject from the face image based on the first distance and a second distance between the right and left eyeballs of the subject.
本発明に係る視線検出装置は、上記の眼球検出装置により対象者の左右の眼球画像を検出し、検出結果に基づいて対象者の視線を検出する。 The line-of-sight detection apparatus according to the present invention detects the right and left eyeball images of a subject using the above-described eyeball detection apparatus, and detects the line of sight of the subject based on the detection results.
本発明に係る眼球検出方法は、対象者の左右の眼球画像を含む顔画像を取得することと、前記対象者と前記撮像装置との間の第1距離を算出することと、前記顔画像から前記左右の眼球画像を探索することと、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索することとを含む。 An eyeball detection method according to the present invention comprises: obtaining a face image including right and left eyeball images of a subject; calculating a first distance between the subject and the imaging device; searching for the left and right eyeball images; if one of the left and right eyeball images of the subject is detected by the search, the search result for the one eyeball image; the first distance; searching the face image for the subject's other eye image based on a second distance between the subject's left and right eyeballs.
本発明に係る眼球検出プログラムは、対象者の左右の眼球画像を含む顔画像を取得する処理と、前記対象者と前記撮像装置との間の第1距離を算出する処理と、前記顔画像から前記左右の眼球画像を探索する処理と、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する処理とをコンピュータに実行させる。 An eyeball detection program according to the present invention comprises a process of acquiring a face image including left and right eyeball images of a subject, a process of calculating a first distance between the subject and the imaging device, a process of searching for the left and right eyeball images; when one of the left and right eyeball images of the subject is detected by the search, the search result for the one eyeball image; the first distance; a second distance between the left and right eyeballs of the subject, and a process of searching the face image for the other eyeball image of the subject.
本発明によれば、対象者の眼球を検出する際の処理時間を短縮することが可能な眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムを提供することができる。 Advantageous Effects of Invention According to the present invention, it is possible to provide an eyeball detection device, a line-of-sight detection device, an eyeball detection method, and an eyeball detection program capable of shortening the processing time when detecting the eyeballs of a subject.
以下、本発明に係る眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 EMBODIMENT OF THE INVENTION Hereinafter, embodiment of the eyeball detection apparatus, line-of-sight detection apparatus, eyeball detection method, and eyeball detection program which concern on this invention is described based on drawing. In addition, this invention is not limited by this embodiment. In addition, components in the following embodiments include components that can be easily replaced by those skilled in the art, or components that are substantially the same.
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。 In the following description, a three-dimensional global coordinate system is set to describe the positional relationship of each part. The direction parallel to the first axis of the predetermined plane is defined as the X-axis direction, the direction parallel to the second axis of the predetermined plane orthogonal to the first axis is defined as the Y-axis direction, and the direction is orthogonal to the first axis and the second axis. Let the direction parallel to the third axis be the Z-axis direction. The predetermined plane includes the XY plane.
[視線検出装置]
図1は、本実施形態に係る視線検出装置(眼球検出装置)100の一例を模式的に示す図である。本実施形態に係る視線検出装置100は、被験者(対象者)の視線を検出するものである。視線検出装置100としては、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する装置、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する装置等、被験者の視線を検出可能な各種の装置を用いることができる。
[Line-of-sight detection device]
FIG. 1 is a diagram schematically showing an example of a line-of-sight detection device (eyeball detection device) 100 according to this embodiment. A line-of-
図1に示すように、視線検出装置100は、表示装置10と、画像取得装置20と、コンピュータシステム30と、出力装置40と、入力装置50と、入出力インターフェース装置60とを備える。表示装置10、画像取得装置20、コンピュータシステム30、出力装置40及び入力装置50は、入出力インターフェース装置60を介してデータ通信を行う。表示装置10及び画像取得装置20は、それぞれ不図示の駆動回路を有する。
As shown in FIG. 1 , the line-of-
表示装置10は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置10は、表示部11を有する。表示部11は、画像等の情報を表示する。表示部11は、XY平面と実質的に平行である。X軸方向は表示部11の左右方向であり、Y軸方向は表示部11の上下方向であり、Z軸方向は表示部11と直交する奥行方向である。表示装置10は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置20のような構成が配置されることになる。
画像取得装置20は、被験者の左右の眼球EB(左眼EBL、右眼EBR)を含む顔画像の画像データを取得し、取得した画像データをコンピュータシステム30に送信する。画像取得装置20は、撮像装置21を有する。撮像装置21は、被験者の左右の眼球EBを含む顔部分を撮影することで、上記画像データを取得する。撮像装置21は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮像装置21は、赤外線カメラを有し、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮像装置21は、可視光カメラを有する。撮像装置21は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば20[msec]とすることができるが、これに限定されない。また、撮像装置21は、当該撮像装置21と被験者の顔との間の第1距離Dを検出可能である。このため、撮像装置21は、例えば第1カメラ21A及び第2カメラ21Bを有するステレオカメラの構成とすることができるが、これに限定されない。
The
また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置20は、被験者の眼球EBを照明する照明装置22を有する。照明装置22は、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線ベクトルを検出する方式の場合、照明装置22は設けられなくてもよい。照明装置22は、撮像装置21のフレーム同期信号に同期するように検出光を射出する。照明装置22は、例えば第1光源22A及び第2光源22Bを有する構成とすることができるが、これに限定されない。
In addition, for example, in the case of a system that detects the line of sight based on the position of the subject's pupil and the position of the corneal reflection image, the
コンピュータシステム30は、視線検出装置100の動作を統括的に制御する。コンピュータシステム30は、演算処理装置30A及び記憶装置30Bを含む。演算処理装置30Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置30Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置30Aは、記憶装置30Bに記憶されているコンピュータプログラム30Cに従って演算処理を実施する。
The
出力装置40は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置40は、印刷装置を含んでもよい。入力装置50は、操作されることにより入力データを生成する。入力装置50は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置50が表示装置である出力装置40の表示部に設けられたタッチセンサを含んでもよい。
本実施形態に係る視線検出装置100は、表示装置10とコンピュータシステム30とが別々の装置である。なお、表示装置10とコンピュータシステム30とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。
A visual
図2は、視線検出装置100の一例を示す機能ブロック図である。図2に示すように、コンピュータシステム30は、表示制御部31と、距離算出部(第1距離算出部、第2距離算出部)32と、眼球探索部33と、注視点検出部34と、記憶部35とを有する。コンピュータシステム30の機能は、演算処理装置30A及び記憶装置30B(図1参照)によって発揮される。なお、コンピュータシステム30は、一部の機能が視線検出装置100の外部に設けられてもよい。
FIG. 2 is a functional block diagram showing an example of the line-of-
表示制御部31は、例えば被験者に注視させる画像、映像、文字等を表示部11に表示する。
The display control unit 31 displays, for example, an image, a video, a character, or the like to be watched by the subject on the
距離算出部32は、被験者装置間距離(第1距離)D1及び両眼間距離(第2距離)L1を算出する。被験者装置間距離D1は、対象者と撮像装置21との間の距離である。両眼間距離L1は、対象者の左眼EBLと右眼EBRとの間の距離である。距離算出部32は、撮像装置21の第1カメラ21A及び第2カメラ21Bの画像から被験者装置間距離D1を算出する。
The
また、両眼間距離L1については、予め測定しておき、測定結果を記憶部35に記憶させておくことができる。この場合、距離算出部32は、記憶部35に記憶された測定結果を両眼間距離L1として取得することができる。
Further, the interocular distance L1 can be measured in advance and the measurement result can be stored in the
また、距離算出部32は、予め両眼間距離L1についての測定結果が得られていない場合であっても、撮像装置21によって撮像された顔画像において左右の眼球画像が検出される場合には、以下の手順によって両眼間距離L1を求めることができる。すなわち、撮像装置21の光検出領域上に結像する被写体像の大きさをS[mm]、レンズの焦点距離をF[mm]とすると、撮像装置21から距離D[mm]離れた位置にある実際の被写体の大きさR[mm]は、次の[数1]で求められる。
Further, even when the measurement result of the interocular distance L1 is not obtained in advance, the
また、撮像装置21の受光部の画素ピッチをP[μm/px]とすると、撮像装置21によって撮像された画像上における2点間の距離L[px]は、次の[数2]で求められる。
Further, if the pixel pitch of the light receiving portion of the
したがって、被験者と撮像装置21との距離(被験者装置間距離)をD1、撮像装置21によって撮像された顔画像上における両方の眼球画像間の距離(以下、眼球画像間距離と表記する)をL2とすると、被験者の実際の左右の眼球間の距離である両眼間距離L1[mm]は、[数1]及び[数2]から以下の[数3]で求められる。 Therefore, the distance between the subject and the imaging device 21 (distance between subject devices) is D1, and the distance between both eyeball images on the face image captured by the imaging device 21 (hereinafter referred to as the distance between eyeball images) is L2. Then, the interocular distance L1 [mm], which is the actual distance between the left and right eyeballs of the subject, is obtained from [Equation 1] and [Equation 2] by the following [Equation 3].
距離算出部32は、上記の[数3]を用いることにより、被験者装置間距離D1と、眼球画像間距離L2とに基づいて、両眼間距離L1を求めることができる。
The
眼球探索部33は、撮像装置21によって取得された顔画像から左右の眼球画像E(EL、ER)を探索する。眼球探索部33は、例えば顔画像と予め記憶部35に記憶された眼球のパターン等とを比較し、比較結果に基づいて眼球画像Eを探索する。眼球探索部33は、探索周期としては、例えば撮像装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)と同一の周期とすることができる。
The
例えば、眼球探索部33は、初回の探索では顔画像の全体に亘って眼球画像Eを探索し、眼球画像Eを検出した場合には当該眼球画像Eに基づく眼球位置を記憶部35に記憶させる。当該眼球位置としては、例えば基準座標、瞳孔座標、角膜反射座標等が挙げられる。基準座標は、眼球画像Eの中心位置の座標等、眼球画像Eについて基準となる位置の座標である。瞳孔座標は、眼球画像Eにおける瞳孔中心の位置を示す座標である。角膜反射座標は、眼球画像Eにおける角膜反射中心の位置を示す座標である。なお、瞳孔座標又は角膜反射座標が基準座標となってもよい。眼球探索部33は、次回以降の探索では、記憶部35に記憶された眼球位置を中心とした所定半径内の領域を探索する。これにより、顔画像の全体を毎回探索する場合に比べて、処理時間が短縮される。
For example, the
注視点検出部34は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部34は、撮像装置21によって撮像される被験者の顔画像における左右の眼球画像に基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部34は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。これにより、被験者が表示部11のどの位置を注視しているかを検出することができる。注視点検出部34は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮像装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
The gazing
記憶部35は、上記の被験者装置間距離D1及び両眼間距離L1の距離データ、眼球画像間距離L2の距離データ、眼球画像の位置データ、注視点データ等を記憶する。また、記憶部35は、被験者の左右の眼球画像を含む顔画像を取得する処理と、被験者装置間距離D1を算出する処理と、顔画像から左右の眼球画像を探索する処理と、探索により被験者の左右の一方の眼球画像が検出された場合に、一方の眼球画像についての探索結果と、被験者装置間距離D1と、被験者の両眼間距離L1とに基づいて、顔画像から被験者の他方の眼球画像を探索する処理とをコンピュータに実行させる眼球検出プログラムを記憶する。
The
[眼球検出方法]
次に、本実施形態に係る眼球検出方法について説明する。本実施形態に係る眼球検出方法は、上記の視線検出装置100を用いて被験者の視線を 検出する際、被験者の眼球の検出に用いることができる。
[Eye detection method]
Next, an eyeball detection method according to this embodiment will be described. The eyeball detection method according to the present embodiment can be used to detect the subject's eyeball when detecting the subject's line of sight using the line-of-
図3は、撮像装置21によって取得される被験者の顔画像の一例を示す図である。図3に示すように、眼球探索部33は、撮像装置21によって取得される顔画像IMから、被験者Hの眼球画像Eを探索する。図3において、眼球探索部33は、予め記憶部35に記憶される眼球画像のパターンと顔画像IMとを比較することにより、眼球画像Eとして、左眼球画像ELと、右眼球画像ERとを検出可能である。左眼球画像EL及び右眼球画像ERの両方の眼球画像Eの検出に成功した場合、距離算出部32は、左右の眼球画像Eの眼球画像間距離L2を算出し、算出結果と上記の[数3]とに基づいて両眼間距離L1を算出して、当該両眼間距離L1を記憶部35に記憶させる。また、眼球探索部33は、検出結果に基づいて、左右の眼球画像ELの顔画像IMにおける位置を算出し、算出結果を記憶部35に記憶させる。
FIG. 3 is a diagram showing an example of a subject's face image acquired by the
注視点検出部34は、顔画像IMにおける左右の眼球画像Eに基づいて、被験者の視線ベクトルを検出する。そして、注視点検出部34は、所定のサンプリング周期毎に、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。
The point-of-
ここで、眼球探索部33は、各回の探索において、眼球画像Eの検出に失敗することがある。眼球画像Eの検出失敗の原因として、まず、被験者が瞬きをすることが挙げられる。被験者が瞬きをすることで、瞼が閉じられた状態の顔画像IMが取得される。このため、眼球探索部33は、予め記憶された眼球のパターンに対応した眼球画像Eを顔画像IMから検出することができなくなる。しかしながら、瞬きの場合、瞼が閉じられてはいるが、左右の眼球画像EL、ERの位置はほとんど変わらず、また、瞼が閉じられる期間は短い。このため、眼球画像Eの検出失敗の原因が瞬きである場合、ある回の探索では被験者が瞼を閉じていても、次回以降の探索では被験者が瞼を開いている可能性が高い。このため、瞬きが原因の場合、次回以降の探索において直前の探索と同一の探索範囲を探索することにより、眼球画像Eが検出される可能性が高い。したがって、眼球画像Eの検出失敗が生じた場合、眼球探索部33は、次回の探索においては、直前の探索と同一の探索範囲を探索するようにする。
Here, the
次に、眼球画像Eを検出できない場合の例として、被験者が顔を背けたり、俯いたりすることで、被験者の顔の位置が変化する場合が挙げられる。この場合、顔の位置の変化に伴って左右の眼球EBの位置が移動する可能性が高く、また、眼球画像Eが検出できない期間が瞬きよりも長い。このため、眼球画像Eが検出できない原因が顔の位置の変化である場合、顔画像から再度眼球画像Eを探索し直す必要がある。したがって、眼球画像Eの検出失敗が例えば所定期間以上に亘って続いた場合、眼球探索部33は、以下のように探索方法を変更する。
Next, as an example of the case where the eyeball image E cannot be detected, there is a case where the position of the subject's face changes due to the subject turning his/her face away or looking down. In this case, there is a high possibility that the positions of the left and right eyeballs EB will move as the position of the face changes, and the period during which the eyeball image E cannot be detected is longer than the blink. Therefore, if the eyeball image E cannot be detected due to a change in the position of the face, it is necessary to search for the eyeball image E again from the face image. Therefore, if the detection failure of the eyeball image E continues for a predetermined period of time or longer, the
図4は、顔画像IMから眼球画像Eを検出する動作の一例を示す図である。眼球探索部33は、図4に示すように、まず、取得された顔画像IMにおいて、左右の一方の眼球画像Eを検出する。左右の一方の眼球画像E(例えば、右眼球画像ER)を検出する場合、一方の眼球画像Eについて探索領域DAを設定して探索する。このため、左右の両方の眼球画像Eを検出する場合に比べて処理時間が短くて済む。一方の眼球画像Eが検出された場合、眼球探索部33は、当該一方の眼球画像Eについての探索結果と、被験者装置間距離D1と、両眼間距離L1とに基づいて、顔画像IMから被験者Hの他方の眼球画像E(例えば、左眼球画像EL)を探索する。
FIG. 4 is a diagram showing an example of the operation of detecting the eyeball image E from the face image IM. As shown in FIG. 4, the
この場合、眼球探索部33は、当該一方の眼球画像Eの顔画像IMにおける位置を算出する。そして、眼球探索部33は、算出した一方の眼球画像Eに基づく眼球位置と、被験者装置間距離D1と、両眼間距離L1とに基づいて他方の眼球画像の位置を予測し、予測結果に基づいて探索を行う。
In this case, the
ここで、上記の[数3]から、眼球画像間距離L2は、[数4]で表される。 Here, from the above [Equation 3], the distance L2 between the eyeball images is represented by [Equation 4].
眼球探索部33は、上記[数4]を用いて眼球画像間距離L2を算出する。眼球探索部33は、算出した距離L2を用いて他方の眼球画像Eの眼球位置を予測する。
The
つまり、検出された一方の眼球画像Eから左右方向に眼球画像間距離L2だけ離れた位置に第1探索領域を設定する。第1探索領域の原点の座標(x,y)は、以下の[数5]のように表すことができる。なお、θは、一方の眼球画像Eを中心とする回転方向の角度を示す。 That is, the first search area is set at a position separated from one of the detected eyeball images E by the inter-eyeball image distance L2 in the horizontal direction. The coordinates (x, y) of the origin of the first search area can be expressed as in [Equation 5] below. In addition, θ indicates an angle in a rotating direction about one eyeball image E as a center.
図5は、他方の眼球画像Eの眼球位置を予測する動作の一例を示す図である。以下の例では、検出された一方の眼球画像Eが右眼球画像ERであり、検出に失敗した他方の眼球画像Eが左眼球画像ELである場合を例に挙げて説明するが、これに限定されない。例えば、検出された一方の眼球画像Eが左眼球画像ELであり、検出に失敗した他方の眼球画像Eが右眼球画像ERである場合であっても同様の説明が可能である。 FIG. 5 is a diagram showing an example of the operation of predicting the eyeball position of the other eyeball image E. As shown in FIG. In the following example, a case where one detected eyeball image E is the right eyeball image ER and the other eyeball image E whose detection has failed is the left eyeball image EL will be described as an example, but this is not limiting. not. For example, the same explanation can be given even if one detected eyeball image E is the left eyeball image EL and the other eyeball image E whose detection fails is the right eyeball image ER.
図5に示すように、眼球探索部33は、まず、取得された顔画像IMのうち、検出された右眼球画像ERに対して左右方向に平行な仮想直線M上の位置に第1探索領域DA1、DA2を設定する。眼球探索部33は、右眼球画像ERと第1探索領域DA1、DA2との距離が、それぞれ眼球画像間距離L2と等しくなるように第1探索領域DA1、DA2を設定する。第1探索領域DA1、DA2は、右眼球画像ERを中心として左右方向の両側に等距離の位置に設定される。
As shown in FIG. 5, the
眼球探索部33は、設定した第1探索領域DA1、DA2について探索を行う。眼球探索部33は、右眼球画像ERに対して右方の第1探索領域DA1、及び右眼球画像ERに対して左方の第1探索領域DA2に対して、同時に探索を行ってもよいし、異なるタイミングで探索を行ってもよい。
The
図6は、本実施形態に係る眼球検出方法の一例を示すフローチャートである。図6に示すように、眼球探索部33は、計測開始の指示が入力された場合(ステップS101)、カウンタCNT1をリセットし(ステップS102)、撮像装置21によって撮像された顔画像IMを取得する(ステップS103)。
FIG. 6 is a flow chart showing an example of an eyeball detection method according to this embodiment. As shown in FIG. 6, when an instruction to start measurement is input (step S101), the
取得された顔画像IMに基づき、眼球探索部33において左右の眼球画像を探索すると共に、距離算出部32において被験者装置間距離D1を算出する(ステップS104)。眼球探索部33において左右の両方の眼球画像Eの検出に成功した場合(ステップS105のYes)、距離算出部32は、眼球画像間距離L2が取得済みか否かを判定し(ステップS106)、取得されていないと判定された場合には(ステップS106のNo)、眼球画像間距離L2を取得する(ステップS107)。ステップS107において、距離算出部32は、記憶部35に予め被験者の両眼間距離L1が記憶されている場合、当該両眼間距離L1に基づいて眼球画像間距離L2を算出する。また、両眼間距離L1が記憶されていない場合、距離算出部32は、両方の眼球画像Eの検出結果に基づいて、両眼間距離L1および、眼球画像間距離L2を算出する。距離算出部32は、取得した眼球画像間距離L2を記憶部35に記憶させる。記憶部35に予め被験者の両眼間距離L1が記憶されていない場合、両眼間距離L1も記憶部35に記憶させる(ステップS108)。その後、以下のステップS117の処理に進む。
Based on the acquired face image IM, the
一方、両方の眼球画像Eの検出に成功しなかった場合(ステップS105のNo)、両方の眼球画像Eについて共に検出失敗したか否かを判定する(ステップS109)。両方の眼球画像Eについて共に検出失敗した場合(ステップS109のYes)、眼球探索部33は、カウンタCNT1の値を+1とし(ステップS110)、カウンタCNT1の値が規定値以上であるか否かを判定する(ステップS111)。カウンタCNT1の値が規定値以上であると判定された場合(ステップS111のYes)、眼球探索部33は、顔画像IMのうち左右の一方の眼球画像Eを探索する(ステップS112)。探索の結果、左右の一方の眼球画像Eが検出された場合(ステップS113のYes)、以下のステップS114の処理に進む。
On the other hand, if both eyeball images E have not been successfully detected (No in step S105), it is determined whether detection has failed for both eyeball images E (step S109). If detection fails for both eyeball images E (Yes in step S109), the
また、ステップS111においてカウンタCNT1の値が規定値以上ではない場合(ステップS111のNo)、また、ステップS113において眼球画像Eが検出されない場合(ステップS113のNo)には、以下のステップS119の処理に進む。 If the value of the counter CNT1 is not equal to or greater than the specified value in step S111 (No in step S111), or if the eyeball image E is not detected in step S113 (No in step S113), the following processing in step S119 is performed. proceed to
一方の眼球画像Eを検出した場合、眼球探索部33は、被験者装置間距離D1と眼球画像間距離L2とに基づいて、未検出である他方の眼球画像Eの眼球位置を予測する(ステップS114)。ステップS114の予測において、眼球探索部33は、取得された顔画像IMのうち、検出された一方の眼球画像Eに対して左右方向に平行な仮想直線上の位置に第1探索領域DA1、DA2を設定する。眼球探索部33は、予測された第1探索領域DA1、DA2において他方の眼球画像Eを探索する(ステップS115)。
When one eyeball image E is detected, the
探索の結果、他方の眼球画像Eが検出された場合(ステップS116のYes)、又は、上記ステップS108を行った後、眼球探索部33は、検出された左右の眼球画像Eの眼球位置を記憶部35に記憶させ(ステップS117)、カウンタCNT1をリセットする(ステップS118)。一方、他方の眼球画像Eが検出されなかった場合(ステップS116のNo)、以下のステップS119の処理に進む。
If the other eyeball image E is detected as a result of the search (Yes in step S116), or after step S108 is performed, the
その後、計測終了の指示が入力された場合(ステップS119)、処理を終了する。また、計測終了の指示が入力されない場合(ステップS119のNo)、ステップS103に戻って処理を行う。 After that, when an instruction to end measurement is input (step S119), the process ends. If no instruction to end measurement is input (No in step S119), the process returns to step S103.
以上のように、本実施形態に係る視線検出装置100は、被験者の左右の眼球画像Eを含む顔画像IMを取得する撮像装置21と、被験者と撮像装置21との間の被験者装置間距離D1を算出する距離算出部32と、顔画像IMから被験者の左右の眼球画像Eを探索し、探索により被験者の左右の一方の眼球画像Eが検出された場合に、一方の眼球画像Eについての探索結果と、被験者装置間距離D1と、被験者の左右の眼球間の眼球画像間距離L2とに基づいて、顔画像IMから被験者の他方の眼球画像Eを探索する眼球探索部33とを備える。また、本実施形態に係る視線検出装置100は、被験者の左右の眼球画像Eを検出し、検出結果に基づいて被験者の視線を検出する。
As described above, the line-of-
本実施形態に係る眼球検出方法は、被験者の左右の眼球画像Eを含む顔画像IMを取得することと、被験者と撮像装置21との間の被験者装置間距離D1を算出することと、顔画像IMから左右の眼球画像Eを探索することと、探索により被験者の左右の一方の眼球画像Eが検出された場合に、一方の眼球画像Eについての探索結果と、被験者装置間距離D1と、被験者の左右の眼球間の眼球画像間距離L2とに基づいて、顔画像IMから被験者の他方の眼球画像Eを探索することとを含む。
The eyeball detection method according to the present embodiment includes acquiring a face image IM including left and right eyeball images E of a subject, calculating an inter-subject-apparatus distance D1 between the subject and the
本実施形態に係る眼球検出プログラムは、被験者の左右の眼球画像Eを含む顔画像IMを取得する処理と、被験者と撮像装置21との間の被験者装置間距離D1を算出する処理と、顔画像IMから左右の眼球画像Eを探索する処理と、探索により被験者の左右の一方の眼球画像Eが検出された場合に、一方の眼球画像Eについての探索結果と、被験者装置間距離D1と、被験者の左右の眼球間の眼球画像間距離L2とに基づいて、顔画像IMから被験者の他方の眼球画像Eを探索する処理とをコンピュータに実行させる。
The eyeball detection program according to the present embodiment includes a process of acquiring a face image IM including left and right eyeball images E of a subject, a process of calculating a subject-apparatus distance D1 between the subject and the
本実施形態では、被験者の左右の一方の眼球画像Eが検出された場合に、一方の眼球画像Eについての探索結果と、被験者装置間距離D1と、被験者の左右の眼球間の眼球画像間距離L2とに基づいて、顔画像IMから被験者の他方の眼球画像Eを探索するため、左右の両方の眼球画像Eを検出する場合に比べて処理時間が短くて済む。このため、被験者の眼球を検出する際の処理時間を短縮することが可能となる。 In this embodiment, when one of the left and right eyeball images E of the subject is detected, the search result for the one eyeball image E, the inter-subject apparatus distance D1, and the inter-eyeball image distance between the left and right eyeballs of the subject Since the other eyeball image E of the subject is searched from the face image IM based on L2, the processing time can be shortened compared to the case where both the left and right eyeball images E are detected. Therefore, it is possible to shorten the processing time for detecting the eyeball of the subject.
本実施形態に係る視線検出装置100において、眼球探索部33は、一方の眼球画像Eに基づいて一方の眼球画像Eの眼球位置を算出し、一方の眼球画像Eの眼球位置と、被験者装置間距離D1と、眼球画像間距離L2とに基づいて他方の眼球画像Eの眼球位置を予測し、予測結果に基づいて探索を行う。これにより、他方の眼球画像Eの探索精度が向上する。
In the line-of-
本実施形態に係る視線検出装置100において、距離算出部32は、撮像装置21によって取得された顔画像IMに基づいて眼球画像間距離L2を算出する。これにより、被験者の両眼間距離L1を予め取得していない状態であっても、眼球画像間距離L2を取得することができる。
In the line-of-
本実施形態に係る視線検出装置100において、距離算出部32は、撮像装置21によって取得された顔画像に基づいて被験者装置間距離D1を算出する。これにより、被験者装置間距離D1を測定するための手段等を別途設ける必要が無く、効率的に被験者装置間距離D1を算出することができる。
In the line-of-
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、上記の第1探索領域DA1、DA2(図5参照)で他方の眼球画像Eが検出されない場合、眼球探索部33は、第1探索領域DA1、DA2に対して一方の眼球画像Eの眼球位置を中心とする回転方向に所定角度ずれた第2探索領域を設定し、第2探索領域について探索を行うことができる。
The technical scope of the present invention is not limited to the above embodiments, and modifications can be made as appropriate without departing from the scope of the present invention. For example, in the above-described embodiment, if the other eyeball image E is not detected in the first search areas DA1 and DA2 (see FIG. 5), the
図7及び図8は、他方の眼球画像Eの眼球位置を予測する動作の他の例を示す図である。図7に示すように、眼球探索部33は、第1探索領域DA1、DA2に対して、被験者H2の右眼球画像ERを中心とした反時計回りの方向に角度θ2だけずれた位置に第2探索領域DA3、DA4を設定し、当該第2探索領域DA3、DA4を探索する。この場合、右眼球画像ERと第2探索領域DA3、DA4との距離は、それぞれ眼球画像間距離L2と等しくなる。
7 and 8 are diagrams showing another example of the operation of predicting the eyeball position of the other eyeball image E. FIG. As shown in FIG. 7, the
図7に示す第2探索領域DA3、DA4において他方の眼球画像Eが検索されない場合、眼球探索部33は、第2探索領域DA3、DA4に対して、右眼球画像ERを中心とした反時計回りの方向に更に角度θ2だけずれた位置に第2探索領域を設定し、当該第2探索領域を探索する。以降、新たに設定した第2探索領域において他方の眼球画像Eが検索されない場合、眼球探索部33は、当該第2探索領域に対して、右眼球画像ERを中心とした反時計回りの方向に角度θ2ずつずれた位置に新たな第2探索領域を設定し、当該第2探索領域を探索する。眼球探索部33は、第1探索領域DA1、DA2に対して、右眼球画像ERを中心とした反時計回りの方向に所定角度以下の範囲で第2探索領域を設定することができる。
When the other eyeball image E is not searched in the second search areas DA3 and DA4 shown in FIG. A second search area is set at a position shifted by an angle θ2 in the direction of , and the second search area is searched. After that, if the other eyeball image E is not searched in the newly set second search area, the
また、第1探索領域DA1、DA2に対して、右眼球画像ERを中心とした反時計回りの方向に所定角度の範囲で第2探索領域を設定して探索を行っても他方の眼球画像Eが検索されない場合、眼球探索部33は、図8に示すように、第1探索領域DA1、DA2に対して、右眼球画像ERを中心とした時計回りの方向に角度θ3だけずれた位置に第2探索領域DA5、DA6を設定し、当該第2探索領域DA5、DA6を探索する。この場合、右眼球画像ERと第2探索領域DA5、DA6との距離は、それぞれ眼球画像間距離L2と等しくなる。
Further, even if a second search area is set in a range of a predetermined angle in a counterclockwise direction centered on the right eyeball image ER with respect to the first search areas DA1 and DA2 and a search is performed, the other eyeball image E is not retrieved, the
図8に示す第2探索領域DA5、DA6において被験者H3の他方の眼球画像Eが検索されない場合、眼球探索部33は、第2探索領域DA5、DA6に対して、右眼球画像ERを中心とした反時計回りの方向に更に角度θ3だけずれた位置に第2探索領域を設定し、当該第2探索領域を探索する。以降、新たに設定した第2探索領域において他方の眼球画像Eが検索されない場合、眼球探索部33は、当該第2探索領域に対して、右眼球画像ERを中心とした反時計回りの方向に角度θ3ずつずれた位置に新たな第2探索領域を設定し、当該第2探索領域を探索する。眼球探索部33は、第1探索領域DA1、DA2に対して、右眼球画像ERを中心とした時計回りの方向に所定角度以下の範囲で第2探索領域を設定することができる。なお、図7及び図8では、まず反時計回りの方向に第2探索領域を設定し、その後時計回りの方向に第2探索領域を設定する場合を例に挙げて説明したが、これに限定されない。上記とは逆に、まず時計回りの方向に第2探索領域を設定し、その後反時計回りの方向に第2探索領域を設定してもよい。
When the other eyeball image E of the subject H3 is not searched in the second search areas DA5 and DA6 shown in FIG. A second search area is set at a position shifted by an angle θ3 in the counterclockwise direction, and the second search area is searched. After that, if the other eyeball image E is not searched in the newly set second search area, the
図9は、変形例に係る眼球検出方法を示すフローチャートである。図9に示すように、ステップS116以外の各ステップについては、上記実施形態と同様である。ステップS116の判定の結果、第1探索領域DA1、DA2において他方の眼球画像Eが検出されたと判定される場合(ステップS116のYes)、上記実施形態と同様、ステップS117以降の動作を行わせる。 FIG. 9 is a flowchart showing an eyeball detection method according to a modification. As shown in FIG. 9, steps other than step S116 are the same as in the above embodiment. As a result of the determination in step S116, when it is determined that the other eyeball image E has been detected in the first search areas DA1 and DA2 (Yes in step S116), the operations after step S117 are performed as in the above embodiment.
一方、第1探索領域DA1、DA2において他方の眼球画像Eが検出されないと判定される場合(ステップS116のNo)、眼球探索部33は、第1探索領域DA1、DA2に対して、右眼球画像ERを中心とした反時計回り又は時計回りの方向に所定角度の範囲で第2探索領域を設定して探索を行う(ステップS120)。ステップS120において、第1探索領域DA1、DA2に対して第2探索領域を所定角度以上移動させた場合(ステップS121)、ステップS119以降の処理を行わせる。また、ステップS120において、第1探索領域DA1、DA2に対して第2探索領域の移動が所定角度未満である場合、(ステップS121)ステップS119以降の処理を行わせる。
On the other hand, when it is determined that the other eyeball image E is not detected in the first search areas DA1 and DA2 (No in step S116), the
このように、第1探索領域DA1、DA2で他方の眼球画像Eが検出されない場合、眼球探索部33は、第1探索領域DA1、DA2に対して一方の眼球画像Eを中心とする回転方向に所定角度ずれた第2探索領域を設定し、第2探索領域について探索を行うことにより、被験者が顔を傾けている場合等、一方の眼球画像Eに対して他方の眼球画像Eが回転方向にずれている場合についても、他方の眼球画像Eを検出することが可能となる。これにより、眼球画像Eの検出精度を高めることができる。
In this way, when the other eyeball image E is not detected in the first search areas DA1 and DA2, the
また、上記実施形態では、眼球検出装置が視線検出装置100に適用された構成を例に挙げて説明したが、これに限定されない。眼球検出装置は、例えば顔画像認識装置等のように、対象者の顔画像を取得し、当該顔画像から眼球画像を検出する他の装置に対しても適用することが可能である。
Further, in the above-described embodiment, the configuration in which the eyeball detection device is applied to the line-of-
また、上記実施形態では、撮像装置21の第1カメラ21A及び第2カメラ21Bの画像から被験者装置間距離D1を算出する例を説明したが、この方法に限定されず、例えばレーザ距離計等を用いて距離を測定しても良い。
Further, in the above-described embodiment, an example of calculating the inter-subject device distance D1 from the images of the
θ2,θ3…角度、D…第1距離、D1…被験者装置間距離、DA1,DA2…第1探索領域、DA3,DA4,DA5,DA6…第2探索領域、E…眼球画像、EB…眼球、EL…左眼球画像、H,H2,H3…被験者、L1…眼間距離、L2…眼球画像間距離、M…仮想直線、IM…顔画像、ER…右眼球画像、EBL…左眼、EBR…右眼、CNT1…カウンタ、10…表示装置、11…表示部、20…画像取得装置、21…撮像装置、21A…第1カメラ、21B…第2カメラ、22…照明装置、22A…第1光源、22B…第2光源、30…コンピュータシステム、30A…演算処理装置、30B…記憶装置、30C…コンピュータプログラム、31…表示制御部、32…距離算出部、33…眼球探索部、34…注視点検出部、35…記憶部、40…出力装置、50…入力装置、60…入出力インターフェース装置、100…視線検出装置
θ2, θ3... Angle, D... First distance, D1... Distance between test subject devices, DA1, DA2... First search area, DA3, DA4, DA5, DA6... Second search area, E... Eyeball image, EB... Eyeball, EL... left eye image, H, H2, H3... subject, L1... distance between eyes, L2... distance between eye images, M... virtual straight line, IM... face image, ER... right eye image, EBL... left eye, EBR... Right
Claims (8)
前記対象者と前記撮像装置との間の第1距離を算出する第1距離算出部と、
前記顔画像から前記左右の眼球画像を探索し、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する眼球探索部と
を備える眼球検出装置。 an imaging device that acquires a face image including left and right eyeball images of a subject;
a first distance calculation unit that calculates a first distance between the subject and the imaging device;
the left and right eyeball images are searched from the face image, and when one of the left and right eyeball images of the subject person is detected by the search, a search result for the one eyeball image and the first distance; and an eyeball searching unit that searches for the other eyeball image of the subject from the face image based on a second distance between the left and right eyeballs of the subject.
請求項1に記載の眼球検出装置。 The eyeball search unit calculates an eyeball position based on the one eyeball image, and calculates the eyeball position of the other eyeball image based on the eyeball position of the one eyeball image, the first distance, and the second distance. The eyeball detection device according to claim 1, wherein an eyeball position is predicted, and the search is performed based on the prediction result.
請求項2に記載の眼球検出装置。 The eyeball search unit sets a first search area at a position on a virtual straight line parallel to the left-right direction with respect to the one eyeball image, performs the search for the first search area, and performs the search in the first search area. When the other eyeball image is not detected, a second search area shifted by a predetermined angle in a rotational direction around the position of the one eyeball image is set with respect to the first search area, and the second search area is The eyeball detection device according to claim 2, wherein the search is performed.
請求項1から請求項3のいずれか一項に記載の眼球検出装置。 The eyeball detection device according to any one of claims 1 to 3, further comprising a second distance calculator that calculates the second distance based on the face image acquired by the imaging device.
請求項1から請求項4のいずれか一項に記載の眼球検出装置。 The eyeball detection device according to any one of claims 1 to 4, wherein the first distance calculator calculates the first distance based on the face image acquired by the imaging device.
視線検出装置。 A line-of-sight detecting apparatus for detecting left and right eyeball images of a subject by the eyeball detecting apparatus according to any one of claims 1 to 5, and detecting a line of sight of the subject based on the detection results.
前記対象者と前記撮像装置との間の第1距離を算出することと、
前記顔画像から前記左右の眼球画像を探索することと、
前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索することと
を含む眼球検出方法。 Acquiring a face image including left and right eyeball images of a subject by an imaging device ;
calculating a first distance between the subject and the imaging device;
searching the left and right eyeball images from the face image;
When one of the left and right eyeball images of the subject is detected by the search, the search result for the one eyeball image, the first distance, and a second distance between the left and right eyeballs of the subject. and searching the subject's other eyeball image from the face image based on.
前記対象者と前記撮像装置との間の第1距離を算出する処理と、
前記顔画像から前記左右の眼球画像を探索する処理と、
前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第1距離と、前記対象者の左右の眼球間の第2距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する処理と
をコンピュータに実行させる眼球検出プログラム。 A process of acquiring a face image including the left and right eyeball images of the subject by an imaging device ;
a process of calculating a first distance between the subject and the imaging device;
a process of searching the left and right eyeball images from the face image;
When one of the left and right eyeball images of the subject is detected by the search, the search result for the one eyeball image, the first distance, and a second distance between the left and right eyeballs of the subject. and a process of searching for the other eyeball image of the subject person from the face image based on the above.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133582A JP7263959B2 (en) | 2019-07-19 | 2019-07-19 | Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program |
EP20842949.8A EP3975114B1 (en) | 2019-07-19 | 2020-06-24 | Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program |
PCT/JP2020/024727 WO2021014868A1 (en) | 2019-07-19 | 2020-06-24 | Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program |
US17/543,848 US12080103B2 (en) | 2019-07-19 | 2021-12-07 | Eyeball detection device, eye-gaze tracking device, eyeball detection method, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133582A JP7263959B2 (en) | 2019-07-19 | 2019-07-19 | Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021018574A JP2021018574A (en) | 2021-02-15 |
JP7263959B2 true JP7263959B2 (en) | 2023-04-25 |
Family
ID=74193424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019133582A Active JP7263959B2 (en) | 2019-07-19 | 2019-07-19 | Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program |
Country Status (4)
Country | Link |
---|---|
US (1) | US12080103B2 (en) |
EP (1) | EP3975114B1 (en) |
JP (1) | JP7263959B2 (en) |
WO (1) | WO2021014868A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009176005A (en) | 2008-01-24 | 2009-08-06 | Toyota Motor Corp | Characteristic point detection method for face image and its device |
JP2018205819A (en) | 2017-05-30 | 2018-12-27 | 富士通株式会社 | Gazing position detection computer program, gazing position detection device, and gazing position detection method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4601245B2 (en) * | 2002-08-20 | 2010-12-22 | シャープ株式会社 | Facial part extraction device |
JP2008125619A (en) | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | Pupil detection apparatus and pupil detection method |
JP2013029996A (en) * | 2011-07-28 | 2013-02-07 | Renesas Electronics Corp | Image processing device |
US9626564B2 (en) * | 2014-11-17 | 2017-04-18 | Intel Corporation | System for enabling eye contact in electronic images |
-
2019
- 2019-07-19 JP JP2019133582A patent/JP7263959B2/en active Active
-
2020
- 2020-06-24 WO PCT/JP2020/024727 patent/WO2021014868A1/en unknown
- 2020-06-24 EP EP20842949.8A patent/EP3975114B1/en active Active
-
2021
- 2021-12-07 US US17/543,848 patent/US12080103B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009176005A (en) | 2008-01-24 | 2009-08-06 | Toyota Motor Corp | Characteristic point detection method for face image and its device |
JP2018205819A (en) | 2017-05-30 | 2018-12-27 | 富士通株式会社 | Gazing position detection computer program, gazing position detection device, and gazing position detection method |
Also Published As
Publication number | Publication date |
---|---|
JP2021018574A (en) | 2021-02-15 |
EP3975114B1 (en) | 2023-10-11 |
EP3975114A4 (en) | 2022-07-27 |
US20220092880A1 (en) | 2022-03-24 |
US12080103B2 (en) | 2024-09-03 |
WO2021014868A1 (en) | 2021-01-28 |
EP3975114A1 (en) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6963820B2 (en) | Line-of-sight detector | |
US8947351B1 (en) | Point of view determinations for finger tracking | |
JP2019519859A (en) | System and method for performing gaze tracking | |
JP6631951B2 (en) | Eye gaze detection device and eye gaze detection method | |
JP6848526B2 (en) | Evaluation device, evaluation method, and evaluation program | |
JP2019215688A (en) | Visual line measuring device, visual line measurement method and visual line measurement program for performing automatic calibration | |
JP2019025195A (en) | Visual line detection device and visual line detection method | |
WO2021246012A1 (en) | Device, method, and program for detecting line of sight | |
JP7263959B2 (en) | Eyeball detection device, sight line detection device, eyeball detection method, and eyeball detection program | |
EP3811852B1 (en) | Device, method, and program for detecting gaze | |
US20230181033A1 (en) | Cornea curvature radius calculation device, line-of-sight detection device, cornea curvature radius calculation method, and cornea curvature radius calculation program | |
JP6996343B2 (en) | Evaluation device, evaluation method, and evaluation program | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
JP2011172853A (en) | Device, method and program for measuring visual axis | |
WO2022038815A1 (en) | Distance calculation device, distance calculation method, and distance calculation program | |
EP3878373B1 (en) | Evaluation device, evaluation method, and evaluation program | |
JP7027958B2 (en) | Evaluation device, evaluation method, and evaluation program | |
JP7063045B2 (en) | Line-of-sight detection device, line-of-sight detection method and line-of-sight detection program | |
EP3583887B1 (en) | Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program | |
JP2020142015A (en) | Display device, display method and display program | |
JP7556213B2 (en) | Gaze detection device, gaze detection method, and gaze detection program | |
WO2022044395A1 (en) | Sight line detection device, sight line detection method, and sight line detection program | |
JP2024090620A (en) | Subject identification device, gaze detection device, subject identification method, and subject identification program | |
JP6677156B2 (en) | Visual function testing device, visual function testing method, and computer program | |
WO2020194841A1 (en) | Assessment device, assessment method, and assessment program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7263959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |