JPWO2013176265A1 - 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 - Google Patents
瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 Download PDFInfo
- Publication number
- JPWO2013176265A1 JPWO2013176265A1 JP2014516870A JP2014516870A JPWO2013176265A1 JP WO2013176265 A1 JPWO2013176265 A1 JP WO2013176265A1 JP 2014516870 A JP2014516870 A JP 2014516870A JP 2014516870 A JP2014516870 A JP 2014516870A JP WO2013176265 A1 JPWO2013176265 A1 JP WO2013176265A1
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- camera
- image
- pair
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 813
- 238000001514 detection method Methods 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims description 164
- 239000013598 vector Substances 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 26
- 238000013459 approach Methods 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 description 36
- 230000014509 gene expression Effects 0.000 description 32
- 210000003128 head Anatomy 0.000 description 27
- 238000012937 correction Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- DEFLNOSTNCSZRB-IDTAVKCVSA-N 9-[(2r,3r,4r,5r)-3,4-dimethoxy-5-(methoxymethyl)oxolan-2-yl]-n-methoxypurin-6-amine Chemical compound CO[C@@H]1[C@H](OC)[C@@H](COC)O[C@H]1N1C2=NC=NC(NOC)=C2N=C1 DEFLNOSTNCSZRB-IDTAVKCVSA-N 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 8
- 239000004178 amaranth Substances 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001179 pupillary effect Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/156—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking
- A61B3/158—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for blocking of corneal reflection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
まず、本発明にかかる瞳孔検出方法を実行するための瞳孔検出装置の構成について、図面を参照しながら説明する。本瞳孔検出装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。
次に、上述した瞳孔検出装置10の動作について説明するとともに、瞳孔検出装置10を用いた瞳孔検出方法及び瞳孔追尾方法について説明する。
まず、本実施形態において使用される座標系に関して説明する。図2に示すように、世界座標系において、1台のカメラが存在する場合を考える。同図では、カメラ座標系と世界座標系とは平行とされているが、これらの座標系は平行でなくてもよい。
次に、本実施形態に係る瞳孔検出方法を説明する。本実施形態に係る瞳孔検出方法は、第1カメラにより対象者の顔を撮影して第1画像を取得する第1ステップと、第2カメラにより上記対象者の顔を撮影して第2画像を取得する第2ステップと、上記第1画像から上記対象者の瞳孔の候補となる1個以上の第1画像内候補点を抽出する第3ステップと、上記第2画像から上記対象者の瞳孔の候補となる1個以上の第2画像内候補点を抽出する第4ステップと、上記第1画像内候補点のうち1点及び上記第2画像内候補点のうち1点からなる組み合わせについて、当該組み合わせが3次元空間における同一の点に対応するか否かを判定する第5ステップと、3次元座標における同一の点に対応すると判定された上記第1画像内候補点と上記第2画像内候補点との組み合わせについて、当該組み合わせに対応する3次元空間における点を空間内候補点とすることにより、2個以上の空間内候補点を抽出する第6ステップと、上記抽出された空間内候補点の中から2個の空間内候補点の対を選択し、選択された2個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第7ステップと、上記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第8ステップと、上記除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に上記対象者の瞳孔の対が存在すると決定する第9ステップと、を備えている。
まず、図4を参照して、空間内候補点を抽出する第1の方法を説明する。図4は、図3を簡略化した図である。ここでは、すべて世界座標系で表現されているものとする。いま、左右のカメラのそれぞれに写る物体の位置をPL、PRとすると、各カメラの原点からそれらに向かうベクトルOLPL、ORPRと同方向のベクトルOLPLu、ORPRuが求まる。
次に、抽出された空間内候補点の中から2個の空間内候補点の対を選択し、選択された2個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第7ステップと、上記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第8ステップを実行する方法について説明する。なお、本明細書において、この方法を第4の方法と称することがある。
次に、以上で説明した方法を組み合わせた瞳孔検出方法による瞳孔検出実験の結果について説明する。
次に、複数人の瞳孔対を検出する場合について説明する。
複数の対象者の瞳孔対を検出する場合にも、前述の第1〜第3の方法により空間内候補点を抽出した後、2点間距離に基づき空間内候補点を選択する方法によって、複数の対象者の瞳孔対を検出することができる。例えば、第1の方法により不適切な画像内候補点を除去し、次に、除去されなかった画像内候補点に対して第2の方法により不適切な画像内候補点を判定して除去し、さらに残った画像内候補点に対して、その画像内候補点に対応する3次元座標を計算し、計算された2点の3次元座標が所定範囲内にあるものを選択することにより判定を行って、複数人の瞳孔対を検出することができる。
次に、本実施形態に係る角膜反射検出方法について説明する。
これまで、2個のカメラのみを用いて瞳孔を検出する方法について説明を行った。しかし、少なくとも3個のカメラを用いて対象者の顔を撮影し、これらのカメラの中から少なくとも2組の第1カメラ及び第2カメラの組を選択し、選択された第1カメラ及び第2カメラの組のそれぞれを用いて、これまでに説明した2個のカメラを用いた瞳孔検出方法を実行してもよい。
次に、これまで説明した瞳孔検出方法で対象者の一対の瞳孔の位置を検出した後に、検出された瞳孔を追尾するための瞳孔追尾方法について説明する。
次に、ここまでで説明した本実施形態の瞳孔追尾方法の実験結果を説明する。
次に、本実施形態の顔姿勢検出方法について説明する。この顔姿勢検出方法は、上記の瞳孔検出方法により検出された対象者の一対の瞳孔の3次元座標に基づいて対象者の顔姿勢を検出する方法である。
上述したいくつかの実施形態においては、瞳孔間距離を求める工程があった。瞳孔間距離は、対象者の瞳孔対を決定するためには、本来、正確さを要する値である。特に、対象者の眼鏡反射像が瞳孔像と近い位置にある場合には、眼鏡反射像と瞳孔像とを区別するために、瞳孔間距離を正確に求める必要がある。
Claims (13)
- 第1カメラにより対象者の顔を撮影して第1画像を取得する第1ステップと、
第2カメラにより前記対象者の顔を撮影して第2画像を取得する第2ステップと、
前記第1画像から前記対象者の瞳孔の候補となる1個以上の第1画像内候補点を抽出する第3ステップと、
前記第2画像から前記対象者の瞳孔の候補となる1個以上の第2画像内候補点を抽出する第4ステップと、
前記第1画像内候補点のうち1点及び前記第2画像内候補点のうち1点からなる組み合わせについて、当該組み合わせが3次元空間における同一の点に対応するか否かを判定する第5ステップと、
3次元座標における同一の点に対応すると判定された前記第1画像内候補点と前記第2画像内候補点との組み合わせについて、当該組み合わせに対応する3次元空間における点を空間内候補点とすることにより、2個以上の空間内候補点を抽出する第6ステップと、
前記抽出された空間内候補点の中から2個の空間内候補点の対を選択し、選択された2個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第7ステップと、
前記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第8ステップと、
前記除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に前記対象者の瞳孔の対が存在すると決定する第9ステップと、
を備える瞳孔検出方法。 - 前記第5ステップは、
前記第1画像及び前記第2画像に基づいて、前記第1画像内候補点のうち1点及び前記第2画像内候補点のうち1点からなる組み合わせから、ステレオマッチングにより3次元座標を算出する第10ステップと、
前記算出された3次元座標の値が所定の範囲にない場合に、前記組み合わせを、3次元座標における同一の点に対応しないものとして除外する第11ステップと、
を含む請求項1に記載の瞳孔検出方法。 - 前記第5ステップは、
第1画像における第1画像内候補点の座標に基づいて、第1画像内候補点と第1カメラとを結ぶ第1直線を決定する第12ステップと、
第2画像における第2画像内候補点の座標に基づいて、第2画像内候補点と第2カメラとを結ぶ第2直線を決定する第13ステップと、
前記第1直線と前記第2直線との共通垂線を決定する第14ステップと、
前記共通垂線の長さが所定の閾値より小さく、かつ前記共通垂線の中点の3次元座標の値が所定の範囲内にない場合に、前記組み合わせを、3次元座標における同一の点に対応しないものとして除外する第15ステップと、
を有する請求項1又は2に記載の瞳孔検出方法。 - 少なくとも3個のカメラによって対象者の顔を撮影する第16ステップと、
前記少なくとも3個のカメラの中から、少なくとも2組の第1カメラ及び第2カメラの組を選択する第17ステップと、
前記選択された第1カメラ及び第2カメラの組のそれぞれを用いて、請求項1〜3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第18ステップと、を備える瞳孔検出方法。 - 請求項1〜4のいずれか一項に記載の瞳孔検出方法により、複数人の瞳孔対を検出する瞳孔検出方法。
- 少なくとも3個のカメラのうち2個のカメラの組み合わせであるカメラペアを少なくとも3組決定するステップと、
前記決定された少なくとも3組のカメラペアのそれぞれについて、前記カメラペアの一方のカメラを第1カメラとし、前記カメラペアの他方のカメラを第2のカメラとして、請求項1〜3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔の対を瞳孔対の候補として決定するステップと、
前記少なくとも3組のカメラペアにより決定された瞳孔対の候補のそれぞれについて、前記瞳孔対の候補の一方と他方とを結ぶ方向ベクトルを求めるステップと、
一のカメラペアにより決定された瞳孔対の候補について前記求められた方向ベクトルの向きが、他の複数のカメラペアで決定された瞳孔対の候補について前記求められた方向ベクトルの向きと所定の閾値以上の角度をなす場合に、前記一のカメラペアにより決定された瞳孔対の候補を除去するステップと、
前記除去するステップにより除去されずに残った対象者の瞳孔対の候補について座標の平均値をとり、前記平均値を最終的な瞳孔の位置として決定するステップと、を備える瞳孔検出方法。 - 請求項1〜3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第19ステップと、
前記第1画像から前記対象者の角膜反射の候補となる1個以上の第1画像内角膜反射候補点を抽出する第20ステップと、
前記第2画像から前記対象者の角膜反射の候補となる1個以上の第2画像内角膜反射候補点を抽出する第21ステップと、
前記抽出された第1画像内角膜反射候補点及び第2画像内角膜反射候補点からそれぞれ1点ずつを選択する第22ステップと、
前記第1画像における前記選択された第1画像内角膜反射候補点の画像内座標及び前記第2画像における前記選択された第2画像内角膜反射候補点の画像内座標に基づいて、前記選択された第1画像内角膜反射候補点及び第2画像内角膜反射候補点の組み合わせに対応する3次元座標を計算する第23ステップと、
前記計算された3次元座標と前記検出された瞳孔の3次元座標との位置が所定の範囲内にある場合に、前記計算された3次元座標を前記対象者の角膜反射であると判定する第24ステップと、を備える角膜反射検出方法。 - 請求項1〜6のいずれか一項に記載の瞳孔検出方法により検出された対象者の一対の瞳孔の3次元座標に基づいて前記対象者の顔姿勢を検出する、顔姿勢検出方法。
- 請求項1〜6のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第25ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第26ステップと、
前記一対の瞳孔対を検出するステップが実行された後の第1の時刻、及び前記第1の時刻より後の第2の時刻における前記対象者の一対の瞳孔対を検出する第27ステップと、
前記第1の時刻及び前記第2の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第28ステップと、
前記計算された前記第1の時刻及び前記第2の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第2の時刻より後の第3の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第29ステップと、
前記推定された前記第3の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第3の時刻における一対の瞳孔対の各々の瞳孔の画像内座標を推定する第30ステップと、
前記第3の時刻における前記第1カメラ及び前記第2カメラにより撮影された画像のそれぞれにおいて、前記推定された瞳孔の画像内座標の周囲に小領域を設定する第31ステップと、
前記第3の時刻における前記第1カメラ及び前記第2カメラにより撮影された画像のそれぞれにおいて、前記設定された小領域において所定の画像処理により瞳孔の位置を決定して、前記第3の時刻における瞳孔の画像内座標を算出する第32ステップと、
を備える瞳孔追尾方法。 - 請求項1〜6のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第33ステップと、
前記第33ステップが実行された後の一の時刻に、前記第1カメラ及び前記第2カメラの両方により対象者の第1の瞳孔を検出するとともに、前記第1カメラ又は前記第2カメラのいずれか一方のカメラにより前記対象者の第2の瞳孔を検出する第34ステップと、
前記第1カメラ及び前記第2カメラのそれぞれにおける前記第1の瞳孔の画像内座標に基づいて前記第1の瞳孔の3次元座標を計算する第35ステップと、
前記一方のカメラにより取得した前記第2の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第2の瞳孔を通る直線を計算する第36ステップと、
前記計算された直線上に存在し、かつ前記第1の瞳孔との3次元空間における距離が、瞳孔間距離に基づいて与えられる所定の値となる点を、対象者の第2の瞳孔として決定する第37ステップと、
を備える瞳孔追尾方法。 - 請求項1〜6のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第38ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第39ステップと、
前記第38ステップが実行された後の第1の時刻、及び前記第1の時刻より後の第2の時刻における前記対象者の一対の瞳孔対を検出する第40ステップと、
前記第1の時刻及び前記第2の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第41ステップと、
前記計算された前記第1の時刻及び前記第2の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第2の時刻より後の第3の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第42ステップと、
前記推定された前記第3の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第3の時刻における一対の瞳孔対の各々の瞳孔の3次元座標を推定する第43ステップと、
前記第3の時刻に、前記第1カメラ又は前記第2カメラのいずれか一方のカメラにより前記対象者の第1の瞳孔を検出するとともに、前記一方のカメラと異なる他方のカメラにより前記対象者の第2の瞳孔を検出する第44ステップと、
前記第3の時刻に前記一方のカメラにより検出した前記第1の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第1の瞳孔を通る第3直線を計算する第45ステップと、
前記第2の時刻に前記他方のカメラにより検出した前記第2の瞳孔の画像内座標に基づいて、前記他方のカメラ及び前記第2の瞳孔を通る第4直線を計算する第46ステップと、
前記第1の時刻における第1の瞳孔と第2の瞳孔とを結ぶ第5直線を計算する第47ステップと、
前記第3直線と前記第5直線との両方に接近する接近点を、前記第2の時刻における前記第1の瞳孔として決定する第48ステップと、
前記第4直線と前記第5直線との両方に接近する接近点を、前記第2の時刻における前記第2の瞳孔として決定する第49ステップと、
を備える瞳孔追尾方法。 - 請求項1〜5のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第50ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第51ステップと、
前記第50ステップが実行された後の第1の時刻における前記対象者の一対の瞳孔対のそれぞれの3次元座標を取得する第52ステップと、
前記第1の時刻における前記一対の瞳孔対の相対位置を計算する第53ステップと、
前記第1の時刻より後の第2の時刻において、対象者の第1の瞳孔又は第2の瞳孔のいずれか一方を前記第1カメラ及び前記第2カメラのいずれによっても検出できなかった場合に、前記第1カメラ及び前記第2カメラのそれぞれにおける前記一方と異なる他方の瞳孔の画像内座標に基づいて前記第2の時刻における前記他方の瞳孔の3次元座標を計算する第54ステップと、
前記第53ステップで計算した前記第1の時刻における前記一対の瞳孔対の相対位置及び前記第54ステップで計算した前記第2の時刻における前記他方の瞳孔の3次元座標に基づいて前記第2の時刻における前記一方の瞳孔の3次元座標を計算する第55ステップと、
を備える瞳孔追尾方法。 - 請求項1〜6のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第56ステップと、
前記第56ステップが実行された後の一の時刻に前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第57ステップと、
前記第57ステップにおいて取得した画像から前記対象者の角膜反射の候補となる画像内角膜反射候補点を抽出する第58ステップと、
前記第58ステップにおいて取得した画像内角膜反射候補点に基づいて前記対象者の左右の角膜球中心の3次元座標を計算する第59ステップと、
前記第59ステップにおいて計算された前記対象者の左右の角膜球中心の3次元座標の位置に基づいて、前記第1カメラ及び前記第2カメラのそれぞれによって取得された画像内に小領域を設定する第60ステップと、
前記第60ステップにおいて設定された小領域において所定の画像処理により瞳孔の位置を決定して、瞳孔の画像内座標を算出する第61ステップと、を備える瞳孔追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014516870A JP6083761B2 (ja) | 2012-05-25 | 2013-05-24 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012120312 | 2012-05-25 | ||
JP2012120312 | 2012-05-25 | ||
PCT/JP2013/064511 WO2013176265A1 (ja) | 2012-05-25 | 2013-05-24 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
JP2014516870A JP6083761B2 (ja) | 2012-05-25 | 2013-05-24 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013176265A1 true JPWO2013176265A1 (ja) | 2016-01-14 |
JP6083761B2 JP6083761B2 (ja) | 2017-02-22 |
Family
ID=49623945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014516870A Active JP6083761B2 (ja) | 2012-05-25 | 2013-05-24 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9514538B2 (ja) |
EP (1) | EP2857939B1 (ja) |
JP (1) | JP6083761B2 (ja) |
WO (1) | WO2013176265A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015157410A1 (en) * | 2014-04-08 | 2015-10-15 | Tk Holdings Inc. | System and method for night vision object detection and driver assistance |
US10499808B2 (en) * | 2014-06-09 | 2019-12-10 | National University Corporation Shizuoka University | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
JP6554763B2 (ja) * | 2014-07-01 | 2019-08-07 | 株式会社ニデック | 瞳孔間距離計 |
KR102310994B1 (ko) * | 2014-11-25 | 2021-10-08 | 삼성전자주식회사 | 3차원 상호작용 컴퓨팅 장치 및 방법 |
DE102014118387A1 (de) * | 2014-12-12 | 2016-06-16 | Valeo Schalter Und Sensoren Gmbh | Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren |
JP6430813B2 (ja) * | 2014-12-25 | 2018-11-28 | 国立大学法人静岡大学 | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 |
KR102381140B1 (ko) | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 운전자 모니터링 방법 |
DE102015204283A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person |
CN112674715A (zh) | 2015-05-11 | 2021-04-20 | 6超越6视觉有限公司 | 确定瞳孔距离的装置、系统和方法 |
JP6582604B2 (ja) * | 2015-06-23 | 2019-10-02 | 富士通株式会社 | 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム |
US10534173B2 (en) | 2015-08-03 | 2020-01-14 | Facebook Technologies, Llc | Display with a tunable mask for augmented reality |
US10459305B2 (en) | 2015-08-03 | 2019-10-29 | Facebook Technologies, Llc | Time-domain adjustment of phase retardation in a liquid crystal grating for a color display |
US10338451B2 (en) | 2015-08-03 | 2019-07-02 | Facebook Technologies, Llc | Devices and methods for removing zeroth order leakage in beam steering devices |
US10297180B2 (en) | 2015-08-03 | 2019-05-21 | Facebook Technologies, Llc | Compensation of chromatic dispersion in a tunable beam steering device for improved display |
US10552676B2 (en) | 2015-08-03 | 2020-02-04 | Facebook Technologies, Llc | Methods and devices for eye tracking based on depth sensing |
US10416454B2 (en) | 2015-10-25 | 2019-09-17 | Facebook Technologies, Llc | Combination prism array for focusing light |
US10247858B2 (en) | 2015-10-25 | 2019-04-02 | Facebook Technologies, Llc | Liquid crystal half-wave plate lens |
JP6652478B2 (ja) * | 2015-11-19 | 2020-02-26 | エンゼルプレイングカード株式会社 | チップの計測システム |
US10203566B2 (en) | 2015-12-21 | 2019-02-12 | Facebook Technologies, Llc | Enhanced spatial resolution using a segmented electrode array |
AU2017228528A1 (en) | 2016-09-12 | 2018-03-29 | Angel Playing Cards Co., Ltd. | Chip measurement system |
EP3403701B1 (en) | 2016-02-01 | 2021-12-01 | Angel Playing Cards Co., Ltd. | Game token management system |
WO2017145787A1 (ja) * | 2016-02-23 | 2017-08-31 | ソニー株式会社 | 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム |
US10496166B2 (en) * | 2016-04-12 | 2019-12-03 | Panasonic Intellectual Property Management Co., Ltd. | Eye tracking device and eye tracking method |
CN109690553A (zh) * | 2016-06-29 | 2019-04-26 | 醒眸行有限公司 | 执行眼睛注视跟踪的系统和方法 |
JP6751324B2 (ja) * | 2016-09-14 | 2020-09-02 | 株式会社デンソーアイティーラボラトリ | 虹彩検出装置、虹彩検出方法、およびプログラム |
JP6877830B2 (ja) * | 2017-03-28 | 2021-05-26 | 株式会社トプコン | 眼科装置 |
US20180356885A1 (en) * | 2017-06-10 | 2018-12-13 | Tsunami VR, Inc. | Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user |
JP6859447B2 (ja) * | 2017-09-27 | 2021-04-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システムおよび対象物情報取得方法 |
US10917634B2 (en) | 2018-01-17 | 2021-02-09 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
CA3087333A1 (en) * | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
JP7122916B2 (ja) * | 2018-09-13 | 2022-08-22 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラムならびに記憶媒体 |
US10838490B2 (en) | 2018-10-23 | 2020-11-17 | Microsoft Technology Licensing, Llc | Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices |
US10718942B2 (en) | 2018-10-23 | 2020-07-21 | Microsoft Technology Licensing, Llc | Eye tracking systems and methods for near-eye-display (NED) devices |
US10996746B2 (en) | 2018-10-23 | 2021-05-04 | Microsoft Technology Licensing, Llc | Real-time computational solutions to a three-dimensional eye tracking framework |
US10855979B2 (en) | 2018-10-23 | 2020-12-01 | Microsoft Technology Licensing, Llc | Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items |
US10852823B2 (en) | 2018-10-23 | 2020-12-01 | Microsoft Technology Licensing, Llc | User-specific eye tracking calibration for near-eye-display (NED) devices |
US11036043B2 (en) * | 2019-01-17 | 2021-06-15 | Advanced New Technologies Co., Ltd. | Identity authentication using lens features |
SE543455C2 (en) * | 2019-06-28 | 2021-02-23 | Tobii Ab | Method and system for 3d cornea position estimation |
EP3999940A4 (en) | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
JP6885444B2 (ja) * | 2019-11-11 | 2021-06-16 | 株式会社Jvcケンウッド | 視線検出装置、視線検出方法、及びコンピュータプログラム |
US11232315B2 (en) * | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
CN112926523B (zh) * | 2021-03-30 | 2022-07-26 | 青岛小鸟看看科技有限公司 | 基于虚拟现实的眼球追踪方法、系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058507A (ja) * | 2005-08-24 | 2007-03-08 | Konica Minolta Holdings Inc | 視線検出装置 |
JP2009267729A (ja) * | 2008-04-24 | 2009-11-12 | Sony Corp | 映像処理装置、映像処理方法、プログラム及び記録媒体 |
JP2010067104A (ja) * | 2008-09-12 | 2010-03-25 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
US20050031173A1 (en) * | 2003-06-20 | 2005-02-10 | Kyungtae Hwang | Systems and methods for detecting skin, eye region, and pupils |
KR20050025927A (ko) * | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
CA2545202C (en) * | 2003-11-14 | 2014-01-14 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
JP4839432B2 (ja) | 2003-12-17 | 2011-12-21 | 国立大学法人静岡大学 | 瞳孔位置検出によるポインティング装置及び方法 |
JP4517049B2 (ja) | 2003-12-25 | 2010-08-04 | 国立大学法人静岡大学 | 視線検出方法および視線検出装置 |
JP4317465B2 (ja) * | 2004-02-13 | 2009-08-19 | 本田技研工業株式会社 | 顔識別装置、顔識別方法及び顔識別プログラム |
JP4765008B2 (ja) | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
JP4568836B2 (ja) | 2004-06-08 | 2010-10-27 | 国立大学法人静岡大学 | 実時間瞳孔位置検出システム |
JP4991317B2 (ja) * | 2006-02-06 | 2012-08-01 | 株式会社東芝 | 顔特徴点検出装置及びその方法 |
JP4431749B2 (ja) | 2006-03-31 | 2010-03-17 | 国立大学法人静岡大学 | 顔姿勢検出方法 |
JP4452832B2 (ja) | 2006-03-31 | 2010-04-21 | 国立大学法人静岡大学 | 瞳孔を検出する方法及び装置 |
CN101489467B (zh) * | 2006-07-14 | 2011-05-04 | 松下电器产业株式会社 | 视线方向检测装置和视线方向检测方法 |
JP4452836B2 (ja) | 2006-07-31 | 2010-04-21 | 国立大学法人静岡大学 | 瞳孔を検出する方法及び装置 |
KR100826876B1 (ko) * | 2006-09-18 | 2008-05-06 | 한국전자통신연구원 | 홍채 검출 방법 및 이를 위한 장치 |
JP4899059B2 (ja) | 2007-03-30 | 2012-03-21 | 国立大学法人静岡大学 | 眠気検知装置 |
JP2010010926A (ja) | 2008-06-25 | 2010-01-14 | Toshiba Corp | 映像投射装置および映像投射装置の制御方法 |
WO2010010926A1 (ja) | 2008-07-24 | 2010-01-28 | 国立大学法人静岡大学 | 特徴点追跡方法及び特徴点追跡装置 |
WO2012020760A1 (ja) * | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP5949319B2 (ja) * | 2012-08-21 | 2016-07-06 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
US9355315B2 (en) * | 2014-07-24 | 2016-05-31 | Microsoft Technology Licensing, Llc | Pupil detection |
-
2013
- 2013-05-24 WO PCT/JP2013/064511 patent/WO2013176265A1/ja active Application Filing
- 2013-05-24 US US14/402,952 patent/US9514538B2/en active Active
- 2013-05-24 JP JP2014516870A patent/JP6083761B2/ja active Active
- 2013-05-24 EP EP13793886.6A patent/EP2857939B1/en not_active Not-in-force
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058507A (ja) * | 2005-08-24 | 2007-03-08 | Konica Minolta Holdings Inc | 視線検出装置 |
JP2009267729A (ja) * | 2008-04-24 | 2009-11-12 | Sony Corp | 映像処理装置、映像処理方法、プログラム及び記録媒体 |
JP2010067104A (ja) * | 2008-09-12 | 2010-03-25 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US9514538B2 (en) | 2016-12-06 |
EP2857939A1 (en) | 2015-04-08 |
EP2857939A4 (en) | 2016-09-14 |
WO2013176265A1 (ja) | 2013-11-28 |
EP2857939B1 (en) | 2018-08-29 |
JP6083761B2 (ja) | 2017-02-22 |
US20150287206A1 (en) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6083761B2 (ja) | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 | |
US8457352B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
CN107111753B (zh) | 用于注视跟踪模型的注视检测偏移 | |
CN109558012B (zh) | 一种眼球追踪方法及装置 | |
Hennessey et al. | Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions | |
JP6340503B2 (ja) | 目追跡システム及び利き目を検出する方法 | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
EP4224424A1 (en) | Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale | |
KR101769177B1 (ko) | 시선 추적 장치 및 방법 | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
KR20240074755A (ko) | 시선 방향 추적 방법 및 장치 | |
KR20130107981A (ko) | 시선 추적 장치 및 방법 | |
KR20210122271A (ko) | 눈 추적 장치 및 방법 | |
CN114424147A (zh) | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 | |
CN108537103B (zh) | 基于瞳孔轴测量的活体人脸检测方法及其设备 | |
JP5971066B2 (ja) | 診断支援装置および診断支援装置の作動方法 | |
CN113138664A (zh) | 基于光场感知的眼球追踪系统、方法 | |
JP2012029940A (ja) | 視線計測方法及び視線計測装置 | |
Borsato et al. | Episcleral surface tracking: challenges and possibilities for using mice sensors for wearable eye tracking | |
KR101745077B1 (ko) | 시선 추적 장치 및 그의 시선 추적 방법 | |
WO2017081915A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6269177B2 (ja) | 瞳孔検出装置、視線検出装置および瞳孔検出方法 | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6083761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |