JPWO2019187808A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2019187808A1 JPWO2019187808A1 JP2020510425A JP2020510425A JPWO2019187808A1 JP WO2019187808 A1 JPWO2019187808 A1 JP WO2019187808A1 JP 2020510425 A JP2020510425 A JP 2020510425A JP 2020510425 A JP2020510425 A JP 2020510425A JP WO2019187808 A1 JPWO2019187808 A1 JP WO2019187808A1
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- sight direction
- information processing
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 274
- 238000012545 processing Methods 0.000 claims abstract description 61
- 210000005252 bulbus oculi Anatomy 0.000 claims description 204
- 210000001508 eye Anatomy 0.000 claims description 135
- 238000012937 correction Methods 0.000 claims description 90
- 210000001747 pupil Anatomy 0.000 claims description 87
- 210000004087 cornea Anatomy 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 27
- 239000013598 vector Substances 0.000 description 290
- 238000001514 detection method Methods 0.000 description 110
- 230000011514 reflex Effects 0.000 description 34
- 230000001179 pupillary effect Effects 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 239000003550 marker Substances 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 16
- 239000002131 composite material Substances 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 239000000203 mixture Substances 0.000 description 10
- 239000011521 glass Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000003786 sclera Anatomy 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 235000002673 Dioscorea communis Nutrition 0.000 description 4
- 241000544230 Dioscorea communis Species 0.000 description 4
- 241001469893 Oxyzygonectes dovii Species 0.000 description 4
- 208000035753 Periorbital contusion Diseases 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000001936 parietal effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000554 iris Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
前記取得部は、ユーザの眼情報を取得する。
前記処理部は、前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する。
異なる手法により決定された視線方向を合成することで、視線方向の検出結果等を安定させることが可能となる。これにより、安定した視線検出を実現することが可能となる。
これにより、各視線方向の信頼度等に応じた合成が可能となり、信頼性を向上することが可能である。この結果、信頼性の高い視線検出を安定して行うことが可能となる。
これにより、例えば照射光による輝点を基準として視線方向を決定することが可能となり、視線方向の検出精度を向上することが可能となる。
これにより、例えば眼球モデル等を用いて視線方向を検出することが可能となる。この結果、ユーザの視線方向を十分に高い精度で検出することが可能となる。
これにより、例えば輝点を用いて検出される視線方向の信頼度を適正に算出することが可能となり、重み係数等を適正に算出することが可能となる。
これにより、例えば輝点を用いて検出される視線方向の信頼度を精度よく算出することが可能となり、重み係数等を高い精度で算出することが可能となる。
これにより、例えば輝点状態に応じて重み係数を算出することが可能となり、視線方向の合成等を高い精度で実行することが可能となる。
これにより、例えば輝点のペアが検出されない場合であっても、視線方向を検出可能であり、安定性の高い視線検出を実現することが可能となる。
これにより、補正パラメータを最新の状態に維持することが可能となり、安定した視線検出を実現することが可能である。
例えば基準点を用いることで、装置の位置ずれ等が起きた場合であっても精度よく視線方向を検出可能である。これにより、他の手法の補正パラメータを適正に補正可能である。
これにより、一方の手法の信頼度を基準として他の手法の補正パラメータを適正に補正すること可能である。
これにより、第1の視線方向を精度よく算出することが可能となる。この結果、第2の補正パラメータを精度よく更新することが可能となり、安定した視線検出を実現することが可能となる。
これにより、例えば広い視野範囲にわたってユーザの視線方向を安定して検出することが可能となる。
これにより、例えば第1の視線方向が精度よく算出される位置で、第2の補正パラメータを更新するといったことが可能となり、更新処理の精度を向上することが可能となる。
これにより、第2の補正パラメータを精度よく更新することが可能となり、十分に安定した視線検出を実現することが可能となる。
これにより、例えば広い視野範囲に渡ってユーザの視野方向を検出することが可能となる。この結果、視線方向の検出可能範囲を拡大することが可能となる。
これにより、視線方向を容易に検出することが可能である
前記眼情報に基づいて第1の手法により第1の視線方向が決定され、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向が決定され、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報が算出され、算出された前記信頼度情報に基づいて前記ユーザの視線方向が決定される。
せる。
ユーザの眼情報を取得するステップ。
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定するステップ。
図1は、本技術の第1の実施形態に係るヘッドマウントディスプレイ(HMD)の外観を示す斜視図である。図2は、HMD100の構成例を示す模式図である。図2には、HMD100を装着したユーザ1を上方から見た場合の、HMD100の構成例が模式的に図示されている。
本技術に係る第2の実施形態のHMDについて説明する。これ以降の説明では、上記の実施形態で説明したHMD100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本実施形態では、輝点20を用いずに眼球4の特徴(画像特徴)を抽出して視線方向を算出する手法として、互いに異なる手法が用いられる。具体的には、眼球4の特徴部分の位置情報を用いて視線方向を算出する手法と、眼球4の特徴部分の形状情報を用いて視線方向を算出する手法とが用いられる。なお眼球4の特徴部分には、眼球4の瞳孔5、角膜7、及び虹彩6等が含まれる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
(1)ユーザの眼情報を取得する取得部と、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する処理部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第1の視線方向と前記第2の視線方向とを合成して前記ユーザの視線方向を決定する
情報処理装置。
(3)(2)記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向と前記第2の視線方向とを合成するための重み係数を含む
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記眼情報は、1以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第1の手法は、前記眼球画像から前記1以上の照射光による1以上の輝点を検出し、前記検出された1以上の輝点に基づいて前記第1の視線方向を決定する手法である
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記1以上の照射光は、複数の照射光であり、
前記処理部は、前記眼球画像から前記複数の照射光による複数の輝点のうち互いに所定の配置となる輝点のペアを検出可能である
情報処理装置
(6)(5)に記載の情報処理装置であって、
前記処理部は、前記眼球の角膜領域を検出し、前記角膜領域内での前記輝点のペアの位置に基づいて前記重み係数を算出する
情報処理装置。
(7)(5)又は(6)に記載の情報処理装置であって、
前記処理部は、前記眼球の瞳孔中心を検出し、前記瞳孔中心に対する前記輝点のペアの距離に基づいて前記重み係数を算出する
情報処理装置。
(8)(5)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記処理部は、前記輝点の面積を算出し、算出された前記輝点の面積に基づいて前記重み係数を算出する
情報処理装置。
(9)(5)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記第1の手法は、前記複数の輝点のうち前記輝点のペアに基づいて前記第1の視線方向を決定する手法であり、
前記第2の手法は、前記複数の輝点のうち単一の輝点に基づいて前記第2の視線方向を決定する手法である
情報処理装置。
(10)(1)から(9)のうちいずれか1つに記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第1の視線方向を決定するための第1の補正パラメータと、前記第2の視線方向を決定するための第2の補正パラメータとの少なくとも一方を更新する
情報処理装置。
(11)(10)に記載の情報処理装置であって、
前記第1の手法は、前記眼球の表面に設定される基準点を基準として前記第1の視線方向を決定する手法であり、
前記処理部は、前記第1の視線方向に基づいて前記第2の補正パラメータを更新する
情報処理装置。
(12)(10)又は(11)に記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向の信頼度を含み、
前記処理部は、前記第1の視線方向の信頼度に応じて、前記第2の補正パラメータを更新する
情報処理装置。
(13)(12)に記載の情報処理装置であって、
前記眼情報は、1以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第1の手法は、前記眼球画像から前記1以上の照射光による1以上の輝点を検出し、前記検出された1以上の輝点に基づいて前記第1の視線方向を決定する手法であり、
前記処理部は、前記眼球画像に基づいて前記第1の視線方向の信頼度を算出する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記1以上の照射光は、前記眼領域の中心領域及び周辺領域のどちらか一方に照射される
情報処理装置。
(15)(10)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記処理部は、前記眼球画像における前記眼球を含む眼領域での瞳孔の位置に応じて前記第2の補正パラメータを更新する
情報処理装置。
(16)(10)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向と前記第2の視線方向とを合成するための、重み係数を含み、
前記処理部は、前記重み係数に基づいて、前記第2の補正パラメータを補正する
情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
前記第2の手法は、前記眼球画像から前記眼球の所定の特徴部分の位置及び形状の少なくとも一方を検出することで、前記第2の視線方向を決定する手法である
情報処理装置。
(18)(17)に記載の情報処理装置であって、
前記所定の特徴部分は、前記眼球の瞳孔、角膜、及び虹彩のいずれか1つを含む
情報処理装置。
(19)ユーザの眼情報を取得し、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する
ことをコンピュータシステムが実行する情報処理方法。
(20)ユーザの眼情報を取得するステップと、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定するステップと
をコンピュータシステムに実行させるプログラム。
Ei…第2の視線ベクトル
E…合成視線ベクトル
wc…重み係数
1…ユーザ
3…眼領域
8…角膜領域
12、12a〜12d、212…赤外光源
13、13L、13R、213L、213R…赤外カメラ
15…赤外光
20、20a、20b…輝点
21、21a、21b…眼球画像
22…瞳孔中心
30…コントローラ
31…画像取得部
32…画像処理部
33…第1視線検出部
34…第2視線検出部
35…合成比率算出部
36…視線合成部
37…補正パラメータ更新部
40…角膜領域検出部
41…輝点検出部
42…瞳孔中心検出部
100、200…HMD
Claims (20)
- ユーザの眼情報を取得する取得部と、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する処理部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第1の視線方向と前記第2の視線方向とを合成して前記ユーザの視線方向を決定する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向と前記第2の視線方向とを合成するための重み係数を含む
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記眼情報は、1以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第1の手法は、前記眼球画像から前記1以上の照射光による1以上の輝点を検出し、前記検出された1以上の輝点に基づいて前記第1の視線方向を決定する手法である
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記1以上の照射光は、複数の照射光であり、
前記処理部は、前記眼球画像から前記複数の照射光による複数の輝点のうち互いに所定の配置となる輝点のペアを検出可能である
情報処理装置 - 請求項5に記載の情報処理装置であって、
前記処理部は、前記眼球の角膜領域を検出し、前記角膜領域内での前記輝点のペアの位置に基づいて前記重み係数を算出する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記処理部は、前記眼球の瞳孔中心を検出し、前記瞳孔中心に対する前記輝点のペアの距離に基づいて前記重み係数を算出する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記処理部は、前記輝点の面積を算出し、算出された前記輝点の面積に基づいて前記重み係数を算出する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記第1の手法は、前記複数の輝点のうち前記輝点のペアに基づいて前記第1の視線方向を決定する手法であり、
前記第2の手法は、前記複数の輝点のうち単一の輝点に基づいて前記第2の視線方向を決定する手法である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記処理部は、前記信頼度情報に基づいて、前記第1の視線方向を決定するための第1の補正パラメータと、前記第2の視線方向を決定するための第2の補正パラメータとの少なくとも一方を更新する
情報処理装置。 - 請求項10に記載の情報処理装置であって、
前記第1の手法は、前記眼球の表面に設定される基準点を基準として前記第1の視線方向を決定する手法であり、
前記処理部は、前記第1の視線方向に基づいて前記第2の補正パラメータを更新する
情報処理装置。 - 請求項10に記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向の信頼度を含み、
前記処理部は、前記第1の視線方向の信頼度に応じて、前記第2の補正パラメータを更新する
情報処理装置。 - 請求項12に記載の情報処理装置であって、
前記眼情報は、1以上の照射光を照射して前記ユーザの眼球を撮影した眼球画像を含み、
前記第1の手法は、前記眼球画像から前記1以上の照射光による1以上の輝点を検出し、前記検出された1以上の輝点に基づいて前記第1の視線方向を決定する手法であり、
前記処理部は、前記眼球画像に基づいて前記第1の視線方向の信頼度を算出する
情報処理装置。 - 請求項13に記載の情報処理装置であって、
前記1以上の照射光は、前記眼領域の中心領域及び周辺領域のどちらか一方に照射される
情報処理装置。 - 請求項10に記載の情報処理装置であって、
前記処理部は、前記眼球画像における前記眼球を含む眼領域での瞳孔の位置に応じて前記第2の補正パラメータを更新する
情報処理装置。 - 請求項10に記載の情報処理装置であって、
前記信頼度情報は、前記第1の視線方向と前記第2の視線方向とを合成するための、重み係数を含み、
前記処理部は、前記重み係数に基づいて、前記第2の補正パラメータを補正する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記第2の手法は、前記眼球画像から前記眼球の所定の特徴部分の位置及び形状の少なくとも一方を検出することで、前記第2の視線方向を決定する手法である
情報処理装置。 - 請求項17に記載の情報処理装置であって、
前記所定の特徴部分は、前記眼球の瞳孔、角膜、及び虹彩のいずれか1つを含む
情報処理装置。 - ユーザの眼情報を取得し、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定する
ことをコンピュータシステムが実行する情報処理方法。 - ユーザの眼情報を取得するステップと、
前記眼情報に基づいて第1の手法により第1の視線方向を決定し、前記眼情報に基づいて前記第1の手法とは異なる第2の手法により第2の視線方向を決定し、前記第1の視線方向及び前記第2の視線方向の少なくとも1方の信頼度に関する信頼度情報を算出し、算出された前記信頼度情報に基づいて前記ユーザの視線方向を決定するステップと
をコンピュータシステムに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018063486 | 2018-03-29 | ||
JP2018063486 | 2018-03-29 | ||
PCT/JP2019/006216 WO2019187808A1 (ja) | 2018-03-29 | 2019-02-20 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019187808A1 true JPWO2019187808A1 (ja) | 2021-04-01 |
JP7388349B2 JP7388349B2 (ja) | 2023-11-29 |
Family
ID=68060455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020510425A Active JP7388349B2 (ja) | 2018-03-29 | 2019-02-20 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210019493A1 (ja) |
JP (1) | JP7388349B2 (ja) |
WO (1) | WO2019187808A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11243608B2 (en) * | 2019-01-28 | 2022-02-08 | Beijing Boe Optoelectronics Technology Co., Ltd. | Control method for head-mounted visual apparatus, head-mounted visual apparatus and computer readable storage medium |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11064188B2 (en) * | 2019-07-29 | 2021-07-13 | Htc Corporation | Driving method for calculating interpupillary distance and related head-mounted device |
CN111208904A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种视线估计设备性能评估方法、系统和设备 |
CN111208905A (zh) * | 2020-01-08 | 2020-05-29 | 北京未动科技有限公司 | 一种多模组视线追踪方法、系统和视线追踪设备 |
JP7444358B2 (ja) * | 2020-02-18 | 2024-03-06 | 学校法人明治大学 | 眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラム |
US11593962B2 (en) | 2020-12-29 | 2023-02-28 | Tobii Ab | Eye gaze tracking system, associated methods and computer programs |
CN115937959A (zh) * | 2022-12-14 | 2023-04-07 | 南昌虚拟现实研究院股份有限公司 | 注视信息的确定方法、装置、眼动追踪设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999005988A2 (en) * | 1997-07-30 | 1999-02-11 | Applied Science Laboratories | An eye tracker using an off-axis, ring illumination source |
JP2001061785A (ja) * | 1999-08-26 | 2001-03-13 | Shimadzu Corp | 視線検出方法及びその装置 |
US20060210122A1 (en) * | 2005-03-16 | 2006-09-21 | Dixon Cleveland | System and method for eyeball surface topography as a biometric discriminator |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2338416B1 (en) * | 2008-09-26 | 2019-02-27 | Panasonic Intellectual Property Corporation of America | Line-of-sight direction determination device and line-of-sight direction determination method |
JP5618686B2 (ja) * | 2010-08-03 | 2014-11-05 | キヤノン株式会社 | 視線検出装置、視線検出方法及びプログラム |
JP6071304B2 (ja) * | 2012-07-30 | 2017-02-01 | キヤノン株式会社 | 眼科装置及びアライメント方法 |
EP2899584B1 (en) * | 2012-09-19 | 2020-03-11 | Nikon Corporation | Spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection method, measuring system and measuring method |
US9411417B2 (en) * | 2014-07-07 | 2016-08-09 | Logitech Europe S.A. | Eye gaze tracking system and method |
JP6346525B2 (ja) * | 2014-08-29 | 2018-06-20 | アルプス電気株式会社 | 視線検出装置 |
CN105913487B (zh) * | 2016-04-09 | 2018-07-06 | 北京航空航天大学 | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 |
-
2019
- 2019-02-20 JP JP2020510425A patent/JP7388349B2/ja active Active
- 2019-02-20 US US17/040,042 patent/US20210019493A1/en active Pending
- 2019-02-20 WO PCT/JP2019/006216 patent/WO2019187808A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999005988A2 (en) * | 1997-07-30 | 1999-02-11 | Applied Science Laboratories | An eye tracker using an off-axis, ring illumination source |
JP2001061785A (ja) * | 1999-08-26 | 2001-03-13 | Shimadzu Corp | 視線検出方法及びその装置 |
US20060210122A1 (en) * | 2005-03-16 | 2006-09-21 | Dixon Cleveland | System and method for eyeball surface topography as a biometric discriminator |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11243608B2 (en) * | 2019-01-28 | 2022-02-08 | Beijing Boe Optoelectronics Technology Co., Ltd. | Control method for head-mounted visual apparatus, head-mounted visual apparatus and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20210019493A1 (en) | 2021-01-21 |
JP7388349B2 (ja) | 2023-11-29 |
WO2019187808A1 (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11290706B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
US11880033B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
JP7415077B2 (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
US11669161B2 (en) | Enhancing the performance of near-to-eye vision systems | |
JP7388349B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11315288B2 (en) | Systems and techniques for estimating eye pose | |
US8971570B1 (en) | Dual LED usage for glint detection | |
US11422620B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
JP2022540675A (ja) | 1つ以上の眼追跡カメラを用いた眼回転中心の決定 | |
CN111213375B (zh) | 信息处理装置、信息处理方法以及程序 | |
WO2017081915A1 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211227 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7388349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |