JPWO2019021601A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2019021601A1 JPWO2019021601A1 JP2019532400A JP2019532400A JPWO2019021601A1 JP WO2019021601 A1 JPWO2019021601 A1 JP WO2019021601A1 JP 2019532400 A JP2019532400 A JP 2019532400A JP 2019532400 A JP2019532400 A JP 2019532400A JP WO2019021601 A1 JPWO2019021601 A1 JP WO2019021601A1
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- information processing
- line
- eye
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行う。表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、を備え、前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、情報処理装置が提供される。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
多様なコンテンツが表示される表示面に対するユーザの視線を検出し、検出された視線を各種の動作に利用する技術が提案されている。例えば、特許文献1には、ファインダーを覗き込むユーザの眼球に赤外帯域の光(赤外光)を照射し、その眼球からの反射光を検出器によって捉えることによりスルー画が表示される表示面に対するユーザの視線を検出するとともに、検出された視線を自動焦点調節(AF:Auto Focus)に利用する撮像装置が開示されている。
しかし、ユーザの片方の眼が正常に機能していない場合、特許文献1に記載される手法では、ユーザの視線を正しく検出することが困難である。また、左右の眼に係る視線データの検出結果に大きな差が生じる場合には、視線検出の精度が低下することも想定される。
そこで、本開示では、より精度の高い視線検出を行うことが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
本開示によれば、表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、を備え、前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、を含み、前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、さらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、を備え、前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.概要
1.2.表示装置のハードウェア構成
1.3.機能構成
1.4.キャリブレーション処理
1.5.キャリブレーション処理の流れ
1.6.キャリブレーションの実行結果に基づく表示制御
2.第2の実施形態
2.1.概要
2.2.透明部材の特徴
3.ハードウェア構成例
4.まとめ
1.第1の実施形態
1.1.概要
1.2.表示装置のハードウェア構成
1.3.機能構成
1.4.キャリブレーション処理
1.5.キャリブレーション処理の流れ
1.6.キャリブレーションの実行結果に基づく表示制御
2.第2の実施形態
2.1.概要
2.2.透明部材の特徴
3.ハードウェア構成例
4.まとめ
<1.第1の実施形態>
<<1.1.概要>>
まず、本開示の第1の実施形態に係る情報処理装置の概要について説明する。図1は、眼球の構造を示す説明図である。
<<1.1.概要>>
まず、本開示の第1の実施形態に係る情報処理装置の概要について説明する。図1は、眼球の構造を示す説明図である。
本実施形態に係る情報処理装置は、ディスプレイに対するユーザの視線を検出する際に、視線検出精度を向上させるために実行されるキャリブレーションを行う装置である。本実施形態に係る情報処理装置は、例えば、瞳孔角膜反射法を用いてユーザの視線を検出する。瞳孔角膜反射法は、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する手法である。
ここで、ユーザの視線は、図1に示すように、眼球10の水晶体12の中央後面にある節点12aと中心窩16aとを結ぶ視軸AS上にある。一方、上述の瞳孔角膜反射法で推定される視線方向は、瞳孔17の中心を通る角膜14の法線上の光軸AOにある。視軸A Sと光軸AOとにはずれがあり、個人差にもよるが、一般には4〜8°程度傾向いている。このずれが大きくなると視線検出精度が低下するため、キャリブレーションを行い、ずれを補正する。
キャリブレーションは、以下の手順で行われる。
(手順1)視野内のある点(以下、「注視点」ともいう。)を見たときの光軸を推定
(手順2)角膜曲率中心から注視点への注視点ベクトルと推定された光軸のベクトルとの差分を測定
(手順3)(手順2)で測定した差分に基づき、任意の点を見たときの光軸より、そのときの視軸を推定
(手順1)視野内のある点(以下、「注視点」ともいう。)を見たときの光軸を推定
(手順2)角膜曲率中心から注視点への注視点ベクトルと推定された光軸のベクトルとの差分を測定
(手順3)(手順2)で測定した差分に基づき、任意の点を見たときの光軸より、そのときの視軸を推定
なお、眼球10は筋肉の引っ張りにより回転するため、見る方向によってロール回転が加わる。このため、キャリブレーションのパラメータは、眼球10の向きによって異なる。そこで、通常、視野内の複数(例えば、5点〜9点)の注視点においてパラメータが取得される。
このようなキャリブレーションにおいては、瞳孔表面での反射光の検出や光軸の推定に誤差がある。この誤差のばらつきを抑えることで、視線検出の精度を高めることが可能となる。そこで、本実施形態に係る情報処理装置は、上記のような誤差のばらつきを抑えるようにキャリブレーションを行う。
また、一般的なキャリブレーションにおいては、両眼に係る視線データを用いて処理が実行される。しかし、上述したように、両眼のうち片方の眼が正常に機能していない場合などにおいては、視線検出が困難となるとなることや、視線検出の精度が著しく低下することが想定される。このため、本実施形態に係る情報処理装置は、両眼のそれぞれに関し、キャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて、当該眼に対するキャリブレーションを実行する、ことを特徴の一つとする。
図2は、本実施形態の概要について説明するための図である。図2には、ユーザの左眼LEが正常に機能し、右眼REが正常に機能していない状況が示されている。当該状況には、例えば、ユーザの右眼REが義眼である場合や、右眼REに斜視の症状が観察される場合などが該当する。
この際、本実施形態に係る情報処理装置は、左眼LEおよび右眼REのそれぞれに関し、キャリブレーション可否を判定し、キャリブレーションが可能と判定した左眼LEに係る視線データのみを用いて、左眼LEに対してのみキャリブレーションを実行する。また、本実施形態に係る情報処理装置は、キャリブレーションを実行した左眼LEに係る視線データのみを用いて視線検出を行うことができる。図2に示す一例の場合、情報処理装置は、キャリブレーションを実行した左眼LEに係る視線データのみを取得して、ポイントP1〜P3に対するユーザの視線を検出している。
本実施形態に係る情報処理装置が有する上記の機能によれば片方の眼が正常に機能していない場合であっても、ユーザの視線を検出することが可能となる。また、本実施形態に係る情報処理装置によれば、精度低下の原因となり得る眼の影響を排除することで、より精度の高い視線検出を行うことが可能となる。
<<1.2.表示装置のハードウェア構成>>
本実施形態に係る情報処理装置の説明に先立ち、図3および図4を参照して、本実施形態に係る情報処理装置によるキャリブレーションが行われる表示装置100のハードウェア構成を説明する。なお、図3は、表示装置100の、ユーザの眼と対向する側の構成を示す説明図である。図4は、表示装置100が装着されたときの、ユーザの眼球10と表示装置100との位置関係を示す概略側面図である。
本実施形態に係る情報処理装置の説明に先立ち、図3および図4を参照して、本実施形態に係る情報処理装置によるキャリブレーションが行われる表示装置100のハードウェア構成を説明する。なお、図3は、表示装置100の、ユーザの眼と対向する側の構成を示す説明図である。図4は、表示装置100が装着されたときの、ユーザの眼球10と表示装置100との位置関係を示す概略側面図である。
表示装置100は、ユーザが頭部に装着し、眼と表示部とを対向させた状態で使用される装置である。表示装置100は、例えば、非透過型、ビデオ透過型、光学透過型などのヘッドマウントディスプレイであってよい。本実施形態に係る表示装置100の、ユーザの眼と対向する側の面には、図3に示すように、右眼及び左眼に対応する位置に、それぞれ表示部102R、102Lが設けられている。本実施形態に係る表示部102R、102Lは、略長方形に形成されている。なお、筐体101には、表示部102R、102Lの間に、ユーザの鼻が位置する凹部101aが形成されていてもよい。
表示部102Rの周囲には、4つの光源103Ra、103Rb、103Rc、103Rdが、表示部102Rの4つの辺の略中央にそれぞれ設けられている。同様に、表示部102Lの周囲には、4つの光源103La、103Lb、103Lc、103Ldが、表示部102Lの4つの辺の略中央にそれぞれ設けられている。これらの光源103Ra〜103Rd、103La〜103Ldは、赤外光を発する光源からなる。各光源103Ra〜103Rd、103La〜103Ldは、これらが設けられている表示部102R、102Lに対向しているユーザの眼球10に対して、光を照射する。
また、表示部102R、102Lの周囲には、それぞれ、眼球10を撮影する撮像部104R、104Lが設けられている。各撮像部104R、104Lは、例えば、図3に示すように、各表示部102R、102Lの下部(各表示部102R、102Lの下部に設けられた光源103Rc、103Lcよりも下部側)に設けられる。撮像部104R、104Lは、図4に示すように、少なくとも撮影する眼球10の瞳孔17が撮影範囲に含まれるように配置される。例えば、撮像部104R、104Lは、所定の仰角θを有するように配置される。仰角θは、例えば約30°としてもよい。
なお、表示装置100は、ユーザに装着されたとき、表示部102R、102Lがユーザの眼球10から所定の距離だけ離れるように構成される。これにより、表示装置100を装着したユーザは、不快なく、表示部102R、102Lの表示領域を視野内に収めることができる。このとき、ユーザが眼鏡Gを装着している場合にも、その上から重ねて表示装置100を装着可能なように、表示部102R、102Lとユーザの眼球10との距離を決定してもよい。撮像部104R、104Lは、この状態で、ユーザの眼球10の瞳孔17が撮影範囲に含まれるように配置される。
<<1.3.機能構成>>
次に、図5に基づいて、上述した表示装置100と、表示装置100のキャリブレーションを行う情報処理装置200との機能構成を説明する。なお、図5は、表示装置100および情報処理装置200の機能構成を示す機能ブロック図である。
次に、図5に基づいて、上述した表示装置100と、表示装置100のキャリブレーションを行う情報処理装置200との機能構成を説明する。なお、図5は、表示装置100および情報処理装置200の機能構成を示す機能ブロック図である。
(表示装置100)
表示装置100は、図5に示すように、光源110と、撮像部120と、表示部130と、制御部140と、送受信部150とを備える。
表示装置100は、図5に示すように、光源110と、撮像部120と、表示部130と、制御部140と、送受信部150とを備える。
光源110は、表示装置100を装着したユーザの眼球10に対して光を照射する。光源110は、例えば赤外光を出射する光源であって、図3の光源103Ra〜103Rd、103La〜103Ldに相当する。光源110は、制御部140の指示に基づき、光を出射する。
撮像部120は、表示装置100を装着したユーザの眼球10を撮影する。撮像部120は、図3の撮像部104R、104Lに対応する。撮像部120は、制御部140の指示に基づき撮影を行い、撮影した撮像画像を制御部140に出力する。
表示部130は、情報を表示する出力部である。表示部130は、図3の表示部102R、102Lに相当する。表示部130は、例えば液晶ディスプレイや有機ELディスプレイ、あるいは、投影装置により情報が表示されるレンズであってもよい。表示部130は、後述する情報処理装置200の表示制御部260による制御に基づいて、種々の情報表示を行う。
制御部140は、表示装置100の機能全般を制御する。制御部140は、例えば、光源110の点灯制御を行ったり、撮像部120の撮影制御を行ったりする。また、制御部140は、送受信部150を介して、情報処理装置200との情報の送受信制御を行う。
送受信部150は、外部機器と情報の送受信を行うインタフェースである。本実施形態では、表示装置100は、情報処理装置200と情報の送受信を行うことで、キャリブレーションが行われる。この際、表示装置100からは、撮像部120により撮影された撮像画像が送受信部150を介して情報処理装置200へ送信される。また、情報処理装置200から送信される、キャリブレーション時の光源110の点灯制御情報や、撮像部120に撮影を行わせる撮影制御情報、表示部130に表示させる表示情報等は、送受信部150を介して受信される。
(情報処理装置200)
情報処理装置200は、図5に示すように、送受信部210と、マーカ制御部220と、演算処理部230と、記憶部240と、評価部250と、表示制御部260とを備える。
情報処理装置200は、図5に示すように、送受信部210と、マーカ制御部220と、演算処理部230と、記憶部240と、評価部250と、表示制御部260とを備える。
送受信部210は、外部機器と情報の送受信を行うインタフェースである。本実施形態において、送受信部210は、表示装置100と、キャリブレーションを実行させるための情報の送受信を行う。この際、送受信部210は、キャリブレーション時の光源110の点灯制御情報や、撮像部120に撮影を行わせる撮影制御情報、表示部130に表示させる表示情報等を、表示装置100へ送信する。また、送受信部210は、表示制御部260が生成する表示制御信号を表示装置100へ送信する。また、送受信部210は、表示装置100から、撮像部120により撮影された撮像画像等を受信する。
マーカ制御部220は、キャリブレーション時に表示装置100の表示部130に表示される注視点マーカの表示制御を行う。注視点マーカは、ユーザの光軸と視軸とのずれを測定するために表示領域に表示されるオブジェクトである。表示された注視点マーカにユーザの視線を向けさせることで、ユーザの瞳孔中心から注視点マーカへのベクトル(以下、「マーカベクトル」ともいう。)を得ることができ、また、そのときのユーザの光軸も推定される。
マーカ制御部220は、表示領域内の複数の位置においてユーザの視線データが取得されるように、注視点マーカを所定の位置(以下、「キャリブレーション点」ともいう。)に順次表示させる。マーカ制御部220は、注視点マーカが表示されているキャリブレーション点において所定数の視線データが取得されると、当該注視点マーカを次のキャリブレーション点に移動させるという処理を繰り返し、すべてのキャリブレーション点においてユーザの視線データを取得させる。
このとき、マーカ制御部220は、注視点マーカを表示させた状態で、各キャリブレーション点間で注視点マーカを移動させる。これにより、ユーザは注視点マーカを追うように視線を移動させるので、断続的に注視点マーカを表示させる場合と比較して、キャリブレーション点に表示された注視点マーカを探す時間も不要となり、注視点マーカに向けられる視線の動きも安定させることができる。
また、マーカ制御部220は、キャリブレーション点間を移動する注視点マーカの移動速度を制御してもよい。注視点マーカを一定の速度で移動させると、注視点マーカが移動先のキャリブレーション点に表示されたときの視線が定まりにくいという傾向がある。そこで、マーカ制御部220は、キャリブレーション点間を移動する注視点マーカの移動速度を、移動先のキャリブレーション点に近づくほど遅くするように制御してもよい。これにより、注視点マーカは、移動開始直後は早く移動するが、移動先のキャリブレーション点に近づくにつれて動きが遅くなる。ユーザの視線は注視点マーカの移動速度に伴って動くので、注視点マーカが移動先のキャリブレーション点に近づくとユーザの視線の動きも緩やかになり、注視点マーカがキャリブレーション点に表示されたときに視線を定めやすくすることができる。
演算処理部230は、各キャリブレーション点に注視点マーカを表示させたときの、ユーザの光軸及びマーカベクトルをそれぞれ演算する。演算処理部230は、表示装置100から、ユーザの眼球に対して光源から光が照射された状態で、注視点マーカを注視するユーザの眼を撮影した撮影画像を取得し、ユーザの光軸及びマーカベクトルを演算する。演算された光軸及びマーカベクトルは、キャリブレーション点毎に記憶部240に記憶される。
また、演算処理部230は、視線データに基づいて両目のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて当該眼に対するキャリブレーションを実行する、ことを特徴の一つとする。
記憶部240は、表示装置100のキャリブレーション時に必要な各種情報を記憶する。記憶部240は、例えば、注視点マーカを表示させるキャリブレーション点の位置や注視点マーカをどのように移動させるかを規定した移動情報、各キャリブレーション点において取得する視線データの数、キャリブレーションの終了判定に用いる閾値等の設定情報が記憶される。また、記憶部240は、演算処理部230により演算された視線データが記憶される。
評価部250は、各キャリブレーション点において推定されたユーザの光軸のばらつきを評価する。演算処理部230は、例えば、上記のばらつきが許容範囲内であるか否かを判定することで、キャリブレーション可否を判定する。当該判定処理の詳細については後述する。
表示制御部260は、キャリブレーションが実行された眼に応じて、表示部130に表示させるオブジェクトの表示位置を制御する。この際、表示制御部260は、キャリブレーションが実行された眼に対応するエリアにオブジェクトを表示させる。表示制御部260による表示制御の詳細については後述する。
以上、表示装置100及び情報処理装置200の機能構成について説明した。なお、図5では、キャリブレーション処理を行う情報処理装置200は表示装置100とは別体として示したが、本開示はかかる例に限定されない。例えば、図5に示した情報処理装置200の機能の一部または全部は表示装置100の機能として実現されてもよい。
<<1.4.キャリブレーション処理>>
次に、図6〜図10を参照して、本実施形態に係る情報処理装置200による表示装置100のキャリブレーション処理について説明する。本実施形態に係る情報処理装置200による表示装置100のキャリブレーション処理は、表示部130に注視点マーカを表示し、ユーザの視線を注視点マーカに向けさせることから開始される。注視点マーカの表示制御は、情報処理装置200のマーカ制御部220の指示を受けて、制御部140により行われる。キャリブレーションでは、表示部130の表示領域内の複数位置においてユーザの視線データを取得する。視線データを取得する位置であるキャリブレーション点に注視点マーカを表示させることで、ユーザに意図的に視線を注視点マーカに向けさせ、視線データを取得することが可能となる。
次に、図6〜図10を参照して、本実施形態に係る情報処理装置200による表示装置100のキャリブレーション処理について説明する。本実施形態に係る情報処理装置200による表示装置100のキャリブレーション処理は、表示部130に注視点マーカを表示し、ユーザの視線を注視点マーカに向けさせることから開始される。注視点マーカの表示制御は、情報処理装置200のマーカ制御部220の指示を受けて、制御部140により行われる。キャリブレーションでは、表示部130の表示領域内の複数位置においてユーザの視線データを取得する。視線データを取得する位置であるキャリブレーション点に注視点マーカを表示させることで、ユーザに意図的に視線を注視点マーカに向けさせ、視線データを取得することが可能となる。
注視点マーカは、表示部130の表示領域300内に予め設定された複数のキャリブレーション点に順に表示される。図6は、移動して表示される注視点マーカの一表示例を示す説明図である。注視点マーカMは、例えば図6に示すように、まず、表示領域300中央のキャリブレーション点CP1に表示される。注視点マーカMがキャリブレーション点CP1に表示されると、ユーザは視線を注視点マーカMに向ける。注視点マーカMを表示させた状態とすることでユーザの視線をキャリブレーション点CP1に固定することができ、この状態で視線データが取得される。
キャリブレーション点CP1での視線データが取得されると、注視点マーカMは、表示されたまま次の視線データの取得位置である表示領域300左上のキャリブレーション点CP2に移動される。そして、キャリブレーション点CP2での視線データが取得される。その後、表示領域300右上のキャリブレーション点CP3、表示領域300左下のキャリブレーション点CP4、表示領域300右下のキャリブレーション点CP5にて、視線データの取得と移動とが繰り返し行われる。
最初のキャリブレーション点に注視点マーカMが表示されると、そのキャリブレーション点におけるユーザの視線データが取得される。視線データは、推定されたユーザの視線方向を表す光軸ベクトルと、ユーザの瞳孔中心から注視点マーカへのマーカベクトルとを含む。また、視線データは、左眼および右眼に関し、それぞれ取得される。
(光軸ベクトルの演算)
演算処理部230は、例えば、瞳孔角膜反射法を用いて光軸ベクトルを推定する。ここで、図7を参照して、瞳孔角膜反射法を用いた光軸の推定処理について説明する。図7は、瞳孔角膜反射法を用いた光軸ベクトルの算出処理について説明するための説明図である。瞳孔角膜反射法では、表示部の表示面23を観察するユーザの眼球10に対して光源21から光を照射し、撮像部22により光が照射された眼球10を撮影する。そして、撮像部22により撮影された撮影画像30に基づき、光軸が推定される。ここでは説明を簡単にするため、1つの光源21により眼球10を照射した場合を説明する。
演算処理部230は、例えば、瞳孔角膜反射法を用いて光軸ベクトルを推定する。ここで、図7を参照して、瞳孔角膜反射法を用いた光軸の推定処理について説明する。図7は、瞳孔角膜反射法を用いた光軸ベクトルの算出処理について説明するための説明図である。瞳孔角膜反射法では、表示部の表示面23を観察するユーザの眼球10に対して光源21から光を照射し、撮像部22により光が照射された眼球10を撮影する。そして、撮像部22により撮影された撮影画像30に基づき、光軸が推定される。ここでは説明を簡単にするため、1つの光源21により眼球10を照射した場合を説明する。
図7に示すように、ユーザは、表示面23に表示されている注視点マーカMを注視しているとする。このとき、光源21により眼球10に対して光を照射し、撮像部22により眼球10を撮影する。取得された眼球10の撮影画像30には、図7に示すように、ユーザの眼球10の角膜14、虹彩13及び瞳孔17が撮影されている。また、撮影画像30では、光源21から眼球10に照射された照射光の輝点であるプルキニエ像(Purkinje Image)Pが撮影されている。
撮影画像30が取得されると、光軸の算出処理が行われる。光軸の算出処理は、演算処理部230により行われる。このため、まず、撮影画像30から瞳孔中心S及びプルキニエ像Pが検出される。これらの検出処理は、公知の画像認識技術により行うことができる。
例えば、瞳孔17の像の検出処理においては、撮影画像30に対する各種の画像処理(例えば歪みや黒レベル、ホワイトバランス等の調整処理)、撮影画像30内の輝度分布を取得する処理等が行われる。また、取得された輝度分布に基づいて瞳孔17の像の輪郭(エッジ)を検出する処理や、検出された瞳孔17の像の輪郭を円又は楕円等の図形で近似する処理等が行われてもよい。検出された瞳孔17の像より、瞳孔中心Sを求めることができる。
また、プルキニエ像Pの検出処理においては、撮影画像30に対する各種の画像処理、撮影画像30内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理等の一連の処理が行われてもよい。また、検出されたプルキニエ像Pから、プルキニエ像Pの中心を検出してもよい。
次いで、瞳孔中心S及び角膜14の曲率中心点Cの3次元座標が算出される。角膜14の曲率中心点Cは、角膜14を球の一部とみなした場合の当該球の中心である。瞳孔中心Sの3次元座標は、撮影画像30から検出された瞳孔17の像に基づいて算出される。具体的には、撮像部22と眼球10との位置関係、角膜14表面における光の屈折、角膜14の曲率中心点Cと瞳孔中心Sとの距離等に基づき、撮影画像30における瞳孔17の像の輪郭上の各点の3次元座標が算出される。これらの座標の中心点が、瞳孔中心Sの3次元座標とされる。
また、角膜14の曲率中心点Cは、撮影画像30から検出されたプルキニエ像P及びその中心に基づいて算出される。具体的には、光源21と撮像部22と眼球10との位置関係、角膜14の曲率半径等に基づき、撮像部22とプルキニエ像Pの中心とを結ぶ直線上において、角膜14の表面から眼球10の内部に向かって角膜14の曲率半径だけ進んだ位置が、角膜14の曲率中心点Cの3次元座標として算出される。
このように算出された角膜14の曲率中心点Cと瞳孔中心Sとを結ぶ直線が、推定された光軸となる。すなわち、光軸と表示面23とが交差する位置の座標が、推定されたユーザの視線位置となる。なお、角膜14の曲率中心点Cから瞳孔中心Sに向かうベクトルを光軸ベクトルvoとする。
(マーカベクトルの演算)
一方、ユーザの瞳孔中心Sから注視点マーカMへのマーカベクトルは、上述のように撮影画像30から特定された瞳孔中心Sから、現在注視点マーカMが表示されている表示面23上の位置に向かうベクトルとして算出することができる。
一方、ユーザの瞳孔中心Sから注視点マーカMへのマーカベクトルは、上述のように撮影画像30から特定された瞳孔中心Sから、現在注視点マーカMが表示されている表示面23上の位置に向かうベクトルとして算出することができる。
このように、演算処理部230は、左眼および右眼に係る光軸ベクトルとマーカベクトルを視線データとして演算により取得する。演算処理部230が取得した左眼および右眼に係る視線データは、記憶部240に記憶される。
(検出結果のばらつき抑制)
ここで、演算処理部230は、演算した光軸ベクトルvoがキャリブレーションの検出結果として利用可能な情報であるか否かを判定する。
ここで、演算処理部230は、演算した光軸ベクトルvoがキャリブレーションの検出結果として利用可能な情報であるか否かを判定する。
具体的には、演算処理部230は、光軸ベクトルvoのぶれが所定の範囲内にあるか否かを判定し、演算した光軸ベクトルvoがこれまで取得された光軸ベクトルvoから大きく外れたものでないことを確認してもよい。演算処理部230により演算された光軸ベクトルvoは、記憶部240に履歴として記憶されている。これを用いて、演算処理部230は、例えば、今回演算分を含めた過去N回に取得した光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定値以内にあることを確認する。そして、光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角が所定の閾値を超えたとき、今回演算された光軸ベクトルvoはぶれが大きいとして、キャリブレーションの検出結果として用いないようにする。これにより、光軸ベクトルの精度を高めることができる。
光軸ベクトルの平均vo_aveは、例えば過去3回の光軸ベクトルvoを用いて算出してもよい。また、光軸ベクトルの平均vo_aveと今回の光軸ベクトルvoとのなす角を判定するための閾値は、例えば3°程度としてもよい。また、ユーザが注視点マーカMを見ていないときに撮影された撮影画像から光軸ベクトルvoが演算された場合にも、演算された光軸ベクトルvoは、光軸ベクトルの平均vo_aveから大きく外れるものとなる。このようなものも、当該判定により検出結果から除外することができる。
また、演算処理部230は、例えば、演算したマーカベクトルvmと光軸ベクトルvoとのなす角ωが所定値以下であるか否かを判定してもよい。かかる判定により、推定された光軸ベクトルvoが、実際の視線方向から大きくずれていないかを確認することができる。ここで用いる閾値の値は、光軸と視軸とのずれや光軸の検出誤差等を考慮して決定される。
例えば、推定されたユーザの視線方向(すなわち、光軸)と、実際にユーザが見ている方向(すなわち、視軸)とは必ずしも一致しない。これは、眼球の形状や大きさ、眼球における網膜や視神経の配置等に起因する。個人差もあるが、光軸と視軸とは通常4〜8°ずれている。また、光軸の検出誤差は数°、例えば±3°ほど存在すると考えられる。これらの誤差にその他の蓄積誤差±1°を加味すると、0〜12°程度の誤差の発生が想定される。この場合、演算したマーカベクトルと光軸ベクトルとのなす角ωが0〜12°の範囲内にあれば、演算した光軸ベクトルvoの精度は許容できるものとして、キャリブレーションの検出結果として用いるようにしてもよい。
このような判定処理を行うことで、検出結果のばらつきを抑制することができ、光軸ベクトルの精度を高めることができる。
(誤検出判定)
さらに、上述した検出結果のばらつきを抑制するための判定をクリアした場合であっても、瞳孔や輝点が誤った場所を検出し続けることもある。誤った検出結果を用いると、正しくキャリブレーション処理を行うことができない。そこで、演算処理部230は、このような誤った検出結果をキャリブレーションの検出結果として用いないようにする誤検出判定処理を行ってもよい。例えば、演算された左右の瞳孔の大きさが極端に異なる場合には、瞳孔として誤った場所を認識している可能性が高い。このような場合に取得された視線データは検出結果として用いないようにする。具体的には、例えば左右の瞳孔のサイズ比が所定の値(例えば1.2)を超えた場合には、左右の瞳孔の大きさが極端に異なるとして、取得された視線データは検出結果として用いないようにしてもよい。
さらに、上述した検出結果のばらつきを抑制するための判定をクリアした場合であっても、瞳孔や輝点が誤った場所を検出し続けることもある。誤った検出結果を用いると、正しくキャリブレーション処理を行うことができない。そこで、演算処理部230は、このような誤った検出結果をキャリブレーションの検出結果として用いないようにする誤検出判定処理を行ってもよい。例えば、演算された左右の瞳孔の大きさが極端に異なる場合には、瞳孔として誤った場所を認識している可能性が高い。このような場合に取得された視線データは検出結果として用いないようにする。具体的には、例えば左右の瞳孔のサイズ比が所定の値(例えば1.2)を超えた場合には、左右の瞳孔の大きさが極端に異なるとして、取得された視線データは検出結果として用いないようにしてもよい。
以上の処理が行われると、演算処理部230は、現在注視点マーカMが表示されているキャリブレーション点において利用可能な視線データが所定数以上取得されたか否かを判定する。ここで、利用可能な視線データが所定時間内に所定数以上取得されている場合、演算処理部230は、当該キャリブレーション点を利用可能なキャリブレーション点として記憶部240に記憶させる。演算処理部230は、上記の判定処理を左眼および右眼に対し、それぞれ実行する。
次に、演算処理部230は、すべてのキャリブレーション点について視線データが取得されたか否かを判定し、視線データが取得されていないキャリブレーション点がある場合には、マーカ制御部220に対して、注視点マーカMを次のキャリブレーション点へ移動させるよう指示する。マーカ制御部220は、予め設定されている次のキャリブレーション点へ注視点マーカMを移動させる指示を、送受信部210を介して表示装置100へ出力する。
(注視点マーカの移動処理)
注視点マーカMは、ユーザの視線を向けさせるために表示させるものである。ここで、ユーザの視線データを短時間で正しく取得できるように、注視点マーカMの表示制御が行われる。
注視点マーカMは、ユーザの視線を向けさせるために表示させるものである。ここで、ユーザの視線データを短時間で正しく取得できるように、注視点マーカMの表示制御が行われる。
まず、注視点マーカMは、表示された状態で、各キャリブレーション点間を移動する。これにより、ユーザは注視点マーカを追うように視線を移動させるので、断続的に注視点マーカMを表示させる場合と比較して、キャリブレーション点に表示された注視点マーカMを探す時間も不要となり、注視点マーカに向けられる視線の動きも安定させることができる。
そして、キャリブレーション点間を移動する注視点マーカMの移動速度を変化させる。注視点マーカMを一定の速度で移動させると、注視点マーカMが移動先のキャリブレーション点に表示されたときの視線が定まりにくいという傾向がある。そこで、マーカ制御部220は、キャリブレーション点間を移動する注視点マーカMの移動速度を、移動先のキャリブレーション点に近づくほど遅くするように制御する。これにより、注視点マーカMは、移動開始直後は早く移動するが、移動先のキャリブレーション点に近づくにつれて動きが遅くなる。ユーザの視線は注視点マーカの移動速度に伴って動くので、注視点マーカMが移動先のキャリブレーション点に近づくとユーザの視線の動きも緩やかになり、注視点マーカMがキャリブレーション点に表示されたときに視線を定めやすくすることができる。
また、表示領域300において視線データを取得するキャリブレーション点は、通常、ユーザが正面を向いたときに見る位置である表示領域300の中央と、視軸と光軸とのずれが大きくなり易い表示領域300の周縁部近辺に設定される。キャリブレーション点は、通常、視野内に複数点(例えば、5〜9点)設定される。これらの位置でキャリブレーションを行うことで、表示領域300全体として見え方が均一となるように補正処理を行うことができる。具体的には、矩形の表示領域300の中央と四隅とにおいて、キャリブレーションを行ってもよい。あるいは、矩形の表示領域300の中央と各辺の中心近辺とにおいて、キャリブレーションを行ってもよい。
ここで、注視点マーカMを各キャリブレーション点に移動させるとき、なるべく移動距離が大きくなるように注視点マーカMの移動順序を決定してもよい。ユーザは、注視点マーカMの動きに伴い視線を移動させるが、注視点マーカMの移動距離が小さいと、次のキャリブレーション点に表示された注視点マーカMに視線を合わせにくく、視軸と光軸とのずれが大きくなる。また、注視点マーカMを表示領域300の水平方向に移動させた場合にも視軸と光軸とのずれが大きくなりやすいので、上下や斜め等、上下方向への移動も含むように注視点マーカMを移動させてもよい。
例えば、表示領域300の中央及び四隅に設定された5つのキャリブレーション点CP1〜CP5において視線データを取得するときには、中央のキャリブレーション点CP1を表示した後、四隅のキャリブレーション点CP2〜CP5をジクザグに移動させてもよい。また、中央及び各辺の中心近辺に設定された5つのキャリブレーション点CP1〜CP5において視線データを取得するときには、例えば、まず、各辺の中心近辺のキャリブレーション点CP1〜CP4をひし形の軌跡を描くように順に表示させる。その後、中央のキャリブレーション点CP1を表示させるようにしてもよい。
注視点マーカMが次のキャリブレーション点へ移動されると、移動先のキャリブレーション点での視線データの取得が行われる。その後、すべてのキャリブレーション点において視線データの取得が完了するまで、処理が繰り返し実行される。
(キャリブレーション可否の判定)
すべてのキャリブレーション点において視線データが取得されると、演算処理部230は、左眼および右眼のそれぞれに関しキャリブレーション可否を判定する。この際、演算処理部230は、利用可能なキャリブレーション点に基づいて、左眼および右眼に関するキャリブレーション可否を判定してよい。より詳細には、演算処理部230は、利用可能なキャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定することができる。演算処理部230は、利用可能なキャリブレーション点が3点以上ない場合には、該当する眼がキャリブレーション不能であると判定してもよい。
すべてのキャリブレーション点において視線データが取得されると、演算処理部230は、左眼および右眼のそれぞれに関しキャリブレーション可否を判定する。この際、演算処理部230は、利用可能なキャリブレーション点に基づいて、左眼および右眼に関するキャリブレーション可否を判定してよい。より詳細には、演算処理部230は、利用可能なキャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定することができる。演算処理部230は、利用可能なキャリブレーション点が3点以上ない場合には、該当する眼がキャリブレーション不能であると判定してもよい。
一方、利用可能なキャリブレーション点の数が閾値以上である場合、評価部250により、光軸ベクトルvoのばらつきが評価される。演算処理部230は、両眼のそれぞれに関し、評価部250により評価された光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定することができる。
各キャリブレーション点における光軸ベクトルvoは、正しく推定された場合、表示領域300でのキャリブレーション点の表示位置に対応した値となる。ここで、図6に示したキャリブレーション点CP1〜CP5でキャリブレーションを行った際の光軸ベクトルvoの検出結果の一例を図8に示す。図8は、光軸のばらつきの評価結果の一例を示すグラフである。図8は、光軸ベクトルvoの上下方向の角度θと、光軸ベクトルvoの水平方向の角度ωとの関係を表している。なお、本実施形態において、光軸ベクトルvoは、図9に示す座標軸に基づき規定している。図9は、マーカベクトル及び光軸ベクトルの座標を示す説明図である。図9の座標軸において、x軸は表示領域300の水平方向、y軸は表示領域300の上下方向、z軸は表示領域300の奥行き方向を表している。角度θは光軸ベクトルvoとzx平面とのなす角であり、角度ωは光軸ベクトルvoとxy平面とのなす角となる。
図8上段には、キャリブレーションが正しく行われたときの光軸ベクトルvoの分布が示され、図8下段には、キャリブレーションが正しく行われなかったときの光軸ベクトルvoの分布が示されている。図8上段に示すように、キャリブレーションが正しく行われたときには、表示領域300の中央及び四隅に設定された各キャリブレーション点の位置に対応して、光軸ベクトルvoはきれいに分かれて分布する。
一方、図8下段に示すように、キャリブレーションが正しく行われなかったときには、表示領域300の右上、左上、及び中央のキャリブレーション点に対応する光軸ベクトルvoの上下方向の角度θが略同一になる等、きれいに分布しない。このような分布は、特に、ハードコンタクトレンズの装着者や、薄目、細目のユーザで発生しやすい。
そこで、本実施形態では、評価部250により、全体としての光軸ベクトルvoのばらつきを評価するための評価値として、マーカベクトルvmと光軸ベクトルvoとの相関係数を算出する。マーカベクトルvmと光軸ベクトルvoとの相関係数rxyは、例えば下記の数式(1)により求めることができる。
なお、上記の数式(1)におけるiは各キャリブレーション点に付された番号であり、1〜nの値を取る。キャリブレーション点が5つ設定されている場合には、nは5となる。また、xi、yiは光軸ベクトルvoのx座標およびy座標であり、x ̄、y ̄はマーカベクトルvmのx座標およびy座標である。なお、x ̄、y ̄は、x、yの上に ̄が添えられているものとする。
上記の数式(1)では、すべてのキャリブレーション点におけるマーカベクトルvmと光軸ベクトルvoとの、上下方向の角度θと水平方向の角度ωとの差を評価している。1または複数のキャリブレーション点においてマーカベクトルvmと光軸ベクトルvoとが一致せず、これらの角度のずれが大きくなると、数式(1)により算出される相関係数r xyは小さくなる。
この際、演算処理部230は、相関係数rxyが閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定することができる。
以上説明したように、本実施形態に係る演算処理部230は、利用可能なキャリブレーション点の数や、光軸ベクトルのばらつきに基づいて、左眼および右眼のそれぞれに関しキャリブレーション可否を判定することができる。また、演算処理部230は、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行することができる。本実施形態に係る演算処理部230が有する上記の機能によれば、精度低下の要因となり得る眼の影響を排除し、精度の高い視線検出を実現することが可能となる。
<<1.5.キャリブレーション処理の流れ>>
次に、本実施形態に係る情報処理装置200によるキャリブレーション処理の流れに着目して詳細に説明する。図10は、本実施形態に係る情報処理装置200によるキャリブレーション処理の流れを示すフローチャートである。
次に、本実施形態に係る情報処理装置200によるキャリブレーション処理の流れに着目して詳細に説明する。図10は、本実施形態に係る情報処理装置200によるキャリブレーション処理の流れを示すフローチャートである。
図10を参照すると、まず、情報処理装置200は、キャリブレーション点ごとの利用可否判定を行う(S1101)。ステップS1101におけるキャリブレーション点ごとの利用可否判定の流れについては別途詳細に説明する。
次に、情報処理装置200は、左眼および右眼ごとにキャリブレーション可否を判定する(S1102)。
キャリブレーション可否判定において、情報処理装置200は、まず、利用可能なキャリブレーション点の数が閾値以上であるか否かを判定する(S1103)。
ここで、利用可能なキャリブレーション点の数が閾値を下回る場合(S1103:NO)、情報処理装置200は、該当する眼がキャリブレーション不能であると判定する(S1105)。
一方、利用可能なキャリブレーション点の数が閾値以上である場合(S1103:YES)、続いて、情報処理装置200は、推定した光軸ベクトルのばらつきが閾値以下であるか否かを判定する(S1104)。より具体的には、情報処理装置200は、マーカベクトルvmと光軸ベクトルvoとの相関係数rxyに基づいて、上記の判定を行うことができる。
ここで、推定した光軸ベクトルのばらつきが閾値を上回る場合(S1104:NO)、情報処理装置200は、該当する眼がキャリブレーション不能であると判定する(S1105)。
一方、推定した光軸ベクトルのばらつきが閾値以下である場合(S1104:YES)、情報処理装置200は、該当する眼がキャリブレーション可能であると判定する(S1106)。
左眼および右眼ごとのキャリブレーション可否が完了すると、続いて、情報処理装置200は、キャリブレーション可能な眼が1つ以上存在するか否かを判定する(S1107)。
ここで、キャリブレーション可能な眼が1つ以上存在する場合(S1107:YES)、情報処理装置200は、キャリブレーション可能な眼に対するキャリブレーション処理を実行する(S1108)。
一方、キャリブレーション可能な眼が存在しない場合(S1107:NO)、情報処理装置200は、ステップS1101に復帰し、キャリブレーション点ごとの利用可否判定を繰り返し実行してもよい。
続いて、ステップS1101におけるキャリブレーション点ごとの利用可否判定の流れについて詳細に説明する。図11は、本実施形態に係るキャリブレーション点ごとの利用可否判定の流れを示すフローチャートである。
図11を参照すると、情報処理装置200は、左眼および右眼ごとにキャリブレーション点の利用可否判定を行う(S1201)。
キャリブレーション点の利用可否判定において、情報処理装置200は、まず、キャリブレーション点に注視点マーカを表示させる(S1202)。
次に、情報処理装置200は、キャリブレーション点に注視点マーカが表示されている際に撮影されたユーザの眼を含む撮影画像に基づいて、視線データを取得する(S1203)。上述したように、上記の視線データは、光軸ベクトルおよびマーカベクトルに係る情報を含む。
次に、情報処理装置200は、ステップS1203において取得した視線データに基づいて、光軸ベクトルのぶれが所定の範囲内にあるか否かを判定する(S1204)。
ここで、光軸ベクトルのぶれが所定の範囲内にない場合(S1204:NO)、情報処理装置200は、ステップS1202に復帰する。
一方、光軸ベクトルのぶれが所定の範囲内にある場合(S1204:YES)、情報処理装置200は、続いて、光軸ベクトルとマーカベクトルとの差が所定の範囲内にあるか否かを判定する(S1205)。
ここで、光軸ベクトルとマーカベクトルとの差が所定の範囲内にない場合(S1205:NO)、情報処理装置200は、ステップS1202に復帰する。
一方、光軸ベクトルとマーカベクトルとの差が所定の範囲内にある場合(S1205:YES)、情報処理装置200は、ステップS1203において取得した視線データを利用可能な視線データとして蓄積する(S1206)。
次に、情報処理装置200は、蓄積された視線データが所定数以上存在するか否かを判定する(S1207)。
ここで、蓄積された視線データが所定数以上存在する場合(S1207:YES)、情報処理装置200は、該当するキャリブレーション点が利用可能であると判定する(S1208)。
一方、蓄積された視線データが所定数以上存在しない場合(S1207:NO)、続いて、情報処理装置200は、予め設定された所定時間が経過しているか否かを判定する(S1209)
ここで、所定時間が経過している場合(S1209:YES)、情報処理装置200は、該当するキャリブレーション点が利用不能であると判定する(S1210)。
一方、所定時間が経過していない場合(S1209:NO)、情報処理装置200は、ステップS1202に復帰する。このように、情報処理装置200は、所定数以上の視線データが蓄積されるか所定時間が経過するまで視線データを繰り返し取得する。なお、上記の所定時間は、動的に変更されてもよい。例えば、以前にキャリブレーションの実行実績がある場合には、本来視線データが取得できる領域であることが想定されるため、長めの時間が設定されてもよい。
一方、ステップS1208またはS1209においてキャリブレーション点の利用可否を判定した場合、情報処理装置200は、すべてのキャリブレーション点について利用可否の判定が完了したか否かを判定する(S1211)。
ここで、すべてのキャリブレーション点について利用可否の判定が完了していない場合(S1211:NO)、情報処理装置200は、次のキャリブレーションに注視点マーカを移動させ(S1212)、ステップS1201に復帰する。
すべてのキャリブレーション点について利用可否の判定が完了した場合(S1211:YES)、情報処理装置200は、キャリブレーション点の利用可否判定を終了し、図10におけるステップS1102の処理に移行する。
なお、上記で述べたように視線データを繰り返し取得する場合、情報処理装置200は、キャリブレーション点の位置を変更して視線データを取得してもよい。図12は、キャリブレーション点位置を変更について説明するための説明図である。
例えば、図12に示すように、表示領域300に対して、表示領域300を所定の割合αだけ縮小した領域に基づき、最初のキャリブレーション点が設定されるとする。この際、キャリブレーション点の位置のデフォルト値を、例えば、表示領域300の中央と、表示領域の90%の大きさの領域の四隅とした場合を想定する。この場合、情報処理装置200は、上記の繰り返し処理において、キャリブレーション点の位置を表示領域300の中央に寄せる変更を行ってもよい。情報処理装置200は、例えば、四隅のキャリブレーション点の位置を、表示領域の80%の大きさの領域の四隅に設定することができる。このようにキャリブレーション点の位置を表示領域の中央に寄せることで、ユーザが注視点マーカを見やすくなり、正しい視線データを取得しやすくすることができる。
以上、本実施形態に係る情報処理装置200によるキャリブレーション処理の流れについて詳細に説明した。上述したように、本実施形態に係る情報処理装置200によれば、片方の眼が正常に機能していない場合であっても、正常に機能していると予測される眼に対してキャリブレーションを実行し、当該眼に係る視線を検出することが可能となる。また、本実施形態に係る情報処理装置200によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することで、より精度の高い視線検出を実現することが可能となる。
なお、図11に示す一例では、情報処理装置200が所定数の視線データが蓄積された場合にキャリブレーション点を変更する場合について説明したが、本実施形態に係る情報処理装置200による処理の流れは係る例に限定されない。情報処理装置200は、例えば、視線データが1点蓄積される度にキャリブレーション点を変更する処理を所定回数繰り返し行うこともできる。
また、本実施形態に係る情報処理装置200は、上記で説明した主な制御以外にも種々の制御を行うことができる。例えば、情報処理装置200は、過去のキャリブレーション時とは異なるキャリブレーション点を用いることで、全体の精度を向上させることも可能である。一方、情報処理装置200は、過去のキャリブレーション結果の一部を用いることで、キャリブレーションに要する時間を短縮してもよい。
また、情報処理装置200は、ユーザが義眼を用いている場合など、片方の眼が予めキャリブレーションが不能であることが分かっている場合には、当該眼に関するキャリブレーション可否の判定を行わなくてもよい。
また、情報処理装置200は、キャリブレーションの結果に応じて、どちらの眼が視線検出に用いられるかをユーザに提示してもよい。また、情報処理装置200は、過去にキャリブレーション実績がある眼がキャリブレーション不能と判定した場合、ユーザにアラートなどを提示してもよい。
また、表示装置100がAR(Augmented Reality)技術などに対応している場合、情報処理装置200は、キャリブレーション時における周囲の明るさなどに応じて、背景が視認しづらいように制御を行ったり、背景に同化しない色で注視点マーカを表示させるなどの制御を行ってもよい。
また、情報処理装置200は、視線検出に用いられない眼に係る光源110や撮像部120の電源を落とす制御を行うことで、消費電力を効果的に低減することも可能である。本実施形態に係る情報処理装置200が有する機能は、仕様や運用に応じて柔軟に変形可能である。
<<1.6.キャリブレーションの実行結果に基づく表示制御>>
次に、本実施形態に係るキャリブレーションの実行結果に基づく表示制御について説明する。本実施形態に係る情報処理装置200の表示制御部260は、キャリブレーションの実行結果に基づいて表示装置100の表示部130に表示させるオブジェクトの表示位置を制御することができる。
次に、本実施形態に係るキャリブレーションの実行結果に基づく表示制御について説明する。本実施形態に係る情報処理装置200の表示制御部260は、キャリブレーションの実行結果に基づいて表示装置100の表示部130に表示させるオブジェクトの表示位置を制御することができる。
例えば、図3に示した表示部102Rおよび102Lで互いに対応する視野が異なる場合を想定する。ここで、片方の眼を視線検出に用いない場合、当該眼に対応する表示部102の一部領域では、視線検出の精度が低下することも想定される。
このため、本実施形態に係る表示制御部260は、表示領域300において、キャリブレーションが実行された眼に対応するエリアにオブジェクトを表示させることで、当該オブジェクトに対する視線の検出精度を向上させることが可能である。
図13は、本実施形態に係る表示制御部260によるオブジェクトの表示制御の一例を示す図である。図13には、表示部130が対応する視野FVが示されている。視野FVは、左眼に対応する左視野LFVと右眼に対応する右視野RFVから成る。
ここで、演算処理部230が右眼に対するキャリブレーションを実行せず、左眼に対するキャリブレーションを実行した場合、表示制御部260は、キャリブレーションが実行された左眼に対応するエリアにオブジェクトObを表示させてよい。
表示制御部260は、例えば、視野FVにおいて、左目に対応する左視野LFVに寄せてオブジェクトObを表示させることができる。また、表示制御部260は、左視野LFVのうちキャリブレーションエリアLCAにオブジェクトObを表示させることで、オブジェクトObに係る視線検出精度をより向上させることが可能である。
ここで、上記のキャリブレーションエリアLCAは、左眼に対するキャリブレーションを実行する際に用いられたキャリブレーション点に基づいて定まるエリアである。例えば、左眼に対するキャリブレーションの実行時に、図12に示すキャリブレーション点CP1〜CP5が用いられた場合、キャリブレーションエリアLCAは、キャリブレーション点CP2〜CP5により定義される矩形領域に対応する。このように、本実施形態に係る表示制御部260は、キャリブレーションに用いられた領域にオブジェクトObを表示させることで、オブジェクトObに係る視線検出精度を効果的に高めることができる。
一方、本実施形態に係る表示制御部260は、図13に示した一例に限定されず種々の表示制御を行ってよい。図14は、左眼と右眼の両方においてキャリブレーションが実行された場合におけるオブジェクトの表示制御の一例を示す図である。なお、図14には、左眼に係るキャリブレーションエリアLCAと右眼に係るキャリブレーションエリアRCAとがそれぞれ異なる面積を有する場合の例が示されている。この際、表示制御部260は、図示するように、キャリブレーションエリアLCAおよびRCAが重複する領域にオブジェクトObを表示させてもよい。本実施形態に係る表示制御部260は、キャリブレーションの実行結果と表示装置100やアプリケーション等の特性とに応じて、オブジェクトObの表示位置を適切かつ柔軟に制御することが可能である。
<2.第2の実施形態>
<<2.1.概要>>
次に、本開示の第2の実施形態について説明する。上記における第1の実施形態の説明では、視線検出に係るキャリブレーションにおいて、情報処理装置200が両眼のそれぞれに関しキャリブレーション可否を判定し、当該判定に基づくキャリブレーションを実行する際の手法について中心に述べた。
<<2.1.概要>>
次に、本開示の第2の実施形態について説明する。上記における第1の実施形態の説明では、視線検出に係るキャリブレーションにおいて、情報処理装置200が両眼のそれぞれに関しキャリブレーション可否を判定し、当該判定に基づくキャリブレーションを実行する際の手法について中心に述べた。
ここで、上述したような瞳孔角膜反射法を用いた視線検出を実現するためには、赤外光を撮像可能な撮像部と当該赤外光を照射する光源とを表示装置100に配置することが求められる。この際、視線検出の精度の観点においては、光源をユーザの視野の中心付近に配置することが望ましい。しかし、上記のような配置を行う場合、光源が、表示部による視覚情報の表示を阻害することとなる。また、上記のような配置では、光源がユーザの視野に入り込むことで、ユーザの視聴体験を著しく損なわせる弊害が生じる。
このため、視線検出の精度の観点とは異なり、視聴体験の観点からは、光源は、ユーザの視野において可能な限り目立たない位置に配置されることが望ましい。しかし、AR技術やVR(Virtual Reality)技術に対応する表示装置などは、広視野角を有することが求められることから、光源の配置には物理的な制約が存在するのが一般的である。また、光源を小型化することで、目立ちを低減することも想定されるが、光源の小型化には限外があると同時にコストの増加が懸念される。
本開示の第2の実施形態に係る技術思想は、上記の点に着目して発想されたものであり、ユーザの視聴体験を阻害することなく精度の高い視線検出を実現することを可能とする。このために、本開示の第2の実施形態では、光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材が用いられる。以下、本実施形態に係る透明部材の特徴について詳細に説明する。なお、以下の説明においては、第1の実施形態との差異について中心に述べ、第1の実施形態と共通する機能構成については、詳細な説明を省略する。また、第2の実施形態においては、表示装置100と情報処理装置200とが一体の装置として実現される場合を例に説明する。
<<2.2.透明部材の特徴>>
図15は、ユーザにより情報処理装置200が装着された際の、ユーザの眼球10と情報処理装置200との位置関係を示す概略側面図である。図15に示すように、本実施形態に係る情報処理装置200は、第1の実施形態において説明した構成に加え、透明部材105をさらに備える。また、透明部材105は、情報処理装置200においてユーザの眼球10側に配置される。
図15は、ユーザにより情報処理装置200が装着された際の、ユーザの眼球10と情報処理装置200との位置関係を示す概略側面図である。図15に示すように、本実施形態に係る情報処理装置200は、第1の実施形態において説明した構成に加え、透明部材105をさらに備える。また、透明部材105は、情報処理装置200においてユーザの眼球10側に配置される。
ここで、本実施形態に係る透明部材105は、例えば、ガラスやアクリル樹脂などの透過性を有する素材を用いて形成される。このため、ユーザは、透明部材105を介して情報処理装置200の表示部(図示しない)に表示される種々の視覚情報を視認することができる。
図16は、本実施形態に係る透明部材105をユーザ側から示した正面図である。図16に示すように、本実施形態に係る透明部材105は、例えば、板状に形成されてもよい。また、本実施形態に係る透明部材105は、光源から導光した光をユーザの眼に照射する複数の発光点epを有することを特徴の一つとする。
瞳孔角膜反射法による視線検出の精度を担保するためには、角膜上において少なくとも2つの輝点が検出されることが望ましく、また検出される輝点の数が多いほど検出精度が向上する傾向がある。このため、本実施形態に係る透明部材105は、少なくとも2つの発光点epを有し、当該2つの発光点epは、両眼のそれぞれにおける角膜上に2つの輝点を形成可能な位置に配置されてよい。図16には、透明部材105が4つの発光点ep1〜ep4を有する場合の例が示されている。また、本実施形態に係る撮像部104は、図15に示すように、角膜上における少なくとも2つの輝点を撮像可能な位置に配置される。
次に、図17を参照して、本実施形態に係る発光点epについてより詳細に説明する。図17は、本実施形態に係る透明部材105の構造的特徴を示す斜視図である。上述したように、本実施形態に係る発光点epは、光源から導光した光をユーザの眼に照射する役割を担う。この際、発光点epは、図17に示すように、透明部材105の側部に配置される光源103から発せられた光を透明部材105の内部において反射させることで導光を実現してもよい。図17には、発光点ep1が光源103aから光を導光し、発光点ep4が光源103bから光を導光する場合の一例が示されている。
上記のような発光点epは、例えば、切り欠き加工により形成されてもよい。切り欠き加工によれば、透明部材105上の任意の場所に任意の形状の発光点を低コストで形成することが可能である。上述したように、瞳孔角膜反射法による視線検出の精度を担保するためには、角膜上においてより多くの輝点が検出されることが望ましい。しかし、従来の手法では、1つの光源が1つの輝点を形成するのが一般的であり、角膜上において多くの輝点を検出しようとする場合、光源の数を物理的に増加させる必要があった。一方、本実施形態では、複数の透明部材105を重ねて光源103の発光強度を制御することで、複数の発光点epによる光の照射を切り替えることも可能であり、光源103に要するコストを大幅に低減すると共に、ユーザごとに輝点を使い分けることが可能である。
なお、本実施形態に係る発光点epは切り欠き加工以外の手法により形成されてもよい。発光点epは、例えば、任意箇所の反射率を周囲と変化させることで形成することもできる。反射率を変化させる手法としては、例えば、発光点epの形成箇所に周囲とは異なる素材を用いることや、発光点epの形成箇所に別途の部材を付加することなどが想定される。
また、角膜上に複数の輝点が形成される場合、当該複数の輝点は、互いにどの方向から照射された光に由来するものであるか分離可能であることが求められる。このため、従来の手法では、輝点がいずれの光源に由来するものであるかを特定するために、複数の光源の配置を調整することが一般的であった。一方、本実施形態に係る発光点epは任意の形状に形成することが可能である。このため、本実施形態では、図17に示すように、複数の発光点ep1およびep4が互いに異なる発光形状を有するように形成することができ、すなわち輝点の形状を異ならせることで、輝点の分離を容易に実現することができる。
さらには、本実施形態に係る発光点epは、線状やメッシュ形状で形成されてもよい。図18は、本実施形態に係る線状の発光点epLを示す図であり、図19は、本実施形態に係るメッシュ状の発光点epMを示す図である。線状の発光点epLやメッシュ状の発光点epMを用いて対応する反射像を観察することにより、眼球表面の凹凸形状などを詳細に分析することが可能となり、より精度の高い視線検出を実現することができる。
また、本実施形態に係る透明部材105は、例えば、表示部と一体に形成することも可能である。このため、本実施形態に係る透明部材105によれば、情報処理装置200をより小型化、軽量化することが可能となる。
以上、本実施形態に係る透明部材105が板状に形成される場合を中心に述べたが、本実施形態に係る透明部材105の形状は係る例に限定されない。本実施形態に係る透明部材105は、例えば、棒形状の部材により実現されてもよい。図20は、本実施形態に係る棒形状の透明部材について説明するための図である。図20には、ユーザの視野FVと、棒形状の2つの透明部材105aおよび105bが示されている。この際、棒形状の2つの透明部材105aおよび105bは、それぞれ視野FVの外に配置される光源103aおよび103bから導光した光をユーザの眼に照射することができる。
以上、本実施形態に係る透明部材105および発光点epの特徴について詳細に説明した。本実施形態に係る透明部材105および発光点epによれば、ユーザの視野外に配置される光源103から導光した光を視野の中心付近など任意の場所から照射することが可能となる。また、上述したように、本実施形態に係る発光点epは、任意の形状に形成することが可能であり、用途に応じた種々の形状の発光点epを形成することで視線検出の精度を効果的に向上させることができる。また、本実施形態に係る発光点epは、プレスなどにより大量かつ安定に形成することが可能であり、製造コストを低減すると共に、光源の取り付けと比べて高い位置精度を期待することができる。
なお、本実施形態に係る透明部材105は、光源103からの直接照射と併用して用いられてもよい。また、情報処理装置200は、発光点epや光源103に係る種々の制御を行うことも可能である。例えば、情報処理装置200は、周囲が暗い状況には、光源103の発光強度を弱めたり、利用する発光点epの数を限定することで、消費電力を低減するなどの制御を行ってもよい。本実施形態に係る情報処理装置200の構成および機能は、仕様や運用に応じて柔軟に変形可能である。
なお、本実施形態に係る透明部材105は、本開示の実施形態における演算処理を行わない情報処理装置にも適用可能である。すなわち、透明部材105は、本開示の実施形態における演算処理に依存する構成要素ではないと見做されても良い。本実施形態に係る透明部材105を適用することにより、一般的なハードウェア構成と比較してより精度の高い視線検出が提供され、結果として一般的なハードウェア構成の課題が少なくとも部分的には解決され得る点に留意されたい。
<3.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理装置200のハードウェア構成例について説明する。図21は、本開示の一実施形態に係る情報処理装置200のハードウェア構成例を示すブロック図である。図21を参照すると、情報処理装置200は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
次に、本開示の一実施形態に係る情報処理装置200のハードウェア構成例について説明する。図21は、本開示の一実施形態に係る情報処理装置200のハードウェア構成例を示すブロック図である。図21を参照すると、情報処理装置200は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<4.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理装置200は、両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて当該眼に対するキャリブレーションを実行することができる。係る構成によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行うことが可能となる。
以上説明したように、本開示の一実施形態に係る情報処理装置200は、両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて当該眼に対するキャリブレーションを実行することができる。係る構成によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置200が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書の情報処理装置200の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置200の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置。
(2)
前記演算処理部は、両眼のそれぞれに関し、利用可能なキャリブレーション点に基づいて前記キャリブレーション可否を判定する、
前記(1)に記載の情報処理装置。
(3)
前記演算処理部は、利用可能な前記キャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記(2)に記載の情報処理装置。
(4)
前記演算処理部は、両眼のそれぞれに関し、利用可能なすべてのキャリブレーション点における光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定する、前記(1)〜(3)のいずれかに記載の情報処理装置。
(5)
前記演算処理部は、前記光軸ベクトルとユーザの瞳孔中心から注視点マーカが表示されている前記キャリブレーション点へのマーカベクトルとの相関関係を表す相関係数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記(4)に記載の情報処理装置。
(6)
前記演算処理部は、前記キャリブレーション点において蓄積された前記視線データに基づいて、当該キャリブレーション点の利用可否を判定する、
前記(2)〜(5)のいずれかに記載の情報処理装置。
(7)
前記演算処理部は、前記キャリブレーション点において蓄積された視線データの数が所定時間内に所定数を上回らないことに基づいて、当該キャリブレーション点が利用不能であると判定する、
前記(2)〜(6)のいずれかに記載の情報処理装置。
(8)
前記演算処理部は、ユーザの眼に光源から光が照射され、キャリブレーション点に注視点マーカが表示されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法により、光軸ベクトルを演算する、
前記(1)〜(7)のいずれかに記載の情報処理装置。
(9)
前記キャリブレーションが実行された眼に応じて、前記表示部に表示させるオブジェクトの表示位置を制御する表示制御部、
をさらに備える、
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
前記表示制御部は、前記キャリブレーションが実行された眼に対応するエリアに前記オブジェクトを表示させる、
前記(9)に記載の情報処理装置。
(11)
前記表示制御部は、前記キャリブレーションが実行された眼に係るキャリブレーションエリアに前記オブジェクトを表示させる、
前記(10)に記載の情報処理装置。
(12)
複数のキャリブレーション点について演算された光軸ベクトルのばらつきを評価する評価部、
をさらに備える、
前記(1)〜(11)のいずれかに記載の情報処理装置。
(13)
前記表示部により表示される注視点マーカの表示位置を変化させるマーカ制御部、
をさらに備える、
前記(1)〜(12)のいずれかに記載の情報処理装置。
(14)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材、
をさらに備え、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
前記(1)〜(13)のいずれかに記載の情報処理装置。
(15)
前記透明部材は、板状に形成され、ユーザの両眼と前記表示部との間に配置される、
前記(14)に記載の情報処理装置。
(16)
前記発光点は、切り欠き加工により形成される、
前記(14)または(15)に記載の情報処理装置。
(17)
少なくとも2つの前記発光点は、互いに異なる発光形状を有する、
前記(14)〜(16)のいずれかに記載の情報処理装置。
(18)
ユーザの眼球を含む画像を撮像する撮像部、
をさらに備え、
前記撮像部は、角膜上における少なくとも2つの前記輝点を撮像可能な位置に配置される、
前記(14)〜(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、
を含み、
前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、
さらに含む、
情報処理方法。
(20)
コンピュータを、
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置、
として機能させるためのプログラム。
(21)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材、
を備え、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
視線検出用の表示装置。
(22)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点、
を有し、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
視線検出用の透明部材。
(1)
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置。
(2)
前記演算処理部は、両眼のそれぞれに関し、利用可能なキャリブレーション点に基づいて前記キャリブレーション可否を判定する、
前記(1)に記載の情報処理装置。
(3)
前記演算処理部は、利用可能な前記キャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記(2)に記載の情報処理装置。
(4)
前記演算処理部は、両眼のそれぞれに関し、利用可能なすべてのキャリブレーション点における光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定する、前記(1)〜(3)のいずれかに記載の情報処理装置。
(5)
前記演算処理部は、前記光軸ベクトルとユーザの瞳孔中心から注視点マーカが表示されている前記キャリブレーション点へのマーカベクトルとの相関関係を表す相関係数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記(4)に記載の情報処理装置。
(6)
前記演算処理部は、前記キャリブレーション点において蓄積された前記視線データに基づいて、当該キャリブレーション点の利用可否を判定する、
前記(2)〜(5)のいずれかに記載の情報処理装置。
(7)
前記演算処理部は、前記キャリブレーション点において蓄積された視線データの数が所定時間内に所定数を上回らないことに基づいて、当該キャリブレーション点が利用不能であると判定する、
前記(2)〜(6)のいずれかに記載の情報処理装置。
(8)
前記演算処理部は、ユーザの眼に光源から光が照射され、キャリブレーション点に注視点マーカが表示されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法により、光軸ベクトルを演算する、
前記(1)〜(7)のいずれかに記載の情報処理装置。
(9)
前記キャリブレーションが実行された眼に応じて、前記表示部に表示させるオブジェクトの表示位置を制御する表示制御部、
をさらに備える、
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
前記表示制御部は、前記キャリブレーションが実行された眼に対応するエリアに前記オブジェクトを表示させる、
前記(9)に記載の情報処理装置。
(11)
前記表示制御部は、前記キャリブレーションが実行された眼に係るキャリブレーションエリアに前記オブジェクトを表示させる、
前記(10)に記載の情報処理装置。
(12)
複数のキャリブレーション点について演算された光軸ベクトルのばらつきを評価する評価部、
をさらに備える、
前記(1)〜(11)のいずれかに記載の情報処理装置。
(13)
前記表示部により表示される注視点マーカの表示位置を変化させるマーカ制御部、
をさらに備える、
前記(1)〜(12)のいずれかに記載の情報処理装置。
(14)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材、
をさらに備え、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
前記(1)〜(13)のいずれかに記載の情報処理装置。
(15)
前記透明部材は、板状に形成され、ユーザの両眼と前記表示部との間に配置される、
前記(14)に記載の情報処理装置。
(16)
前記発光点は、切り欠き加工により形成される、
前記(14)または(15)に記載の情報処理装置。
(17)
少なくとも2つの前記発光点は、互いに異なる発光形状を有する、
前記(14)〜(16)のいずれかに記載の情報処理装置。
(18)
ユーザの眼球を含む画像を撮像する撮像部、
をさらに備え、
前記撮像部は、角膜上における少なくとも2つの前記輝点を撮像可能な位置に配置される、
前記(14)〜(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、
を含み、
前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、
さらに含む、
情報処理方法。
(20)
コンピュータを、
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置、
として機能させるためのプログラム。
(21)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材、
を備え、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
視線検出用の表示装置。
(22)
光源から導光した光をユーザの眼に照射する少なくとも2つの発光点、
を有し、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
視線検出用の透明部材。
10 眼球
14 角膜
17 瞳孔
100 表示装置
110 光源
120 撮像部
130 表示部
140 制御部
150 送受信部
200 情報処理装置
210 送受信部
220 マーカ制御部
230 演算処理部
240 記憶部
250 評価部
260 表示制御部
105 透明部材
14 角膜
17 瞳孔
100 表示装置
110 光源
120 撮像部
130 表示部
140 制御部
150 送受信部
200 情報処理装置
210 送受信部
220 マーカ制御部
230 演算処理部
240 記憶部
250 評価部
260 表示制御部
105 透明部材
Claims (20)
- 表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置。 - 前記演算処理部は、両眼のそれぞれに関し、利用可能なキャリブレーション点に基づいて前記キャリブレーション可否を判定する、
請求項1に記載の情報処理装置。 - 前記演算処理部は、利用可能な前記キャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
請求項2に記載の情報処理装置。 - 前記演算処理部は、両眼のそれぞれに関し、利用可能なすべてのキャリブレーション点における光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定する、請求項1に記載の情報処理装置。
- 前記演算処理部は、前記光軸ベクトルとユーザの瞳孔中心から注視点マーカが表示されている前記キャリブレーション点へのマーカベクトルとの相関関係を表す相関係数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
請求項4に記載の情報処理装置。 - 前記演算処理部は、前記キャリブレーション点において蓄積された前記視線データに基づいて、当該キャリブレーション点の利用可否を判定する、
請求項2に記載の情報処理装置。 - 前記演算処理部は、前記キャリブレーション点において蓄積された視線データの数が所定時間内に所定数を上回らないことに基づいて、当該キャリブレーション点が利用不能であると判定する、
請求項2に記載の情報処理装置。 - 前記演算処理部は、ユーザの眼に光源から光が照射され、キャリブレーション点に注視点マーカが表示されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法により、光軸ベクトルを演算する、
請求項1に記載の情報処理装置。 - 前記キャリブレーションが実行された眼に応じて、前記表示部に表示させるオブジェクトの表示位置を制御する表示制御部、
をさらに備える、
請求項1に記載の情報処理装置。 - 前記表示制御部は、前記キャリブレーションが実行された眼に対応するエリアに前記オブジェクトを表示させる、
請求項9に記載の情報処理装置。 - 前記表示制御部は、前記キャリブレーションが実行された眼に係るキャリブレーションエリアに前記オブジェクトを表示させる、
請求項10に記載の情報処理装置。 - 複数のキャリブレーション点について演算された光軸ベクトルのばらつきを評価する評価部、
をさらに備える、
請求項1に記載の情報処理装置。 - 前記表示部により表示される注視点マーカの表示位置を変化させるマーカ制御部、
をさらに備える、
請求項1に記載の情報処理装置。 - 光源から導光した光をユーザの眼に照射する少なくとも2つの発光点を有する透明部材、
をさらに備え、
少なくとも2つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも2つの輝点を形成可能な位置に配置される、
請求項1に記載の情報処理装置。 - 前記透明部材は、板状に形成され、ユーザの両眼と前記表示部との間に配置される、
請求項14に記載の情報処理装置。 - 前記発光点は、切り欠き加工により形成される、
請求項14に記載の情報処理装置。 - 少なくとも2つの前記発光点は、互いに異なる発光形状を有する、
請求項14に記載の情報処理装置。 - ユーザの眼球を含む画像を撮像する撮像部、
をさらに備え、
前記撮像部は、角膜上における少なくとも2つの前記輝点を撮像可能な位置に配置される、
請求項14に記載の情報処理装置。 - プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、
を含み、
前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、
さらに含む、
情報処理方法。 - コンピュータを、
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置、
として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145346 | 2017-07-27 | ||
JP2017145346 | 2017-07-27 | ||
PCT/JP2018/019630 WO2019021601A1 (ja) | 2017-07-27 | 2018-05-22 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019021601A1 true JPWO2019021601A1 (ja) | 2020-05-28 |
JP7081599B2 JP7081599B2 (ja) | 2022-06-07 |
Family
ID=65039521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019532400A Active JP7081599B2 (ja) | 2017-07-27 | 2018-05-22 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11490808B2 (ja) |
EP (1) | EP3660636A4 (ja) |
JP (1) | JP7081599B2 (ja) |
KR (1) | KR20200035003A (ja) |
WO (1) | WO2019021601A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017211891A (ja) * | 2016-05-27 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
JP2020177283A (ja) * | 2019-04-15 | 2020-10-29 | 株式会社ソニー・インタラクティブエンタテインメント | 複数のマーカを備えたデバイス |
JP7288792B2 (ja) | 2019-04-24 | 2023-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびデバイス情報導出方法 |
US20230047470A1 (en) * | 2020-01-06 | 2023-02-16 | Sony Group Corporation | Information processing apparatus, information processing method, and computer-readable recording medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007136000A (ja) * | 2005-11-21 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 視線検出装置、視線検出方法、および視線検出プログラム |
JP2016502120A (ja) * | 2012-09-03 | 2016-01-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 |
JP2018530798A (ja) * | 2015-08-15 | 2018-10-18 | アイフルエンス, インコーポレイテッドEyefluence, Inc. | 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05333259A (ja) | 1992-06-02 | 1993-12-17 | Canon Inc | 視線検出手段を有した光学装置 |
AU4219693A (en) * | 1992-09-30 | 1994-04-14 | Apple Computer, Inc. | Inter-task buffer and connections |
KR20060030608A (ko) * | 2004-10-06 | 2006-04-11 | 엘지전자 주식회사 | 기록매체, 기록매체의 재생방법과 재생장치 |
JP2006293909A (ja) | 2005-04-14 | 2006-10-26 | Denso Corp | 運転者の視線方向検出装置 |
JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
JP5927966B2 (ja) * | 2012-02-14 | 2016-06-01 | ソニー株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JP6020576B2 (ja) * | 2012-09-19 | 2016-11-02 | 株式会社ニコン | 視線検出装置較正方法、視線情報検出方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、および、眼鏡レンズ製造方法 |
JP5958303B2 (ja) * | 2012-11-27 | 2016-07-27 | 株式会社デンソー | テキスト読み上げ装置 |
JP2014160982A (ja) * | 2013-02-20 | 2014-09-04 | Sony Corp | 画像処理装置および撮影制御方法、並びにプログラム |
JP6693105B2 (ja) * | 2015-12-01 | 2020-05-13 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
GB2563276B (en) * | 2017-06-09 | 2021-12-01 | Advanced Risc Mach Ltd | Virtual reality systems |
-
2018
- 2018-05-22 US US16/631,901 patent/US11490808B2/en active Active
- 2018-05-22 EP EP18838854.0A patent/EP3660636A4/en not_active Ceased
- 2018-05-22 JP JP2019532400A patent/JP7081599B2/ja active Active
- 2018-05-22 WO PCT/JP2018/019630 patent/WO2019021601A1/ja active Application Filing
- 2018-05-22 KR KR1020207001259A patent/KR20200035003A/ko not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007136000A (ja) * | 2005-11-21 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 視線検出装置、視線検出方法、および視線検出プログラム |
JP2016502120A (ja) * | 2012-09-03 | 2016-01-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 |
JP2018530798A (ja) * | 2015-08-15 | 2018-10-18 | アイフルエンス, インコーポレイテッドEyefluence, Inc. | 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3660636A4 (en) | 2020-07-08 |
US20200154997A1 (en) | 2020-05-21 |
WO2019021601A1 (ja) | 2019-01-31 |
JP7081599B2 (ja) | 2022-06-07 |
US11490808B2 (en) | 2022-11-08 |
KR20200035003A (ko) | 2020-04-01 |
EP3660636A1 (en) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102469507B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
US10409368B2 (en) | Eye-gaze detection system, displacement detection method, and displacement detection program | |
JP7081599B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN112805659A (zh) | 通过用户分类为多深度平面显示系统选择深度平面 | |
CN115053270A (zh) | 用于基于用户身份来操作头戴式显示系统的系统和方法 | |
JP2024069461A (ja) | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 | |
US20210019493A1 (en) | Information processing apparatus, information processing method, and program | |
US20150304625A1 (en) | Image processing device, method, and recording medium | |
WO2015051605A1 (zh) | 图像采集定位方法及图像采集定位装置 | |
CN111886564A (zh) | 信息处理装置、信息处理方法和程序 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
US11650660B2 (en) | Electronic device, control method, and non-transitory computer readable medium | |
KR20180012713A (ko) | 시선 검출 시스템, 변위 검출 방법, 변위 검출 프로그램 | |
US20190104231A1 (en) | Image display system, image display method, and image display program | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
EP3139586B1 (en) | Image shooting processing method and device | |
WO2019116675A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240231482A1 (en) | Display control apparatus and control method for display apparatus | |
US20240210678A1 (en) | Head-mounted display apparatus and operating method thereof | |
US20230125838A1 (en) | Electronic apparatus and control method for electronic apparatus | |
CN109791429B (zh) | 头戴式显示设备及其输入控制方法 | |
EP4222944A1 (en) | Image capture eyewear with automatic image sending to recipients determined based on context | |
CN117597622A (zh) | 用于提供视力测量和视力校正的增强现实设备和方法 | |
JP2023006630A (ja) | 検出装置およびその制御方法 | |
CN115995117A (zh) | 视线追踪方法、头戴显示设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7081599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |