JP2023550699A - ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法 - Google Patents
ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023550699A JP2023550699A JP2023526382A JP2023526382A JP2023550699A JP 2023550699 A JP2023550699 A JP 2023550699A JP 2023526382 A JP2023526382 A JP 2023526382A JP 2023526382 A JP2023526382 A JP 2023526382A JP 2023550699 A JP2023550699 A JP 2023550699A
- Authority
- JP
- Japan
- Prior art keywords
- head
- user
- mounted display
- stimulus
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 153
- 230000000007 visual effect Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 210000003128 head Anatomy 0.000 claims description 101
- 230000009466 transformation Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000007689 inspection Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 210000001747 pupil Anatomy 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008403 visual deficit Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 4
- 238000011179 visual inspection Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000004424 eye movement Effects 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007812 deficiency Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000026058 directional locomotion Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 206010002537 anisometropia Diseases 0.000 description 2
- 230000029777 axis specification Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 208000002111 Eye Abnormalities Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000003435 Optic Neuritis Diseases 0.000 description 1
- 206010061323 Optic neuropathy Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
- A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Abstract
本明細書に開示されるいくつかのシステムおよび方法は、視覚検査が行われる間のヘッドマウントディスプレイの較正を容易にする。較正を容易にする1つのメカニズムは、視覚検査が行われるときに、ユーザの目が表示された刺激の方向に移動したが、刺激が表示された点で停止せず、その代わりに異なる点(例として、刺激からしきい値距離離れた)で停止したことを検出することを内包する。その検出に基づいて、システムは、ユーザが刺激を見て、センサの較正が必要であると判定することがある。システムはその後、ユーザが刺激を見たことを記録し、次の刺激を表示する前にセンサの較正を行うことがある。
Description
本出願は、2020年10月28日に出願された「Systems And Methods For Visual Field Testing In Head-Mounted Displays」と題する米国特許出願第17/082,983号の継続出願である、2021年4月30日に出願された「Systems And Methods For Visual Field Testing In Head-Mounted Displays」と題する米国特許出願第17/246,054号の一部継続出願である、2021年8月3日に出願された「Device Calibration via a Projective Transform Matrix」と題する米国特許出願第17/392,664号の優先権の利益を主張するものであり、その各々が参照によりその全体を本明細書に組み込まれる。
本出願はまた、2020年10月28日に出願された「Systems And Methods For Visual Field Testing In Head-Mounted Displays」と題する米国特許出願第17/082,983号の継続出願である、2021年4月30日に出願された「Systems And Methods For Visual Field Testing In Head-Mounted Displays」と題する米国特許出願第17/246,054号の一部継続出願である、2021年8月3日に出願された「Active Calibration of Head-Mounted Displays」と題する米国特許出願第17/392,723号の優先権の利益を主張するものであり、その各々が参照によりその全体を本明細書に組み込まれる。本出願はまた、少なくとも、本出願の出願の12か月以内に出願される先行する出願の各々に対し、優先権を主張する。
背景
盲点などの視覚欠損の診断は、ハンフリー視野計などの従来の検査機で判定され得る。患者は解析計の湾曲部の中心に置かれ、湾曲部上に画像を表示することによって検査が行われ、患者の視野において盲点がどこに位置するのかを判定する。しかしながら、ハンフリー視野計ならびに他の検査機器は、広く普及するには高価でもあり、かつ機器を操作するための専門的な人材をも必要とする。
盲点などの視覚欠損の診断は、ハンフリー視野計などの従来の検査機で判定され得る。患者は解析計の湾曲部の中心に置かれ、湾曲部上に画像を表示することによって検査が行われ、患者の視野において盲点がどこに位置するのかを判定する。しかしながら、ハンフリー視野計ならびに他の検査機器は、広く普及するには高価でもあり、かつ機器を操作するための専門的な人材をも必要とする。
概要
従って、本明細書では、ヘッドマウントディスプレイデバイスの使用、および/または視野検査用ヘッドマウントディスプレイデバイスに関するシステムおよび方法が開示される。例えば、これらの視野検査用デバイスは、視野検査を行うことに関連するコストを低減し、より広い患者層への視野検査へのアクセス性を向上させる。しかしながら、これらのディスプレイへ視野検査を適応させることは、技術的なハードルがないわけではない。
従って、本明細書では、ヘッドマウントディスプレイデバイスの使用、および/または視野検査用ヘッドマウントディスプレイデバイスに関するシステムおよび方法が開示される。例えば、これらの視野検査用デバイスは、視野検査を行うことに関連するコストを低減し、より広い患者層への視野検査へのアクセス性を向上させる。しかしながら、これらのディスプレイへ視野検査を適応させることは、技術的なハードルがないわけではない。
当初の技術的な問題として、ヘッドマウントディスプレイへ視野検査を導入することでは、サイクロトーションの影響、より正確にはその欠如を考慮しなければならない。サイクロトーションとは、片方の目がその視軸のまわりを回転することである。この目の回転が、ユーザが頭を一方または他方へ傾けるときにさえも、ユーザの視野が「正しい方を上に」保てるようにさせる。しかしながら、ヘッドアップディスプレイはユーザの頭部へ固定されるため、ヘッドマウントディスプレイ環境においては、サイクロトーションは起きない。つまり、ユーザがその頭を一方または他方へ傾けると、それに応じてユーザの視野も傾く。このように、サイクロトーションの影響は、ヘッドマウントディスプレイへ視野検査を導入する際に、克服すべき当初の技術的な問題を呈する。
本明細書に記載される通り、ヘッドマウントディスプレイ環境におけるサイクロトーションの異なる影響によって引き起こされる技術的問題を克服するための1つの解決策は、ユーザがその頭を傾けることを防止することである。しかしながら、検眼機器に内蔵されている顎当てまたは他の構造物などのユーザがその頭を傾けることを防止する従来の検眼道具は、ヘッドマウントディスプレイ環境には不向きである。第一に、ヘッドマウントディスプレイデバイスへ特殊な構造物または変更が必要な場合、アクセシビリティ、ならびに使い勝手に悪影響を及ぼす。第二に、顎当てなどの特殊な構造物は、ヘッドマウントディスプレイが不適切に装着されること、および/またはわずかな傾きをもたらすやり方での装着によって引き起こされる傾きの影響を防止しない。
従って、本明細書に開示されるシステムおよび方法は、ユーザの傾いた頭部を検出するための、ヘッドマウントディスプレイデバイス内に実装される特殊なソフトウェアおよび/またはハードウェア要素を使用することもある。例えば、ヘッドマウントディスプレイデバイスは、ヘッドマウントディスプレイデバイス用の、特殊なセンサおよび/またはセンサデータを判断するために使用されるソフトウェアを包含することもある。システムおよび方法は、検出された頭部の傾きに基づくユーザへの警告および/または任意の頭部の傾きの修正のための推奨を、さらに生成することもある。これらの警告および推奨がヘッドマウントディスプレイ上にさらに呈されて、視野検査の間の頭部の傾きの影響を最小限に抑えることもある。
補足的な技術的問題として、ヘッドマウントディスプレイ環境におけるサイクロトーションの異なる影響が対処された場合でさえも、視野検査のヘッドマウントディスプレイへの適応が二次的な問題として呈される。すなわち、ハンフリー視野計によって行われるなどの視野検査は、一様に照明されたボウル全体に、さまざまな強度(明るさ)の一連の白色光刺激を生成させることによって為される。この照明されたボウル、またはより正確には曲面上の照明によって、固定の中心からの視野の標準化された測定値が度数に関して提供される。しかしながら、ヘッドマウントディスプレイデバイスは、均一な曲率を持つ面は提供しない。そうではなく、ヘッドマウントディスプレイデバイスは、平坦な面および/または不均一な曲率を持つ面上に生成される。従って、ヘッドマウントディスプレイに現れる光刺激には、これらの課題を考慮する必要がある。
ヘッドマウントディスプレイにおける視野検査の精度を向上させるための方法、システム、およびコンピュータプログラム製品を開示する。ひとつの側面において、方法は、ヘッドマウントディスプレイ用視野検査パターンを回収することを包含し得て、ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示されるアイコンを含む。方法は、ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成すること;ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサからデータを回収すること;傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定すること;ユーザの頭部の傾きの度を第1のしきい値度と比較すること;およびユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成することもまた包含し得る。
従来のヘッドマウントディスプレイにおける別の技術的な問題点は、ヘッドマウントディスプレイの較正には、較正の評価に影響を与えることもある未知の異常原因を補正する必要があることである。例えば、センサの較正が必要なデバイスから受信された視標追跡データは、ユーザの目が間違った位置に焦点を合わされているということを示すこともあり、そのデータは次には較正課題というよりむしろ、視覚欠損として判断されることもある。例えば、視覚検査の進行に伴い、ユーザが体をずらすことが原因でヘッドマウントディスプレイへ接続されたセンサが芯ずれし、視標追跡およびユーザの固視の検出を正確に行うためにセンサの較正が必要になることがある。ユーザが体をずらすのに伴ってセンサの位置が増々ずれていくにつれ、視標追跡が不正確になることがあるので、視覚検査の結果が不正確になることもある。これにより、ユーザが1つ以上の視覚欠損を有するとシステムが誤って判定する結果となることもある。
上記の技術的問題に対処するために、本明細書に開示されるいくつかのシステムおよび方法が、視覚検査が行われる間のヘッドマウントディスプレイの較正を容易にする。較正を容易にする1つのメカニズムは、視覚検査が行われているときに、ユーザの目が表示された刺激の方向に移動したが、刺激が表示された点で停止せず、その代わりに異なる点(例として、刺激からしきい値距離離れた)で停止したことを検出することを内包する。その検出に基づいて、システムは、ユーザが刺激を見たこと、およびセンサの較正が必要であることを判定することがある。システムはその後、ユーザが刺激を見たことを記録し、次の刺激を表示する前にセンサの較正を行うことがある。
このメカニズムを履行するために、以下の操作が行われてもよい。システムは、視野検査の間に、第1の視野位置にてユーザデバイス上に第1の刺激を呈させてもよい。例えば、上述したように、視覚検査は、ユーザがいかなる視覚欠損を有するかどうかを判定するための検査であってよい。ユーザデバイスは、第1の刺激(例として、ディスプレイ上のある位置での視覚的表示)を表示するヘッドマウントディスプレイを包含してもよい。このように、視野検査が始まると、システムはユーザへ刺激を表示し始めて、ユーザがいかなる視覚欠損を有するかどうかを査定してもよい。
システムは、視野検査の間に、第1の刺激に関連する第1のフィードバックデータを取得してもよく、第1のフィードバックデータは、ユーザが第1の刺激を見たことを示す。例えば、ユーザデバイス(例として、ヘッドマウントディスプレイを包含するデバイス)は、ユーザデバイスへ視標追跡データを送信して処理することが可能とされる1つ以上の視標追跡センサを包含してもよい。このように、システムが視覚的刺激を表示すると、視標追跡センサは固視検出を行い、その情報を送ってユーザデバイスによって処理させてもよい。フィードバックデータは、例えば、ユーザの固視が検出されたヘッドマウントディスプレイ上の座標を包含してもよい。
システムはその後、第1のフィードバックデータに基づいて、ユーザの目が第1の刺激に対応する第1の視野位置上に固定し損なうことを検出することもある。例えば、第1のフィードバックデータは、ユーザの目が第1の刺激に向かって移動したが、第1の刺激を固視する程ではなく停止したこと、または刺激を通過して移動したことを示すこともある。このデータは、ユーザが刺激を見たこと(例として、ユーザが刺激に向かってその目を動かしたことに基づく)、および視標追跡センサが較正を必要とすること(例として、固視が刺激自体の視野位置とそろっていないことに基づく)を示すこともある。ユーザの目が第1の視野位置上に固定し損なったことを検出することに基づいて、システムは、ユーザデバイスの較正を行うこともある。例えば、システムは、生の視標追跡データから判定されるように、固視位置の計算を調整することもある。さらにまた、システムは、ユーザが第1の刺激を見たという第1の兆候を格納することもある。この処理は、ヘッドマウントディスプレイ上に表示されるあらゆる刺激で継続することもある。
別の/第2の刺激が第2の視野検査位置にて表示されると、システムは、ユーザの固視位置が第2の視野検査位置にそろうと判定することもあり、この場合、検査のその反復にては較正の必要はない。視覚検査が終了すると、システムは、検査の結果に基づいて(例として、ユーザが見ることができた刺激の数および位置に基づいて)視覚欠損評価を生成することもある。
従来のヘッドマウントディスプレイにおける別の技術的な問題点は、ヘッドマウントディスプレイの較正には、較正の評価に影響を与えることもある未知の異常原因を補正する必要があることである。例えば、ヘッドマウントディスプレイが正しく装着されていない場合、較正の間に受信された視標追跡データが影響を受けるであろう。この異常(例として、ヘッドマウントディスプレイが眼科検診に使用される場合)は、較正の間に不適切に装着されていることによって引き起こされるものと識別するよりむしろ、視覚欠損として判断され得る。
上記の技術的問題に対処するために、本出願は、ヘッドマウントディスプレイの較正を容易にするシステムおよび方法を開示する。例えば、システムがユーザの目の動きを追跡して、見ているものを判定する間に、ユーザが見るべき較正パターンを生成することもある。視標追跡データの解析により、ヘッドマウントディスプレイの較正、ならびに較正の精度を表す「較正スコア」を生成し得る。このようにして、眼科医は、眼科検診に使用されることもあるヘッドマウントディスプレイの最良の較正、ならびに較正されたヘッドマウントディスプレイを用いて行われた視力検査の精度を示す較正スコアの両方を有するであろう。
適宜、ヘッドマウントディスプレイを較正するために、方法、システム、およびコンピュータプログラム製品が開示される。ヘッドマウントディスプレイを較正するための1つの方法は、エッジ較正期間の間にエッジ視標追跡データを受信すること;エッジ視標追跡データに基づいて射影変換行列を計算すること;中心較正期間の間に中心視標追跡データを受信すること;射影変換行列を中心視標追跡データへ適用して、固視位置を判定すること;および中心位置と固視位置との間の差異に基づいて較正スコアを生成することを包含する。
適宜、ヘッドマウントディスプレイを較正するために、方法、システム、およびコンピュータプログラム製品が開示される。ヘッドマウントディスプレイを較正するための1つの方法は、エッジ較正期間の間にエッジ視標追跡データを受信すること;エッジ視標追跡データに基づいて射影変換行列を計算すること;中心較正期間の間に中心視標追跡データを受信すること;射影変換行列を中心視標追跡データへ適用して、固視位置を判定すること;および中心位置と固視位置との間の差異に基づいて較正スコアを生成することを包含する。
本明細書に記載された主題の1つ以上の変形例の詳細は、添付の図面および以下の記載に述べられている。本明細書に記載された主題の他の特徴および利点は、記載および図面、ならびに特許請求の範囲から明らかになるであろう。現在開示されている主題の特定の特徴は、特有の実施態様に関連して例示目的で記載されているが、かかる特徴は限定することを意図していないことが容易に理解されるべきである。本開示に続く特許請求の範囲は、保護される主題の範囲を定義することを意図する。
本明細書に組み込まれ、その一部を構成する添付図面は、本明細書に開示された主題の特定の側面を示し、記載と共に、開示された実施態様に関連する原理のいくつかを説明するのに役立つ。
詳細説明
本出願は、検査パターンを提供する装着されたゴーグルを特に利用する、視野検査を行うことを容易にするシステムおよび方法について記載する。眼科医が直面している問題のひとつは、眼科検診の間に患者がその頭部を傾けることの影響である。頭部が傾くと、これが片方の目がその視軸のまわりを回転するサイクロトーションを引き起こす。修正されないと、これが眼科検診における異常、および目の課題の誤診をもたらし得る。当技術分野では、検査に使用される従来の診断デバイスは、ハンフリー視野計「ハンフリーアナライザ」である。ハンフリーアナライザの使用には、患者が半球領域の中心に頭を置き、半球領域のさまざまな位置にて検査パターンを投影することが、包含される。拡張現実(AR)ゴーグルや仮想現実(VR)ゴーグルの開発で、かかるゴーグルの視認面上に検査パターンを投影することによって同様の検査が行われ得る。本明細書では、態様は、ヘッドアップディスプレイデバイスまたはヘッドマウントディスプレイデバイスを使用することもある。例えば、ヘッドマウントディスプレイは、頭部またはヘルメットの一部に装着される表示デバイスであり、片目(単眼HMD)または両目(両眼HMD)の前に小さな表示光学部を有することもある。
本出願は、検査パターンを提供する装着されたゴーグルを特に利用する、視野検査を行うことを容易にするシステムおよび方法について記載する。眼科医が直面している問題のひとつは、眼科検診の間に患者がその頭部を傾けることの影響である。頭部が傾くと、これが片方の目がその視軸のまわりを回転するサイクロトーションを引き起こす。修正されないと、これが眼科検診における異常、および目の課題の誤診をもたらし得る。当技術分野では、検査に使用される従来の診断デバイスは、ハンフリー視野計「ハンフリーアナライザ」である。ハンフリーアナライザの使用には、患者が半球領域の中心に頭を置き、半球領域のさまざまな位置にて検査パターンを投影することが、包含される。拡張現実(AR)ゴーグルや仮想現実(VR)ゴーグルの開発で、かかるゴーグルの視認面上に検査パターンを投影することによって同様の検査が行われ得る。本明細書では、態様は、ヘッドアップディスプレイデバイスまたはヘッドマウントディスプレイデバイスを使用することもある。例えば、ヘッドマウントディスプレイは、頭部またはヘルメットの一部に装着される表示デバイスであり、片目(単眼HMD)または両目(両眼HMD)の前に小さな表示光学部を有することもある。
ひとつの技術的問題は、ゴーグルは当然、頭部の傾きに対する補正を提供するが、これはゴーグルが正しく装着されている(つまり、ユーザの頭の上で傾いていない)場合のみ機能するので、かかるゴーグルを使用して検査される患者においてサイクロトーションが起こることである。この問題に対処するために、本出願は、ユーザの頭部に対するゴーグルの傾きを検出し、修正するためのシステムおよび方法を記載する。別の技術的問題は、湾曲した視認面を有するハンフリーアナライザと比較して平らな視認面を有するゴーグルを使用して、正確な検査パターンを表示することである。この付加的な技術的課題に対処するために、ハンフリーアナライザにおいて生成されるものと同等のゴーグルにおけるテストパターンを生成する方法が開示される。
図1Aは、被験者が装着可能なデバイスを形成する例示的なヘッドマウントディスプレイ100(例として、ゴーグル)を図示する。いくつかの態様において、ヘッドマウントディスプレイ100は、本明細書または「Vision Testing via Prediction-Based Setting of an Initial Stimuli Characteristic for a User Interface Location」と題され2020年10月28日に出願された米国特許出願第17/083,043号(その内容は参照によりその全体がここに組み込まれる)に記載されているようなビジョニングシステム(visioning system)の一部であってよい。ヘッドマウントディスプレイ100は、左接眼レンズ102および右接眼レンズ104を包含する。各接眼レンズ102および104は、再現された画像を被験者のそれぞれの目へ表示(または投影)するように構成されたデジタルモニタを含有してもよく、および/またはそれと関連付けてもよい。さまざまな態様において、デジタルモニタは、ディスプレイスクリーン、プロジェクタ、および/またはディスプレイスクリーン上に画像表示を生成するハードウェアを包含することもある。プロジェクタを含むデジタルモニタは、被験者の眼の上へ、または画像が投影されることもあるスクリーン、ガラス、または他の表面を含む接眼レンズ上へ画像を投影するために、他の場所にて配置されてもよいことが理解されるであろう。一態様において、左接眼レンズ102および右接眼レンズ104は、各接眼レンズ102、104がデータを収集し、画像データを表示/投影できるように(さらなる例においては、画像データを異なる目へ表示/投影することを包含する)、被験者の眼窩領域に適応するようにハウジング106に対して配置されてもよい。
いくつかの態様において、各接眼レンズ102、104は、瞳孔の動きを追跡し、被験者の視軸を判定して追跡するように構成された、赤外線カメラ、受光器、または他の赤外線センサを包含することもある1つ以上の内向きセンサ108、110をさらに包含することもある。例として赤外線カメラを含む内向きセンサ108、110は、被験者の視野、その実視野も、被験者へ表示または投影される視野をも遮らないように、接眼レンズ102、104に対して低い部分に配置されてもよい。内向きセンサ108、110は、より良い瞳孔および/または視線追跡のために、仮定の瞳孔領域に向かう点へ方向をそろえられることもある。いくつかの例において、内向きセンサ108、110は、接眼レンズ102、104内に埋め込まれて、連続した内面を提供することもある。いくつかの態様において、ヘッドマウントディスプレイ100は、接続されたコンピューティングシステムへ頭部の傾きの度に関するデータを提供し得る傾きセンサ(単数または複数)128を包含し得る。本明細書でさらに記載するように、傾きセンサは、ジャイロスコープ、水系のもの等であり得る。
図1Bは、ヘッドマウントディスプレイ100の正面視を図示し、視野カメラを含むそれぞれの外向き画像センサ112、114が配置される接眼レンズ102、104の正面視を示す。他の態様において、より少ない、または追加の外向き画像センサ112、114が提供されることもある。外向きイメージセンサ112、114は、連続画像を取り込むように構成されてもよい。
図1Cは、合焦レンズ116、118を持つ2つのデジタルモニタを包含する接眼レンズ102、104を含む、例示的な構築されたヘッドマウントディスプレイ100の画像である。この例においては、瞳孔および視線追跡のために1つだけの内向き光学センサ110が包含されているが、他の例においては、多数の内向き光学センサ110が提供されることもある。
図1D-1Eに関しては、ヘッドマウント170の代替態様が、高解像度カメラ(単数または複数)102、電源ユニット193、処理ユニット194、ガラススクリーン195、シースルーディスプレイ196(例として、透明ディスプレイ)、視標追跡システム197、傾きセンサ(単数または複数)198(傾きセンサ122と同様)、および他の構成要素を、いずれの組み合わせでも包含し得る。
いくつかの例では、外部センサを使用して、被験者の視野を査定するためのさらなるデータを提供することもある。例えば、取り込まれた画像を修正するために使用されるデータは、視野検査デバイス、収差計、眼電図、視覚誘発電位デバイスなどの外部検査デバイスから取得してもよい。それらのデバイスから取得されたデータは、視軸判定のための瞳孔または視線追跡と組み合わされて、ユーザへ投影または表示される画像を変更するために使用される1つ以上の変更プロファイル(例として、かかる画像を修正または改良するために使用される修正プロファイル、改良プロファイル等)を作成することもある。
本明細書に使用されるとき、「ヘッドマウントディスプレイ」に言及する場合、第1の態様(100)を参照する場合でさえも、特に断らない限り、開示される方法および操作は、ヘッドマウントディスプレイ100または170のいずれかに適用されると理解される。いくつかの態様が、ヘッドマウントディスプレイの較正に関して本明細書に記載されているが、かかる技術は、他の態様において1つ以上の他のユーザデバイスの較正に適用されてもよいことに留意されたい。
本明細書に使用されるとき、「ヘッドマウントディスプレイ」に言及する場合、第1の態様(100)を参照する場合でさえも、特に断らない限り、開示される方法および操作は、ヘッドマウントディスプレイ100または170のいずれかに適用されると理解される。いくつかの態様が、ヘッドマウントディスプレイの較正に関して本明細書に記載されているが、かかる技術は、他の態様において1つ以上の他のユーザデバイスの較正に適用されてもよいことに留意されたい。
ヘッドマウントディスプレイ100は、ヘッドマウントディスプレイ100の中に埋め込まれた無線トランシーバを介するなどの、有線または無線通信を介して1つ以上の画像プロセッサと通信可能に結合されることもある。外部画像プロセッサは、ラップトップコンピュータ、タブレット、携帯電話、中央集権型または分散型のネットワークサーバまたはその他のコンピュータ処理デバイスなどのコンピュータを包含してもよく、ならびに1つ以上のプロセッサおよび1つ以上のメモリによって特徴付けられてもよい。論じられた例においては、取り込まれた画像はこの外部画像処理デバイスで処理されるが、他の例においては、取り込まれた画像はデジタルメガネ内に埋め込まれた画像プロセッサによって処理されてもよい。処理された画像(例として、機能的視野または他の視覚的側面を改善するために改良されたもの、および/または被験者の視野の病態を修正するために改良されたもの)はその後、ヘッドマウントディスプレイ100へ送信され、被験者が見るためにモニタによって表示される。
ヘッドマウントディスプレイを使用して、高次および/または低次の異常などの目の病態、緑内障、視神経炎、および視神経症などの視神経の病態、黄斑変性症、網膜色素変性症などの網膜の病態、微小血管卒中(microvascular stroke)および腫瘍などの視覚路の病態、ならびに老眼、斜視、高次および低次の目の異常、単眼視、不同視および不等像視、光感受性、瞳孔不同性屈折異常、および乱視などの他の疾病を識別する視覚評価を行い得る。
いくつかの例では、外部センサを使用して、被験者の視野を査定するためのさらなるデータを提供することもある。例えば、取り込まれた画像を修正するために使用されるデータは、視野検査デバイス、収差計、眼電図、視覚誘発電位デバイスなどの外部検査デバイスから取得してもよい。これらのデバイスから取得されたデータは、視軸判定のための瞳孔または視線追跡と組み合わせて、ビューアへ投影または表示される画像を修正するために使用される修正プロファイルを作成することもある。
ヘッドマウントディスプレイ100は、ヘッドマウントディスプレイ100の中に埋め込まれた無線トランシーバを介するなどの、有線または無線通信を介して1つ以上の画像プロセッサと通信可能に結合されることもある。外部画像プロセッサは、ラップトップコンピュータ、タブレット、携帯電話、中央集権型または分散型のネットワークサーバまたはその他のコンピュータ処理デバイスなどのコンピュータを包含してもよく、ならびに1つ以上のプロセッサおよび1つ以上のメモリによって特徴付けられてもよい。
ヘッドマウントディスプレイを包含するビジョンシステムの例示的な操作において、取り込まれた画像のリアルタイム画像処理は、ヘッドマウントディスプレイ内に埋め込まれたミニチュアコンピュータ上で動作する、例として、特注のMATLAB(登録商標) (MathWorks, Natick, MA)コードを使用した画像プロセッサによって遂行されることもある。他の例において、コードは、ヘッドマウントディスプレイと通信するために無線的にネットワーク接続された外部の画像処理デバイスまたは他のコンピュータ上で動作されることもある。
図2は、頭部の傾きを検出し修正することによる視野検査パターンの修正を図示する図形である。本明細書に使用されるとき、「頭部の傾き」という用語は、ヘッドマウントディスプレイの軸とユーザの頭部の軸との間の角度を意味する。例えば、かかる角度は、ヘッドマウントディスプレイ100がユーザに正しく装着されている場合は、0度であってよい。一態様において、ヘッドマウントディスプレイにおける視野検査の精度を向上させるためのシステムは、ヘッドマウントディスプレイに加えて、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサを包含し得る。場合によっては、傾きセンサはヘッドマウントディスプレイ100に位置し得るが、他の場所に位置する傾きセンサ(例として、ユーザおよびヘッドマウントディスプレイ100を見るカメラなどの外部のセンサ)が想定される。いくつかの態様において、傾きセンサは、水準器と同様の水系傾きセンサであり得る。他の態様において、傾きセンサは、ジャイロセンサまたは他のタイプの回転感知ハードウェアを組み込み得る。
ヘッドマウントディスプレイ100において、または外部コンピュータ上で、記憶回路は、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示され得る刺激(例として、光、パターン、アイコン、アニメーション等)を有する視野検査パターンを格納および/または回収するように構成され得る。ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成するように構成される制御回路もまたあり得る。固定点210(典型的には視野の中心付近)と、盲点の位置を判定するために表示された刺激を表す刺激220と共に、視野検査パターンの例を図2に示す。図2における上段の枠は、例として、ユーザがその位置にて表示される刺激を見ることができないことによって判定されるような、盲点の例示的な位置(刺激220と一致)を示す。中段の枠は、頭部の傾きの影響を図示する。ここでは、頭部の傾きが、刺激220が盲点230の外側のユーザの視界内の異なる位置にて表示されることを引き起こす。結果として、ユーザによって盲点が識別されないこともあり、誤診を引き起こす可能性がある。
かかる課題に対処するために、システムは、傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定し得る。頭部の傾きの度は、例えば水系傾きセンサの場合、傾きの度を示す水面を判定することによって、判定され得る。一態様は、ミニチュアカメラを用いて水面を撮像することを包含し、傾いていない方位を示す指標に関する水面を取り込み得る。そして、水面と指標との間の角度が、頭部の傾きの度となる。別の態様は、傾きの度に応じて水に覆われたり露出したりする複数の水センサ(例として、ガルバニックセンサ)からデータを取得することを包含し得る。次には、水を検知する特定のセンサを使用して、ルックアップテーブル(lookup table)を介してなど、頭部の傾きの度を判定し得る。いくつかの他の態様において、頭部の傾きの度は、ジャイロスコープから受信されたデータから判定され得る。ユーザの頭部の傾きの度は、1、2、5、10度などの第1のしきい値度、または所望のいずれかのしきい値と比較され得る。比較自体には、計算された頭部の傾きの度を受信し、第1のしきい値度との数値比較を行う1つ以上のプロセッサを包含し得る。ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、システムは、ヘッドマウントディスプレイ上に、頭部の傾きを減少させるためのユーザへの推奨を表示用に生成し得る。かかる推奨は、ヘッドマウントディスプレイ100が頭部の傾きを取り除くために調整される必要があるという視覚表示(例として、赤または緑のライト、テキスト表示等)を包含し得る。推奨は、例えば、グラフ形式(例として、角度を表現する)、またはテキスト形式(例として、角度の数値)で頭部の傾きの度を表示することを包含し得る。ヘッドマウントディスプレイ100の調整後、図2の下段の枠において示されるように検査が行われ、刺激がユーザの視野内の盲点を検出するための適切な位置に留まっていることを示し得る。
他の態様において、システムは、例として傾きが比較的小さい場合、いくつかの修正を自動的に行い得る。ここで、制御回路は、ユーザの頭部の傾きの度を、第1のしきい値度よりも一般的に小さい第2のしきい値度(例として、0.1、0.5、1、2度等)と比較するようにさらに構成され得る。かかる第2のしきい値度は、完全な配列を妨げるユーザの顔における非対称性、ヘッドマウントディスプレイ100の構造における欠損、測定中に起きる小さな付随的な傾き等を反映するものであり得る。頭部の傾きの度と第2のしきい値度との比較は、第1のしきい値度について記載したのと同様のやり方で行われ得る。ユーザの頭部の傾きの度が第2のしきい値を満たすか、または超えることに応答して、システムは、ヘッドマウントディスプレイの視野内の刺激のそれぞれの位置を、第1の量によって自動的に調整し得る。例えば、0.1度の傾きが検出される場合、システムは、検出された傾きを反映して刺激の表示座標を変えることによって、アイコンの表示位置を自動的に調整して補正し得る。このように、第1の量は、ヘッドマウントディスプレイの視野の中心点240からの刺激の距離と、ユーザの頭部の傾きの方向とに基づくものであり得る。いくつかの態様において、中心点240は、ヘッドマウントディスプレイ100の面の幾何学的中心、および/またはユーザの固定の中心に対応することもある。例えば、いくつかの態様において、異なるヘッドマウントディスプレイは、異なる中心点を有することもある。したがって、システムは、ヘッドマウントディスプレイの中心点を判定し、オフセット距離に基づいて、表示されるアイコンのそれぞれの位置を選択することもある。例えば、システムは、1つ以上のセンサから受け取っているデータに基づいて、ヘッドマウントディスプレイの中心点を判定することもある。加えてまたは代替的に、システムは、システムが起動されるときに、初期較正(例として、自動較正または手動較正)に基づく設定を受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイのモデル番号またはシリアル番号(または他の識別子)を、モデル番号またはシリアル番号の中心点を記録しているルックアップテーブルに入力することもある。
図2に示すように、中心点240は、固定点210の中心に対応し得て、頭部の傾きの方向250は、ある角度(例として、時計回りに10度、反時計回りに15度等)であり得る。かかる定式化により、中心点に対するアイコンの位置を表現することができ(例として、
、ここで
は、中心点からアイコンまでの、頭部の傾きに関係なく不変であるスカラー距離Rを有するベクトルである。この用語は、頭部の傾き角θの関数としてのベクトル
の方向成分(例として、x/y、水平/垂直)である。従って、1つの態様において、アイコンのそれぞれの位置は、第1の方向成分(例として、水平成分)および第2の方向成分(例として、垂直成分)によって定義され得る。図2の下段に示すように、修正は、第1の方向成分がユーザの頭部の傾きの度のコサインによって調整され、第2の方向成分が頭部の傾きの度のサインによって調整されるものを包含し得る。例えば、システムは、頭部が傾く前と後の間のアイコンの位置の差異を判定し得る。そして、この差異(各方向成分について)が、その後、アイコンのそれぞれの位置が調整され得る量(例として、ピクセル、cm等で)となり得る。
図3は、曲面からの視野検査パターンを平面上に正確に再現する例示的な方法を表現する簡略化した図形を図示する。視覚欠損の診断および治療においては、その角度を判定することが重要であり得る。図3(上)において表現されているように半球状の検査領域310を持つハンフリーアナライザは、一定して離れた角度(例として、10、20、30、40度等)にて視覚要素320の形態において視野検査パターンを提供し得る。しかしながら、ヘッドマウントディスプレイ100は、平面330(例示目的のために、簡略化され、大いに拡大されて示されている)を有し得る。刺激340が図示のように等距離の位置にて表示される場合、ハンフリーアナライザを用いて上述したように一定の角度分離には適合しないから、正確にユーザの視覚の特性を示さないであろう。従って、システムは、この差異を補正することもある。
別の考慮すべき点は、刺激が表示される平面とユーザの目との間のオフセット距離(図3の下部の寸法b)が、ヘッドマウントディスプレイ100の特定の構造、ユーザの顔の構造等に基づいて変化し得るということである。このオフセット距離が、次には、刺激340が表示される必要がある場所に影響し得る。
図3(下)において示すように、本開示の方法によって、刺激340のそれぞれの位置が視野上に並んで位置し、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応できるようになる。このことが、それぞれの位置にて刺激340が、視覚要素320からの放射状の線と交差していることによって分かるように、図3において表現されている。それぞれの位置は、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定され得る。角度は、上記を参照したもの(例として、10、20、30度等)であり得る。角度とオフセット距離とが与えられると、それに対応するそれぞれの位置は、寸法aによって示され、これは中心(例として、0度)から平面330上のそれぞれの位置までの距離である。一例として、式1の式に基づき、それぞれの位置が判定され得て、
ここで、aはそれぞれの位置の1つ、bはオフセット距離、θは角度である。
説明の目的でいくつかの単純化した仮定が取られているが、当業者であれば、例えば、各目は中心から外れていること(図3において仮定される単一視点とは対照的に)、平面は実際には完全に平らではなく、若干の曲率(例として、図1Aおよび1Bにおいて表現されているように)を含有することもあること等を考慮して、本開示に従って変形を組み込むことができることが理解される。従って、本明細書に使用されるとき、「平らな」表面は、無限の曲率の半径を有する曲面の特殊な場合であると仮定される。本明細書のいくつかの部分において記載されているように、ヘッドマウントディスプレイは、有限の曲率の半径を有し、従って、従来の意味における「湾曲」し得る。
いくつかの実施態様において、ヘッドマウントディスプレイの曲率が判定され、その曲率に基づいて、それぞれの位置が選択され得る。曲率の判定は、ヘッドマウントディスプレイの既知のモデルからのデータに基づいて、知り得、またはアクセスし得る。かかる曲率値は、復旧用に格納されたり、ネットワーク接続を介してアクセスされたりし得る。曲率の存在がそれぞれの位置のずれにどのように影響するかの正確な関係は、システムの幾何学的形状の作用である。従って、開示の方法は、意図された角度θから、例えば、意図された角度にあるようにユーザに見えるであろうヘッドマウントディスプレイの曲面に沿った角度を表す類似の角度φへの座標変換を想定する。
また、本開示は、水平な「列」上に一般的に位置する視野検査パターンについて記載してきたが、本開示は、斜め、垂直、または二次元平面のどこにあってもよいパターンに適用されることが想定される。同様に、かかる特徴は、ヘッドアップディスプレイに似た奥行きの影響を与えて刺激の配置(および、任意にサイズ)を変化させることなどによって、三次元視覚化へ拡張され得る。
図4は、1つ以上の態様に従った、ヘッドマウントディスプレイを使用した視野検査のための例示的なシステム図形である。例えば、システム400は、図1A~1Cのヘッドマウントディスプレイに電力を供給し、図5~6において記載される処理を行うために使用される構成要素を表すこともある。図4に示すように、システム400は、ヘッドアップディスプレイデバイス422およびユーザ端末424を含むこともある。例えば、ヘッドアップディスプレイデバイス422は、ユーザによって装着され、その間ユーザの進捗は、ユーザ端末424を介して監視されることもある。ヘッドアップディスプレイデバイス422およびユーザ端末424は、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ(hand-held computer)、「スマート」、ワイヤレス、ウェアラブル、および/またはモバイルデバイスを包含する他のコンピュータ機器(例として、サーバ)を包含するが、これらに限定されない、任意のコンピューティングデバイスでよいことに留意されたい。図4はまた、クラウド構成要素410などの追加構成要素を包含してもよい。クラウド構成要素410は、代替的に、上述のような任意のコンピューティングデバイスであってもよく、ならびに任意のタイプのモバイル端末、固定端末、または他のデバイスを包含してもよい。例えば、クラウド構成要素410は、クラウドコンピューティングシステムとして実装されてもよく、1つ以上の構成要素デバイスを備えてもよい。また、システム400は、3つのデバイスに限定されないことに留意されたい。ユーザは、たとえば、1つ以上のデバイスを利用して、互いに、1つ以上のサーバ、またはシステム400の他の構成要素と対話することもある。本明細書では、1つ以上の操作が、システム400の特定の構成要素によって行われるものとして記載されているとしても、それらの操作は、いくつかの態様においては、システム400の他の構成要素によって行われてもよいことに留意されたい。一例として、1つ以上の操作が、モバイルデバイス422の構成要素によって行われるものとして本明細書に記載されているとしても、それらの操作は、いくつかの態様においては、クラウド構成要素410の構成要素によって行われてもよい。いくつかの態様において、本明細書に記載されたさまざまなコンピュータおよびシステムは、記載された機能を行うようにプログラムされた1つ以上のコンピューティングデバイスを含むこともある。加えて、または代替的に、多数のユーザが、システム400および/またはシステム400の1つ以上の構成要素と対話してもよい。例えば、一態様において、第1のユーザと第2のユーザは、2つの異なる構成要素を使用してシステム400と対話してもよい。
ヘッドマウントディスプレイデバイス422、ユーザ端末424、およびクラウド構成要素410の構成要素に関して、これらのデバイスの各々は、入力/出力(以下「I/O」)経路を介して内容およびデータを受信することもある。これらのデバイスの各々は、I/O経路を使用してコマンド、リクエスト、および他の好適なデータを送受信するためのプロセッサおよび/または制御回路を包含することもある。制御回路は、任意の好適な処理、記憶、および/または入出力回路を含んでもよい。これらのデバイスの各々はまた、データの受信および表示に使用するためのユーザ入力インタフェースおよび/またはユーザ出力インタフェース(例として、ディスプレイ)を包含することもある。例えば、図4に示すように、ヘッドマウントディスプレイデバイス422とユーザ端末424の両方が、データ(例として、視野検査パターン)を表示するためのディスプレイを包含する。
いくつかの態様において、デバイスは、ユーザ入力インタフェースもディスプレイも有さず、代わりに別のデバイス(例として、コンピュータ画面などの専用ディスプレイデバイスおよび/またはリモコン装置、マウス、音声入力等の専用入力デバイス等)を使用して内容を受信し表示することもあるということに留意されたい。加えて、システム400におけるデバイスは、アプリケーション(または別の好適なプログラム)を動作させることもある。アプリケーションは、プロセッサおよび/または制御回路に、視野検査に関連する操作を行わせることもある。
これらのデバイスの各々はまた、電子記憶装置を包含することもある。電子記憶装置は、情報を電子的に格納する非一時的な記憶媒体を包含することもある。電子記憶装置の電子記憶媒体は、(i)サーバまたはクライアントデバイスと一体的に(例として、実質的に取り外し不可能に)提供されるシステム記憶装置、または(ii)例えば、ポート(例として、USBポート、Firewireポート等)またはドライブ(例として、ディスクドライブ等)を介してサーバまたはクライアントデバイスに取り外し可能に接続される取り外し可能記憶装置、の一方または両方を包含することもある。電子記憶装置は、光学的に可読な記憶媒体(例として、光ディスク等)、磁気的に可読な記憶媒体(例として、磁気テープ、磁気ハードドライブ、フロッピードライブ等)、電荷ベースの記憶媒体(例として、EEPROM、RAM等)、固体記憶媒体(例として、フラッシュドライブ等)、および/または他の電子的に可読な記憶媒体の1つ以上を包含することもある。電子記憶装置は、1つ以上の仮想記憶リソース(例として、クラウド記憶装置、仮想プライベートネットワーク、および/または他の仮想記憶リソース)を包含することもある。電子記憶装置は、ソフトウェアアルゴリズム、プロセッサによって判定された情報、サーバから取得された情報、クライアントデバイスから取得された情報、または本明細書に記載の機能性を可能とする他の情報を格納することもある。
図4は、通信経路428、430、および432もまた包含する。通信経路428、430、および432は、インターネット、携帯電話ネットワーク、モバイル音声またはデータネットワーク(例として、5GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワークまたは通信ネットワークの組合せを包含することもある。通信経路428、430、および432は、衛星経路、光ファイバ経路、ケーブル経路、インターネット通信(例として、IPTV)をサポートする経路、自由空間接続(例として、放送または他の無線信号用)、または他の任意の好適な有線もしくは無線通信経路、またはかかる経路の組み合わせなどの、1つ以上の通信経路を個別にまたは結合して包含することもある。コンピューティングデバイスは、結合して働く複数のハードウェア、ソフトウェア、および/またはファームウェア構成要素を結ぶ追加の通信経路を包含することもある。例えば、コンピューティングデバイスは、コンピューティングデバイスとして結合して働くコンピューティングプラットフォームのクラウドによって実装されることもある。
クラウド構成要素410は、ユーザ用ユーザデータを格納するように構成されたデータベースであってもよい。例えば、データベースは、システムが以前の業務を通してユーザについて収集したユーザデータを包含することもある。代替的に、または加えて、システムは、ユーザに関する多数の情報源のクリアリングハウスとしての役を果たすこともある。クラウド構成要素410はまた、推奨を生成するために必要なさまざまな操作を行うように構成された制御回路を包含することもある。例えば、クラウド構成要素410は、頭部の傾きを検出し、視覚検査パターンを調整し、および/または推奨を生成するように訓練された第1の機械学習モデルを格納するように構成されたクラウドベースの記憶回路を包含することもある。クラウド構成要素410はまた、機械学習モデルに基づいてユーザの意図を判定するように構成されたクラウドベースの制御回路を包含することもある。クラウド構成要素410はまた、会話式対話の間に動的な会話式応答を生成するように構成されたクラウドベースの入出力回路を包含することもある。
クラウド構成要素410は、機械学習モデル402を包含する。機械学習モデル402は、入力404を受け取り、出力406を提供することもある。入力は、トレーニングデータセットおよびテストデータセットなどの多数のデータセットを包含することもある。複数のデータセット(例として、入力404)の各々は、ユーザデータおよび視覚検査パターンに関連するデータサブセットを包含することもあるいくつかの態様において、出力406は、機械学習モデル402を訓練するための入力として機械学習モデル402にフィードバックされることもある(例として、単独で、または出力406の精度に関するユーザの指示、入力に関連付けられたラベル、または他の参照フィードバック情報と合わせて)。例えば、システムは、第1のラベル付き特徴入力を受信することもあり、ここで第1のラベル付き特徴入力は、第1のラベル付き特徴入力のための検査パターン調整でラベル付けされる。次に、システムは、既知の検査パターン調整で第1のラベル付き特徴入力を分類するために、第1の機械学習モデルを訓練することもある。
図5は、頭部の傾きを検出し修正することによる視野検査パターンの修正のためのプロセスフロー図である。例えば、プロセス500が、ヘッドマウントディスプレイを使用して視野検査を提供する際に、図1A~1Cに示すように、1つ以上のデバイスによって取られるステップを表すこともある。
ステップ502にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ヘッドマウントディスプレイ用の視野検査パターンを回収する。例えば、システムは、ヘッドマウントディスプレイ用の視野検査パターンを回収してもよく、ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される刺激を含む。別の例において、アイコンのそれぞれの位置は、第1の方向成分および第2の方向成分によって定義され得る。第1の方向成分は、ユーザの頭部の傾きの度のコサインによって調整され得て、第2の方向成分はユーザの頭部の傾きの度のサインによって調整され得る。
さらに別の例において、刺激のそれぞれの位置が視野上に並んで位置し得て、それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応し得る。また他の例においては、それぞれの位置は、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定され得る。従っていくつかの例において、それぞれの位置が、式
に基づいて判定され、ここでaはそれぞれの位置の1つであり、bはオフセット距離であり、θは角度である。
ステップ504にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、視野検査パターンを表示用に生成する。例えば、システムは、ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成してもよい。
ステップ506にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、傾きセンサからデータを回収する。例えば、システムは、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するために、傾きセンサからデータを回収することもある。傾きセンサは、例えば、ヘッドマウントディスプレイに位置され得る。
ステップ508にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ユーザの頭部の傾きの度を判定する。例えば、システムは、傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定してもよい。
ステップ510にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、頭部の傾きの度を比較する。例えば、システムは、制御回路を使用して、ユーザの頭部の傾きの度を第1のしきい値度と比較することもある。別の例において、プロセス500は、ユーザの頭部の傾きの度を第2のしきい値度と比較し得て、ユーザの頭部の傾きの度が第2のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイの視野内の複数のアイコンのそれぞれの刺激の位置を、第1の量によって自動的に調整する。例えば、第1の量は、ヘッドマウントディスプレイの視野の中心点からのアイコンの距離と、ユーザの頭部の傾きの方向とに基づくものであり得る。
ステップ512にて、プロセス500は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ユーザへの推奨を生成する。例えば、システムは、ユーザへの推奨を表示用に生成することもある。例えば、推奨が、ヘッドマウントディスプレイ上に表示され得る。その生成は、ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答するものでもまたあり得る。
図5のステップまたは記載は、本開示の任意の他の態様と共に使用されることもあるということが想定される。さらに、図5に関連して記載されたステップおよび記載は、本開示の目的を促進するために、代替的な順序で、または並行して為されてもよい。例えば、これらのステップの各々が、任意の順序で、並行して、または同時に行われて、遅れを低減したり、システムまたは方法の速度を増大したりしてもよい。さらに、図1~3に関連して論じられたデバイスまたは機器のいずれもが、図5におけるステップの1つ以上を行うために使用され得ることに留意されたい。
図6は、曲面からの視野検査パターンを平面上に正確に再現するためのプロセスフロー図である。例えば、プロセス600が、ヘッドマウントディスプレイを使用して視野検査を提供する際に、図1A~1Cに示すように、1つ以上のデバイスによって取られるステップを表すこともある。
ステップ602にて、プロセス600は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ヘッドマウントディスプレイ用の視野検査パターンを回収する。例えば、システムは、ヘッドマウントディスプレイ用の視野検査パターンを回収してもよく、ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される刺激を含む。
ステップ604にて、プロセス600は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ヘッドマウントディスプレイの曲率を判定する。例えば、システムは、1つ以上のセンサから受け取っているデータに基づいて、ヘッドマウントディスプレイの曲率を判定することもある。加えてまたは代替的に、システムは、システムが起動されるときに、初期較正(例として、自動較正または手動較正)に基づく設定を受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイのモデル番号またはシリアル番号(または他の識別子)を、モデル番号またはシリアル番号の曲率を記録しているルックアップテーブルに入力することもある。
加えてまたは代替的に、いくつかの態様において、システムは、1つ以上のセンサから受け取っているデータに基づいて、ヘッドマウントディスプレイのオフセット距離を判定することもある。加えてまたは代替的に、システムは、オフセット距離を示しながらシステムが起動されるときに、初期較正(例として、自動較正または手動較正)に基づく設定を受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイのモデル番号またはシリアル番号(または他の識別子)を、モデル番号またはシリアル番号のオフセット距離を記録しているルックアップテーブルに入力することもある。
加えてまたは代替的に、いくつかの態様において、システムは、1つ以上のセンサから受け取っているデータに基づいて、ヘッドマウントディスプレイのオフセット距離を判定することもある。加えてまたは代替的に、システムは、オフセット距離を示しながらシステムが起動されるときに、初期較正(例として、自動較正または手動較正)に基づく設定を受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイのモデル番号またはシリアル番号(または他の識別子)を、モデル番号またはシリアル番号のオフセット距離を記録しているルックアップテーブルに入力することもある。
ステップ606にて、プロセス600は(例として、システム400(図4)における1つ以上の構成要素を使用して)、曲率に基づいてそれぞれの位置を選択する。例えば、システムは、システムによって判定された曲率および/またはオフセット距離に基づいて、それぞれの位置を自動的に調整することもある。いくつかの態様において、システムは、曲率および/またはオフセット距離を受信し(例として、ユーザ端末(例として、ユーザ端末424(図4)内に入力された入力を介して)、それに応じてそれぞれの場所を調整することもある。
ステップ608にて、プロセス600は(例として、システム400(図4)における1つ以上の構成要素を使用して)、ヘッドマウントディスプレイ上の視野検査パターンを表示用に生成する。例えば、視野検査パターンを生成する際に、刺激のそれぞれの位置を視野上に並列して位置され得る。別の例において、それぞれの位置は、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応し得る。
図6のステップまたは記載は、本開示の任意の他の態様と共に使用されることもあることが想定される。さらに、図6に関連して記載されたステップおよび記載は、本開示の目的を促進するために、代替的な順序で、または並行して為されてもよい。例えば、これらのステップの各々が、任意の順序で、並行して、または同時に行われて、遅れを低減したり、システムまたは方法の速度を増大したりしてもよい。さらに、図1~3に関連して論じられたデバイスまたは機器のいずれもが、図6におけるステップの1つ以上を行うために使用され得ることに留意されたい。
図6のステップまたは記載は、本開示の任意の他の態様と共に使用されることもあることが想定される。さらに、図6に関連して記載されたステップおよび記載は、本開示の目的を促進するために、代替的な順序で、または並行して為されてもよい。例えば、これらのステップの各々が、任意の順序で、並行して、または同時に行われて、遅れを低減したり、システムまたは方法の速度を増大したりしてもよい。さらに、図1~3に関連して論じられたデバイスまたは機器のいずれもが、図6におけるステップの1つ以上を行うために使用され得ることに留意されたい。
図7は、1つ以上のセンサまたは他のデバイス構成要素を較正するためのシステム図形を図示する。図7は、処理システム702およびセンサ704を示す。処理システム702は、ハードウェア(例として、1つ以上のプロセッサ、メモリ等)、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを包含することもある。処理システム702は、検査サブシステム710、通信サブシステム712、および較正サブシステム714を包含することもある。これらのサブシステムの各々は、ハードウェアとソフトウェア構成要素の両方を包含することもある。例えば、検査サブシステム710は、プロセッサ、および/またはメモリを包含することもある。通信サブシステム712は、ネットワーク構成要素(例として、ネットワークカード)、およびネットワーク構成要素を動作させるソフトウェアを包含することもあり、このように、ソフトウェアおよびハードウェアを包含する。較正サブシステム714もまた、ソフトウェアとハードウェア構成要素を包含することもある。図7は、センサ(単数または複数)704をも示す。センサ(単数または複数)704は、1つ以上の視標追跡センサ(例として、内向きセンサまたは他のセンサ)を包含することもある。センサ704は、視標追跡および固視計算を行うことができることもある。いくつかの態様において、固視計算は、処理システム702を使用して行われることもある。さらに、図7は、任意の好適なディスプレイ(例として、図1A~1Cに示すヘッドマウントディスプレイ)であってよいディスプレイ706を示す。
いくつかの態様において、処理システム702およびセンサ704は、ディスプレイ706と同じ筐体内に位置されることもある。従って、ヘッドマウントディスプレイは、処理システム702およびセンサ704を包含することもある。さらに、いくつかの態様においては、検査サブシステム710および較正サブシステム714は、組み合わされて単一のサブシステムに組み合わされることもある。
検査サブシステム710は、例えば、ユヘッドマウントディスプレイまたはユーザデバイスの他のインタフェース上に、刺激を表示させることによって、視覚検査を行うこともある。一例として、検査サブシステム710は、視野検査の間に、第1の位置にてユーザデバイス上に第1の刺激を呈させることもある。ユーザデバイスは、ヘッドマウントディスプレイを含んでもよく、またはヘッドマウントディスプレイへ接続されてもよい(例として、有線またはワイヤレスで)。検査サブシステム710は、ディスプレイ706上の特定の位置(例として、第1の位置)にて刺激(例として、視覚的表示)を表示するためのコマンドをディスプレイ706へ送信することによって、第1の刺激をユーザ機器上に呈させることもある。
いくつかの態様において、検査サブシステム710が刺激を表示させると、センサ(単数または複数)704は、ユーザの目(単数または複数)に対して視標追跡および固視検出の操作を行うこともある。センサ(単数または複数)704は、ユーザの目(単数または複数)の方向移動と固視位置との両方を検出する構成要素を包含することもある。センサ(単数または複数)704は、そのデータを処理システム702へ送信することもある。いくつかの態様において、センサ(単数または複数)704は、生の追跡データを、ユーザの目の方向移動と固視位置との両方を検出する構成要素を包含することもある処理システム702へ送信することもある。通信サブシステム712は、追跡データ(追跡データはフィードバックデータと呼ばれることもある)を受信し、そのデータを較正システム714および/または検査サブシステム710に渡すこともある。このように、較正サブシステム714は、視野検査の間に、第1の刺激に関連する第1のフィードバックデータを取得することもある。
較正システム714は、第1のフィードバックデータに基づいて、ユーザの目が第1の刺激に対応する第1の位置上に固定し損なうことを検出することもある。例えば、フィードバックデータは、例えばヘッドマウントディスプレイ上に特定の刺激が表示されたときのユーザの固視位置を包含することもある。較正サブシステム714は、視標追跡センサ(例として、センサ(単数または複数)704)によって検出される固視位置と刺激の位置とを比較して、2つの位置が一致するかどうかを判定することもある。いくつかの態様において、較正サブシステム714は、2つの位置がたとえ同一でなくても(例として、その位置がしきい値の数値、比率、または割合で離れている場合)、2つの場所が一致すると判定することもある。いくつかの態様において、しきい値は、視標追跡センサ(単数または複数)のタイプおよび精度に基づいて判定されてよい。一例として、位置が一致する場合、較正サブシステム714は、ユーザの目(単数または複数)が第1の位置(すなわち、刺激)上に固定したということを検出してよい。しかしながら、位置が一致しない場合、較正サブシステム714は、ユーザの目(単数または複数)が第1の位置(すなわち、刺激)上に固定し損なったということを検出してよい。
いくつかの態様において、ユーザの目が第1の位置に固定し損なったことを示す第1のフィードバックデータに基づいてユーザデバイスの較正を行う場合、較正サブシステム714は、ユーザの目が第1の位置からしきい値距離の範囲内に離れてある異なる位置に固定したということを判定することもある。たとえば、しきい値は1%であることもある。従って、ユーザが1パーセントのしきい値内の点に固定した場合、較正サブシステム714は、ユーザが刺激を固視しており、較正は必要ないと判定することもある。しかしながら、ユーザが1パーセントのしきい値の外側にある点に固定した場合、較正サブシステム714は、ユーザがやはり刺激を固視しており、較正が必要であると判定することもある。較正サブシステム714は、例えば、目の動き方向に基づいて、ユーザが刺激を見たこと、および刺激を固視していることを判定することもある。
別の例において、システムは、ユーザの固視のしきい値検出を有することもある。しきい値の数値は、20%または他の好適な割合にて設定されてよい。1つの使用例において、ユーザが20パーセントのしきい値内にある位置にて固視している場合、較正サブシステム714は、ユーザが刺激を固視しており、較正が必要であると判定することもある。割合は、使用される視標追跡センサのタイプに基づいていてよい。しかしながら、検査サブシステム710および/または較正サブシステム714は、ユーザの目が、第1の位置からしきい値距離の範囲外に離れてある異なる位置に固定されたと判定することに基づいて、ユーザが第1の刺激を見なかったと判定することもある。例えば、ユーザが刺激から20%以上離れた点に固定した場合、検査サブシステム710および/または較正サブシステム714は、ユーザは刺激を見なかったと判定することもある。
較正サブシステム714または検査サブシステム710は、ユーザが第1の位置に固定しそこなったにもかかわらず、ユーザが第1の刺激を見たと判定することもある。いくつかの態様において、検査サブシステム710は、第1の位置(すなわち、刺激の位置)と視標追跡センサ(単数または複数)によって判定された固視位置との間の差異がしきい値の比または割合内にある場合に、ユーザが第1の刺激を見たと判定することもある。いくつかの態様において、較正サブシステム714は、第1の位置(すなわち、刺激の位置)と視標追跡センサ(単数または複数)によって判定された固視位置との間の差異がしきい値の比または割合を超えている場合であっても、ユーザが第1の刺激を見たと判定することもある。例えば、較正サブシステム714は、第1のフィードバックデータに基づいて、ユーザが第1の位置に向かってしきい値量を移動したということを判定することによって、第1の刺激がユーザによって見られたと判定することもある。たとえば、視標追跡データ(例として、フィードバックデータ)は、目の方向移動を包含することもある。目の方向移動データを使用して、較正サブシステム714は、ユーザの目(単数または複数)が刺激(例として、第1の位置)に向かってしきい値量だけ移動したかどうかを判定することもある。しきい値量は、割合、比率、または他の好適なしきい値であってよい。
いくつかの態様において、較正サブシステム714が、第1の位置(すなわち、刺激の位置)が固視位置と一致しないと判定することもあるが、較正サブシステム714は、依然として、ユーザが刺激を見たと判定し、これに対応して視覚検査データを更新し、視標追跡センサを較正することもまたある。例えば、検査サブシステム710がセンサ(例として、センサ(単数または複数)704)から視標追跡データを受信した場合、検査サブシステム710は、第1の位置と固視位置が一致しないと判定することもあり、したがって、ユーザが刺激を見なかったと判定することもある。しかしながら、較正サブシステム714は、ユーザが実際に刺激を見たこと、および較正の必要性により判定が不正確であることを示すために、上記の操作を行うことによって判定を修正することもある。
いくつかの態様においては、検査サブシステム710および較正サブシステム714は、同じサブシステムの一部であることもある。例えば、較正は、検査サブシステム710の一部であり、視覚検査プロセスの一部であることもある。従って、上述の操作は同じサブシステムによって行われることもある。すなわち、検査サブシステム710は、視野検査の間に第1の視野位置にてユーザデバイス上に第1の刺激を呈させ、視野検査の間に第1の刺激に関連する第1のフィードバックデータを取得し、第1のフィードバックデータは、ユーザが第1の刺激を見たことを示し、ならびに、第1のフィードバックデータに基づいて、ユーザの目が第1の刺激に対応する第1の視野位置上に固定し損なうことを検出することもある。
処理システム702は、較正が必要であるかどうかを判定するためのデータ構造を格納することもある。図8は、較正が必要であるかどうかを判定するためのデータ構造を図示する。図8は、識別フィールド802、表示位置フィールド804、固視位置フィールド806、目の動き方向フィールド808を包含するデータ構造800を示す。刺激識別フィールド802は、ユーザへ表示された、または表示されている特定の刺激の識別子を格納する。表示位置フィールド804は、刺激の対応位置(例として、視野位置)を包含する。固視位置フィールド806は、視標追跡センサによって検出された、対応する刺激に関連するユーザの固視の位置を格納する。目の動き方向フィールド808は、ユーザの目が刺激に向かって移動したかどうかを示すこともある。
いくつかの態様において、処理システム702は図8のデータ構造を使用することもある。例えば、検査サブシステム710がディスプレイ706に刺激を表示するよう命令するとき、検査サブシステム710は、刺激識別子フィールド802中に刺激の刺激識別子を格納することもある。さらに、検査サブシステム710は、表示位置フィールド804中に刺激の視野位置を格納することもある。表示位置フィールド804は、刺激が見えている表示の座標を保持することもある。視標追跡データが処理システム702にて受信されると、較正サブシステム714または検査サブシステム710は、ユーザの固視位置を判定し、その情報を固視位置フィールド806内に格納する。固視位置は、表示の座標を包含することもある。さらに、検査サブシステム710または較正サブシステム714は、目の動き方向を目の動き方向フィールド808内に格納することもある。検査サブシステム710または較正サブシステム714は、表示位置フィールド804および固視位置フィールド806内のデータを比較することもある。それらのフィールド内のデータが一致する場合、処理システム702は、ユーザが刺激を見たということを判定してもよい。データが一致しない場合、検査サブシステム710または較正サブシステム714は、目の動き方向フィールド808のデータを使用して、ユーザの目(単数または複数)が刺激に向かって移動したかどうかを判定することもある。例えば、較正サブシステム714または検査サブシステム710は、刺激が表示された後に経時的に視標追跡データを刺激の位置と比較し、判定をすることもある。
ユーザの目が第1の視野位置上に固定し損なったことの検出に基づいて、較正サブシステム714は、視野検査の間に、ユーザデバイスの較正を行うこともある。例えば、較正サブシステム714は、固視位置が第1の視野位置(すなわち、刺激の位置)にそろうように、視標追跡センサ(単数または複数)を較正することもある。さらに、較正サブシステム714または検査サブシステム710は、視野検査の間に、ユーザが第1の刺激を見たという第1の兆候を格納することもある。いくつかの態様において、ユーザデバイスを較正するために、較正サブシステム714は、ユーザが見ている位置を検出するための機能の1つ以上のパラメータを調整することもある。例えば、視標追跡センサが、生の追跡データを収集していることもある。生の追跡データは、ユーザの頭部に対する目の動きの測定、および/またはユーザの固視の点の測定を包含することもある。センサ(単数または複数)の出力は、使用されるセンサのタイプによることもある。較正サブシステム714は、次に、1つ以上の機能を使用して、固視位置および/または目の動き方向を判定することもある。従って、較正の過程において、それらの機能の1つ以上(例として、それらの機能のパラメータ)が調整されることもある。
データ処理システム702は(例として、検査サブシステム710を介して)、第1の刺激の後に表示され得る別の刺激で検査を繰り返すこともある。このように、検査サブシステム710は、視野検査の間に、第2の視野位置にてユーザデバイス上に第2の刺激を呈させることもある。例えば、検査サブシステム710は、第2の視野位置にて第2の刺激を表示するようにヘッドマウントディスプレイへコマンドを送信することもある。検査サブシステム710および/または較正サブシステム714は、視野検査の間に、第2の刺激に関連する第2のフィードバックデータを取得することもある。第2のフィードバックデータは、第1のフィードバックデータと同様のメカニズムを使用して取得されてよい。検査サブシステム710および/または較正サブシステム714は、第2のフィードバックデータに基づいて、ユーザの目が第2の視野位置に向かって移動し固定したことを検出することもある。この判定に基づいて、処理システム702は、ユーザが第2の刺激を見たと判定し、ユーザが第2の刺激を見たという第2の兆候を格納することもある。従って、ユーザの目が第2の視野位置上に固定したことを検出することに応答して、ユーザデバイス(例として、視標追跡センサ)の較正は行われない。第1の兆候および第2の兆候に基づいて、処理システム702は、視覚欠損評価を生成することもある。例えば、処理システム702は、ユーザがいかなる視覚欠損を有するかどうかを判定することもある。各刺激の間にセンサを較正することの1つの利点は、そうしなければ不正確なデータを提供してしまうところを、プロセスが、ユーザがずれることに対してまたはユーザデバイスを、正確に調整することができるようになるということに留意されたい。
図9は、ヘッドマウントディスプレイまたは他のユーザデバイスを較正するためのプロセスフロー図である。902にて、処理システム702は、視野位置にてユーザデバイスへ刺激を呈させる。処理システム702は、プロセッサを使用して、特定の位置にてディスプレイ上に刺激を呈するディスプレイ(例として、ヘッドマウントディスプレイ)へのコマンドを生成することもある。位置はコマンドに包含されることもある。処理システム702は、コマンドをディスプレイ(例として、ヘッドマウントディスプレイ)へ渡してもよい。904にて、処理システム702は、刺激に関連するフィードバックデータを取得する。処理システム702は、1つ以上の視標追跡センサからフィードバックデータを取得することもある。フィードバックデータは、刺激が呈された直後から、次の刺激が呈されるまでの時間を記録したものであってもよい。
906にて、処理システム702は、ユーザの目が刺激に対応する視野位置上に固定し損なうことを検出する。例えば、処理システム702は、1つ以上のプロセッサを使用してフィードバックデータを分析し、検出をすることもある。908にて、処理システム702はユーザデバイスの較正を行う。例えば、ユーザが刺激に対応する視野位置上に固定し損なったと判定することに応答して、処理システム702は、固視位置および/または移動方向を判定するための1つ以上の機能を調整することもある。910にて、処理システム702は、ユーザが刺激を見たという兆候を格納する。兆候は、ユーザが刺激を見たことをシステムに知らせるために、対応する刺激と関連付けて格納されることもある。
図9のステップまたは記載は、本開示の任意の他の態様と共に使用されることもあるということが想定される。さらに、図9に関連して記載されたステップおよび記載は、本開示の目的を促進するために、代替的な順序で、または並行して為されてもよい。例えば、これらのステップの各々が、任意の順序で、並行して、または同時に行われて、遅れを低減したり、システムまたは方法の速度を増大したりしてもよい。さらに、図1A~1Eに関連して論じられたデバイスまたは機器のいずれもが、図9におけるステップの1つ以上を行うために使用され得ることに留意されたい。
図10は、ヘッドマウントディスプレイを較正するために使用されることもある、仮想平面と表示平面との間の例示的な関係を表現する簡略化された図形を図示する。本明細書でさらに記載するように、開示されたシステムは、ヘッドマウントディスプレイにて表示用の多数の刺激(例として、本明細書で「アイコン」と呼ばれる1つ以上の図形要素)を含む較正パターンを生成することもある。
較正は多くの形態をとってもよく、直列および/または並列に表示される1つ以上の刺激を含むこともある。システムは、特定の位置にて刺激が表示されるパターンを表示することもある。位置は、高さ、幅および/または視野角に関して、システムによって定義されることもある。システムは、最適な較正を達成するために、視野の両端にて刺激を生成することもある。例えば、システムは、単一の固定点(例として、視野内の中心点)上のユーザの固視位置を較正するための最適な測定値を受信するために、視野の1つ以上の隅部において刺激を表示することもある。
較正は多くの形態をとってもよく、直列および/または並列に表示される1つ以上の刺激を含むこともある。システムは、特定の位置にて刺激が表示されるパターンを表示することもある。位置は、高さ、幅および/または視野角に関して、システムによって定義されることもある。システムは、最適な較正を達成するために、視野の両端にて刺激を生成することもある。例えば、システムは、単一の固定点(例として、視野内の中心点)上のユーザの固視位置を較正するための最適な測定値を受信するために、視野の1つ以上の隅部において刺激を表示することもある。
図10の例は、ユーザが見ることもある多数の刺激(例として、エッジ刺激1032、1034、1036、1038)を有する視野平面1030を示す簡略化された表示形を表現する。しかし、例えば不適切な装着またはその他の異常のために、これらのエッジ刺激の任意の1つを見ているユーザから取得された視標追跡データが、ヘッドマウントディスプレイによってエッジ刺激が表示される場所に基づいて視標追跡データが予期される場所と一致しないこともある。エッジ刺激1034に対応する視標追跡データ1010の例が示されている。視標追跡データは、その補足時間にわたり目の経路を表す破線で表現される。この例において、システムがエッジ刺激1034を生成するにもかかわらず、視標追跡データは知覚されたエッジ点1024を一般的に取り囲む。
いくつかの態様において、システムは、所定の間隔の較正データを回収することもある。所定の間隔を使用することで、システムにこの時間のデータを正規化できるようにさせ、較正プロセスの自然な結果として起きることがある異常値を除去する。例えば、エッジ点は、本明細書においてエッジ較正期間と呼ばれる期間にわたり視標追跡データを受信することによって判定され得る。エッジ較正期間は、例えば、1秒、5秒等であってよい。いくつかの実施態様において、視標追跡データは、かかる期間にわたり平均化され、平均位置を生成することもある。このプロセスは、多数のエッジ刺激に対して繰り返されることもあり、図10の例において4つが示されている。このように、表現されている通り、エッジ点1032、1034、1036、および1038は、対応する点1022、1024、1026、および1028を生成する。4つの点が示されているが、他の態様においては、それ以外の数(例えば、3、5、8等)の点が使用されてもよく、いくつかの態様においては、システムは、ヘッドマウントディスプレイの視野のエッジにエッジ刺激を生成することもある。例えば、左、右、上、または下のエッジの1つ以上に沿って。特定の態様において、エッジ刺激は、視野の隅部、例えば、左上、右上、左下、または右下にて生成されることもある。また、現在記載されている較正が行われてもいいように、視野内のどこにでも刺激が生成されてもよいこともまた想定される。
従来の較正方法の開示された短所に対処するさまざまな技術的解決策の一部として、特定の開示された態様が、表示されるものとユーザが見るものとの間の差異をシステムが関連付け、査定してもよい方法を記載する。エッジ刺激が表示平面1030(すなわち、エッジ刺激が表示される、システムによって確立される平面)を定義することがあるのと同様の方法で、エッジ点もまた仮想平面1020を定義することがある。システムは、仮想平面1020内の任意の位置を表示平面1030へ変換するエッジ視標追跡データに基づいて射影変換行列を計算することもある。従って、以下にさらに記載するように、刺激または他の較正パターンがヘッドマウントディスプレイによって生成され、較正パターンと比較するために取得された視標追跡データが表示平面上に逆マッピングされることもある。
システムは、一般的な変換(例として、以前は並列だった刺激が人によって見られる場合にそうでない場合があるので、並列性が観察されることを強制しないもの)に特に有用な射影変換行列を計算してもよい。以下の例は、システムが、2つの平面1020と1030との間の座標変換のために射影変換行列を生成および/または利用する方法を例証する:
上記の行列式において、2x2の「a」部分行列は回転行列、2x1の「b」部分行列は変換ベクトル、1x2の「c」部分行列は射影ベクトルである。x、y要素は、表示平面におけるエッジ刺激(例として、エッジ刺激1034)のx、y座標に対応し、x’、y’要素は、仮想平面における点(例として、点1024)のx、y座標に対応している。射影変換行列を適用するために、システムは、図10に示すような疑似コードを実行してもよい。
例えば、射影変換は、任意の四角形(すなわち、4点からなる系)を別の四角形に変換することとして表され得る。代替的にまたは加えて、システムは、異なる数の点に基づく変換を使用してもよい。例えば、システムは、三角形の変換であるアフィン変換を使用してもよい。システムは、生成された刺激の数に基づいて変換のタイプを選択してもよい。システムは、1つ以上の基準に基づいて、生成される刺激の数を選択してもよい。例えば、システムは、決められた精度の程度を達成するため、および/または正確さの特定のしきい値レベルを満たすために必要な多数の刺激を判定してもよい。システムは、同様に、検査のタイプ、必要な較正の量、および/または較正の頻度に基づいて、刺激の数を選択してもよい。
例えば、システムは、ヘッドマウントデバイスのユーザが使用開始時に、4点(例として、射影変換)較正が使用されることを判定してもよい。その後、システムは、追加の較正が行われる必要があるかどうか、およびその場合、何個の刺激が表示される必要があるかを(例として、基準の階層を使用して)判定することもある。
図11は、較正スコアを生成するために使用される例示的な中心点および境界を表現する簡略化された図形を図示する。いくつかの実施態様において、視野におけるより中心的な点(かかる場所がほとんどの視覚検査パターンが表示される場所なので)を基礎として較正を行うことがより関心が高いこともある。システムは、ヘッドマウントディスプレイ上の中心位置にて、中心刺激1100を表示用に生成することもある。システムは、上述のエッジ較正期間(単数または複数)と同様に、中心較正期間の間に中心視標追跡データを受信することもある。仮想平面内の計算された点は、射影変換行列を利用するシステムによって、表示平面内の本明細書で「固視位置」と呼ばれるものに変換されることもある。システムは、中心刺激1100と固視位置1110との間の差異1140(例として、ピクセル、mm、または他の同様の距離計量における差分(delta))に基づく較正スコアを生成することもある。挿入図は、この例をより詳細に示し、例示的な視標追跡データ1130、および中心刺激1100と固視位置1110との間の差異1140を包含する。また、さまざまな態様において、差異1140は、中心刺激と固視位置の等価点の判定をすることを通して、仮想平面1020において同様に計算されてよい。このようにして、点の任意の組み合わせが、いずれの平面においても利用され、ならびに射影変換行列を介して互いに関連付けられ、差異や境界(後述のように)に対する位置等が計算されることもあるということが想定される。
いくつかの実施態様において、システムは、固視位置および/または視標追跡データが所定の境界内にあるかどうかに基づいて、較正の精度を査定することもある。例えば、図11に示すように、システムは、境界1120を生成することもある。いくつかの実施態様において、かかる境界は、中心刺激1100から所定の半径を有する円であってもよいが、正方形、六角形等の他の境界形状が使用されてもよい。一部の実施態様において、境界はヘッドマウントディスプレイによって視覚的に表示されることもあるが、これは必要ではなく、代わりに境界は、座標または他の境界定義アルゴリズムとしてコンピュータメモリ内に単に備わることもある。従って、システムは、境界のサイズ(例として、半径)に基づいて較正スコアを判定してもよい。
前述したように、較正スコアは、較正の信頼度を示すものであることもある。このようにして、較正が失敗したとシステムによって判定された場合(例として、固視位置が境界の半径の外側にある)、システムは、境界のサイズを大きくする(例として、より大きい半径の境界)のではなく、較正の少なくとも一部(例として、エッジ視標追跡データ、中心視標追跡データの取得、および/または射影変換行列の計算)を繰り返してもよい。例えば、一態様において、固視位置が生成された第1の(または初期の)境界内にあると計算された場合、較正は100のスコア(おそらく可能な限り最良の較正に対応している)を与えられてよい。較正の試みが失敗した場合は、次に、例えば、境界の半径を20%増大し、較正が成功した場合は、90のスコアを与えられてもよい。境界のサイズと較正スコアとの間の任意のかかる関係は、当業者によって履行されるように、システムによって使用されてもよい。
また、システムは、固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定してもよい。例えば、固視位置が境界のボックス、エッジ刺激によって定義される領域等の外側にある場合に、かかる判定がシステムによって行われることもある。較正をさらに洗練させ得る別の関連する実施態様は、たとえ平均位置が上述の境界の1つの中にある場合でも、視標追跡データにおいて大きな持続的な偏差を許容しないことである。例えば、システムは、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱しているかどうかに基づいて、ユーザが中心位置を熟視していないという判定をすることもある。1つの具体例として、空間的偏差しきい値は、境界の外側の任意の距離であってよいが、より大きな境界(例として、現在の境界の半径の1.1倍、1.5倍)であってもよい。短時間の変動は許容されることもあるものの、時間的偏差しきい値は、例えば、1ms、10ms、100ms等とシステムによって設定されてよい。このように、ユーザの固視が、例えば、左方向に大きくずれて、そこに留まった場合、較正プロセス上での集中または注意が失われた可能性を示し、システムは較正が失敗したと判定するであろう。
図12は、ヘッドマウントディスプレイを較正するためのプロセスフロー図である。例えば、ヘッドマウントディスプレイを較正するときに、図1A~1Eに示すように、1つ以上のデバイスによって取られるステップをプロセス1200が表すこともある。
ステップ1202にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、エッジ視標追跡データを受信する。例えば、システムは、エッジ較正期間の間にエッジ視標追跡データを受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイ上に多数のエッジ刺激を表示用に生成することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイの視野のエッジ上にエッジ刺激を生成することもある。
ステップ1204にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、射影変換行列を計算する。例えば、システムは、エッジ視標追跡データに基づいて射影変換行列を計算することもある。例えば、システムは、擬似コード1300(図13)、および/または図10に記載されたプロセスを使用することもある。
ステップ1206にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、中心視標追跡データを受信する。例えば、システムは、中心較正期間の間に中心視標追跡データを受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイ上の中心位置にて、中心刺激を表示用に生成することもある。加えてまたは代替的に、システムは、中心刺激の周囲に境界を生成し、ヘッドディスプレイに境界を表示することもある。
ステップ1208にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、中心視標追跡データへ射影変換行列を適用する。例えば、システムは、射影変換行列を中心視標追跡データへ適用して、固視位置を判定することもある。
ステップ1210にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、較正スコアを生成する。例えば、システムは、中心の位置と固視位置との間の差異に基づいて較正スコアを生成することもある。較正スコアが、ヘッドマウントディスプレイを用いて行われる視力検査の精度を示すこともある。加えてまたは代替的に、システムは、差異に基づいて、固視位置が境界の内側にあるかどうかを判定することもある。加えてまたは代替的に、較正スコアは、境界のサイズに基づくこともある。加えてまたは代替的に、システムは、固視位置が境界(ここで境界のサイズはより大きい)の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すこともある。加えてまたは代替的に、システムは、固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定することもある。ユーザが中心位置を熟視していないと判定することに応答して、システムは、較正の少なくとも一部分をくり返すこともある。加えてまたは代替的に、ユーザが中心位置を熟視していないというシステムによる判定は、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とすることもある。
ステップ1204にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、射影変換行列を計算する。例えば、システムは、エッジ視標追跡データに基づいて射影変換行列を計算することもある。例えば、システムは、擬似コード1300(図13)、および/または図10に記載されたプロセスを使用することもある。
ステップ1206にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、中心視標追跡データを受信する。例えば、システムは、中心較正期間の間に中心視標追跡データを受信することもある。加えてまたは代替的に、システムは、ヘッドマウントディスプレイ上の中心位置にて、中心刺激を表示用に生成することもある。加えてまたは代替的に、システムは、中心刺激の周囲に境界を生成し、ヘッドディスプレイに境界を表示することもある。
ステップ1208にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、中心視標追跡データへ射影変換行列を適用する。例えば、システムは、射影変換行列を中心視標追跡データへ適用して、固視位置を判定することもある。
ステップ1210にて、プロセス1200は(例として、システム400(図4)における1つ以上の構成要素を使用して)、較正スコアを生成する。例えば、システムは、中心の位置と固視位置との間の差異に基づいて較正スコアを生成することもある。較正スコアが、ヘッドマウントディスプレイを用いて行われる視力検査の精度を示すこともある。加えてまたは代替的に、システムは、差異に基づいて、固視位置が境界の内側にあるかどうかを判定することもある。加えてまたは代替的に、較正スコアは、境界のサイズに基づくこともある。加えてまたは代替的に、システムは、固視位置が境界(ここで境界のサイズはより大きい)の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すこともある。加えてまたは代替的に、システムは、固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定することもある。ユーザが中心位置を熟視していないと判定することに応答して、システムは、較正の少なくとも一部分をくり返すこともある。加えてまたは代替的に、ユーザが中心位置を熟視していないというシステムによる判定は、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とすることもある。
図12のステップまたは記載は、本開示の任意の他の態様と共に使用されることもあるということが想定される。さらに、図12に関連して記載されたステップおよび記載は、本開示の目的を促進するために、代替的な順序で、または並行して為されてもよい。例えば、これらのステップの各々が、任意の順序で、並行して、または同時に行われて、遅れを低減したり、システムまたは方法の速度を増大したりしてもよい。さらに、図1A~1Eに関連して論じられたデバイスまたは機器のいずれもが、図12におけるステップの1つ以上を行うために使用され得ることに留意されたい。
図13は、本開示の特定の側面に従ってヘッドマウントディスプレイを較正するための例示的な疑似コードである。例えば、擬似コード1300は、本明細書に記載の射影変換行列を計算するための例示的な擬似コードを表す。以下の例は、システムが、2つの平面(例として、図10の平面1020および1030)の間の座標変換のために射影変換行列を生成および/または利用する方法を例証する。例えば、擬似コード1300は、図10において記載した4x4の値を生成することもある。かかる場合において、擬似コード1300において識別される点は、表示平面におけるエッジ刺激(例として、エッジ刺激1034)のx、y座標に、ならびに仮想平面における点(例として、点1024)のx、y座標に対応することもある。
本開示の上述の態様は、例示の目的で提示されるものであり、限定する目的ではなく、ならびに本開示は、後に続く特許請求の範囲によってのみ限定されるものである。いくつかの態様が、ヘッドマウントディスプレイの較正に関して本明細書に記載されているが、かかる技術は、他の態様において1つ以上の他のユーザデバイスの較正に適用されてもよい。さらに、いずれの一態様において記載された特徴および制限は、本明細書のいずれの他の態様に適用されてもよく、一態様に関するフローチャートまたは例は、いずれの他の態様と好適なやり方で、異なる順序で、または並行して組み合わされてもよいことに留意されたい。さらに、本明細書に記載されたシステムおよび方法は、リアルタイムで行われてもよい。また、上述のシステムおよび/または方法は、他のシステムおよび/または方法に適用されてもよく、または他のシステムおよび/または方法に従って使用されてもよいことに留意されたい。
以下において、本開示のさらなる特徴、特性、および例示的な技術的解決策を、いずれの組み合わせで任意に請求してもよい態様の観点から記載する:
1.ヘッドマウントディスプレイ用の視野検査パターンを回収すること;およびヘッドマウントディスプレイ上に視野検査パターンを表示用に生成することを含む方法。
2.視野検査パターンが、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される刺激を含む、先行する態様のいずれかに記載の方法。
3.ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサからデータを回収すること;傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定すること;およびユーザの頭部の傾きの度を第1のしきい値度と比較することをさらに含む、先行する態様のいずれかに記載の方法。
4.ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成することをさらに含む、先行する態様のいずれかに記載の方法。
1.ヘッドマウントディスプレイ用の視野検査パターンを回収すること;およびヘッドマウントディスプレイ上に視野検査パターンを表示用に生成することを含む方法。
2.視野検査パターンが、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される刺激を含む、先行する態様のいずれかに記載の方法。
3.ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサからデータを回収すること;傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定すること;およびユーザの頭部の傾きの度を第1のしきい値度と比較することをさらに含む、先行する態様のいずれかに記載の方法。
4.ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成することをさらに含む、先行する態様のいずれかに記載の方法。
5.ユーザの頭部の傾きの度を第2のしきい値度と比較すること;およびユーザの頭部の傾きの度が第2のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイの視野内の刺激のそれぞれの刺激の位置を、第1の量によって自動的に調整することをさらに含む、先行する態様のいずれかに記載の方法。
6.第1の量が、ヘッドマウントディスプレイの視野の中心点からの刺激の距離と、ユーザの頭部の傾きの方向とに基づいている、先行する態様のいずれかに記載の方法。
7.刺激のそれぞれの位置が、第1の方向成分および第2の方向成分によって定義され、ならびに第1の方向成分が、ユーザの頭部の傾きの度のコサインによって調整され、第2の方向成分が、ユーザの頭部の傾きの度のサインによって調整される、先行する態様のいずれかに記載の方法。
8.刺激のそれぞれの位置が視野上に並んで位置し、それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、先行する態様のいずれかに記載の方法。
9.それぞれの位置が、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定される、先行する態様のいずれかに記載の方法。
6.第1の量が、ヘッドマウントディスプレイの視野の中心点からの刺激の距離と、ユーザの頭部の傾きの方向とに基づいている、先行する態様のいずれかに記載の方法。
7.刺激のそれぞれの位置が、第1の方向成分および第2の方向成分によって定義され、ならびに第1の方向成分が、ユーザの頭部の傾きの度のコサインによって調整され、第2の方向成分が、ユーザの頭部の傾きの度のサインによって調整される、先行する態様のいずれかに記載の方法。
8.刺激のそれぞれの位置が視野上に並んで位置し、それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、先行する態様のいずれかに記載の方法。
9.それぞれの位置が、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定される、先行する態様のいずれかに記載の方法。
10.それぞれの位置が、式
に基づいて判定され、ここでaはそれぞれの位置の1つであり、bはオフセット距離であり、θは角度である、先行する態様のいずれかに記載の方法。
11.ヘッドマウントディスプレイの曲率を判定すること、およびその曲率に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
12.ヘッドマウントディスプレイのオフセット距離を判定すること、およびそのオフセット距離に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
13.ヘッドマウントディスプレイの中心点を判定すること、およびその中心点に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
11.ヘッドマウントディスプレイの曲率を判定すること、およびその曲率に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
12.ヘッドマウントディスプレイのオフセット距離を判定すること、およびそのオフセット距離に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
13.ヘッドマウントディスプレイの中心点を判定すること、およびその中心点に基づいてそれぞれの位置を選択することをさらに含む、先行する態様のいずれかに記載の方法。
14.複数のエッジ較正期間の間にエッジ視標追跡データを受信すること;エッジ視標追跡データに基づいて射影変換行列を計算すること;中心較正期間の間に中心視標追跡データを受信すること;射影変換行列を中心視標追跡データへ適用して、固視位置を判定すること、および中心位置と固視位置との間の差異に基づいて較正スコアを生成することを包む方法。
15.ヘッドマウントディスプレイ上に刺激を表示用に生成すること;およびヘッドマウントディスプレイ上の中心位置にて中心刺激を表示用に生成することをさらに含む、態様14に記載の方法。
16.刺激がヘッドマウントディスプレイの視界のエッジ上に生成される、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
17.刺激がヘッドマウントディスプレイの視界の隅部にて生成される、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
18.較正スコアが、ヘッドマウントディスプレイを用いて行われる視力検査の精度を示すものである、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
19.中心刺激のまわりに境界を生成すること;差異に基づいて、固視位置が境界の内側にあるかどうかを判定すること;および境界のサイズに基づいて、較正スコアを判定することをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
15.ヘッドマウントディスプレイ上に刺激を表示用に生成すること;およびヘッドマウントディスプレイ上の中心位置にて中心刺激を表示用に生成することをさらに含む、態様14に記載の方法。
16.刺激がヘッドマウントディスプレイの視界のエッジ上に生成される、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
17.刺激がヘッドマウントディスプレイの視界の隅部にて生成される、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
18.較正スコアが、ヘッドマウントディスプレイを用いて行われる視力検査の精度を示すものである、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
19.中心刺激のまわりに境界を生成すること;差異に基づいて、固視位置が境界の内側にあるかどうかを判定すること;および境界のサイズに基づいて、較正スコアを判定することをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
20.ヘッドマウントディスプレイにて境界を表示することをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
21.固視位置が境界(ここで境界のサイズはより大きい)の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すことをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
22.固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定すること;およびユーザが中心位置を熟視していないと判定することに応答して、較正の少なくとも一部分をくり返すことをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
23.ユーザが中心位置を熟視していないという判定が、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とする、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
21.固視位置が境界(ここで境界のサイズはより大きい)の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すことをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
22.固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定すること;およびユーザが中心位置を熟視していないと判定することに応答して、較正の少なくとも一部分をくり返すことをさらに含む、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
23.ユーザが中心位置を熟視していないという判定が、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とする、態様14またはそれに従属する先行する態様のいずれかに記載の方法。
24.ヘッドマウントディスプレイ;ヘッドマウントディスプレイにて位置し、瞳孔の動きを追跡するように構成された内向きセンサ;ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される複数の刺激を格納するように構成された記憶回路;および態様1~23のいずれかに記載の操作を含む操作を行うように構成された制御回路を含むシステム。
25.データ処理装置によって実行されるとき、データ処理装置に態様1~23のいずれかに記載の操作を含む操作を行わせる命令を格納する、有形の非一時的な機械可読媒体。
26.1つ以上のプロセッサ;およびプロセッサによって実行されるとき、プロセッサに態様1~23のいずれかに記載の操作を含む操作を成し遂げさせる命令を格納するメモリ、を含むシステム。
27.態様1~23のいずれかを行うための手段を含むシステム。
25.データ処理装置によって実行されるとき、データ処理装置に態様1~23のいずれかに記載の操作を含む操作を行わせる命令を格納する、有形の非一時的な機械可読媒体。
26.1つ以上のプロセッサ;およびプロセッサによって実行されるとき、プロセッサに態様1~23のいずれかに記載の操作を含む操作を成し遂げさせる命令を格納するメモリ、を含むシステム。
27.態様1~23のいずれかを行うための手段を含むシステム。
以下において、本開示のさらなる特徴、特性、および例示的な技術的解決策を、いずれの組み合わせで任意に請求してもよい態様の観点から記載する:
1.第1の位置にてユーザデバイス上に第1の刺激を呈させること;第1の位置にて呈された第1の刺激に関連する第1のフィードバックデータを取得すること;ユーザデバイスの較正を行うこと;およびユーザが第1の刺激を見たという第1の兆候を格納すること、を含む方法。
2.ユーザの目が第1の位置上に固定し損なったことを示す第1のフィードバックデータに基づいて、ユーザデバイスの較正が行われる、上記態様のいずれかに記載の方法。
3.視野検査の間かつ較正後に、第2の位置にてユーザデバイス上に第2の刺激を呈させること;視野検査の間に、第2の刺激に関連する第2のフィードバックデータを取得すること;第2のフィードバックデータに基づいて、ユーザの目が第2の位置に向かって移動し固定したことを検出すること;および視野検査の間に、ユーザが第2の刺激を見たという第2の兆候を格納することを含み、ここで、ユーザの目が第2の位置上に固定したことを検出することに応答して、ユーザデバイスの較正が行われない、上記態様のいずれかに記載の方法。
1.第1の位置にてユーザデバイス上に第1の刺激を呈させること;第1の位置にて呈された第1の刺激に関連する第1のフィードバックデータを取得すること;ユーザデバイスの較正を行うこと;およびユーザが第1の刺激を見たという第1の兆候を格納すること、を含む方法。
2.ユーザの目が第1の位置上に固定し損なったことを示す第1のフィードバックデータに基づいて、ユーザデバイスの較正が行われる、上記態様のいずれかに記載の方法。
3.視野検査の間かつ較正後に、第2の位置にてユーザデバイス上に第2の刺激を呈させること;視野検査の間に、第2の刺激に関連する第2のフィードバックデータを取得すること;第2のフィードバックデータに基づいて、ユーザの目が第2の位置に向かって移動し固定したことを検出すること;および視野検査の間に、ユーザが第2の刺激を見たという第2の兆候を格納することを含み、ここで、ユーザの目が第2の位置上に固定したことを検出することに応答して、ユーザデバイスの較正が行われない、上記態様のいずれかに記載の方法。
4.第1のフィードバックデータおよび第2のフィードバックデータに基づいて、視覚欠損評価を生成することをさらに含む、上記態様のいずれかに記載の方法。
5.第1のフィードバックデータが、視標追跡データを包含し、ならびに目の検出および第1の兆候の格納が、視標追跡データに基づいて行われる、上記態様のいずれかに記載の方法。
6.第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置のしきい値距離内であるということを判定することによって、第1の刺激が見られたと判定することをさらに含む、上記態様のいずれかに記載の方法。
7.第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置に向かってしきい値量を移動したということを判定することによって、第1の刺激が見られたと判定することをさらに含む、上記態様のいずれかに記載の方法。
5.第1のフィードバックデータが、視標追跡データを包含し、ならびに目の検出および第1の兆候の格納が、視標追跡データに基づいて行われる、上記態様のいずれかに記載の方法。
6.第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置のしきい値距離内であるということを判定することによって、第1の刺激が見られたと判定することをさらに含む、上記態様のいずれかに記載の方法。
7.第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置に向かってしきい値量を移動したということを判定することによって、第1の刺激が見られたと判定することをさらに含む、上記態様のいずれかに記載の方法。
8.ユーザの目が第1の位置に固定し損なったことを示す第1のフィードバックデータに基づいてユーザデバイスの較正を行うことが、ユーザの目が第1の位置からしきい値距離の範囲内に離れてある異なる位置に固定したことを判定することを含む、上記態様のいずれかに記載の方法。
9.ユーザの目が、第1の位置からしきい値距離の範囲外に離れてある異なる位置に固定されたと判定することに基づいて、ユーザが第1の刺激を見なかったと判定することをさらに含む、上記態様のいずれかに記載の方法。
10.ユーザデバイスの較正が、ユーザが見ている位置を検出するための機能の1つ以上のパラメータを調整することを含む、上記態様のいずれかに記載の方法。
11.ユーザデバイスが、ヘッドマウントディスプレイを含む、上記態様のいずれかに記載の方法。
12.ヘッドマウントディスプレイに位置し、1つ以上の目の動きを追跡するように構成された内向きセンサ;ヘッドマウントディスプレイのそれぞれの位置にて表示される刺激を生成するためのデータを格納するように構成された記憶回路;および態様1~11のいずれかに記載の操作を含む操作を行うように構成された制御回路を含むシステム。
13.1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに態様1~11のいずれかに記載の操作を含む操作を行わせる命令を格納する、有形の非一時的な機械可読媒体。
14.1つ以上のプロセッサ;およびプロセッサによって実行されるとき、プロセッサに態様1~11のいずれかに記載の操作を含む操作を成し遂げさせる命令を格納するメモリを含むシステム。
15.態様1~11のいずれかに記載の操作を行うための手段を含むシステム。
9.ユーザの目が、第1の位置からしきい値距離の範囲外に離れてある異なる位置に固定されたと判定することに基づいて、ユーザが第1の刺激を見なかったと判定することをさらに含む、上記態様のいずれかに記載の方法。
10.ユーザデバイスの較正が、ユーザが見ている位置を検出するための機能の1つ以上のパラメータを調整することを含む、上記態様のいずれかに記載の方法。
11.ユーザデバイスが、ヘッドマウントディスプレイを含む、上記態様のいずれかに記載の方法。
12.ヘッドマウントディスプレイに位置し、1つ以上の目の動きを追跡するように構成された内向きセンサ;ヘッドマウントディスプレイのそれぞれの位置にて表示される刺激を生成するためのデータを格納するように構成された記憶回路;および態様1~11のいずれかに記載の操作を含む操作を行うように構成された制御回路を含むシステム。
13.1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに態様1~11のいずれかに記載の操作を含む操作を行わせる命令を格納する、有形の非一時的な機械可読媒体。
14.1つ以上のプロセッサ;およびプロセッサによって実行されるとき、プロセッサに態様1~11のいずれかに記載の操作を含む操作を成し遂げさせる命令を格納するメモリを含むシステム。
15.態様1~11のいずれかに記載の操作を行うための手段を含むシステム。
本開示は、本明細書の態様において開示された計算が、本明細書で教示された同じ概念を適用して多数の仕方で実行されてもよいこと、およびかかる計算が開示された態様と同等であることを想定する。
本明細書に記載される主題の1つ以上の側面または特徴は、デジタル電子回路、集積回路、特別に設計された特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせにおいて実現され得る。これらの様々な側面または特徴は、特殊用途または汎用用途であり得て、記憶システムからデータおよび命令を受信し、記憶システムへデータおよび命令を送信するために結合された少なくとも1つのプログラム可能なプロセッサ、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスを包含するプログラム可能なシステム上で、実行可能および/または解釈可能である1つ以上のコンピュータプログラムにおける実施態様を包含し得る。プログラム可能なシステムまたはコンピューティングシステムは、クライアントおよびサーバを包含してもよい。クライアントとサーバは一般的には互いに遠く離れており、典型的に、通信ネットワークを通して対話する。クライアントとサーバとの関係は、各々のコンピュータ上で動作し、互いにクライアント/サーバ関係を有するコンピュータプログラムによって生じる。
これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリケーション、コンポーネント、またはコードとも呼ばれ、プログラム可能なプロセッサのための機械命令を包含し、高レベルの手続き型言語、オブジェクト指向プログラミング言語、関数型プログラミング言語、論理型プログラミング言語、および/またはアセンブリ/機械言語で実装され得る。本明細書に使用されるとき、用語「機械可読媒体」(または「コンピュータ可読媒体」)は、例えば、磁気ディスク、光ディスク、メモリ、およびプログラマブルロジックデバイス(PLD)などの任意のコンピュータプログラム製品、装置および/またはデバイスを意味し、機械可読信号として機械命令を受信する機械可読媒体を包含するプログラム可能なプロセッサへ、機械命令および/またはデータを提供するために使用されるものである。用語「機械可読信号」(または「コンピュータ可読信号」)は、機械命令および/またはデータをプログラム可能なプロセッサへ提供するために使用される任意の信号を意味する。機械可読媒体は、例えば、非一過性固体状メモリまたは磁気ハードドライブまたは任意の同等の記憶媒体などのように、かかる機械命令を非一過性に格納し得る。機械可読媒体は、代替的または加えて、例えば、1つ以上の物理的プロセッサコアに関連するプロセッサキャッシュまたは他のランダムアクセスメモリなどのように、一過性のやり方において、かかる機械命令を格納し得る。
ユーザとの対話を提供するために、本明細書に記載の主題の1つ以上の側面または特徴は、ユーザへ情報を表示するための例えば陰極線管(CRT)または液晶ディスプレイ(LCD)または発光ダイオード(LED)モニタなどの表示デバイス、ならびにユーザがコンピュータへ入力を提供することもあるキーボードおよび例えばマウスやトラックボールなどのポインティングデバイスを有するコンピュータ上に実装され得る。また、他の種類のデバイスを使用して、ユーザとの対話を提供することも可能である。例えば、ユーザへ提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックなどの任意の形態の知覚フィードバックであり得て;ユーザからの入力は、音響、音声、または触覚入力を包含するがこれらに限定されない任意の形態において受信されてよい。他の可能な入力デバイスは、タッチスクリーン、または単点または多点の抵抗性または容量性トラックパッドなどの他の接触感応デバイス、音声認識ハードウェアおよびソフトウェア、光学スキャナ、光学ポインタ、デジタル画像取り込みデバイスおよび関連する判断ソフトウェアなどを包含するが、これらに限定されるものではない。
上記の記述において、および特許請求の範囲において、「少なくとも1つの」または「1つ以上の」などの語句は、一連の要素または特徴が連結する場合に現れることがある。用語「および/または」もまた、一連の2つ以上の要素または特徴において現れることもある。使用される文脈によって暗黙的または明示的に矛盾しない限り、かかる語句は、一連の要素または特徴のいずれかを個別に、または列挙された要素または特徴のいずれかを他の列挙された要素または特徴のいずれかと組み合わせたものを意味することを意図する。例えば、「AおよびBの少なくとも1つ」;「AおよびBの1つ以上」;ならびに「Aおよび/またはB」という語句は、それぞれ「A単独、B単独、またはAとBとが一緒に」を意味することを意図する。3つ以上の項目を包含する一連のものに対してもまた、同様の解釈を意図する。例えば、「A、B、およびCの少なくとも1つ」;「A、B、およびCの1つ以上」;ならびに「A、B、および/またはC」という語句は、それぞれ「A単独、B単独、C単独、AとBとが一緒に、AとCとが一緒に、BとCとが一緒に、またはAとBとCとが一緒に」を意味することを意図する。上記および特許請求の範囲における用語「に基づいて」の使用は、「少なくとも部分的に基づいて」を意味することを意図し、列挙されない特徴または要素もまた容認される。
本明細書に記載の主題は、所望の構成に応じて、システム、装置、方法、コンピュータプログラムおよび/または論説において具体化され得る。添付の図中に表現された、および/または本明細書に記載されたいずれの方法または論理フローも、望ましい結果を達成するために、示された特定の順序、または連続的な順序を必ずしも必要としない。前述の記載に述べられた実施態様は、本明細書に記載の主題と一致するすべての実施態様を表すものではない。それよりも、それらは単に、記載された主題に関連する側面に一致するいくつかの例である。上記に、いくつかの変形例が詳細に記載されたが、他の変更または追加も可能である。特に、本明細書に述べられたものに加えて、さらなる特徴および/または変形例が提供され得る。上述の実施態様は、開示された特徴の様々な組み合わせおよび部分的組み合わせ、ならびに/または上記のさらなる特徴の組み合わせおよび部分的組み合わせへ方向づけられ得る。さらに、上述の利点は、利点のいずれかまたはすべてを完遂するプロセスおよび構造へのいかなる交付される特許請求の範囲の適用を制限することを意図するものではない。
加えて、項目の見出しは、本開示から発行することもある特許請求の範囲に述べられた発明(単数または複数)を限定したり、特徴付けたりするものではない。さらに、「背景」における技術の記載は、その技術が本開示におけるいずれの発明(単数または複数)に対する先行技術であることを認めるものとして解釈されるべきではない。また、「要約」は、発行される特許請求の範囲内に述べられた発明(単数または複数)の特徴として考慮されるべきでもない。さらに、本開示に対する一般的ないかなる言及、または単数形における単語「発明」の使用は、以下に述べられる特許請求の範囲の範囲に関していかなる限定を意味することを意図しない。多数の発明が、本開示から発行する多数の特許請求の範囲の制限に従って述べられてもよく、かかる特許請求の範囲は、それによって保護される発明(単数または複数)およびその等価物を適宜定義する。
Claims (60)
- ヘッドマウントディスプレイへ接続されたセンサを較正するためのシステムであって、該システムは:
ヘッドマウントディスプレイに位置し、1つ以上の目の動きを追跡するように構成された内向きセンサ;
ヘッドマウントディスプレイのそれぞれの位置にて呈される刺激を生成するためのデータを格納するように構成された記憶回路;および
制御回路であって:
ユーザの視野を検査するための検査位置のセットを取得し、ここで検査位置のセット内の各検査位置は、ユーザの視野の視野位置に対応し;
検査位置のセットの各視野位置について:
視野検査の間に、視野位置にてヘッドマウントディスプレイ上に刺激を呈させ;
視野検査の間に、刺激に関連する視標追跡データを取得し、視標追跡データは、ユーザが刺激を見たことを示し;
視標追跡データに基づいて、ユーザの目が視野位置に向かって移動したが、固定しなかったことを検出し;
ユーザの目が視野位置に向かって移動したが固定しなかったことを検出することに応答して:
(i)視野検査の間に、内向きセンサの較正を行い、ここで、較正は、ユーザが固定した位置が視野位置に一致するように内向きセンサの構成を調節することを含み;および
(ii)視野検査の間に、ユーザが刺激を見たという兆候を格納し;および
兆候に基づいて、視覚欠損評価を生成する、
ように構成された前記回路を含む、
前記システム。 - ユーザの目が視野位置上に固定したことを検出することに応答して、内向きセンサの較正が行われない、請求項1に記載のシステム。
- 方法であって、
視野検査の間に、第1の視野位置にてユーザデバイス上に第1の刺激を呈させること;
視野検査の間に、第1の刺激に関連する第1のフィードバックデータを取得すること、ここで第1のフィードバックデータは、ユーザが第1の刺激を見たことを示し;
第1のフィードバックデータに基づいて、ユーザの目が第1の刺激に対応する第1の視野位置上に固定し損なうことを検出すること;
視野検査の間に、ユーザの目が第1の視野位置上に固定し損なうことを検出することに基づいて、ユーザデバイスの較正を行うこと;および
視野検査の間に、ユーザが第1の刺激を見たという第1の兆候を格納することを含む、
前記方法。 - さらに以下:
視野検査の間に、第2の視野位置にてユーザデバイス上に第2の刺激を呈させること;
視野検査の間に、第2の刺激に関連する第2のフィードバックデータを取得すること;
第2のフィードバックデータに基づいて、ユーザの目が第2の視野位置に向かって移動し固定したことを検出すること;および、
視野検査の間に、第2のフィードバックデータに基づいて、ユーザが第2の刺激を見たという第2の兆候を格納すること、を含み、ここで、ユーザの目が第2の視野位置上に固定したことを検出することに応答して、ユーザデバイスの較正が行われない、
請求項3に記載の方法。 - 第1の兆候および第2の兆候に基づいて、視覚欠損評価を生成することをさらに含む、請求項4に記載の方法。
- 第1のフィードバックデータが、視標追跡データを含み、ならびに目の検出および第1の兆候の格納が、視標追跡データに基づくものである、請求項3に記載の方法。
- 第1のフィードバックデータに基づいて、ユーザの固視位置が第1の視野位置のしきい値距離内であるということを判定することによって、第1の刺激が見られたと判定することをさらに含む、請求項3に記載の方法。
- 第1のフィードバックデータに基づいて、ユーザの固視位置が第1の視野位置に向かってしきい値量を移動したということを判定することによって、第1の刺激が見られたと判定することをさらに含む、請求項3に記載の方法。
- ユーザデバイスの較正が、ユーザが見ている位置を検出するための機能の1つ以上のパラメータを調整することを含む、請求項3に記載の方法。
- ユーザデバイスが、ヘッドマウントディスプレイを含む、請求項3に記載の方法。
- 1つ以上の非一時的なコンピュータ可読媒体であって、1つ以上のプロセッサによって実行されるとき、以下:
視野検査の間に、第1の位置にてユーザデバイス上に第1の刺激を呈させること;
視野検査の間に、第1の位置にて呈された第1の刺激に関連する第1のフィードバックデータを取得すること;
視野検査の間に、ユーザの目が第1の位置上に固定し損なったことを示す第1のフィードバックデータに基づいて、ユーザデバイスの較正を行うこと;および
視野検査の間に、第1のフィードバックデータに基づいて、ユーザが第1の刺激を見たという第1の兆候を格納すること、
を含む操作を引き起こす命令を格納する、
前記媒体。 - 操作が、さらに以下:
視野検査の間かつ較正後に、第2の位置にてユーザデバイス上に第2の刺激を呈させること;
視野検査の間に、第2の刺激に関連する第2のフィードバックデータを取得すること;
第2のフィードバックデータに基づいて、ユーザの目が第2の位置に向かって移動し固定したことを検出すること;および、
視野検査の間に、ユーザが第2の刺激を見たという第2の兆候を格納することを含み、
ここで、ユーザの目が第2の位置上に固定したことを検出することに応答して、ユーザデバイスの較正が行われない、
請求項11に記載の媒体。 - 操作が、第1のフィードバックデータおよび第2のフィードバックデータに基づいて、視覚欠損評価を生成することをさらに含む、請求項12に記載の媒体。
- 第1のフィードバックデータが、視標追跡データを含み、ならびに目の検出および第1の兆候の格納が、視標追跡データに基づくものである、請求項11に記載の媒体。
- 操作が、第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置のしきい値距離内であるということを判定することによって、第1の刺激が見られたと判定することをさらに含む、請求項11に記載の媒体。
- 操作が、第1のフィードバックデータに基づいて、ユーザの固視位置が第1の位置に向かってしきい値量を移動したということを判定することによって、第1の刺激が見られたと判定することをさらに含む、請求11に記載の媒体。
- ユーザの目が第1の位置上で固定し損なったことを示す第1のフィードバックデータに基づいてユーザデバイスの較正を行うことが、ユーザの目が第1の位置からしきい値距離の範囲内に離れてある異なる位置に固定したことを判定することを含む、請求項11に記載の媒体。
- 操作が、ユーザの目が、第1の位置からしきい値距離の範囲外に離れてある異なる位置に固定されたと判定することに基づいて、ユーザが第1の刺激を見なかったと判定することを含む、請求項17に記載の媒体。
- ユーザデバイスの較正が、ユーザが見ている位置を検出するための機能の1つ以上のパラメータを調整することを含む、請求項17に記載の媒体。
- ユーザデバイスが、ヘッドマウントディスプレイを含む、請求項11に記載の媒体。
- 射影変換行列を利用したヘッドマウントディスプレイ較正用システムであって、システムが以下:
ヘッドマウントディスプレイ;
ヘッドマウントディスプレイに位置し、瞳孔の動きを追跡するように構成された、内向きセンサ;
ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される複数のアイコンを格納するように構成された記憶回路;および
制御回路であって:
ヘッドマウントディスプレイ上に複数のエッジアイコンを表示用に生成し;
複数のエッジ較正期間の間に、複数のエッジアイコンの表示に対応するエッジ視標追跡データを受信し;
エッジ視標追跡データに基づいて射影変換行列を計算し;
ヘッドマウントディスプレイ上の中心位置にて、中心アイコンを表示用に生成し;
中心較正期間の間に、中心視標追跡データを受信し;
射影変換行列を中心視標追跡データへ適用して、固視位置を判定し;および
中心位置と固視位置との間の差異に基づいて較正スコアを生成するように構成される
前記回路を含む、
前記システム。 - 方法であって、以下:
複数のエッジ較正期間の間に、エッジ視標追跡データを受信すること;
エッジ視標追跡データに基づいて、射影変換行列を計算すること;
中心較正期間の間に、中心視標追跡データを受信すること;
射影変換行列を中心視標追跡データへ適用して、固視位置を判定すること;および
中心位置と固視位置との間の差異に基づいて較正スコアを生成することを含む、
前記方法。 - 表示用に、ヘッドマウントディスプレイ上にエッジ刺激を生成すること;および
表示用に、ヘッドマウントディスプレイ上の中心位置にて、中心刺激を生成することをさらに含む、請求項22に記載の方法。 - エッジ刺激が、ヘッドマウントディスプレイの視界のエッジ上に生成される、請求項23に記載の方法。
- エッジ刺激が、ヘッドマウントディスプレイの視界の隅部にて生成される、請求項24に記載の方法。
- 較正スコアが、ヘッドマウントディスプレイを用いて行われる視力検査の精度を示すものである、請求項23に記載の方法。
- 中心刺激のまわりに境界を生成すること;差異に基づいて、固視位置が境界の内側にあるかどうかを判定すること;および境界のサイズに基づいて、較正スコアを判定することをさらに含む、請求項23に記載の方法。
- ヘッドマウントディスプレイにて境界を表示することをさらに含む、請求項27に記載の方法。
- 固視位置が境界の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すことをさらに含み、ここで境界のサイズがより大きい、請求項27に記載の方法。
- 固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定すること;およびユーザが中心位置を熟視していないと判定することに応答して、較正の少なくとも一部分をくり返すことをさらに含む、請求項23に記載の方法。
- ユーザが中心位置を熟視していないという判定が、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とする、請求項30に記載の方法。
- 1つ以上の非一時的なコンピュータ可読媒体であって、1つ以上のプロセッサによって実行されるとき、以下:
複数のエッジ較正期間の間に、エッジ視標追跡データを受信すること;
エッジ視標追跡データに基づいて、射影変換行列を計算すること;
中心較正期間の間に、中心視標追跡データを受信すること;
射影変換行列を中心視標追跡データへ適用して、固視位置を判定すること;および
中心位置と固視位置との間の差異に基づいて較正スコアを生成すること、
を含む操作を引き起こす命令を格納する、
前記媒体。 - 表示用に、ヘッドマウントディスプレイ上にエッジ刺激を生成すること;および
表示用に、ヘッドマウントディスプレイ上の中心位置にて、中心刺激を生成することをさらに含む、請求項32に記載の機械可読媒体。 - エッジ刺激が、ヘッドマウントディスプレイの視界のエッジ上に生成される、請求項33に記載の媒体。
- エッジ刺激が、ヘッドマウントディスプレイの視界の隅部にて生成される、請求項34に記載の媒体。
- 中心刺激のまわりに境界を生成すること;差異に基づいて、固視位置が境界の内側にあるかどうかを判定すること;および境界のサイズに基づいて、較正スコアを判定することをさらに含む、請求項33に記載の媒体。
- ヘッドマウントディスプレイにて境界を表示することをさらに含む、請求項36に記載の媒体。
- 固視位置が境界の外側にあることを示す差異に応答して、較正の少なくとも一部分をくり返すことをさらに含み、ここで境界のサイズがより大きい、請求項36に記載の媒体。
- 固視位置に基づいて、ユーザが中心位置を熟視しているかどうかを判定すること;およびユーザが中心位置を熟視していないと判定することに応答して、較正の少なくとも一部分をくり返すことをさらに含む、請求項33に記載の媒体。
- ユーザが中心位置を熟視していないという判定が、中心視標追跡データの少なくとも一部分が空間的偏差しきい値よりも大きく、かつ時間的偏差しきい値よりも長く固視位置から逸脱していることを必要とする、請求項39に記載の媒体。
- ヘッドマウントディスプレイにおける視野検査の精度を向上させるためのシステムであって、システムは、以下:
ヘッドマウントディスプレイ;
ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出する傾きセンサ;
視野検査パターンを格納するように構成された記憶回路であって、
ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置に表示される複数のアイコンを含み、複数のアイコンのそれぞれの位置は視野上に並んで位置し、それぞれの位置は、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、
前記回路;および
制御回路であって:
ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成し;
傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定し;
ユーザの頭部の傾きの度を第1のしきい値度と比較し;および
ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成するように構成された
前記回路を含む、
前記システム。 - 制御回路が、ユーザの頭部の傾きの度を第2のしきい値度と比較し;および
ユーザの頭部の傾きの度が第2のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイの視野内の複数のアイコンのそれぞれのアイコンの位置を、第1の量によって自動的に調整するようにさらに構成された、請求項41に記載のシステム。 - 第1の量が、ヘッドマウントディスプレイの視野の中心点からのアイコンの距離と、ユーザの頭部の傾きの方向とに基づいている、請求項42に記載のシステム。
- 複数のアイコンのそれぞれの位置が視野上に並んで位置し、それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、請求項41に記載のシステム。
- 制御回路が、ヘッドマウントディスプレイの曲率を判定し、および曲率に基づいて、それぞれの位置を選択するようにさらに構成された、請求項41に記載のシステム。
- 制御回路が、ヘッドマウントディスプレイのオフセット距離を判定し、およびオフセット距離に基づいて、それぞれの位置を選択するようにさらに構成された、請求項41に記載のシステム。
- 方法であって、以下:
制御回路を使用して、ヘッドマウントディスプレイ用の視野検査パターンを回収すること、ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される複数のアイコンを含み;
ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成すること;
ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサからデータを回収すること;
傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定すること;
制御回路を使用して、ユーザの頭部の傾きの度を第1のしきい値度と比較すること;および
ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成することを含む、
前記方法。 - ユーザの頭部の傾きの度を第2のしきい値度と比較すること;およびユーザの頭部の傾きの度が第2のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイの視野内の複数のアイコンのそれぞれのアイコンの位置を、第1の量によって自動的に調整することをさらに含む、請求項47に記載の方法。
- 第1の量が、ヘッドマウントディスプレイの視野の中心点からのアイコンの距離と、ユーザの頭部の傾きの方向とに基づいている、請求項48に記載の方法。
- アイコンのそれぞれの位置が、第1の方向成分および第2の方向成分によって定義され、ならびに前記第1の方向成分が、ユーザの頭部の傾きの度のコサインによって調整され、前記第2の方向成分が、ユーザの頭部の傾きの度のサインによって調整される、請求項47に記載の方法。
- 複数のアイコンのそれぞれの位置が視野上に並んで位置し、前記それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、請求項47に記載の方法。
- それぞれの位置が、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定される、請求項41に記載の方法。
- それぞれの位置が、式
- 1つ以上の非一時的なコンピュータ可読媒体であって、1つ以上のプロセッサによって実行されるとき、以下:
ヘッドマウントディスプレイの視野検査パターンを回収すること、ここで視野検査パターンは、ヘッドマウントディスプレイの視野内のそれぞれの位置にて表示される複数のアイコンを含み;
ヘッドマウントディスプレイ上に視野検査パターンを表示用に生成すること;
ヘッドマウントディスプレイに位置し、ヘッドマウントディスプレイを装着しているユーザの頭部の傾きの度を検出するための傾きセンサからデータを回収すること;
傾きセンサから回収されたデータに基づいて、ユーザの頭部の傾きの度を判定すること;
ユーザの頭部の傾きの度を第1のしきい値度と比較すること;および
ユーザの頭部の傾きの度が第1のしきい値度を満たすか、または超えることに応答して、ヘッドマウントディスプレイ上に、ユーザへの推奨を表示用に生成すること、
を含む操作を引き起こす命令を格納する、
前記媒体。 - ユーザの頭部の傾きの度を第2のしきい値度と比較すること;およびユーザの頭部の傾きの度が第2のしきい値を満たすか、または超えることに応答して、ヘッドマウントディスプレイの視野内の複数のアイコンのそれぞれのアイコンの位置を、第1の量によって自動的に調整することをさらに含む、請求項54に記載の媒体。
- 第1の量が、ヘッドマウントディスプレイの視野の中心点からのアイコンの距離と、ユーザの頭部の傾きの方向とに基づいている、請求項55に記載の媒体。
- アイコンのそれぞれの位置が、第1の方向成分および第2の方向成分によって定義され、ならびに前記第1の方向成分が、ユーザの頭部の傾きの度のコサインによって調整され、前記第2の方向成分が、ユーザの頭部の傾きの度のサインによって調整される、請求項54に記載の媒体。
- 複数のアイコンのそれぞれの位置が視野上に並んで位置し、前記それぞれの位置が、曲面に沿った異なる視野角に対応する点の平面上へのそれぞれの投影に対応する、請求項54に記載の媒体。
- それぞれの位置が、ヘッドマウントディスプレイのオフセット距離と、視覚検査機上のそれぞれの点に対する角度とに基づいて判定される、請求項58に記載の媒体。
- それぞれの位置が、式
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/082,983 US10993612B1 (en) | 2020-10-28 | 2020-10-28 | Systems and methods for visual field testing in head-mounted displays |
US17/082,983 | 2020-10-28 | ||
US17/246,054 | 2021-04-30 | ||
US17/246,054 US20220125294A1 (en) | 2020-10-28 | 2021-04-30 | Systems and methods for visual field testing in head-mounted displays |
US17/392,723 | 2021-08-03 | ||
US17/392,664 US20220125297A1 (en) | 2020-10-28 | 2021-08-03 | Device calibration via a projective transform matrix |
US17/392,664 | 2021-08-03 | ||
US17/392,723 US20220125298A1 (en) | 2020-10-28 | 2021-08-03 | Active calibration of head-mounted displays |
PCT/US2021/054228 WO2022093521A1 (en) | 2020-10-28 | 2021-10-08 | Systems and methods for visual field testing in head-mounted displays |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023550699A true JP2023550699A (ja) | 2023-12-05 |
Family
ID=81384341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023526382A Pending JP2023550699A (ja) | 2020-10-28 | 2021-10-08 | ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4236755A1 (ja) |
JP (1) | JP2023550699A (ja) |
WO (1) | WO2022093521A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108209857B (zh) * | 2013-09-03 | 2020-09-11 | 托比股份公司 | 便携式眼睛追踪设备 |
US10539788B2 (en) * | 2014-10-21 | 2020-01-21 | Signify Holding B.V. | System, method and computer program for hands-free configuration of a luminous distribution |
WO2019067779A1 (en) * | 2017-09-27 | 2019-04-04 | University Of Miami | DIGITAL THERAPEUTIC GUARANTEES |
US10531795B1 (en) * | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
AU2018367510A1 (en) * | 2017-11-14 | 2020-06-25 | Vivid Vision, Inc. | Systems and methods for visual field analysis |
-
2021
- 2021-10-08 WO PCT/US2021/054228 patent/WO2022093521A1/en active Application Filing
- 2021-10-08 JP JP2023526382A patent/JP2023550699A/ja active Pending
- 2021-10-08 EP EP21887174.7A patent/EP4236755A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4236755A1 (en) | 2023-09-06 |
WO2022093521A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10444514B2 (en) | Field of view enhancement via dynamic display portions | |
US10389989B2 (en) | Vision defect determination and enhancement using a prediction model | |
US11701000B2 (en) | Modification profile generation for vision defects related to double vision or dynamic aberrations | |
JP5869489B2 (ja) | 個人の両眼の屈折特性の少なくとも1つを自動的に測定するための方法及び装置 | |
US9323075B2 (en) | System for the measurement of the interpupillary distance using a device equipped with a screen and a camera | |
CN107003752A (zh) | 信息处理装置、信息处理方法以及程序 | |
US20190223716A1 (en) | Visual enhancement for dynamic vision defects | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
US11448903B2 (en) | Method for correcting centering parameters and/or an axial position and corresponding computer program and methods | |
KR102120919B1 (ko) | 안경을 착용하는 개인의 행동, 자세 또는 기하-형태 특성을 결정하는 방법 | |
CN112689470B (zh) | 用于使用计算装置执行散光力测试的方法以及相应的计算装置 | |
US11659987B2 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
JP2017111746A (ja) | 視線検出装置及び視線検出方法 | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
KR20210134069A (ko) | 시각적 결함 결정 및 향상 | |
EP4236756A1 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
US20220125297A1 (en) | Device calibration via a projective transform matrix | |
CN113138664A (zh) | 基于光场感知的眼球追踪系统、方法 | |
US20220125294A1 (en) | Systems and methods for visual field testing in head-mounted displays | |
WO2020216732A1 (en) | A computer-implemented method and system for interactively measuring ocular refractive errors, addition and power of reading glasses | |
JP2023550699A (ja) | ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法 | |
CN111417893B (zh) | 用于检验眼科镜片在镜架中的安装的方法和组件 | |
US20220125298A1 (en) | Active calibration of head-mounted displays | |
US11864834B1 (en) | Multi-tiled plenoptic system for the detection and correction of ocular defects and for improved foveated rendering | |
JP6433258B2 (ja) | 双眼ルーペの製作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20240123 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20240130 |