KR20210134069A - 시각적 결함 결정 및 향상 - Google Patents
시각적 결함 결정 및 향상 Download PDFInfo
- Publication number
- KR20210134069A KR20210134069A KR1020217034753A KR20217034753A KR20210134069A KR 20210134069 A KR20210134069 A KR 20210134069A KR 1020217034753 A KR1020217034753 A KR 1020217034753A KR 20217034753 A KR20217034753 A KR 20217034753A KR 20210134069 A KR20210134069 A KR 20210134069A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- stimulus
- visual
- eye
- interface
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 290
- 230000007547 defect Effects 0.000 title claims abstract description 89
- 238000011179 visual inspection Methods 0.000 claims abstract description 78
- 210000001508 eye Anatomy 0.000 claims description 548
- 238000000034 method Methods 0.000 claims description 217
- 210000001747 pupil Anatomy 0.000 claims description 83
- 230000033001 locomotion Effects 0.000 claims description 47
- 238000012360 testing method Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 description 198
- 230000004438 eyesight Effects 0.000 description 119
- 230000004044 response Effects 0.000 description 97
- 238000007689 inspection Methods 0.000 description 96
- 239000011521 glass Substances 0.000 description 69
- 230000002950 deficient Effects 0.000 description 57
- 230000006870 function Effects 0.000 description 57
- 238000012986 modification Methods 0.000 description 55
- 230000004048 modification Effects 0.000 description 55
- 238000012545 processing Methods 0.000 description 49
- 230000008859 change Effects 0.000 description 42
- 208000003164 Diplopia Diseases 0.000 description 41
- 230000008569 process Effects 0.000 description 40
- 230000002093 peripheral effect Effects 0.000 description 37
- 230000004075 alteration Effects 0.000 description 35
- 238000010801 machine learning Methods 0.000 description 35
- 210000001525 retina Anatomy 0.000 description 35
- 238000012544 monitoring process Methods 0.000 description 28
- 230000004424 eye movement Effects 0.000 description 27
- 238000013528 artificial neural network Methods 0.000 description 26
- 230000009466 transformation Effects 0.000 description 25
- 210000004087 cornea Anatomy 0.000 description 22
- 238000005259 measurement Methods 0.000 description 22
- 208000004350 Strabismus Diseases 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 230000005043 peripheral vision Effects 0.000 description 17
- 230000002829 reductive effect Effects 0.000 description 17
- 206010047555 Visual field defect Diseases 0.000 description 15
- 208000029444 double vision Diseases 0.000 description 14
- 230000001965 increasing effect Effects 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 12
- 230000000638 stimulation Effects 0.000 description 12
- 230000003068 static effect Effects 0.000 description 11
- 206010034960 Photophobia Diseases 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 230000014616 translation Effects 0.000 description 10
- 208000013469 light sensitivity Diseases 0.000 description 9
- 208000001692 Esotropia Diseases 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000007667 floating Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 230000004256 retinal image Effects 0.000 description 5
- 206010033799 Paralysis Diseases 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 208000010412 Glaucoma Diseases 0.000 description 3
- 206010045178 Tunnel vision Diseases 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 208000002780 macular degeneration Diseases 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008397 ocular pathology Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 208000020564 Eye injury Diseases 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 206010037538 Pupils unequal Diseases 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000976 ink Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 201000010041 presbyopia Diseases 0.000 description 2
- 230000004478 pupil constriction Effects 0.000 description 2
- 208000014733 refractive error Diseases 0.000 description 2
- 230000004286 retinal pathology Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 201000005538 Exotropia Diseases 0.000 description 1
- 208000010415 Low Vision Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000003435 Optic Neuritis Diseases 0.000 description 1
- 206010061323 Optic neuropathy Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 208000001239 anisocoria Diseases 0.000 description 1
- 206010002537 anisometropia Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000029777 axis specification Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004377 improving vision Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 201000005743 paralytic squint Diseases 0.000 description 1
- 208000028254 paralytic strabismus Diseases 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000008403 visual deficit Effects 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
- A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0033—Operational features thereof characterised by user input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35503—Eye tracking associated with head mounted display to detect eye position
Abstract
소정의 실시예들에서, 시각적 결함 정보는, 동적 눈 특성 기반의 응시 포인트를 통해 생성될 수 있다. 일부 실시예에서, 제1 자극은 시각 검사 프리젠테이션을 위한 응시 포인트에 기초하여 사용자 인터페이스 상의 제1 위치에 디스플레이될 수 있다. 시각 검사 프리젠테이션을 위한 응시 포인트는 사용자와 관련된 눈 특성 정보에 기초하여 시각 검사 프리젠테이션 동안 조정될 수 있다. 예를 들어, 눈 특성 정보는 시각 검사 프리젠테이션 동안 발생한 사용자의 눈의 특성을 나타낼 수 있다. 제2 자극은 시각 검사 프리젠테이션을 위한 조정된 응시 포인트에 기초하여 사용자 인터페이스 상의 제2 인터페이스 위치에서 시각 검사 프리젠테이션 동안 디스플레이될 수 있다. 사용자와 연관된 시각적 결함 정보는 제1 자극과 관련된 피드백 및 제2 자극과 관련된 피드백을 나타내는 피드백 정보에 기초하여 생성될 수 있다.
Description
관련 출원의 상호참조
본 출원은 2019년 11월 18일 출원된 발명의 명칭이 "Vision Defect Determination Via a Dynamic Eye-Characteristic-Based Fixation Point"인 미국 특허 출원 제16/687,512호의 우선권을 주장하며, 상기 출원은 2019년 10월 16일 출원된 발명의 명칭이 "Vision Defect Determination"인 미국 출원 16/654,590호의 일부 연속 출원이며, 상기 출원은 2019년 9월 3일 출원된 발명의 명칭이 "Double and Binocular Vision Determination and Correction"인 미국 가출원 제62/895,402호의 우선권을 주장하고, 2019년 6월 18일 출원된 발명의 명칭이 "Vision Defect Determination via a Dynamic Eye-Characteristic-Based Fixation Point"인 미국 특허 출원 제16/444,604호의 일부 연속 출원이며, 상기 출원은 2019년 5월 31일 출원된 발명의 명칭이 "Vision Defect Determination and Enhancement"인 미국 특허 출원 제16/428,932호의 일부 연속 출원이고, 상기 출원은 2019년 3월 28일 출원된 발명의 명칭이 "Vision Defect Determination and Enhancement Using a Prediction Model"인 미국 특허 출원 제16/367,633호의 연속 출원이고, 상기 출원은 2018년 9월 27일 출원된 발명의 명칭이 "Digital Therapeutic Corrective Spectacles"인 미국 특허 출원 제16/144,995호의 일부 연속 출원이고, 상기 출원은 2017년 9월 27일 출원된 발명의 명칭이 "Digital Therapeutic Corrective Spectacles"인 미국 가출원 제62/563,770호의 우선권을 주장하며, 이들 각각은 그 전체내용이 참조에 의해 본 명세서에 포함된다. 본 출원은 또한, 본 출원의 출원일 12개월 이내에 출원된 다른 상기 출원들 중 적어도 각각의 우선권을 주장한다.
본 출원은 또한, i) 2019년 10월 24일 출원된 발명의 명칭이 "Vision Defect Determination and Enhancement Using a Prediction Model"인 미국 특허 출원 제16/662,113호, ii) 2019년 8월 12일 출원된 발명의 명칭이 "Vision-Based Alerting Based on Physical Contact Prediction"인 미국 특허 출원 제16/538,057호, iii) 2019년 3월 28일 출원된 발명의 명칭이 "Field of View Enhancement via Dynamic Display Portions"인 미국 특허 출원 제16/367,751호의 연속 출원인, 2019년 3월 31일 출원된 발명의 명칭이 "Field of View Enhancement Via Dynamic Display Portions for a Modified Video Stream"인 미국 특허 출원 제16/428,380호의 연속 출원인, 2019년 9월 4일 출원된 발명의 명칭이 "Field of View Enhancement Via Dynamic Display Portions"인 미국 특허 출원 제16/560,212호, iv) 2019년 3월 28일 출원된 발명의 명칭이 "Visual Enhancement for Dynamic Vision Defects"인 미국 특허 출원 제16/367,687호의 연속 출원인 2019년 3월 31일 출원된 발명의 명칭이 "Visual Enhancement for Dynamic Vision Defects"인 미국 특허 출원 제16/428,899호와도 관련되어 있으며, 이들 각각은 그 전체내용이 참조에 의해 본 명세서에 포함된다. 본 출원은 또한, 본 출원의 출원일 12개월 이내에 출원된 상기 출원들 중 적어도 각각의 우선권을 주장한다.
발명의 분야
본 발명은 사용자의 시각과 관련된 시각적 결함 결정 또는 수정을 용이화하는 것에 관한 것이다.
"스마트 안경" 및 시각 장애인을 보조하는 기타의 착용형 기술들이 존재하지만, 전형적인 착용형 기술들은 전통적인 안경 및 콘택트 렌즈와 연관된 다수의 문제를 적절하게 해결하지 못한다. 예를 들어, 전형적인 착용형 기술들은, 눈의 수용 상태와 시선의 방향에 따라 변할 수 있는, 더 높은 차원의 시각적 수차들(예를 들어, 전통적인 안경 또는 콘택트 렌즈에 의해 교정될 수 없는 굴절 오류들) 또는 동적 수차들을 갖는 개인들이 직면한 문제들을 해결하지 못한다. 이들 및 다른 단점들이 존재한다.
본 발명의 양태들은 사용자의 시각과 관련된 시각적 결함 결정 또는 수정을 용이화하기 위한 방법들, 장치들, 및/또는 시스템들에 관한 것이다. 한 예로서, 이러한 수정들은 사용자의 시야 또는 시각 향상을 제공하는 것(예를 들어, 사용자의 시야 또는 시각을 교정하는 것, 사용자의 시야 또는 시각 증강시키는 것 등), 사용자의 시각적 수차들의 교정을 제공하는 것, 또는 착용형 디바이스를 통해 이러한 향상 또는 교정을 제공하는 것을 포함할 수 있다.
일부 실시예에서, 제1 자극은 시각 검사 프리젠테이션을 위한 응시 포인트에 기초하여 사용자 인터페이스 상의 제1 위치에 디스플레이될 수 있다. 시각 검사 프리젠테이션을 위한 응시 포인트는 사용자와 관련된 눈 특성 정보에 기초하여 시각 검사 프리젠테이션 동안 조정될 수 있다. 예를 들어, 눈 특성 정보는 시각 검사 프리젠테이션 동안 발생한 사용자의 눈의 특성을 나타낼 수 있다. 제2 자극은 시각 검사 프리젠테이션을 위한 조정된 응시 포인트에 기초하여 사용자 인터페이스 상의 제2 인터페이스 위치에서 시각 검사 프리젠테이션 동안 디스플레이될 수 있다. 사용자와 연관된 시각적 결함 정보는 제1 자극과 관련된 피드백 및 제2 자극과 관련된 피드백을 나타내는 피드백 정보에 기초하여 생성될 수 있다.
본 발명의 다양한 다른 양태, 피처 및 이점은, 본 발명의 상세한 설명 및 여기에 첨부된 도면들을 통해 명백해질 것이다. 또한, 전술한 일반적인 설명과 이하의 상세한 설명 양쪽 모두는 예시적인 것이며 본 발명의 범위를 제한하는 것이 아님을 이해해야 한다. 본 명세서 및 청구항들에서 사용될 때, 단수 형태 "한(a)", "하나(an)", 및 "그 하나(the)"는, 정황상 분명하게 달리 지시하지 않는 한 복수의 대상을 포함한다. 또한, 명세서 및 청구항들에서 사용되는 용어 "또는"은, 문맥상 명백하게 달리 지시하지 않는 한, "및/또는"을 의미한다.
도 1a는, 하나 이상의 실시예에 따른, 사용자의 시각과 관련된 수정을 용이화하기 위한 시스템을 나타낸다.
도 1b는, 하나 이상의 실시예에 따른, 사용자의 시각과 관련된 수정을 용이화하기 위한 머신 학습 모델을 구현하는 시스템을 나타낸다.
도 1c 내지 도 1f는 하나 이상의 실시예에 따른 예시적인 안경 디바이스들의 도면을 나타낸다.
도 2는 하나 이상의 실시예에 따른 예시적인 시각 시스템을 나타낸다.
도 3은 하나 이상의 실시예에 따른 이미지 처리 디바이스 및 착용형 안경 디바이스 상에 구현된 시각 교정 프레임워크를 갖는 디바이스를 나타낸다.
도 4는 하나 이상의 실시예에 따른 검사 모드(testing mode) 및 시각보정 모드(visioning mode)를 포함하는 예시적인 프로세스를 나타낸다.
도 5는 하나 이상의 실시예에 따른 검사 모드 및 시각보정 모드를 포함하는 예시적인 프로세스를 나타낸다.
도 6a 내지 도 6c는 하나 이상의 실시예에 따른 동공 추적을 포함하는 검사 모드 프로세스를 위한 예시적인 평가 프로토콜을 나타낸다.
도 7a 내지 도 7c는 하나 이상의 실시예에 따른 동공 추적을 포함하는 검사 모드 프로세스를 위한 예시적인 평가 프로토콜을 나타낸다.
도 8은 하나 이상의 실시예에 따른 착용형 안경 디바이스를 통해 사용자에게 복수의 시각적 자극을 생성하고 제시하는 검사 모듈을 포함하는 워크플로우를 나타낸다.
도 9는 하나 이상의 실시예에 따른 검사 모드 프로세스를 나타낸다.
도 10은 하나 이상의 실시예에 따른 검사 모드의 일부로서 구현될 수 있는 인공 지능 교정 알고리즘 모드에 대한 프로세스를 나타낸다.
도 11은 하나 이상의 실시예에 따른 검사 이미지를 나타낸다.
도 12는 하나 이상의 실시예에 따른 피험자에게 프리젠테이션하기 위한 검사 이미지 상에 손상된 시야를 오버레이하는 것을 포함하는 시뮬레이션된 시각 이미지의 전개를 나타낸다.
도 13은 하나 이상의 실시예에 따른 이미지에 적용될 수 있고 피험자에 제시될 수 있는 상이한 교정 변환들의 예들을 나타낸다.
도 14는 하나 이상의 실시예에 따른 예시적인 병진 방법들을 나타낸다.
도 15는 하나 이상의 실시예에 따른 머신 학습 프레임워크의 한 예를 나타낸다.
도 16은 하나 이상의 실시예에 따른 머신 학습 프레임워크의 AI 시스템의 프로세스를 나타낸다.
도 17은 하나 이상의 실시예에 따른 검사 이미지의 예시적인 변환을 나타낸다.
도 18은 하나 이상의 실시예에 따른 검사 이미지의 예시적인 병진을 나타낸다.
도 19는 하나 이상의 실시예에 따른 AI 시스템의 한 구현의 다양한 양태를 예시하는 그래픽 사용자 인터페이스이다.
도 20은 하나 이상의 실시예에 따른 피드포워드 신경망을 포함하는 AI 시스템을 위한 프레임워크를 나타낸다.
도 21 및 도 22는 하나 이상의 실시예에 따른 신경망을 포함하는 AI 시스템의 예시적인 검사 모드 프로세스들 및 AI 알고리즘 최적화 프로세스를 각각 나타낸다.
도 23은 하나 이상의 실시예에 따른 검사 및 시각보정 모드들을 구현하는 한 예시적인 프로세스를 나타낸다.
도 24a는, 하나 이상의 실시예에 따른, 환경으로부터의 이미지가 착용형 안경 디스플레이의 투명 부분을 통과하는 것을 허용하는 맞춤형 현실 착용형 안경을 포함하는 착용형 안경 디바이스를 나타내며, 여기서 투명 부분은 사용자 시야의 주변 영역에 대응하고, 착용형 안경의 디스플레이의 다른 부분들은 불투명 부분들이다.
도 24b는, 하나 이상의 실시예에 따른, 환경으로부터의 이미지가 착용형 안경 디스플레이의 투명 부분을 통과하는 것을 허용하는 맞춤형 현실 착용형 안경을 포함하는 착용형 안경 디바이스를 나타내며, 여기서 투명 부분은 사용자 시야의 중심 영역에 대응하고, 착용형 안경의 디스플레이의 다른 부분들은 불투명 부분들이다.
도 24c는, 하나 이상의 실시예에 따른, 눈 추적을 이용한, 시야 평면, 리맵핑된 이미지 평면, 및 선택적 투명도 스크린 평면 사이의 정렬을 나타낸다.
도 25a는 하나 이상의 실시예에 따른 교차된 눈들(crossed eyes)이 없는 환자에게 디스플레이되는 시각 검사 프리젠테이션의 이용 사례를 나타낸다.
도 25b는 하나 이상의 실시예에 따른 교차된 눈들을 가진 환자에게 디스플레이되는 시각 검사 프리젠테이션의 이용 사례를 나타낸다.
도 25c 내지 도 25i는 하나 이상의 실시예에 따른 자동화된 측정 및 복시(double vision) 교정을 나타낸다.
도 25j 내지 도 25l은 하나 이상의 실시예에 따른 양안 시각 검사 및 이러한 검사의 결과들을 나타낸다.
도 25m 내지 도 25n은 하나 이상의 실시예에 따른 입체시(stereopsis) 검사를 나타낸다.
도 26은 좌측 눈 및 우측 눈으로부터의 단안 이미지가 황반(macular) 중심 영역 및 중심 영역을 둘러싸는 주변 시야 영역을 갖는 단일의 인지된 이미지로 결합되는 피험자에 대한 정상적인 양안 시각을 나타낸다;
도 27은 주변 영역이 피험자에게 보이지 않는 터널 시각 상태를 나타낸다;
도 28은 하나 이상의 실시예에 따른 시각을 향상시키거나 터널 시각 상태를 교정하기 위한 이미지 시프팅 기술을 나타낸다.
도 29는 하나 이상의 실시예에 따른 시야를 확장하면서 시각을 향상시키거나 중심 시력(central visual acuity)을 보존하기 위한 이미지 크기조정 변환 기술을 나타낸다.
도 30은 하나 이상의 실시예에 따른 양안 시야 확장 기술을 나타낸다.
도 31a는 하나 이상의 실시예에 따른 각막 표면 상에 패턴을 투사하고 패턴을 반사하는 각막 표면을 촬영하는 것을 포함한 안구 건조 및 각막 불규칙성을 평가하기 위한 기술을 나타낸다.
도 31b는 하나 이상의 실시예에 따른 피험자에게 디스플레이되거나 착용형 안경을 통해 피험자의 각막 또는 망막에 투사되는 그리드를 포함하는 기준 이미지의 프리젠테이션을 개략적으로 나타낸다.
도 31c는 하나 이상의 실시예에 따른 피험자에 의한 조작을 위한 예시적인 그리드를 나타낸다.
도 31d는 하나 이상의 실시예에 따른 도 31c에 나타낸 그리드의 예시적인 조작을 나타낸다.
도 31e는 하나 이상의 실시예에 따른 피험자에 의해 인지되어야 하는 장면을 나타낸다.
도 31f는 하나 이상의 실시예에 따른 그리드 기술에 의해 결정된 시각적 왜곡이 피험자에게 제공될 때 피험자가 도 31e에 도시된 바와 같이 시야를 인식하게 하는 예시적인 교정된 시야를 나타낸다.
도 31g는 하나 이상의 실시예에 따른 피험자가 시야 내의 왜곡을 전달할 수 있는 조작가능한 그리드를 포함하는 디스플레이를 나타낸다.
도 32는 하나 이상의 실시예에 따른 각막 표면 상에 투사된 패턴을 반사하는 각막 표면의 이미지이다.
도 33은 하나 이상의 실시예에 따른 정상 패턴 반사의 한 예를 나타낸다.
도 34는 하나 이상의 실시예에 따른 비정상적인 패턴 반사의 한 예를 나타낸다.
도 35a 내지 도 35e는 하나 이상의 실시예에 따른 동적 응시 포인트를 이용하는 시각 검사 프리젠테이션을 나타낸다.
도 35f는 하나 이상의 실시예에 따른 동적 응시 포인트를 이용한 시각 검사 프리젠테이션을 용이화하기 위한 프로세스와 관련된 플로차트를 나타낸다.
도 35g는 하나 이상의 실시예에 따른 미리결정된 위치에서의 복수의 콘트라스트 계단 자극 및 자극 시퀀스들을 포함하는 시각 검사 프리젠테이션을 나타낸다.
도 36은 하나 이상의 실시예에 따른 하나의 자극 위치에서의 검사 시퀀스의 동작들을 보여주는 타이밍도를 나타낸다.
도 37은 하나 이상의 실시예에 따른 최대 밝은 시야를 경계짓는 픽셀들의 폭들 및 높이들의 계산을 나타낸다.
도 38은 하나 이상의 실시예에 따른 시야의 4개의 주요 사분면을 검사하는데 이용되는 검사 이미지들을 나타낸다.
도 39a는 하나 이상의 실시예에 따른 리맵핑 이전의 예시적인 시야 뷰를 나타낸다.
도 39b는 하나 이상의 실시예에 따른 리맵핑 후의 예시적인 시야 뷰를 나타낸다.
도 40a 내지 도 40c는 하나 이상의 실시예에 따른 예시적인 맞춤형 현실 안경 디바이스를 나타낸다.
도 41은 하나 이상의 실시예에 따른 예측 모델을 통해 사용자의 시각과 관련된 수정을 용이화하는 방법의 플로차트를 도시한다.
도 42는 하나 이상의 실시예에 따른 장면의 복수의 이미지의 부분들의 조합을 통해 사용자의 시야 증가를 용이화하는 방법의 플로차트를 도시한다.
도 43은 하나 이상의 실시예에 따른 하나 이상의 투명 디스플레이 상의 하나 이상의 동적 디스플레이 부분을 통해 사용자의 시야의 향상을 용이화하는 방법의 플로차트를 도시한다.
도 1b는, 하나 이상의 실시예에 따른, 사용자의 시각과 관련된 수정을 용이화하기 위한 머신 학습 모델을 구현하는 시스템을 나타낸다.
도 1c 내지 도 1f는 하나 이상의 실시예에 따른 예시적인 안경 디바이스들의 도면을 나타낸다.
도 2는 하나 이상의 실시예에 따른 예시적인 시각 시스템을 나타낸다.
도 3은 하나 이상의 실시예에 따른 이미지 처리 디바이스 및 착용형 안경 디바이스 상에 구현된 시각 교정 프레임워크를 갖는 디바이스를 나타낸다.
도 4는 하나 이상의 실시예에 따른 검사 모드(testing mode) 및 시각보정 모드(visioning mode)를 포함하는 예시적인 프로세스를 나타낸다.
도 5는 하나 이상의 실시예에 따른 검사 모드 및 시각보정 모드를 포함하는 예시적인 프로세스를 나타낸다.
도 6a 내지 도 6c는 하나 이상의 실시예에 따른 동공 추적을 포함하는 검사 모드 프로세스를 위한 예시적인 평가 프로토콜을 나타낸다.
도 7a 내지 도 7c는 하나 이상의 실시예에 따른 동공 추적을 포함하는 검사 모드 프로세스를 위한 예시적인 평가 프로토콜을 나타낸다.
도 8은 하나 이상의 실시예에 따른 착용형 안경 디바이스를 통해 사용자에게 복수의 시각적 자극을 생성하고 제시하는 검사 모듈을 포함하는 워크플로우를 나타낸다.
도 9는 하나 이상의 실시예에 따른 검사 모드 프로세스를 나타낸다.
도 10은 하나 이상의 실시예에 따른 검사 모드의 일부로서 구현될 수 있는 인공 지능 교정 알고리즘 모드에 대한 프로세스를 나타낸다.
도 11은 하나 이상의 실시예에 따른 검사 이미지를 나타낸다.
도 12는 하나 이상의 실시예에 따른 피험자에게 프리젠테이션하기 위한 검사 이미지 상에 손상된 시야를 오버레이하는 것을 포함하는 시뮬레이션된 시각 이미지의 전개를 나타낸다.
도 13은 하나 이상의 실시예에 따른 이미지에 적용될 수 있고 피험자에 제시될 수 있는 상이한 교정 변환들의 예들을 나타낸다.
도 14는 하나 이상의 실시예에 따른 예시적인 병진 방법들을 나타낸다.
도 15는 하나 이상의 실시예에 따른 머신 학습 프레임워크의 한 예를 나타낸다.
도 16은 하나 이상의 실시예에 따른 머신 학습 프레임워크의 AI 시스템의 프로세스를 나타낸다.
도 17은 하나 이상의 실시예에 따른 검사 이미지의 예시적인 변환을 나타낸다.
도 18은 하나 이상의 실시예에 따른 검사 이미지의 예시적인 병진을 나타낸다.
도 19는 하나 이상의 실시예에 따른 AI 시스템의 한 구현의 다양한 양태를 예시하는 그래픽 사용자 인터페이스이다.
도 20은 하나 이상의 실시예에 따른 피드포워드 신경망을 포함하는 AI 시스템을 위한 프레임워크를 나타낸다.
도 21 및 도 22는 하나 이상의 실시예에 따른 신경망을 포함하는 AI 시스템의 예시적인 검사 모드 프로세스들 및 AI 알고리즘 최적화 프로세스를 각각 나타낸다.
도 23은 하나 이상의 실시예에 따른 검사 및 시각보정 모드들을 구현하는 한 예시적인 프로세스를 나타낸다.
도 24a는, 하나 이상의 실시예에 따른, 환경으로부터의 이미지가 착용형 안경 디스플레이의 투명 부분을 통과하는 것을 허용하는 맞춤형 현실 착용형 안경을 포함하는 착용형 안경 디바이스를 나타내며, 여기서 투명 부분은 사용자 시야의 주변 영역에 대응하고, 착용형 안경의 디스플레이의 다른 부분들은 불투명 부분들이다.
도 24b는, 하나 이상의 실시예에 따른, 환경으로부터의 이미지가 착용형 안경 디스플레이의 투명 부분을 통과하는 것을 허용하는 맞춤형 현실 착용형 안경을 포함하는 착용형 안경 디바이스를 나타내며, 여기서 투명 부분은 사용자 시야의 중심 영역에 대응하고, 착용형 안경의 디스플레이의 다른 부분들은 불투명 부분들이다.
도 24c는, 하나 이상의 실시예에 따른, 눈 추적을 이용한, 시야 평면, 리맵핑된 이미지 평면, 및 선택적 투명도 스크린 평면 사이의 정렬을 나타낸다.
도 25a는 하나 이상의 실시예에 따른 교차된 눈들(crossed eyes)이 없는 환자에게 디스플레이되는 시각 검사 프리젠테이션의 이용 사례를 나타낸다.
도 25b는 하나 이상의 실시예에 따른 교차된 눈들을 가진 환자에게 디스플레이되는 시각 검사 프리젠테이션의 이용 사례를 나타낸다.
도 25c 내지 도 25i는 하나 이상의 실시예에 따른 자동화된 측정 및 복시(double vision) 교정을 나타낸다.
도 25j 내지 도 25l은 하나 이상의 실시예에 따른 양안 시각 검사 및 이러한 검사의 결과들을 나타낸다.
도 25m 내지 도 25n은 하나 이상의 실시예에 따른 입체시(stereopsis) 검사를 나타낸다.
도 26은 좌측 눈 및 우측 눈으로부터의 단안 이미지가 황반(macular) 중심 영역 및 중심 영역을 둘러싸는 주변 시야 영역을 갖는 단일의 인지된 이미지로 결합되는 피험자에 대한 정상적인 양안 시각을 나타낸다;
도 27은 주변 영역이 피험자에게 보이지 않는 터널 시각 상태를 나타낸다;
도 28은 하나 이상의 실시예에 따른 시각을 향상시키거나 터널 시각 상태를 교정하기 위한 이미지 시프팅 기술을 나타낸다.
도 29는 하나 이상의 실시예에 따른 시야를 확장하면서 시각을 향상시키거나 중심 시력(central visual acuity)을 보존하기 위한 이미지 크기조정 변환 기술을 나타낸다.
도 30은 하나 이상의 실시예에 따른 양안 시야 확장 기술을 나타낸다.
도 31a는 하나 이상의 실시예에 따른 각막 표면 상에 패턴을 투사하고 패턴을 반사하는 각막 표면을 촬영하는 것을 포함한 안구 건조 및 각막 불규칙성을 평가하기 위한 기술을 나타낸다.
도 31b는 하나 이상의 실시예에 따른 피험자에게 디스플레이되거나 착용형 안경을 통해 피험자의 각막 또는 망막에 투사되는 그리드를 포함하는 기준 이미지의 프리젠테이션을 개략적으로 나타낸다.
도 31c는 하나 이상의 실시예에 따른 피험자에 의한 조작을 위한 예시적인 그리드를 나타낸다.
도 31d는 하나 이상의 실시예에 따른 도 31c에 나타낸 그리드의 예시적인 조작을 나타낸다.
도 31e는 하나 이상의 실시예에 따른 피험자에 의해 인지되어야 하는 장면을 나타낸다.
도 31f는 하나 이상의 실시예에 따른 그리드 기술에 의해 결정된 시각적 왜곡이 피험자에게 제공될 때 피험자가 도 31e에 도시된 바와 같이 시야를 인식하게 하는 예시적인 교정된 시야를 나타낸다.
도 31g는 하나 이상의 실시예에 따른 피험자가 시야 내의 왜곡을 전달할 수 있는 조작가능한 그리드를 포함하는 디스플레이를 나타낸다.
도 32는 하나 이상의 실시예에 따른 각막 표면 상에 투사된 패턴을 반사하는 각막 표면의 이미지이다.
도 33은 하나 이상의 실시예에 따른 정상 패턴 반사의 한 예를 나타낸다.
도 34는 하나 이상의 실시예에 따른 비정상적인 패턴 반사의 한 예를 나타낸다.
도 35a 내지 도 35e는 하나 이상의 실시예에 따른 동적 응시 포인트를 이용하는 시각 검사 프리젠테이션을 나타낸다.
도 35f는 하나 이상의 실시예에 따른 동적 응시 포인트를 이용한 시각 검사 프리젠테이션을 용이화하기 위한 프로세스와 관련된 플로차트를 나타낸다.
도 35g는 하나 이상의 실시예에 따른 미리결정된 위치에서의 복수의 콘트라스트 계단 자극 및 자극 시퀀스들을 포함하는 시각 검사 프리젠테이션을 나타낸다.
도 36은 하나 이상의 실시예에 따른 하나의 자극 위치에서의 검사 시퀀스의 동작들을 보여주는 타이밍도를 나타낸다.
도 37은 하나 이상의 실시예에 따른 최대 밝은 시야를 경계짓는 픽셀들의 폭들 및 높이들의 계산을 나타낸다.
도 38은 하나 이상의 실시예에 따른 시야의 4개의 주요 사분면을 검사하는데 이용되는 검사 이미지들을 나타낸다.
도 39a는 하나 이상의 실시예에 따른 리맵핑 이전의 예시적인 시야 뷰를 나타낸다.
도 39b는 하나 이상의 실시예에 따른 리맵핑 후의 예시적인 시야 뷰를 나타낸다.
도 40a 내지 도 40c는 하나 이상의 실시예에 따른 예시적인 맞춤형 현실 안경 디바이스를 나타낸다.
도 41은 하나 이상의 실시예에 따른 예측 모델을 통해 사용자의 시각과 관련된 수정을 용이화하는 방법의 플로차트를 도시한다.
도 42는 하나 이상의 실시예에 따른 장면의 복수의 이미지의 부분들의 조합을 통해 사용자의 시야 증가를 용이화하는 방법의 플로차트를 도시한다.
도 43은 하나 이상의 실시예에 따른 하나 이상의 투명 디스플레이 상의 하나 이상의 동적 디스플레이 부분을 통해 사용자의 시야의 향상을 용이화하는 방법의 플로차트를 도시한다.
이하의 설명에서, 설명의 목적상, 본 발명의 실시예들의 철저한 이해를 제공하기 위하여 수많은 구체적인 상세사항이 개시된다. 그러나, 본 기술분야의 통상의 기술자라면, 본 발명의 실시예들은 이들 특정한 상세사항 없이 또는 균등한 배열로 실시될 수 있다는 것을 이해할 것이다. 다른 경우들에서, 본 발명의 실시예들을 불필요하게 모호하게 하는 것을 피하기 위해 공지된 구조들 및 디바이스들은 블록도 형태로 도시된다.
도 1a는 하나 이상의 실시예에 따른 사용자의 시각과 관련된 수정을 용이화하기 위한 시스템(100)을 나타낸다. 도 1a에 도시된 바와 같이, 시스템(100)은, 서버(들)(102), 클라이언트 디바이스(104)(또는 클라이언트 디바이스들(104a-104n)), 또는 기타의 컴포넌트들을 포함할 수 있다. 서버(102)는, 구성 서브시스템(112), 모델 관리자 서브시스템(114), 또는 기타의 컴포넌트들을 포함할 수 있다. 클라이언트 디바이스(104)는 검사 서브시스템(122), 시각보정 서브시스템(124), 또는 기타의 컴포넌트들을 포함할 수 있다. 각각의 클라이언트 디바이스(104)는 임의의 유형의 모바일 단말기, 고정 단말기, 또는 기타의 디바이스를 포함할 수 있다. 예로서, 클라이언트 디바이스(104)는, 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 스마트폰, 착용형 디바이스, 또는 기타의 클라이언트 디바이스를 포함할 수 있다. 사용자는, 예를 들어, 하나 이상의 클라이언트 디바이스(104)를 이용하여, 서로, 하나 이상의 서버, 또는 시스템(100)의 다른 컴포넌트들과 상호작용할 수 있다.
하나 이상의 동작이 여기서는 클라이언트 디바이스(104)의 특정한 컴포넌트들에 의해 수행되는 것으로 설명되지만, 이들 동작들은, 일부 실시예에서, 클라이언트 디바이스(104)의 다른 컴포넌트들 또는 시스템(100)의 다른 컴포넌트들에 의해 수행될 수 있다는 점에 유의해야 한다. 예로서, 하나 이상의 동작이 여기서는 클라이언트 디바이스(104)의 컴포넌트들에 의해 수행되는 것으로 설명되지만, 이들 동작들은, 일부 실시예에서, 서버(102)의 컴포넌트들에 의해 수행될 수도 있다. 하나 이상의 동작이 여기서는 서버(102)의 특정한 컴포넌트들에 의해 수행되는 것으로 설명되지만, 이들 동작들은, 일부 실시예에서, 서버(102)의 다른 컴포넌트들 또는 시스템(100)의 다른 컴포넌트들에 의해 수행될 수 있다는 점에도 유의해야 한다. 한 예로서, 하나 이상의 동작이 서버(102)의 컴포넌트들에 의해 수행되는 것으로 여기서는 설명되지만, 이들 동작들은, 일부 실시예에서, 클라이언트 디바이스(104)의 컴포넌트들에 의해 수행될 수 있다. 일부 실시예가 머신 학습 모델들과 관련하여 여기서 설명되지만, 다른 실시예들에서는 머신 학습 모델들 대신에 또는 이에 추가하여 다른 예측 모델들(예를 들어, 통계적 모델들 또는 기타의 분석 모델들)이 이용될 수 있다(예를 들어, 하나 이상의 실시예에서 머신 학습 모델을 대체하는 통계적 모델 및 비머신 학습 모델을 대체하는 비통계적 모델)는 점에 유의해야 한다.
일부 실시예에서, 시스템(100)은 시각 검사 프리젠테이션을 사용자에게 제공할 수 있으며, 프리젠테이션은 한 세트의 자극(예를 들어, 사용자에게 디스플레이되는 광 자극, 텍스트 또는 이미지들)을 포함한다. 프리젠테이션 동안(또는 프리젠테이션 후에), 시스템(100)은 자극 세트와 관련된 피드백(예를 들어, 사용자가 세트의 하나 이상의 자극을 보는지 여부 또는 보는 방식을 나타내는 피드백)을 획득될 수 있다. 예로서, 피드백은, (자극 세트 중의) 하나 이상의 자극에 대한 사용자의 반응의 표시 또는 이러한 자극에 대한 사용자의 반응의 부족의 표시를 포함할 수 있다. 반응(또는 반응의 부족)은, 눈 움직임, 시선 방향, 동공 크기 변화, 또는 하나 이상의 자극 또는 기타의 사용자 입력(예를 들어, 자극에 대한 사용자의 반응 또는 기타의 반응)의 사용자 수정과 관련될 수 있다. 또 다른 예로서, 피드백은 시각 검사 프리젠테이션 동안 캡처된 눈 이미지를 포함할 수 있다. 눈 이미지는, 눈의 망막 이미지(예를 들어, 전체 망막 또는 그 일부), 눈의 각막 이미지(예를 들어, 전체 각막 또는 그 일부), 또는 기타의 눈 이미지일 수 있다.
일부 실시예에서, 시스템(100)은 사용자의 시야 중 하나 이상의 결함 시야 부분을 결정할 수 있다(예를 들어, 사용자에게 디스플레이된 자극의 세트와 관련된 피드백 또는 기타의 피드백에 기초한 자동 결정). 예를 들어, 결함 시야 부분은, 하나 이상의 시각 기준(예를 들어, 사용자가 하나 이상의 자극을 감지하는지의 여부 또는 그 정도, 광 감도의 정도, 왜곡, 또는 기타의 수차, 또는 기타의 기준)을 충족하지 못하는 사용자의 시야의 시야 부분들 중 하나일 수 있다. 일부 실시예에서, 시스템(100)은 결함 시야 부분의 결정에 기초하여 향상된 이미지를 제공하거나 착용형 디바이스의 하나 이상의 구성을 조정할 수 있다. 예로서, 향상된 이미지는, 향상된 이미지의 하나 이상의 주어진 부분(예를 들어, 사용자의 눈의 시야의 황반 영역 또는 눈의 황반 영역 내의 영역에 대응하는 향상된 이미지의 영역)이 결함 시야 부분 외부에 있도록 생성되거나 사용자에게 디스플레이될 수 있다. 또 다른 예로서, 착용형 디바이스의 하나 이상의 디스플레이 부분의 위치, 형상, 또는 크기, 이러한 디스플레이 부분들의 밝기, 콘트라스트, 채도, 또는 선명도 레벨, 이러한 디스플레이 부분들의 투명도, 또는 착용형 디바이스의 기타의 구성이, 결정된 결함 시야 부분들에 기초하여 조정될 수 있다.
일부 실시예에서, 시각적 결함(예를 들어, 광 민감도들, 왜곡들, 또는 기타의 수차들)의 결정, 사용자의 시각을 교정하거나 향상시키는데 이용될 수정 프로파일들(예를 들어, 수정 파라미터들 또는 기능들을 포함하는 교정/향상 프로파일들)의 결정, (예를 들어, 라이브 이미지 데이터로부터 파생된) 향상된 이미지들의 생성, 또는 기타의 동작들을 용이화하기 위해 하나 이상의 예측 모델이 이용될 수 있다. 일부 실시예에서, 예측 모델들은 하나 이상의 신경망 또는 기타의 머신 학습 모델들을 포함할 수 있다. 예를 들어, 신경망들은 신경 단위들(또는 인공 뉴런들)의 대규모 집합에 기초할 수 있다. 신경망들은 생물학적 뇌가 작동하는 방식을 느슨하게 모방할 수 있다(예를 들어, 축색돌기들에 의해 접속된 생물학적 뉴런들의 큰 클러스터들을 통해). 신경망의 각각의 신경 단위는 신경망의 다른 많은 신경 단위들과 접속될 수 있다. 이러한 접속들은 접속된 신경 단위들의 활성화 상태에 미치는 영향을 강제하거나 억제할 수 있다. 일부 실시예에서, 각각의 개별 신경 단위는 모든 입력의 값들을 함께 결합하는 합산 기능을 가질 수 있다. 일부 실시예에서, 각각의 접속(또는 신경 단위 그 자체)은, 신호가 다른 신경 단위로 전파되기 전에 임계값을 반드시 초과하게 하는 임계값 기능을 가질 수 있다. 이들 신경망 시스템들은, 명시적으로 프로그래밍되는 것이 아니라, 자체 학습 및 훈련될 수 있으며, 전통적인 컴퓨터 프로그램들과 비교하여, 소정의 문제 영역들에서 훨씬 더 양호한 성능을 발휘할 수 있다. 일부 실시예에서, 신경망들은 복수의 층을 포함할 수 있다(예를 들어, 신호 경로가 전면 층들로부터 배면 층들로 횡단하는 경우). 일부 실시예에서, 역전파 기술들은 신경망들에 의해 이용될 수 있고, 여기서 순방향 자극은 "전면" 신경 단위들에 대한 가중치들을 리셋하는데 이용된다. 일부 실시예에서, 신경망들에 대한 자극 및 억제는, 더 무질서하고 복잡한 방식으로 상호작용하는 접속들과 함께, 더 자유로울 수 있다.
예로서, 도 1b와 관련하여, 머신 학습 모델(162)은 입력들(164)을 취하고 출력들(166)을 제공할 수 있다. 한 이용 사례에서, 출력들(166)은 머신 학습 모델(162)을 훈련시키기 위한 입력으로서 머신 학습 모델(162)에 피드백될 수 있다(예를 들어, 단독으로, 또는 출력들(166)의 정확도의 사용자 표시들, 입력들과 연관된 라벨들, 또는 기타의 참조 피드백 정보와 연계하여). 또 다른 이용 사례에서, 머신 학습 모델(162)은 그 예측(예를 들어, 출력들(166))의 평가 및 참조 피드백 정보(예를 들어, 정확도의 사용자 표시, 참조 라벨들, 또는 기타의 정보)에 기초하여 그 구성들(예를 들어, 가중치들, 바이어스들, 또는 기타의 파라미터들)을 업데이트할 수 있다. 머신 학습 모델(162)이 신경망인 또 다른 이용 사례에서, 신경망의 예측과 참조 피드백 사이의 차이들을 조정하기 위해 접속 가중치들이 조정될 수 있다. 추가 이용 사례에서, 신경망의 하나 이상의 뉴런(또는 노드)은 업데이트 프로세스(예를 들어, 오류의 역전파)를 용이화하기 위해 그들 각각의 오류가 신경망을 통해 역방향으로 그들에게 전송될 것을 요구할 수 있다. 예를 들어, 접속 가중치들에 대한 업데이트들은, 순방향 전달이 완료된 후 역방향으로 전파되는 오류의 크기를 반영할 수 있다. 이러한 방식으로, 예를 들어, 예측 모델은 더 양호한 예측들을 생성하도록 훈련될 수 있다.
일부 실시예에서, (사용자에게 디스플레이되는) 자극 세트와 관련된 피드백, 사용자의 하나 이상의 눈과 관련된 피드백, 사용자의 환경과 관련된 피드백, 또는 기타의 피드백을 획득하면, 시스템(100)은 피드백을 예측 모델에 제공할 수 있고, 예측 모델은 피드백에 기초하여 구성될 수 있다. 한 예로서, 예측 모델은, (i) (자극 세트 중의) 하나 이상의 자극에 대한 사용자의 반응의 표시, (ii) 이러한 자극에 대한 사용자의 반응의 부족의 표시, (iii) 시각 검사 프리젠테이션 동안 캡처된 눈 이미지 또는 기타의 피드백에 기초하여 사용자에 대해 자동으로 구성될 수 있다(예를 들어, 예측 모델은 시각 검사 프리젠테이션으로부터의 피드백에 기초하여 사용자에게 개인맞춤화될 수 있음). 또 다른 예로서, 예측 모델은, 예측 모델에 의해 제공되는 결과들의 정확도를 개선하기 위해 이러한 피드백 및 다른 사용자들로부터의 기타의 피드백에 기초하여 훈련될 수 있다. 일부 실시예에서, (예를 들어, 사용자에 대해) 예측 모델이 구성될 때, 시스템(100)은 (라이브 이미지 데이터로부터 파생된) 향상된 이미지를 획득하고 향상된 이미지가 디스플레이되게끔하기 위해 라이브 이미지 데이터 또는 기타의 데이터를 예측 모델에 제공할 수 있다. 한 예로서, 시스템(100)의 착용형 디바이스는, 착용형 디바이스의 하나 이상의 카메라로부터 라이브 비디오 스트림을 획득할 수 있고 향상된 이미지가 착용형 디바이스의 하나 이상의 디스플레이 상에 디스플레이되게 할 수 있다. 일부 실시예에서, 착용형 디바이스는, 예측 모델로부터 향상된 이미지(예를 들어, 향상된 이미지를 나타내는 파일 또는 기타의 데이터 구조)를 획득할 수 있다. 일부 실시예에서, 착용형 디바이스는 예측 모델로부터 수정 프로파일(예를 들어, 수정 파라미터들 또는 기능들)을 획득할 수 있고, 라이브 비디오 스트림 및 수정 프로파일에 기초하여 향상된 이미지를 생성할 수 있다. 한 이용 사례에서, 수정 프로파일은 라이브 이미지 데이터로부터 향상된 이미지를 생성하는데 이용되는 수정 파라미터들 또는 기능들(예를 들어, 라이브 이미지 데이터를 향상된 이미지로 변환하거나 수정하는데 이용되는 기능들의 파라미터들)을 포함할 수 있다. 추가로 또는 대안으로서, 수정 프로파일은 하나 이상의 디스플레이 부분을 동적으로 구성(예를 들어, 투명 디스플레이의 투명 또는 불투명 부분들의 동적 조정, 투사기의 투사 부분들의 동적 조정 등)하기 위한 수정 파라미터들 또는 기능들을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 하나 이상의 동적 디스플레이 부분(예를 들어, 투명 디스플레이 상의 투명 디스플레이 부분, 투사기의 투사 부분들 등)을 통해 사용자의 시야의 향상을 용이화할 수 있다. 한 예로서, 투명 디스플레이와 관련하여, 동적 디스플레이 부분들은, 하나 이상의 투명 디스플레이 부분 및 (예를 들어, 착용형 디바이스 또는 다른 디바이스의) 하나 이상의 다른 디스플레이 부분을 포함할 수 있다. 시스템(100)은 하나 이상의 이미지가 다른 디스플레이 부분 상에 디스플레이되게 할 수 있다. 한 예로서, 사용자는 투명 디스플레이의 투명 디스플레이 부분들을 통해 볼 수 있지만, 다른 디스플레이 부분들을 통해서는 볼 수 없고, 대신에, 투명 디스플레이의 다른 디스플레이 부분들 상의(예를 들어, 투명 디스플레이 부분들의 주변의 또는 이에 근접한) 이미지 프리젠테이션을 볼 수 있다. 하나의 이용 사례에서, 라이브 이미지 데이터는 착용형 디바이스를 통해 획득될 수 있고, 향상된 이미지는 라이브 이미지 데이터에 기초하여 생성되어 착용형 디바이스의 다른 디스플레이 부분들 상에서 디스플레이될 수 있다. 일부 실시예에서, 시스템(100)은 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하고, 모니터링에 기초하여, 투명 디스플레이의 투명 디스플레이 부분들의 조정을 유발할 수 있다. 예를 들어, 모니터링된 변화들은, 눈 움직임, 시선 방향의 변화, 동공 크기 변화, 또는 기타의 변화들을 포함할 수 있다. 착용형 디바이스의 투명 디스플레이 부분들의 하나 이상의 위치, 형상, 크기, 투명도, 또는 기타의 양태는 모니터링된 변화들에 기초하여 자동으로 조정될 수 있다. 이러한 방식으로, 예를 들어, 시스템(100)은, 눈 움직임들, 시선 방향, 동공 반응들, 또는 눈과 관련된 기타의 변화들에 관하여 제약없이(또는 적어도 제약을 감소시키면서) 이동성을 개선할 수 있다.
일부 실시예에서, 시스템(100)은, (예를 들어, 사용자에게 디스플레이된 자극 세트와 관련된 피드백 또는 기타의 피드백에 기초하여) 장면의 복수의 이미지의 부분들의 조합을 통해 사용자의 시야 증가를 용이화할 수 있고, 시스템(100)은 장면의 복수의 이미지를 획득할 수 있다. 시스템(100)은 이미지들에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중의 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 일부 실시예에서, 시스템(100)은 공통 영역 및 발산 영역들에 기초하여 향상된 이미지를 생성하거나 사용자에게 디스플레이할 수 있다. 한 예로서, 공통 영역 및 발산 영역들은, 공통 영역의 표현 및 발산 영역들의 표현들을 포함하는 향상된 이미지를 생성하기 위해 결합될 수 있다. 공통 영역은 서로 동일하거나 유사한 특성들을 갖는 이미지들의 각각의 부분들에 대응할 수 있고, 각각의 발산 영역은 다른 이미지들의 다른 모든 대응하는 부분들과 구별되는 이미지들 중 하나의 한 부분에 대응할 수 있다. 한 시나리오에서, 한 이미지의 한 별개의 부분은 다른 이미지들에서 표현되지 않는 장면의 일부를 포함할 수 있다. 이러한 방식으로, 예를 들어, 강화된 이미지로의 공통 영역과 발산 영역의 조합은, 각각의 이미지에 의해 제공되는 시야를 증가시키고, 향상된 이미지는 사용자의 시각을 증강시키는데 이용될 수 있다.
일부 실시예에서, 시스템(100)은 물체가 사용자와 물리적으로 접촉할 것이라는 것을 나타내는 예측을 생성하고 물리적 접촉 예측에 기초하여 경고가 디스플레이되게 할 수 있다(예를 들어, 물체와 관련된 경고가 사용자의 착용형 디바이스 상에 디스플레이된다). 일부 실시예에서, 시스템(100)은 사용자의 시야의 결함 시야 부분에서 물체를 검출하고, (i) 결함 시야 부분에 있는 물체, (ii) 물리적 접촉 예측, 또는 (iii) 기타의 정보에 기초하여 경고가 디스플레이되게 할 수 있다. 일부 실시예에서, 시스템(100)은 물체가 하나 이상의 시각 기준을 충족시키는 적어도 하나의 시야 부분에 대응하는 (사용자에게 디스플레이되는) 향상된 이미지의 임의의 이미지 부분 외부에 있는지(또는 충분히 안에 있지 않은지)를 결정할 수 있다. 하나의 이용 사례에서, (예를 들어, 물체가 사용자와 물리적으로 접촉할 것으로 예측되는 경우에도) 물체가 사용자의 온전한 시야 부분에 대응하는 향상된 이미지의 이미지 부분 내부에(또는 충분히 안에) 있다고 결정될 때 경고가 디스플레이되지 않을 수 있다(또는 더 낮은 우선순위 경고가 디스플레이될 수 있다). 반면에, 결함 시야 부분의 물체가 사용자와 물리적으로 접촉하는 것으로 예측되고 물체가 사용자의 온전한 시야 부분의 외부에 있는(또는 충분히 안에 있지 않은) 것으로 결정되는 경우, 경고가 사용자의 착용형 디바이스에 디스플레이될 수 있다. 이러한 방식으로, 예를 들어, 사용자는 사용자의 온전한 시야 내에 들어오는 물체를 회피하기 위해 사용자 자신의 온전한 시야에 의존할 수 있음으로써, 이러한 들어오는 물체들의 회피를 위한 (예를 들어 습관 형성을 통해) 착용형 디바이스에 대한 의존 위험을 완화할 수 있다. 그러나, 다른 이용 사례들에서는, 물체가 사용자의 온전한 시야 내에 있는지에 관계없이 물체와 관련된 경고가 물리적 접촉 예측에 기초하여 디스플레이될 수 있다는 점에 유의해야 한다.
일부 실시예에서, 도 1c와 관련하여, 클라이언트 디바이스(104)는 피험자를 위한 착용형 디바이스를 형성하는 안경 디바이스(170)를 포함할 수 있다. 일부 실시예에서, 안경 디바이스(170)는 본 명세서에 설명된 시각보정 시스템의 일부일 수 있다. 안경 디바이스(170)는 좌측 접안경(172) 및 우측 접안경(174)을 포함한다. 각각의 접안경(172 및 174)은 재생성된 이미지들을 피험자의 각각의 눈에 디스플레이(예를 들어, 스크린 상에 제공하거나 눈에 투사)하도록 구성된 디지털 모니터를 포함하거나 및/또는 이와 연관될 수 있다. 다양한 실시예에서, 디지털 모니터들은, 디스플레이 스크린 상에 이미지 디스플레이를 생성하거나 눈(예를 들어, 눈의 망막) 상에 이미지를 투사하기 위한 디스플레이 스크린, 투사기들, 및/또는 하드웨어를 포함할 수 있다. 투사기들을 포함하는 디지털 모니터들은, 피험자의 눈에, 또는 스크린, 유리, 또는 이미지들이 투사될 수 있는 기타의 표면을 포함하는 접안경 상에, 이미지를 투사하기 위해, 다른 위치들에 배치될 수 있다는 것을 이해할 수 있을 것이다. 한 실시예에서, 좌측 접안경(172) 및 우측 접안경(174)은, 각각의 접안경(172, 174)이 데이터를 수집하고, 추가 예에서는 이미지 데이터를 상이한 눈에 디스플레이/투사하는 것을 포함하는, 이미지 데이터를 디스플레이/투사할 수 있도록, 피험자의 궤도 영역에 맞게끔 하우징(176)에 관해 위치할 수 있다.
각각의 접안경(172, 174)은, 내향 이미지 센서들일 수 있는 하나 이상의 내향 센서(178, 180)를 더 포함할 수 있다. 한 예에서, 내향 센서들(178, 180)은, 동공 움직임을 추적하고 피험자의 시각적 축들을 결정 및 추적하도록 구성된 적외선 카메라들, 광검출기들, 또는 기타의 적외선 센서들을 포함할 수 있다. (예를 들어, 적외선 카메라를 포함하는) 내향 센서들(178, 180)은, 피험자의 실제 시야이든 또는 피험자에게 디스플레이되거나 투사되는 시야이든, 피험자의 시야를 차단하지 않도록, 접안경(172, 174)에 관해 더 낮은 부분들에 위치한다. 내향 센서들(178, 180)은, 더 양호한 동공 및/또는 시선 추적을 위해 추정된 동공 영역을 가리키도록 방향 정렬될 수 있다. 일부 예에서, 내향 센서들(178, 180)은 연속적인 내측 표면을 제공하기 위해 접안경들(172, 174) 내에 내장될 수 있다.
도 1d는, 시야 카메라들을 포함하는 각각의 외향 이미지 센서들(182, 184)이 위치하는 접안경들(172, 174)의 정면도를 보여주는 안경 디바이스(170)의 정면도를 나타낸다. 다른 실시예들에서, 더 적은 수의 또는 추가적인 외향 이미지 센서들(182, 184)이 제공될 수 있다. 외향 이미지 센서들(182, 184)은 연속 이미지들을 캡처하도록 구성될 수 있다. 안경 디바이스(170) 또는 연관된 시각 시스템은 또한, 이미지들을 교정 및/또는 향상시키도록 구성될 수 있고, 이것은 피험자의 광학적 병리들에 기초한 맞춤형 방식일 수 있다. 안경 디바이스(170)는 또한, 시각보정 모드에서 모니터들을 통해 피험자에 교정된 및/또는 향상된 이미지를 디스플레이하도록 구성될 수 있다. 예를 들어, 안경 디바이스는, 접안경 또는 인접 영역과 연관된 디스플레이 스크린 상에 교정된 및/또는 향상된 이미지를 생성하거나, 접안경 또는 인접 영역과 연관된 디스플레이 스크린 상에 이미지를 투사하거나, 피험자의 하나 이상의 눈에 이미지를 투사할 수 있다.
도 1e 내지 도 1f는 안경 디바이스(170)의 다른 예를 나타낸다. 도 1e 내지 도 1f와 관련하여, 안경 디바이스(170)는, 고해상도 카메라(또는 카메라들)(192), 전력 유닛(193), 처리 유닛(194), 유리 스크린(195), 씨스루(see-through) 디스플레이(196)(예를 들어, 투명 디스플레이), 눈 추적 시스템(197), 및 기타의 컴포넌트들을 포함한다.
일부 실시예에서, 안경 디바이스(170)는 검사 모드를 포함할 수 있다. 한 예시적인 검사 모드에서, 내향 센서들(178, 180)은 검사 프로토콜에 반응하여 동공 움직임을 추적하고 시각적 축(예를 들어, 시선) 추적을 수행한다. 이 또는 다른 예에서, 내향 센서들(178, 180)은 각막 또는 안구 광학 시스템의 왜곡들 및 불규칙성들을 검출하기 위해 각막 및/또는 망막 상에서 반사된 패턴의 반사를 캡처하도록 구성될 수 있다.
검사 모드를 이용하여 시각적 평가들을 수행해, 고차 및/또는 저차 수차들 등의 안구 병리들, 녹내장, 시신경염, 시신경병증 등의 시신경의 병리들, 황반변성, 색소성 망막염 등의 망막의 병리, 미세혈관 뇌졸중 및 종양 등의 시각 경로의 병리들, 및 노안, 사시, 높고 낮은 광학 수차들, 단안 시각, 부등시(anisometropia) 및 부등상시증(aniseikonia), 광 감도, 동위 굴절 이상 및 난시 등의 기타의 상태를 식별할 수 있다. 검사 모드에서, 데이터는 특정한 피험자에 대해 수집되고, 여기서 설명된 바와 같이 모니터들에 의해 피험자에게 투사되는 것을 포함할 수 있는, 캡처된 이미지들이 디스플레이되기 전에 캡처된 이미지들을 교정하는데 이용될 수 있다.
일부 예에서, 외부 센서를 이용하여 피험자의 시야를 평가하기 위한 추가 데이터를 제공할 수 있다. 예를 들어, 캡처된 이미지를 교정하는데 이용되는 데이터는, 시야 검사 디바이스들, 수차계들, 안구 전도(electro-oculogram) 또는 시각적 유발된 전위 디바이스들 등의 외부 검사 디바이스들로부터 획득될 수 있다. 이들 디바이스들로부터 획득된 데이터는 시각적 축 결정들을 위한 동공 또는 시선 추적과 결합되어, 사용자에게 투사되거나 디스플레이되는 이미지들을 수정하는데 이용되는 하나 이상의 수정 프로파일(예를 들어, 이러한 이미지들을 교정하거나 향상시키는데 이용되는 교정 프로파일, 향상 프로파일 등)을 생성할 수 있다.
안경 디바이스(170)는, 검사 모드에 추가하거나 검사 모드를 대신할 수 있는 시각보정 모드를 포함할 수 있다. 시각보정 모드에서, 하나 이상의 외향 이미지 센서(182, 184)는 실시간 이미지 처리를 위해 촬영 프로세서에 전송되는 이미지들을 캡처한다. 이미지 프로세서는 안경 디바이스(170)에 내장되거나, 외부 이미지 처리 디바이스와 연관된 것 등의, 안경 디바이스의 외부에 있을 수 있다. 촬영 프로세서는 시각보정 모듈의 한 컴포넌트일 수 있거나 및/또는 본 문서의 다른 곳에서 설명된 장면 처리 모듈을 포함할 수 있다.
안경 디바이스(170)는, 안경 디바이스(170) 내에 내장된 무선 트랜시버 등의, 유선 또는 무선 통신을 통해 하나 이상의 촬영 프로세서와 통신가능하게 결합될 수 있다. 외부 촬영 프로세서는, 랩탑 컴퓨터, 태블릿, 모바일 전화, 네트워크 서버, 또는 중앙집중형이든 분산형이든, 기타의 컴퓨터 처리 디바이스들 등의 컴퓨터를 포함할 수 있고, 하나 이상의 프로세서 및 하나 이상의 메모리를 특징으로 할 수 있다. 논의된 예에서, 캡처된 이미지들은 이 외부 이미지 처리 디바이스에서 처리된다; 그러나, 다른 예들에서, 캡처된 이미지들은 디지털 안경 내에 내장된 촬영 프로세서에 의해 처리될 수도 있다. (예를 들어, 기능적 시야 또는 기타의 시각적 양태들을 개선하기 위해 향상되거나 및/또는 피험자의 시야 병리들을 교정하기 위해 향상된) 처리된 이미지들은 안경 디바이스(170)에 전송되고 피험자가 볼 수 있도록 모니터들에 의해 디스플레이된다.
안경 디바이스를 포함하는 시각 시스템의 한 예시적인 동작에서, 캡처된 이미지들의 실시간 이미지 처리는, (예를 들어, 맞춤-내장된 MATLAB(MathWorks, Natick, MA) 코드를 이용하여) 안경 디바이스에 내장된 소형 컴퓨터에서 실행되는 촬영 프로세서에 의해 실행될 수 있다. 다른 예들에서, 코드는 안경 디바이스와 통신하도록 무선으로 네트워킹된 외부 이미지 처리 디바이스 또는 기타의 컴퓨터에서 실행될 수 있다. 한 실시예에서, 안경 디바이스, 이미지 프로세서, 및 시각보정 및/또는 검사 모드들을 실행하기 위한 연관된 명령어들을 포함하는 시각 시스템은, 안경 디바이스 단독 또는 하나 이상의 외부 디바이스(예를 들어, 랩탑 컴퓨터)와 조합하여 구현될 수 있고, 2개의 동작 모드, 즉, 시각보정 모드 및 별도의 검사 모드로 동작할 수 있다.
일부 실시예에서, 도 2와 관련하여, 시스템(100)은 시각 시스템(200)을 포함할 수 있고, 시각 시스템(200)은, 서버(206), 모바일 셀룰러 전화(208) 또는 개인용 컴퓨터(210)와 통신하기 위해 네트워크(204)에 통신가능하게 결합된 안경 디바이스(202)를 포함하며, 이들 중 임의의 것은, 검사 모드 및/또는 시각보정 모드에 관한 것들을 포함할 수 있는, 이미지 처리 기술들 등의 여기서의 처리 기술들을 구현하기 위한 시각 교정 프레임워크(212)를 포함할 수 있다. 예시된 예에서, 시각 교정 프레임워크(212)는, 네트워크(204)를 통해 안경 디바이스(202)와 통신하기 위한 트랜시버와 함께, 여기서의 기술들을 구현하기 위한 운영 체제 및 애플리케이션들을 저장한 메모리 및 프로세서를 포함한다. 프레임워크(212)는, 본 예에서는 머신 학습 프레임워크를 포함하는 검사 모듈(214)을 포함한다. 머신 학습 프레임워크는 검사 모듈에 의해 실행되는 검사 프로토콜과 함께 이용되어, 감독 또는 비감독 방식으로 안구 병리를 더욱 정확하게 평가하기 위해 검사 모드를 적응적으로 조정할 수 있다. 검사 모듈 동작의 결과는 피험자(218)에 대한 맞춤형 시각 교정된 모델(216)의 개발을 포함할 수 있다.
시각보정 모듈(220)은, 일부 실시예에서, 안경 디바이스(202)에 의한 디스플레이를 위한 교정된 시각적 이미지들을 생성하기 위해 맞춤형 시각 교정된 모델들에 액세스하는 머신 학습 프레임워크를 역시 포함할 수 있다. 시각 교정된 프레임워크(212)는 또한, 검사 모드 및/또는 시각보정 모드 동작들 동안에 이용할 이미지들을 처리할 수 있는 장면 처리 모듈을 포함할 수 있고, 처리 모듈과 관련하여 본 명세서의 다른 곳에서 및 위에서 설명된 동작들을 포함할 수 있다. 상기 및 본 명세서의 다른 곳에서 설명된 바와 같이, 일부 실시예에서, 안경 디바이스(202)는 시각 교정 프레임워크(212)의 전부 또는 일부를 포함할 수 있다.
검사 모드에서, 안경 디바이스(170 또는 202), 및 특히 안경 디바이스(170 또는 202)의 내부를 따라 위치할 수 있는 추적 카메라들을 포함하는 하나 이상의 내향 이미지 센서들이, 처리된 이미지들을 피험자의 동공 및 시각 축에 정확하게 정렬시키는 이용되는 동공 및 시각 축 추적 데이터를 캡처하는데 이용될 수 있다.
일부 실시예에서, 도 3과 관련하여, 시스템(100)은 시각 교정 프레임워크(302)를 포함하는 시각 시스템(300)을 포함할 수 있다. 시각 교정 프레임워크(302)는, 이미지 처리 디바이스(304) 및 피험자에게 배치하기 위한 안경 디바이스(306)에서 구현될 수 있다. 이미지 처리 디바이스(304)는 외부 이미지 처리 디바이스 또는 기타의 컴퓨터에 완전히 포함될 수 있는 반면, 다른 예들에서는, 이미지 처리 디바이스(304)의 전부 또는 일부는 안경 디바이스(306) 내에 구현될 수 있다.
이미지 처리 디바이스(304)는, 안경 디바이스(306)로부터 피험자의 고해상도 이미지들을 수집하기 위한 명령어들을 포함할 수 있는, 본 명세서에 설명된 검사 및/또는 시각보정 모드들을 실행하기 위한 명령어들(310)을 저장하는 메모리(308)를 포함할 수 있다. 시각보정 모드에서, 안경 디바이스(306)는, 실시간 시야 이미지 데이터를, 원시 데이터, 처리된 데이터, 또는 전처리된 데이터로서 캡처할 수 있다. 검사 모드에서, 안경 디바이스는 피험자의 시야의 양태들을 검사하기 위해 (문자 "텍스트", 또는 차량이나 기타의 물체의 이미지들 등의) 검사 이미지들을 투사할 수 있다.
안경 디바이스(306)는 유선 또는 무선 링크를 통해 이미지 처리 디바이스(304)에 통신가능하게 접속될 수 있다. 링크는, USB(Universal Serial Bus), IEEE 1394(Firewire), Ethernet, 또는 기타의 유선 통신 프로토콜 디바이스를 통해 이루어질 수 있다. 무선 접속은, WiFi, NFC, iBeacon, Bluetooth, Bluetooth low energy 등의, 임의의 적절한 무선 통신 프로토콜을 통해 이루어질 수 있다.
다양한 실시예에서, 이미지 처리 디바이스(304)는 입력/출력(I/O) 회로에 접속된 링크를 통해 데이터베이스에 동작적으로 접속된 제어기를 가질 수 있다. 추가적인 데이터베이스들이 알려진 방식으로 제어기에 접속될 수 있다. 제어기는, 프로그램 메모리, 프로세서(마이크로제어기 또는 마이크로프로세서로 불릴 수 있음), 랜덤 액세스 메모리(RAM), 및 입력/출력(I/O) 회로를 포함하며, 이들 모두는 주소/데이터 버스를 통해 상호접속될 수 있다. 비록 하나의 마이크로프로세서만이 설명되었지만, 제어기는 복수의 마이크로프로세서를 포함할 수 있다는 것을 이해해야 한다. 유사하게, 제어기의 메모리는 복수의 RAM 및 복수의 프로그램 메모리를 포함할 수 있다. RAM(들) 및 프로그램 메모리들은, 반도체 메모리들, 자기적으로 판독가능한 메모리들, 및/또는 광학적으로 판독가능한 메모리들로서 구현될 수 있다. 링크는, I/O 회로를 통해, 제어기를 캡처 디바이스에 동작적으로 접속할 수 있다.
프로그램 메모리 및/또는 RAM은, 마이크로프로세서에 의한 실행을 위한 다양한 애플리케이션(즉, 머신 판독가능한 명령어들)을 저장할 수 있다. 예를 들어, 운영 체제는 일반적으로 안경 디바이스(306) 및/또는 이미지 처리 디바이스(304)의 동작 등의 시각 시스템(300)의 동작을 제어할 수 있고, 일부 실시예에서는, 여기서 설명된 프로세스들을 구현하기 위해 디바이스에 사용자 인터페이스를 제공할 수 있다. 프로그램 메모리 및/또는 RAM은 또한, 여기서 설명된 이미지 처리 디바이스(304)의 특정한 기능들에 액세스하기 위한 다양한 서브루틴을 저장할 수 있다. 예를 들어, 제한 없이, 서브루틴은, 특히: 안경 디바이스로부터 시야의 고해상도 이미지들을 획득하는 것; 이미지들을 향상시키거나 및/또는 교정하는 것; 및 안경 디바이스(306)에 의해 피험자에게 디스플레이하기 위한 향상된 및/또는 교정된 이미지를 제공하는 것을 포함할 수 있다.
전술한 내용에 추가하여, 이미지 처리 디바이스(304)는 다른 하드웨어 자원들을 포함할 수 있다. 디바이스는 또한, 시각적 디스플레이 및 입력 디바이스(들)(예를 들어, 키패드, 키보드 등) 등의 다양한 유형의 입력/출력 하드웨어를 포함할 수 있다. 한 실시예에서, 디스플레이는 터치 감지형이고, 사용자 입력을 수락하기 위한 소프트웨어들 루틴 중 하나로서 소프트웨어 키보드 루틴과 협력할 수 있다. 이미지 처리 디바이스(304)가, 다수의 알려진 네트워킹 디바이스 및 기술 중 임의의 것을 통해 (예를 들어, 인트라넷, 인터넷 등의 컴퓨터 네트워크를 통해) 더 넓은 네트워크(미도시)와 통신하는 것이 유리할 수 있다. 예를 들어, 디바이스는 수차 데이터의 데이터베이스에 접속될 수 있다.
일부 실시예에서, 시스템(100)은, 예측 모델들, 수정 프로파일들, (예를 들어, 사용자의 검출된 시각적 결함을 나타내는) 시각적 결함 정보, 피드백 정보(예를 들어, 사용자에게 디스플레이된 자극과 관련된 피드백 또는 기타의 피드백), 또는 기타의 정보를 하나 이상의 원격 데이터베이스(예를 들어, 클라우드)에 저장할 수 있다. 일부 실시예에서, 복수의 사용자(예를 들어, 2명 이상의 사용자, 10명 이상의 사용자, 100명 이상의 사용자, 1000명 이상의 사용자, 백만 명 이상의 사용자, 또는 다른 수의 사용자)와 연관된 피드백 정보, 시각적 결함 정보, 수정 프로파일들, 또는 기타의 정보가 하나 이상의 예측 모델을 훈련시키는데 이용될 수 있다. 일부 실시예에서, 하나 이상의 예측 모델은 사용자 또는 디바이스 유형(예를 들어, 특정한 브랜드의 디바이스, 특정한 브랜드 및 모델의 디바이스, 소정 세트의 피처들을 갖는 디바이스 등)에 대해 훈련되거나 구성될 수 있고, 그 사용자 또는 디바이스 유형과 연관하여 저장될 수 있다. 예로서, 사용자 또는 디바이스 유형과 연관된 예측 모델의 인스턴스들은, 로컬로(예를 들어, 사용자 또는 다른 사용자 디바이스의 착용형 디바이스에) 및 원격으로(예를 들어, 클라우드에) 저장될 수 있고, 예측 모델의 이러한 인스턴스들은, 사용자가 임의의 사용자 디바이스 또는 클라우드에 걸쳐 예측 모델의 최신 구성에 액세스할 수 있도록, 하나 이상의 사용자 디바이스 및 클라우드에 걸쳐 자동 또는 수동으로 동기화될 수 있다. 일부 실시예에서, 복수의 수정 프로파일이 사용자 또는 디바이스 유형과 연관될 수 있다. 일부 실시예에서, 수정 프로파일들 각각은, 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하기 위해 주어진 정황에 대한 라이브 이미지 데이터에 적용될 수정 파라미터 또는 기능 세트를 포함할 수 있다. 한 예로서, 사용자는 각각의 눈 특성 세트(예를 들어, 응시 방향들, 동공 크기들, 윤부(limbus) 위치들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다. 추가 예로서, 사용자는, 추가로 또는 대안으로서, 각각의 환경 특성 세트(예를 들어, 환경의 밝기 레벨들, 환경의 온도들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다. 현재 검출된 눈 특성들 또는 환경 특성들에 기초하여, 수정 파라미터들 또는 기능들의 대응하는 세트가 획득되어 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하는데 이용될 수 있다.
서브시스템들 112-124
일부 실시예에서, 도 1a와 관련하여, 검사 서브시스템(122)은 사용자에게 시각 검사 프리젠테이션을 제공할 수 있다. 예를 들어, 프리젠테이션은 자극 세트를 포함할 수 있다. 프리젠테이션 동안(또는 프리젠테이션 후에), 검사 서브시스템(122)은 자극 세트와 관련된 피드백(예를 들어, 사용자가 세트의 하나 이상의 자극을 보는지 여부 또는 보는 방식을 나타내는 피드백)을 획득될 수 있다. 예로서, 피드백은, (자극 세트 중의) 하나 이상의 자극에 대한 사용자의 반응의 표시 또는 이러한 자극에 대한 사용자의 반응의 부족의 표시를 포함할 수 있다. 반응(또는 반응의 부족)은, 눈 움직임, 시선 방향, 동공 크기 변화, 또는 하나 이상의 자극 또는 기타의 사용자 입력(예를 들어, 자극에 대한 사용자의 반응 또는 기타의 반응)의 사용자 수정과 관련될 수 있다. 또 다른 예로서, 피드백은 시각 검사 프리젠테이션 동안 캡처된 눈 이미지를 포함할 수 있다. 눈 이미지는, 눈의 망막 이미지(예를 들어, 전체 망막 또는 그 일부), 눈의 각막 이미지(예를 들어, 전체 각막 또는 그 일부), 또는 기타의 눈 이미지일 수 있다. 일부 실시예에서, 검사 서브시스템(122)은, 사용자의 시야의 영향받는 부분들, 영향받는 부분들의 범위, 사용자의 시각 병리들, 전술한 문제들을 교정하기 위한 수정 프로파일들, 또는 기타의 결과들 등의, 피드백에 기초하여 하나 이상의 결과를 생성할 수 있다.
일부 실시예에서, (시각 검사 프리젠테이션 동안 사용자에게 디스플레이되는) 자극 세트와 관련된 피드백 또는 기타의 피드백에 기초하여, 검사 서브시스템(122)은 사용자의 하나 이상의 눈과 관련된 광 감도, 왜곡들, 또는 기타의 수차들을 결정할 수 있다. 일부 실시예에서, 자극 세트는 패턴을 포함할 수 있고, 검사 서브시스템(122)은 패턴이 사용자의 하나 이상의 눈에 투사되게 할 수 있다(예를 들어, 투사-기반의 착용형 안경 디바이스를 이용하여). 한 예로서, 패턴은 망막 또는 각막에 영향을 미치는 결함을 결정하기 위해 사용자의 망막 또는 각막 상에 투사될 수 있다. 한 가지 이용 사례에서, 투사 패턴을 이용하여 연령-관련된 황반 변성 및 기타의 망막 병리들에서 변형시(dysmorphopsia)에 교정을 평가를 할 수 있다. 도 31a에 도시된 바와 같이, 패턴(3100)의 디지털 투사는 피험자의 눈(3102)에 투사될 수 있다. 패턴은 안경 디바이스의 내부에 위치한 투사기 상에서 디지털적으로 생성될 수 있다. 디지털 카메라(3104)(예를 들어, 내향 이미지 센서)는 또한, 눈(3102)으로부터 반사된 패턴(3100)의 이미지를 캡처하기 위해 안경 디바이스의 내부 측에 위치할 수 있다. 예를 들어, 이미지 캡처는, 도 32에 도시된 바와 같이, 눈의 각막 표면으로부터 캡처될 수 있다. 패턴(3100)의 캡처된 이미지로부터, 검사 서브시스템(122)은 패턴이 정상으로 보이는지(예를 들어, 도 33에 도시된 바와 같이) 또는 비정상들을 보이는지(예를 들어, 도 34에 도시된 바와 같이(3101))를 결정할 수 있다. 비정상들은 여기서 설명된 기술들 중 하나를 이용하여 평가되고 교정될 수 있다.
일부 실시예에서, 검사 서브시스템(122)은 자극 세트가 사용자에게 디스플레이되게 하고, 자극 세트 관련 피드백으로서 사용자의 눈들 중 하나 이상(예를 들어, 사용자의 망막 또는 각막의 적어도 일부)의 이미지를 획득하게 하고, 사용자의 눈과 관련된 광 감도, 왜곡들, 또는 기타의 수차들(예를 들어, 더 낮거나 더 높은 차수의 수차들, 정적 또는 동적 수차들 등)를 해결하기 위해 하나 이상의 수정 파라미터 또는 기능을 결정하게 할 수 있다. 이러한 수정은, 변환들(예를 들어, 회전, 반사, 병진/시프팅, 크기조정 등), 이미지 파라미터 조정들(예를 들어, 밝기, 콘트라스트, 채도, 선명도 등), 또는 기타의 수정들을 포함할 수 있다. 한 예로서, 패턴(예를 들어, Amsler 그리드 또는 기타의 패턴)이 사용자의 망막 또는 각막에 투사될 때, 획득된 이미지는, (예를 들어, 망막 또는 각막으로부터 반사된) 수차들을 갖는 투사된 패턴의 반사를 포함할 수 있다. 검사 서브시스템(122)은, 수정된 패턴이 망막 또는 각막에 투사될 때 (후속해서 획득되는) 망막 또는 각막의 이미지가 하나 이상의 수차가 없는 미리-수정된-패턴 이미지 버전이 되도록, 패턴에 적용될 수정 파라미터들 또는 기능들을 자동으로 결정할 수 있다. 한 이용 사례에서, 도 31c와 관련하여, 패턴(3100)이 사용자의 망막 상에 투사될 때, 획득된 이미지는 왜곡들(예를 들어, 도 31d의 수정된 패턴(3100')에 묘사된 왜곡들의 역)을 갖는 패턴(3100)을 포함할 수 있다. 기능(또는, 예를 들어 획득된 이미지의 왜곡을 반전시키는, 이러한 기능에 대한 파라미터들)이 결정되고 패턴(3100)에 적용되어 수정된 패턴(3100')을 생성할 수 있다. 수정된 패턴(3100')이 사용자의 망막에 투사될 때, 사용자의 망막으로부터의 수정된 패턴(3100')의 반사는 선행 왜곡 없는 도 31c의 패턴(3100)을 포함할 것이다. 반사가 여전히 왜곡들을 포함하는 정도까지, 검사 서브시스템(122)은, (예를 들어, 망막의 반사에서 보이는) 왜곡들을 추가로 완화하기 위해 패턴에 적용될 수정된 파라미터들 또는 기능들을 자동으로 업데이트할 수 있다.
또 다른 이용 사례에서, 망막 또는 각막으로부터 반사된 투사된 자극(예를 들어, 패턴 또는 기타의 자극)을 캡처하는 눈 이미지(예를 들어, 사용자의 하나 이상의 눈의 이미지)를 이용하여 하나 이상의 다른 수차를 교정하는 기능(또는 기능에 대한 파라미터들)을 결정할 수 있다. 결정된 기능 또는 파라미터들을 투사된 자극에 적용할 때, 및 수정된 자극의 반사가 여전히 수차들을 포함하는 정도까지, 검사 서브시스템(122)은, (예를 들어, 반사에서 보이는) 수차들을 추가로 완화하기 위해 자극에 적용될 수정된 파라미터들 또는 기능들을 자동으로 업데이트할 수 있다. 추가 이용 사례에서, 파라미터들 또는 기능들의 전술한 자동화된 결정들은 사용자의 각각의 눈에 대해 수행될 수 있다. 이러한 방식으로, 예를 들어, 각각의 눈에 대한 적절한 파라미터들 또는 기능들을 이용하여 각각의 눈이 상이한 수차들을 갖는 부등시 또는 기타의 상태에 대한 교정을 제공할 수 있다. 부등시와 관련하여, 예를 들어, 전형적인 교정용 안경은 양쪽 눈의 동일하지 않은 굴절력을 교정할 수 없다. 이것은, 교정용 유리 안경이 동일하지 않은 크기의 2개의 이미지(예를 들어, 각각의 눈에 대해 하나씩)를 생성했고(부등상시), 뇌가 이들 2개의 이미지를 양안 단일 시각으로 융합할 수 없어서, 시각적 혼란을 야기하기 때문이다. 그 문제는, 단순히, 유리 안경의 렌즈들이 볼록하여 이미지를 확대하거나, 오목하여 이미지를 축소하기 때문이다. 확대 또는 축소의 양은 교정량에 의존한다. 적절한 파라미터들 또는 기능이 각각의 눈에 대해 결정될 수 있다는 점을 감안할 때, 상기의 동작들(또는 여기서 설명된 다른 기술들)은 부등시(각각의 눈이 상이한 수차들을 갖는 다른 상태와 함께)를 교정할 수 있음으로써, 시각적 혼란이나 이러한 상태와 관련된 기타의 문제를 피할 수 있다.
일부 실시예에서, 도 1a와 관련하여, 검사 서브시스템(122)은 자극의 세트가 사용자에게 디스플레이되게 하고, 자극 세트 또는 기타의 사용자 입력들에 대한 사용자의 수정에 기초하여 (광 감도, 왜곡들, 또는 사용자의 눈과 관련된 기타의 수차들을 해결하기 위한) 하나 이상의 수정 파라미터 또는 기능을 결정할 수 있다. 일부 시나리오에서, 도 31c와 관련하여, 패턴(3100)은, 하나 이상의 안구 비정상을 치료하는데 필요한 변환의 검출을 허용하도록 설계된 그리드(예를 들어, Amsler 그리드) 또는 임의의 알려진 기준 형상일 수 있다. 그 다음, 그 변환을 이용하여 실시간으로 이미지를 역왜곡하여 더 양호한 시야를 허용할 수 있다. 도 8의 한 예시적인 구현에서, 시각 시스템(800)은 검사 모듈(802)을 포함할 수 있다. 검사 모듈(802)은 착용형 안경과 연관될 수 있거나 본 명세서의 다른 곳에서 설명된 바와 같이 외부 디바이스와 조합하여 실행될 수 있다. 검사 모듈(802)은 Amsler 그리드를 포함하는 검사 자극을 피험자(806)에게 프리젠팅할 수 있다. 피험자는, 사용자 디바이스(808) 또는 기타의 입력 디바이스를 통해, 그리드의 이미지를 조작하여 왜곡들을 개선할 수 있다(예를 들어, 그리드의 라인들의 하나 이상의 부분을 드래그하거나 이동함으로써). 시각 교정 프레임워크(810)는 피험자에 의한 추가 교정을 위해 Amsler 그리드를 프리젠팅할 수 있다. 피험자가 수동 교정들을 완료한 경우(예를 들어, 수정된 패턴(3100')이 생성됨), 시각 교정 프레임워크(810)는, 안경 디바이스를 이용하고 있을 때 시각적 장면들에 적용할 피험자의 수정 프로파일을 생성할 수 있다. 예를 들어, 시각 교정 프레임워크(810)는, 패턴(3100)이 기능에 대한 입력으로 제공될 때 수정된 패턴(3100')을 출력하는 역기능(또는 이러한 기능에 대한 파라미터들)을 생성할 수 있다. 시각 시스템(800)의 설명된 워크플로우는 여기서 설명된 다른 검사 모드 동작들에 유사하게 적용될 수 있다.
도 31b는, 착용형 안경(예를 들어, VR 또는 AR 헤드셋) 상에 이미지로서 디스플레이되는 Amsler 그리드(3100)(예를 들어, 예시적인 기준 이미지)의 프리젠테이션의 한 개략적 예시이다. Amsler 그리드(3100)는 피험자의 각막 및/또는 망막 상에 디스플레이되거나 투사될 수 있다. 한 예시적인 표준 그리드(3100)가 도 31c에 도시되어 있다. 동일한 그리드 패턴이 사용자 디바이스 상에 디스플레이될 수 있다. 피험자는, 키보드, 마우스, 터치 스크린, 또는 사용자 인터페이스를 포함할 수 있는 사용자 디바이스의 기타의 입력을 이용하여, 그리드 패턴의 라인들, 특히 곡선으로 나타나는 라인들을 조작할 수 있다. 피험자는 이미지를 조작할 앵커 포인트(3102)를 명시할 수 있다. 앵커 포인트를 명시한 후, 피험자는 사용자 디바이스(예를 들어, 화살표 키들)를 이용하여 명시된 라인을 조정하여, 손상된 황반에 의해 야기된 인지된 왜곡을 교정할 수 있다. 이 절차는 각각의 눈에 관해 독립적으로 수행되어, 한 세트의 2개의 수정된 그리드를 제공할 수 있다.
일단 피험자가 직선으로 보이도록 라인 수정을 완료하고 나면, 시각 교정 프레임워크가 새로운 그리드들을 가져와 적용된 왜곡들에 대응하는 꼭지점들의 메시(mesh)들을 생성한다. 검사 모드로부터 발생하는, 이들 메시들은, 피험자의 비정상을 보상하기 위해 임의의 이미지에 적용된다. 예를 들어, 검사 모드의 확인의 일부로서, 적절한 메시에 대응하는 수정된 이미지가 각각의 눈에 표시될 수 있다. 그러면, 피험자는 사용자 디바이스 상에서 교정된 이미지들이 결함없이 나타나는지를 표시할 수 있고, 결함없이 나타나는 것이 사실이면, 교정이 성공적임을 나타낸다. 예를 들어, 도 31e는 사용자에 의해 인지되어야 하는 실제 장면을 나타낸다. 도 31f는, Amsler 그리드 기술에 의해 결정된 시각적 왜곡을 가진 피험자에게 제공될 때 그 피험자가 도 31f의 시야를 도 31e의 실제 시야로서 보게 되는 교정된 시야를 나타낸다.
이러한 교정은 라이브 이미지들에 관해 실시간으로 수행되어 피험자에 지속적으로 교정된 시각적 장면을 제공할 수 있다. 안경 디바이스가 캡처 시야를 생성하는 디스플레이들을 포함하는지 또는 안경 디바이스가 맞춤형 현실 기반이고 왜곡을 조정하기 위해 교정 층을 이용하는지에 관계없이, 양쪽 경우 모두가 결정된 교정된 메시를 이용할 수 있기 때문에, 교정이 실시간으로 달성될 수 있다.
일부 예에서, Amsler 패턴 등의 기준 이미지는 도 31g에 도시된 3150(예를 들어, 태블릿 PC) 등의, 터치 스크린 또는 태블릿 PC 상에 직접 프리젠팅될 수 있다. Amsler 패턴은 디바이스(3150)의 디스플레이 상에 프리젠팅되며, 피험자는 스타일러스(3152)를 이용하여 곡선으로 나타나는 라인들을 조작하여 이들을 직선으로 보이도록 라인들에 적용될 교정사항을 그릴 수 있다. 검사 모드 동안, 각각의 수정 후, 그리드는 최신의 편집을 반영하도록 다시 그려질 수 있다. 이 절차는 각각의 눈에 관해 독립적으로 수행되어, 우리에게 한 세트의 2개의 수정된 그리드를 제공할 수 있다. 피험자가 검사 모드 수정을 완료한 후, 태블릿 PC는, 메시 데이터를 생성하여 안경 디바이스 상의 동반 애플리케이션에 전송하여 이미지들을 처리하는 결정된 메시들을 적용하는 애플리케이션을 실행한다.
일단 안경 디바이스가 검사 모드 수정의 결과들을 수신하고 나면, 안경 디바이스는 이들을 임의의 이미지에 적용하여 피험자의 비정상을 보상할 수 있다. 그 다음, 이 교정으로부터 발생한 이미지들이 디스플레이될 수 있다. 디스플레이는 VR/AR 헤드셋을 통해 이루어질 수 있다. 한 예에서, 디스플레이는, 헤드셋을 통해 홀로그래픽 방식으로 사용자에게 이미지들을 프리젠팅한다. 디스플레이되는 각각의 이미지는 각각의 눈에 대해 생성된 메시에 대응할 수 있다. 교정된 이미지들이 피험자에 결함없이 보이면, 교정이 성공적인 것으로 간주되고 미래의 이미지 처리를 위해 유지될 수 있다. 검사 모드의 일부 실시예에서, 수정된 그리드들에 따라 수정된 단일 이미지를 프리젠팅하는 것 대신에 또는 이에 추가하여, 수정들을 통합하는 비디오가 프리젠팅될 수도 있다. 한 예에서, 비디오는, 피험자에게 보여지는, 교정을 통한 카메라의 라이브 비디오 피드 스트림을 포함한다.
일부 실시예에서, 도 1a와 관련하여, 검사 서브시스템(122)은 사용자의 시야 중 하나 이상의 결함 시야 부분을 결정할 수 있다(예를 들어, 사용자에게 디스플레이된 자극의 세트와 관련된 피드백 또는 기타의 피드백에 기초한 자동 결정). 예를 들어, 결함 시야 부분은, 하나 이상의 시각 기준(예를 들어, 사용자가 하나 이상의 자극을 감지하는지의 여부 또는 그 정도, 광 감도의 정도, 왜곡, 또는 기타의 수차, 또는 기타의 기준)을 충족하지 못하는 사용자의 시야의 시야 부분들 중 하나일 수 있다. 일부 경우에, 사용자에게 디스플레이되는 자극 세트는, 텍스트의 또는 물체의 적어도 하나의 검사 이미지를 포함한다. 결함 시야 부분들은, 감소된 시각 감도의 영역들, 더 높거나 더 낮은 광학 수차들의 영역들, 감소된 밝기의 영역들, 또는 기타의 결함 시야 부분들을 포함할 수 있다. 일부 경우에, 자극 세트는, 콘트라스트 레벨들에서, 서로에 관해 및 기준선 콘트라스트 레벨에 관해 적어도 20dB만큼 상이할 수 있다. 일부 경우에, 자극 세트는, 콘트라스트 레벨들에서, 서로에 관해 및 기준선 콘트라스트 레벨에 관해 적어도 30dB만큼 상이할 수 있다. 일부 경우에, 검사 서브시스템(122)은, 검사 모드에서, 검사 자극 세트를 사용자에게 내림차순 또는 오름차순 콘트라스트로 디스플레이하도록 착용형 안경 디바이스에게 지시할 수 있다.
한 이용 사례에서, 4명의 피험자에 관해 검사를 수행했다. 검사 프로토콜은, 안경 디바이스의 하나 이상의 디스플레이 모니터 상의 상이한 위치들에서의 텍스트의 디스플레이를 포함했다. 피험자의 손상된 영역들의 시야를 평가하기 위해, 각각의 눈에 대한 안경 모니터들 상에 "텍스트"라는 단어를 디스플레이하고 피험자에게 "텍스트"를 식별하도록 요청했다. 처음에 "텍스트"라는 단어의 "xt" 부분은 오퍼레이터에 의해 의도적으로 피험자의 사각 지대에 배치되었다. 4명의 피험자 모두 단어의 "te" 부분만을 보았다고 보고했다. 그 다음, 구체적으로는, 디스플레이를 제어하기 위해 소프트웨어를 이용하여 문자들이 이동되었다. 텍스트 "text"는 그 단어를 다시 읽으라고 요청을 받은 피험자의 사각 지대로부터 멀리 이동되었다. 피험자들은 "text"를 읽을 수 있었고, 이것은 이제 그 단어의 "xt" 부분이 나타났음을 말해준다.
검사 모드의 이 평가 프로토콜의 한 예가 도 6a 내지 도 6c에 나와 있다. 도 6a 및 도 6b에 도시된 바와 같이, 코드는 Humphrey 시야의 사각 지대를 자동으로 검출한다. 단어 "text"(600)는, 그 단어의 "xt" 부분이 사각 지대(602)에 있도록 투사된다(도 6a). 피험자는 그 단어를 읽도록 요청받았다. 그 다음 "text"라는 단어(600)가 사각 지대(602)(도 6b)로부터 멀리 이동되었고, 피험자는 그것을 다시 읽도록 요청받았다. “text”라는 단어(600)는 피험자의 시야의 상이한 좌표들에서 디스플레이될 수 있고, 이 예시된 예에서는 시야가 4개의 좌표로 분할되어 있다. 이 프로토콜은, 주변 사각 지대(604)를 포함한, 복수의 사각 지대의 식별을 허용한다. 텍스트는 피험자의 전체 시야에 걸쳐 이리저리 이동되고, 피험자는, 텍스트의 전체 또는 일부가 보이지 않거나 부분적으로 보이거나 감소된 강도로 보일 수 있는 경우를 식별하도록 요청받았다.
본 명세서에 설명된 동공 추적 기능들은, 동공 물리적 상태(예를 들어, 시각적 축, 동공 크기, 및/또는 윤부), 정렬, 팽창, 및/또는 시선을 포함할 수 있다. 시각적 축이라고도 알려진 시선은, 동공, 윤부(즉, 각막과 공막 사이의 가장자리)을 추적하거나, 심지어, 눈의 또는 눈 내부의 표면 상의 혈관을 추적하는 것 중 하나 이상을 통해 달성될 수 있는 목표이다. 따라서, 동공 추적은 유사하게 윤부 또는 혈관 추적을 포함할 수 있다. 동공 추적은 본 명세서에 설명된 바와 같이 하나 이상의 내향 이미지 센서를 이용하여 수행될 수 있다. 다양한 실시예에서, 동공 추적 기능들은 피험자의 시야에 투사된 이미지를 정렬시키기 위한 파라미터들의 결정에 이용될 수 있다(도 6c).
도 6c와 관련하여, GUI(606) 디스플레이가 오퍼레이터에게 디스플레이될 수 있다. GUI(606)는 검사와 관련된 정보를 제공할 수 있다. 예를 들어, GUI(606)는 측정된 시야 결함들 및 결함들에 대한 이미지의 상대적 위치를 보여준다. GUI(606)는 시야의 기능적 부분에 대한 이미지들의 자동 분포를 허용하도록 동작할 수 있지만 오퍼레이터가 자동 모드를 무시하는 것을 허용하는 버튼을 포함할 수 있다. 외부 이미지 처리 디바이스는 이 평가 텍스트가 디스플레이될 위치를 결정하도록 구성될 수 있고 검사 모드에서 다양한 위치에 텍스트를 디스플레이하도록 디지털 안경에 명령어들을 무선으로 전달할 수 있다.
또 다른 이용 사례에서, 도 7a 내지 도 7c와 관련하여, “text”가 이용되는 것 대신에, 동공 추적 및 영향을 받는 영역 결정을 위해, 시야의 상이한 부분들에 배치된 자동차(700)를 볼 수 있는지를 결정하기 위해 피험자가 검사받았다. 동공 추적 기능은, 시각 시스템이 피험자의 시야 상에 투사된 이미지를 정렬하는 것을 허용한다.
일부 실시예에서, 도 1a와 관련하여, 검사 서브시스템(122)은 사용자에게 디스플레이된 자극 세트에 대한 사용자의 눈의 반응 또는 자극 세트에 대한 사용자의 눈의 반응(예를 들어, 눈 움직임 반응, 동공 크기 반응 등)의 부족에 기초하여 사용자의 시야의 하나 이상의 결함 시야 부분을 결정할 수 있다. 일부 실시예에서, 하나 이상의 자극은 시각 검사 프리젠테이션의 일부로서 사용자에게 동적으로 디스플레이될 수 있고, 자극에 대한 반응들 또는 반응들의 부족은 기록되어 사용자의 시야의 어느 부분이 온전한지를 결정하는데 이용될 수 있다. 예를 들어, 사용자의 눈이 디스플레이된 자극에 반응하는 경우(예를 들어, 디스플레이된 자극의 위치를 향하여 응시 방향을 변경함으로써), 눈의 반응은 눈이 디스플레이된 자극을 볼 수 있다는(예를 들어, 사용자 시야의 대응하는 부분은 사용자의 온전한 시야의 일부라는) 표시로서 이용될 수 있다. 반면, 사용자의 눈이 디스플레이된 자극에 반응하지 않는 경우(예를 들어, 응시 방향이 디스플레이된 자극의 위치를 향하여 이동하지 않는 경우) 눈의 반응 부족은 눈이 디스플레이된 자극을 볼 수 없다는(예를 들어, 사용자 시야의 대응하는 부분이 결함 시야 부분이라는) 표시로서 이용될 수 있다. 전술한 표시들에 기초하여, 검사 서브시스템(122)은 사용자 시야의 결함 시야 부분들을 자동으로 결정할 수 있다.
일부 실시예에서, 사용자에게 디스플레이되는 자극 세트는, 상이한 밝기, 콘트라스트, 채도, 또는 선명도 레벨들의 자극들을 포함할 수 있고, 특정한 밝기, 콘트라스트, 채도, 또는 선명도 레벨을 갖는 자극에 대한 반응 또는 반응의 부족은, (디스플레이된 자극의 위치에 대응하는) 사용자 시야의 일부가 밝기, 콘트라스트, 채도, 또는 선명도와 관련된 문제를 갖고 있는지의 표시를 제공할 수 있다. 예를 들어, 사용자의 눈이 소정의 밝기 레벨을 갖는 디스플레이된 자극에 반응하는 경우, 눈의 반응은 눈이 디스플레이된 자극을 볼 수 있다는(예를 들어, 사용자 시야의 대응하는 부분은 사용자의 온전한 시야의 일부라는) 표시로서 이용될 수 있다. 반면에, 사용자의 눈이 동일한 위치에서의 (예를 들어, 정상적인 눈이 반응하는) 더 낮은 밝기 레벨의 자극에 반응하지 않는 경우, 눈의 반응 부족은 사용자 시야의 대응하는 부분의 감소된 밝기를 가졌다는 표시로서 이용될 수 있다. 일부 경우에, 사용자의 눈이 자극에 반응할 때까지 또는 소정의 밝기 레벨 임계값에 도달할 때까지 자극에 대한 밝기 레벨이 점진적으로 증가될 수 있다. 사용자의 눈이 결국 자극에 반응하면, 현재의 밝기 레벨을 이용하여 그 대응하는 시야 부분에 대한 광 감도의 레벨을 결정할 수 있다. 밝기 레벨 임계값에 도달하고 사용자의 눈이 자극에 반응하지 않는 경우, 대응하는 시야 부분은 사각지대인 것으로 결정될 수 있다(예를 들어, 자극의 콘트라스트, 채도, 선명도 등 중에서 하나 이상에 대한 대응하는 변화가 눈 반응을 트리거하지 않는 경우). 전술한 표시들에 기초하여, 검사 서브시스템(122)은 사용자 시야의 결함 시야 부분들을 자동으로 결정할 수 있다.
일부 실시예에서, 시각 검사 프리젠테이션을 위한 응시 포인트는 동적으로 결정될 수 있다. 일부 실시예에서, 응시 포인트의 위치 및 사용자에게 디스플레이될 자극의 위치는 응시 방향 또는 사용자 눈의 다른 양태에 기초하여 동적으로 결정될 수 있다. 예를 들어, 시각 검사 프리젠테이션 동안에, 응시 포인트들과 자극 위치들 양쪽 모두가 환자의 눈 움직임에 관해 환자에게 동적으로 표현된다. 한 이용 사례에서, 현재의 응시 포인트는 환자가 현재 특정한 인스턴스를 주시하고 있는 시각 검사 프리젠테이션의 한 위치로 설정될 수 있고, 검사 자극은 그 응시 포인트에 관해 디스플레이될 수 있다. 이러한 방식으로, 예를 들어 환자는 소정의 미리정의된 응시 위치에 주의를 고정하는 것이 요구되지 않는다. 이것은, 시각 검사 프리젠테이션이 더욱 객관적이고 대화식이 되도록 허용하고, 응시 포인트에 대한 장시간의 응시에 의해 야기되는 스트레스를 감소시킬 수 있다. 동적 응시 포인트의 이용은 또한, 응시 포인트들과 관련된 환자 오류들도 제거된다(예를 들어, 환자가 정적 응시 포인트에 초점을 맞추는 것을 잊어버린 경우).
일부 실시예에서, 응시 포인트는 잠길 수 있고, 잠금이 해제될 때까지 하나 이상의 검사 자극이 그 응시 포인트에 관해 디스플레이될 수 있다(예를 들어, 도 35f). 잠금이 해제되면, 현재의 응시 포인트는 환자가 현재 특정한 인스턴스를 주시하고 있는 시각 검사 프리젠테이션의 위치로 설정될 수 있다. 그 다음 새로운 응시 포인트가 잠길 수 있고, 하나 이상의 후속 검사 자극이 그 새로운 응시 포인트에 관해 디스플레이될 수 있다. 일부 실시예에서, 응시 포인트가 동일하게 유지되는 동안, 시각 검사 프리젠테이션의 하나 이상의 상이한 위치에 복수의 자극이 디스플레이될 수 있다. 한 예로서, 응시 포인트가 동일하게 유지되기 때문에, 하나 이상의 자극은, 하나 이상의 다른 자극이 디스플레이된 후에 디스플레이될 수 있다. 일부 실시예에서, 복수의 자극의 각각은 디스플레이된 다음, 시각 검사 프리젠테이션이 제공되는 사용자 인터페이스 상에서 강조해제되거나 제거될 수 있다. 예를 들어, 응시 포인트가 동일하게 유지되기 때문에, 하나 이상의 자극은, 하나 이상의 다른 자극이 디스플레이되고 강조해제/제거된 후에 디스플레이되고 강조해제/제거될 수 있다. 한 이용 사례에서, 자극의 밝기 또는 다른 강도 레벨은 감소되어(예를 들어, 미리정의된 양만큼 감소되거나, 디폴트 "낮은" 임계값 레벨로 감소되거나, 환자는 볼 수 없는 것으로 결정된 개인맞춤화된 임계 레벨까지 감소되는 등) 자극의 강조해제를 수행할 수 있다. 또 다른 이용 사례에서, 자극은 사용자 인터페이스로부터 제거될 수 있다(예를 들어, 자극은 사용자 인터페이스에 의해 더 이상 디스플레이되지 않음).
논의된 바와 같이, 일부 실시예에서, 검사 서브시스템(122)은, 사용자와 관련된 눈 특성 정보(예를 들어, 환자의 눈 움직임, 응시 방향, 또는 시각 검사 프리젠테이션 동안에 발생하는 것들 등의, 기타의 눈 관련 특성들)에 기초하여 (예를 들어, 시각 검사 프리젠테이션을 위해) 응시 포인트를 조정할 수 있다. 한 이용 사례에서, 검사 서브시스템(122)은 응시 포인트에 기초하여 (예를 들어, 착용형 디바이스 또는 사용자의 다른 디바이스의) 사용자 인터페이스 상의 제1 인터페이스 위치에 제1 자극이 디스플레이되게 할 수 있다. 검사 서브시스템(122)은 눈 특성 정보에 기초하여 응시 포인트를 조정할 수 있고, 조정된 응시 포인트에 기초하여 시각 검사 프리젠테이션 동안 사용자 인터페이스 상의 제2 인터페이스 위치에 제2 자극이 디스플레이되게 할 수 있다. 논의된 바와 같이, 일부 실시예에서, 하나 이상의 자극은 제1 자극의 디스플레이와 제2 자극의 디스플레이 사이에서 (예를 들어, 상이한 인터페이스 위치에서) 사용자 인터페이스 상에 디스플레이될 수 있다. 검사 서브시스템(122)은 시각 검사 프리젠테이션 동안 피드백 정보를 획득하고 이러한 피드백 정보에 기초하여 시각적 결함 정보를 생성할 수 있다. 예를 들어, 피드백 정보는, 시각 검사 프리젠테이션 동안 디스플레이되는 제1 자극과 관련된 피드백, 제2 자극과 관련된 피드백, 제3 자극과 관련된 피드백, 또는 하나 이상의 다른 자극과 관련된 피드백을 나타낼 수 있다. 이러한 피드백은, (i) 자극에 대한 사용자의 반응, (ii) 자극에 대한 사용자의 반응 부족, (iii) 사용자가 하나 이상의 자극을 감지하는지 여부 또는 정도, 광 감도, 왜곡 또는 기타의 수차의 정도, 또는 (iv) 기타의 피드백을 나타낼 수 있다. 생성된 시각적 결함 정보는, (i) 하나 이상의 예측 모델을 훈련시키고, (ii) 사용자에 대한 하나 이상의 수정 프로파일을 결정하고, (iii) 사용자를 위한 이미지를 교정하거나 수정하기 위한 라이브 이미지 처리를 용이화하거나, (iv) 또는 여기서 설명된 기타의 동작들을 수행하는데 이용될 수 있다.
일부 실시예에서, 시각 검사 프리젠테이션 동안 동적 응시 포인트의 이용은, 사용자 인터페이스를 통해 제공되는 뷰의 치수보다 큰 사용자의 시야의 커버리지를 용이화할 수 있다. 한 예로서, 도 35a 내지 도 35e와 관련하여 표시된 바와 같이, (예를 들어, 사용자의 착용형 디바이스 또는 기타의 디바이스의) 사용자 인터페이스는 하나 이상의 치수를 갖는 뷰를 디스플레이하도록 구성될 수 있고, 여기서, 치수 각각은 도수(a number of degrees)에 대응한다(예를 들어, 70도의 폭, 70도의 높이, 또 다른 도수의 폭 또는 높이 등). 그러나, 동적 응시 포인트의 이용을 통해, 검사 서브시스템(122)은 치수들 중 하나 이상에 관한 도수보다 큰 커버리지를 갖는 시각적 결함 정보를 생성할 수 있다(예를 들어, 사용자 인터페이스 뷰의 폭에 비교한 사용자의 시야에 대한 수평 치수, 사용자 인터페이스 뷰의 높이에 비교한 사용자 시야의 수직 치수 등). 한 시나리오에서, 이러한 기술들에 기초하여, 시각적 결함 정보는 전체 사용자 인터페이스 뷰보다 최대 2.85배 더 큰 영역에 대한 커버리지를 가질 수 있으며, 커버리지 영역은 전체 사용자 인터페이스 뷰의 4배에 근접하는 크기로 증가될 수 있다(예를 들어, 착용형 디바이스와 사용자의 눈 사이의 거리가 감소되거나, 착용형 디바이스의 2개의 모니터 사이의 거리가 증가하는 경우). 또한, 시각적 결함 정보는, 사용자 인터페이스 뷰의 폭보다 최대 2배 더 큰 사용자의 시야 영역의 폭, 사용자 인터페이스 뷰의 높이보다 최대 2배 더 큰 사용자의 시야 영역의 높이, 또는 사용자 시야의 기타의 확장된 영역을 위한 커버리지를 가질 수 있다. 또 다른 시나리오에서, 이러한 기술들에 기초하여, 시각적 결함 정보는 사용자의 시야의 2개 이상의 시야 위치에 결함이 존재하는지의 여부 또는 그 정도를 나타낼 수 있고, 여기서 시야 위치들은 사용자의 시야에 대한 하나 이상의 치수에 관한 사용자 인터페이스 뷰 치수들의 도수보다 크게 서로로부터 이격되어 있다.
한 이용 사례에서, 도 35a와 관련하여, 동적 응시 포인트 및 (예를 들어, 70도 뷰를 제공하도록 구성된) 사용자 인터페이스(3502)의 이용은, 수평 및 수직 치수 양쪽 모두에서 70도보다 큰 커버리지를 갖는 시야 맵(3504)의 생성을 용이화할 수 있다. 한 예로서, 도 35a에 나타낸 바와 같이, 자극(3506a)은 사용자 인터페이스(3502)의 중심에 디스플레이되어 사용자로 하여금 사용자 인터페이스(3502)의 중심을 주시하게 하여 응시 포인트(3508)를 처음에 사용자 인터페이스(3502)의 중심으로 설정할 수 있다. 구체적으로, (예를 들어, 여기서 설명된 눈 추적 기술들에 의해 검출된) 사용자의 눈 관련 특성이, 사용자가 자극(3506a)을 보고 있다는 것을 나타낼 때, 시각 검사 프리젠테이션을 위한 응시 포인트(3508)는 현재, 자극(3506a)에 대응하는 사용자 인터페이스(3502)의 위치로 설정될 수 있다. 일부 이용 사례에서, 응시 포인트는 사용자가 현재 주시하고 있는 위치에 따라 사용자 인터페이스(3502) 상에서 "부동(float)"한다.
추가 이용 사례에서, 도 35b에 나타낸 바와 같이, 자극(3506b)은 (예를 들어, 자극(3506a)이 디스플레이된 사용자 인터페이스(3502)의 위치로부터 50도 떨어진) 사용자 인터페이스(3502)의 하단 좌측 코너에 디스플레이될 수 있다. 사용자의 눈 관련 특성이 사용자가 자극(3506b)을 감지함을 나타내는 경우(예를 들어, 사용자의 눈 움직임이 자극(3506b)을 향하고 있는 것으로 검출됨), 시야 맵(3504)은 사용자가 (예를 들어, 시야 맵(3504) 내의 응시 포인트의 위치로부터 동일한 방향으로 50도 떨어진) 사용자의 시야 내의 대응하는 위치를 볼 수 있다는 것을 나타내도록 업데이트될 수 있다. 사용자의 눈 관련 특성이 사용자가 현재 자극(3506b)을 주시하고 있다는 것을 나타낼 때, 시각 검사 프리젠테이션을 위한 응시 포인트(3508)는 자극(3506b)에 대응하는 사용자 인터페이스의 위치로 설정될 수 있다.
또 다른 이용 사례에서, 도 35c에 나타낸 바와 같이, 자극(3506c)은 (예를 들어, 자극(3506b)이 디스플레이된 사용자 인터페이스(3502)의 위치로부터 100도 떨어진) 사용자 인터페이스(3502)의 상단 우측 코너에 디스플레이될 수 있다. 사용자의 눈 관련 특성이 사용자가 자극(3506c)을 감지함을 나타내는 경우, 시야 맵(3504)은 사용자가 (예를 들어, 시야 맵(3504) 내의 응시 포인트의 위치로부터 동일한 방향으로 100도 떨어진) 사용자 시야의 대응하는 위치를 볼 수 있다는 것을 나타내도록 업데이트될 수 있다. 사용자의 눈 관련 특성이 사용자가 현재 자극(3506c)을 주시하고 있다는 것을 나타낼 때, 시각 검사 프리젠테이션을 위한 응시 포인트(3508)는 자극(3506c)에 대응하는 사용자 인터페이스(3502)의 위치로 설정될 수 있다. 도 35d에 나타낸 바와 같이, 자극(3506d)은, (예를 들어, 자극(3506c)이 디스플레이된 사용자 인터페이스(3502)의 위치로부터 100도 떨어진) 사용자 인터페이스(3502)의 하단 좌측 코너에 디스플레이될 수 있다. 사용자의 눈 관련 특성이 사용자가 자극(3506d)을 감지함을 나타내는 경우, 시야 맵(3504)은 사용자가 (예를 들어, 시야 맵(3504) 내의 응시 포인트의 위치로부터 동일한 방향으로 100도 떨어진) 사용자 시야의 대응하는 위치를 볼 수 있다는 것을 나타내도록 업데이트될 수 있다. 사용자의 눈 관련 특성이 사용자가 현재 자극(3506d)을 주시하고 있다는 것을 나타낼 때, 시각 검사 프리젠테이션을 위한 응시 포인트(3508)는 자극(3506d)에 대응하는 사용자 인터페이스(3502)의 위치로 설정될 수 있다. 도 35e에 나타낸 바와 같이, 자극(3506e)은 (예를 들어, 자극(3506d)이 디스플레이된 사용자 인터페이스(3502)의 위치로부터 90도 떨어진) 사용자 인터페이스(3502)의 우측 상단 코너의 좌측에 디스플레이될 수 있다. 사용자의 눈 관련 특성이 사용자가 자극(3506e)을 감지함을 나타내는 경우, 시야 맵(3504)은 사용자가 (예를 들어, 시야 맵(3504) 내의 응시 포인트의 위치로부터 동일한 방향으로 90도 떨어진) 사용자 시야의 대응하는 위치를 볼 수 있다는 것을 나타내도록 업데이트될 수 있다. 사용자의 눈 관련 특성이 사용자가 현재 자극(3506b)을 주시하고 있다는 것을 나타낼 때, 시각 검사 프리젠테이션을 위한 응시 포인트(3508)는 자극(3506e)에 대응하는 사용자 인터페이스(3502)의 위치로 설정될 수 있다. 이러한 방식으로, 예를 들어, 사용자 인터페이스 뷰가 수평 및 수직 치수 양쪽 모두에서 70도에 불과했지만, 시야 맵(3504)은 현재, 사용자 시야의 대각선 200도, 수평 치수에 관해 사용자 시야의 140도, 수직 치수에 관해 사용자 시야의 140도에 대한 커버리지를 갖고 있다.
또 다른 이용 사례에서, 도 35b와 관련하여, 사용자의 눈 관련 특성이 사용자가 자극(3506b)을 못보았다는 것을 나타낸다면(예를 들어, 자극(3506b)의 디스플레이에 대한 어떠한 유의미한 눈 움직임 반응도 없었거나, 사용자의 응시가 사용자 인터페이스(3502) 상의 자극(3506b)의 위치에 근접한 영역으로 시프트하지 않았거나 등), 시야 맵(3504)은 사용자가 사용자의 시야 내의 대응하는 위치를 볼 수 없다는 것을 나타내도록 업데이트될 수 있다. 따라서, 일부 시나리오에서, 시야 맵은, 사용자 인터페이스(3502)의 뷰의 크기보다 큰 영역에 대한 사용자 시야에서의 시각적 결함들 및 그들의 대응하는 위치들을 나타낼 수 있다. 한 예로서, 사용자 인터페이스 뷰가 수평 및 수직 치수에서 70도에 불과한 경우에도, 시야 맵은, (예를 들어, 이러한 표시된 시각적 결함들 사이의 거리들은 수평 치수에 대해 최대 140도, 수직 치수에 대해 최대 140도 떨어져 있을 수 있는 등) 수평 및 수직 치수 각각에서 70도보다 많이 서로 이격된 시야 위치들에서의 시각적 결함을 나타낼 수 있다.
일부 실시예에서, (예를 들어, 사용자 인터페이스 뷰와 관련된 하드웨어/소프트웨어 컴포넌트들의 제한에도 불구하고) 사용자의 시야의 더 큰 커버리지를 용이화하기 위해, 인터페이스 위치들이 (예를 들어, 시각 검사 프리젠테이션에 대한) 현재의 응시 포인트로부터 더 멀다는 것에 기초하여 하나 이상을 자극을 디스플레이하도록 사용자 인터페이스 상의 하나 이상의 위치가 선택될 수 있다. 일부 실시예에서, 검사 서브시스템(122)은, 제1 인터페이스 위치가 사용자 인터페이스 상의 하나 이상의 다른 인터페이스 위치보다 응시 포인트로부터 더 멀다는 것에 기초하여 사용자 인터페이스 상의 제1 인터페이스 위치를 선택하고, 제1 자극이 제1 인터페이스 위치에서 디스플레이되게 할 수 있다. 일부 실시예에서, (예를 들어, 사용자의 눈 관련 특성에 기초하여) 응시 포인트가 조정된 후, 검사 서브시스템(122)은, 제2 인터페이스 위치가 사용자 인터페이스 상의 하나 이상의 다른 인터페이스 위치보다 조정된 응시 포인트로부터 더 멀다는 것에 기초하여 사용자 인터페이스 상에서 제2 인터페이스 위치를 선택할 수 있고 제2 자극이 제2 인터페이스 위치에서 디스플레이되게 한다.
예를 들어, 제1 자극이 선택되어, (i) 제1 자극이 사용자 시야의 제1 시야 위치와 연관되는 것, 및 (ii) (예를 들어, 응시 포인트 및 응시 포인트에 관한 제1 시야 위치의 위치에 의해 결정되는) 제1 인터페이스 위치에 대응하는 제1 시야 위치에 기초하여 시각 검사 프리젠테이션 동안 디스플레이될 자극 큐(queue of stimuli)(예를 들어, 다음으로 디스플레이될 자극 큐)에 추가될 수 있다. 추가 예로서, 제2 자극이 선택되어, (i) 제2 자극이 사용자 시야의 제2 시야 위치와 연관되는 것, 및 (ii) 제2 인터페이스 위치에 대응하는 제2 시야 위치에 기초하여 시각 검사 프리젠테이션 동안 큐에 추가될 수 있다. 다음으로 디스플레이될 "더 먼" 자극/위치들을 선택함으로써, 검사 서브시스템(122)은 응시 포인트를 사용자 인터페이스 뷰의 중심으로부터 더 멀리 조정함으로써, 사용자의 시야의 커버리지를 증가시킨다. 한 이용 사례에서, 도 35b와 관련하여, 자극(3506b) 및 사용자 인터페이스(3502) 상의 그 대응하는 위치가 선택되어, 그 대응하는 인터페이스 위치가 (사용자 인터페이스(3502)의 중심에 위치한) 응시 포인트로부터 사용자 인터페이스 상의 가장 먼 위치들 중 하나라는 결정의 결과로서 시각 검사 프리젠테이션 동안 디스플레이될 다음 자극/위치가 된다. 그렇게 함에 있어서, 응시 포인트는 사용자 인터페이스(3502)의 하단 좌측 코너로 조정되고(예를 들어, 사용자가 그곳을 바라보게 함으로써), 이에 의해, 다음 자극이 응시 포인트로부터 100도만큼 떨어져(예를 들어, 도 35c에서 자극(3506b)과 자극(3506c) 사이의 거리) 디스플레이될 수 있게 한다.
일부 실시예에서, 사용자의 시야의 하나 이상의 위치는 시각 검사 프리젠테이션 동안 검사될 한 세트의 시야 위치들의 일부로서 포함될 수 있다. 한 예로서, 시야 위치들의 검사 세트는 시각 검사 프리젠테이션 동안 자극에 의해 표현될 수 있고, 사용자가 검사 세트의 시야 위치들 중 하나 이상에서 시각적 결함을 갖는지의 여부 또는 그 정도의 결정은 사용자가 대응하는 자극 중 하나 이상을 감지하는지의 여부 또는 그 정도에 기초한다. 일부 실시예에서, 시야 위치는, (예를 들어, 사용자 인터페이스 상의 대응하는 위치에 자극을 디스플레이하고 사용자가 디스플레이된 자극을 감지하는지의 여부 및 그 정도를 검출함으로써) 시야 위치가 충분히 검사되었다는 결정에 기초하여 검사 세트로부터 제거될 수 있다. 한 예로서, 시야 위치의 제거는, 시각 검사 프리젠테이션 동안 검사 세트로부터 선택하는데 있어서 더 이상 이용가능하지 않은 것으로서 검사 세트 내의 시야 위치를 라벨링하는 것을 포함할 수 있다. 따라서, 일부 시나리오에서, 제거된 시야 위치에 대응하는 자극은 시각 검사 프리젠테이션 동안에 후속적으로 디스플레이되지 않을 수 있고, 검사 세트 내의 하나 이상의 다른 시야 위치에 대응하는 자극은 시각 검사 프리젠테이션 동안에 후속적으로 디스플레이될 수 있다. 추가 시나리오에서, 시야 위치는 후속해서 검사 세트에 추가될 수 있다(예를 들어, 시각 검사 프리젠테이션 동안 검사에 있어서 선택에 이용가능한 것으로서 시야 위치를 라벨링함으로써, 시각 검사 프리젠테이션 동안 시야 위치가 선택에 이용가능하지 않았던 것으로 명시한 이전의 라벨을 제거함으로써 등에 의해).
일부 실시예에서, 시각 검사 프리젠테이션 동안 제1 자극이 디스플레이되는 사용자 인터페이스 상의 제1 사용자 인터페이스 위치로 응시 포인트가 조정된 경우, 검사 서브시스템(122)은 하나 이상의 자극이 제1 인터페이스 위치의 응시 포인트에 기초하여 사용자 인터페이스 상에 디스플레이되게 할 수 있다. 검사 서브시스템(122)은 또한, 후속해서 제2 자극이 사용자 인터페이스 상의 제2 인터페이스 위치에 디스플레이되게 할 수 있다. 한 예로서, 응시 포인트가 제1 인터페이스 위치에 남아 있는 동안 제2 자극이 디스플레이될 수 있다(예를 들어, 응시 포인트는, 제2 자극이 디스플레이되기 직전까지, 제2 자극이 디스플레이될 때까지 등등, 제1 인터페이스 위치에서 잠길 수 있다). 일부 실시예에서, 검사 서브시스템(122)은 사용자와 관련된 눈 특성 정보에 기초하여 사용자의 눈이 제2 인터페이스 위치에 잠겼음을 검출할 수 있고, 검사 서브시스템(122)은 응시 검출에 기초하여 응시 포인트를 제2 인터페이스 위치로 조정할 수 있다.
일부 실시예에서, 검사 서브시스템(122)은, 잠금이 확립된 상태로 유지되는 동안 사용자 인터페이스 상의 상이한 인터페이스 위치로의 응시 포인트의 조정(또는 재조정)을 방지하기 위해 시각 검사 프리젠테이션을 위한 응시 포인트의 잠금을 확립할 수 있다. 이러한 방식으로, 예를 들어, 응시 포인트의 잠금이 확립된 상태로 유지되는 동안, 잠긴 응시 포인트에 관한 사용자 시야의 하나 이상의 위치를 검사하기 위해 하나 이상의 자극이 사용자 인터페이스 상에 디스플레이될 수 있다. 후속해서, 응시 포인트의 잠금이 해제되면, 응시 포인트가 다시 동적으로 조정될 수 있다. 한 예로서, 검사 서브시스템(122)은 자극이 사용자 인터페이스 상의 (응시 포인트가 설정된 인터페이스 위치와는 상이한) 새로운 인터페이스 위치에서 프리젠팅되게 할 수 있다. 사용자의 눈이 새로운 인터페이스 위치를 응시했다는 검출에 기초하여, 응시 포인트의 잠금이 해제된 후, 검사 서브시스템(122)은 응시 포인트를 새로운 인터페이스 위치로 조정할 수 있다. 한 이용 사례에서, 도 35f와 관련하여 위에서 논의된 바와 같이, 응시 포인트 잠금이 해제되어 사용자가 자극을 "포착"하는 것을 허용할 수 있고(예를 들어, 동작 3544), 그 다음, 응시 포인트 잠금이 사용자가 자극을 주시하는 것에 기초하여 새로운 인터페이스 위치로 복원될 수 있다(예를 들어, 동작 3546). 구체적으로는, 사용자가 자극을 "포착"했다면(그리고 여전히 자극을 주시하고 있다면), 자극의 위치는 새로운 응시 포인트가 된다.
일부 실시예에서, 응시 포인트가 사용자 인터페이스 상의 제1 인터페이스 위치에 남아 있는 동안, 검사 서브시스템(122)은 복수의 자극이 제1 인터페이스 위치와는 상이한 인터페이스 위치에 디스플레이되게 할 수 있다. 예를 들어, 복수의 자극 중 하나 이상의 자극이 사용자 인터페이스 상에 디스플레이된 후, 복수의 자극 중 하나 이상의 다른 자극이 사용자 인터페이스 상에 디스플레이될 수 있다. 또 다른 예로서, 자극이 사용자 인터페이스 상에 디스플레이된 다음, 사용자 인터페이스 상에서 강조해제되거나 제거될 수 있고, 또 다른 자극이 사용자 인터페이스 상에 후속적으로 디스플레이되고 사용자 인터페이스 상에서 강조해제되고 제거될 수 있다. 한 이용 사례에서, 도 35f와 관련하여, 응시 포인트는 (이전 자극이 디스플레이된) 인터페이스 위치로 잠길 수 있고(예를 들어, 동작 3546), 하나 이상의 자극이 응시 포인트에 기초하여 새로운 인터페이스 위치에서 사용자 인터페이스 상에 디스플레이될 수 있다(예를 들어, 동작 3528, 동작 3540a 등).
또 다른 이용 사례에서, 응시 포인트가 잠긴 상태로 남아 있는 동안 상이한 인터페이스 위치들에서 복수의 자극을 디스플레이함으로써 사용자 시야의 복수의 위치가 검사될 수 있다. 한 예로서, 도 35c와 관련하여, 응시 포인트는, 그 대신에, 자극(3506b)이 사용자 인터페이스(3502) 상에 디스플레이되는 인터페이스 위치로 잠겨질 수 있고, 시야 맵(3504)의 상단 우측 코너에 대응하는 사용자의 시야의 부분은, 응시 포인트가 자극(3506b)의 인터페이스 위치에서 잠긴 상태로 유지되는 동안 사용자 인터페이스(3502)의 상이한 위치들에서 자극을 디스플레이함으로써 검사될 수 있다.
일부 실시예에서, 사용자 인터페이스의 하나 이상의 인터페이스 위치는 사용자의 시야가 검사되는 응시 포인트가 되도록 미리지정될 수 있다. 한 예로서, 사용자 인터페이스의 4개의 코너가 각각이 시각 검사 프리젠테이션 동안 응시 포인트가 되도록 미리지정된 경우, 검사 서브시스템(122)은 처음에 자극이 사용자 인터페이스의 중심에 디스플레이되도록 할 수 있어서, 사용자가 처음에 중심 자극(예를 들어, 초기 응시 포인트)을 응시하게 할 것이다. 그 다음, 검사 서브시스템(122)은 자극이 사용자 인터페이스의 상단 우측 코너에 디스플레이되게 할 수 있고, (예를 들어, 사용자의 눈 특성에 기초하여) 사용자가 상단 우측 자극을 본다는 것을 검출하면, 응시 포인트를 사용자 인터페이스의 우측 상단 코너로 조정하고 잠글 수 있다. 검사 서브시스템(122)은 후속해서, 응시 포인트가 잠긴 상태로 유지되는 동안 자극이 사용자 인터페이스의 상이한 위치들에 디스플레이되게 함으로써 사용자의 시야의 일부를 검사할 수 있다. 한 이용 사례에서, 사용자 인터페이스가 도 35a의 사용자 인터페이스(3502)에 의해 표현되고 사용자의 시야가 도 35a의 시야 맵(3504)에 의해 표현된다면, 응시 포인트 동안 우측 상단 코너로 잠긴 상태로 유지되는 동안 사용자 인터페이스의 상이한 위치들에서 자극을 디스플레이함으로써, 시야 맵(3504)의 좌측 하단 1/4에 대응하는 사용자 시야의 부분이 철저히 검사될 수 있다. 그 다음, 사용자 인터페이스의 다른 코너들에 대해 전술한 프로세스가 반복되어 시야 맵(3504)의 다른 부분들에 대응하는 사용자 시야의 부분들을 검사할 수 있다.
일부 실시예에서, 응시 포인트가 (제1 자극이 디스플레이되는) 사용자 인터페이스 상의 제1 인터페이스 위치에 남아 있는 동안, 검사 서브시스템(122)은 복수의 자극이 디스플레이되게 한 다음, 제1 자극이 사용자 인터페이스의 제1 인터페이스 위치에서 계속 디스플레이되는 동안 강조해제되거나 사용자 인터페이스로부터 제거되게 할 수 있다. 한 예로서, 제1 인터페이스 위치가 사용자 인터페이스의 우측 상단 코너인 경우, 일련의 다른 자극이 일시적으로 사용자 인터페이스에 디스플레이되는 동안 제1 자극이 계속 디스플레이될 수 있다. 따라서, (다른 인터페이스 위치에서 나타나는 또 다른 자극으로부터의) 그 다른 인터페이스 위치에서 발생하는 시각적 변화는, 그 다른 인터페이스 위치가 사용자 시야의 결함 부분(예를 들어, 사용자 시야의 사각지대)에 대응하지 않는 경우 사용자가 시각적 변화의 소스를 주시하게 할 것이다. 그러나, 다른 자극이 사라지면, 제1 자극이 사용자의 눈에 대한 시각적 자극의 주요(또는 유일한) 소스가 되기 때문에 사용자는 우측 상단 코너를 다시 응시할 것이다.
일부 실시예에서, 응시 포인트가 (제1 자극이 디스플레이되는) 사용자 인터페이스 상의 제1 인터페이스 위치에 남아 있는 동안, 검사 서브시스템(122)은 제1 자극이 강조해제되거나 사용자 인터페이스로부터 제거되게 한 다음, 다시 강조되거나 사용자 인터페이스의 제1 인터페이스 위치에 재디스플레이되게 할 수 있다. 일부 실시예에서, 응시 포인트가 제1 인터페이스 위치에 남아 있는 동안, 검사 서브시스템(122)은 복수의 자극이 사용자 인터페이스 상에 디스플레이되게 할 수 있고, 복수의 자극 중 적어도 하나의 자극의 디스플레이에 후속하여, 제1 자극이 강조되거나 사용자 인터페이스의 제1 인터페이스 위치에서 재디스플레이되게 할 수 있다. 한 이용 사례에서, 제1 자극의 밝기가 감소된 경우, 사용자의 눈이 시각적 변화(및 증가된 시각적 자극)를 검출하고 사용자 인터페이스 상에서 제1 자극이 디스플레이되는 제1 인터페이스 위치를 다시 응시하도록 제1 자극의 밝기가 증가할 수 있다. 또 다른 이용 사례에서, 제1 자극이 사용자 인터페이스로부터 제거된 경우, 제1 자극의 재디스플레이는 마찬가지로 사용자의 눈이 사용자 인터페이스 상의 제1 인터페이스 위치를 다시 응시하게 할 것이다.
일부 실시예에서, 도 35f에 도시된 프로세스의 하나 이상의 부분은 동적 응시 포인트를 이용하여 시각 검사 프리젠테이션을 용이화하는데 이용될 수 있다. 도 35f와 관련하여, 동작 3522에서, 사용자의 시야에서의 가능한 자극(예를 들어, 모든 가능한 자극)의 매트릭스가 생성되거나 획득된다. 동작 3524에서, 눈 추적 디바이스는 부동 응시 포인트(floating fixation point)가 시야의 중심에 고정되도록 잠그는데 이용된다. 예로서, 눈 추적 디바이스로부터 획득된 눈 좌표들은 부동 응시 포인트를 눈 주위에 "부동"시키는데 이용될 수 있다. 동작 3526에서, 매트릭스의 이용가능한 자극들이 순위결정될 수 있다(예를 들어, 부동 응시 포인트로부터 가장 먼 포인트가 먼저이도록). 한 예로서, 적어도 (매트릭스의 이용가능한 자극에 대응하는) 사용자 인터페이스 상의 다른 모든 위치들만큼 응시 포인트로부터 멀리 떨어져 있는 사용자 인터페이스 뷰의 위치들에 대응하는 자극들은, 다른 모든 이용가능한 자극들보다 먼저 순위결정될 수 있다(또는 부동 응시 포인트로부터 동일한 거리에 있는 다른 자극들과 동일한 우선순위로 순위결정됨). 예로서, 순위결정은 눈 추적 디바이스(예를 들어, 동공 또는 눈 추적기 또는 기타의 눈 추적 디바이스)를 이용하여 실시간으로 수행될 수 있다.
동작 3528에서, 순위결정에 후속하여, 순위결정 목록 상의 제1 자극(예를 들어, 가장 높은 우선순위를 갖는 자극)이 시각 검사 프리젠테이션 동안 디스플레이될 다음 자극일 수 있다. 한 예로서, 자극은 배경과 매우 대조되는 색상으로 디스플레이될 수 있다(예를 들어, 자극 색상은 검정색 배경과 대조되도록 검정색일 수 있음). 동작 3530에서, 눈 움직임 벡터들(또는 눈 관련 특성들의 기타의 표현)은 눈 추적 디바이스를 이용하여 일관되게 측정될 수 있다. 눈의 움직임이 자극을 향하는 것으로 검출되지 않으면(동작 3532), 동작 3534에서, 자극은 보이지 않는 것으로 간주되고 이용가능한 자극의 매트릭스로부터 제거될 것이다. 동작들 3528-3530은 (즉, 이용가능한 자극 매트릭스에 있는) 순위결정 목록 상의 현재 가장 높은 순위의 자극으로 반복될 것이다.
눈의 움직임이 자극을 향하는 것으로 검출되면(동작 3536)(예를 들어, 사용자가 자극을 감지한다는 것을 나타냄), 동작 3538에서, 자극은 (정성적으로) 보이는 것으로 간주되고, 자극은 사용자 인터페이스로부터 사라진다. 동작들 3540a-3540d에서, 시각 검사 프리젠테이션은 사용자가 시야의 특정한 영역에서 자극을 감지할 수 있는 정도를 검사할 수 있다. 예를 들어, 동작 3540a에서, 자극은 이 동작이 실행될 때마다 더 어두워지는 색조(예를 들어, 회색 음영)로 다시 나타난다. 한 이용 사례에서, 자극은 처음에 배경 색상과 유사한 색상으로 다시 나타날 수 있다(예를 들어, 배경 색상이 흰색일 때 자극 색상은 처음에 밝은 회색 색상일 수 있음). 동작 3540b에서, 눈 움직임 벡터(또는 눈 관련 특성들의 기타의 표현)는 눈 추적 디바이스를 이용하여 지속적으로 측정될 수 있다. 눈 움직임이 자극을 향하는 것으로 검출되지 않으면(동작 3540c), 동작들 3540a 및 3540b가 반복될 것이다(예를 들어, 흰색 배경 색상과 더 대조되는 더 어두운 색조로). 눈의 움직임이 자극을 향하는 것으로 검출되면, 디스플레이된 자극의 색조 정도(예를 들어, 회색 음영의 정도)에 기초하여 시야의 특정한 영역에 대해 시각의 감도가 표시된다(동작 3542).
동작 3544에서, (예를 들어, 사용자가 자극을 포착하는 것을 허용하기 위해) 눈 추적/부동 응시 포인트 잠금이 해제된다. 동작 3546에서, (예를 들어, 사용자가 현재 주시하고 있는 위치에 기초하여) 눈 추적/부동 응시 포인트 잠금이 복원된다. 예를 들어, 사용자가 자극을 “포착”했다면(그리고 여전히 자극을 주시하고 있다면), 자극의 위치는 새로운 부동 응시 포인트가 된다. 동작 3548에서, 이용가능한 자극의 매트릭스로부터 자극이 제거되고, 프로세스는 매트릭스의 다른 이용가능한 자극에 관해 동작 3526과 함께 반복된다.
일부 실시예에서, 응시 포인트의 위치 또는 사용자에게 디스플레이될 자극들의 위치들은 시각 검사 프리젠테이션 동안 정적일 수 있다. 한 예로서, 검사 서브시스템(122)은 사용자 인터페이스의 중심(또는 정적 응시 포인트에 대응하는 위치)에 자극을 디스플레이하여 사용자가 사용자 인터페이스의 중심(또는 정적 응시 포인트에 대응하는 다른 이러한 위치)을 주시하게 할 수 있다. 일단 사용자가 정적 응시 포인트 위치를 주시하는 것으로 검출되고 나면, 검사 서브시스템(122)은 사용자 시야의 하나 이상의 영역을 검사하기 위한 자극 세트 중 다음 자극을 디스플레이할 수 있다. 사용자가 정적 응시 포인트 위치를 주시하고 있지 않은 것으로 검출될 때마다, 검사 서브시스템(122)은 정적 응시 포인트 위치에서의 자극의 디스플레이를 반복할 수 있다.
또 다른 예로서, 도 35g와 관련하여, 빠른 임계화 전략을 적용하는 시각 검사 프리젠테이션은 미리결정된 위치들에서의 52개의 자극 시퀀스를 이용하여 중심 40도 반경을 커버하는 4개의 대조적인 계단 자극을 이용할 수 있다. 다른 예들에서, 상이한 개수들의 콘트라스트 자극, 커버리지, 및 자극 위치들이 이용될 수 있다. 이 예에서, 자극은 도 35g에 도시된 각각의 셀의 중심에 위치했다. 원형 디스플레이의 렌즈로 인해 자극을 볼 수 없는 12개의 코너 셀은 검사되지 않았다. 각각의 자극 위치들 사이의 간격은 약 10도 떨어져 있다. 각각의 자극 시퀀스는 배경에 관해 상이한 콘트라스트 레벨들에서 4개의 연속적인 자극을 포함했다. 자극 콘트라스트는, 각각의 콘트라스트 레벨들 사이에서 내림차순으로 3 dB 단계로 33 dB로부터 그 아래의 24dB 사이의 범위이다. 임계값들은 마지막으로 본 자극에서 기록되었다. 환자가 특정한 위치에서 어떠한 자극 콘트라스트도 보지 못한 경우, 그 위치는 보이지 않는 것으로 마킹되고 0dB 값이 주어진다.
배경은 밝은 조명(100 lux)을 갖는 반면 자극은 상이한 콘트라스트 정도들을 갖는 어두운 점들이었다. 따라서 검사는 메소픽(mesopic) 검사가 아니라 포토픽(photopic) 검사였다. 일부 실시예에서, 배경은 어두울 수 있고, 자극들은 밝은 조명 점들을 포함할 수 있다. 각각의 자극은 약 250 msec의 기간 동안 프리젠팅되었고, 약 300 msec의 반응 대기 기간이 뒤따랐다. 이들 기간은 또한, 피험자의 반응 속도에 따라 제어 프로그램을 통해 조정가능하게 되었고, 예를 들어 검사전 시연(pre-test demonstration)에 기초하여 검사 전에 또는 검사 동안에 동적으로 조정될 수 있다. 일반적으로, 0.44도의 자극 크기가, 표준 Goldmann 자극 크기 III와 균등한, 중심 24도 반경에서 이용되었다. 주변부(24도 내지 40도 반경)의 자극 크기는 2배가 되어 0.88도가 되었다. 주변 시각에서 자극 크기의 2배화의 목적은 주변부에서 저하된 디스플레이 렌즈 성능을 극복하는 것이었다. 정상적인 인간의 시각은 주변 영역들에서 균등하게 저하되기 때문에, 이러한 렌즈 저화 효과는 상당했다. 검사 프로그램은 또한, 상이한 환자 사례들에 대해 자극 크기가 변경될 수 있는 능력도 가졌다.
도 35g의 응시 타겟(패턴)은 검사받은 각각의 눈에 대해 스크린의 중심에 위치했다. 이 타겟은, 전통적인 Humphrey 검사에서 일상적으로 이용되는 단색 응시 포인트가 아니라 다색 포인트로서 설계되었다. 이 색상 변경 효과는 피험자의 주의를 끄는데 도움이 되었고 피험자들을 위해 타겟 초점을 더 용이하게 만들었다. 색상 변경들의 빈도는 자극의 출현과 비동기적이어서, 피험자가 양쪽 이벤트를 함께 관련시키지 않을 것이고 잘못된 반응을 보일 것이다. 검사 프로토콜은 또한, 환자의 상태에 따라 응시 타겟 크기가 변경될 수 있는 능력도 가졌다. 또한, 눈/동공 추적 시스템을 이용하여 상이한 시간 간격들로 피험자의 눈 응시를 체크할 수 있다. 눈 추적 시스템은 응시 벡터의 방향을 검사 프로그램에 전송하여, 피험자가 중심에 적절하게 초점을 맞추었는지의 열부를 프로그램에게 통보한다.
응시 체크들은 동공/응시 데이터를 이용하여 각각의 눈에 대해 개별적으로 수행되었다. 동공/응시 데이터는 상이한 시간 인스턴스들에서 취득되었고, 응시 방향 벡터들이 약 0도인 경우, 피험자는 중심 타겟에 초점을 맞추고 있고, 그렇지 않으면 프로그램은 응시가 복원될 때까지 기다리며 일시 중지된다. 환자가 응시 상태에서 벗어나면, 어떠한 자극도 보여주지 않았고 참가자가 다시 응시 상태로 돌아올 때까지 검사가 중단되었다. 응시 타겟에서의 사소한 눈 움직임들에 대해 오프셋 공차가 허용되었다. 주로 2개의 시간 이벤트에서 각각의 자극의 위치에 대해 응시 체크들이 수행되었다; 자극 시퀀스 내의 각각의 자극을 보여주기 전에(예를 들어, 앞서 언급된 4개의 레벨의 각각의 자극 콘트라스트 레벨에 앞서), 및 반응을 기록하기 전에, 반응이 긍정적인지(예를 들어, 환자가 자극을 보았는지) 또는 부정적인지(예를 들어, 환자 자극을 보지 못했는지). 부정적인 반응들은 허용된 반응 시간에 추가하여 자극 시퀀스 구간의 끝에서 기록되었다. 자극 시퀀스를 보여주기 전에 응시를 체크하는 것은 환자가 응시 타겟에 초점을 맞추고 있는지를 보장하는 것이었다. 피험자가 응시 상태에서 벗어나면, 어떠한 자극도 보여주지 않았고, 참가자가 다시 응시 상태로 돌아올 때까지 검사가 중단되었다.
도 36은 하나의 자극 위치에서 검사 시퀀스의 동작들을 보여주는 타이밍도를 도시한다. 한 예에서, 시각 시스템 또는 그 디바이스와의 별개이거나 그 컴포넌트일 수 있는 동공 추적 디바이스는 내향 이미지 센서들을 포함할 수 있고, 투사기를 포함할 수 있는 이미지 디스플레이 디바이스에게 시선의 움직임에 따라 투사되는 자극의 위치를 변경하도록 지시하는 데이터를 제공하도록 구성될 수 있다. 이러한 방식으로, 피험자가 주위를 둘러보면서 응시하지 않더라도, 자극이 피험자의 눈들과 함께 이동할 수 있으며 원하는 시야 위치를 계속 검사할 것이다. 따라서, 피험자가 응시 타겟 외부에 초점이 맞춰진 것으로 결정될 때 자극 시퀀스를 중단하는 것이 아니라, 자극 시퀀스는, 피험자의 현재의 응시 포인트의 결정에 기초하여 재배치된 시퀀스들 내에서 피험자의 시야 내의 의도된 위치와 대응하도록 하는 자극의 수정과 함께 계속될 수 있다.
각각의 피험자에 대해, 시야 검사는 피험자에게 검사가 어떻게 진행되는지를 설명하는 것으로 시작되었다. 피험자가 응시 타겟을 명확하게 볼 수 있게끔 보장하도록 안경 디바이스를 환자에게 장착하고, 필요한 경우, 타겟 크기를 그에 따라 조정했다. 눈 추적 캘리브레이션은 응시 타겟인 하나의 포인트에서 수행되었다. 그에 후속하여, 시연 모드가 피험자에게 프리젠팅되었다. 이 모드는, 주 검사와 동일한 시퀀스를 따르지만, 이 경우에는 더 적은 수의 위치, 7개의 위치만을 이용하고, 어떠한 반응도 기록하지 않는다. 이 모드의 목적은 검사에 관해 피험자를 훈련시키는 것이었다. 추가로, 이 훈련 모드는 프로그램 오퍼레이터가 눈 추적 시스템 정확도, 환자 반응 속도, 및 장착된 헤드셋에 관한 환자 눈의 위치를 체크하는 것을 도와, 전체 검사 동안에 어떠한 오류나 편차가 발생하지 않도록 한다.
그 다음, 15도 부근에서 1도씩 이격된 4개의 상이한 위치들에서 역치 이상 자극들(suprathreshold stimuli)을 보여줌으로써 정상적인 사각 지대들을 스캔했다. 이 단계는 헤드셋과 피험자의 눈들 사이의 회전 부정합(misfit)을 회피하는데 유용했다.
그 다음, 52개의 자극 시퀀스가 미리명시된 위치들에서 무작위 순서로 환자에게 프리젠팅되었다. 피험자는, 전자 클릭커(clicker)를 작동하거나 자극에 반응하여 제스처를 취함으로써 반응을 나타내었다. 모든 위치에서 피험자의 반응들을 기록한 후, "보이지 않는" 포인트들의 위치들이 일시적으로 저장되었다. 그 다음, 검색 알고리즘을 채용하여 "보이지 않는" 포인트들의 위치들의 주변에서 모든 "보이는" 포인트들의 위치들을 찾는다. 그 다음, 참가자의 무작위 반응 오류들을 제거하고 시야 영역들의 연속성을 보장하기 위해, 이들 2개 세트의 포인트들이 다시 검사되었다. 위양성 반응들(false positive responses), 위음성 반응들(false negative responses) 및 응시 손실들(있는 경우)이 계산되었고 검사가 끝날 쯤에 보고되었다. 결과적으로, 모든 52개의 반응이 검사 참가자의 연속적인 시야 플롯을 생성하기 위해 큐빅 방법(cubic method)을 이용하여 보간되었다.
시야 검사는, 안경 디바이스의 내측 디스플레이 렌즈의 부분들을 덮음으로써 시뮬레이션된 시야 결함들을 이용하여 20명의 지원자 피험자에 관해 시도되었다. 그 결과들은 디스플레이의 덮인 영역들을 보여주는 이미지와 포인트별 비교 기준에 의해 포인트에 관해 평가되었다. 52개의 반응들이, 검사 정확도의 측정으로서, 덮인 헤드셋의 디스플레이 이미지에서의 대략적인 대응하는 위치들에서 비교되었다. 계산된 오류들의 요약은 표 1에 나열되어 있다.
표 1: 20개의 사례들의 시뮬레이션된 결함 시야 측정들에 대한 오류 계산들.
한편, 23명의 임상 환자에 대한 시야 검사들은 피험자들의 방문 동안 일상적으로 이루어진 가장 최근의 Humphrey Field Analyzer(HFA) 검사와 비교되었다. 공통의 24도 중심 영역들이 정합되어 2개의 시야 검사 디바이스 사이에 비교되었다. 비교 및 상대오류 계산들은 공통의 중심 24도 영역들에서 다시 포인트별 기준으로 하였으며, 여기서, 이 영역을 넘어서는 영역들은 중심 영역과의 연속성과 고립된 반응 포인트들의 부족을 통해 판단되었다. 계산된 오류들의 요약은 표 2에 나열되어 있다.
표 2: 23명의 환자 시야 측정에 대한 오류 계산들.
그 다음, 환자에게 보여줄 디스플레이된 이미지들에 대한 새로운 치수와 새로운 중심을 찾는 것을 수반하는, 이미지 리맵핑 프로세스가 수행되었다. 출력 이미지는 원본 입력 이미지의 크기를 조정하고 시프팅함으로써 피험자 눈의 밝은 시야에 맞게 되었다.
시야는 보이는 모든 환자 반응들을 1로 설정하고 보이지 않는 반응들을 0으로 유지함으로써 2진화되어, 8X8 크기의 작은 2진 이미지가 생성되었다. 다른 실시예들에서, 더 작거나 더 큰 2진 이미지 크기들이 이용될 수 있다. 최대 4개의 접속된 픽셀들을 포함하는 작은 영역들은, 2진 시야 이미지로부터 제거되었다. 4개의 접속된 픽셀은 작은 영역의 결정을 위해 미리결정된 임계값을 나타내었지만, 일부 실시예에서는 더 크거나 더 작은 임계값들이 이용될 수 있다. 이들 작은 영역들은 이미지 맞춤 프로세스에서 고려되지 않았다. 무시된 작은 영역들은, 정상적인 사각 지대, 중요하지 않은 결함들, 또는 피험자의 시야 검사 동안에 발생할 수 있는 임의의 무작위 잘못된 반응들을 나타낸다.
이 보간된 2진 시야 이미지에 기초하여, 밝은 시야의 영역 속성들이 계산되었다. 밝은 영역들에 대해 계산된 속성들은 다음을 포함했다: 1) 픽셀 단위의 밝은 부분들, 2) 영역들의 경계 박스, 3) 가중된 영역 중심(centroid), 4) 시야의 밝은 영역들을 구성하는 모든 픽셀의 목록. 경계 박스들은 밝은 영역을 구성하는 모든 픽셀을 둘러싸는 가장 작은 직사각형으로서 취해졌다. 영역의 중심은 수평 및 수직 좌표들의 측면에서 계산된 그 영역의 질량 중심으로서 계산되었다. 이 속성의 값들은, 맵핑에 요구되는 이미지 시프트의 양에 대응하는, 출력 이미지의 새로운 중심에 대응한다.
가장 큰 밝은 시야를 구성하는 픽셀들의 목록을 이용하여, 밝은 시야를 경계짓는 모든 픽셀의 폭들과 높이들이 도 37과 같이 계산되었다. 밝은 시야에서의 각각의 행에 대해, 2개의 경계 픽셀이 발견되었고, 그 특정한 행에서 시야의 폭 BFwidths를 얻기 위해 그들의 수직 좌표들이 차감되었다. 이 폭 계산은, BFwidths를 계산하기 위해 고려된 밝은 시야를 확립하는 모든 행에 대해 반복되었다. 열에 기초하여 동일한 반복 프로세스를 적용하여 BFheights를 계산할 수 있다. 그 후, 2개의 스케일링 방정식 중 하나를 이용하여 맵핑된 출력 이미지의 새로운 크기를 결정할 수 있다; 도 37에 도시된 Widthmap과 Heightmap.
Widthmap은 크기조정 방정식을 이용하여 계산할 수 있다:
여기서 BFwidths 및 BFheights는, 각각, 계산된 밝은 시야의 경계 픽셀들의 폭들과 높이들이다. 이 스케일링 방법은, 위에서 찾은, 새로운 이미지 중심에 중심을 둔, 각각의 방향에서의 밝은 시야 크기의 중심값으로서 새로운 출력 이미지 크기를 계산한다. 지나치게 크거나 작은 밝은 시야 치수들과 관련된 크기조정 비틀림(skewness)을 피하기 위해 평균값이 아니라 중앙 측정값이 이용되었다. 이 방법의 맵핑 거동은 가능한 가장 큰 가능한 밝은 영역 내에 이미지들을 맞추는 것이지만, 이 방법은 종횡비를 보존하지 않기 때문에, 이미지 늘림(stretch) 또는 압착(squeeze)이 발생할 수 있다.
Heightmap은 크기조정 방정식을 이용하여 계산될 수 있다
여기서 Isize는 보간된 이미지 크기(출력 이미지 크기)이고, BXwidths, BXheights는 경계 박스 폭 및 높이이다. 방정식의 분자들의 합들은, 각각, 수평 및 수직 방향들에 대해 계산된 밝은 시야 영역과 근접하다. 따라서, 이들 합들을 출력 이미지 크기의 제곱으로 나누면 각각의 방향에서 맵핑될 비례 이미지 영역들의 추정치가 제공된다. 그 다음, 이들 비율들에 이전에 계산된 대응하는 경계 박스 치수가 곱해진다. 이 방법의 맵핑 거동은 출력 이미지의 종횡비 보존을 시도하면서 가장 큰 밝은 시야에서 이미지들을 맞추는 것이다. 경계 박스의 치수들을 계산에 통합시키는 것은 이러한 효과가 발생하는데 도움이 되었다. 그러나, 종횡비의 보존하다고 해서, 모든 결함 시야 패턴을 생성하는 것은 아니다.
한 실시예에서, AI 시스템은, 최적화 프로세스에서 2개의 방정식과 수백은 아니더라도 수십개의 상이한 방정식들을 이용하여 어느 것이 이미지와 더 많은 시야를 맞추는 것을 허용하는지를 알 수 있다. 오퍼레이터들의 피드백에 기초하여, 시스템은 교정될 특정한 시야에 기초하여 다른 것들보다 방정식을 더 선호하는 것을 학습할 수 있다.
이들 리맵핑 기술들은 위험물 식별 검사에 이용되었다. 리맵핑 방법들은, 안전 위험요소, 이 검사에서 차량을 포함한, 검사 이미지들 이용하여 23명의 피험자에 관해 검사되었다. 검사 이미지들은, 도 38에 도시된 바와 같이, 시야의 4개 주요 사분면을 검사하기 위해 선택되었다. 시야 예는 피험자에게 디스플레이할 검사 이미지들을 리맵핑하는데 이용되었다. 피험자는 들어오고 있는 자동차의 이미지를 보여줌으로써 검사되었다. 피험자는, 피험자가 리맵핑없이 본 이미지를 나타내는 도 39a와 리맵핑 후에 본 이미지를 나타내는 도 39b에 도시된 바와 같이, 리맵핑된 이미지를 보여주기 전에는 자동차를 볼 수 없었다. 우리의 예비 연구는 78%의 피험자(23명 중 18명)가 우리의 도움 없이는 할 수 없는 안전 위험들을 식별할 수 있다는 것을 보여주었다. 일부 피험자는 양쪽 눈을 개별적으로 검사받아, 33개의 눈 검사가 이용가능했다. 33개의 눈 중 23개의 눈에서, 시각 보조 디바이스가 피험자가 시뮬레이션된 인입 위험을 식별하는 것을 도우는데 있어서 효과적인 것으로 나타났다(P = 0.023).
표시된 바와 같이, 일부 실시예에서, 도 1a와 관련하여, 검사 서브시스템(122)은 사용자에게 디스플레이된 자극 세트에 대한 사용자의 눈의 반응 또는 자극 세트에 대한 사용자의 눈의 반응(예를 들어, 눈 움직임 반응, 동공 크기 반응 등)의 부족에 기초하여 사용자의 시야의 하나 이상의 결함 시야 부분을 결정할 수 있다. 일부 실시예에서, 하나 이상의 움직이는 자극은 시각 검사 프리젠테이션의 일부로서 사용자에게 동적으로 디스플레이될 수 있고, 자극에 대한 반응들 또는 반응들의 부족은 기록되어 사용자의 시야의 어느 부분이 온전한지를 결정하는데 이용될 수 있다. 한 예로서, 시각 검사 프리젠테이션의 운동 부분에서, 환자의 눈들의 반응들의 기록은 시각 검사 프리젠테이션에서 자극이 디스플레이된 후에 시작되어 자극이 사라질 때까지 계속될 수 있다(예를 들어, 자극이 시각 검사 프리젠테이션의 시작 포인트로부터 중심 포인트로 이동한 다음 사라질 수 있다). 또 다른 예로서, 시각 검사 프리젠테이션 동안, 환자가 인지한다고 결정되면(예를 들어, 환자의 응시 방향이 자극의 현재 위치로 변경됨) 자극이 제거될 수 있다(예를 들어, 환자의 시야에서 사라짐). 따라서, 시각 검사 프리젠테이션의 지속시간이 감소될 수 있고 더욱 대화식이 될 수 있다(예를 들어, 환자에게 시각적 결함 진단이 아니라 게임을 플레이하는 느낌이 제공됨). 전술한 표시들(자극 세트에 대한 반응들 또는 반응들의 부족)에 기초하여, 검사 서브시스템(122)은 사용자 시야의 결함 시야 부분들을 자동으로 결정할 수 있다.
일부 실시예에서, 검사 서브시스템(122)은 사용자의 시야의 하나 이상의 결함 시야 부분을 결정할 수 있고, 시각보정 서브시스템(124)은 결함 시야 부분들의 결정에 기초하여 향상된 이미지를 제공하거나 착용형 디바이스의 하나 이상의 구성의 조정을 야기할 수 있다. 예로서, 향상된 이미지는, 향상된 이미지의 하나 이상의 주어진 부분(예를 들어, 사용자의 눈의 시야의 황반 영역 또는 눈의 황반 영역 내의 영역에 대응하는 향상된 이미지의 영역)이 결함 시야 부분 외부에 있도록 생성되거나 사용자에게 디스플레이될 수 있다. 또 다른 예로서, 착용형 디바이스의 하나 이상의 디스플레이 부분의 위치, 형상, 또는 크기, 이러한 디스플레이 부분들의 밝기, 콘트라스트, 채도, 또는 선명도 레벨, 이러한 디스플레이 부분들의 투명도, 또는 착용형 디바이스의 기타의 구성이, 결정된 결함 시야 부분들에 기초하여 조정될 수 있다.
도 4는 검사 모드 및 후속 시각보정 모드 양쪽 모두의 예시적인 구현을 나타내는 프로세스(400)를 나타낸다. 블록 402에서, 검사 모드에서, 안경 디바이스 및 셀룰러 전화 또는 태블릿 PC 등의 다른 사용자 입력 디바이스 내에 내장된 이미지 센서들 등의 진단 디바이스들로부터 데이터가 획득된다. 블록 404에서, 수신된 데이터(예를 들어, 시야 결함들, 눈 오정렬, 동공 움직임 및 크기, 각막 또는 망막의 표면으로부터 반사된 패턴들의 이미지들, 등)로부터 안구 비정상을 검출 및 측정하기 위해 검사 모드 진단이 수행될 수 있다. 한 예에서, MATLAB R2017b(MathWorks, Inc., Natick, MA, USA)를 이용하여 제어 프로그램과 알고리즘들이 구현되었다. 다양한 실시예에서, 피험자 또는 검사자는 각각의 눈을 개별적으로 검사하거나 한 번의 실행에서 양쪽 눈을 순차적으로 검사하도록 선택하는 옵션을 제공받을 수 있다. 일부 실시예에서, 검사 모드는, 미리결정된 위치들에서의 자극 시퀀스를 이용하여 20도 이상의 중심 반경을 커버하는 콘트라스트 계단 자극을 포함하는 적용된 빠른 임계화 전략을 포함할 수 있다. 한 예로서, 검사 모드는, 도 35 및 도 36과 관련하여 여기서 논의된 바와 같이, 미리결정된 위치들에서의 52개의 자극 시퀀스를 이용하여 중심 40도 반경을 커버하는 4개의 콘트라스트 계단 자극을 포함하는 적용된 빠른 임계화 전략을 포함할 수 있다. 또 다른 예로서, 검사 모드는, 여기서 설명된 바와 같이, 사용자에게 디스플레이된 자극 세트에 대한 사용자의 눈들의 하나 이상의 반응 또는 자극 세트(예를 들어, 눈 움직임 반응, 동공 크기 반응 등)에 대한 사용자의 눈들의 이러한 반응들의 부족에 기초한 시각적 결함들(예를 들어, 결함 시야 부분들)의 자동화된 결정을 포함할 수 있다.
블록 406에서, 결정된 진단 데이터는 식별가능한 안구 병리들(예를 들어, 도 16 및 관련된 논의들)을 보상하기 위한 수정 프로파일들을 저장하는 데이터베이스 또는 데이터세트와 비교될 수 있다.
그 다음, 식별된 수정 프로파일들은, 예를 들어, 시각적 축에서의 차이들, 시야 결함들, 광 감도, 복시, 2개의 눈 사이의 이미지 크기 변화, 이미지 왜곡들, 감소된 시각 등을 보상하기 위해 개인맞춤화될 수 있다,
개인화된 프로파일들은, (예를 들어, 이미지 프로세서, 장면 처리 모듈, 및/또는 시각보정 모듈을 이용하여) 이미지들을 처리할 실시간 데이터와 함께 블록(408)에 의해 이용될 수 있다. 실시간 데이터는, 동공 추적 데이터를 제공하는 하나 이상의 내향 이미지 센서(410)에 의해 검출된 데이터, 및/또는 시야 스크린을 캡처하도록 배치된 하나 이상의 시야 카메라(412)를 포함하는 하나 이상의 외향 이미지 센서로부터의 데이터를 포함할 수 있다. 블록 414에서, 실시간 이미지 교정이 수행될 수 있고, 이미지들은, 디스플레이된 재생성된 디지털 이미지로서, 오버레이된 교정된 부분들과 함께 안경 디바이스를 통과하는 증강 현실 이미지들로서, 또는 피험자의 망막에 투사된 이미지들로서, 안경 디바이스 상에서 디스플레이될 수 있다(블록 416). 일부 예에서, 블록 414의 동작은, 사용자가 이미지 및 수정 프로파일들을 제어하는 것을 허용하는 입력 디바이스 등의 사용자 인터페이스를 이용하여 사용자가 이미지 교정을 튜닝할 수 있는 캘리브레이션 모드(418)와 조합하여 수행된다. 예를 들어, 사용자들은 한쪽 눈의 이미지를, 옆으로, 위로 및 아래로 변위시키거나, 또는 사이클로토르트(cyclotort)시켜 복시를 완화할 수 있다. 상기 또는 다른 예에서, 사용자는 기능적 시각에 부정적인 영향을 미치거나 허용할 수 없는 왜곡을 야기하지 않으면서 시야 확대를 허용하는 시야 변환(예를 들어, 어안, 다항식 또는 컨포멀) 또는 병진의 정도를 정밀 튜닝하거나, 밝기 및 콘트라스트를 정밀 튜닝하거나, 색상들을 반전시킬 수 있다.
도 5는, 검사 모드 및 시각보정 모드의 구현을 위한, 프로세스(400)의 것과 유사한, 또 다른 예시적인 프로세스(500)를 나타낸다. 블록 502에서, 동공 크기, 수용 정도, 및 응시에 대한 고차 및 저차 수차들의 데이터가 수집된다. 일부 실시예에서, 데이터의 전부 또는 일부는, 수차계로부터, 또는 각막 및/또는 망막에 투사된 패턴 또는 그리드의 이미지를 캡처하고 이를 기준 이미지와 비교하여 각막 또는 전체 안구 광학 시스템의 수차들을 검출함으로써 수집될 수 있다. 수집된 데이터는, 블록 504에서, 전술된 블록 406과 유사한 개인맞춤화된 수정 프로파일들을 결정할 수 있는 시각 교정 프레임워크에 전송될 수 있다. 블록들 508 내지 518은 프로세스(400) 내의 대응하는 블록들 408 내지 418과 유사한 기능들을 수행한다.
도 8은, 안경 디바이스를 통해 사용자(806)에게 복수의 시각적 자극(804)을 생성하고 프리젠팅하는 검사 모듈(802)을 보여주는 워크플로우(800)를 나타낸다. 사용자(804)는, 검사 자극에 대한 입력 반응을 제공하기 위해 사용자가 상호작용할 수 있는 사용자 디바이스(808)를 갖는다. 일부 예에서, 사용자 디바이스(808)는, 사용자가 검사 자극에 대한 입력 반응을 제공하기 위해 인터페이스할 수 있는, 조이스틱, 전자 클릭커, 키보드, 마우스, 제스처 검출기/움직임 센서, 컴퓨터, 스마트폰 등의 전화기, 전용 디바이스, 및/또는 태블릿 PC를 포함할 수 있다. 사용자 디바이스(808)는 또한, 프로세서에 의해 실행될 때 사용자에 의한 상호작용을 위한 GUI의 디스플레이를 생성하는 명령어들을 저장한 메모리 및 프로세서를 포함할 수 있다. 사용자 디바이스(808)는, 메모리, 신호들을 전송 및 수신하기 위한 트랜시버(XVR), 및 이미지 처리 디바이스에 저장될 수 있는 시각 교정 프레임워크(810)에 유선 또는 무선으로 접속하기 위한 입력/출력 인터페이스를 포함할 수 있다. 예시된 예에서는 프레임워크(810)가 외부 이미지 처리 디바이스에 저장되어 있지만, 시각 교정 프레임워크(810)는, 안경 디바이스, 사용자 디바이스 등에 저장될 수 있다. 프레임워크(810)는 검사 모듈(802)로부터 검사 모드 정보를 수신하고 사용자 디바이스(808)로부터 사용자 입력 데이터를 수신한다.
도 9는 워크플로우(800)에 의해 수행될 수 있는 검사 모드 프로세스(900)를 나타낸다. 블록 902에서, 검사 모드 프로토콜에 따라 피험자에게 복수의 검사 자극이 제공된다. 그 자극들은, 텍스트의 이미지들, 물체들의 이미지들, 광의 섬광, 그리드 패턴들 등의 패턴들을 포함할 수 있다. 자극은 피험자에게 디스플레이되거나 피험자의 망막 및/또는 각막에 투사될 수 있다. 블록 904에서, 시각 교정 프레임워크는, 동공의 물리적 상태(예를 들어, 시각적 축, 동공 크기, 및/또는 윤부)에 대응하는 데이터 등의, 검출된 데이터를 하나 이상의 내향 이미지 센서로부터 수신할 수 있다. 블록 904는 자극에 반응하여 사용자로부터 수집된 사용자 반응 데이터를 수신하는 단계를 더 포함할 수 있다. 블록 906에서, 동공 위치 상태는, 예를 들어, 상이한 자극들 사이의 위치 차이들 및 오정렬 차이들을 측정함으로써 상이한 자극들에 걸쳐 결정될 수 있다.
블록 908에서, 동공 오정렬 데이터 및/또는 눈 수차들의 분석(예를 들어, 기준 이미지들을 망막 및 각막에 투사하고 망막 또는 각막 표면들로부터 반사된 이미지들을 기준 이미지들과 비교하는 것)을 포함할 수 있는, 시야 전체에 걸쳐 난시 결정이 이루어질 수 있다. 블록 910에서, 도 31a, 도 32 내지 도 34 및 동반된 논의에서 설명된 바와 같이, (예를 들어, 기준 이미지들을 망막 및/또는 각막에 투사한 다음 망막 또는 각막 표면으로부터의 반사된 이미지들을 기준 이미지들과 비교함으로써) 전체 눈 수차들이 결정될 수 있다. 블록 912에서, 비대칭수차(coma), 난시 또는 구면 수차 등의 광학적 왜곡들, 또는 망막 질병들로 인한 시각적 왜곡들 등의, 시각적 왜곡들이 시야 전체에 걸쳐 측정될 수 있다. 블록 914에서, 시야 감도가 시야 전체에 걸쳐 측정될 수 있다. 도 9의 프로세스의 다양한 실시예에서, 블록들 904 내지 914 중 하나 이상은 선택사항일 수 있다.
일부 예에서, 여기서의 시각 시스템들은 검사 모드로부터의 데이터를 평가하고, 안구 비정상의 유형 및 필요한 교정의 유형을 결정할 수 있다. 예를 들어, 도 10은, 검사 모드의 일부로서 구현될 수 있는 인공 지능 교정 알고리즘 모드를 포함하는 프로세스(1000)를 나타낸다. 머신 학습 프레임워크가 블록 1002에서 로드되며, 예시적인 프레임워크들은, 치수 감소, 앙상블 학습, 메타 학습, 강화 학습, 지도 학습, Bayesian, 결정 트리 알고리즘들, 선형 분류기들, 비지도 학습, 인공 신경망, 연관 규칙 학습, 계층적 클러스터링, 클러스터 분석, 심층 학습, 준-지도 학습 등을 포함할 수 있다.
블록 1004에서, 시야 결함 유형이 결정된다. 3개의 예시적인 시야 결함이 예시되어 있다: 보상되지 않은 맹목 시야(1006), 더 낮은 감도를 갖는 부분적 사각 지대(1008), 및 온전한 시야(1010). 블록 1004는 시야 결함을 결정한 다음, 시각보정 모드에 대한 적절한 교정 프로토콜을 적용한다. 예를 들어, 보상되지 않은 맹목 시야(1006)에 대해, 블록 1012에서, 시각 교정 프레임워크는 내향 이미지 센서들을 이용하여 동공 추적 등의 시각을 추적하고, (예를 들어, 외부 카메라들 등의 외향 이미지 센서들을 통해) 시야에서 움직이는 물체의 비디오 추적을 수행한다. 예시된 예에서, 블록 1014에서, 사각 지대 영역들 내의 안전 위험 또는 사각 지대 영역들로 이동하는 안전 위험은, 예를 들어, 안전 위험의 위치를, 검사 모드에서 측정된 결함들을 갖는 맵핑된 시야와 비교함으로써 검출된다. 블록 1016에서, 관심대상 물체는, 중심 위치 및 주변 위치를 포함하는 다양한 위치에서 모니터링될 수 있다.
부분 사각 지대(1008)의 예에서, 증강된 시각 시각보정 모드는 블록 1018에서 입력될 수 있고, 그로부터 시야의 중심 부분을 추적함으로써 시야 내의 물체가 모니터링된다. 블록 1020에서, 이미지 세그먼트화 알고리즘이 시야로부터 물체를 분리하기 위해 채용될 수 있다. 증강된 윤곽이 또한 물체에 적용되고 사용자에게 디스플레이되며, 여기서 윤곽은 세그먼트화된 물체의 식별된 엣지들과 일치한다. 온전한 시야(1010)와 관련하여, 블록 1022에서, 맞춤형 교정 알고리즘이, 수차들, 시야 결함들, 교차된 눈들, 및/또는 시각적 왜곡을 교정하기 위해 적용될 수 있다.
일부 실시예에서, 검사 서브시스템(122)은 사용자와 연관된 복수의 수정 프로파일을 결정할 수 있다(예를 들어, 시각 검사 프리젠테이션 동안, 라이브 이미지 데이터의 향상된 프리젠테이션이 사용자에게 디스플레이되는 동안 등). 일부 실시예에서, 각각의 수정 프로파일은 주어진 컨텍스트에 대한 라이브 이미지 데이터에 적용될 수정 파라미터들 또는 기능들의 세트를 포함할 수 있다. 한 예로서, 사용자는 각각의 눈 특성 세트(예를 들어, 응시 방향들, 동공 크기들, 윤부(limbus) 위치들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다. 추가 예로서, 사용자는, 추가로 또는 대안으로서, 각각의 환경 특성 세트(예를 들어, 환경의 밝기 레벨들, 환경의 온도들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다.
현재 검출된 눈 관련 또는 환경 관련 특성들에 기초하여, 수정 파라미터들 또는 기능들의 대응하는 세트가 획득되어 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하는데 이용될 수 있다. 예로서, 수정 파라미터들 또는 기능들의 대응하는 세트는, 현재 검출된 눈 관련 특성들이 수정 파라미터들 또는 기능들의 획득된 세트와 연관된 눈 관련 특성들의 세트와 정합하는 것(예를 들어, 현재 검출된 눈 관련 특성들은 눈 관련 특성들의 연관된 세트 내에 속함)에 기초하여 (예를 들어, 사용자를 위해 이미지를 수정하기 위해 이미지에 적용되기 위해) 획득될 수 있다. 일부 실시예에서, 수정 파라미터들 또는 기능들의 세트는, 현재 검출된 눈 특성들 또는 환경 특성들에 기초하여 생성될 수 있다(예를 들어, 수정 파라미터들의 임시 생성, 주어진 정황에 대해 사용자와 연관된 현재 저장된 수정 프로파일의 한 세트의 수정 파라미터들 또는 기능들의 조정 등).
한 이용 사례에서, (상기의 동작들을 구현하는) 착용형 디바이스는 각각의 동공 크기들에 기초하여 사용자의 하나 이상의 눈에 대한 라이브 이미지 데이터의 향상된 프리젠테이션의 밝기를 자동으로 조정할 수 있다(예를 들어, 이러한 조정이 주변 환경의 밝기와 독립적인 경우). 한 예로서, 동공부동증(anisocoria)을 갖는 피험자는 불균등한 동공 크기를 가지며, 이들 피험자들은 건강한 눈에 의해 용인될 수 있는 광의 밝기를 용인할 수 없는 광 감도를 갖는 한쪽 눈을 갖고 있다. 이러한 방식으로, 착용형 디바이스는 각각의 눈에 대해 개별적으로 (예를 들어, 각각의 눈의 검출된 동공 크기에 기초하여) 밝기의 자동 조정을 가능케한다.
또 다른 이용 사례에서, 착용형 디바이스는, 동공 크기, 시각 축, 광학 축, 윤부 위치, 시선, 또는 다른 눈 수용 상태(예를 들어, 전술한 것에 대한 변경을 포함)를 검출할 수 있고, 검출된 상태들에 기초하여 수정 프로파일을 변경할 수 있다. 예를 들어, 고차 수차들(예를 들어, 안경이나 콘택트 렌즈로 교정할 수 없는 굴절 오류들)을 갖는 피험자들의 경우, 피험자의 수차들은 동적이고 동공 크기와 눈의 수용 상태에 따라 변경된다. 착용형 디바이스는 근접 반사(예를 들어, 동공 수축(동공 크기 감소) 및 수렴(동공의 내향 교차))의 징후를 검출함으로써 수용 상태를 검출할 수 있다. 추가적으로 또는 대안으로서, 착용형 디바이스는 응시 방향을 검출하기 위해 동공 및 시선 추적기를 포함할 수 있다. 또 다른 예로서, 눈의 수차들은 광학 시스템의 조리개의 크기 및 위치에 따라 변하고, 상이한 동공 크기들 및 동공 및 시각적 축의 위치들과 관련하여 측정될 수 있다. 착용형 디바이스는, 예를 들어, (예를 들어, 측정들에 기초하여) 고차 수차들을 결정하기 위해 각막 상의 불규칙성들을 측정하고, 고차 수차들을 해결할 수정 프로파일을 계산할 수 있다. 동공 및 시각적 축(또는 다른 눈 수용 상태들)의 상이한 크기들 및 위치들에 대해, 실시간 향상을 제공할 미래의 이용을 위해 상이한 수정 프로파일들이 생성되고 저장될 수 있다. 이들 검출된 입력들 중 하나 이상은 착용형 디바이스가 적절한 수정 프로파일(예를 들어, 수정 파라미터들 또는 기능들의 세트)을 이용하여 사용자에게 향상된 기능을 제공할 수 있게 한다.
또 다른 예로, 착용형 디바이스는 근접 시각을 제공하기 위해 사용자에게 디스플레이되는 이미지들의 자동포커싱을 자동으로 수행하여 노안을 교정하는데 이용될 수 있다. 근접 시각을 더욱 증강시키고 향상시키기 위해, 착용형 디바이스는 사용자가 근접 타겟을 주시하려고 하는 경우를 검출하고(예를 들어, 동공 축소(동공 크기 감소 및 수렴(눈의 내향 움직임)) 등의 근접 반사의 징후를 검출함으로써), 사용자가 주시하고 있는 타겟에 대응하는 이미지의 영역(예를 들어, 사용자가 주시하고 있는 디스플레이의 부분, 사용자가 주시하고 있는 물체 주변의 근접 영역 등)에 대해 자동포커싱을 수행한다. 추가로, 또는 대안으로서, 착용형 디바이스는 (예를 들어, 착용형 디바이스의 센서들을 통해) 피험자가 발휘한 근접 반사의 양과 눈으로부터 타겟의 거리를 정량화함으로써, 타겟이 얼마나 멀리 있는지(예를 들어, 타겟 물체 또는 영역)를 결정할 수 있고 정량화된 양과 타겟 거리에 따라 적절한 교정을 제공할 수 있다.
또 다른 예로서, 착용형 디바이스는 (예를 들어, 사시 또는 기타의 상태들과 관련된) 복시를 교정하는데 이용될 수 있다. 착용형 디바이스는 사용자의 눈들을 모니터링하고 사용자의 동공들을 추적하여 편차 각도를 측정해 각각의 눈에 대해 투사된 이미지들을 변위시킬 수 있다(예를 들어, 사시 또는 기타의 상태들의 검출과 연계하여). 복시는 전형적으로 동적이기 때문에(예를 들어, 하나 이상의 시선을 향해 복시는 증가하거나 감소함), 착용형 디바이스는 사용자의 동공들과 사용자의 시선을 모니터링함으로써 적절한 교정을 제공할 수 있다. 예를 들어, 사용자가 사용자의 우측 동공을 사용자의 코로부터 멀리(예를 들어, 사용자 얼굴의 가장자리 쪽으로) 이동시키는데 문제를 갖고 있다면, 사용자의 복시는, 사용자가 우측을 주시하고 있을 때는 증가할 수 있고 사용자가 좌측을 주시하고 있을 때는 감소할 수 있다. 따라서, 착용형 디바이스는, 사용자의 눈들 중 하나에 디스플레이된 향상된 프리젠테이션의 제1 버전이 사용자의 다른 눈에 디스플레이된 향상된 프리젠테이션의 제2 버전으로부터의 변위를 반영하여(예를 들어, 변위량이 동공 위치 및 응시 방향에 기초함) 사용자의 상태(예를 들어, 사시 또는 기타의 상태)를 동적으로 보상해 그에 따라 모든 잠재적인 응시 방향에 대해 복시를 방지하도록, 라이브 이미지 데이터의 향상된 프리젠테이션을 각각의 눈에 디스플레이할 수 있다.
프리즘들을 적용하여 (예를 들어, 사시 또는 기타의 상태에 의해 야기되는) 교차된 눈(crossed eye) 앞에서 이미지를 시프팅하여 복시를 교정할 수 있지만, 프리즘들은 이미지의 비틀림을 생성할 수 없으므로, 이미지들이 기울어지거나 사이클로토르트된 것처럼 보이게 하는 상태로부터 발생하는 복시를 교정하는데에 유용하지 않다(예를 들어, 회선사위는 양쪽 눈으로부터 수신된 이미지들이 기울어지거나 사이클로토르트된 것처럼 보이게 하는 사시의 한 형태이다). 일부 이용 사례에서, 착용형 디바이스는 사용자의 눈들을 모니터링하여 서로에 관해 양쪽 눈의 동공, 윤부, 시선, 또는 시각적 축을 검출함으로써 사시의 정도(예를 들어, 사이클로토르트를 포함)를 측정할 수 있다. 추가적으로 또는 대안으로서, 착용형 디바이스는 양쪽 눈의 망막의 이미지들을 획득하고 망막과 신경의 구조물들을 서로 비교함으로써 이러한 측정들을 수행할 수 있다. 그렇게 함으로써, 착용형 디바이스는 이들 눈 구조물들의 상대적인 위치와 임의의 비틀림 변위를 검출하고 측정할 수 있다. 이러한 측정들은 결함을 교정하고 복시를 완화하기 위해 라이브 이미지 처리에 대한 수정 파라미터들을 예측하는 예측 모델에 제공될 수 있다. 지속적인 피드백은 착용형 디바이스의 센서들(예를 들어, 동공 추적기, 응시 추적기, 망막 이미지에 기초한 추적기 등)로부터 획득될 수 있고 실시간으로 라이브 이미지 데이터에 적용되는 수정 프로파일을 변경하는데 이용될 수 있다. 추가 이용 사례에서, 사용자는 또한, 교정을 정밀 튜닝할 수 있다. 한 예로서, 이미지는 사용자 인터페이스 상에서 사용자에게 디스플레이될 수 있고, 사용자는 (예를 들어, 조이스틱 또는 기타의 입력 디바이스를 이용하여) 그 이미지가 한쪽 눈의 전면에서 교차할 때까지 이미지(또는 이미지가 나타내는 물체)를 이동시키고, 다른 쪽 눈에 의해 보이는 이미지와 물체가 중첩할 때까지 물체를 회전시킬 수 있다. 일부 실시예에서, 복시 표시의 검출시, 및 이미지가 이동되어야 함 또는 이동의 양 또는 위치를 명시적으로 나타내는 임의의 사용자 입력 없이, 착용형 디바이스는 한쪽 눈 앞에서 교차되는 이미지를 자동으로 이동시켜(예를 들어, 이미지를 병진 또는 회전시켜) 복시와 관련된 측정들 또는 교정들을 수행할 수 있다.
다른 형태들의 사시와 마찬가지로, 회선사위에 의해 야기되는 결과적인 변위는 회선사위와 연관된 마비된(또는 부분적으로 마비된) 근육의 의도된 작용 방향과 이러한 환자가 한쪽 또는 다른 쪽을 향해 보고 있는 때에 기초하여 실시간으로 변한다. 눈 특성들을 추적함으로써, 착용형 디바이스는, 사용자의 눈들 중 하나에 디스플레이된 향상된 프리젠테이션의 제1 버전이 사용자의 다른 눈에 디스플레이된 향상된 프리젠테이션의 제2 버전으로부터의 변위를 반영하도록(예를 들어, 변위량이 동공 위치 및 응시 방향에 기초함) 라이브 이미지 데이터의 향상된 프리젠테이션을 각각의 눈에 디스플레이함으로써 사용자의 상태를 동적으로 보상할 수 있다.
일부 실시예에서, 도 1a와 관련하여, (시각 검사 프리젠테이션 동안 사용자에게 디스플레이되는) 자극 세트와 관련된 피드백, 사용자의 하나 이상의 눈과 관련된 피드백, 사용자의 환경과 관련된 피드백, 또는 기타의 피드백을 획득하면, 검사 서브시스템(122)은 피드백을 예측 모델에 제공할 수 있고, 예측 모델은 피드백에 기초하여 구성될 수 있다. 일부 실시예에서, 검사 서브시스템(122)은 (예를 들어, 시각 검사 프리젠테이션 동안) 제2 세트의 자극들을 획득할 수 있다. 예를 들어, 제2 세트의 자극들은, 예측 모델의 자극 세트 처리 및 자극 세트와 관련된 피드백에 기초하여 생성될 수 있다. 제2 세트의 자극은 사용자 시야의 하나 이상의 다른 양태를 추가로 검사하기 위해(예를 들어, 사용자 시야에 대한 더욱 세분화된 교정 또는 기타의 향상들을 용이화하기 위해) 피드백으로부터 파생된 추가 자극들일 수 있다. 한 이용 사례에서, 검사 서브시스템(122)은 제2 세트의 자극들이 사용자에게 디스플레이되게 할 수 있고(예를 들어, 동일한 시각적 프리젠테이션 동안), 반응으로서, 제2 세트의 자극들과 관련된 추가 피드백(예를 들어, 사용자가 제2 세트 중의 하나 이상의 자극을 보는지의 여부 또는 어떻게 보는지를 나타내는 추가 피드백)을 획득할 수 있다. 그 다음, 검사 서브시스템(122)은 제2 세트의 자극들과 관련된 추가 피드백을 예측 모델에 제공할 수 있고, 예측 모델은 추가 피드백에 기초하여 추가로 구성될 수 있다(예를 들어, 시각 검사 프리젠테이션 동안). 한 예로서, 예측 모델은, (i) (예를 들어, 자극 세트 중의, 제2 세트의 자극들 중의, 다른 세트의 자극들 중의) 하나 이상의 자극에 대한 사용자의 반응의 표시, (ii) 이러한 자극에 대한 사용자의 반응의 부족의 표시, (iii) 시각 검사 프리젠테이션 동안 캡처된 눈 이미지 또는 기타의 피드백에 기초하여 사용자에 대해 자동으로 구성될 수 있다(예를 들어, 예측 모델은 시각 검사 프리젠테이션으로부터의 피드백에 기초하여 사용자에게 개인맞춤화될 수 있음). 한 이용 사례에서, 예를 들어, 피드백은 사용자의 하나 이상의 시각적 결함을 나타내고, 예측 모델은 시각적 결함을 해결하기 위해 피드백에 기초하여 자동으로 구성될 수 있다. 또 다른 예로서, 예측 모델은 예측 모델에 의해 제공되는 결과들의 정확성을 개선하기 위해 이러한 피드백 및 다른 사용자들로부터의 다른 피드백에 기초하여 훈련될 수 있다(예를 들어, 여기서 설명된 수정 프로파일들을 제공하도록 훈련, 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하도록 훈련, 기타 등등).
일부 실시예에서, 시각보정 서브시스템(124)은 (라이브 이미지 데이터로부터 파생된) 향상된 이미지를 획득하고 향상된 이미지가 디스플레이되게 하기 위해 라이브 이미지 데이터 또는 기타의 데이터(예를 들어, 모니터링된 눈 관련 특성들)를 예측 모델에 제공할 수 있다. 일부 실시예에서, 예측 모델은, (예를 들어, 주기적으로, 스케쥴에 따라, 또는 기타의 자동화된 트리거에 기초하여) 예측 모델에 지속적으로 제공되는 추가 피드백에 기초하여 (라이브 이미지 데이터로부터 파생된) 향상된 이미지의 디스플레이 동안 계속 구성될 수 있다. 예를 들어, 착용형 디바이스는 착용형 디바이스의 하나 이상의 카메라로부터 라이브 비디오 스트림을 획득하고 향상된 이미지가 착용형 디바이스의 하나 이상의 디스플레이에 디스플레이되게 할 수 있다(예를 들어, 착용형 디바이스의 카메라들에 의해 캡처되고 있는 라이브 비디오 스트림의 1 밀리초 미만, 100분의 1초, 10분의 1초 미만, 1초 미만 등 내에). 일부 실시예에서, 착용형 디바이스는 (예를 들어, 라이브 이미지 데이터, 모니터링된 눈 관련 특성들, 또는 기타의 데이터를 예측 모델에 제공하는 것에 반응하여) 예측 모델로부터 향상된 이미지를 획득할 수 있다. 일부 실시예에서, 착용형 디바이스는 (예를 들어, 라이브 이미지 데이터, 모니터링된 눈 관련 특성들, 또는 기타의 데이터를 예측 모델에 제공하는 것에 반응하여) 예측 모델로부터 수정 파라미터들 또는 기능들을 획득할 수 있다. 착용형 디바이스는 수정 파라미터들 또는 기능들(예를 들어, 라이브 이미지 데이터를 향상된 이미지로 변환하거나 수정하는데 이용되는 파라미터들 또는 기능들)을 이용하여 라이브 이미지 데이터로부터 향상된 이미지를 생성할 수 있다. 추가 예로서, 수정 파라미터들은, 하나 이상의 변환 파라미터, 밝기 파라미터, 콘트라스트 파라미터, 채도 파라미터, 선명도 파라미터, 또는 기타의 파라미터를 포함할 수 있다.
예를 들어, AI 알고리즘과 함께 머신 학습 프레임워크를 갖는 시각 교정 프레임워크는, 나머지 기능적 시야에 더 잘 맞도록 시야의 변환, 병진 및 크기조정을 적용함으로써 자동적인 개인맞춤형 수정 프로파일들을 생성하는데 이용될 수 있다. 머신 학습 프레임워크는, 데이터 수집, 시야 분류, 및/또는 회귀 모델들 중 하나 이상을 포함할 수 있다. 참가자 반응들, 정량적 점수들, 및 피드백의 기록을 용이화하기 위해 그래픽 사용자 인터페이스(GUI) 및 데이터 수집 프로그램이 이용될 수 있다.
시각보정 모드에서 이미지들에 적용되는 변환들과 관련하여, 머신 학습 프레임워크의 예시적인 변환들은 다음 중 하나 이상을 포함할 수 있다: 1) 컨포멀 맵핑, 2) 어안, 3) 맞춤형 4차 다항식 변환, 4) 극좌표 다항식 변환(극 좌표들을 이용), 또는 5) 직사각형 다항식 변환(직사각형 좌표들을 이용)(예를 들어, 도 13).
시각보정 모드에서 이미지들에 적용되는 병진들과 관련하여, 예들은 다음 중 하나 이상을 포함할 수 있다. 중심 검출의 경우, 최상의 중심과 그 중심에 가장 가까운 포인트의 가중 평균이 이용될 수 있다. 예를 들어, 중심 위치에 가장 근접한 포인트를 발견함으로써 가장 가까운 포인트가 결정될 수 있다. 최상의 중심은 다음 중 하나 이상에 의해 결정될 수 있다: 1) 가장 큰 성분의 중심, 2) 가장 큰 내접원, 정사각형, 마름모 및/또는 직사각형의 중심, 또는 3) 국부적으로 가장 큰 내접원, 정사각형, 마름모, 및/또는 직사각형의 중심(예를 들어, 도 14). 예를 들어, 프레임워크는 가장 큰 형상을 검색할 수 있지만 황반 시각 영역에서 멀어지는 것을 피하기 위해 프레임워크는 이 방법들을 이용하여 가장 가까운 포인트의 가중 평균에 의해 이를 대체할 수 있다.
다양한 실시예에서, AI 알고리즘은 시뮬레이션된 시야 결함들을 이용하여 초기에 훈련될 수 있다. 예를 들어, AI 알고리즘을 훈련시키기 위해, 시야 결함들의 데이터세트가 수집될 수 있다. 예를 들어, 한 실험 프로토콜에서, 녹내장 환자들로부터 400개의 시야 결함들의 데이터세트가 획득되었다. 데이터세트는, 등급화(grading)를 위한 정상 피험자들에게 프리젠팅하기 위해 가상 현실 안경 상에서 시뮬레이션된 시야 결함들을 생성하는데 이용할 수 있다. 그 다음, 등급화로부터 획득된 결과적인 피드백은 알고리즘을 훈련시키는데 이용될 수 있다.
예를 들어, 입력 이미지를 각각의 환자에 대해 개별적으로 온전한 시야 패턴에 대응하는 영역들에 자동으로 맞추는 AI 알고리즘을 이용할 수 있다. 다양한 실시예에서, 알고리즘은 이미지들을 리맵핑하기 위한 적어도 3개의 자유도를 포함할 수 있지만, 더 많거나 더 적은 자유도가 이용될 수 있다. 한 예에서, 자유도는, 변환, 시프팅 및 크기조정을 포함한다. 추가된 이미지 변환은, 시력(acuity)이 가장 높은, 중심 시각에 대응하는 이미지의 중심 영역의 품질을 보존할 수 있는 반면, 주변 영역들은 적절한 양의 이미지 품질로 압축할 수 있다. 이것은 생성된 전체 이미지 콘텐츠가 환자에게 눈에 띄도록 적용될 수 있다.
AI 알고리즘에 포함된 이미지 변환들은, 컨포멀, 다항식, 또는 어안 변환들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 다른 변환들이 이용될 수 있다. 머신 학습 기술들은 그들의 실제 작업을 수행하기 전에 라벨링된 데이터세트에 관해 훈련될 수 있다. 한 예에서, AI 알고리즘은 상이한 유형들의 주변 결함들을 통합하는 시야 데이터세트에 관해 훈련될 수 있다. 예를 들어, 한 실험에서 데이터세트는 400개의 시야 결함 패턴을 포함했다. 그 다음, AI 알고리즘에 의해 생성된 리맵핑된 이미지들을 정량적으로 채점하기 위해 정상 참가자들에 의해 훈련 국면이 안내받았다.
도 11은 한 예에 따른 검사 이미지(자극들)의 이미지(1100)를 도시한다. 검사 이미지(1100)는, 시력, 중심주변 시각 및/또는 주변 시각을 측정하도록 설계될 수 있다. 예시된 검사 이미지는, 도 11에 도시된 바와 같이 중심 영역에 5개의 문자, 중심주변 영역에 4개의 내부 다이아몬드(1102), 주변 영역에 8개의 외부 다이아몬드(1104)를 디스플레이한다.
AI 시스템을 훈련시킬 수 있기 위해, 위에서 소개된 바와 같이, 많은 양의 데이터가 필요하다. 초기 단계로서, 결함 있는 양안 시야들을 이용하여 도 12에 도시된 바와 같이 환자들의 양안 시각을 시뮬레이션할 수 있다. 그 다음, 시뮬레이션된 시각은 안경 디바이스를 통해 피험자들에게 프리젠팅될 수 있다. 이러한 방식으로, 입력 이미지는 상이한 이미지 조작들을 이용하여 조작된 다음, 수정된 시각을 등급화하기 위해 피험자에게 자시 프리젠팅될 수 있다. 교정된 이미지는 최적화된 교정된 이미지가 결정될 때까지 지속적 교정 프로세스에서 추가로 교정되어 피험자에 프리젠팅될 수 있다. 도 13은, 이미지에 적용될 수 있고 사용자에게 프리젠팅될 수 있는 상이한 교정 변환들의 예들을 나타낸다. 도 14는 상이한 병진 방법들의 한 예를 나타낸다(온전한 시야에 맞도록 이미지를 시프팅). 온전한 시야는 흰색이고 맹목 시야는 검은색이다.
AI 시스템은 인공 신경망들 및 SVM(Support Vector Machine) 등의 머신 학습 모델들을 이용하여 설계될 수 있다. 일부 예에서, AI 시스템은, 최적화 AI 시스템을 통해 최상의 이미지 조작 방법들(예를 들어, 기하학적 변환 및 병진)의 추정치를 포함하는 출력을 생성하도록 설계되었다. 시각 시스템은, 시각보정 모드에서, 환자가 자신의 결함 시야에 기초하여 최상의 가능한 시각을 경험할 수 있도록, 출력 이미지 조작 방법들에 따라 조작된 이미지들을 헤드셋을 통해 환자에게 프리젠팅할 수 있다. 시각 교정 프레임워크의 머신 학습 프레임워크(여기서는 "AI 시스템"이라고도 함)는 (예를 들어, 여기서 설명된 바와 같이) 수집된 데이터를 이용하여 훈련될 수 있다. 예시적인 AI 시스템(1500)의 블록도가 도 15에 도시되어 있다.
AI 시스템(1500)의 프로세스(1600)가 도 16에 도시되어 있다. 시스템(1500)에 대한 입력은 검사 이미지 및 시야 이미지를 포함한다. AI 시스템(1500)은, 더 많은 상세사항이 시야를 통해 프리젠팅될 수 있도록 검사 이미지에 대한 최상의 기하학적 변환을 추정한다. 그 다음, AI 시스템(1500)은, 디스플레이된 이미지가 시야의 주요 부분들을 덮도록 검사 이미지에 대한 최상의 병진을 추정한다. 그 다음, 검사 이미지는 각각 도 17과 도 18에 도시된 바와 같이 변환 및 병진된다. 마지막으로, 시뮬레이션 목적으로만 훈련시키는 경우 이미지는 다시 시야와 결합되지만, 검사 국면에서는 환자에게 직접 디스플레이된다. 이미지에 적용될 이미지 변환 및 병진의의 파라미터들을 포함한 시야 AI 시스템의 최종 구현을 포함할 수 있는 시야 분석의 요약을 제공하는 그래픽 사용자 인터페이스의 스크린샷이 도 19에 도시되어 있다.
한 예시적인 구현에서, 인공 신경망 모델을 이용하여 시각 교정 프레임워크에서 머신 학습 프레임워크("AI 시스템")를 구현했다. AI 시스템은 벡터로 변환된 시야 이미지를 취한다. AI 시스템은 장면 이미지에 적용될 이미지 변환 및 병진 파라미터들의 예측을 출력으로서 제공한다. 그 다음, 이들 파라미터들을 이용하여 장면 이미지가 조작된다. AI 시스템은 2개의 은닉 계층들을 포함하고, 각각의 은닉 계층은 3개의 뉴런(즉, 유닛)과 하나의 출력 계층을 포함한다. 하나의 이러한 예시적인 AI 시스템 모델이 도 20에 도시되어 있다. 이 AI 시스템은 또한, 다른 예들에서 훨씬 더 정확한 결과들을 위해 콘볼루션 신경망 모델로 확장될 수도 있다. 도 21 및 도 22는, 각각, 신경망의 검사 모드 적용 및 신경망을 이용한 AI 알고리즘 최적화 프로세스의 예시적인 프로세스들(2100 및 2200)을 나타낸다.
일부 실시예에서, 도 1a와 관련하여, (시각 검사 프리젠테이션 동안 사용자에게 디스플레이되는) 자극 세트와 관련된 피드백, 사용자의 하나 이상의 눈과 관련된 피드백, 사용자의 환경과 관련된 피드백, 또는 기타의 피드백을 획득하면, 검사 서브시스템(122)은 피드백을 예측 모델에 제공할 수 있고, 예측 모델은 피드백에 기초하여 구성될 수 있다. 일부 실시예에서, (예를 들어, 주기적으로, 스케쥴에 따라, 또는 기타의 자동화된 트리거에 기초하여) 추가 피드백이 지속적으로 획득되고 예측 모델에 제공되어 예측 모델의 구성을 업데이트할 수 있다. 한 예로서, 라이브 이미지 데이터의 하나 이상의 향상이 사용자에게 디스플레이되고 있는 동안 예측 모델의 구성이 업데이트될 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 사용자의 하나 이상의 눈과 관련된 특성들(예를 들어, 응시 방향, 동공 크기 또는 반응, 윤부 위치, 시각적 축, 광학적 축, 눈꺼풀 위치 또는 움직임, 머리 움직임, 또는 기타의 특성들)을 모니터링하여, 사용자에게로의 라이브 이미지 데이터의 향상된 프리젠테이션 동안 눈 특성 정보를 예측 모델에 제공할 수 있다. 추가로 또는 대안으로서, 시각보정 서브시스템(124)은 사용자의 환경과 관련된 특성들(예를 들어, 환경의 밝기 레벨, 환경의 온도, 또는 기타의 특성들)을 모니터링할 수 있다. 한 예로서, (예를 들어, 모니터링된 특성들을 나타내는) 눈 또는 환경 특성 정보에 기초하여, 예측 모델은 라이브 이미지 데이터의 향상된 프리젠테이션(예를 들어, 라이브 이미지 데이터로부터 파생된 하나 이상의 향상된 이미지의 사용자에게로의 프리젠테이션)을 생성하기 위해 라이브 이미지 데이터에 적용될 하나 이상의 수정 파라미터 또는 기능을 제공할 수 있다. 한 이용 사례에서, 예측 모델은, 현재 검출된 눈 특성들 또는 환경 특성들에 기초하여 (예를 들어, 메모리 또는 하나 이상의 데이터베이스에 저장된) 수정 파라미터들 또는 기능들을 획득할 수 있다. 또 다른 이용 사례에서, 예측 모델은 현재 검출된 눈 특성들 또는 환경 특성들에 기초하여 수정 파라미터들 또는 기능들을 생성할 수 있다.
일부 실시예에서, 도 1a와 관련하여, 시각보정 서브시스템(124)은 (예를 들어, 사용자에게 디스플레이된 자극 세트와 관련된 피드백 또는 기타의 피드백에 기초하여) 하나 이상의 투명 디스플레이 상의 하나 이상의 동적 디스플레이 부분을 통해 사용자의 시야의 향상을 용이화할 수 있다. 한 예로서, 동적 디스플레이 부분들은, 하나 이상의 투명 디스플레이 부분 및 (예를 들어, 착용형 디바이스 또는 다른 디바이스의) 하나 이상의 다른 디스플레이 부분을 포함할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은 하나 이상의 이미지가 다른 디스플레이 부분 상에 디스플레이되게 할 수 있다(예를 들어, 이미지가 투명 디스플레이 부분들 상에서 디스플레이되지 않도록). 한 예로서, 사용자는 투명 디스플레이의 투명 디스플레이 부분들을 통해 볼 수 있지만, 다른 디스플레이 부분들을 통해서는 볼 수 없고, 대신에, 투명 디스플레이의 다른 디스플레이 부분들 상의(예를 들어, 투명 디스플레이 부분들의 주변의 또는 이에 근접한) 이미지 프리젠테이션을 볼 수 있다. 즉, 일부 실시예에서, 동적 하이브리드 씨-스루/불투명 디스플레이가 이용될 수 있다. 이러한 방식으로, 예를 들어, 하나 이상의 실시예는, (i) 전형적인 가상 현실 헤드셋의 큰 부피의 무거운 무게를 피할 수 있고, (ii) 사용자의 온전한 시각을 이용할 수 있고(예를 들어, 사용자가 온전한 중심 시각을 갖지만 주변 시야는 결함이 있는 경우, 사용자의 양호한 시력 중심 시각을 이용하고, 사용자가 온전한 주변 시각을 갖지만 중심 시야에 결함이 있는 경우, 사용자의 온전한 주변 시각을 이용), (iii) 씨-스루 장면과 내부적으로 디스플레이된 장면 사이에서 중첩 효과를 갖는 전형적인 증강 현실 기술에 의해 대개 야기되는 시각적 혼란을 완화할 수 있다.
한 예로서, 착용형 디바이스를 통해 라이브 이미지 데이터가 획득되고, 라이브 이미지 데이터에 기초하여 향상된 이미지가 생성되어 착용형 디바이스의 다른 디스플레이 부분들(예를 들어, 불투명 임계값을 충족하거나 투명도 임계값을 충족하지 못하는 착용형 디바이스의 디스플레이의 디스플레이 부분들)에 디스플레이될 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하고, 모니터링에 기초하여, 투명 디스플레이의 투명 디스플레이 부분들의 조정을 유발할 수 있다. 예를 들어, 모니터링된 변화들은, 눈 움직임, 시선 방향의 변화, 동공 크기 변화, 또는 기타의 변화들을 포함할 수 있다. 착용형 디바이스의 투명 디스플레이 부분들 또는 기타의 디스플레이 부분들의 하나 이상의 위치, 형상, 크기, 투명도, 밝기 레벨, 콘트라스트 레벨, 선명도 레벨, 채도 레벨, 또는 기타의 양태는 모니터링된 변경들에 기초하여 자동으로 조정될 수 있다.
한 이용 사례에서, 도 24a와 관련하여, 착용형 디바이스(2400)는, 사용자 환경으로부터의 광이 투명 주변 부분(2404)을 직접 통과할 수 있지만, 불투명 중심 부분(2406)을 통과하지 못하도록, 투명 주변 부분(2404) 및 불투명 중심 부분(2406)을 갖도록 동적으로 구성된 투명 디스플레이(2402)를 포함할 수 있다. 진단된 중심 시야 비정상(2306)을 갖는 환자의 경우, 전술한 동적 구성은, 이러한 환자들이 그들의 온전한 주변 시야를 이용하여 환경의 실제의 교정되지 않은 뷰를 볼 수 있게 하고 불투명 중심 부분(2406) 상에서는 중심 영역의 교정된 표현이 제공되게 할 수 있다.
또 다른 이용 사례에서, 도 24b와 관련하여, 착용형 디바이스(2400)는, 사용자 환경으로부터의 광이 투명 중심 부분(2416)을 직접 통과할 수 있고 불투명 주변 부분(2414)을 통과하지 못하도록, 불투명 주변 부분(2414) 및 투명 중심 부분(2416)을 갖도록 동적으로 구성된 투명 디스플레이(2402)를 포함할 수 있다. 주변 시야 비정상을 갖는 환자들의 경우, 전술한 동적 구성은, 이들 환자들이 그들의 온전한 중심 시야를 이용하여 환경의 실제의 교정되지 않은 뷰를 볼 수 있게 하고 불투명 주변 부분(2414) 상에서는 주변 영역의 교정된 표현이 프리젠팅되게 할 수 있다. 전술한 이용 사례들 각각에서, 도 24a 및 도 24b와 관련하여, 투명 디스플레이 부분들(2404, 2416) 또는 불투명 디스플레이 부분들(2406, 2414)의 하나 이상의 위치, 형상, 크기, 투명도, 또는 기타의 양태가, 착용형 디바이스(2400)(또는 시스템(100)의 기타의 컴포넌트)에 의해 모니터링되는 사용자의 하나 이상의 눈과 관련된 변경들에 기초하여 자동으로 조정될 수 있다. 추가로 또는 대안으로서, 불투명 디스플레이 부분들(2406, 2414)의 하나 이상의 밝기 레벨, 콘트라스트 레벨, 선명도 레벨, 채도 레벨, 또는 기타의 양태는, 착용형 디바이스(2400)에 의해 모니터링되는 사용자의 하나 이상의 눈과 관련된 변경들에 기초하여 자동으로 조정될 수 있다. 일부 경우에, 예를 들어, 감소된 밝기를 갖는 사용자 시야의 영역들을 동적으로 수용하기 위해, 사용자의 동공 및 시선(또는 기타의 눈 특성들)이 모니터링되고 (예를 들어, 사용자 시야의 감소된 밝기 영역들에 대응하는 향상된 이미지의 부분들의 밝기 레벨을 증가시키는 것에 추가하여 또는 그 대신에) 불투명 디스플레이 부분들(2406, 2414)의 부분적 밝기 레벨들을 조정하는데 이용될 수 있다.
한 예로서, 도 24c와 관련하여, (예를 들어, 시야 평면(2432)에 의해 표현되는 바와 같이 결함 시야 부분들, 온전한 시야 부분들 등을 포함하는) 사용자의 시야의 결정에 기초하여, (예를 들어, 리맵핑된 이미지 평면(2434)에 의해 표현되는 바와 같이) 향상된 이미지가 여기서 설명된 바와 같이 생성된다. 디스플레이된 향상된 이미지가 디스플레이의 투명 영역(2440)을 통해 사용자의 환경 뷰를 증강시키도록, 향상된 이미지는 (예를 들어, 선택적 투명 스크린 평면(2416)에 의해 표현되는 바와 같은) 디스플레이의 불투명 영역(2438)에서 하나 이상의 불투명 디스플레이 부분 상에서 사용자에게 디스플레이될 수 있다.
하나의 이용 사례에서, 도 24c와 관련하여, 선택적 투명 스크린 평면(2436)은 하나 이상의 눈 추적 기술을 통해 다른 평면들(2432 및 2434)과 정렬될 수 있다. 한 예로서, (예를 들어, 착용형 디바이스(2400) 또는 다른 디바이스의) 눈 추적 시스템은 사용자의 맞춤화된 온전한 시야에 따라 적절한 이미지 투사를 보장하기 위해 사용자를 위해 캘리브레이션될 수 있다. 눈 추적 시스템은 지속적으로 응시 좌표들을 취득할 수 있다(예를 들어, 주기적으로, 스케쥴에 따라, 또는 기타의 자동화된 트리거에 따라). 좌표 변환을 수행하여 눈 움직임 구면 좌표들(θ, φ)을 디스플레이의 Cartesian 좌표들(x, y)로 변환할 수 있다. 따라서, 디바이스의 제어기는 디스플레이될 이미지들의 중심 위치를 결정할 수 있다. 카메라 이미지들은 취득된 응시 벡터 방향과 일치하도록 절삭되고 시프팅될 수 있다(예를 들어, 도 24c). 동일한 Cartesian 좌표들이 선택적 투명 스크린 제어기에 전송되어 현재 응시 방향에서 황반 시각에 대응하는 영역을 투명하게 만들고 중심 시력의 이용을 허용할 수 있다. 일부 경우에, 응시 데이터에 관해 저역 통과 필터링을 수행하여, 보통은 흔들리는 이미지들이 사용자에게 디스플레이되게 하는 미세한 눈 움직임(예를 들어, 눈들은 결코 완전히 정적이지 않기 때문에 응시시에도 발생하는 끊임없는 움직임 및 드래프팅으로 인한 미세한 눈 움직임)을 제거할 수 있다.
위에서 나타낸 바와 같이, 일부 실시예에서, 착용형 디바이스는, 스크린, 유리, 필름, 및/또는 적층된 매체 등의 모니터의 디스플레이 영역의 투명도를 선택적으로 제어하도록 구성될 수 있다. 도 23은, 황반 (중심) 대 주변 시각 조작을 이용할 수 있는, 맞춤형-현실 안경 디바이스의 이용과 검사 및 시각보정 모드를 구현하는 예시적인 프로세스(2300)를 나타낸다.
일부 예에서, 맞춤형 현실 안경 디바이스(예를 들어, 도 40a 내지 40c)는 교정된 이미지들을 가시적 장면 상에 오버레이하기 위한 투명 안경을 포함한다. 안경은, 이미지들이 디스플레이를 위해 투사될 수 있는 제어가능한 투명도를 갖는 스크린을 포함하는 모니터를 포함할 수 있다. 한 예에서, 디스플레이는 헤드업 디스플레이를 포함한다. 다양한 실시예에서, 맞춤형 현실 안경 디바이스는 안경을 통해 보이는 장면 상에 교정된 이미지들을 오버레이하기 위한 제어가능한 층들을 갖는 안경을 포함한다. 층들은, 유리, 세라믹, 중합체, 필름, 및/또는 층형 구성으로 배열된 기타의 투명 재료를 포함할 수 있다. 제어가능한 층들은, 예를 들어, 픽셀 어드레싱가능한 방식으로, 시야의 하나 이상의 부분에 대한 투명도를 조정하는 것을 허용하는 하나 이상의 전기적으로 제어되는 층을 포함할 수 있다. 한 실시예에서, (예를 들어, 전류, 장 또는 광을 통해) 개별적으로 어드레싱가능한 픽셀들 또는 셀들을 포함할 수 있다. 제어가능한 층들은, 시야의 하나 이상의 부분의 콘트라스트, 부분들에 대한 색상 필터링, 부분들의 줌인/줌아웃, 부분들에 대한 초점, 시야의 특정한 위치에서의 환경으로부터 오는 광을 차단하기 위해 이미지를 디스플레이하는 안경 디바이스 표면의 투명도를 조정하도록 제어될 수 있는 층들일 수 있다. 피험자의 시각을 증강시키기 위한 조작을 위한 시야의 일부(예를 들어, 주변 시각의 일부 또는 황반 시각의 일부, 또는, 일부는 황반이고 일부는 주변인 부분)가 있는 경우, 유리의 그 부분의 투명도가 낮아져 유리의 그 부분을 통한 환경의 뷰를 차단하고 환자가 유리의 그 부분을 따라 디스플레이되는 조작된 이미지를 더욱 명확하게 보도록 허용할 수 있다. 다양한 실시예에서, 시각 시스템 또는 맞춤형 현실 안경 디바이스는 투명도 영역들을 동적으로 제어하여 피험자가 단순히 머리 움직임보다 눈 움직임에 의해 눈을 방향지정할 때 환경을 자연스럽게 보도록 허용한다. 예를 들어, 동공 추적 데이터(예를 들어, 동공 및/또는 시선 추적)는 감소된 투명도 영역이 피험자의 눈에 대해 병진하도록 감소된 투명도를 갖는 유리 부분을 수정하는데 이용될 수 있다.
예를 들어, 맞춤형 현실 안경을 포함하는 안경 디바이스에서 유리의 투명도는 이미지 교정이 수행되는 위치(예를 들어, 중심 영역 또는 주변 영역)에 대응하는 시야의 그 부분으로부터의 광을 차단하도록 제어가능하게 조정될 수 있다. 그렇지 않으면, 피험자는 조작된 이미지를 보고 이를 통해 보고 그 영역에서의 기저의 실제 시야를 인식할 수 있다. 이러한 광 차단은, 안경 디바이스 내의 광변색성 유리 층에 의해 달성될 수 있다. 또한, 안경 디바이스는, 내향 이미지 센서들을 이용하여 눈(동공) 움직임을 측정하고, 시각 교정 프레임워크에서의 처리에 의해 이러한 움직임에 기초해 보상함으로써, 유리 투명도가 감소되는 영역의 위치를 변경할 수 있다. 한 예에서, 모니터의 디스플레이 스크린은, 전기장이 셀 내의 잉크 배열을 수정하게 하여 디스플레이의 투명도를 수정하거나 및/또는 픽셀을 생성하게 하기 위해 개별적으로 어드레싱될 수 있는 전기 잉크 기술을 포함하는 픽셀들 또는 셀들을 포함한다. 한 예시적인 구현에서, 도 40a는 프레임(4002) 및 2개의 투명 유리 어셈블리(4004)를 위해 형성된 맞춤형-현실 안경(4000)을 나타낸다. 도 40b 및 도 40c에 도시된 바와 같이, 투명 유리 어셈블리(4004)는, 완전 투명으로부터 완전 불투명으로 제어될 수 있고, 안경(4000)의 시야의 일부를 오버레이하거나 대체하기 위해 교정된 이미지를 생성할 수 있는 디지털 층들일 수 있는 전자적으로 제어가능한 내장된 교정 층들(4006)을 갖는다. 교정 층들(4006)은, 전기적 접속(4008)을 통해, 프레임(4002) 상의 이미지 처리 디바이스(4010)에 접속될 수 있다.
도 23의 프로세스(2300)를 구체적으로 참조하면, 블록 2302에서, 검사 모드 데이터가 시각 교정 프레임워크에 의해 수신될 수 있고, 블록 2304에서, 시야 왜곡들, 결함들, 수차들, 및/또는 기타의 안구 비정상들이 그들의 위치들과 함께 결정될 수 있다.
진단된 중심 시야 비정상(2306)에 대해, 블록 2308에서, 맞춤형 현실 안경 디바이스는 환경으로부터의 이미지가 유리를 통해 사용자의 주변 시야로 통과하도록 허용할 수 있다(예를 들어, 도 24a). 도시된 바와 같이, 맞춤형 현실 안경 디바이스(2400)는 다층 유리 뷰파인더(2402)를 가질 수 있다. 주변 영역(2404)은 광이 통과하도록 허용하기 위해 투명하게 설정되어, 피험자가 실제의 교정되지 않은 환경을 보는 것을 허용한다. 블록 2312에서, 환경의 중심 영역(2406)은 안경 디바이스(2400)에 의해 불투명하게 될 수 있고 중심 영역의 교정된 표현은 예를 들어 도 13, 14, 17 및 18의 교정 등의 교정들을 이용하여 사용자로의 디스플레이에 의해 프리젠팅될 수 있다.
진단된 주변 시야 비정상(2308)의 경우, 블록 2314에서, 환경의 중심 영역(2416)(예를 들어, 도 24b)이 안경 디바이스(2400)의 투명 부분을 통과하도록 허용되고, 교정된 주변 시각 이미지가, 예를 들어 여기서의 교정 변환들을 이용하여, 주변 영역(2414) 내에 디스플레이될 수 있도록 주변 영역(2414)의 투명도가 차단되도록 수정된다.
일부 실시예에서, 도 1a와 관련하여, 시각보정 서브시스템(124)은 사용자의 눈의 선택된 부분들 상으로의 투사를 통해 사용자의 시야의 향상을 용이화할 수 있다(예를 들어, 사용자에게 디스플레이되는 자극 세트와 관련된 피드백 또는 기타의 피드백에 기초하여). 여기서 논의되는 바와 같이, 향상된 프리젠테이션(예를 들어, 라이브 이미지 데이터로부터 파생된 수정된 이미지들)을 사용자의 눈에 투사함으로써 라이브 이미지 데이터의 향상된 프리젠테이션이 사용자에게 디스플레이될 수 있다. (예를 들어, 사용자가 스크린의 하나 이상의 부분을 씨-스루하면서 사용자가 스크린 상의 하나 이상의 다른 부분들에 디스플레이되는 수정된 라이브 이미지 데이터를 볼 수 있게 하기 위한) 스크린 상의 동적 디스플레이 부분들의 이용에 추가하여 또는 그 대안으로서, 수정된 이미지 데이터는 사용자의 눈의 하나 이상의 부분(예를 들어, 사용자의 망막의 하나 이상의 부분)에 투사될 수 있는 반면, 동시에, 수정된 이미지 데이터가 사용자의 하나 이상의 다른 부분(예를 들어, 사용자의 망막의 하나 이상의 다른 부분)에 투사되는 것을 피할 수 있다.
일부 실시예에서, 수정된 이미지 데이터는 사용자 눈의 하나 이상의 온전한 시야 부분 상에 투사될 수 있는 반면, 동시에, 사용자 눈의 하나 이상의 다른 온전한 시야 부분 상으로의 수정된 이미지 데이터의 투사를 피할 수 있다. 예를 들어, 수정된 이미지 데이터의 투사가 회피되는 다른 온전한 시야 부분들과 관련하여, 사용자 환경으로부터의 광은 사용자의 망막을 통과할 수 있음으로써(예를 들어, 투사기에 의해 방출되는 광의 어떠한 심각한 간섭 없이), 사용자가 이러한 다른 온전한 시야 부분을 통해 환경을 보는 것을 허용할 수 있다. 한편, 수정된 이미지 데이터가 투사되는 온전한 시야 부분과 관련하여, 투사된 광은 사용자의 온전한 시야의 투사받는 부분들을 통해 사용자가 환경을 보는 것을 방지한다. 그럼에도 불구하고, 수정된 라이브 이미지 데이터를 사용자 눈의 이들 온전한 시야 부분들 상에 투사함으로써, 시스템은 수정된 라이브 이미지 데이터가 사용자의 시야를 증강시키는데 이용되는 것을 허용한다(예를 들어, 사용자의 시야를 증강시키기 위한 동적 디스플레이 부분들의 이용과 유사한 방식으로).
일부 실시예에서, 시각보정 서브시스템(124)은 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하고, 모니터링에 기초하여, 투사기의 하나 이상의 투사 부분(예를 들어, 사용자의 눈에 보이는 임계량의 광을 방출하는, 레이저 다이오드들, LED 다이오드들 등을 포함하는 부분들 등)의 조정을 유발할 수 있다. 한 예로서, 스크린 상의 동적 디스플레이 부분의 조정에서와 같이, 모니터링된 변화들은, 눈 움직임, 응시 방향의 변화, 동공 크기 변화, 또는 기타의 변화들을 포함할 수 있다. 하나 이상의 위치, 형상, 크기, 밝기 레벨, 콘트라스트 레벨, 선명도 레벨, 채도 레벨, 또는 투사기의 투사 부분들 또는 기타의 부분들의 다른 양태들은 모니터링된 변화들에 기초하여 자동으로 조정될 수 있다.
한 이용 사례에서, 착용형 디바이스는, 향상된 프리젠테이션(예를 들어, 라이브 이미지 데이터에서 파생된 수정된 이미지들)을 사용자 눈의 하나 이상의 부분(예를 들어, 사용자의 온전한 시야에 대응하는 사용자의 각각의 망막의 하나 이상의 부분) 상에 선택적으로 투사하는 반면, 동시에, 수정된 이미지 데이터가 사용자 눈의 하나 이상의 다른 부분(예를 들어, 사용자의 온전한 시야에 대응하는 사용자의 각각의 망막의 하나 이상의 다른 부분) 상에 투사되는 것을 피하도록 구성된 투사기를 포함할 수 있다. 일부 경우에, 이러한 선택적 투사 평면의 정렬은 하나 이상의 눈 추적 기술(예를 들어, 스크린 상의 동적 디스플레이 부분들의 이용과 관련하여 도 24c에 설명된 것들과 유사한 하나 이상의 기술)을 통해 다른 평면들(예를 들어, 시야 평면, 리맵핑된 이미지 평면 등)과 정렬될 수 있다.
도 24a와 관련하여, 착용형 디바이스(2400)는, 사용자 환경으로부터의 광이 투명 주변 부분(2404)을 직접 통과할 수 있지만, 불투명 중심 부분(2406)을 통과하지 못하도록, 투명 주변 부분(2404) 및 불투명 중심 부분(2406)을 갖도록 동적으로 구성된 투명 디스플레이(2402)를 포함할 수 있다. 진단된 중심 시야 비정상(2306)을 갖는 환자의 경우, 전술한 동적 구성은, 이러한 환자들이 그들의 온전한 주변 시야를 이용하여 환경의 실제의 교정되지 않은 뷰를 볼 수 있게 하고 불투명 중심 부분(2406) 상에서는 중심 영역의 교정된 표현이 제공되게 할 수 있다.
또 다른 이용 사례에서, 도 24b와 관련하여, 착용형 디바이스(2400)는, 사용자 환경으로부터의 광이 투명 중심 부분(2416)을 직접 통과할 수 있고 불투명 주변 부분(2414)을 통과하지 못하도록, 불투명 주변 부분(2414) 및 투명 중심 부분(2416)을 갖도록 동적으로 구성된 투명 디스플레이(2402)를 포함할 수 있다. 주변 시야 비정상을 갖는 환자들의 경우, 전술한 동적 구성은, 이들 환자들이 그들의 온전한 중심 시야를 이용하여 환경의 실제의 교정되지 않은 뷰를 볼 수 있게 하고 불투명 주변 부분(2414) 상에서는 주변 영역의 교정된 표현이 프리젠팅되게 할 수 있다. 전술한 이용 사례들 각각에서, 도 24a 및 도 24b와 관련하여, 투명 디스플레이 부분들(2404, 2416) 또는 불투명 디스플레이 부분들(2406, 2414)의 하나 이상의 위치, 형상, 크기, 투명도, 또는 기타의 양태가, 착용형 디바이스(2400)(또는 시스템(100)의 기타의 컴포넌트)에 의해 모니터링되는 사용자의 하나 이상의 눈과 관련된 변경들에 기초하여 자동으로 조정될 수 있다. 추가로 또는 대안으로서, 불투명 디스플레이 부분들(2406, 2414)의 하나 이상의 밝기 레벨, 콘트라스트 레벨, 선명도 레벨, 채도 레벨, 또는 기타의 양태는, 착용형 디바이스(2400)에 의해 모니터링되는 사용자의 하나 이상의 눈과 관련된 변경들에 기초하여 자동으로 조정될 수 있다. 일부 경우에, 예를 들어, 감소된 밝기를 갖는 사용자 시야의 영역들을 동적으로 수용하기 위해, 사용자의 동공 및 시선(또는 기타의 눈 특성들)이 모니터링되고 (예를 들어, 사용자 시야의 감소된 밝기 영역들에 대응하는 향상된 이미지의 부분들의 밝기 레벨을 증가시키는 것에 추가하여 또는 그 대신에) 불투명 디스플레이 부분들(2406, 2414)의 부분적 밝기 레벨들을 조정하는데 이용될 수 있다.
일부 실시예에서, 검사 서브시스템(122)은 2개 이상의 사용자 인터페이스(예를 들어, 2개 이상의 디스플레이에서)를 통한 시각 검사 프리젠테이션 동안 사용자의 눈들과 관련된 하나 이상의 눈 관련 특성들을 모니터링하고, 시각 검사 프리젠테이션 동안에 발생하는 눈 관련 특성들에 기초하여 사용자의 하나 이상의 눈에 대한 시각적 결함 정보를 결정할 수 있다. 예를 들어, 검사 서브시스템(122)은 하나 이상의 자극이 사용자 인터페이스들 중 적어도 하나의 하나 이상의 위치에 프리젠팅되게 하고, 자극 프리젠테이션시에 발생하는 눈의 하나 이상의 눈 관련 특성들에 기초하여 사용자의 눈에 대한 시각적 결함 정보를 생성할 수 있다. 일부 실시예에서, 눈에 대한 편차 측정은 (자극 프리젠테이션이시에 발생하는 것으로서 모니터링에 의해 표시된) 눈 관련 특성들에 기초하여 결정될 수 있고 눈에 대한 교정들 또는 기타의 향상들을 제공하는데 이용될 수 있다. 예를 들어, 편차 측정은 다른 쪽 눈에 대한 눈의 편차를 나타낼 수 있고, 편차 측정은 복시 또는 기타의 시각적 결함을 결정하고 교정하는데 이용될 수 있다. 예를 들어, 움직임의 양은 눈 교차(예를 들어, 사시)의 양를 나타내고, 움직임의 방향(또는 축)은 사시의 유형을 나타낸다. 예를 들어, 눈의 움직임이 "밖"으로부터 "안"으로 있었다면, 사시가 밖으로 교차되고 있다는 것을 의미한다(예를 들어, 외사시). 따라서, 일부 실시예에서 착용형 디바이스를 통해 복시가 자율적으로 결정되고 교정될 수 있다.
일부 실시예에서, 검사 서브시스템(122)은, (i) 자극이 제1 눈에 대한 제1 사용자 인터페이스 상의 위치에 프리젠팅되게 하는 반면 사용자의 제2 눈에 대한 제2 사용자 인터페이스의 자극 강도는 자극 강도 임계값을 충족하지 않게 하고 (ii) 자극 프리젠테이션시에 발생하는 제1 눈의 하나 이상의 눈 관련 특성에 기초하여 시각적 결함 정보를 결정함으로써 사용자의 제1 눈에 대한 편차 측정값 또는 기타의 시각적 결함 정보를 결정할 수 있다. 한 예로서, 제1 사용자 인터페이스 상의 자극 프리젠테이션은, 자극이 제2 사용자 인터페이스 상에 프리젠팅되지 않는 동안 발생할 수 있다. 한 이용 사례에서, 제1 눈(예를 들어, 우측 눈)이 제1 사용자 인터페이스 상의 이러한 자극 프리젠테이션 직전에 바깥쪽으로 교차된다면(예를 들어, 도 25d), 제1 눈 앞에만(예를 들어, 우측 눈에만) 자극을 프리젠팅함으로써, 제1 눈은 본능적으로 자극 위치 쪽으로 이동하여 (예를 들어, 1초 미만 내에) 응시할 것인데, 그것은, 제2 눈(예를 들어, 좌측 눈)은 주시할 것이 아무 것도 없기 때문에 가졌던 지배력을 잃을 것이기 때문이다. 검사 서브시스템(122)은 제1 눈에 대한 편차 측정값을 결정하기 위해 제1 눈의 교정 움직임(및 제1 눈의 눈 관련 특성들에서의 기타 임의의 변화들)을 측정할 수 있다. 예를 들어, 이러한 자극 프리젠테이션 시에 발생하는 제1 눈의 움직임의 양은 제1 눈의 교차량에 대응할 수 있다.
일부 실시예에서, 검사 서브시스템(122)은, (i) 자극이 제1 눈에 대한 제1 사용자 인터페이스 상의 대응하는 위치에서 및 제2 눈에 대한 제2 사용자 인터페이스 상의 그 대응하는 위치에서 주어진 시간에 프리젠팅되게 하고, (ii) 자극 프리젠테이션시에 발생하는 제1 눈의 하나 이상의 눈 관련 특성에 기초하여 시각적 결함 정보를 결정함으로써, 사용자의 제1 눈에 대한 편차 측정값 또는 기타의 시각적 결함 정보를 결정할 수 있다. 예를 들어, 타겟 자극은 양쪽 사용자 인터페이스 상의 중심 위치 또는 양쪽 사용자 인터페이스 상의 또 다른 대응하는 위치에 프리젠팅될 수 있다. 한 이용 사례에서, 양쪽 눈 앞에서 자극을 프리젠팅할 때(예를 들어, 도 25b), 우세한 눈(예를 들어, 도 25b의 좌측 눈)은 본능적으로 대응하는 위치로 이동하고 타겟 자극을 (예를 들어, 1초 이내) 응시할 것이다. 다른 쪽 눈(예를 들어, 도 25b의 우측 눈)도 움직이지만, 다른 눈이 바깥쪽으로 교차되기 때문에 본능적으로 타겟 자극을 응시하지 않을 것이고, 이에 의해 사용자가 이중으로 보게 된다. 예를 들어, 다른 눈은 본능적으로 움직이는 동안, 그 본능적 움직임은 다른 눈의 응시 방향이 상이한 위치쪽으로 향하게 할 것이다. 그러나, 사용자가 다른 눈으로 타겟 자극을 주시하는데 초점을 맞추면, 다른 눈은, 다른 눈의 사용자 인터페이스 상의 대응하는 위치에서 프리젠팅된 타겟 자극 쪽으로 움직여 응시할 것이다. 타겟 자극이 양쪽 사용자 인터페이스 상의 대응하는 위치에 프리젠팅되기 때문에, 우세한 눈은 우세한 상태를 유지하고 우세한 눈의 사용자 인터페이스 상의 대응하는 위치에 프리젠팅된 타겟 자극을 계속 응시한다. 검사 서브시스템(122)은 다른 눈에 대한 편차 측정값(예를 들어, 다른 눈의 움직임의 양은 다른 눈의 교차량에 대응할 수 있음)을 결정하기 위해 다른 눈의 교정 움직임(및 다른 눈의 눈 관련 특성들에서의 기타의 변화들)을 측정할 수 있습니다.
일부 실시예에서, 제1 눈의 눈 관련 특성들(예를 들어, 제1 눈에 대한 제1 사용자 인터페이스 상의 대응하는 위치에서의 자극의 프리젠테이션시에 발생하는 제1 눈의 움직임)에서의 변화들을 측정함으로써 사용자의 제1 눈에 대한 편차 측정값 또는 기타의 시각적 결함 정보를 획득한 후, 검사 서브시스템은 제1 눈 디스플레이를 위한 제1 사용자 인터페이스 상의 수정된 위치에서 자극이 프리젠팅되게 할 수 있다. 예를 들어, 수정된 위치에서의 자극 프리젠테이션은, 제2 눈에 대한 제2 사용자 인터페이스 상에 자극이 프리젠팅되지 않는 동안 발생한다(또는 적어도 제2 사용자 인터페이스의 자극 강도가 자극 강도 임계값을 충족하지 않아, 제2 눈은 제2 사용자 인터페이스 상의 어떠한 자극에도 반응하지 않는 동안). 제1 눈 또는 제2 눈의 하나 이상의 눈 관련 특성들이 수정된 위치에서의 프리젠테이션시에 변화 임계값 이상으로 변하지 않는 것에 기초하여, 검사 서브시스템(122)은 제1 눈에 대한 편차 측정값 또는 기타의 시각적 결함 정보를 확인할 수 있다. 한 예로서, 제1 눈에 대한 편차 측정값은 수정된 위치에서의 자극의 프리젠테이션시에 제1 눈이 움직임 임계값(예를 들어, 움직임 없음 또는 기타의 움직임 임계값)을 넘어 움직이지 않는 것에 기초하여 확인될 수 있다. 추가로 또는 대안으로서, 제1 눈에 대한 편차 측정값은 제2 눈이 움직임 임계값을 넘어 움직이지 않는 것에 기초하여 확인될 수 있다.
일부 실시예에서, 검사 서브시스템(122)은, (예를 들어, 하나 이상의 시각 검사 프리젠테이션을 통해 획득되는) 사용자의 하나 이상의 눈에 대한 하나 이상의 편차 측정값 또는 기타의 시각적 결함 정보에 기초하여 사용자와 연관된 하나 이상의 수정 프로파일을 생성할 수 있다. 한 예로서, 수정 프로파일들 각각은 라이브 이미지 데이터로부터 향상된 이미지를 생성하는데 이용되는 수정 파라미터들 또는 기능들(예를 들어, 라이브 이미지 데이터를 향상된 이미지로 변환하거나 수정하는데 이용되는 파라미터들 또는 기능들)을 포함할 수 있다. 따라서, 일부 실시예에서, 시각보정 서브시스템(124)은, (i) 사용자의 환경을 나타내는 비디오 스트림 데이터, 및 (ii) 사용자와 연관된 수정 프로파일들에 기초하여, 사용자에게 디스플레이될 수정된 비디오 스트림 데이터를 생성할 수 있다.
한 예로서, 사용자의 눈의 편차가 존재하는지 여부를 결정하거나, 사용자의 눈의 편차를 측정하거나, 사용자의 눈에 대한 하나 이상의 수정 프로파일을 생성하기 위해 시각 검사가 수행될 수 있다. 한 이용 사례에서, 도 25a와 관련하여, 타겟 자극(2502)이 착용형 디바이스의 우측 및 좌측 디스플레이(2503a 및 2503b) 상의 중심 위치에서 환자(예를 들어, 교차된 눈들이 아닌 환자)에게 프리젠팅될 때, 양쪽 눈(예를 들어, 우측 및 좌측 눈(2504a 및 2504b))은 각각의 착용형 디스플레이의 중심 위치에 있는 타겟 자극(2502)에 본능적으로 이동하고 응시할 것이며, 따라서 환자는 하나의 타겟 자극(2502)만을 보게 된다. 따라서, 전술한 눈 반응들에 기초하여, 검사 서브시스템(122)은 사용자가 복시를 갖고 있지 않다고 결정할 수 있다.
또 다른 이용 사례에서, 도 25b와 관련하여, 타겟 자극(2502)이 착용형 디바이스의 우측 및 좌측 디스플레이의 중심 위치에서 교차된 눈들을 가진 환자에게 프리젠팅될 때, 눈들 중 하나(예를 들어, 우세한 눈)는 본능적으로 중심 위치로 이동하고 타겟 자극(2502)을 응시할 것이다(예를 들어, 좌측 눈(2504b)이 타겟 자극(2502)을 본능적으로 응시함). 다른 눈(예를 들어, 우측 눈(2504a))도 역시 움직일 것이지만, 다른 눈은 바깥으로 교차되기 때문에 타겟 자극(2502)을 응시하지 않음으로써, 사용자가 이중으로 보게 한다(예를 들어, 사용자는 하나 대신에 2개의 타겟 자극을 본다). 예를 들어, 다른 눈은 본능적으로 움직이는 동안, 그 본능적 움직임은 다른 눈의 응시 방향이 상이한 위치쪽으로 향하게 할 것이다. 전술한 눈 반응들에 기초하여, 검사 서브시스템(122)은 사용자가 복시를 갖고 있다고 결정할 수 있다. 그러나, 추가 이용 사례에서 사용자가 사용자의 다른 눈(예를 들어, 교차된 우측 눈(2504a))으로 타겟 자극(2502)을 주시하는데 초점을 맞추면, 다른 눈의 사용자 인터페이스 상의 중심 위치에 프리젠팅된 타겟 자극(2502)으로 이동하여 응시할 것이다. 타겟 자극(2502)이 양쪽 디스플레이(2503a 및 2503b) 상의 중심 위치에 프리젠팅되기 때문에, 우세한 눈은 우세한 상태를 유지하고 우세한 눈의 디스플레이의 중심 위치에서 프리젠팅된 타겟 자극(2502)을 계속 응시할 것이다. 다른 눈의 교정된 움직임(및 다른 눈의 눈 관련 특성들의 기타의 변화들)은 다른 눈에 대한 편차 측정값을 결정하기 위해 측정될 수 있다(예를 들어, 다른 눈의 움직임의 양은 다른 눈의 교차량에 대응할 수 있음).
또 다른 이용 사례에서, 도 25c와 관련하여, 시간 t1에서, 자극(예를 들어, 타겟 자극(2502))은, 좌측 디스플레이(2503b) 상에 자극을 프리젠팅하고 우측 디스플레이(2503a) 상에서는 자극을 프리젠팅하지 않음으로써 좌측 눈(2504b)에만 중심 위치에서 프리젠팅될 수 있다. 예를 들어, 좌측 눈(2504b)에만 자극을 프리젠팅하기 직전에 도 25b에 도시된 바와 같이 양쪽 눈(2504a 및 2504b)의 중심 위치에 자극이 프리젠팅된다면(예를 들어, 시간 t1에서의 자극 프리젠테이션 직전의 시간 t0에서), 좌측 눈(2504b)이 이미 중심 위치를 응시하고 있기 때문에 좌측 눈(2504b)은 움직이지 않을 것이다. 그러나, 좌측 눈(2504b)이 이미 중심 위치를 응시하고 있지 않다면, 좌측 눈(2504b)에만 자극을 프리젠팅하는 것은, 좌측 눈(2504b)이 본능적으로 중심 위치로 이동하여 타겟 자극(2502)을 응시하게 할 것이다.
도 25d에 나타낸 바와 같이, 우측 디스플레이(2503a) 상에 자극을 프리젠팅하고 좌측 디스플레이(2503b) 상에서는 자극을 프리젠팅하지 않음으로써, 자극(예를 들어, 타겟 자극(2502))은 우측 눈(2504a)에만 중심 위치에서 프리젠팅될 수 있다(예를 들어, 시간 t2에서). 좌측 눈(2504b)이 자극되지 않기 때문에(예를 들어, 주시할 것이 아무것도 없음), 좌측 눈(2504b)은 우세를 잃고 그에 따라 우측 눈(2504a)이 인계받은 결과로서 바깥쪽으로 이동할 것이다. 타겟 자극(2502)을 우측 눈(2504a)에만 프리젠팅할 때, 우측 눈(2504a)이 본능적으로 인계받아 이동하여 중심 위치를 응시할 것이다. 검사 서브시스템(122)은 우측 눈(2504a)의 움직임을 측정하여 우측 눈(2504a)에 대한 편차 측정을 결정할 수 있다(예를 들어, 움직임의 양은 우측 눈(2504a)의 교차량에 대응할 수 있다).
도 25e에 나타낸 바와 같이, 좌측 디스플레이(2503b) 및 우측 디스플레이(2503a) 상에 자극을 프리젠팅함으로써 자극(예를 들어, 타겟 자극(2502))이 양쪽 눈(2504a 및 2504b)에 중심 위치에서 프리젠팅될 수 있다(예를 들어, 시간 t3에서) . 교차가 교대하는 경우(어느 쪽 눈도 우세하지 않음), 우측 눈(2504a)은 중심 위치를 응시하는 상태를 유지하고 좌측 눈(2504b)은 교차 상태를 유지한다. 그러나, (도 25e에 나타낸 바와 같이) 좌측 눈(2504b)이 우세한 눈이면, 좌측 눈(2504b)은 본능적으로 이동하여 중심 위치를 응시할 것이다. 좌측 눈(2504b)의 움직임은 우측 눈(2504a)이 교차되게 하고, 결과적으로 우측 눈(2504a)의 응시 방향은 상이한 위치를 향하게 된다. 검사 서브시스템(122)은 우측 눈(2504a)에 대한 편차 측정값을 결정하거나 확인하기 위해 좌측 눈(2504b)의 움직임을 측정할 수 있다(예를 들어, 좌측 눈(2504b)의 움직임의 양은 우측 눈(2504a)의 편차의 양에 대응할 수 있음).
추가 이용 사례에서, 비우세 눈에 대한 편차 측정을 확인하기 위해 추가 검사가 수행될 수 있다. 예를 들어, 도 25f에 나타낸 바와 같이, 도 25b 내지 도 25e와 관련하여 설명된 전술한 단계들 중 하나 이상에 후속하여, 좌측 디스플레이(2503b) 상에 자극을 프리젠팅하고 우측 디스플레이(2503a) 상에서는 자극을 프리젠팅하지 않음으로써 자극(예를 들어, 타겟 자극(2502))이 중심 위치에서 좌측 눈(2504b)에만 프리젠팅될 수 있다(예를 들어, 시간 t4에서). (예를 들어, 도 25e에서의 프리젠테이션으로 인해) 좌측 눈(2504b)이 응시를 상실한 정도까지, 도 25f에서의 프리젠테이션은 좌측 눈(2504b)이 중심 위치에 관한 응시를 얻도록 본능적으로 이동하게 할 것이다. 좌측 눈(2504b)의 움직임은 우측 눈(2504a)이 교차되게 하고, 결과적으로 우측 눈(2504a)의 응시 방향은 상이한 위치를 향하게 된다. 도 25g에 나타낸 바와 같이, 우측 눈(2504a)에 대한 편차 측정값에 기초하여, 우측 눈(2504a)에 자극을 프리젠팅하기 위해 수정된 위치가 결정될 수 있다. 따라서, 타겟 자극(2502)이 좌측 디스플레이(2503b) 상의 중심 위치에서 프리젠팅되는 동안, 타겟 자극(2502)은 우측 디스플레이(2503a) 상의 수정된 위치에서 프리젠팅될 수 있다(예를 들어, 시간 t5에서).
후속해서, 도 25h와 관련하여, 타겟 자극(2502)은, 우측 디스플레이(2503a) 상의 수정된 위치에서 타겟 자극(2502)을 프리젠팅하고 좌측 디스플레이(2503b) 상에서는 자극을 프리젠팅하지 않음으로써 우측 눈(2504a)에만 프리젠팅될 수 있다(예를 들어, 시간 t6에서). 구체적으로, 예를 들어, 타겟 자극(2502)은 도 25b 내지 도 25e와 관련하여 설명된 전술한 단계들 중 하나 이상에서 측정된 편차와 동일한 양만큼 우측으로 편향되었다. 편차 측정이 정확하다면, 우측 눈(2504a)은 움직이지 않을 것이다. 편차 측정이 정확하지 않다면, 우측 눈(2504a)이 약간 움직일 것이고, 움직임의 양은 착용형 디바이스(예를 들어, 착용형 디바이스의 동공 추적기)에 의해 측정될 수 있고, 약간의 움직임의 측정은 편차를 정밀 튜닝하는데 이용될 수 있다. 예로서, 측정 및 수정된 위치는, 우측 눈(2504a)에 자극을 프리젠팅하기 위한 업데이트된 수정된 위치를 결정하는데 이용될 수 있고, 도 25f 내지 도 25h와 관련하여 설명된 단계들 중 하나 이상이 업데이트된 수정된 위치를 이용하여 반복될 수 있다. 추가로, 또는 대안으로서, 도 25b 내지 도 25e의 단계들 중 하나 이상은, 사용자의 하나 이상의 눈에 대한 편차 측정값을 재결정하기 위해 (예를 들어, 우측 눈(2504a)에 대한 편차 측정값을 재결정하기 위해) 반복될 수 있다. 도 25i와 관련하여, 타겟 자극(2502)은, 우측 디스플레이(2503a) 상의 수정된 위치에서 및 좌측 디스플레이(2503b) 상의 중심 위치에서 타겟 자극(2502)을 프리젠팅함으로써 양쪽 눈(2504a 및 2504b)에 프리젠팅될 수 있다(예를 들어, 시간 t7에서). 우측 눈(2504a) 앞의 타겟 자극(2502)이 (예를 들어, 전술한 단계들 중 하나 이상에서 결정되거나 확인된) 편차 측정에 따라 우측으로 편향되었기 때문에, 사용자는 더 이상 이중으로 보지 않고, 그에 따라 환자의 이중 시각에 대한 자율 교정을 제공한다.
일부 실시예에서, 사용자의 어느 눈이 편향된 눈인지를 결정하기 위해 시각 검사가 수행될 수 있다. 이러한 결정에 기초하여, 편향된 눈의 편차가 측정될 수 있고, 편차 측정은 사용자의 시각의 편차를 교정하기 위한 수정 프로파일을 생성하는데 이용될 수 있다. 예로서, 검사 서브시스템(122)은 제1 눈에 대한 제1 사용자 인터페이스 상의 제1 위치 및 제2 눈에 대한 제2 사용자 인터페이스 상의 상기 제1 위치에서 주어진 시간에 자극이 프리젠팅되게 할 수 있다. 검사 서브시스템(122)은 제1 사용자 인터페이스 상의 자극의 자극 프리젠테이션시에 제1 위치에 관한 제1 눈의 응시 부족을 검출할 수 있다. 제1 눈의 응시 부족의 검출에 기초하여, 검사 서브시스템(122)은 사용자의 제1 눈을 편향된 눈인 것으로 결정할 수 있다. 한 예로서, 도 25b와 관련하여, 타겟 자극(2502)이 착용형 디바이스의 우측 및 좌측 디스플레이의 중심 위치에서 교차된 눈들을 가진 환자에게 프리젠팅될 때, 눈들 중 하나(예를 들어, 우세한 눈)는 본능적으로 중심 위치로 이동하고 타겟 자극(2502)을 응시할 것이다(예를 들어, 좌측 눈(2504b)이 타겟 자극(2502)을 본능적으로 응시함). 다른 눈(예를 들어, 우측 눈(2504a))도 역시 움직일 것이지만, 다른 눈은 바깥으로 교차되기 때문에 타겟 자극(2502)을 응시하지 않음으로써, 사용자가 이중으로 보게 한다(예를 들어, 사용자는 하나 대신에 2개의 타겟 자극을 본다). 이 검출된 응시 부족에 기초하여, 다른 눈은 편향된 눈인 것으로 결정될 수 있다.
일부 실시예에서, 시각 검사는, 각각의 응시 방향에서 복시가 얼마나 많은지를 검출하기 위해 눈이 상이한 응시 방향들을 주시하고 있는 동안 수행될 수 있다. 이러한 방식으로 특정한 유형의 사시(예를 들어, 불일치 사시(incomitant strabismus))에 대한 진단 및 교정이 수행될 수 있다. 예를 들어, 눈의 근육이 마비된 환자는, 눈이 그 근육의 작용의 방향을 향해 주시하고 있을 때 양쪽 눈들 사이의 편차(사시의 각도)가 더 커진다. 예를 들어, 좌측 눈을 바깥쪽으로 가져가는 근육이 마비되면, 좌측 눈이 안쪽을 주시하게 될 것이다(내사시라고도 함). 좌측 눈이 바깥쪽을 보려고 시도하면, 내사시 정도가 더 커질 것이다. 이 현상은 마비 사시에서 발생한다. 상이한 시야 영역들에서 자극이 프리젠팅되는 동안 정량화 검사를 반복함으로써, 착용형 디바이스(또는 착용형 디바이스와 관련된 기타의 컴포넌트들)는 편차 각도를 정확하게 측정할 수 있다. 또한, 응시의 상이한 방향들에서의 편차의 정도를 아는 것은, 복시의 동적 교정을 가능케할 수 있다. 이러한 시각 검사 프리젠테이션이 착용형 디바이스를 통해 제공될 때, 및 착용형 디바이스의 동공 추적기가 특정한 응시의 눈을 검출할 때, 착용형 디바이스는 그 응시에 대응하는 이미지 변위를 제공할 수 있다.
일부 실시예에서, 이러한 검사들은 환자가 먼 거리의 물체와 가까운 물체를 바라보는 동안 이루어질 수 있다. 일부 실시예에서, 착용형 디바이스는 이리저리 움직이는 자극을 프리젠팅함으로써 외안근(extraocular muscle)의 움직임의 범위를 자동으로 검사할 수 있다. 환자가 자신의 눈들로 이를 따라가면, 착용형 디바이스(또는 착용형 디바이스와 관련된 기타의 컴포넌트들)는 움직임의 범위를 측정하고 그 움직임 측정의 범위에 기초하여 사용자의 복시에 관한 정보를 결정한다.
따라서, 일부 실시예에서, 동적 시각적 결함들(예를 들어, 복시 또는 다른 시각적 결함들)을 교정하기 위해 사용자를 위해 복수의 수정 프로파일이 생성될 수 있다. 한 예로서, 사용자와 연관된 제1 수정 프로파일은, 제2 눈의 응시 방향이 제1 위치로 향하는 것에 반응하여 사용자의 제1 눈에 대한 이미지를 수정하기 위해 적용될 하나 이상의 수정 파라미터를 포함할 수 있고, 제2 눈은 제1 비틀림(예를 들어, 제1 비틀림 각도) 또는 제2 눈의 기타의 특성을 갖는다. 사용자와 연관된 제2 수정 프로파일은, 제2 눈의 응시 방향이 제2 위치를 향하는 것에 반응하여 제1 눈에 대한 이미지를 수정하기 위해 적용되는 하나 이상의 수정 파라미터를 포함할 수 있고, 제2 눈은 제2 비틀림(예를 들어, 제2 비틀림 각도) 또는 제2 눈의 기타의 특성을 갖는다. 사용자와 연관된 제3 수정 프로파일은, 제2 눈의 응시 방향이 제3 위치를 향하는 것에 반응하여 제1 눈에 대한 이미지를 수정하기 위해 적용될 하나 이상의 수정 파라미터를 포함할 수 있고, 제2 눈은 제3 비틀림(예를 들어, 제3 비틀림 각도) 또는 제2 눈의 기타의 특성 등을 갖는다. 하나의 이용 사례에서, 도 25b 내지 도 25h와 관련하여 설명된 단계들 중 하나 이상은, (중심 위치에 추가하여 또는 그 대안으로서) 하나 이상의 다른 위치에 대해 반복되어 사용자에 대한 복수의 수정 프로파일을 생성할 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 사용자의 하나 이상의 눈의 하나 이상의 눈 관련 특성을 모니터링할 수 있고, (i) 사용자의 환경을 나타내는 비디오 스트림 데이터, (ii) 모니터링된 눈 관련 특성들, 및 (iii) 사용자와 연관된 수정 프로파일들에 기초하여, 사용자에게 디스플레이될 수정된 비디오 스트림 데이터를 생성할 수 있다. 한 예로서, 모니터링이 제2 눈의 응시 방향이 제1 위치를 향한다는 것을 나타낸다면, 제1 수정 프로파일(예를 들어, 그 수정 파라미터들)은, 비디오 스트림 데이터를 수정하여 사용자의 제1 눈에 디스플레이될 수정된 비디오 스트림 데이터를 생성하는데 이용될 수 있다. 또 다른 예로서, 모니터링이 제2 눈의 응시 방향이 제2 위치를 향하고 있다는 것을 나타낸다면, 제2 수정 프로파일(예를 들어, 그 수정 파라미터들)은 비디오 스트림 데이터를 수정하여 사용자의 제1 눈에 대한 수정된 비디오 스트림 데이터를 생성하는 등에 이용될 수 있다. 이러한 방식으로, 예를 들어, 전술한 내용은 복시의 전형적으로 동적인 성질(예를 들어, 복시는 하나 이상의 응시에 대해 증가하거나 감소함)을 감안한다. 예를 들어, 사용자가 사용자의 우측 동공을 사용자의 코로부터 멀리(예를 들어, 사용자 얼굴의 가장자리 쪽으로) 이동시키는데 문제를 갖고 있다면, 사용자의 복시는, 사용자가 우측을 주시하고 있을 때는 증가할 수 있고 사용자가 좌측을 주시하고 있을 때는 감소할 수 있다. 따라서, 사용자의 실시간 눈 관련 특성들 특유의 적절한 수정 프로파일을 라이브 비디오 스트림 데이터에 적용함으로써, 사용자의 동공, 사용자의 시선, 또는 기타의 눈 관련 특성들이 모니터링되어 적절한 교정을 제공할 수 있다.
일부 실시예에서, 시각 검사는 사용자의 양안 시각을 평가하기 위해 수행될 수 있다. 일부 실시예에서, 착용형 디바이스는 양안 시각 검사를 수행하는데 이용될 수 있다. 한 예로서, 하나 이상의 자극은 사용자의 눈에 대한 각각의 착용형 디바이스 디스플레이의 사용자 인터페이스 상에 프리젠팅될 수 있고, 여기서, 하나의 사용자 인터페이스 상에 프리젠팅된 자극의 수 또는 유형은 다른 사용자 인터페이스 상에 프리젠팅된 자극의 수 또는 유형과는 상이하다(예를 들어, 각각의 사용자 인터페이스 상의 상이한 수의 자극, 하나의 사용자 인터페이스 상의 적어도 하나의 자극은, 다른 사용자 인터페이스의 자극들과는 상이한 색상 및 패턴을 가지는 등등이다). 대안으로서, 일부 시나리오에서, 양쪽 사용자 인터페이스 상에 프리젠팅되는 자극의 수 또는 유형은 동일하다. 검사 서브시스템(122)은, 사용자가 보는 자극의 수 또는 유형의 사용자 표시에 기초하여 사용자가 복시를 가지고 있는지를 결정할 수 있다.
한 이용 사례에서, 도 25j와 관련하여, 양안 시각 검사는, 사용자가 디스플레이들(2522a 및 2522b)을 갖는 착용형 디바이스를 착용하는 것(또는 다른 디바이스를 통해 이러한 디스플레이들(2522a 및 2522b)을 보는 것)을 수반할 수 있고, 여기서 각각의 디스플레이(2522)는 하나 이상의 자극을 프리젠팅하도록 구성되고, 다른 것은 사용자의 각각의 눈에 다른 프리젠테이션들을 제공한다. 한 예로서, 자극들(2524a 및 2524b)(예를 들어, 녹색 점들)은 디스플레이(2522a) 상에서 사용자의 한 눈에 프리젠팅될 수 있고, 자극들(2526a, 2526b, 및 2526c)(예를 들어, 적색 점들)은 디스플레이(2522b) 상에서 사용자의 다른 눈에 프리젠팅될 수 있다. 도 25k와 관련하여, 검사 서브시스템(122)은, 사용자가 4개의 점을 본다는 사용자 표시에 기초하여 사용자가 양안 단시를 보고 있다고(따라서 복시를 갖고 있지 않다고) 결정할 수 있다. 추가로 또는 대안으로서, 검사 서브시스템(122)은, 사용자가 하나의 녹색 점(예를 들어, 자극 2524a), 2개의 적색 점(예를 들어, 자극 2526a 및 2526c), 및 하나의 혼합된 색상 점(예를 들어, 자극들(2524b 및 2526b)의 조합으로부터의 혼합된 자극 2528)을 보고 있다는 사용자 표시에 기초하여 사용자가 양안 단시를 보고 있다고 결정하거나 확인할 수 있다. 한편, 도 25l과 관련하여, 검사 서브시스템(122)은 사용자가 5개의 점을 본다는 사용자 표시에 기초하여 사용자가 복시(예를 들어, 복시증)를 갖는다고 결정할 수 있다. 추가로 또는 대안으로서, 검사 서브시스템(122)은 사용자가 2개의 녹색 점(예를 들어, 자극들 2524a 및 2524b) 및 3개의 적색 점(예를 들어, 자극 2526a, 2526b 및 2526c)을 보고 있다는 사용자 표시에 기초하여 사용자가 복시를 가지고 있다고 결정하거나 확인할 수 있다.
일부 실시예에서, 검사 서브시스템(122)은 2개 이상의 사용자 인터페이스를 통한(예를 들어, 2개 이상의 디스플레이 상에서의) 시각 검사 프리젠테이션 동안 사용자의 눈과 관련된 하나 이상의 눈 관련 특성을 모니터링하고, 시각 검사 프리젠테이션 동안 발생하는 눈 관련 특성에 기초하여 사용자가 복시 여부를 자율적 방식으로 결정할 수 있다. 일부 실시예에서, 검사 서브시스템(122)은 (예를 들어, 여기서 설명된 바와 같이 하나 이상의 눈의 편차를 측정함으로써) 이러한 눈 관련 특성에 기초하여 사용자의 복시 범위를 결정할 수 있고, 복시를 자율적 방식으로 교정하기 위해 하나 이상의 수정 프로파일을 생성할 수 있다. 예로서, 착용형 디바이스는, 사용자의 하나 이상의 눈의 응시 방향 또는 기타의 눈 관련 특성들을 검출하기 위해 동공 및 시선 추적기를 포함할 수 있다. 응시 방향(또는 다른 눈 관련 특성들)에 기초하여, 검사 서브시스템(122)은 사용자가 응시한 포인트 수를 결정할 수 있다(예를 들어, 사용자가 프리젠팅된 자극들에 대응하는 위치들을 응시했는지를 알기 위해 검출된 응시 방향을 이용함으로써). 한 이용 사례에서, 도 25j와 관련하여, 사용자가 4개의 포인트(예를 들어, 도 25k에 도시된 자극들 2524a, 2526a, 2526c, 및 2528에 대응하는 포인트들)를 응시한 것으로 결정되면, 검사 서브시스템(122)은 사용자는 복시를 갖고 있지 않다고 결정할 수 있다. 사용자가 5개의 포인트(예를 들어, 도 25l에 도시된 자극들 2524a, 2524b, 2526a, 2526b, 및 2526c에 대응하는 포인트들)를 응시한 것으로 결정되면, 검사 서브시스템(122)은 사용자가 복시를 갖는다고 결정할 수 있다.
추가 예로서, 사용자가 (예를 들어, 프리젠팅된 자극들 또는 그들 각각의 디스플레이 위치들에 대응하는) 특정한 포인트를 응시했다는 결정에 반응하여, 검사 서브시스템(122)은 대응하는 자극들의 영향을 완화하고 사용자가 보는 자극수의 카운트를 증가시킬 수 있다. 한 예로서, 대응하는 자극이, 영향을 감소시키기 위해 시각 검사 프리젠테이션으로부터 제거되거나(예를 들어, 대응하는 자극들이 사라지고 나머지 자극들이 계속 프리젠팅될 수 있음) 수정될 수 있다(예를 들어, 자극의 밝기 또는 기타의 강도 레벨을 감소시킴으로써). 또 다른 예로서, 다른 자극들이 그 영향을 증가시키도록 (예를 들어, 다른 자극의 밝기 또는 기타의 강도 레벨을 증가시킴으로써) 수정될 수 있고, 이로써 대응하는 자극의 상대적인 영향을 감소시킨다. 따라서, 사용자의 눈들은 본능적으로 나머지 자극들에 대응하는 하나 이상의 포인트로 이동하여 응시할 것이다. 도 25k와 관련하여, 예를 들어, (혼합 자극(2528)으로 표현된) 자극들(2524b 및 2526b)은 사용자의 눈이 자극들(2524b 및 2526b)에 대응하는 위치들을 응시할 때 제거될 것이다. 반면, 도 25l(사용자가 복시를 갖고 있는 경우)과 관련하여, 자극들(2524b 및 2526b)은, 사용자가 자극들(2524b 또는 2526b)을 주시하고 있을 때 사용자는 동일한 상대적 위치를 응시하지 않을 것이므로 2개의 상이한 시간에서 제거될 것이다. 검사 서브시스템(122)은 대응하는 포인트들에 대한 사용자의 응시들 각각에 반응하여 자극들을 계속 제거하고 (사용자가 보는 자극의 수의) 카운트를 증가시킬 수 있다. 모든 자극이 제거되었거나 다른 임계값이 충족되었을 때, 검사 서브시스템(122)은 사용자가 보는 자극의 수를 제공할 수 있다.
일부 실시예에서, 시각 검사 프리젠테이션 동안 발생하는 눈 관련 특성들에 기초하여, 검사 서브시스템(122)은 사용자가 입체시를 가지고 있는지 또는 사용자의 입체시의 정도를 결정할 수 있다. 예로서, 검사 서브시스템(122)은 하나 이상의 자극이 하나 이상의 사용자 인터페이스 상의 하나 이상의 위치에 프리젠팅되게 하고 눈 관련 특성들에 기초하여 이러한 입체시 결정 또는 기타의 시각적 결함 정보를 자율적인 방식으로 수행할 수 있다. 한 이용 사례에서, 도 25m과 관련하여, 시각 검사 프리젠테이션은 사용자가 디스플레이들(2542a 및 2542b)을 갖는 착용형 디바이스를 착용하는 것(또는 다른 디바이스를 통해 이러한 디스플레이들(2542a 및 2542b)을 보는 것)을 수반할 수 있고, 여기서 각각의 디스플레이(2542)는 하나 이상의 자극을 프리젠팅하도록 구성되고, 다른 것은 사용자의 각각의 눈에 다른 프리젠테이션들을 제공한다.
도 25m에 도시된 바와 같이, 하나 이상의 아이콘(2544) 또는 기타의 자극들이 각각의 디스플레이(2542) 상에 프리젠팅될 수 있고, 여기서 하나 이상의 쌍의 아이콘들(2544)은 양쪽 디스플레이들(2542)의 대응하는 위치들 상에 프리젠팅되고, 적어도 한 쌍의 아이콘들(2544)은 디스플레이들(2542a 및 2542b) 상의 약간 상이한 위치들에서 프리젠팅된다. 특히, 도 25m에서, 양쪽 디스플레이들(2542) 상의 아이콘들(2544)의 배열은, (표시자(2546)에 의해 도시된 바와 같이) 디스플레이(2542b) 상의 제2 행 및 제3 행의 아이콘(2544)이 약간 위쪽 및 우측으로 시프팅된다는 점을 제외하고는 동일하다. 양안 복시 및 입체시가 없는 사용자에게는, 약간의 차이는 아이콘 쌍이 사용자에게 3차원 아이콘으로 나타나게 하고, 다른 모든 아이콘(2544)은 사용자에게 2차원 아이콘으로 나타날 것이다. 따라서, 사용자는 본능적으로 3차원 아이콘으로 이동하여 응시할 것이다. (예를 들어, 미리결정된 임계 시간 양 내에서) 개인이 3차원 아이콘을 응시했다는 결정에 기초하여, 검사 서브시스템(122)은 사용자가 입체시를 갖고 있지 않다고 결정할 수 있다. 한 예로서, 검사 서브시스템(122)은, 사용자의 하나 이상의 눈의 응시 방향이 자극 프리젠테이션시에 변경되었고, 현재, 대응하는 아이콘들(2544)이 그들의 각각의 디스플레이들(2542) 상에 프리젠팅되는 영역을 향하고 있다는 것을 검출할 수 있다.
그러나, 사용자가 입체시를 가지고 있다면, 약간의 차이는 아이콘 쌍이 사용자에게 3차원 아이콘으로 나타나게 하지 않을 수 있으며, 사용자는 아이콘 쌍이 그들 각각의 디스플레이들(2542) 상에 프리젠팅되는 대응하는 영역을 응시하지 않을 것이다. (예를 들어, 미리결정된 임계 시간 양 내에서) 이러한 응시의 부족에 기초하여, 검사 서브시스템(122)은 사용자가 입체시를 갖고 있다고 결정할 수 있다.
추가 이용 사례에서, 도 25m과 관련하여, 제2 행 및 제3 열 아이콘(2544)의 2개의 아이콘(2544) 사이의 차이의 양은 수정되어 사용자의 입체시의 정도를 결정할 수 있다. 한 예로서, 아이콘(2544)(표시자(2546)에 의해 도시된 영역의)은 디스플레이(2542b) 상의 아이콘(2544) 및 디스플레이(2542a) 상의 대응하는 아이콘(2544)의 위치 차이가 최소량이 되도록 초기에 위로 또는 우측으로 시프팅될 수 있다. 사용자가 아이콘 쌍이 프리젠팅되는 대응하는 영역을 응시하지 않으면, 디스플레이(2542b) 상의 아이콘(2544)이 다시 위로 또는 우측으로 시프팅되어 2개의 아이콘(2544)의 위치 차이가 약간 더 커질 수 있다. 위치 차이 증가는, 사용자가 대응하는 영역을 응시할 때까지 또는 위치 차이 임계값에 도달할 때까지 반복될 수 있다. 검사 서브시스템(122)은 사용자의 입체시의 정도를 측정하기 위해 위치 차이 양(또는 시프팅 동작이 수행되는 횟수)을 이용할 수 있다.
또 다른 이용 사례에서, 도 25n과 관련하여, 시각 검사 프리젠테이션 동안의 자극 프리젠테이션은 무작위로 생성된 노이즈의 형태로 제공될 수 있다. 도 25n에서, 디스플레이(2562a) 상에 프리젠팅된 자극들 및 디스플레이(2562b) 상에 프리젠팅된 자극들은, 표시자(2564)에 의해 도시된 영역 내의 블록들(예를 들어, 픽셀들)의 세트가, (디스플레이(2562a)의 동일한 블록 세트와 비교하여) 디스플레이(2562b)에서 5 단위(예를 들어, 픽셀)만큼 우측으로 시프팅된다는 것을 제외하고는 동일하다. 도 25m과 관련하여 앞의 이용 사례에서와 같이, 약간의 차이는 블록 세트가 양안 복시 및 입체시 없이 사용자에게 3차원 물체로서 나타나게(또는 그렇지 않으면 눈에 띄게)하여, 결과적으로 사용자가 빠르게 3차원 물체를 응시하게 된다. 개인이 3차원 물체를 응시했다는 결정에 기초하여, 검사 서브시스템(122)은 사용자가 입체시를 갖고 있지 않다고 결정할 수 있다. 그러나 사용자가 입체시를 갖고 있다면, 약간의 차이는 블록 세트가 사용자에게 눈에 띄게 하지 않을 수 있고, 사용자는 블록 세트가 그들 각각의 디스플레이들(2562) 상에 프리젠팅되는 대응하는 영역을 응시하지 않을 것이다. 이러한 응시의 부족에 기초하여, 검사 서브시스템(122)은 사용자가 입체시를 갖고 있다고 결정할 수 있다.
일부 실시예에서, 도 1a와 관련하여, 시각보정 서브시스템(124)은 (예를 들어, 사용자에게 디스플레이되는 자극 세트와 관련된 피드백에 기초하여) 장면의 복수의 이미지의 부분들의 조합을 통해 사용자의 시야의 증가를 용이화할 수 있다. 예를 들어, 도 26은 피험자에 대한 정상적인 양안 시각의 표현을 나타내며, 여기서, 좌측 눈(2602)과 우측 눈(2604)으로부터의 단안 이미지는 황반 중심 영역(2608)과 중심 영역(2608)을 둘러싸는 주변 시야 영역(2610)을 갖는 단일의 인지된 이미지(2606)로 결합된다. 그러나, 일부 경우에는, 피험자는 터널 시각 상태를 가질 수 있고, 여기서 주변 영역(2610)은, 도 27의 표현에 도시된 바와 같이, 피험자에게 보이지 않는다. 도시된 바와 같이, 이들 경우에 대해, 하나 이상의 물체가 시야 내에 나타나지 않아, 결과적으로, 영역(2610) 내의 물체는 피험자에 의해 보이지 않는 주변 결함(2612)이 영역(2610)에서 발생한다. 따라서, 예를 들어, 시각보정 서브시스템(124)은 피험자의 시야를 증가시키기 위해 장면의 복수의 이미지의 부분들(예를 들어, 이러한 이미지들의 공통 및 발산 영역들)을 결합할 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 장면의 복수의 이미지(예를 들어, 상이한 위치 또는 배향에서 하나 이상의 카메라를 통해 획득된 이미지들)를 획득할 수 있다. 시각보정 서브시스템(124)은 이미지들에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중의 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은 공통 영역 및 발산 영역들에 기초하여 향상된 이미지를 생성하거나 사용자에게 디스플레이할 수 있다. 한 예로서, 공통 영역 및 발산 영역들은, 공통 영역의 표현 및 발산 영역들의 표현들을 포함하는 향상된 이미지를 생성하기 위해 결합될 수 있다. 공통 영역은 서로 동일하거나 유사한 특성들을 갖는 이미지들의 각각의 부분들에 대응할 수 있고, 각각의 발산 영역은 다른 이미지들의 다른 모든 대응하는 부분들과 구별되는 이미지들 중 하나의 한 부분에 대응할 수 있다. 한 시나리오에서, 한 이미지의 한 별개의 부분은 다른 이미지들에서 표현되지 않는 장면의 일부를 포함할 수 있다. 이러한 방식으로, 예를 들어, 강화된 이미지로의 공통 영역과 발산 영역의 조합은, 각각의 이미지에 의해 제공되는 시야를 증가시키고, 향상된 이미지는 사용자의 시야를 증강시키는데 이용될 수 있다. 하나의 이용 사례에서, 공통 영역은, 각각의 이러한 이미지에 대해 도 27에 나타낸 4개의 수직 점선들 중 임의의 2개 사이의 좌측 눈(2602) 또는 우측 눈(2604)의 이미지 중 적어도 하나의 임의의 부분일 수 있다. 또 다른 이용 사례에서, 도 27과 관련하여, 발산 영역들 중 하나는 그 이미지에 대한 가장 좌측 수직 점선의 좌측에 있는 좌측 눈(2602)의 이미지의 임의의 부분일 수 있다. 발산 영역들 중 또 다른 하나는 그 이미지에 대한 최우측 수직 점선의 우측에 있는 우측 눈(2604) 이미지의 임의의 부분일 수 있다.
일부 실시예에서, 공통 영역은, 눈의 시야의 황반 영역(또는 눈의 시야의 다른 중심 영역) 또는 황반 영역 내의 한 영역에 대응하는 이미지들 중 적어도 하나의 영역이다. 일부 실시예에서, 발산 영역들 각각은 눈의 시야의 주변 영역 또는 주변 영역 내의 영역에 대응하는 이미지들 중 적어도 하나의 영역이다. 예를 들어, 도 27과 관련하여, 공통 영역은(i) 좌측 눈(2602)의 황반 영역에 대응하는 이미지의 부분 또는(ii) 우측 눈(2604)의 황반 영역에 대응하는 이미지의 부분일 수 있다(예를 들어, 이러한 부분들 양쪽 모두가 양쪽 이미지에 공통인 경우). 다른 예로서, 공통 영역은 좌측 눈(2602) 및 우측 눈(2604)의 황반 영역들 내의 공통 영역에 대응하는 이미지들의 각각의 부분들일 수 있다. 추가 예로서, 공통 영역 및 발산 영역들에 기초하여, 이미지(2606)는 황반 중심 영역(2608) 및 중심 영역(2608)을 둘러싸는 주변 시야 영역(2610)을 갖도록 생성된다.
일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 사용자의 착용형 디바이스를 통해 캡처되는) 장면의 복수의 이미지에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 시각보정 서브시스템(124)은 이미지들 중의 각각의 이미지의 시프팅을 수행할 수 있고, 시프팅의 수행에 후속하여, 공통 영역 및 발산 영역들에 기초하여 향상된 이미지를 생성할 수 있다. 일부 실시예에서, 이미지들 각각의 시프팅은, (i) 공통 영역의 크기가 수정(예를 들어, 증가 또는 감소)되거나 (ii) 발산 영역들 중 적어도 하나의 크기가 수정(예를 들어, 증가 또는 감소)되도록 수행될 수 있다. 하나의 시나리오에서, 공통 영역의 크기는 시프팅의 결과로서 증가할 수 있다. 또 다른 시나리오에서, 발산 영역들 중 적어도 하나의 크기는 시프팅의 결과로서 감소된다.
한 예로서, 도 27에서의 결함은 시프팅 이미지 교정 기술을 이용하여 교정될 수 있다. 한 이용 사례에서, 도 28과 관련하여, (예를 들어, 착용형 디바이스의) 2개의 시야 카메라들 각각은 단안 이미지(2802 및 2804)를 각각 캡처할 수 있다(예를 들어, 여기서, 각각의 단안 이미지는 약간 상이한(오프셋) 위치로부터 시각적 장면을 캡처할 때 상이함). 그 다음, 2개의 캡처된 단안 이미지(2802, 2804)는 시각 교정 프레임워크에서 서로를 향해 시프팅되어 이미지들(2802' 및 2804')이 생성된다. 도 28에 도시된 바와 같이, 각각의 이미지(2802 및 2804)에 대한 최좌측 수직 점선과 최우측 수직 점선 사이의 2개의 이미지들(2802 및 2804)의 각각의 영역(예를 들어, 공통 영역)은, 각각의 이미지(2802' 및 2804')에 대한 최좌측 수직 점선과 최우측 수직 점선 사이의 2개의 이미지들(2802' 및 2804') 사이의 각각의 영역(예를 들어, 공통 영역)보다 크다. 따라서, 공통 영역은 시프팅 후에 크기가 감소된다. 반면에, 발산 영역들은 시프팅 후에 크기가 증가했다(예를 들어, 이미지 2802에 대한 최좌측 수직 점선의 좌측 영역 대 이미지 2802'에 대한 최좌측 수직 점선의 좌측 영역, 및 이미지 2804에 대한 최우측 수직 점선의 우측 영역 대 이미지 2804'에 대한 최우측 수직 점선의 우측 영역).
추가 예로서, 이들 2개의 시프트 이미지들이 결합되어 시각적 장면의 전체 주변부를 캡처하는 양안 이미지(2806)를 생성한다. 모니터 디스플레이들을 갖는 안경 디바이스의 경우, 각각의 디스플레이는 교정된 양안 이미지(2806)를 피험자에 디스플레이할 수 있다. 일부 이용 사례에서, 예를 들어, 이 시프팅 변환을 이용하여 피험자에 대한 복시 효과를 생성하지 않고 피험자의 시야를 5%, 10%, 15%, 20%, 또는 그 이상 증가시킬 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 사용자의 착용형 디바이스를 통해 캡처되는) 장면의 복수의 이미지에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 시각보정 서브시스템(124)은 이미지의 하나 이상의 영역의 크기조정을 수행하고, 크기조정의 수행에 후속하여, 공통 영역 및 발산 영역들에 기초하여 향상된 이미지를 생성할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은, 공통 영역의 임의의 크기조정의 정도가 발산 영역들 중 적어도 하나의 임의의 크기조정의 정도와는 상이하도록, 이미지들의 하나 이상의 영역의 크기조정을 수행할 수 있다. 일부 실시예에서, 크기조정은, 향상된 이미지의 제1 영역에서 표현되는 공통 영역의 크기 변화 백분율이, 향상된 이미지의 제2 영역에서 표현되는 발산 영역들 중 적어도 하나의 크기 변화 백분율보다 크거나 작도록 수행될 수 있다. 한 예로서, 발산 영역들 중 적어도 하나의 크기에서의 백분율 변화는 0일 수 있고, 공통 영역의 크기에서의 변화 백분율은 0보다 클 수 있다. 또 다른 예로서, 발산 영역들 중 적어도 하나의 크기에서의 백분율 변화는 0보다 클 수 있고, 공통 영역의 크기에서의 백분율 변화는 0일 수 있다.
한 시나리오에서, 도 29와 관련하여, 캡처된 단안 이미지들(2902 및 2904)은 주변 영역들에서만 크기가 조정되는 반면, 황반 중심 영역(중심 20도)은 변경되지 않은 상태로 유지되어, 결과적으로 교정된 이미지들(2902', 2904')이 생성된다. 이러한 크기조정 변환은 시야를 확장하면서 중심의 시력을 유지한다. 도 29에 도시된 바와 같이, 결합된 양안경 이미지(2906)는 이전에 못 본 주변의 물체들을 포착함과 동시에 중심 황반 영역의 상세사항을 유지한다. 주변 시각은 중심 시각만큼 민감하지 않기 때문에, 주변 물체들은 크기조정 후에도 피험자가 명확하게 인식한다. 일부 이용 사례에서, 예를 들어, 피험자에 대한 복시 효과를 생성하지 않고 최대 20%까지의 이미지 크기의 축소가 수행될 수 있다. 다양한 실시예에서, 주변 영역의 크기조정은 중심 영역의 크기조정에 대해 추가적으로 또는 대안으로서 수행될 수 있다. 예를 들어, 주변 영역들은 황반 중심 영역의 크기를 유지하면서 주변 영역들의 크기들로 크기조정될 수 있다(예를 들어, 녹내장 환자의 경우). 또 다른 시나리오에서, 황반 변성이 있는 환자의 경우, 주변 시각은 온전히 유지되고(예를 들어, 크기조정 없이), 중심 영역이 크기조정되어 중심 영역의 크기를 감소시킬 수 있다. 그러면, 크기조정된 중심 영역을 포함하는 향상된 이미지(예를 들어, 양안 이미지)가 생성될 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 사용자의 착용형 디바이스를 통해 캡처되는) 장면의 복수의 이미지에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 시각보정 서브시스템(124)은, 어안 변환, 컨포멀 맵핑 변환, 또는 공통 영역에 관한 기타의 변환을 수행하고, 변환의 수행에 후속하여, 공통 영역 및 발산 영역들에 기초하여 향상된 이미지를 생성할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은, (공통 영역을 포함하는) 향상된 이미지의 영역에 관한 어안 변환, 컨포멀 맵핑 변환, 또는 기타의 변환을 수행할 수 있다.
예를 들어, 어안 변환은, 다음과 같이 이미지들의 반경방향 성분을 수정하기 위해 영역에 관해 수행될 수 있다:
또 다른 예로서, 컨포멀 맵핑 변환이 다음과 같이 이미지들의 반경방향 성분을 수정하기 위해 영역에 관해 수행될 수 있다:
일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 이미지들의 공통 및 발산 영역들에 기초하여 향상된 이미지를 생성하기 전에) 이미지에서 하나 이상의 물체를 이동시킴으로써 장면의 복수의 이미지 중 적어도 하나를 수정할 수 있다. 한 예로서, 도 30과 관련하여, 한쪽 눈에 먼 말초 결함(far peripheral defect)이 있는 환자의 경우, 결함 눈의 시야(3004) 내의 안 보이는 물체(3002)가 디지털 방식으로 시야(3004)의 중간-주변 시야 영역(3006)으로 이전될 수 있는 반면, 건강한 눈의 다른 시야(3008)는 보통은 이 영역을 커버할 것이며, 이것은 결합된 양안 이미지(3010)가 안 보이는 물체(3002)를 온전한 시야 내에 디스플레이한다는 것을 의미한다. 피험자는 이 영역에서 시각적 혼란을 느낄 수 있지만, 피험자는 움직이는 물체나 변화하는 환경에 따라 시야의 이 영역에서 정보를 분리하는 것에 적응할 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 여기서 설명된 하나 이상의 기술에 따라) 사용자의 시야의 하나 이상의 결함 시야 부분을 결정할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은 (예를 들어, 사용자의 착용형 디바이스를 통해 캡처되는) 장면의 복수의 이미지에 공통적인 영역을 결정할 수 있고, 이미지들 중의 각각의 이미지에 대해, 이미지들 중 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 한 영역을 결정할 수 있다. 시각보정 서브시스템은, 향상된 이미지의 공통 또는 발산 영역들 중 적어도 하나가 결함 시야 부분들 중 하나 이상과 중첩되지 않도록 이미지들의 공통 및 발산 영역들에 기초하여 향상된 이미지를 생성할 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 사용자의 시야의 결함 시야 부분 내의 물체를 검출하고 경보가 디스플레이되게 할 수 있다. 예를 들어, (예를 들어, 여기서 설명된 하나 이상의 기술을 통해) 사용자의 시야의 결함 시야 부분을 교정한 후, 시각보정 서브시스템(124)은 교정되지 않은 나머지 영역들을 모니터링하여, 하나 이상의 물체(예를 들어, 안전 위험들 또는 기타의 물체들)를 검출하고, 물체들, 물체들의 위치들, 물체들의 크기, 또는 물체들과 관련된 기타의 정보를 나타내는 경보(예를 들어, 시각적 또는 가청 경보들)를 생성한다. 한 이용 사례에서, 불규칙하거나 다중-영역 결함 시야를 갖는 환자의 경우, 생성된 수정 프로파일은, 취득된 시야를 환자 시야의 온전한 영역들 내에 맞추는데 있어서 여전히 최적이 아닐 수 있다. 따라서, 움직이는 동안 환자의 안전을 최대화하기 위해, 자동 비디오 추적 알고리즘들이 구현되어 결함 시야 부분들 중 하나에 있는 물체들을 검출할 수 있다. 이러한 물체들은, 움직이는 물체들(예를 들어, 움직이는 자동차) 또는 환자 시야의 결함 시야 부분들 내의 기타의 물체들을 포함할 수 있다.
일부 실시예에서, 시각보정 서브시스템(124)은 물체가 사용자와 물리적으로 접촉할 것이라는 것을 나타내는 예측을 생성하고 물리적 접촉 예측에 기초하여 경고가 디스플레이되게 할 수 있다(예를 들어, 물체와 관련된 경고가 사용자의 착용형 디바이스 상에 디스플레이된다). 일부 실시예에서, 시각보정 서브시스템(124)은, (예를 들어, 사용자의 시야의 결함 시야 부분 내에 있거나 그 내에 있을 것으로 예측되는) 물체를 검출하고, (i) 물체가 결함 시야 부분 내에 있거나 그 내에 있을 것으로 예측되는 것, (ii) 물리적 접촉 예측, 또는 (iii) 기타의 정보에 기초하여, 경보가 디스플레이되게 할 수 있다. 일부 실시예에서, 시각보정 서브시스템(124)은 물체가 하나 이상의 시각 기준을 충족시키는 적어도 하나의 시야 부분에 대응하는 (사용자에게 디스플레이되는) 향상된 이미지의 임의의 이미지 부분 외부에 있는지(또는 충분히 안에 있지 않은지)를 결정할 수 있다. 하나의 이용 사례에서, (예를 들어, 물체가 사용자와 물리적으로 접촉할 것으로 예측되는 경우에도) 물체가 사용자의 온전한 시야 부분에 대응하는 향상된 이미지의 이미지 부분 내부에(또는 충분히 안에) 있다고 결정될 때 경고가 디스플레이되지 않을 수 있다(또는 더 낮은 우선순위 경고가 디스플레이될 수 있다). 반면에, 결함 시야 부분의 물체가 사용자와 물리적으로 접촉하는 것으로 예측되고 물체가 사용자의 온전한 시야 부분의 외부에 있는(또는 충분히 안에 있지 않은) 것으로 결정되는 경우, 경고가 사용자의 착용형 디바이스에 디스플레이될 수 있다. 이러한 방식으로, 예를 들어, 사용자는 사용자의 온전한 시야 내에 들어오는 물체를 회피하기 위해 사용자 자신의 온전한 시야에 의존할 수 있음으로써, 이러한 들어오는 물체들의 회피를 위한 (예를 들어 습관 형성을 통해) 착용형 디바이스에 대한 의존 위험을 완화할 수 있다. 그러나, 다른 이용 사례들에서는, 물체가 사용자의 온전한 시야 내에 있는지에 관계없이 물체와 관련된 경고가 물리적 접촉 예측에 기초하여 디스플레이될 수 있다는 점에 유의해야 한다.
한 예로서, 도 10과 관련하여, 보상되지 않은 맹목 시야(1006)에 대해, 블록들 1012 및 1014에서, 사각 지대의 영역들 내의 또는 사각 지대의 영역들 내로 움직이는 안전 위험들을 검출하기 위해, 시야(예를 들어, 외부 카메라들 등의 외향 이미지 센서들을 통해) 시야 내의 움직이는 물체들의 (예를 들어, 내향 이미지 센서들을 이용한) 동공 추적 또는 기타의 시각 추적 비디오 추적이 이용될 수 있다. 한 이용 사례에서, 시각보정 서브시스템(124)은, 안전 위험의 위치를 (예를 들어, 검사 모드에서 측정된) 결함들을 갖는 맵핑된 시야와 비교해 안전 위험이 사각 지대 영역들에 있는 때 또는 이러한 영역들 내로 안전 위험이 움직이는 때를 검출할 수 있다.
또 다른 예로서, (예를 들어, 여기서 설명된 하나 이상의 기술을 통해) 사용자의 시야의 결함 시야 부분을 교정한 후, 시각보정 서브시스템(124)은 교정되지 않은 나머지 영역들을 모니터링하여 사용자에게 접근하는 임의의 안전 위험을 이러한 영역들로부터 (예를 들어, 실시간으로) 검출할 수 있다. 이러한 검출된 안전 위험들이 사용자와 물리적으로 접촉하거나 (사용자의 적어도 임계 거리만큼 사용자 옆을 지나가는 것과는 달리) 사용자의 임계 거리(예를 들어, 1피트, 2피트 또는 기타의 임계 거리) 이내로 예측되는 경우, 시각보정 서브시스템(124)은 검출된 안전 위험과 관련된 경보(예를 들어, 사용자가 볼 수 있는 영역 상에 디스플레이되는 시각적 경보, 가청 경보 등)를 생성할 수 있다.
한 이용 사례에서, 사용자의 착용형 디바이스의 하나 이상의 카메라로부터 취득된 비디오 신호들(예를 들어, 라이브 비디오 스트림)은 잔여 잡음 효과를 제거하기 위해 전처리되고 필터링될 것이다. 일부 경우에, 검색 영역은, 사용자의 사각 지대 또는 기타의 결함 시야 부분들(예를 들어, 하나 이상의 시각 기준을 충족하지 못하는 부분들)로 제한될 수 있다. 예를 들어, 검색 영역의 제한은, 검색 영역에서 물체들을 검출하거나 관련 경보들을 생성하거나 이러한 검출 또는 경보 생성 속도를 증가시키는데 요구되는 계산 자원의 양을 감소시킬 수 있다.
일부 경우에, 라이브 비디오 스트림으로부터의 2개의 연속 프레임들이 서로 차감되어 하나 이상의 물체의 움직임을 검출할 수 있다. 한 예로서, 움직임의 발생은 제1 델타 프레임(예를 들어, 델타 프레임 1)에 저장될 수 있고, 제1 델타 프레임은 움직이는 물체들의 시각화를 가능케하고 정적인 배경을 상쇄하는데 이용될 수 있다. 라이브 비디오 스트림으로부터의 또 다른 2개의 연속 프레임들은 서로 차감되어 제2 델타 프레임(예를 들어, 델타 프레임 2)을 생성할 수 있다. 제2 델타 프레임은 또한, 움직이는 물체들을 시각화를 가능케하고 정적 배경을 상쇄하는데 이용될 수 있다. 추가의 사례들에서, 제1과 제2 델타 프레임들 사이의 비교가 수행될 수 있다. 제1 델타 프레임과 제2 델타 프레임을 서로 차감함으로써 검출되는 바와 같이 움직이는 물체의 크기가 증가하면, 물체가 가까워지고 있다고 결정될 수 있다. 크기의 증가가 미리결정된 임계값 크기를 초과한다면, 사용자에게 경보가 내려질 것이다(예를 들어, 사용자가 볼 수 있는 영역 상에 디스플레이되는 시각적 경고, 가청 경고 등).
일부 실시예에서, 구성 서브시스템(112)은, 예측 모델들, 수정 프로파일들, (예를 들어, 사용자의 검출된 시각적 결함을 나타내는) 시각적 결함 정보, 피드백 정보(예를 들어, 사용자에게 디스플레이된 자극과 관련된 피드백 또는 기타의 피드백), 또는 기타의 정보를 하나 이상의 원격 데이터베이스(예를 들어, 클라우드)에 저장할 수 있다. 일부 실시예에서, 복수의 사용자(예를 들어, 2명 이상의 사용자, 10명 이상의 사용자, 100명 이상의 사용자, 1000명 이상의 사용자, 백만 명 이상의 사용자, 또는 다른 수의 사용자)와 연관된 피드백 정보, 시각적 결함 정보, 수정 프로파일들, 또는 기타의 정보가 하나 이상의 예측 모델을 훈련시키는데 이용될 수 있다. 훈련 중인 예측 모델이 신경망 또는 기타의 머신 학습 모델인 한 이용 사례에서, 모델 관리자 서브시스템(114)은, 머신 학습 모델에 대한 입력으로서, (i) (예를 들어, 자극 세트와, 강도 레벨들, 자극들이 디스플레이될 위치들 등의, 그들의 연관된 특성들을 나타내는) 자극 정보, 및 (ii) 머신 학습 모델이 시각적 결함 정보를 예측하게 하는 (예를 들어, 자극 세트와 관련된 피드백을 나타내는) 피드백 정보, 수정 프로파일들, 또는 기타의 출력들을 제공할 수 있다. 모델 관리자 서브시스템(114)은, 참조 정보(예를 들어, 제공된 자극들 및 피드백 정보에 관해 정확한 것으로 결정된 시각적 결함 정보 또는 수정 프로파일들)를 머신 학습 모델에 제공할 수 있다. 머신 학습 모델은 그 예측된 출력들(예를 들어, 예측된 시각적 결함 정보, 예측된 수정 프로파일들 등)을 참조 정보와 대조하여 평가하고, 예측된 출력들의 평가에 기초하여 그 구성들(예를 들어, 가중치들, 편향들, 또는 기타의 파라미터들)을 업데이트할 수 있다. 전술한 동작들은, (예를 들어, 다른 사용자들에게 디스플레이되는) 추가적인 자극 정보, 추가적인 피드백 정보(예를 들어, 다른 사용자들에게 디스플레이되는 자극들과 관련된 다른 사용자들의 피드백), 및 머신 학습 모델을 추가로 훈련시키기 위한 추가적인 참조 정보와 함께 수행될 수 있다(예를 들어, 머신 학습 모델을 훈련시키기 위해 입력 및 참조 피드백 등의 정보를 제공하여, 머신 학습 모델이 그 구성들을 추가로 업데이트할 수 있게 함으로써).
머신 학습 모델이 신경망인 또 다른 이용 사례에서, 신경망의 예측과 참조 정보 사이의 차이들을 조정하기 위해 접속 가중치들이 조정될 수 있다. 추가 이용 사례에서, 신경망의 하나 이상의 뉴런(또는 노드)은 업데이트 프로세스(예를 들어, 오류의 역전파)를 용이화하기 위해 그들 각각의 오류가 신경망을 통해 역방향으로 그들에게 전송될 것을 요구할 수 있다. 예를 들어, 접속 가중치들에 대한 업데이트들은, 순방향 전달이 완료된 후 역방향으로 전파되는 오류의 크기를 반영할 수 있다.
일부 실시예에서, 하나 이상의 예측 모델은 사용자 또는 디바이스 유형(예를 들어, 특정한 브랜드의 디바이스, 특정한 브랜드 및 모델의 디바이스, 소정 세트의 피처들을 갖는 디바이스 등)에 대해 훈련되거나 구성될 수 있고, 그 사용자 또는 디바이스 유형과 연관하여 저장될 수 있다. 예로서, 사용자 또는 디바이스 유형과 연관된 예측 모델의 인스턴스들은, 로컬로(예를 들어, 사용자 또는 다른 사용자 디바이스의 착용형 디바이스에) 및 원격으로(예를 들어, 클라우드에) 저장될 수 있고, 예측 모델의 이러한 인스턴스들은, 사용자가 임의의 사용자 디바이스 또는 클라우드에 걸쳐 예측 모델의 최신 구성에 액세스할 수 있도록, 하나 이상의 사용자 디바이스 및 클라우드에 걸쳐 자동 또는 수동으로 동기화될 수 있다. 한 이용 사례에서, 제1 사용자가 착용형 디바이스를 이용하고 있다는 것을 검출하면(예를 들어, 제1 사용자가 사용자의 계정에 로그인하거나 하나 이상의 다른 기술을 통해 식별될 때), 구성 서브시스템(112)은, 착용형 디바이스가 제1 사용자와 연관된 예측 모델의 로컬 사본에 액세스할 수 있도록, 착용형 디바이스와 통신하여 제1 사용자와 연관된 예측 모델의 최신 인스턴스를 착용형 디바이스에 전송할 수 있다. 또 다른 이용 사례에서, 제2 사용자가 동일한 착용형 디바이스를 이용하고 있는 것으로 나중에 검출되면, 구성 서브시스템(112)은, 착용형 디바이스가 제2 사용자와 연관된 예측 모델의 로컬 복사본에 액세스할 수 있도록, 착용형 디바이스와 통신하여 제2 사용자와 연관된 예측 모델의 최신 인스턴스를 착용형 디바이스에 전송할 수 있다.
일부 실시예에서, 복수의 수정 프로파일이 사용자 또는 디바이스 유형과 연관될 수 있다. 일부 실시예에서, 수정 프로파일들 각각은, 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하기 위해 주어진 정황에 대한 라이브 이미지 데이터에 적용될 수정 파라미터 또는 기능 세트를 포함할 수 있다. 한 예로서, 사용자는 각각의 눈 특성 세트(예를 들어, 응시 방향들, 동공 크기들, 윤부(limbus) 위치들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다. 추가 예로서, 사용자는, 추가로 또는 대안으로서, 각각의 환경 특성 세트(예를 들어, 환경의 밝기 레벨들, 환경의 온도들, 또는 기타의 특성들의 범위)에 대한 수정 프로파일을 가질 수 있다. 현재 검출된 눈 특성들 또는 환경 특성들에 기초하여, 수정 파라미터들 또는 기능들의 대응하는 세트가 획득되어 라이브 이미지 데이터의 향상된 프리젠테이션을 생성하는데 이용될 수 있다. 한 이용 사례에서, 제1 사용자가 착용형 디바이스를 이용하고 있다는 것을 검출하면(예를 들어, 제1 사용자가 사용자의 계정에 로그인하거나 하나 이상의 다른 기술을 통해 식별될 때), 구성 서브시스템(112)은, 착용형 디바이스가 제1 사용자와 연관된 수정 프로파일들의 로컬 사본에 액세스할 수 있도록, 착용형 디바이스와 통신하여 제1 사용자와 연관된 수정 프로파일들을 착용형 디바이스에 전송할 수 있다. 또 다른 이용 사례에서, 제2 사용자가 동일한 착용형 디바이스를 이용하고 있는 것으로 나중에 검출되면, 구성 서브시스템(112)은, 착용형 디바이스가 제2 사용자와 연관된 수정 프로파일들의 로컬 복사본에 액세스할 수 있도록, 착용형 디바이스와 통신하여 제2 사용자와 연관된 수정 프로파일들을 착용형 디바이스에 전송할 수 있다.
도 41 내지 도 43은, 위에서 상세히 설명된 바와 같이 시스템의 다양한 피처들 및 기능을 가능케하는 방법들의 처리 동작들의 예시적인 플로차트들이다. 아래에 프리젠팅된 각각의 방법의 처리 동작들은 예시를 위한 것이며 비제한적이다. 일부 실시예에서, 예를 들어, 이 방법들은, 설명되지 않은 하나 이상의 추가적인 동작에 의해, 및/또는 논의된 동작들 중 하나 이상 없이 달성될 수 있다. 추가로, 이 방법들의 처리 동작들이 예시되어 있는(및 아래에서 설명되는) 순서는 제한하려는 의도가 아니다.
일부 실시예에서, 이 방법들은, 하나 이상의 처리 디바이스(예를 들어, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 머신, 및/또는 정보를 전자적으로 처리하기 위한 기타의 메커니즘)에서 구현될 수 있다. 처리 디바이스들은, 전자적 저장 매체에 전자적으로 저장된 명령어들에 응답하여 이 방법들의 동작들의 일부 또는 전부를 실행하는 하나 이상의 디바이스를 포함할 수 있다. 처리 디바이스들은, 이 방법들의 하나 이상의 동작의 실행을 위해 특별히 설계된, 하드웨어, 펌웨어, 및/또는 소프트웨어를 통해 구성된 하나 이상의 디바이스를 포함할 수 있다.
도 41은 하나 이상의 실시예에 따른 예측 모델을 통해 사용자의 시각과 관련된 수정을 용이화하는 방법(4100)의 플로차트를 도시한다.
동작 4102에서, 시각 검사 프리젠테이션이 사용자에게 제공될 수 있다. 예를 들어, 시각 검사 프리젠테이션은 자극 세트를 포함할 수 있다. 자극 세트는, 사용자에게 디스플레이되는 가벼운 자극, 텍스트, 또는 이미지들을 포함할 수 있다. 동작 4102는 하나 이상의 실시예에 따른 검사 서브시스템(122)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4104에서, 사용자의 하나 이상의 눈의 하나 이상의 특성이 모니터링될 수 있다. 한 예로서, 시각 검사 프리젠테이션 동안 눈의 특성들이 모니터링될 수 있다. 눈 특성들은, (예를 들어, 시각 검사 프리젠테이션 동안) 응시 방향, 동공 크기, 윤부 위치, 시각적 축, 광학적 축, 또는 기타의 특성들을 포함할 수 있다. 동작 4104는 하나 이상의 실시예에 따른 검사 서브시스템(122)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4106에서, 자극 세트와 관련된 피드백이 획득될 수 있다. 한 예로서, 피드백은 시각 검사 프리젠테이션 동안 획득될 수 있고, 피드백은 사용자가 자극 세트 중의 하나 이상의 자극을 보는지 또는 어떻게 보는지를 나타낼 수 있다. 추가로 또는 대안으로서, 피드백은, 하나 이상의 자극이 디스플레이될 때 발생하는 하나 이상의 눈과 관련된 하나 이상의 특성을 포함할 수 있다. 동작 4106은 하나 이상의 실시예에 따른 검사 서브시스템(122)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4108에서, 자극 세트와 관련된 피드백이 예측 모델에 제공될 수 있다. 예를 들어, 시각 검사 프리젠테이션 동안 피드백이 예측 모델에 제공될 수 있고, 예측 모델은 피드백 및 눈 특성 정보에 기초하여 구성될 수 있다. 또 다른 예로서, 피드백에 기초하여, 예측 모델은, 이미지 데이터와 관련된 향상된 프리젠테이션을 생성하기 위해 이미지 데이터(예를 들어, 라이브 비디오 스트림)에 적용될 수정 파라미터들 또는 기능들을 제공하도록 구성될 수 있다. 동작 4108은 하나 이상의 실시예에 따른 검사 서브시스템(122)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4110에서, 비디오 스트림 데이터 및 사용자의 (예를 들어, 사용자의 현재 눈 특성들을 나타내는) 현재 눈 특성 정보가 예측 모델에 제공될 수 있다. 한 예로서, 비디오 스트림 데이터는 사용자의 착용형 디바이스의 하나 이상의 카메라를 통해 획득된 라이브 비디오 스트림일 수 있고, 라이브 비디오 스트림 및 현재 눈 특성 정보는 실시간으로 예측 모델에 제공될 수 있다. 동작 4110은 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4112에서, 예측 모델로부터 수정 파라미터들 또는 기능들의 세트가 획득될 수 있다. 한 예로서, 수정 파라미터들 또는 기능들의 세트는 예측 모델에 제공되는 비디오 스트림 및 현재 눈 특성 정보에 기초하여 예측 모델로부터 획득될 수 있다. 또 다른 예로서, 수정 파라미터들 또는 기능들의 세트는 (예를 들어, 사용자의 동적 수차들을 수용하는) 향상된 이미지를 생성하기 위해 비디오 스트림에 적용되도록 구성될 수 있다. 추가로 또는 대안으로서, 수정 파라미터들 또는 기능들의 세트는 디스플레이의 하나 이상의 디스플레이 부분을 동적으로 조정하게끔 적용되도록 구성될 수 있다. 동작 4112는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4114에서, 비디오 스트림 데이터 및 수정 파라미터들 또는 기능들의 세트에 기초하여 향상된 이미지가 사용자에게 디스플레이되도록 야기될 수 있다. 동작 4114는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
도 42는 하나 이상의 실시예에 따른 장면의 복수의 이미지의 부분들의 조합을 통해 사용자의 시야 증가를 용이화하는 방법(4200)의 플로차트를 도시한다.
동작 4202에서, 장면의 복수의 이미지가 획득될 수 있다. 한 예로서, 이미지들은, 상이한 위치들 또는 배향들에서 (예를 들어, 착용형 디바이스의) 하나 이상의 카메라를 통해 획득될 수 있다. 동작 4202는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4204에서, 이미지들에 공통적인 영역이 결정될 수 있다. 한 예로서, 공통 영역은 서로 동일하거나 유사한 특성들을 갖는 이미지들의 각각의 부분들에 대응할 수 있다. 동작 4204는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4206에서, 이미지들 중의 각각의 이미지에 대해, (이미지들 중의) 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 이미지의 영역이 결정될 수 있다. 한 예로서, 각각의 발산 영역은 다른 이미지들의 다른 모든 대응하는 부분들과 구분되는 이미지들 중 하나의 한 부분에 대응할 수 있다. 동작 4206은 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4208에서, 공통 영역 및 발산 영역들에 기초하여 향상된 이미지가 생성될 수 있다. 한 예로서, 향상된 이미지는, (i) 향상된 이미지의 제1 영역이 공통 영역의 표현을 포함하고 (ii) 향상된 이미지의 제2 영역이 발산 영역의 표현을 포함하도록 생성될 수 있다. 또 다른 예로서, 향상된 이미지는 향상된 이미지의 제2 영역이 제1 영역 주변에 있도록 생성될 수 있다. 동작 4208은 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4210에서, 향상된 이미지가 디스플레이될 수 있다. 한 예로서, 향상된 이미지는 사용자의 착용형 디바이스의 하나 이상의 디스플레이를 통해 디스플레이될 수 있다. 동작 4210은 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
도 43은 하나 이상의 실시예에 따른 하나 이상의 투명 디스플레이 상의 하나 이상의 동적 디스플레이 부분을 통해 사용자의 시야의 향상을 용이화하는 방법(4300)의 플로차트를 도시한다.
동작 4302에서, 사용자의 하나 이상의 눈과 관련된 하나 이상의 변경이 모니터링될 수 있다. 예를 들어, 눈 변화들은, 눈 움직임, 응시 방향의 변화, 동공 크기 변화, 또는 기타의 변화들을 포함할 수 있다. 동작 4302는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4304에서, 착용형 디바이스의 하나 이상의 투명 디스플레이 부분의 조정은 모니터링된 변화에 기초하여 야기될 수 있다. 한 예로서, 착용형 디바이스의 하나 이상의 투명 디스플레이 부분의 하나 이상의 위치, 형상 또는 크기는 모니터링된 변화에 기초하여 조정될 수 있다. 동작 4304는 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
동작 4306에서, (예를 들어, 라이브 이미지 데이터로부터 파생된) 향상된 이미지는 착용형 디바이스의 하나 이상의 다른 디스플레이 부분 상에 디스플레이될 수 있다. 한 예로서, 다른 디스플레이 부분 중 적어도 하나는, 향상된 이미지가 (예를 들어, 투명 디스플레이 부분들 내에서가 아니라) 투명 디스플레이 부분 주위에 디스플레이되도록, 착용형 디바이스의 투명 디스플레이 부분들 중 적어도 하나 주위에 있을 수 있다. 동작 4306은 하나 이상의 실시예에 따른 시각보정 서브시스템(124)과 동일하거나 유사한 서브시스템에 의해 수행될 수 있다.
일부 실시예에서, 도 1a에 나타낸 다양한 컴퓨터 및 서브시스템은 여기서 설명된 기능을 수행하도록 프로그래밍된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 컴퓨팅 디바이스들은, 하나 이상의 전자적 스토리지(예를 들어, 훈련 데이터 데이터베이스(들)(134), 모델 데이터베이스(들)(136) 등, 또는 기타의 전기적 스토리지를 포함할 수 있는 예측 데이터베이스(들)(132)), 하나 이상의 컴퓨터 프로그램 명령어로 프로그래밍된 하나 이상의 물리적 프로세서, 및/또는 기타의 컴포넌트들을 포함할 수 있다. 컴퓨팅 디바이스는, 유선 또는 무선 기술(예를 들어, Ethernet, 광섬유들, 동축 케이블, WiFi, Bluetooth, 근접장 장 통신, 또는 기타의 기술들)을 통해 네트워크(예를 들어, 네트워크 150) 또는 기타의 컴퓨팅 플랫폼들과의 정보 교환을 가능케하는 통신 라인들 또는 포트들을 포함할 수 있다. 컴퓨팅 디바이스들은, 함께 동작하는 복수의 하드웨어, 소프트웨어, 및/또는 펌웨어 컴포넌트들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스들은, 컴퓨팅 디바이스들로서 함께 동작하는 컴퓨팅 플랫폼들의 클라우드에 의해 구현될 수 있다.
전자적 스토리지들은 정보를 전자적으로 저장하는 비일시적인 저장 매체를 포함할 수 있다. 전자적 스토리지들의 전자적 저장 매체는, (i) 서버들 또는 클라이언트 디바이스들과 통합적으로(예를 들어, 실질적으로 비분리형) 제공되는 시스템 스토리지 또는 (ii) 예를 들어, 포트(예를 들어, USB 포트, 파이어와이어 포트 등)를 통해 서버들 또는 클라이언트 디바이스들에 착탈가능하게 접속할 수 있는 착탈식 스토리지 또는 드라이브(예를 들어, 디스크 드라이브 등) 중 하나 또는 양쪽 모두를 포함할 수 있다. 전자적 스토리지들은 하나 이상의 광학적으로 판독가능한 저장 매체(예를 들어, 광 디스들 등), 자기적으로 판독가능한 저장 매체(예를 들어, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전기적 전하-기반의 저장 매체(예를 들어, EEPROM, RAM 등), 고체 상태 저장 매체(예를 들어, 플래시 드라이브 등), 및/또는 기타의 전자적으로 판독가능한 저장 매체를 포함할 수 있다. 전자적 스토리지는 하나 이상의 가상 스토리지 자원(예를 들어, 클라우드 스토리지, 가상 사설망, 및/또는 기타의 가상 스토리지 자원)을 포함할 수 있다. 전자적 스토리지는, 소프트웨어 알고리즘들, 프로세서들에 의해 결정된 정보, 서버들로부터 획득된 정보, 클라이언트 디바이스들로부터 획득된 정보, 또는 여기서 설명된 기능을 가능케하는 기타의 정보를 저장할 수 있다.
프로세서들은 컴퓨팅 디바이스들에서 정보 처리 능력들을 제공하도록 프로그래밍될 수 있다. 따라서, 프로세서들은, 하나 이상의 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 머신, 및/또는 정보를 전자적으로 처리하기 위한 기타의 메커니즘을 포함할 수 있다. 일부 실시예에서, 프로세서는 복수의 처리 유닛을 포함할 수 있다. 이들 처리 유닛들은 물리적으로 동일한 디바이스 내에 위치하거나, 프로세서들은 조율하여 동작하는 복수의 디바이스의 처리 기능을 나타낼 수 있다. 프로세서들은, 서브시스템들(112-124) 또는 기타의 서브시스템들의 여기서 설명된 기능들을 수행하기 위해 컴퓨터 프로그램 명령어들을 실행하도록 프로그래밍될 수 있다. 프로세서들은 소프트웨어, 하드웨어; 펌웨어; 소프트웨어, 하드웨어, 또는 펌웨어의 어떤 조합; 및/또는 프로세서들 상의 처리 능력들을 구성하기 위한 다른 메커니즘에 의해 컴퓨터 프로그램 명령어들을 실행하도록 프로그래밍될 수 있다.
여기서 설명된 상이한 서브시스템들(112-124)에 의해 제공되는 기능의 설명은 예시의 목적을 위한 것이며, 임의의 서브시스템들(112-124) 중 임의의 것은 설명된 것보다 많거나 적은 기능을 제공할 수 있기 때문에 제한하려는 의도가 아님을 이해해야 한다. 예를 들어, 서브시스템들(112-124) 중 하나 이상이 제거될 수 있고, 그 기능의 일부 또는 전부가 서브시스템들(112-124) 중 다른 서브시스템들에 의해 제공될 수 있다. 또 다른 예로서, 추가적인 서브시스템들은 여기서 서브시스템들(112-124) 중 하나에 기인하는 기능의 일부 또는 전부를 수행하도록 프로그래밍될 수 있다.
본 기술들은, 예를 들어, 시력 병리들의 빠른 출현에 의해 자주 영향받는 건강한 피험자, 군인들 및 퇴역 군인들 등의 피험자들을 포함하는, 임의의 수의 응용에서 이용될 수 있다. 시야 상실은, 군인, 퇴역 군인, 기타의 영향받는 환자들이, 일상 생활 활동들뿐만 아니라, 필수 작업들을 수행하는 능력을 손상시킨다. 이 시각 장애는, 그들의 독립성, 안전, 생산성 및 삶의 질을 손상시키고 낮은 자존감과 우울증으로 이어진다. 최근의 과학적 진보에도 불구하고, 망막, 시신경 또는 시각 피질의 기존 손상을 되돌릴 수 있는 치료 옵션은 제한적이다. 따라서, 치료는, 그들의 기능을 최대화하기 위해 시각 보조물을 환자들에게 제공하는 것에 의존한다. 현재의 시각적 보조물은 이들 목표들은 달성하는데 있어서 부족하다. 이것은, 시각적 성능, 삶의 질 및 안전을 개선하기 위해 더 나은 시각 보조물의 필요성을 강조한다. 안경 디바이스에 통합된 본 명세서의 기술들은, 일반적 환경뿐만 아니라, 엄격하고 외딴 곳에서, 시야 결함을 야기하는 군사 관련 눈 부상 및 질병 등의 일반적인 빠른 발병 눈 부상을 진단하고 완화할 수 있다. 본 명세서의 기술들은 시야 결함들을 진단하고 정량화할 수 있다. 이 데이터를 이용하여, 디바이스들은, 실시간으로, 환자의 시야를 처리하고, 나머지 기능을 수행하는 시야에 교정된 이미지를 맞추고 투사한다. 따라서, 시야의 맹목(또는 감소된) 부분이 환자의 시각 성능에 미치는 부정적인 영향을 최소화한다. 더욱이, 안경 디바이스가 시야 결함들을 진단하기 위해 또 다른 임상 디바이스에 의존하지 않는다는 사실은 안경을 엄격하고 외딴 환경에서 특히 유용하게 만든다. 유사하게, 본 기술들은 정상 시야 또는 시각보다 더 나은 시야를 갖도록 정상 피험자의 시야를 증강시키는데 이용될 수 있다.
비록 본 발명이 현재로서 가장 실용적이고 바람직한 실시예인 것으로 간주되는 것에 기초하여 예시의 목적을 위해 상세히 기술되었지만, 이와 같은 상세사항은 단지 설명을 위한 것이고 본 발명은 개시된 실시예들로 제한되지 않으며, 오히려, 첨부된 특허청구범위와 사상 내에 해당하는 수정 및 등가의 배열을 커버하기 위한 것임을 이해하여야 한다. 예를 들어, 본 발명은, 가능한 범위까지, 임의의 실시예의 하나 이상의 피처들은 임의의 다른 실시예의 하나 이상의 피처들과 결합될 수 있음을 고려하고 있다는 것을 이해하여야 한다.
본 기술들은 이하의 열거된 실시예들을 참조하여 더 잘 이해될 것이다:
A1. 자극 세트를 포함하는 프리젠테이션(예를 들어, 시각 검사 프리젠테이션 또는 기타의 프리젠테이션)을 사용자에게 제공하는 단계; 자극 세트와 관련된 피드백(예를 들어, 사용자가 상기 세트의 하나 이상의 자극을 감지하는지 여부 또는 어떻게 감지하는지를 나타내는 피드백)을 획득하는 단계; 상기 자극 세트와 관련된 피드백을 모델(예를 들어, 머신 학습 모델 또는 기타의 모델)에 제공하는 단계 ― 상기 모델은 상기 자극 세트와 관련된 피드백에 기초하여 구성됨 ― 를 포함하는 방법.
A2. 제A1 실시예에 있어서, 라이브 이미지 데이터, 눈 특성 정보, 또는 환경 특성 정보를 상기 모델에 제공하여 상기 라이브 이미지 데이터로부터 파생된 향상된 이미지를 획득하는 단계; 및 상기 향상된 이미지가 사용자에게 디스플레이되게 하는 단계를 더 포함하고, 상기 눈 특성 정보는 상기 라이브 이미지 데이터의 라이브 캡처 동안 발생한 사용자의 하나 이상의 눈의 하나 이상의 특성들을 나타내고, 상기 환경 특성 정보는, 상기 라이브 이미지 데이터의 라이브 캡처 동안에 발생한 상기 환경의 하나 이상의 특성들을 나타내는, 방법.
A3. 제A2 실시예에 있어서, 상기 모델에 제공되는 상기 라이브 이미지 데이터, 눈 특성 정보, 또는 환경 특성 정보에 기초하여 상기 모델로부터 향상된 이미지를 획득하는 단계를 더 포함하는 방법.
A4. 실시예 A2의 방법에 있어서, 상기 모델에 제공되는 라이브 이미지 데이터, 눈 특성 정보, 또는 환경 특성 정보에 기초하여 모델로부터 하나 이상의 수정 파라미터를 획득하는 단계; 및 상기 라이브 이미지 데이터 또는 상기 하나 이상의 수정 파라미터에 기초하여 상기 향상된 이미지를 생성하여 향상된 이미지를 획득하는 단계를 더 포함하는 방법.
A5. 제A4 실시예에 있어서, 상기 하나 이상의 수정 파라미터는, 하나 이상의 변환 파라미터, 밝기 파라미터, 콘트라스트 파라미터, 채도 파라미터, 또는 선명도 파라미터를 포함하는, 방법.
A6. 제A1 내지 제A5 실시예 중 어느 하나에 있어서, 상기 자극 세트와 관련된 피드백을 획득하는 단계는 상기 프리젠테이션 동안 캡처된 눈 이미지를 획득하는 단계를 포함하고, 상기 눈 이미지는 사용자의 눈의 이미지이고, 상기 자극 세트와 관련된 피드백을 제공하는 단계는 상기 눈 이미지를 상기 모델에 제공하는 단계를 포함하는, 방법.
A7. 제A5 실시예에 있어서, 상기 눈 이미지는, 안구 이미지, 눈의 망막 이미지, 또는 눈의 각막 이미지인, 방법.
A8. 제A1 내지 A7 실시예 중 어느 하나에 있어서, 상기 자극 세트와 관련된 피드백을 획득하는 단계는, 상기 자극 세트 중 하나 이상의 자극에 대한 사용자의 반응의 표시 또는, 상기 자극 세트 중 하나 이상의 자극에 대한 사용자의 반응의 부족의 표시를 획득하는 단계를 포함하고, 상기 자극 세트와 관련된 피드백을 제공하는 단계는 상기 반응의 표시 상기 반응의 부족의 표시를 상기 모델에 제공하는 단계를 포함하는, 방법.
A9. 제A8 실시예에 있어서, 상기 반응은, 눈 움직임, 응시 방향, 동공 크기 변화, 또는 사용자의 사용자 입력을 통한 하나 이상의 자극의 사용자 수정을 포함하는, 방법.
A10. 제A9 실시예에 있어서, 상기 사용자 수정은, 사용자의 사용자 입력을 통한 하나 이상의 자극의 움직임 또는 사용자에게 디스플레이된 하나 이상의 자극에 관한 사용자의 사용자 입력을 통해 제공되는 보충 데이터를 포함하는, 방법.
A11. 제A1 내지 제A10 실시예 중 어느 하나에 있어서, 제2 세트의 자극들을 획득하는 단계 ― 상기 제2 세트의 자극들은 상기 자극 세트에 대한 상기 모델의 처리 및 상기 자극 세트와 관련된 피드백에 기초하여 생성됨 ―; 상기 제2 세트의 자극들이 사용자에게 디스플레이되게 하는 단계; 상기 제2 세트의 자극들과 관련된 피드백(예를 들어, 사용자가 상기 제2 세트의 하나 이상의 자극을 보는지를 나타내는 피드백)을 획득하는 단계; 및 제2 세트의 자극들과 관련된 피드백을 상기 모델에 제공하는 단계를 더 포함하고, 상기 모델은 또한, 상기 제2 세트의 자극들과 관련된 피드백에 기초하여 구성되는, 방법.
A12. 제A1 내지 제A11 실시예 중 어느 하나에 있어서, 상기 모델을 통해, 상기 자극 세트와 관련된 피드백에 기초하여 사용자의 시야의 결함 시야 부분을 결정하는 단계를 더 포함하고, 상기 사용자의 시야는 시야 부분들을 포함하고, 상기 결함 시야 부분은 하나 이상의 시각 기준을 충족하지 못하는 상기 시야 부분들 중 하나인, 방법.
A13. 제A12 실시예에 있어서, 상기 향상된 이미지는, 상기 라이브 이미지 데이터의 이미지 부분이 상기 결함 시야 부분 외부의 상기 향상된 이미지의 상기 이미지 부분에서 표현되도록 상기 라이브 이미지 데이터의 상기 결함 시야 부분에 대응하는 하나 이상의 변환에 기초하는, 방법.
A14. 제A12 또는 제A13 실시예에 있어서, 상기 향상된 이미지는, (i) 밝기, 콘트라스트, 또는 선명도 레벨 증가가 상기 결함 시야 부분에 대응하는 라이브 이미지 데이터의 이미지 부분에 적용되어 상기 향상된 이미지의 대응하는 이미지 부분을 생성하고 (ii) 상기 밝기, 콘트라스트, 또는 선명도 레벨 증가가 상기 향상된 이미지의 대응하는 이미지 부분을 생성하도록 상기 라이브 스트림 데이터의 또 다른 이미지 부분에 적용되지 않게끔, 상기 라이브 이미지 데이터의 하나 이상의 밝기 또는 콘트라스트 수정에 기초하는, 방법.
A15. 제A12 내지 제A14 실시예 중 어느 하나에 있어서, (예를 들어, 상기 결함 시야 부분에 있거나 결함 시야 부분에 있을 것으로 예측되는) 물체를 검출하는 단계; 상기 물체가 하나 이상의 시각 기준을 충족하는 시야 부분들 중 적어도 하나에 대응하는 상기 향상된 이미지의 임의의 이미지 부분의 충분히 내부에 있지 않다고 결정하는 단계; 상기 물체가 사용자와 물리적으로 접촉하게 될 것임을 나타내는 예측을 생성하는 단계; 및 (i) 상기 물리적 접촉의 예측 및 (ii) 상기 물체가 상기 하나 이상의 시각 기준을 충족하는 시야 부분들 중 적어도 하나에 대응하는 상기 향상된 이미지의 임의의 이미지 부분의 충분히 내부에 있지 않다는 결정에 기초하여 (예를 들어, 향상된 이미지 위에) 경고가 디스플레이되게 하는 단계 ― 상기 경고는 상기 물체의 접근 방향을 나타냄 ― 를 더 포함하는 방법.
A16. 제A1 내지 제A15 실시예 중 어느 하나에 있어서, 전술한 동작들 중 하나 이상은 착용형 디바이스에 의해 수행되는, 방법.
A17. 제A16 실시예에 있어서, 상기 착용형 디바이스는, 상기 라이브 이미지 데이터를 캡처하도록 구성된 하나 이상의 카메라 및 하나 이상의 향상된 이미지를 디스플레이하도록 구성된 하나 이상의 디스플레이 부분을 포함하는, 방법.
A18. 제A16 또는 제A17 실시예에 있어서, 상기 하나 이상의 디스플레이 부분은 상기 착용형 디바이스의 제1 및 제2 디스플레이 부분들을 포함하는, 방법.
A19. 제A18 실시예에 있어서, 상기 착용형 디바이스는 상기 제1 디스플레이 부분을 포함하는 제1 모니터 및 상기 제2 디스플레이 부분을 포함하는 제2 모니터를 포함하는, 방법.
A20. 제A16 내지 제A19 실시예 중 어느 하나에 있어서, 상기 하나 이상의 디스플레이 부분은 상기 착용형 디바이스의 하나 이상의 투명 디스플레이 상에 하나 이상의 동적 디스플레이 부분을 포함하고, 하나 이상의 향상된 이미지는 상기 하나 이상의 디스플레이 부분 상에 디스플레이되는, 방법.
A21. 제A1 내지 제A20 실시예 중 어느 하나에 있어서, 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하는 단계를 더 포함하는 방법.
A22. 제A21 실시예에 있어서, 상기 하나 이상의 변화를 추가 피드백으로서 상기 모델에 제공하는 단계; 상기 모델에 제공되는 라이브 이미지 데이터, 눈 특성 정보, 또는 환경 특성 정보에 기초하여 상기 모델로부터 하나 이상의 수정 파라미터를 획득하는 단계; 및 상기 라이브 이미지 데이터 및 상기 하나 이상의 수정 파라미터에 기초하여 향상된 이미지를 생성하여 향상된 이미지를 획득하는 단계를 더 포함하는 방법.
A23. 제A21 또는 제A22 실시예에 있어서, 상기 모니터링에 기초하여, 상기 착용형 디바이스의 하나 이상의 투명 디스플레이 상의 상기 제1 또는 제2 디스플레이 부분의 하나 이상의 위치, 형상, 크기, 또는 투명도의 조정을 야기하는 단계를 더 포함하고, 상기 향상된 이미지가 디스플레이되게 하는 단계는 상기 향상된 이미지가 상기 제1 또는 상기 제2 디스플레이 부분들 상에 디스플레이되게 하는 단계를 포함하는, 방법.
A24. 제A1 내지 제A23 실시예 중 어느 하나에 있어서, 상기 모델은 신경망 또는 다른 머신 학습 모델을 포함하는, 방법.
B1. 방법으로서, 장면의 복수의 이미지를 획득하는 단계; 상기 이미지들에 공통적인 영역을 결정하는 단계; 이미지들 중의 각각의 이미지에 대해, 상기 이미지들 중의 적어도 또 다른 이미지의 대응하는 영역으로부터 발산하는 상기 이미지의 영역을 결정하는 단계; 상기 공통 영역 및 상기 발산 영역들에 기초하여 향상된 이미지를 생성하는 단계; 및 상기 향상된 이미지가 디스플레이되게 하는 단계를 포함하는 방법.
B2. 제B1 실시예에 있어서, 상기 향상된 이미지를 생성하는 단계는, (i) 상기 향상된 이미지의 제1 영역이 상기 공통 영역의 표현을 포함하고, (ii) 상기 향상된 이미지의 제2 영역이 상기 발산 영역들의 표현들을 포함하고, (iii) 상기 제2 영역은 상기 향상된 이미지의 상기 제1 영역 주위에 있도록, 상기 공통 영역 및 상기 발산 영역들에 기초하여 상기 향상된 이미지를 생성하는 단계를 포함하는, 방법.
B3. 제B2 실시예에 있어서, 상기 향상된 이미지를 생성하는 단계는, (i) 상기 향상된 이미지의 제1 영역이 상기 공통 영역의 표현 및 상기 제2 공통 영역의 표현을 포함하고, (ii) 상기 향상된 이미지의 제2 영역이 상기 발산 영역들의 표현들을 포함하도록, 상기 공통 영역, 상기 발산 영역들, 및 상기 이미지들에 공통인 상기 제2 영역에 기초하여 향상된 이미지를 생성하는 단계를 포함하는, 방법.
B4. 제B1 내지 제B3 실시예 중 어느 하나에 있어서, 상기 공통 영역은, 눈의 시야의 황반 영역 또는 상기 시야의 황반 영역 내의 한 영역에 대응하는 이미지들 중 적어도 하나의 영역인, 방법.
B5. 제B1 내지 제B4 실시예 중 어느 하나에 있어서, 상기 발산 영역들 각각은, 눈의 시야의 주변 영역 또는 상기 시야의 주변 영역 내의 한 영역에 대응하는 이미지 중 적어도 하나의 영역인, 방법.
B6. 제B1 내지 제B5 실시예 중 어느 하나에 있어서, 상기 이미지들 중의 각각의 이미지의 시프팅을 수행하는 단계를 더 포함하고, 상기 향상된 이미지를 생성하는 단계는, 상기 시프팅의 수행에 후속하여, 상기 공통 영역 및 상기 발산 영역들에 기초하여 상기 향상된 이미지를 생성하는 단계를 포함하는, 방법.
B7. 제B6 실시예에 있어서, 상기 시프팅을 수행하는 단계는, 상기 공통 영역의 크기가 감소되고 상기 발산 영역들 중 적어도 하나의 크기가 증가되도록, 상기 이미지들 중의 각각의 이미지의 시프팅을 수행하는 단계를 포함하는, 방법.
B8. 제B1 내지 제B7 실시예 중 어느 하나에 있어서, 상기 이미지의 하나 이상의 영역의 크기조정을 수행하는 단계를 더 포함하고, 상기 향상된 이미지를 생성하는 단계는 상기 크기조정의 수행에 후속하여 상기 공통 영역 및 상기 발산 영역들에 기초하여 상기 향상된 이미지를 생성하는 단계를 포함하는, 방법.
B9. 제B8 실시예에 있어서, 상기 크기조정을 수행하는 단계는, 상기 공통 영역의 임의의 크기조정의 정도가 상기 발산 영역들 중 적어도 하나의 임의의 크기조정의 범위와 상이하도록, 상기 이미지들의 하나 이상의 영역의 크기조정을 수행하는 단계를 포함하는, 방법.
B10. 제B8 또는 제B9 실시예에 있어서, 상기 크기조정을 수행하는 단계는, 상기 향상된 이미지의 제1 영역에서 표현된 공통 영역의 크기에서의 백분율 변화가 상기 향상된 이미지의 제2 영역에서 표현된 발산 영역들 중 적어도 하나의 크기에서 백분율 변화보다 크거나 작도록, 상기 이미지들의 하나 이상의 영역의 크기조정을 수행하는 단계를 포함하는, 방법.
B11. 제B10 실시예에 있어서, 상기 발산 영역들 중 적어도 하나의 크기에서의 백분율 변화는 0이고, 상기 공통 영역의 크기에서의 백분율 변화는 0보다 큰, 방법.
B12. 제B10 실시예에 있어서, 상기 발산 영역들 중 적어도 하나의 크기에서의 백분율 변화는 0보다 크고, 상기 공통 영역의 크기에서의 백분율 변화는 0인, 방법.
B13. 제B1 내지 제B12 실시예 중 어느 하나에 있어서, 상기 공통 영역에 관해 어안 변환, 컨포멀 맵핑 변환, 또는 기타의 변환을 수행하는 단계를 더 포함하고, 상기 향상된 이미지를 생성하는 단계는, 상기 변환(들)의 수행 이후, 상기 공통 영역 및 발산 영역(들)에 기초하여 상기 향상된 이미지를 생성하는 단계를 포함하는, 방법.
B14. 제B1 내지 제B13 실시예 중 어느 하나에 있어서, 사용자의 시야의 결함 시야 부분을 결정하는 단계를 더 포함하고, 상기 사용자의 시야는 시야 부분들을 포함하고, 상기 결함 시야 부분은 하나 이상의 시각 기준을 충족하지 못하는 시야 부분들 중 하나이고, 상기 향상된 이미지를 생성하는 단계, 상기 향상된 이미지의 공통 영역 또는 발산 영역들 중 적어도 하나가 상기 사용자의 시야 부분의 상기 결함 시야 부분과 중첩되지 않도록 상기 결정된 결함 시야 부분에 기초하는, 방법.
B15. 제B1 내지 제B14 실시예 중 어느 하나에 있어서, (i) 하나 이상의 시각 기준, (ii) 하나 이상의 위치 기준, 및 (iii) 하나 이상의 크기 기준을 충족하는 사용자의 시야의 시야 부분을 결정하는 단계를 더 포함하고, 상기 향상된 이미지를 생성하는 단계는, 상기 향상된 이미지의 상기 공통 영역 또는 상기 발산 영역들 중 적어도 하나가 상기 시야 부분 내에 있도록 시야 부분에 기초하는, 방법.
B16. 제B15 실시예에 있어서, 상기 하나 이상의 크기 기준은, 상기 시야 부분이 상기 하나 이상의 시각 기준 및 상기 하나 이상의 위치 기준을 충족하는 상기 사용자의 시야의 가장 큰 시야 부분이어야 하는 요건을 포함하는, 방법.
B17. 제B15 또는 제B16 실시예에 있어서, 상기 하나 이상의 위치 기준은, 상기 시야 부분의 중심이 사용자의 눈의 황반 영역 내의 한 포인트에 대응해야 한다는 요건을 포함하는, 방법.
B18. 제B1 내지 제B17 실시예 중 어느 하나에 있어서, 상기 동작들 중 하나 이상은 착용형 디바이스에 의해 수행되는, 방법.
B19. 제B18 실시예에 있어서, 상기 착용형 디바이스의 하나 이상의 디스플레이 부분을 투명하게 하는 단계를 더 포함하고, 상기 향상된 이미지가 디스플레이되게 하는 단계는, 상기 향상된 이미지가, 상기 하나 이상의 투명 디스플레이 부분 이외의, 상기 착용형 디바이스의 하나 이상의 다른 디스플레이 부분 상에 디스플레이되게 하는 딘계를 포함하는, 방법.
B20. 제B19 실시예에 있어서, 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분 및 상기 하나 이상의 다른 디스플레이 부분의 조정을 야기하는 단계를 더 포함하는 방법.
B21. 제B20 실시예에 있어서, 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하는 단계를 더 포함하고, 상기 조정을 야기하는 단계는, 상기 모니터링에 기초하여, 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분 및 상기 하나 이상의 다른 디스플레이 부분의 조정을 야기하는 단계를 포함하는, 방법.
B21. 제B20 실시예에 있어서, 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하는 단계를 더 포함하고, 상기 조정을 야기하는 단계는, 상기 모니터링에 기초하여, 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분 및 상기 하나 이상의 다른 디스플레이 부분의 조정을 야기하는 단계를 포함하는, 방법.
B22. 제B20 또는 제B21 실시예에 있어서, 상기 조정을 야기하는 단계는, 상기 모니터링에 기초하여 상기 착용형 디바이스의 하나 이상의 투명 디스플레이 부분의 하나 이상의 위치, 형상, 크기, 또는 투명도의 조정을 야기하는 단계를 포함하는, 방법.
B23. 제B20 내지 제B22 실시예 중 어느 하나에 있어서, 상기 향상된 이미지 또는 그 조정은 상기 하나 이상의 변화에 기초하는, 방법.
B24. 제B18 내지 제B23 실시예 중 어느 하나에 있어서, 상기 향상된 이미지가 디스플레이되게 하는 단계는, 상기 공통 영역 또는 상기 발산 영역들 중 적어도 하나가 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분 상에 디스플레이되지 않도록, 상기 공통 영역 또는 상기 발산 영역들 중 하나 이상이 상기 착용형 디바이스의 상기 하나 이상의 다른 디스플레이 부분 상에 디스플레이되게 하는 단계를 포함하는, 방법.
B25. 제B18 내지 제B24 실시예 중 어느 하나에 있어서, 상기 착용형 디바이스는 제1 및 제2 카메라를 포함하고, 상기 이미지들을 획득하는 단계는 상기 착용형 디바이스의 상기 제1 카메라를 통해 상기 이미지들 중 적어도 하나를 획득하는 단계, 및 상기 착용형 디바이스의 상기 제2 카메라를 통해 상기 이미지들 중 적어도 다른 하나를 획득하는 단계를 포함하는, 방법.
B26. 제B18 내지 제B25 실시예 중 어느 하나에 있어서, 상기 착용형 디바이스의 상기 하나 이상의 모니터는 제1 및 제2 모니터를 포함하고, 상기 향상된 이미지가 디스플레이되게 하는 단계는 상기 향상된 이미지가 상기 제1 및 상기 제2 모니터를 통해 디스플레이되게 하는 단계를 포함하는, 방법.
B27. 제B18 내지 제B26 실시예 중 어느 하나에 있어서, 상기 착용형 디바이스는 착용형 안경 디바이스를 포함하는, 방법.
B28. 제B1 내지 제B27 실시예 중 어느 하나에 있어서, 상기 향상된 이미지 또는 상기 조정은 자극 세트와 관련된 피드백(예를 들어, 사용자가 하나 이상의 자극을 감지하는지의 여부 또는 어떻게 감지하는지를 나타내는 피드백)에 기초하는, 방법.
C1. 방법으로서, 사용자의 하나 이상의 눈과 관련된 하나 이상의 변화를 모니터링하는 단계; 상기 모니터링에 기초하여, 착용형 디바이스의 하나 이상의 투명 디스플레이 부분 또는 하나 이상의 다른 디스플레이 부분의 조정을 야기하는 단계; 및 상기 향상된 이미지가 상기 착용형 디바이스의 상기 하나 이상의 다른 디스플레이 부분 상에 디스플레이되게 하는 단계를 포함하고, 상기 향상된 이미지는 상기 착용형 디바이스를 통해 획득된 라이브 이미지 데이터에 기초하는, 방법.
C2. 제C1 실시예에 있어서, 상기 조정을 야기하는 단계는, 상기 모니터링에 기초하여, 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분 또는 상기 착용형 디바이스의 상기 하나 이상의 다른 디스플레이 부분의 하나 이상의 위치, 형상, 크기, 밝기 레벨, 콘트라스트 레벨, 선명도 레벨, 또는 채도 레벨의 조정을 야기하는 단계를 포함하는, 방법.
C3. 제C1 또는 제C2 실시예에 있어서, 사용자의 시야의 결함 시야 부분을 결정하는 단계를 더 포함하고, 상기 사용자의 시야는 시야 부분들을 포함하고, 상기 결함 시야 부분은, 하나 이상의 시각 기준을 충족하지 못하는 상기 시야 부분들 중 하나이고, 상기 조정을 야기하는 단계는, 상기 하나 이상의 투명 디스플레이 부분이 상기 결함 시야 부분과 중첩되지 않도록, 상기 착용형 디바이스의 상기 하나 이상의 투명 디스플레이 부분의 하나 이상의 위치, 형상, 또는 크기의 조정을 야기하는 단계를 포함하는, 방법.
C4. 제C3 실시예에 있어서, (예를 들어, 상기 결함 시야 부분에 있거나 결함 시야 부분에 있을 것으로 예측되는) 물체를 검출하는 단계; 상기 물체가 하나 이상의 시각 기준을 충족하는 시야 부분들 중 적어도 하나에 대응하는 상기 향상된 이미지의 임의의 이미지 부분의 충분히 내부에 있지 않다고 결정하는 단계; 상기 물체가 사용자와 물리적으로 접촉하게 될 것임을 나타내는 예측을 생성하는 단계; 및 (i) 상기 물리적 접촉의 예측 및 (ii) 상기 물체가 상기 하나 이상의 시각 기준을 충족하는 시야 부분들 중 적어도 하나에 대응하는 상기 향상된 이미지의 임의의 이미지 부분의 충분히 내부에 있지 않다는 결정에 기초하여 (예를 들어, 향상된 이미지 위에) 경고가 디스플레이되게 하는 단계 ― 상기 경고는 상기 물체의 접근 방향을 나타냄 ― 를 더 포함하는 방법.
C5. 제C1 내지 제C4 실시예 중 어느 하나에 있어서, 상기 하나 이상의 눈과 관련된 정보를 모델에 제공하는 단계 ― 상기 모델은 상기 하나 이상의 눈과 관련된 정보에 기초하여 구성됨 ―; 상기 모델의 구성에 후속하여, 수정 파라미터의 세트를 획득하기 위해 상기 하나 이상의 눈과 관련된 상기 하나 이상의 모니터링된 변화를 상기 모델에 제공하는 단계를 더 포함하고, 상기 하나 이상의 투명 디스플레이 부분의 조정을 야기하는 단계는 상기 수정 파라미터 세트 중의 하나 이상의 수정 파라미터에 기초하여 상기 하나 이상의 투명 디스플레이 부분의 조정을 야기하는 단계를 포함하는, 방법.
C6. 제C5 실시예에 있어서, 상기 하나 이상의 눈에 관련된 정보는 상기 하나 이상의 눈의 하나 이상의 이미지를 포함하는, 방법.
C7. 제C5 또는 제C6 실시예에 있어서, 상기 하나 이상의 눈에 관련된 정보는 자극 세트와 관련된 피드백(예를 들어, 사용자가 하나 이상의 자극을 감지하는지 여부 또는 어떻게 감지하는지를 나타내는 피드백)을 포함하는, 방법.
C8. 제C1 내지 제C7 실시예 중 어느 하나에 있어서, 상기 하나 이상의 변화는, 눈 움직임, 응시 방향의 변화, 또는 동공 크기 변화를 포함하는, 방법.
C9. 제C1 내지 제C8 실시예 중 어느 하나에 있어서, 상기 향상된 이미지 또는 상기 조정은 자극 세트와 관련된 피드백(예를 들어, 사용자가 하나 이상의 자극을 감지하는지의 여부 또는 어떻게 감지하는지를 나타내는 피드백)에 기초하는, 방법.
C10. 제C1 내지 제C9 실시예 중 어느 하나에 있어서, 상기 향상된 이미지 또는 그 조정은 상기 하나 이상의 변화에 기초하는, 방법.
C11. 제C1 내지 제C10 실시예 중 어느 하나에 있어서, 상기 조정은 상기 향상된 이미지의 디스플레이와 동시에 수행되는, 방법.
C12. 제C1 내지 제C11 실시예 중 어느 하나에 있어서, 상기 동작들 중 하나 이상은 상기 착용형 디바이스에 의해 수행되는, 방법.
C13. 제C1 내지 제C12 실시예 중 어느 하나에 있어서, 상기 착용형 디바이스는 착용형 안경 디바이스를 포함하는, 방법.
D1. 방법으로서, 사용자의 하나 이상의 눈을 모니터링하는 단계(예를 들어, 자극 세트가 상기 사용자에게 디스플레이되는 제1 모니터링 기간 동안); 상기 자극 세트와 관련된 피드백 획득(예를 들어, 상기 제1 모니터링 기간 동안); 및 상기 자극 세트와 관련된 피드백에 기초하여 사용자와 연관된 수정 프로파일 세트를 생성하는 단계를 포함하고 상기, 수정 프로파일 세트 중의 각각의 수정 프로파일은, (i) 눈 관련 특성 세트와 연관되고 (ii) 상기 사용자의 눈 관련 특성들이 상기 눈 관련 특성들의 연관된 세트와 일치할 때 사용자에 대한 이미지를 수정하기 위해 상기 이미지에 적용될 하나 이상의 수정 파라미터를 포함하는, 방법.
D2. 제D1 실시예에 있어서, 상기 자극 세트와 관련된 피드백은 사용자가 상기 자극 세트 중의 하나 이상의 자극을 보는지의 여부 또는 어떻게 보는지를 나타내는, 방법.
D3. 제D1 또는 제D2 실시예에 있어서, 상기 자극 세트와 관련된 피드백은, 상기 하나 이상의 자극이 디스플레이될 때(예를 들어, 상기 제1 모니터링 기간 동안) 발생하는 상기 하나 이상의 눈과 관련된 하나 이상의 특성을 포함하는, 방법.
D4. 제D1 내지 제D3 실시예 중 어느 하나에 있어서, 사용자의 하나 이상의 눈을 모니터링하는 단계(예를 들어, 제2 모니터링 기간 동안); 사용자의 환경을 나타내는 이미지 데이터를 획득하는 단계(예를 들어, 상기 제2 모니터링 기간 동안); (i) 상기 이미지 데이터 또는 (ii) (예를 들어, 상기 제2 모니터링 기간으로부터의) 상기 하나 이상의 눈과 관련된 특성들에 기초하여 사용자와 연관된 하나 이상의 수정 프로파일을 획득하는 단계; 및 (i) 상기 이미지 데이터 및 (ii) 상기 하나 이상의 수정 프로파일에 기초하여 (예를 들어, 제2 모니터링 기간 동안) 수정된 이미지 데이터가 사용자에게 디스플레이되게 하는 단계를 더 포함하는 방법.
D5. 제D4 실시예에 있어서, 상기 하나 이상의 눈과 관련된 특성들은, 응시 방향, 동공 크기, 윤부 위치, 시각적 축, 광학적 축, 또는 눈꺼풀 위치 또는 움직임을 포함하는, 방법.
D6. 제D1 내지 제D5 실시예 중 어느 하나에 있어서, 상기 자극 세트와 관련된 피드백을 획득하는 단계는, 상기 제1 모니터링 기간 동안 캡처된 눈 이미지를 획득하는 단계를 포함하고, 상기 눈 이미지는 사용자의 눈의 이미지이고, 상기 수정 프로파일 세트를 생성하는 단계는, 상기 눈 이미지에 기초하여 상기 수정 프로파일 세트를 생성하는 단계를 포함하는, 방법.
D7. 제D6 실시예에 있어서, 상기 눈 이미지는 눈의 망막 이미지 또는 눈의 각막 이미지인, 방법.
D8. 제D1 내지 제D7 실시예 중 어느 하나에 있어서, 상기 자극 세트와 관련된 피드백을 획득하는 단계는, 상기 하나 이상의 자극에 대한 사용자의 반응의 표시 또는 상기 하나 이상의 자극에 대한 사용자의 반응의 부족의 표시를 획득하는 단계를 포함하고, 상기 수정 프로파일 세트를 생성하는 단계는 상기 반응의 표시 또는 상기 반응의 부족의 표시에 기초하여 상기 수정 프로파일 세트를 생성하는 단계를 포함하는, 방법.
D9. 제D8 실시예에 있어서, 상기 반응은, 눈 움직임, 응시 방향, 또는 동공 크기 변화를 포함하는, 방법.
D10. 제D1 내지 제D9 실시예 중 어느 하나에 있어서, 상기 동작들 중 하나 이상은 착용형 디바이스에 의해 수행되는, 방법.
D11. 제D10 실시예에 있어서, 상기 착용형 디바이스는 착용형 안경 디바이스를 포함하는, 방법.
E1. 시각 검사 프리젠테이션에 대한 응시 포인트에 기초하여 사용자의 사용자 인터페이스 상의 제1 인터페이스 위치에서 제1 자극이 디스플레이되게 하는 단계; 상기 시각 검사 프리젠테이션 동안, 사용자와 관련된 눈 특성 정보에 기초하여 상기 시각 검사 프리젠테이션에 대한 응시 포인트를 조정하는 단계 ― 상기 눈 특성 정보는, 상기 시각 검사 프리젠테이션 동안 발생하는 사용자의 하나 이상의 눈과 관련된 하나 이상의 특성을 나타냄 ―; 상기 시각 검사 프리젠테이션에 대한 상기 조정된 응시 포인트에 기초하여 상기 사용자 인터페이스 상의 제2 인터페이스 위치에서 제2 자극이 디스플레이되게 하는 단계; 상기 제1 자극과 관련된 피드백 및 상기 제2 자극과 관련된 피드백을 나타내는 피드백 정보를 획득하는 단계 ― 상기 제1 또는 상기 제2 자극과 관련된 피드백은 상기 제1 또는 상기 제2 자극에 대한 사용자의 반응 또는 사용자의 반응의 부족을 나타냄 ―; 및 상기 피드백 정보에 기초하여 사용자와 연관된 시각적 결함 정보를 생성하는 단계를 포함하는 방법.
E2. 제E1 실시예에 있어서, 상기 사용자 인터페이스는 제1 도수(number of degrees)에 대응하는 수평 치수 또는 상기 제1 도수에 대응하는 수직 치수를 갖는 뷰를 디스플레이하도록 구성되고, 상기 시각적 결함 정보는, 상기 시각적 결함 정보가 사용자의 시야에 대한 상기 수평 치수 또는 사용자의 시야에 대한 상기 수직 치수와 관련하여 상기 제1 도수보다 큰 커버리지를 갖도록 생성되는, 방법.
E3. 제E1 내지 제E2 실시예에 있어서, 상기 사용자 인터페이스는 제1 도수에 대응하는 주어진 치수를 갖는 뷰를 디스플레이하도록 구성되고, 상기 시각적 결함 정보는, (i) 상기 시각적 결함 정보가 사용자의 시야의 시야 위치들에 존재하는 적어도 2개의 결함을 나타내고 (ii) 상기 시야 위치들은 사용자의 시야에 대해 상기 주어진 치수와 관련하여 상기 제1 도수보다 크게 떨어져 있도록 생성되는, 방법.
E4. 제E1 내지 제E3 실시예 중 어느 하나에 있어서, 상기 사용자 인터페이스는 제1 도수에 대응하는 주어진 치수를 갖는 뷰를 디스플레이하도록 구성되고, 상기 피드백 정보는 추가로, 상기 시각 검사 프리젠테이션 동안 상기 사용자 인터페이스 상에 디스플레이되는 제3 자극과 관련된 피드백을 나타내고, 상기 피드백 정보에 기초하여 사용자의 시야의 시야 위치들에 시각적 결함이 존재하는지를 결정하여, 상기 시야 위치들 중 적어도 2개가 상기 시야에 대해 상기 주어진 치수에 관하여 상기 제1 도수보다 많이 서로 떨어지도록 하는 단계; 및 상기 시야 위치들에서 시각적 결함이 존재하는지의 결정에 기초하여 상기 시각적 결함 정보를 생성하는 단계를 더 포함하는 방법.
E5. 제E1 내지 제E4 실시예 중 어느 하나에 있어서, 상기 시각 검사 프리젠테이션 대한 응시 포인트 및 상기 제1 자극과 연관된 제1 상대적 위치에 기초하여 상기 제1 자극에 대한 상기 제1 인터페이스 위치를 결정하는 단계; 및 상기 시각 검사 프리젠테이션에 대한 상기 조정된 응시 포인트 및 상기 제2 자극과 연관된 제2 상대적 위치에 기초하여 상기 제2 자극에 대한 제2 인터페이스 위치를 결정하는 단계를 더 포함하고, 상기 제1 자극이 디스플레이되게 하는 단계는, 상기 시각 검사 프리젠테이션 동안, 상기 제1 인터페이스 위치의 결정에 기초하여 상기 사용자 인터페이스 상의 상기 제1 인터페이스 위치에서 상기 제1 자극이 디스플레이되게 하는 단계를 포함하고, 상기 제2 자극이 디스플레이되게 하는 단계는, 상기 시각 검사 프리젠테이션 동안, 상기 제2 인터페이스 위치의 결정에 기초하여 상기 사용자 인터페이스 상의 상기 제2 인터페이스 위치에서 상기 제2 자극이 디스플레이되게 하는 단계를 포함하는, 방법.
E6. 제E1 내지 제E5 실시예 중 어느 하나에 있어서, 상기 시각 검사 프리젠테이션 동안, 상기 제1 자극에 대한 상기 제1 인터페이스 위치를 선택하되, 상기 제1 인터페이스 위치가 상기 사용자 인터페이스 상의 하나 이상의 다른 인터페이스 위치보다 상기 응시 포인트로부터 더 멀다는 것에 기초하여 선택하는 단계를 더 포함하고, 상기 하나 이상의 다른 인터페이스 위치는, 상기 검사 세트의 하나 이상의 다른 시야 위치에 대응하고, 상기 제1 자극이 디스플레이되게 하는 단계는, 상기 시각 검사 프리젠테이션 동안, 상기 제1 인터페이스 위치의 선택에 기초하여 상기 제1 자극이 상기 사용자 인터페이스 상의 상기 제1 인터페이스 위치에서 디스플레이되게 하는 단계를 포함하는, 방법.
E7. 제E6 실시예에 있어서, 상기 검사 세트로부터 상기 제1 시야 위치를 제거하는 단계를 더 포함하는 방법.
E8. 제E7 실시예에 있어서, 상기 제1 시야 위치를 제거하는 단계는, 상기 제1 시야 위치가 상기 시각 검사 프리젠테이션 동안 상기 검사 세트로부터 선택되는데 있어서 더 이상 이용가능하지 않도록, 상기 검사 세트로부터 상기 제1 시야 위치를 제거하는 단계를 포함하는, 방법.
E9. 제E7 또는 제E8 실시예에 있어서, 상기 검사 세트로부터 상기 제1 시야 위치의 제거에 후속하여, 상기 제2 자극에 대한 제2 인터페이스 위치를 선택하되, 상기 제2 인터페이스 위치가 상기 하나 이상의 다른 인터페이스 위치보다 상기 조정된 응시 포인트로부터 더 멀다는 것에 기초하여 선택하는 단계를 더 포함하고, 상기 제2 자극이 디스플레이되게 하는 단계는, 상기 시각 검사 프리젠테이션 동안, 상기 제2 인터페이스 위치의 선택에 기초하여 상기 사용자 인터페이스 상의 상기 제2 인터페이스 위치에서 상기 제2 자극이 디스플레이되게 하는 단계를 포함하는, 방법.
E10. 제E6 내지 제E9 실시예 중 어느 하나에 있어서, 상기 제1 인터페이스 위치를 선택하는 단계는, 상기 제1 자극에 대한 제1 인터페이스 위치를 선택하되, 상기 제1 인터페이스 위치가, 적어도, 주어진 치수에 관하여 상기 제1 시야 위치 이외의 상기 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치만큼 상기 응시 포인트로부터 멀다는 것에 기초하여 선택하는 단계를 포함하는, 방법.
E11. 제E6 내지 제E10 실시예 중 어느 하나에 있어서, 상기 제2 인터페이스 위치를 선택하는 단계는, 상기 제2 자극에 대한 제2 인터페이스 위치를 선택하되, 상기 제2 인터페이스 위치가, 적어도, 주어진 치수에 관하여 상기 제2 시야 위치 이외의 상기 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치만큼 상기 조정된 응시 포인트로부터 멀다는 것에 기초하여 선택하는 단계를 포함하는, 방법.
E12. 제E1 내지 제E11 실시예 중 어느 하나에 있어서, 상기 조정된 응시 포인트의 잠금이 확립된 상태로 유지되는 동안 상기 응시 포인트 재조정이 회피되도록 상기 조정된 응시 포인트의 잠금을 확립하는 단계; 상기 조정된 응시 포인트의 잠금이 확립된 상태로 유지되는 동안, 상기 조정된 응시 포인트에 기초하여 하나 이상의 자극이 상기 사용자 인터페이스 상에 디스플레이되게 하는 단계; 및 제2 자극의 디스플레이 이전에 상기 조정된 응시 포인트의 잠금을 해제하는 단계를 더 포함하는 방법.
E13. 제E1 내지 제E12 실시예 중 어느 하나에 있어서, 상기 조정된 응시 포인트가 동일하게 유지되는 동안(예를 들어, 제1 인터페이스 위치에서), 복수의 자극이 상기 사용자 인터페이스 상에 디스플레이되게 한 다음, 강조해제되거나 상기 사용자 인터페이스로부터 제거되게 하는 단계를 더 포함하고, 상기 복수의 자극 중 적어도 하나의 자극은, 상기 복수의 자극 중 적어도 하나의 다른 자극이 상기 사용자 인터페이스 상에 디스플레이되는 것에 후속하여 상기 사용자 인터페이스 상에 디스플레이되는, 방법.
E14. 제E13 실시예에 있어서, 상기 제1 자극이 상기 사용자 인터페이스 상의 상기 제1 인터페이스 위치에서 계속 디스플레이되는 동안 상기 복수의 자극이 디스플레이된 다음 강조해제되거나 제거되는, 방법.
E15. 제E13 또는 제E14 실시예에 있어서, 상기 제1 자극이 강조해제되거나 상기 사용자 인터페이스로부터 제거되게 한 다음, 상기 복수의 자극 중 적어도 하나의 자극이 상기 사용자 인터페이스 상에 디스플레이되는 것에 후속하여 상기 사용자 인터페이스 상의 상기 제1 인터페이스 위치에서 강조되거나 재디스플레이되게 하는 단계를 더 포함하는, 방법.
E16. 제E1 내지 제E15 실시예 중 어느 하나에 있어서, 상기 눈 특성 정보는 상기 시각 검사 프리젠테이션 동안 발생한 사용자의 하나 이상의 응시 방향, 동공 크기 변화, 눈꺼풀 움직임, 머리 움직임, 또는 기타의 눈 관련 특성을 나타내는, 방법.
F1. 방법으로서, 각각의 눈에 제공되는 2개 이상의 사용자 인터페이스를 통한 (예를 들어, 2개 이상의 디스플레이 상의) 시각 검사 프리젠테이션 동안 사용자의 눈과 관련된 눈 관련 특성들을 모니터링하는 단계 ― 상기 눈들은 사용자의 제1 및 제2 눈을 포함함 ―; 하나 이상의 자극이 사용자 인터페이스들 중 적어도 하나 상의 하나 이상의 위치에서 디스플레이되게 하는 단계; 및 자극 프리젠테이션시에 발생하는 (예를 들어, 상기 제1 눈의) 하나 이상의 눈 관련 특성에 기초하여 상기 제1 눈에 대한 시각적 결함 정보를 결정하는 단계를 포함하는 방법.
F2. 제F1 실시예에 있어서, 상기 시각적 결함 정보를 결정하는 단계는, 자극 프리젠테이션시에 발생하는 상기 제1 눈의 하나 이상의 눈 관련 특성에 기초하여 상기 제1 눈에 대한 편차 측정값을 결정하는 단계를 포함하는, 방법.
F3. 제F2 실시예에 있어서, 상기 편차 측정값은 상기 제2 눈에 관한 상기 제1 눈의 편차를 나타내는, 방법.
F4. 제F1 내지 제F3 실시예 중 어느 하나에 있어서, 상기 자극 프리젠테이션을 야기하는 단계는, 상기 제2 눈에 대해 제2 사용자 인터페이스 상에서 자극이 프리젠팅되지 않는 동안 상기 자극 프리젠테이션 발생하도록, 상기 제1 눈에 대해 제1 사용자 인터페이스 상의 한 위치에서 자극이 처음으로 프리젠팅되게 하는 단계를 포함하는, 방법.
F5. 제F1 내지 제F4 실시예 중 어느 하나에 있어서, 상기 자극 프리젠테이션을 야기하는 단계는, 상기 제2 사용자 인터페이스의 자극 강도가 자극 강도 임계값을 충족하지 않는 동안 자극이 상기 제1 사용자 인터페이스 상의 한 위치에서 프리젠팅되게 하는 단계를 포함하는, 방법.
F6. 제F4 또는 제F5 실시예에 있어서, 상기 제1 사용자 인터페이스 상에서 자극이 프리젠팅되지 않은 동안 (상기 제1 시간 전의) 이전 시간에 상기 제2 사용자 인터페이스 상의 상기 위치에서 자극이 프리젠팅되게 하는 단계를 더 포함하는 방법.
F7. 제F4 내지 제F6 실시예 중 어느 하나에 있어서, 상기 제1 디스플레이 상의 상기 제1 위치에서 자극이 프리젠팅되게 하고 제1 시간 전의 이전 시간에서 상기 제2 디스플레이 상의 상기 제1 위치에서 자극이 프리젠팅되게 하는 단계; 상기 이전 시간에 상기 제1 디스플레이 상에서의 자극이 프리젠테이션시에 상기 제1 위치에 관한 상기 제1 눈의 응시 부족을 검출하는 단계; 및 상기 제1 눈의 응시 부족의 검출에 기초하여 사용자의 상기 제1 눈을 편향 눈으로서 결정하는 단계를 더 포함하는 방법.
F8. 제F4 내지 제F7 실시예 중 어느 하나에 있어서, 상기 시각적 결함 정보(예를 들어, 편차 측정값)에 기초하여, 상기 제1 시간에 후속하는 후속 시간에서 상기 제1 디스플레이 상의 수정된 위치에서 자극이 프리젠팅되게 하여, 상기 후속 시간에서의 프리젠테이션이 상기 제2 디스플레이 상에서 자극이 프리젠팅되지 않는 동안 발생하게 하는 단계 ― 상기 수정된 위치는 상기 제1 위치와는 상이함 ―; 및 상기 제1 눈 또는 상기 제2 눈의 하나 이상의 눈 관련 특성이 상기 후속 시간에서의 프리젠테이션시에 변화 임계값을 넘어서 변하지 않는 것에 기초하여 상기 시각적 결함 정보(예를 들어, 편차 측정값)를 확정하는 단계를 더 포함하는 방법.
F9. 제F8 실시예에 있어서, 상기 시각적 결함 정보(예를 들어, 편차 측정값)에 기초하여, 상기 후속 시간에 상기 제1 디스플레이 상에서 자극이 프리젠팅될 위치로서 상기 수정된 위치를 결정하는 단계를 더 포함하는 방법.
F10. 제F1 또는 제F2 실시예에 있어서, 상기 자극 프리젠테이션을 야기하는 단계는, 상기 제1 눈에 대한 제1 사용자 인터페이스 상의 위치에서 및 상기 제2 눈에 대한 제2 사용자 인터페이스 상의 대응하는 위치에서 주어진 시간에 자극이 프리젠팅되게 하는 단계를 포함하는, 방법.
F11. 제F1 내지 제F10 실시예 중 어느 하나에 있어서, 상기 시각적 결함 정보(예를 들어, 편차 측정값)에 기초하여 사용자와 연관된 수정 프로파일을 생성하는 단계를 더 포함하고, 상기 수정 프로파일은 사용자에 대한 이미지를 수정하기 위해 적용될 하나 이상의 수정 파라미터를 포함하는, 방법.
F12. 제F11 실시예에 있어서, (i) 사용자의 환경을 나타내는 비디오 스트림 데이터 및 (ii) 사용자와 연관된 수정 프로파일에 기초하여, 수정된 비디오 스트림 데이터가 사용자에게 디스플레이되게 하는 단계를 더 포함하는 방법.
F13. 제F12 실시예에 있어서, 상기 수정 프로파일은 상기 제2 눈의 응시 방향이 상기 제1 위치로 향할 때 상기 제1 눈에 대한 이미지를 수정하기 위해 적용되는 병진 또는 회전 파라미터를 포함하고, 상기 수정된 비디오 스트림 데이터가 디스플레이되게 하는 단계는: 상기 제2 눈의 응시 방향이 제1 위치로 향하는 것을 검출하는 단계; 상기 수정된 비디오 스트림 데이터를 생성하기 위해 제2 눈의 응시 방향의 검출에 기초하여 상기 비디오 스트림 데이터를 수정하기 위해 상기 병진 또는 회전 파라미터를 이용하는 단계; 및 상기 수정된 비디오 스트림 데이터가 사용자의 상기 제1 눈에 디스플레이되게 하는 단계를 포함하는, 방법.
F14. 제F1 내지 제F13 실시예 중 어느 하나에 있어서, 상기 편차 측정값에 기초하여, 사용자와 연관된 제1 수정 프로파일을 생성하는 단계 ― 상기 제1 수정 프로파일은, 상기 제2 눈의 응시 방향이 상기 제1 위치로 향하는 것에 반응하여 상기 제1 눈에 대한 이미지를 수정하기 위해 적용될 하나 이상의 수정 파라미터를 포함함 ―; 및 상기 제1 눈에 대한 제2 편차 측정값에 기초하여 제2 수정 프로파일을 생성하는 단계 ― 상기 제2 수정 프로파일은, 상기 제2 눈의 응시 방향이 상기 제1 위치와는 상이한 제2 위치로 향하는 것에 반응하여 상기 제1 눈에 대한 이미지를 수정하기 위해 적용될 하나 이상의 수정 파라미터를 포함함 ― 를 더 포함하는 방법.
F15. 제F1 내지 제F14 실시예 중 어느 하나에 있어서, 상기 시각적 결함 정보를 결정하는 단계는, 사용자가 본 자극의 수 또는 유형에 기초하여, 사용자가 복시를 갖고 있는지 또는 복시의 정도를 결정하는 단계를 포함하는, 방법.
F16. 실시예 F15에 있어서, 사용자가 보는 자극의 수 또는 유형을 나타내는 사용자 입력에 기초하여, 사용자가 본 자극의 수 또는 유형을 결정하는 단계를 더 포함하는 방법.
F17. 제F15 또는 제F16 실시예에 있어서, 자극 프리젠테이션시에 발생하는 하나 이상의 눈 관련 특성에 기초하여 사용자가 본 자극의 수 또는 유형을 결정하는 단계를 더 포함하는 방법.
F18. 제F1 내지 제F17 실시예 중 어느 하나에 있어서, 상기 시각적 결함 정보를 결정하는 단계는, 자극 프리젠테이션시에 발생하는 하나 이상의 눈 관련 특성에 기초하여 사용자가 입체시를 갖고 있는지 또는 입체시의 정도를 결정하는 단계를 포함하는, 방법.
F19. 제F1 내지 제F18 실시예 중 어느 하나에 있어서, 상기 눈 관련 특성들은, 하나 이상의 응시 방향, 동공 크기 변화, 또는 기타의 눈 관련 특성을 포함하는, 방법.
G1. 데이터 처리 장치에 의해 실행될 때 상기 데이터 처리 장치로 하여금 실시예들 A1-A24, B1-B28, C1-C13, D1-D11, E1-E16, 또는 F1-F19 중 어느 하나의 동작들을 포함하는 동작들을 수행하게 하는 명령어들을 저장한, 유형의 비일시적인 머신 판독가능한 매체.
G2. 하나 이상의 프로세서; 및 메모리를 포함하는 시스템으로서, 상기 메모리는, 상기 프로세서들에 의해 실행될 때 상기 프로세서들로 하여금 실시예들 A1-A24, B1-B28, C1-C13, D1-D11, E1-E16, 또는 F1-F19 중 어느 하나의 동작들을 포함하는 동작들을 실행하게 하는 명령어들을 저장한, 시스템.
Claims (15)
- 동적 응시 포인트(dynamic fixation point)를 통한 시각적 결함 정보 생성을 용이화하기 위한 시스템으로서,
컴퓨터 프로그램 명령어들로 프로그램된 하나 이상의 프로세서를 포함하는 컴퓨터 시스템
을 포함하고, 상기 컴퓨터 프로그램 명령어들은, 실행될 때, 상기 컴퓨터 시스템으로 하여금:
시각 검사 프리젠테이션(visual test presentation) 동안, 사용자의 착용형 디바이스의 사용자 인터페이스 상의 제1 인터페이스 위치에서 제1 자극이 디스플레이되게 하게 하고 ― 상기 제1 인터페이스 위치는 적어도, 상기 사용자 인터페이스 상의 하나 이상의 다른 인터페이스 위치만큼 상기 시각 검사 프리젠테이션에 대한 응시 포인트로부터 멀리 있고, 상기 제1 인터페이스 위치는 검사 세트의 제1 시야 위치에 대응하고, 상기 하나 이상의 다른 인터페이스 위치는 상기 검사 세트의 하나 이상의 다른 시야 위치에 대응함 ―;
상기 시각 검사 프리젠테이션 동안, 상기 사용자와 관련된 눈 특성 정보에 기초하여 상기 시각 검사 프리젠테이션에 대한 응시 포인트를 조정하게 하고 ― 상기 눈 특성 정보는, 상기 제1 자극이 상기 제1 인터페이스 위치에서 디스플레이된 후에 상기 시각 검사 프리젠테이션 동안 발생한 상기 사용자의 하나 이상의 눈과 관련된 하나 이상의 특성을 나타냄 ―;
상기 시각 검사 프리젠테이션 동안, 상기 응시 포인트의 조정에 후속하여 상기 사용자 인터페이스 상의 제2 인터페이스 위치에서 제2 자극이 디스플레이되게 하게 하고;
상기 시각 검사 프리젠테이션 동안, 상기 제1 자극과 관련된 피드백 및 상기 제2 자극과 관련된 피드백을 나타내는 피드백 정보를 획득하게 하고 ― 상기 제1 또는 상기 제2 자극과 관련된 피드백은 상기 제1 또는 제2 자극에 대한 상기 사용자의 반응 또는 상기 사용자의 반응의 부족을 나타냄 ―;
상기 피드백 정보에 기초하여 상기 사용자와 연관된 시각적 결함 정보를 생성하게 하는, 시스템. - 제1항에 있어서, 상기 컴퓨터 시스템은:
상기 조정된 응시 포인트의 잠금이 확립된 상태로 유지되는 동안 응시 포인트 재조정이 회피되도록 상기 조정된 응시 포인트의 잠금을 확립하고;
상기 조정된 응시 포인트의 잠금이 확립된 상태로 유지되는 동안, 상기 조정된 응시 포인트에 기초하여 하나 이상의 자극이 상기 사용자 인터페이스에 디스플레이되게 하고;
상기 제2 자극의 디스플레이 이전에 상기 조정된 응시 포인트의 잠금을 해제하도록
야기되는, 시스템. - 제1항에 있어서, 상기 착용형 디바이스의 사용자 인터페이스는 제1 도수(number of degrees)에 대응하는 주어진 치수를 갖는 뷰를 디스플레이하도록 구성되고, 상기 시각적 결함 정보는, (i) 상기 시각적 결함 정보가 상기 사용자의 시야의 시야 위치들에 존재하는 적어도 2개의 결함을 나타내도록 그리고 (ii) 상기 시야 위치들이 상기 사용자의 시야에 대해 상기 주어진 치수와 관련하여 상기 제1 도수보다 크게 떨어져 있도록 생성되는, 시스템.
- 제1항에 있어서, 상기 착용형 디바이스의 사용자 인터페이스는 제1 도수에 대응하는 주어진 치수를 갖는 뷰를 디스플레이하도록 구성되고, 상기 피드백 정보는 상기 시각 검사 프리젠테이션 동안 상기 착용형 디바이스의 사용자 인터페이스 상에 디스플레이된 제3 자극과 관련된 피드백을 추가로 나타내며, 상기 컴퓨터 시스템은:
상기 피드백 정보에 기초하여 상기 사용자의 시야의 시야 위치들에 시각적 결함이 존재하는지를 결정하여, 상기 시야 위치들 중 적어도 2개가 상기 시야에 대한 상기 주어진 치수에 관련하여 상기 제1 도수보다 많이 서로 떨어져 있게 하고;
상기 시야 위치들에 시각적 결함이 존재하는지의 결정에 기초하여 상기 시각적 결함 정보를 생성하도록
야기되는, 시스템. - 제1항에 있어서, 상기 제1 자극에 대해 상기 제1 인터페이스 위치는, 상기 제1 인터페이스 위치가 적어도, 주어진 치수에 관하여 상기 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치들만큼 상기 응시 포인트로부터 멀다는 것에 기초하여 선택되는, 시스템.
- 제1항에 있어서, 상기 제2 인터페이스 위치는 상기 검사 세트의 제2 시야 위치에 대응하고, 상기 제2 자극에 대해 상기 제2 인터페이스 위치는, 상기 제2 인터페이스 위치가 적어도, 주어진 치수에 관하여 상기 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치들만큼 상기 조정된 응시 포인트로부터 멀다는 것에 기초하여 선택되는, 시스템.
- 제1항에 있어서, 상기 눈 특성 정보는 상기 시각 검사 프리젠테이션 동안 발생한 상기 사용자의 하나 이상의 응시 방향, 동공 크기 변화, 눈꺼풀 움직임, 또는 머리 움직임을 나타내는, 시스템.
- 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 컴퓨터 프로그램 명령어들은 실행될 때 상기 방법을 수행하고, 상기 방법은:
시각 검사 프리젠테이션 동안, 사용자의 착용형 디바이스의 사용자 인터페이스 상의 제1 인터페이스 위치에서 제1 자극이 디스플레이되게 하는 단계;
상기 시각 검사 프리젠테이션 동안, 응시 포인트가 상기 제1 사용자 인터페이스 위치로 조정되도록 상기 사용자와 관련된 눈 특성 정보에 기초하여 상기 시각 검사 프리젠테이션에 대한 상기 응시 포인트를 조정하는 단계 ― 상기 눈 특성 정보는, 상기 제1 자극이 상기 제1 인터페이스 위치에서 디스플레이된 후 상기 시각 검사 프리젠테이션 동안 발생한 상기 사용자의 하나 이상의 눈과 관련된 하나 이상의 특성을 나타냄 ―;
상기 시각 검사 프리젠테이션 동안, 상기 제1 인터페이스 위치에서의 상기 응시 포인트에 기초하여, 상기 사용자 인터페이스 상에 하나 이상의 자극이 디스플레이되게 하는 단계;
(i) 상기 응시 포인트가 상기 제1 인터페이스 위치에 머무는 동안 및 (ii) 상기 사용자 인터페이스 상에서의 상기 하나 이상의 자극의 디스플레이에 후속하여, 상기 시각 검사 프리젠테이션 동안, 제2 자극이 상기 사용자 인터페이스 상의 제2 인터페이스 위치에서 디스플레이되게 하는 단계;
상기 시각 검사 프리젠테이션 동안, 상기 제1 자극과 관련된 피드백, 상기 하나 이상의 자극과 관련된 피드백, 및 상기 제2 자극과 관련된 피드백을 나타내는 피드백 정보를 획득하는 단계; 및
상기 피드백 정보에 기초하여 상기 사용자와 연관된 시각적 결함 정보를 생성하는 단계
를 포함하는, 방법. - 제8항에 있어서,
상기 응시 포인트의 잠금이 확립된 상태로 유지되는 동안 응시 포인트 재조정이 회피되도록, 상기 제1 인터페이스 위치에서의 상기 응시 포인트의 잠금을 확립하는 단계;
상기 응시 포인트의 잠금이 확립된 상태로 유지되는 동안, 상기 하나 이상의 자극이 상기 제1 인터페이스 위치에서의 상기 응시 포인트에 기초하여 상기 사용자 인터페이스 상에 디스플레이되게 하는 단계; 및
상기 제2 자극의 디스플레이 이전에 상기 응시 포인트의 잠금을 해제하는 단계
를 더 포함하는, 방법. - 제8항에 있어서, 상기 하나 이상의 자극이 디스플레이되게 하는 단계는,
상기 응시 포인트가 상기 제1 인터페이스 위치에 남아 있는 동안, 복수의 자극이 상기 제1 인터페이스 위치와는 상이한 인터페이스 위치들에서 디스플레이된 다음 강조해제되거나 상기 사용자 인터페이스로부터 제거되게 하는 단계를 포함하고,
상기 복수의 자극 중 적어도 하나의 자극은, 상기 복수의 자극 중 적어도 하나의 다른 자극들이 상기 사용자 인터페이스 상에 디스플레이된 것에 후속하여 상기 사용자 인터페이스 상에 디스플레이되는, 방법. - 제10항에 있어서,
상기 제1 자극이 강조해제되거나 상기 사용자 인터페이스로부터 제거되게 한 다음, 상기 복수의 자극 중 적어도 하나의 자극이 상기 사용자 인터페이스 상에 디스플레이되는 것에 후속하여 상기 사용자 인터페이스 상의 상기 제1 인터페이스 위치에서 강조되거나 재디스플레이되게 하는 단계를 더 포함하는, 방법. - 제8항에 있어서, 상기 제1 자극에 대해 상기 제1 인터페이스 위치는, 상기 제1 인터페이스 위치가 적어도, 주어진 치수에 관하여 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치들만큼 상기 응시 포인트로부터 멀다는 것에 기초하여 선택되는, 방법.
- 제12항에 있어서, 상기 제2 인터페이스 위치는 상기 검사 세트의 제2 시야 위치에 대응하고, 상기 제2 자극에 대해 상기 제2 인터페이스 위치는, 상기 제2 인터페이스 위치가 적어도, 주어진 치수에 관하여 상기 검사 세트의 시야 위치에 대응하는 상기 사용자 인터페이스 상의 다른 모든 인터페이스 위치들만큼 상기 조정된 응시 포인트로부터 멀다는 것에 기초하여 선택되는, 방법.
- 제8항에 있어서, 상기 눈 특성 정보는 상기 시각 검사 프리젠테이션 동안 발생한 상기 사용자의 하나 이상의 응시 방향, 동공 크기 변화, 눈꺼풀 움직임, 또는 머리 움직임을 나타내는, 방법.
- 하나 이상의 프로세서에 의해 실행될 때, 동작들을 야기하는 명령어들을 포함하는 하나 이상의 비일시적인 컴퓨터 판독가능한 매체로서, 상기 동작들은:
시각 검사 프리젠테이션 동안, 사용자의 착용형 디바이스의 사용자 인터페이스 상의 제1 인터페이스 위치에서 제1 자극이 디스플레이되게 하는 동작;
상기 시각 검사 프리젠테이션 동안, 응시 포인트가 상기 제1 사용자 인터페이스 위치로 조정되도록 상기 사용자와 관련된 눈 특성 정보에 기초하여 상기 시각 검사 프리젠테이션에 대한 상기 응시 포인트를 조정하는 동작 ― 상기 눈 특성 정보는, 상기 제1 자극이 상기 제1 인터페이스 위치에서 디스플레이된 후 상기 시각 검사 프리젠테이션 동안 발생한 상기 사용자의 하나 이상의 눈과 관련된 하나 이상의 특성을 나타냄 ―;
상기 시각 검사 프리젠테이션 동안, 상기 제1 인터페이스 위치에서의 상기 응시 포인트에 기초하여, 상기 사용자 인터페이스 상에 하나 이상의 자극이 디스플레이되게 하는 동작;
(i) 상기 응시 포인트가 상기 제1 인터페이스 위치에 머무는 동안 및 (ii) 상기 사용자 인터페이스 상에서의 상기 하나 이상의 자극의 디스플레이에 후속하여, 상기 시각 검사 프리젠테이션 동안, 제2 자극이 상기 사용자 인터페이스 상의 제2 인터페이스 위치에서 디스플레이되게 하는 동작; 및
상기 제1 자극과 관련된 피드백, 하나 이상의 자극과 관련된 피드백, 및 상기 제2 자극과 관련된 피드백을 나타내는 피드백 정보에 기초하여 상기 사용자와 연관된 시각적 결함 정보를 생성하는 동작
을 포함하는, 하나 이상의 비일시적인 컴퓨터 판독가능한 매체.
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/367,633 | 2019-03-28 | ||
| US16/367,687 US10409071B2 (en) | 2017-09-27 | 2019-03-28 | Visual enhancement for dynamic vision defects |
| US16/367,633 US10389989B2 (en) | 2017-09-27 | 2019-03-28 | Vision defect determination and enhancement using a prediction model |
| US16/367,751 | 2019-03-28 | ||
| US16/367,751 US10444514B2 (en) | 2017-09-27 | 2019-03-28 | Field of view enhancement via dynamic display portions |
| US16/367,687 | 2019-03-28 | ||
| US16/444,604 | 2019-06-18 | ||
| US16/444,604 US10531795B1 (en) | 2017-09-27 | 2019-06-18 | Vision defect determination via a dynamic eye-characteristic-based fixation point |
| US201962895402P | 2019-09-03 | 2019-09-03 | |
| US62/895,402 | 2019-09-03 | ||
| US16/654,590 | 2019-10-16 | ||
| US16/654,590 US10742944B1 (en) | 2017-09-27 | 2019-10-16 | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations |
| US16/687,512 US11102462B2 (en) | 2017-09-27 | 2019-11-18 | Vision defect determination via a dynamic eye characteristic-based fixation point |
| US16/687,512 | 2019-11-18 | ||
| PCT/US2020/024988 WO2020198491A1 (en) | 2019-03-28 | 2020-03-26 | Vision defect determination and enhancement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210134069A true KR20210134069A (ko) | 2021-11-08 |
Family
ID=72608471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217034753A KR20210134069A (ko) | 2019-03-28 | 2020-03-26 | 시각적 결함 결정 및 향상 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP3946001A4 (ko) |
| JP (1) | JP2022525304A (ko) |
| KR (1) | KR20210134069A (ko) |
| CN (1) | CN113891676A (ko) |
| BR (1) | BR112021019438A2 (ko) |
| CA (1) | CA3133317A1 (ko) |
| WO (1) | WO2020198491A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330610B (zh) * | 2020-10-21 | 2024-03-29 | 郑州诚优成电子科技有限公司 | 一种基于微血管位置角膜内皮细胞计数采集精确定位方法 |
| GB2606182B (en) * | 2021-04-28 | 2023-08-23 | Sony Interactive Entertainment Inc | System and method of error logging |
| KR20230036576A (ko) * | 2021-09-06 | 2023-03-15 | 재단법인 아산사회복지재단 | 시야손상 환자의 선호망막부위 탐색 및 훈련 장치, 방법 및 프로그램 |
| CN114220159B (zh) * | 2021-11-02 | 2024-04-23 | 三峡大学 | 基于机器学习的施工安全隐患识别方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5883692A (en) * | 1997-10-01 | 1999-03-16 | Retsan, Inc. | Visual field measurement apparatus |
| GB9722949D0 (en) * | 1997-10-30 | 1998-01-07 | Bid Instr Ltd | Ocular testing and related projection apparatus and method |
| JP4537192B2 (ja) * | 2004-12-21 | 2010-09-01 | キヤノン株式会社 | 眼科装置 |
| US20090153796A1 (en) | 2005-09-02 | 2009-06-18 | Arthur Rabner | Multi-functional optometric-ophthalmic system for testing diagnosing, or treating, vision or eyes of a subject, and methodologies thereof |
| EP2040605A2 (en) * | 2006-06-30 | 2009-04-01 | Novavision, Inc. | Diagnostic and therapeutic system for eccentric viewing |
| US8066376B2 (en) | 2008-05-01 | 2011-11-29 | Vital Art & Science Incorporated | Dynamic shape discrimination vision test |
| KR20140111298A (ko) * | 2011-12-20 | 2014-09-18 | 아이체크 헬스 커넥션, 인크. | 녹내장에서의 시야 손실을 모니터링하기 위한 비디오 게임 |
| US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
| GB201417208D0 (en) * | 2014-09-30 | 2014-11-12 | Ibvision Ltd | Method Software And Apparatus For Testing A Patiants Visual Field |
| FR3027206B1 (fr) * | 2014-10-21 | 2021-06-04 | Univ Paris Descartes | Procede de test d'un nourrisson et dispositif adapte pour mettre en oeuvre le procede de test |
| US20200008666A1 (en) * | 2018-07-03 | 2020-01-09 | Tarseer, Inc. | Methods and systems for vision monitoring |
-
2020
- 2020-03-26 CN CN202080040227.2A patent/CN113891676A/zh active Pending
- 2020-03-26 EP EP20777414.2A patent/EP3946001A4/en active Pending
- 2020-03-26 JP JP2021555033A patent/JP2022525304A/ja active Pending
- 2020-03-26 WO PCT/US2020/024988 patent/WO2020198491A1/en unknown
- 2020-03-26 BR BR112021019438A patent/BR112021019438A2/pt unknown
- 2020-03-26 CA CA3133317A patent/CA3133317A1/en active Pending
- 2020-03-26 KR KR1020217034753A patent/KR20210134069A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN113891676A (zh) | 2022-01-04 |
| BR112021019438A2 (pt) | 2021-12-07 |
| JP2022525304A (ja) | 2022-05-12 |
| EP3946001A1 (en) | 2022-02-09 |
| EP3946001A4 (en) | 2022-12-14 |
| CA3133317A1 (en) | 2020-10-01 |
| WO2020198491A1 (en) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10481402B1 (en) | Field of view enhancement via dynamic display portions for a modified video stream | |
| US10666918B2 (en) | Vision-based alerting based on physical contact prediction | |
| US11701000B2 (en) | Modification profile generation for vision defects related to double vision or dynamic aberrations | |
| US10802288B1 (en) | Visual enhancement for dynamic vision defects | |
| US10531795B1 (en) | Vision defect determination via a dynamic eye-characteristic-based fixation point | |
| US10742944B1 (en) | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations | |
| US11039742B1 (en) | Vision testing via prediction-based setting of an initial stimuli characteristic for a user interface location | |
| KR20210134069A (ko) | 시각적 결함 결정 및 향상 | |
| US20220125299A1 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
| JP2023550699A (ja) | ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法 |