KR20240015687A - 시각 능력을 특성화하기 위한 가상 현실 기법 - Google Patents
시각 능력을 특성화하기 위한 가상 현실 기법 Download PDFInfo
- Publication number
- KR20240015687A KR20240015687A KR1020237045464A KR20237045464A KR20240015687A KR 20240015687 A KR20240015687 A KR 20240015687A KR 1020237045464 A KR1020237045464 A KR 1020237045464A KR 20237045464 A KR20237045464 A KR 20237045464A KR 20240015687 A KR20240015687 A KR 20240015687A
- Authority
- KR
- South Korea
- Prior art keywords
- task
- user
- virtual
- virtual reality
- reality environment
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims description 87
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims description 97
- 230000003993 interaction Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 14
- 230000004886 head movement Effects 0.000 claims description 10
- 230000004424 eye movement Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 230000004438 eyesight Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000004382 visual function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 208000008069 Geographic Atrophy Diseases 0.000 description 1
- 208000032578 Inherited retinal disease Diseases 0.000 description 1
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 1
- 208000027073 Stargardt disease Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000004300 dark adaptation Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002571 electroretinography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/005—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
머리 장착형 디스플레이를 사용하여 다양한 평가 조건(가령, 다양한 광, 콘트라스트, 색상 조건)에서 사용자의 기능적 시각 능력을 정량화하기 위한 가상 현실 시스템. 눈 상태를 가진 사용자에 대한 높은 관련성 외에도, 본 실시예는 가상 현실이 제공할 수 있는 제어되고 재현 가능한 테스팅 조건 내에서 신속하고 간단한 측정을 도출할 수 있다. 가상 환경 시스템은 수행될 작업의 선택을 획득할 수 있다. 작업의 실행 동안, 가상 환경 광학 설정(가령, 가상 환경 디스플레이 내 수정된 광 설정)이 동적으로 수정될 수 있다. 사용자는 작업의 실행 중에 객체와 상호작용할 수 있으며, 이는 사용자의 기능적 시각 능력에 대한 통찰력을 제공할 수 있다. 작업의 완료 후, 작업 실행 중 사용자의 기능적 시각 능력을 정량화하는 출력이 생성될 수 있다.
Description
관련 출원에 대한 상호 참조
본 출원은 그 전체가 모든 목적으로 참조로서 본 명세서에 포함되는 2021년 6월 17일에 출원된 미국 가출원 번호 63/211,930의 이익과 우선권을 주장한다.
배경기술
다양한 눈 상태(가령, 눈 질환)가 개체의 시력의 일부를 제한할 수 있다. 예를 들어, 유전성 망막 질환인 색소성 망막염은 주로 야간 시력과 주변 시력에 영향을 미칠 수 있으며 중심 시력 상실 및 법정 실명으로 이어질 수 있다. 또 다른 예로서, 지도형 위축 또는 스타가르트병(Stargardt disease)은 개체의 다른 시각 능력을 상실하기 전에 먼저 개체의 중심 시력을 감소시킬 수 있다.
많은 경우에, 중심 시력 상실만 진료소에서 최대 교정 시력 테스트와 같은 테스트를 수행함으로써 정례적으로 평가된다. 이 테스트는 잘 확립되어 있지만, 저 광량에서의 시력과 같이 일상 생활에서 대상체에게 영향을 미칠 수 있는 눈 상태를 검출하지 못할 수 있다. 이러한 한계를 해결하기 위해, 최대 교정 시력 테스트와 같은 테스트에 망막전위도검사, 암적응측정법 또는 시야 측정법과 같은 하나 이상의 다른 평가가 보충될 수 있다. 그러나 평가들을 조합하는 것은 시간이 많이 걸리고, 대상체와 의료 서비스 제공자에게 번거로울 수 있으며, 특별한 자원이 필요할 수 있다. 결과적으로, 그러한 평가는 일반적으로 최대 한 번, 가령, 진단 시에 수행된다. 또한 평가들을 조합해도 대상체의 시력이 기능적으로 손상된 정도를 파악하지 못할 수 있다.
본 개시 내용의 일부 실시예는 작업을 구현하는 시각적 장면을 표시하고 (가령, 센서 데이터를 통해) 환경과 사용자의 상호작용을 추적하는 것을 용이하게 하는 가상 현실 환경을 제공하는 것과 관련된다. 상호작용은 대상체의 시력이 기능적으로 손상된 정도를 평가하는 출력으로 변환된다.
더 구체적으로, 가상 현실 환경에서 수행될 작업을 구현하고, 작업의 실행 중에 수행 메트릭을 도출하며, 작업의 실행 중 성능에 기초하여 사용자의 기능적 시각 능력을 정량화하는 출력을 생성하기 위한 기법이 본 명세서에 개시되어 있다. 광학 특성은 가상 현실 환경의 광학 특징을 수정하기 위해 작업의 구현 동안 동적으로 수정될 수 있으며, 이는 사용자의 기능적 시각 능력을 추가로 식별할 수 있다. 장치, 시스템, 모듈, 방법, 하나 이상의 프로세서에 의해 실행 가능한 프로그램, 코드 또는 명령을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체 등을 포함하는 다양한 실시예가 본 명세서에 기재된다.
특정 실시예에 따라, 객체 선택 작업, 객체 상호작용 작업, 또는 읽기 작업과 같은 가상 현실 환경 내 사용자의 기능적 시각 능력을 측정하기 위한 방법이 제공된다. 방법은 가상 현실 환경에서 구현될 작업을 식별하는 단계를 포함할 수 있다. 가상 현실 환경은 머리 장착형 디스플레이에 의해 디스플레이될 수 있다. 가상 현실 환경의 디스플레이는 작업의 구현 중에 동적으로 수정되는 적어도 하나의 광학 설정을 포함할 수 있다. 방법은 작업의 구현을 용이하게 하는 단계를 더 포함할 수 있다. 작업의 구현은 머리 장착형 디스플레이에 의해 VR 환경의 디스플레이 상에 복수의 가상 객체를 디스플레이하는 것을 포함할 수 있다.
방법은 작업의 구현 중에 센서 세트로부터 센서 데이터 세트를 획득하는 단계를 더 포함할 수 있다. 방법은 상기 센서 데이터의 세트를 처리하여, 사용자에 의해 지시된 상기 가상 현실 환경 내 움직임을 나타내는 제1 좌표 세트를 상기 가상 현실 환경 내 동적의 가상 객체의 위치를 지정하는 제2 좌표 세트와 매핑하는 단계를 더 포함할 수 있다. 방법은 매핑된 좌표에 기초하여 제1 수행 메트릭을 도출하는 단계를 더 포함할 수 있다. 방법은 제1 수행 메트릭에 기초하여 출력을 생성하는 단계를 더 포함할 수 있다. 출력은 사용자의 기능적 시각 능력을 정량화할 수 있다.
특정 실시예에 따르면, 가상 환경 시스템이 제공된다. 가상 환경 시스템은 가상 현실 환경을 디스플레이하도록 구성된 머리 장착형 디스플레이를 포함할 수 있다. 가상 환경 시스템은 하나 이상의 데이터 프로세서 및 비일시적 컴퓨터 판독 가능 저장 매체를 더 포함할 수 있다. 비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 데이터 프로세서에서 실행될 때, 상기 하나 이상의 데이터 프로세서로 하여금 방법을 수행하게 하는 명령을 포함할 수 있다. 방법은 머리 장착형 디스플레이에 의해 가상 현실 환경에서 구현될 작업을 식별하는 단계를 포함할 수 있다. 방법은 작업의 구현을 용이하게 하는 단계를 더 포함할 수 있다. 작업의 구현은 머리 장착형 디스플레이에 의해 VR 환경의 디스플레이에 복수의 가상 객체를 디스플레이하는 것을 포함할 수 있다.
방법은 작업의 구현 중에 센서 세트로부터 센서 데이터 세트를 획득하는 단계를 더 포함할 수 있다. 방법은 센서 데이터의 세트를 처리하여 가상 현실 시스템을 사용해 사용자가 상호작용하는 가상 객체의 서브세트 및 가상 객체의 서브세트의 각각과 사용자가 상호작용한 시간을 식별하는 단계를 더 포함할 수 있다. 방법은 매핑된 좌표에 기초하여 제1 수행 메트릭을 도출하는 단계를 더 포함할 수 있다. 방법은 제1 수행 메트릭에 기초하여 출력을 생성하는 단계를 더 포함할 수 있다. 출력은 작업의 구현 중에 사용자의 기능적 시각 능력을 정량화할 수 있다.
특정 실시예에 따라, 컴퓨터로 구현되는 방법이 제공된다. 컴퓨터로 구현되는 방법은 가상 현실 환경에서 구현될 작업을 식별하는 단계를 포함할 수 있다. 가상 현실 환경은 머리 장착형 디스플레이에 디스플레이하도록 구성될 수 있다. 가상 현실 환경의 디스플레이는 작업의 구현 중에 동적으로 수정되는 적어도 하나의 광학 설정을 포함할 수 있다. 컴퓨터로 구현되는 방법은 작업의 구현을 용이하게 하는 단계를 더 포함할 수 있다. 작업의 구현을 용이하게 하는 것은 머리 장착형 디스플레이에 의해 VR 환경의 디스플레이에 복수의 가상 객체를 디스플레이하는 것을 포함할 수 있다. 컴퓨터로 구현되는 방법은 작업의 구현 중에 센서의 세트로부터 센서 데이터의 세트를 획득하는 단계를 더 포함할 수 있다.
컴퓨터로 구현된 방법은 상기 센서 데이터의 세트를 처리하여, 사용자에 의해 지시된 상기 가상 현실 환경 내 움직임을 나타내는 제1 좌표 세트를 상기 가상 현실 환경 내 동적의 가상 객체의 위치를 지정하는 제2 좌표 세트와 매핑하는 단계를 더 포함할 수 있다. 컴퓨터로 구현되는 방법은 매핑된 좌표에 기초하여 제1 수행 메트릭을 도출하는 단계를 더 포함할 수 있다. 컴퓨터로 구현되는 방법은 센서 데이터의 세트를 처리하여 작업의 구현 중에 머리 장착형 디스플레이의 공간적 움직임을 도출하는 단계를 더 포함할 수 있다. 공간적 움직임은 작업 중에 가상 객체와 상호작용하기 위한 사용자의 머리 움직임을 나타낼 수 있다. 컴퓨터로 구현되는 방법은 도출된 공간적 움직임에 기초하여 제2 수행 메트릭을 도출하는 단계를 더 포함할 수 있다. 컴퓨터로 구현되는 방법은 제1 수행 메트릭 및 제2 수행 메트릭에 기초하여 출력을 생성하는 단계를 더 포함할 수 있다. 출력은 사용자의 기능적 시각 능력과 작업의 구현 중에 가상 객체와 상호 작용하기 위한 사용자의 공간적 움직임을 정량화할 수 있다.
본 개시의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 본 명세서에 개시된 하나 이상의 방법의 일부 또는 전부 및/또는 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 본 개시의 일부 실시예는 하나 이상의 데이터 프로세서로 하여금 본 명세서에 개시된 하나 이상의 방법의 일부 또는 전부 및/또는 하나 이상의 프로세서의 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함하는 비일시적 기계 판독 가능 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 프로덕트를 포함한다.
사용된 용어 및 표현은 제한이 아닌 설명의 용어로 사용되며, 그러한 용어 및 표현의 사용에 있어서 도시되고 설명된 특징의 임의의 등가물 또는 그 일부를 배제하려는 의도는 없다. 그러나 청구된 시스템 및 방법의 범위 내에서 다양한 수정이 가능하다는 것이 인정된다. 따라서, 본 시스템 및 방법은 예시 및 선택적인 특징에 의해 구체적으로 개시되었지만, 본 명세서에 개시된 개념의 수정 및 변형은 통상의 기술자에 의해 인식되어야 하며, 그러한 수정 및 변형은 첨부된 청구항에 의해 정의된 시스템 및 방법의 범위 내에 있는 것으로 고려될 것임이 이해되어야 한다.
이 간략한 설명은 청구된 주제의 주요 또는 필수 특징을 식별하려는 의도가 없으며 청구된 주제의 범위를 결정하기 위해 별도로 사용되도록 의도되지도 않았다. 이들 예는 본 개시를 제한하거나 정의하기 위해 언급되는 것이 아니라, 그의 이해를 돕기 위해 예시를 제공하기 위해 언급된다. 추가적인 실시예 및 예시는 상세한 설명에서 논의되고, 추가 설명이 거기에 제공된다. 주제는 본 개시의 전체 명세서, 일부 또는 모든 도면, 그리고 각 청구범위의 적절한 부분을 참조하여 이해되어야 한다.
전술한 내용은 다른 특징 및 실시예와 함께 다음의 명세서, 청구범위 및 첨부 도면을 참조하면 더욱 명백해질 것이다.
본 개시의 특징, 실시예 및 이점은 다음 도면을 참조하여 다음의 상세한 설명이 읽힐 때 더 잘 이해된다.
도 1은 가상 환경 시스템의 구성요소를 도시한 블록도이다.
도 2는 가상 환경에서 선택된 작업을 실행하기 위한 예시적인 방법을 도시하는 흐름 프로세스이다.
도 3은 객체 선택 작업의 예시적인 가상 환경 디스플레이를 도시한다.
도 4는 객체 상호작용 작업의 예시적인 가상 환경 디스플레이를 도시한다.
도 5는 작업 동안 사용자의 수행을 나타내는 예시적인 출력을 도시한다.
도 6은 본 명세서에 개시된 실시예 중 일부를 구현하기 위한 컴퓨터 시스템의 예를 도시한다.
도 1은 가상 환경 시스템의 구성요소를 도시한 블록도이다.
도 2는 가상 환경에서 선택된 작업을 실행하기 위한 예시적인 방법을 도시하는 흐름 프로세스이다.
도 3은 객체 선택 작업의 예시적인 가상 환경 디스플레이를 도시한다.
도 4는 객체 상호작용 작업의 예시적인 가상 환경 디스플레이를 도시한다.
도 5는 작업 동안 사용자의 수행을 나타내는 예시적인 출력을 도시한다.
도 6은 본 명세서에 개시된 실시예 중 일부를 구현하기 위한 컴퓨터 시스템의 예를 도시한다.
본 명세서에 개시된 기술은 일반적으로 작업 및 다양한 평가 조건(가령, 가변 광, 콘트라스트, 색상 조건)을 갖는 하나 이상의 작업 환경을 제시하고 상기 작업 환경과의 사용자의 상호작용을 캡처하기 위해 하나 이상의 가상-현실 장치를 구성하고 사용하기 위한 시스템 및 프로세스와 관련된다. 본 명세서에 기재된 상호작용은 작업에 대한 상호작용 유형에 대응하는 상호작용 유형으로 가상 현실 환경에서 가상 객체를 선택하는 것을 포함할 수 있다. 예를 들어, 객체 선택 작업에서, 상호작용 유형은 사용자가 가상 객체와 상호작용하기 위해 가상 현실 환경에서 가상 객체의 위치 위로 사용자의 위치를 이동시키는 것(및 선택적으로 트리거 동작을 제공하는 것)을 포함할 수 있다. 사용자는 작업을 수행하는 동안 다수의 가상 객체와 상호작용할 수 있다.
시스템 및 프로세스는 (예를 들어) 사용자에게 제시되고/되거나 다른 장치로 전송될 수 있는 상호작용에 기초하여 사용자의 기능적 시각 능력 또는 시각적 기능을 특성화하는 메트릭을 생성할 수 있다. 메트릭은 사용자가 하나 이상의 작업 각각을 얼마나 잘 및/또는 얼마나 빨리 수행하는지 및/또는 작업 동안의 사용자 움직임이나 위치(가령, 사용자가 앞으로 몸을 기울이는 정도)와 작업 수행, 움직임 및/또는 위치가 평가 조건에 따라 어떻게 변하는지에 기초하여 결정될 수 있다.
따라서 시스템 및 프로세스는 제어되고 재현 가능한 테스트 조건 내에서 대량의 다차원 측정치를 신속하게 수집하는 것을 지원할 수 있으므로, 시점에 따른 비교가 사용자의 기능적 시각 능력이 어떻게 변화하는지에 대한 제어되고 정량화 가능한 정보를 제공할 수 있다. 일부 경우에서, 이러한 시스템은 안과 분야에서 임상시험용 의약품을 테스트하기 위한 임상 연구의 1차 평가변수로 사용될 수 있다.
예시적인 실시예에서, 본 실시예는 가상 환경 시스템에 의해 수행되는 시스템 및 방법을 제공할 수 있다. 가상 환경 시스템은 다양한 구성요소, 가령, 머리 장착형 디스플레이, 베이스 스테이션, 및/또는 사용자의 손 움직임을 추적하는 손 제어기를 포함할 수 있다. 가상 환경 시스템은 본 명세서에 기재된 일부 또는 모든 계산 작업을 수행할 수 있는 컴퓨팅 장치를 더 포함할 수 있다. 머리 장착형 디스플레이는 시각적 자극을 제시하도록 구성된 디스플레이, 청각적 자극을 제시하도록 구성된 하나 이상의 스피커, (머리 움직임에 대응하는) 장치 움직임을 측정하도록 구성된 하나 이상의 센서(예를 들어, 하나 이상의 가속도계), (눈 움직임 추적을 용이하게 하기 위한) 사용자의 눈의 이미지 또는 비디오 데이터를 수집하도록 구성된 하나 이상의 카메라, 소리 또는 햅틱 피드백, 및/또는 오디오 신호를 캡처하도록 구성된 하나 이상의 스피커를 포함할 수 있다. 하나 이상의 가상 현실 장치는 사용자의 손이나 팔에 착용되거나 부착될 수 있는 하나 이상의 센서를 포함할 수 있거나 손 및/또는 팔 움직임을 추적하는 데 사용될 수 있는 시스템 외부 센서(가령, 의자에 배치된 센서)를 포함할 수 있다.
가상 환경 시스템은 하나 이상의 작업을 실행할 수 있다. 작업은 가상 환경 시스템에 의해 실행되는 명령의 세트를 포함할 수 있다. 예를 들어, 작업은 시각적 장면에 하나 이상의 가상 객체를 디스플레이하고 일정 기간 동안 가상 객체와의 상호작용을 허용하는 객체 선택 작업을 포함할 수 있다. 작업은 다양한 파라미터, 가령, 사용자와 관련된 지정된 눈 상태에 기초하여 다수의 작업 유형 중에서 선택될 수 있다. 작업은 실행되어 시각적 장면에 하나 이상의 가상 객체를 디스플레이할 수 있다.
가상 현실 시스템은 사용자가 머리, 손 및/또는 팔을 움직이는지 여부, 시기 및/또는 방법을 검출하기 위해 하나 이상의 센서(가령, 하나 이상의 가속도계 및/또는 카메라)를 포함할 수 있다. 센서(들)로부터의 측정치는 각각 사용자의 머리, 손 및/또는 팔의 자리, 위치 및/또는 기울기를 추론하는 데 사용될 수 있다. 가상 환경 시스템은 실세계의 움직임, 자리, 위치 및/또는 기울기를 각각 가상 환경의 움직임, 자리, 위치 및/또는 기울기로 변환할 수 있다. 일부 경우, 좌표계가 실세계와 가상 환경 데이터에 대해 동일할 수 있으므로 주어진 방향에서 주어진 양만큼 이동하는 것이 어느 공간에서나 동일하다. 그러나, 가상 환경 공간은 사용자와 연관된 임의의 움직임, 자리, 위치 및/또는 기울기가 시각적 장면 내 하나 이상의 다른 객체에 대한 정보를 전달하도록 구성될 수 있다. 예를 들어, 가상 환경 공간에서, 사용자가 팔을 어떻게 움직이는지를 전달하는 데이터는 움직임이 가상 환경 공간에서의 사용자의 팔과 특정 가상 객체 사이의 상대적인 위치를 어떻게 변화시키는지를 나타낼 수 있다. 이러한 상대적 정보는 사용자가 가상 공간에서 객체와 상호 작용하는지 여부 및/또는 어떻게 상호 작용하는지(가령, 사용자가 가상 객체를 터치, 파지, 및/또는 이동시키는지 여부)를 결정하는 데 사용될 수 있다. 작업 수행은 주어진 유형의 상호작용이 발생했는지 여부 및/또는 시기에 기초하여 결정될 수 있다.
작업의 구현 동안, 가상 환경 광학 설정은 동적으로 수정될 수 있다(가령, 시각적 장면 내 수정된 광 설정). 가상 현실 환경의 디스플레이는 작업의 구현 중에 수정될 수 있다. 가상 현실 환경 내 수정된 광학 설정(들)에 의해 사용자는 가상 현실 환경에서 제공되는 수정된 눈 상태에서 가상 객체와 상호작용할 수 있으며, 이는 사용자의 기능적 시각 능력에 대한 통찰을 제공할 수 있다.
하나 이상의 작업의 완료 후, 시스템은 작업의 구현 중에 획득된 센서 데이터를 처리하여 사용자의 기능적 시각 능력을 특성화 및/또는 정량화하는 출력을 생성할 수 있다. 출력은 사용자가 상호작용한 가상 객체 및 작업 중 사용자의 공간적 움직임과 관련된 수행 메트릭을 정량화할 수 있다.
본 실시예는 작업을 실행할 수 있고 가상 현실 시스템에 포함된 일련의 센서로부터 센서 데이터를 캡처할 수 있는 가상 현실 시스템을 제공할 수 있다. 가상 현실 시스템은 하나 이상의 수정된 광학 설정으로 시각적 장면을 디스플레이하는 머리 장착형 디스플레이를 포함한다. 머리 장착형 디스플레이 상에 디스플레이되는 가상 현실 환경은 실세계 환경을 시뮬레이션할 수 있으며 사용자의 기능적 시각 능력을 평가하기 위한 근사치를 제공할 수 있다. 가상 현실 환경은 정의된 광 조건(가령, 광도, 색상, 콘트라스트 및 장면 조성 설정이 시각적 장면에서 제어될 수 있음)에서 테스트가 실행될 수 있도록 외부 주변광을 차단하여 밀폐되고 제한된 방식으로 장면을 표현할 수 있다.
가상 환경 시스템은 특수한 시설/자원 없이 어디에서나 사용될 수 있다. 시스템은 신체 자세와 자세 변화 및 손 움직임을 동시에 측정할 수 있으며, 이는 시각 장애로 인한 사용자의 손과 눈의 협응 및 사용자 보상 전략에 대한 통찰을 제공할 수 있다. 시스템은 또한 기능적 시각 수행도(functional vision performance)의 측정을 포함할 수 있는 VR 환경에서 제공되는 일상 생활 활동의 사용자 수행도를 측정할 수 있다.
광 및 장면 조건은 휘도(가령, 밝은 곳에서 어두운 곳으로 또는 그 반대로의 다양한 광 레벨), 휘도의 동적 변화(가령, 깜박이는 광, 급격한 변화, 점진적인 변화, 페이드 인/아웃) 등 중 임의의 것을 포함한다. 장면은 복잡도가 낮을 수 있으며, 실세계 장면은 물체(가령, 레스토랑, 풍경, 밤/낮 장면, 혼잡한 도로)의 360도 파노라마 이미지로 표현될 수 있다. 실세계 장면의 시뮬레이션은 렌더링 및 컴퓨터 3D 모델링에 의해 제공될 수 있다. 가상 환경 시스템은 시선 추적, 손 추적, 신체/모션 캡처 중 임의의 것을 통합하여 사용자의 대처/보상 행동 등의 지표로서 자세 변화를 평가하고 추적할 수 있다. 시스템은 객체 선택 및 인간-시스템 상호작용, 가령, 풋 스위치, 오디오 처리, 음성 명령, 제스처 등을 더 포함할 수 있다.
본 명세서에서 사용될 때, 용어 "가상 현실 환경" 또는 "VR 환경"은 VR 지원 장치, 가령, 본 명세서에 기재된 머리 장착형 디스플레이(HMD)에서 전자적으로 생성된 디스플레이와 관련된다. VR 환경은 VR 환경 내에서 정적이거나 동적(가령, 이동)일 수 있는 하나 이상의 가상 객체를 디스플레이할 수 있다. 일부 경우에서, 환경은 가상 객체와 실세계 특징부의 묘사, 가령, 증강 현실(AR) 또는 확장 현실(XR) 디스플레이 모두를 포함할 수 있다. 사용자는 본 명세서에 설명된 VR 환경 시스템을 사용하여 VR 환경 내 객체와 상호작용할 수 있다.
특정 실시예를 소개하기 위해 다음 예시가 제공된다. 이하 기재에서, 설명의 목적으로, 개시 내용의 예에 대한 철저한 이해를 제공하기 위해 특정 세부사항이 제공된다. 그러나, 이들 특정 세부사항 없이도 다양한 예가 실시될 수 있음이 명백할 것이다. 예를 들어, 불필요한 세부사항으로 인해 예시가 모호해지지 않도록 장치, 시스템, 구조, 조립체, 방법 및 그 밖의 다른 구성요소가 블록 다이어그램 형식의 구성요소로 나타날 수 있다. 다른 경우에는, 예시가 모호해지는 것을 피하기 위해 잘 알려진 장치, 프로세스, 시스템, 구조 및 기술이 특정 세부사항 없이 나타날 수 있다. 도면과 설명은 한정을 의도하지 않는다. 본 개시에서 사용된 용어와 표현은 한정이 아니라 단지 설명의 용어로 사용된 것이며, 이러한 용어 및 표현의 사용이 도시되고 기재된 특징 또는 이의 일부분의 임의의 균등물을 배제하려는 어떠한 의도도 없다. 본 명세서에서 단어 "예시"는 "예, 사례 또는 예시로 역할 하는"의 의미로 사용된다. 본 명세서에 "예시"로 기재된 임의의 실시예 또는 설계가 반드시 다른 실시예 또는 설계에 비해 바람직하거나 유리한 것으로 해석될 필요는 없다.
I.
하드웨어 개요
도 1은 가상 환경 시스템(100)의 구성요소를 도시한 블록도이다. 시스템은 머리 장착형 디스플레이(102), 눈 추적 센서(104a-b), 베이스(106a-b) 스테이션, 손 제어기(108a-b), 및 컴퓨팅 장치(110) 중 임의의 것을 포함할 수 있다.
머리 장착형 디스플레이(HMD)(102)는 사용자가 착용하는 동안 제어되고 독립적인 환경(즉, 실행 동안 제어된 광 조건, 콘트라스트, 장면 설정)을 제공할 수 있다. HMD(102)는 실제 환경으로부터의 주변 광이 VR 장면과 간섭을 일으키는 것을 막을 수 있으며 이어서 정의되고 제어된 방식으로 이러한 조건을 변경하는 것을 가능하게 할 수 있다. 일부 실시예에서, HMD 디스플레이를 통해 장면을 투사하는 기능은 머리 장착형 디스플레이 장치에 통합될 수 있다. 일부 실시예에서, 상기 시스템은 머리 장착형 디스플레이를 형성하는 특수 케이스(가령, 카드보드)에 장착된 외부 장치(가령, 휴대용 장치/스마트폰)를 사용할 수 있다.
HMD(102)는 전자 센서의 세트, 가령, 회전 속도 센서, 눈 추적 센서(104a-b), 및 카메라를 구비할 수 있다. HMD(102)의 센서는 머리 움직임의 시공간 역학, 가령, 회전 속도, 병진 운동을 기록할 수 있으며 베이스 스테이션과 함께 (시간 및 공간에서) 3D 위치 정보를 재구성할 수 있다. 눈 추적 센서(104a-b)는 눈 추적을 가능하게 할 수 있고 눈에 대한 센서 데이터, 가령, 깜박임, 동공 크기, 시선 방향, 단속 운동 및 대응하는 타임 스탬프를 캡처할 수 있다. 이러한 기록된 센서 데이터의 후속 분석에 의해 휘도, 콘트라스트, 장면 및 객체 속성의 변화와 관련하여 사용자의 시공간 반응 및 행동(머리 및 눈)의 평가가 가능할 수 있다.
베이스 스테이션(106a-b)은 HMD(102)와 손 제어기(108a-b)의 위치 정보를 검출하고 재구성하기 위한 광전자 센서를 구비할 수 있다. 베이스 스테이션(106a-b)은 HMD(102) 및 손 제어기(108a-b)로부터 위치 정보를 시간과 공간에서 재구성할 수 있다. 이를 통해 피검자의 수행도, 움직임, 손 및 머리 궤적의 공간 및 시간에서의 궤적에 미치는 HMD(102)에 제공된 광과 장면 조건의 영향을 분석하는 것이 가능할 수 있다. 일부 경우에, HMD(102)는 베이스 스테이션(106a-b)에 관하여 기재된 기능을 수행할 수 있다.
손 제어기(108a-b)는 전자 센서, 가령, 가속도계 및 3D 위치 정보의 재구성을 가능하게 하는 태그를 구비할 수 있다. 센서는 양손의 움직임의 시공간 역학을 기록할 수 있으며, 베이스 스테이션과 함께, 시스템의 사용 중 언제든지 3D 위치 정보를 도출할 수 있다. 이러한 기록된 센서 데이터의 후속 분석을 통해 HMD(102)에 투사된 VR 환경의 변화와 관련하여 사용자의 시공간 반응 및 행동을 평가할 수 있다. (가령, 손 제어기(108a-b)를 통해) 손 동작 및 (가령, HMD(102)를 통해) 눈 동작을 모두 추적하는 시스템이 하나 이상의 작업을 수행할 때 기능적 시각 능력, 광 조건 및 행동(및 후속 수행)을 추적할 수 있다.
모션 추적 시스템은 관심 있는 사용자 신체 랜드마크(가령, 손, 몸통 위치)뿐만 아니라 디스플레이의 다수의 모션 자유도(위치 및 배향)를 추적할 수 있다. 모션 추적 시스템은 (예를 들어) 인사이드-아웃(inside-out)형(가령, 광학 센서와 심도 센서의 융합, LiDAR(Light Detection and Ranging), 관성 측정 유닛, 자력계) 등일 수 있다. 모션 추적 시스템은 위치 및/또는 배향 및 다른 신체 부위(가령, 손, 팔)에서의 관심 포인트의 위치를 추적할 수 있다. 모션 추적 시스템은 단일 장치 또는 외부 장치의 세트(광학 기반, 적외선 기반, 심도 기반, 초광대역 시스템)가 사용자 및 사용 환경 상의 랜드마크 위치를 직접(가령, 시각 기능을 통해) 또는 추가 신체 장착형, 휴대용, 또는 환경에 배치된 능동(가령, 포토다이오드, IMU, 자기 센서, UWB 수신기) 또는 수동(가령, 반사성 마커) 추적 장치를 통해 추적할 수 있는 추가 구성요소를 포함할 수 있다.
컴퓨팅 장치(110)(가령, 개인용 컴퓨터(PC), 랩톱)는 VR 시스템의 제어 소프트웨어(장면 관리 및 투사, HMD와의 통신, 제어기, 베이스 스테이션)의 적어도 일부를 실행할 수 있다. 컴퓨팅 장치(110)는 (예를 들어) 사용자 데이터를 등록 및 관리하고, 구성 파라미터를 편집 및/또는 선택하는 기능을 제공할 수 있다. 추가로 또는 대안으로 컴퓨팅 장치(110)는 기록된 데이터(예를 들어, 머리 움직임, 눈 움직임, 동공 확장을 나타내는 데이터) 및 사용자 데이터를 관리하고 다른 데이터 인프라구조로의 보안 데이터 전송을 관리할 수 있다. 컴퓨팅 장치(110)는 소프트웨어 프로그램에 정의된 커맨드를 실행하고 디스플레이 및 이용 가능한 선택적 피드백 시스템(가령, 오디오, 햅틱)과의 통신을 핸들링하는 처리 유닛을 포함할 수 있다.
일부 실시예에서, 시스템은 휴대용 제어기의 세트, 모션 추적 시스템, 눈 추적 시스템, 청각적 시스템, 햅틱 피드백 시스템, 및 청각적 입력 시스템 중 임의의 것을 포함할 수 있다.
컴퓨팅 장치(110)는 사용자 동작/상호작용을 캡처 및 기록하고 기록된 센서 데이터 및 사용자 데이터(가령, 사용자 키, 팔 길이, 사용자 식별자)를 관리하기 위한 기능을 제공하여, HMD(102)에 투사된 시각적 장면의 특성을 제어하기 위한 소프트웨어를 포함할 수 있다. 소프트웨어 및 이의 구성은 VR 장면을 제어하고 본 명세서에 기재된 환경을 표시할 수 있다. 소프트웨어는 사용자의 시야와 관련하여 시각적 장면의 투사를 제어할 수 있다. 소프트웨어는 시각적 장면과의 사용자 상호작용을 액션 및 작업의 진행(가령, 다음 단계로 진행)으로 변환할 수 있다. 소프트웨어 프로그램은 사용 가능한 추적 데이터 및 메타 정보의 데이터 로깅을 핸들링할 수도 있다.
소프트웨어는 사용자에 대한 작업의 구현을 위해 하나 이상의 작업을 선택하기 위한 감독 사용자용 모듈을 포함할 수 있다. 소프트웨어는 감독 사용자가 사용자를 등록하고 인구통계적 데이터(가령, 나이), 신체 파라미터(가령, 팔 길이, 키), 눈 파라미터(가령, 동공간 거리) 등을 입력하기 위한 모듈을 포함할 수 있다. 소프트웨어는 감독 사용자가 개별 물리 파라미터(가령, 눈 추적 교정, 팔 도달 범위, 앉은 신체 키)에 따라 시스템을 설정하기 위한 모듈을 더 포함할 수 있다.
소프트웨어는 사전 정의된 시스템 구성을 편집 및/또는 선택하기 위한 기능을 포함할 수 있다. 구성은 평가 파라미터, 가령, 광 조건, 작업 및 하위 작업의 타이밍 및 지속시간, 장면 객체의 콘트라스트, 장면 객체의 크기, 객체 속도, 타깃 객체 분포 및/또는 장면 객체의 구성을 정의할 수 있다. 소프트웨어는 시각적 장면(파노라마 장면) 설정, 가령, 장식이 없는 기본 장면, 도시의 야경 장면, 호텔 로비, 및/또는 숲을 구성할 수 있다. 소프트웨어는 추가 처리 및 분석을 위해 데이터(구성, 사용자, 센서 기록)를 저장하고 안전한 방식으로 다른 인프라로 전송하는 기능을 더 포함할 수 있다.
소프트웨어는 시각 기능의 평가를 위한 작업을 실행할 수 있다. 작업은 사용자가 가상 현실 시스템과 상호작용함으로써 수행되도록 요청된 동작으로 가상 현실 환경을 디스플레이하는 것을 포함할 수 있다. 예를 들어 작업은 객체 선택 작업과 관련될 수 있다. 객체 선택 작업은 복수의 객체의 장면을 디스플레이하고 사용자에게 객체 유형의 장면에서 객체를 식별하도록(가령, 시각적 장면을 시각적으로 구별하거나 텍스트 프롬프트를 읽음으로써) 요청하는 것을 포함할 수 있다. 예를 들어, 이는 테이블 및 다양한 유형의 복수의 가상 객체를 포함하는 장면에서 음식 아이템(가령, 사과)을 식별하는 것을 포함할 수 있다.
작업은 추상적인 객체를 선택하거나 실세계 객체(가령, 컵, 접시, 열쇠)를 렌더링할 때의 사용자 수행도를 측정하기 위한 목표를 포함할 수 있다. 예를 들어, 작업은 움직이는 추상 객체(가령, 움직이는 구체)를 인식, 이에 반응(가령, 움직이는 객체를 선택), 및 회피할 때의 사용자의 수행도를 측정하기 위한 목적을 가진 객체/장애물 상호작용 작업을 포함할 수 있다. 가상 현실 환경에서는 다양한 유형의 작업이 구현될 수 있다. 예를 들어, 작업은 사용자의 시각적 상태에 기초한 구현을 위해 선택되거나, 사전 정의된 방식의 일부로서 선택되거나, 무작위로 선택되는 등일 수 있다.
II.
시각적 장면에서의 선택된 작업의 실행
도 2는 시각적 장면에서의 선택된 작업을 실행하기 위한 예시적인 방법을 예시하는 흐름도(200)를 도시한다. 본 명세서에 기재된 바와 같이, 가상 현실 시스템을 사용하여 다양한 유형의 작업이 구현될 수 있다. 예를 들어, 작업은 본 명세서에 기재된 바와 같이 객체 선택 작업, 객체 상호작용 작업 및/또는 읽기 작업을 포함할 수 있다. 일부 경우에는, 일련의 작업이 순서대로(가령, 무작위 순서, 사용자 입력에 의해 정의된 순서로) 구현될 수 있다.
앞서 기재된 바와 같이, 작업은 가상 현실 디스플레이에 장면을 디스플레이하고 가상 현실 환경에서 수행될 액션을 요청하는 것을 포함할 수 있다. 일부 경우에는, 일련의 작업이 순서에 따라 구현되도록 구성될 수 있으며, 여기서 일련의 작업 중 제1 작업이 완료된 후 제2 작업이 시작될 수 있다(가령, 새로운 장면이 가상 현실 디스플레이에 디스플레이될 수 있고 수행될 새로운 요청된 동작이 제공될 수 있다).
블록(210)에서, 시스템은 작업의 선택을 획득할 수 있다. 이는 순서에 따라 작업 또는 일련의 작업을 개시하기 위한 선택을 식별하는 것을 포함할 수 있다. 예를 들어, 작업은 사용자와 관련된 시각 상태에 기초하여 사용자(또는 감독 사용자)가 제공하는 입력에 기초하여 선택될 수 있다.
블록(220)에서, 시각적 장면은 특정 시각적 특성으로 디스플레이될 수 있다. 특정 광학 특성은 가상 현실 디스플레이의 임의의 특징을 포함할 수 있다. 특정 광학 특성의 예는 광 레벨, 디스플레이 내 가상 객체의 콘트라스트, 텍스트 라벨의 추가, 디스플레이 내 가상 객체의 수/크기/위치, 디스플레이 내 가상 객체의 움직임의 궤적 등을 포함할 수 있다.
시각적 장면은 (가령, 가상 객체를 식별하고, 사용자를 향해 움직이는 가상 객체와 충돌함으로써) 사용자가 상호 작용할 수 있도록 하나 이상의 가상 객체를 디스플레이할 수 있다. 디스플레이되는 시각적 장면은 선택된 작업 특이적일 수 있다.
하나 이상의 특정 광학 특성은 작업의 구현 중에 동적으로 수정될 수 있다. 예를 들어, 동적으로 수정된 특정 광학 특성은 작업의 구현 동안 (가령, 객체를 더 작게 만들기 위해, 텍스트 라벨을 수정하기 위해) 가상 객체의 수정된 크기를 포함할 수 있다. 다른 예로서, 동적으로 수정된 특정 광학 특성은 작업의 구현 중에 가상 현실 디스플레이의 광 레벨을 낮추는 것을 포함할 수 있다.
작업 동안 수정된 광학 특성은 수정된 광학 조건에서 사용자의 기능적 시각 능력을 테스트하기 위해 가상 현실 환경에서 가상 객체와의 상호작용을 가능하게 할 수 있다. 예를 들어, 작업의 구현 동안 광 레벨이 낮아짐에 따라, 작업 동안의 사용자의 수행도(가령, 가상 객체를 식별할 때의 수행도)가 변경될 수 있으며, 이는 사용자의 기능적 시각 능력을 더욱 식별할 수 있다.
블록(230)에서, 센서 데이터는 가상 현실 시스템에 포함된 일련의 센서로부터 획득될 수 있다. 센서 데이터는 시스템 내 센서(가령, 눈 센서의 세트, 베이스 스테이션의 세트, 손 제어기의 세트)로부터 획득될 수 있다. 일련의 센서로부터 획득된 센서 데이터는 후속 처리를 위해 데이터 유형별로 정렬될 수 있다. 예를 들어, 눈 센서로부터의 데이터와 손 제어기로부터의 데이터는 후속 처리를 위해 센서 데이터의 타임 스탬프를 기준으로 별도로 정렬될 수 있다.
획득된 센서 데이터는 가상 현실 환경에서 사용자의 행동의 특성을 도출하도록 처리될 수 있다. 예를 들어, 눈 추적 센서로부터의 데이터는 시간이 지남에 따라 동공 위치를 캡처하며, 이는 실세계 좌표에 매핑될 수 있다.
시간에 따른 실세계 좌표 공간에서 식별된 좌표의 변화가 시간에 따른 객체(가령, 동공)의 움직임을 지정하여 식별될 수 있다. 예를 들어, 일정 지속시간 동안 동공의 식별된 좌표의 변화가 상기 지속시간 동안의 동공의 움직임을 지정할 수 있다. 또 다른 예로서, 실세계 좌표 공간 내 (베이스 스테이션 센서 데이터에 의해 제공된) 머리의 식별된 좌표의 변화는 사용자의 머리의 움직임을 제공할 수 있다.
이하에서 더 상세히 기재될 바와 같이, 공간적 움직임은 센서 데이터를 사용하여 작업 중에 추적될 수 있다. 공간적 움직임은 베이스 스테이션 센서에 의해 캡처된 머리 장착형 디스플레이의 검출된 물리적 움직임을 포함할 수 있다. 예를 들어, 사용자는 사용자의 다양한 시각적 한계를 보상하기 위해 작업과 연관된 요청된 동작을 수행하도록 머리를 움직일 수 있다. 공간적 움직임의 세트는 사용자의 자세 변화, 머리 움직임, 갑작스러운 움직임, 동공 크기, 눈 움직임 등도 식별할 수 있다. 공간적 움직임은 이하에서 기재된 바와 같이 출력에서 제공될 수 있는 제2 수행 메트릭으로 식별될 수 있다.
일부 경우에, 공간적 움직임 세트는 사용자 움직임, 깜박임, 사용자의 동공 크기 등을 지정할 수 있다. 이러한 움직임은 작업의 구현 동안 공간 움직임의 예상 범위에서 벗어나는 변칙적인 동작을 포함할 수 있다. 가상 현실 시스템에 의해 검출된 변칙적인 움직임이나 동작이 출력의 일부로서 제공될 수 있다.
실세계 좌표 공간 내 객체의 식별된 좌표는 가상 현실 환경 내 좌표로 매핑될 수 있다. 예를 들어, 최초 인스턴스에서 사용자의 실세계 좌표 공간 내 동공 위치를 지정하는 좌표가 가상 현실 환경 좌표 공간 내 동공의 방향을 지정할 수 있다. 가상 현실 환경 내 객체의 매핑된 좌표는 아래에 설명된 것처럼 사용자가 가상 객체와 상호작용하는지 여부를 식별하는 데 사용될 수 있다.
블록(240)에서, 사용자의 움직임의 좌표는 시각적 장면의 가상 객체의 좌표에 매핑될 수 있다. 가상 현실 환경 내 사용자(가령, 사용자의 동공, 손, 머리)의 측정된 좌표는 가상 현실 환경 내 가상 객체의 좌표와 비교되어 사용자가 시각적 장면에서 가상 객체와 특정한 방식으로 상호작용했는지 여부를 결정할 수 있다. 예를 들어, 시각적 장면 내 객체의 좌표가 주어진 시점에서 시각적 장면 내 사용자의 손의 좌표로부터 임계 근접 내에 있는 경우 사용자가 특정 방식으로 가상 객체와 상호작용한 것으로 결정될 수 있다.
일부 예에서, 사용자가 특정 방식으로 가상 객체와 상호작용했음을 결정하는 것은 사용자의 손의 매핑된 가상 공간 위치가 가상 객체의 가상 공간 위치에 대응한다는 것을 검출하는 것 및 트리거 검출을 포함할 수 있다. 트리거 이벤트는 손 제어기 상의 트리거 버튼과의 상호작용, 가상 현실 시스템에 의해 검출된 가청 트리거 단어, 지정 시간 동안 가상 객체를 향한 시선 검출 등을 포함할 수 있다. 예를 들어, 사용자의 손의 가상 공간 위치가 가상 객체의 위치에 대한 임계 근접 내에 있고, 손의 가상 공간 위치가 가상 객체의 위치의 임계 근접 내에 있는 것에서 임계 시간 내에 트리거가 검출되는 경우 만족되도록 기준이 구성될 수 있다.
블록(250)에서, 수행 메트릭이 매핑된 좌표로부터 도출될 수 있다. 수행 메트릭은 지정 작업에 대한 사용자의 수행도를 정량화할 수 있다. 예를 들어, 선택된 작업이 객체 선택 작업인 경우, 수행 메트릭은 사용자가 올바르게 식별한 가상 객체의 수와 각 가상 객체를 식별/선택하는 시간을 정량화할 수 있다. 일부 실시예에서, 수행 메트릭은 사용자가 특정 방식으로 상호작용(가령, 올바른 객체 유형 또는 궤적의 가상 객체를 선택)한 가상 객체의 수, 사용자가 또 다른 특정 방식으로 상호작용(가령, 잘못된 객체 유형 또는 잘못된 궤적의 가상 객체를 선택)한 가상 객체의 수, 사용자가 특정 방식으로 (가령, 사용자 및/또는 타깃 유형의 객체의 가상 공간 위치에 대해) 상호작용한 하나 이상의 가상 객체 각각의 가상 공간 위치 등을 표시하거나 이에 기초할 수 있다. 수행 메트릭은 사용자의 기능적 시각 능력을 나타낼 수 있다. 일부 경우에, 블록(250)은 다수의 광학 설정 각각에 대한 수행 메트릭을 도출하는 것을 포함한다.
수행 메트릭을 도출할 때, 작업에 따라 사용자가 상호작용한 가상 객체의 수가 식별될 수 있다. 수행 메트릭은 작업 중에 사용자가 상호작용한 가상 객체의 수를 지정하는 값 또는 일련의 값을 포함할 수 있다. 예를 들어, 수행 메트릭은 사용자가 상호작용한 가상 객체의 수에 기초한 값을 포함할 수 있으며, 사용자가 상호작용한 가상 객체의 수가 많을수록 수행 메트릭의 값이 증가한다.
일부 실시예에서, 수행 메트릭은 시각적 장면에서 동적으로 수정된 광학 특성(들)을 사용하여 작업 완료 시 사용자의 다양한 수행도에 대한 통찰을 제공할 수 있다. 예를 들어, 작업의 수행 동안 시각적 장면의 광 레벨이 감소함에 따라, 가상 객체를 식별할 때의 사용자의 측정 수행도가 감소할 수 있다. 또 다른 예로서, 시각적 장면의 광 레벨이 감소함에 따라 작업에 따른 가상 객체를 선택하거나 상호작용하는 사용자의 수행도가 감소하는지 여부가 판단될 수 있다. 수행 메트릭은 가상 현실 환경의 광 레벨이 감소함에 따라 사용자의 수행도(가령, 사용자가 올바르게 식별한 가상 객체의 수)이 감소했음을 식별할 수 있다.
일부 실시예에서, 작업 동안 사용자의 공간적 움직임에 기초하여 제2 수행 메트릭이 도출될 수 있다. 제2 수행 메트릭이 제1 수행 메트릭과 함께 사용되어 출력에 표시된 대로 다수의 데이터세트를 생성할 수 있다.
센서 데이터의 세트(가령, 눈 추적 센서(104a-b), 손 제어기(108a-b), 베이스 스테이션 센서(106a-b)로부터 획득된 데이터)는 처리되어 작업의 구현 동안 머리 장착형 디스플레이의 공간적 움직임을 도출할 수 있다. 공간적 움직임은 가상 객체와 상호작용할 때 사용자의 머리 움직임을 나타낼 수 있다. 이러한 공간적 움직임은 사용자의 기능적 시각 능력을 더욱 정량화할 수 있는데, 더 많은 공간적 움직임은 일반적으로 가상 객체를 올바르게 식별하는 데 필요한 노력의 증가된 수준을 나타낼 수 있기 때문이다. 예를 들어, 사용자가 제한된 주변 시야를 갖는 경우, 사용자는 시각적 장면에서 객체를 식별하기 위해 머리를 움직여서 제한된 주변 시야를 보상할 수 있다. 검출된 공간적 움직임은 이하에 기재된 대로 출력에 표현될 수 있는 이러한 제한을 정량화할 수 있다.
제2 수행 메트릭은 도출된 공간적 움직임에 기초하여 생성될 수 있다. 제2 수행 메트릭은 작업을 수행하는 동안 사용자의 머리 움직임을 정량화하여, 작업 중 공간적 움직임의 수와 크기를 정량화하는 값을 포함할 수 있다. 제1 수행 메트릭 및 제2 수행 메트릭 모두를 나타내도록 출력이 업데이트될 수 있다. 출력은 사용자의 기능적 시각 능력과 가상 현실 환경에서 가상 객체와 상호작용하는 사용자의 공간적 움직임을 정량화할 수 있다.
블록(260)에서, 출력이 생성될 수 있다. 출력은 작업의 구현 동안 사용자의 수행도 및/또는 작업의 구현 동안 사용자의 공간적 움직임에 대한 표현을 제공할 수 있다. 예를 들어, 수행 메트릭은 작업의 구현 중에 사용자가 상호작용한 가상 객체를 나타내는 일련의 값을 포함할 수 있다. 시스템은 출력으로 수행 메트릭을 그래픽적으로 표현하여 작업의 구현 중에 사용자가 상호작용한 가상 객체의 시각적 표현을 제공할 수 있다. 출력이 분석되어 사용자의 다양한 눈 상태(optical condition)를 식별하는 데 도움을 줄 수 있다. 출력은 도 5와 관련하여 더 자세히 논의된다.
도 3은 객체 선택 작업의 가상 환경 디스플레이(300)의 예를 도시한다. 예를 들어, 도 3에서, 다수의 가상 객체가 가상 환경 디스플레이에 묘사될 수 있다. 예를 들어, 시각적 장면은 제1 유형의 가상 객체(302), 제2 유형의 가상 객체(304a-b) 및 제3 유형의 가상 객체(306a-c)를 포함할 수 있다. 사용자는 객체의 장면에서 가상 객체를 식별함으로써 시각적 장면에서의 가상 객체와 상호작용할 수 있다. 예를 들어, 사용자(308)의 위치가 가상 환경 디스플레이(300)에 제공될 수 있고 디스플레이(300)는 사용자에 의해 검출된 움직임에 기초하여 수정될 수 있다. 또한, 사용자는 가상 객체 위로 사용자의 위치를 지향시키고 트리거를 제공함(예를 들어, 손 제어기 상의 버튼을 누름)으로써 가상 객체를 선택할 수 있다. 일부 실시예에서, 햅틱 자극이 피드백으로서 객체의 선택에 응답하여 디스플레이될 수 있다. 예를 들어, 객체의 올바른 선택 또는 잘못된 선택에 기초하여 소리 자극이 제공될 수 있다.
도 3에 나타난 바와 같이, 작업은 객체 선택 작업을 포함할 수 있다. 객체 선택 작업의 목적(또는 요청된 동작)은 가상 테이블 상에 정의된 방식으로 확산되어 있는 정의된 수의 선택 요소 객체 중에서 추상적 타깃 객체를 선택하는 것일 수 있다. 어떤 경우에는, 객체 선택 작업은 객체의 장면 내에서 찾고 선택할 다양한 객체 유형을 지정할 수 있다. 예를 들어, 다양한 객체 유형(가령, 음식 아이템, 개인 아이템, 무작위 객체)이 있는 테이블을 포함하는 장면에서, 가상 현실 시스템은 제1 객체 유형의 선택을 프롬프트(가령, 테이블 위에 위치한 사과를 식별하라는 프롬프트)할 수 있다. 따라서, 이 예에서, 사용자가 상호작용하는 다수의 객체는 객체 선택 작업 동안 선택이 프롬프트된 객체 유형의 객체를 포함할 수 있다.
객체의 수, 객체의 특성, 객체의 콘트라스트, 광 조건, 타이밍, 각 작업 및 각 시도의 지속시간, 객체의 확산도, 객체 모양, 객체 내용물(가령, 객체가 텍스트로 채워져 있는지 여부), 테이블의 기하학적 형상이 구성 가능할 수 있다. 다양한 측정치, 가령, 객체 선택 수행도(가령, 올바른 선택과 잘못된 선택 모두), 각 객체의 선택 시간, 시선 방향, 머리 위치 및 움직임, 손 위치, 움직임 및 속도, 상체 자세, 눈 파라미터(시간 경과에 따른 동공 크기, 고정, 단속 운동)가 획득될 수 있다. 작업의 결과는 기능적 시각 능력에 대한 제한이 있거나 없는 사용자를 구별하고, 질병 상태 및 진행을 평가하며, 치료 결과를 평가하는 데 적합한 시각적 기능의 지표로서 광과 콘트라스트 조건의 함수로서의 수행도일 수 있다.
일부 실시예에서, 작업의 특성은 작업의 실행 동안의 사용자의 수행도에 기초하여 수정될 수 있다. 예를 들어, 작업의 난이도(가령, 환경 내 객체의 수, 환경 내 움직이는 객체의 속도, 광 설정)는 작업 중 사용자의 수행도에 따라 증가하거나 감소할 수 있다.
도 4는 객체 상호작용 작업의 가상 환경 디스플레이(400)의 예를 도시한다. 객체 상호작용 작업의 목적은 움직이는 가상 객체(404, 406)를 인식하고 그러한 객체와의 충돌을 피하는 것일 수 있다. 사용자의 위치를 향해 움직이는 가상 객체와의 충돌을 피하는 것은 가상 객체를 선택하는 것(예를 들어, 손 제어기를 사용하여 가상 객체와 "충돌하는" 것)을 포함할 수 있다. 어떤 경우에는 사용자의 움직임이 들어오는 가상 객체를 피하기 위한 것일 수 있다.
작업의 구현 동안, 머리 장착형 디스플레이와 상호작용하는 사용자는 눈/머리를 움직여 시각적 장면에서 사용자(402)의 가상 위치를 이동시켜 들어오는 객체를 선택할 수 있다(예를 들어, 충돌할 가상 객체(404)를 선택). 가상 객체 수, 객체의 특성, 객체의 콘트라스트, 광 조건, 객체의 속력, 객체가 생성된 위치, (가령, HMD를 통해) 객체가 사용자에게 전달되는 방향 및 위치, 작업의 타이밍과 지속시간, 및 작업의 각 시도 중 임의의 것.
이 작업 동안 캡처될 수 있는 측정치는 선택된(터치된, 놓친, 무시된) 객체의 수, 선택까지 걸린 시간, 객체가 선택된/놓쳐진 장면 반구, 시선 방향, 머리 위치 및 움직임, 손 위치, 움직임, 및 속도, 상체 자세, 및 눈 파라미터(시간 경과에 따른 동공 크기, 고정, 단속 운동)에 의해 반영되는 수행도를 포함할 수 있다. 작업의 출력은 기능적 시각 능력에 대한 제한이 있거나 없는 사용자를 구별하고, 질병 상태 및 진행을 평가하며, 치료 결과를 평가하는 데 적합한 시각적 기능의 지표로서 광, 콘트라스트, 및/또는 객체 조건의 함수로서의 수행도일 수 있다.
일부 실시예에서, 작업은 읽기 기반 작업을 포함할 수 있다. 읽기 기반 작업은 가상 현실 환경 상에 디스플레이되는 텍스트에 기초하여 대응하는 동작을 수행하라는 요청을 포함할 수 있다. 예를 들어, 읽기 기반 작업은 텍스트 요소(가령, 버스 일정을 나타내는 버스 정류장 표지판)를 포함하는 장면을 디스플레이하는 것을 포함할 수 있다. 이 작업에서, 가상 현실 시스템과 상호작용하는 사용자는 예를 들어 표지판에 표시된 버스를 식별하라는 요청을 받는다. 읽기 기반 작업의 양태가 본 명세서에 기재된 임의의 다른 작업으로 통합될 수 있다.
일부 실시예에서, 작업은 교정 작업(calibration task)을 포함할 수 있다. 교정 작업은 시각적 장면을 표시하고 장면의 측면을 수정하여 획득된 데이터, 시스템의 제어 등의 품질을 높이는 것을 포함할 수 있다. 예를 들어, 가상 객체는 교정 작업 동안 수정되어 작업의 양태를 교정할 수 있다. 교정은 시각 기능에 대한 표준 평가의 구현으로 구성될 수 있다. 교정은 사용자의 특징, 가령, 사용자의 키를 식별하는 것을 더 포함할 수 있으며, 여기서 작업은 사용자의 특징에 기초하여 적응될 수 있다.
III.
출력 생성
도 5는 작업 동안 사용자의 수행도를 나타내는 예시적인 출력(500)을 도시한다. 도 5에 도시된 바와 같이, 출력은 작업의 구현 중 사용자의 수행도를 정량화할 수 있다. 출력은 본 명세서에 기재된 바와 같이 도출된 수행 메트릭(들)에 기초할 수 있다.
도 5에 도시된 예에서, 출력(500)은 작업의 수행의 각 부분 동안 사용자가 상호작용하는 가상 객체의 수를 정량화할 수 있다. 작업의 각 부분 동안의 사용자의 수행도를 지정하는 수행 메트릭에 기초하여 출력이 생성될 수 있다. 제1 추세선(가령, 실선)을 예시하는 각각의 포인트(가령, 502a-d)는 제1 수행 메트릭으로 표현되는 바와 같이, 작업의 부분 동안 사용자가 상호작용하는 객체의 수를 포함할 수 있다. 출력은 작업의 구현 동안 사용자의 수행도를 정량화할 수 있으며, 이는 분석되어 사용자의 다양한 기능적 시각 능력을 식별할 수 있다.
출력은 또한 작업의 구현 동안 사용자의 다양한 공간적 움직임을 나타낼 수 있다. 본 명세서에 기재된 제2 수행 메트릭은 작업의 일부 동안 작업의 수행에서의 공간 움직임의 수/크기를 지정할 수 있다. 제2 추세선(가령, 점선)을 나타내는 각각의 포인트(504a-d)는 제2 수행 메트릭에 지정된 대로 작업의 부분들의 수행 동안의 사용자의 공간적 움직임을 정량화할 수 있다.
예를 들어, 증가된 공간적 움직임은 사용자가 저 광량 조건의 시각적 장면에서 가상 객체를 식별하려는 노력을 증가시켰음을 나타낼 수 있다. 제2 수행 메트릭을 포함하는 출력은 작업을 수행하는 데 있어 사용자의 긴장을 나타낼 수 있는 작업 구현 중 공간적 움직임의 예시를 제공할 수 있다.
일부 경우에, 센서 데이터의 세트는 사용자에 의해 수행되는 다양한 움직임 또는 동작, 가령, 갑작스러운 움직임, 눈 깜박임, 동공 크기의 변화 등을 캡처할 수 있다. 이러한 동작 중 다수는 본질적으로 변칙적일 수 있으며(가령, 예상되는 일련의 동작에서 벗어나는 유형 또는 크기) 사용자의 다양한 시각적 제한을 나타낼 수 있다. 출력은 작업의 구현 중에 검출된 비정상적인 이벤트의 발생의 동작 유형 및 시간을 지정할 수 있다.
일부 실시예에서, 출력은 작업을 실행하는 동안 가상 객체와의 상호 작용이 있었던 시각적 장면 내 영역에 대한 그래픽 표현을 제공할 수 있다. 예를 들어, 그래픽 표현은 가상 객체의 위치를 포함하는 시각적 장면의 영역(가령, 사분면)을 식별하는 히트맵을 제공할 수 있다. 히트맵은 사용자가 가상 객체를 식별한 영역과 사용자의 시각이 다양한 기능적 시각 능력을 갖는 대응하는 영역에 대한 통찰을 제공할 수 있다.
IV.
컴퓨팅 환경
도 6은 본 명세서에 개시된 실시예 중 일부를 구현하기 위한 컴퓨터 시스템(600)의 예를 도시한다. 컴퓨터 시스템(600)은 분산 아키텍처를 가질 수 있으며, 여기서 구성요소 중 일부(가령, 메모리 및 프로세서)는 최종 사용자 장치의 일부이고 일부 다른 유사한 구성요소(가령, 메모리 및 프로세서)는 컴퓨터 서버의 일부이다. 컴퓨터 시스템(600)은 적어도 프로세서(602), 메모리(604), 저장 장치(606), 입/출력(I/O) 주변 장치(608), 통신 주변 장치(610) 및 인터페이스 버스(612)를 포함한다. 인터페이스 버스(612)는 컴퓨터 시스템(600)의 다양한 구성요소 사이에서 데이터, 제어 및 커맨드를 통신, 송신 및 전송하도록 구성된다. 프로세서(602)는 하나 이상의 처리 장치, 가령, CPU, GPU, TPU, 시스톨릭 배열(systolic array), 또는 SIMD 프로세서를 포함할 수 있다. 메모리(604) 및 저장 장치(606)는 컴퓨터 판독 가능 저장 매체, 가령, RAM, ROM, 전기 소거 가능 프로그램 가능 리드 온리 메모리(EEPROM), 하드 드라이브, CD-ROM, 광학 저장 장치, 자기 저장 장치, 전자 비휘발성 컴퓨터 저장장치, 가령, 플래시 메모리, 및 그 밖의 다른 유형의 저장 매체를 포함한다. 이러한 컴퓨터 판독 가능 저장 매체 중 임의의 것은 본 개시의 양태들을 구현하는 명령 또는 프로그램 코드를 저장하도록 구성될 수 있다. 메모리(604)와 저장 장치(606)는 또한 컴퓨터 판독 가능 신호 매체를 포함한다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드가 내장된 전파되는 데이터 신호를 포함한다. 이러한 전파된 신호는 전자기적, 광학적 또는 이들의 조합을 포함하지만 이에 제한되지 않는 다양한 형태를 취한다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니고 컴퓨터 시스템(600)과 관련하여 사용되기 위한 프로그램을 통신, 전파, 또는 이동시킬 수 있는 임의의 컴퓨터 판독 가능 매체를 포함한다.
또한, 메모리(604)는 운영 체제, 프로그램 및 애플리케이션을 포함한다. 프로세서(602)는 저장된 명령을 실행하도록 구성되며, 예를 들어 논리 처리 장치, 마이크로프로세서, 디지털 신호 프로세서 및 그 밖의 다른 프로세서를 포함한다. 메모리(604) 및/또는 프로세서(602)는 가상화될 수 있으며, 예를 들어 클라우드 네트워크 또는 데이터 센터의 다른 컴퓨팅 시스템 내에 호스팅될 수 있다. I/O 주변 장치(608)는 사용자 인터페이스, 가령, 키보드, 스크린(가령, 터치 스크린), 마이크로폰, 스피커, 그 밖의 다른 입/출력 장치, 및 컴퓨팅 구성요소, 가령, 그래픽 처리 장치, 직렬 포트, 병렬 포트, 전역 직렬 버스, 및 그 밖의 다른 입/출력 주변 장치를 포함한다. I/O 주변 장치(608)는 인터페이스 버스(612)에 결합된 포트 중 임의의 것을 통해 프로세서(602)에 연결된다. 통신 주변 장치(610)는 통신 네트워크를 통해 컴퓨터 시스템(600)과 타 컴퓨팅 장치 간 통신을 용이하게 하도록 구성되며, 예를 들어 네트워크 인터페이스 제어기, 모뎀, 무선 및 유선 인터페이스 카드, 안테나, 및 그 밖의 다른 통신 주변 장치를 포함한다.
본 주제가 특정 실시예와 관련하여 상세하게 설명되었지만, 통상의 기술자는 전술한 내용을 이해하면 이러한 실시예의 변경, 변형 및 균등 예를 쉽게 생성할 수 있음을 알 것이다. 따라서, 본 개시 내용은 한정이 아닌 예시의 목적으로 제시되었으며, 통상의 기술자에게 쉽게 자명할 수 있는 본 주제에 대한 이러한 수정, 변경 및/또는 추가의 포함을 배제하지 않는다는 것이 이해되어야 한다. 실제로, 본 명세서에 기재된 방법과 시스템은 다양한 다른 형태로 구현될 수 있으며, 또한, 본 개시의 사상에서 벗어나지 않고, 본 명세서에 기재된 방법 및 시스템의 형태에 대한 다양한 생략, 치환 및 변경이 이루어질 수 있다. 첨부된 청구범위 및 그 균등 예는 본 개시의 범위 및 사상 내에 속하는 형태 또는 수정을 포괄하도록 의도된다.
달리 구체적으로 언급하지 않는 한, 본 명세서 전반에 걸쳐 "처리", "컴퓨팅", "계산", "결정" 및 "식별" 등과 같은 용어를 사용하는 논의는 컴퓨팅 플랫폼의 메모리, 레지스터, 또는 그 밖의 다른 정보 저장 장치, 전송 장치, 또는 디스플레이 장치 내 전자적 또는 자기적 물리량으로서 표현되는 데이터를 조작 또는 변환하는 컴퓨팅 장치, 가령, 하나 이상의 컴퓨터 또는 유사한 전자 컴퓨팅 장치의 동작 또는 프로세스를 지칭하는 것으로 이해된다.
본 명세서에 논의된 시스템 또는 시스템들은 임의의 특정 하드웨어 아키텍처 또는 구성으로 제한되지 않는다. 컴퓨팅 장치는 하나 이상의 입력에 따라 조절된 결과를 제공하는 구성요소의 임의의 적절한 배열을 포함할 수 있다. 적합한 컴퓨팅 장치는 범용 컴퓨팅 장치로부터 본 주제의 하나 이상의 실시예를 구현하는 특수 컴퓨팅 장치까지 컴퓨팅 시스템을 프로그래밍하거나 구성하는 저장된 소프트웨어에 액세스하는 다목적 마이크로프로세서 기반 컴퓨팅 시스템을 포함한다. 임의의 적합한 프로그래밍, 스크립팅, 또는 그 밖의 다른 유형의 언어 또는 언어의 조합이 본 명세서에 포함된 교시를 컴퓨팅 장치를 프로그래밍하거나 구성하는 데 사용되는 소프트웨어로 구현하는 데 사용될 수 있다.
본 명세서에 개시된 방법의 실시예는 그러한 컴퓨팅 장치의 동작으로 수행될 수 있다. 상기 예에 제시된 블록의 순서는 다양할 수 있는데, 예를 들어 블록은 재정렬, 결합 및/또는 하위 블록으로 분할될 수 있다. 특정 블록이나 프로세스가 병렬로 수행될 수 있다.
본 명세서에서 사용된 조건부 언어, 가령, "~일 수 있다(can)", "~일 수 있다(could)", "~일 수 있다(might)", "~일 수 있다(may)", "가령(e.g.)" 등이, 특별히 달리 언급되지 않는 한, 또는 사용된 맥락 상에서 달리 이해되지 않는 한, 일반적으로 특정 예시가 특정 특징, 요소 및/또는 단계를 포함하지만 다른 예시는 포함하지 않음을 전달하기 위한 의도를 가진다. 따라서 이러한 조건부 언어는 일반적으로 특징, 요소 및/또는 단계가 하나 이상의 예에 어떤 방식으로든 필요하다는 것을 의미하거나 하나 이상의 예가 작성자 입력 또는 프롬프트 유무에 관계없이, 임의의 특정 예시에서 이들 특징, 요소 및/또는 단계가 포함되거나 수행될지 여부를 결정하기 위한 로직을 반드시 포함함을 의미하는 것은 아니다.
"포함하는(comprising)", "포함하는(including)", "갖는(having)" 등의 용어는 동의어이며 개방형 방식으로 포괄적으로 사용되며 추가 요소, 특징, 행위, 동작 등을 배제하지 않는다. 또한 "또는"이라는 용어는 (배타적인 의미가 아닌) 포괄적인 의미로 사용되므로, 예를 들어 요소들의 목록을 연결하는 데 사용될 때 "또는"이라는 용어는 상기 목록 내 요소들 중 하나, 일부 또는 전부를 의미한다. 본 명세서에서 "~하도록 적응된" 또는 "~하도록 구성된"의 사용은 추가 작업 또는 단계를 수행하도록 적응되거나 구성된 장치를 배제하지 않는 개방적이고 포괄적인 언어를 의미한다. 또한 "~에 기초하여"의 사용은 하나 이상의 언급된 조건 또는 값"에 기초한" 프로세스, 단계, 계산, 또는 그 밖의 다른 동작이, 실제로, 언급된 것이 아닌 추가 조건 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적임을 의미한다. 마찬가지로 "~에 적어도 부분적으로 기초하여"의 사용은 하나 이상의 언급된 조건 또는 값"에 적어도 부분적으로 기초한" 프로세스, 단계, 계산, 또는 그 밖의 다른 동작이, 실제로, 언급된 것이 아닌 추가 조건 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적임을 의미한다. 본 명세서에 포함된 제목, 목록 및 넘버링은 단지 설명의 편의를 위한 것이며 한정을 의도하지 않는다.
전술한 다양한 특징 및 프로세스는 서로 독립적으로 사용될 수 있거나 다양한 방식으로 결합될 수 있다. 모든 가능한 조합 및 하위 조합은 본 개시의 범위 내에 속하도록 의도된다. 또한, 일부 구현에서는 특정 방법이나 프로세스 블록이 생략될 수 있다. 본 명세서에 기재된 방법 및 프로세스는 또한 임의의 특정 순서로 제한되지 않으며, 이와 관련된 블록 또는 상태는 적절한 다른 순서로 수행될 수 있다. 예를 들어, 기재된 블록 또는 상태는 구체적으로 개시된 순서 이외의 순서로 수행될 수 있거나, 다수의 블록 또는 상태가 단일 블록 또는 상태로 결합될 수 있다. 예시적인 블록 또는 상태는 직렬, 병렬 또는 다른 방식으로 수행될 수 있다. 블록 또는 상태는 개시된 예에 추가되거나 제거될 수 있다. 마찬가지로, 본 명세서에 기재된 예시적인 시스템 및 구성요소가 기재된 것과 상이하게 구성될 수 있다. 예를 들어, 개시된 예에 비해 요소가 추가되거나, 제거되거나, 재배열될 수 있다.
Claims (20)
- 가상 현실 환경을 통한 사용자의 기능적 시각 능력을 측정하기 위한 방법으로서, 상기 방법은,
가상 현실 환경에서 실행될 작업을 식별하는 단계 - 상기 가상 현실 환경은 머리 장착형 디스플레이에 의해 디스플레이되고, 상기 가상 현실 환경의 디스플레이는 작업의 실행 중에 동적으로 수정되는 적어도 하나의 광학 설정을 포함함 - ,
상기 작업의 실행을 용이하게 하는 단계 - 상기 작업의 실행은 상기 머리 장착형 디스플레이에 의해 상기 가상 현실 환경의 디스플레이에 복수의 가상 객체를 디스플레이하는 것을 포함함 - ,
상기 작업의 실행 중에, 센서의 세트로부터 센서 데이터의 세트를 획득하는 단계,
상기 센서 데이터의 세트를 처리하여, 사용자에 의해 지시된 상기 가상 현실 환경 내 움직임을 나타내는 제1 좌표 세트를 상기 가상 현실 환경 내 복수의 가상 객체의 위치를 지정하는 제2 좌표 세트와 매핑하는 단계,
매핑된 좌표에 기초하여 제1 수행 메트릭을 도출하는 단계, 및
상기 제1 수행 메트릭에 기초하여 출력을 생성하는 단계 - 상기 출력은 상기 가상 현실 환경 내 동적으로 수정되는 광학 설정으로 사용자의 기능적 시각 능력을 정량화함 - 를 포함하는, 방법. - 제1항에 있어서, 적어도 하나의 광학 설정은 상기 작업의 실행 중에 제1 설정에서 제2 설정으로 동적으로 수정되고, 상기 광학 설정은 광도 설정, 가상 객체 콘트라스트 설정, 및 동적으로 수정되는 휘도 설정 중 임의의 것을 포함하는, 방법.
- 제1항에 있어서,
상기 센서 데이터의 세트를 처리하여, 상기 작업의 실행 중에 상기 머리 장착형 디스플레이의 공간적 움직임을 도출하는 단계 - 상기 공간적 움직임은 상기 가상 객체와 상호작용할 때의 사용자의 머리 움직임을 나타냄 - ,
도출된 공간적 움직임에 기초하여 제2 수행 메트릭을 생성하는 단계, 및
상기 제1 수행 메트릭과 상기 제2 수행 메트릭 모두를 나타내기 위해 상기 출력을 업데이트하는 단계 - 상기 출력은 사용자의 기능적 시각 능력과, 상기 가상 객체와 상호작용하는 사용자의 공간적 움직임을 정량화함 - 를 더 포함하는, 방법. - 제1항에 있어서, 상기 센서의 세트는,
상기 머리 장착형 디스플레이 내에 배치되고 사용자의 눈 움직임을 추적하도록 구성된 눈 추적 센서,
상기 머리 장착형 디스플레이 내에 배치되고 상기 머리 장착형 디스플레이의 공간적 움직임을 식별하도록 구성된 베이스 스테이션 센서, 및
사용자의 손 움직임 및/또는 트리거링 이벤트를 추적하도록 구성된 손 제어기 센서를 포함하는, 방법. - 제1항에 있어서, 상기 작업은 작업의 세트로부터 식별되고, 상기 작업의 세트의 각 작업은 사용자와 관련된 특정 눈 상태와 관련되는, 방법.
- 제1항에 있어서, 상기 작업은 객체 선택 작업을 포함하고, 상기 객체 선택 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을 가상 객체를 포함하는 위치에 매핑하여 각각의 가상 객체를 식별하는, 방법.
- 제1항에 있어서, 상기 작업은 객체 상호작용 작업을 포함하고, 상기 객체 상호작용 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을 매핑하여 상기 가상 현실 환경 디스플레이 내 사용자의 위치를 향해 움직이는 가상 객체의 위치를 선택하는, 방법.
- 가상 환경 시스템으로서,
가상 현실 환경을 디스플레이하도록 구성된 머리 장착형 디스플레이, 및
컴퓨팅 장치를 포함하며, 상기 컴퓨팅 장치는,
하나 이상의 데이터 프로세서, 및
상기 하나 이상의 데이터 프로세서에서 실행될 때, 상기 하나 이상의 데이터 프로세서로 하여금 방법을 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함하며, 상기 방법은,
상기 머리 장착형 디스플레이에 의해 상기 가상 현실 환경에서 실행될 작업을 식별하는 단계,
상기 작업의 실행을 용이하게 하는 단계 - 상기 작업의 실행은 상기 머리 장착형 디스플레이에 의해 상기 가상 현실 환경의 디스플레이에 복수의 가상 객체를 디스플레이하는 것을 포함함 - ,
상기 작업의 실행 중에, 센서의 세트로부터 센서 데이터의 세트를 획득하는 단계,
상기 센서 데이터의 세트를 처리하여 사용자에 의해 상호작용되는 복수의 가상 객체의 서브세트 및 상기 복수의 가상 객체의 각각의 서브세트와 상호작용한 시간을 식별하는 단계,
상기 사용자와 상호작용되는 복수의 가상 객체의 상기 서브세트 및 상기 복수의 가상 객체의 각각의 서브세트와 상호작용한 시간에 기초하여 제1 수행 메트릭을 도출하는 단계, 및
상기 제1 수행 메트릭에 기초하여 출력을 생성하는 단계 - 상기 출력은 상기 가상 현실 환경 내 동적으로 수정되는 광학 설정으로 사용자의 기능적 시각 능력을 정량화함 - 를 포함하는, 가상 환경 시스템. - 제8항에 있어서, 상기 센서 데이터의 세트를 처리하여 사용자에 의해 상호작용되는 가상 객체의 서브세트를 식별하는 단계는,
사용자에 의해 지시된 상기 가상 현실 환경 내 움직임을 나타내는 제1 좌표 세트를, 상기 가상 현실 환경 내 복수의 가상 객체의 위치를 지정하는 제2 좌표 세트와 매핑하는 단계를 더 포함하는, 가상 환경 시스템. - 제9항에 있어서, 상기 방법은,
사용자의 손 움직임을 추적하도록 구성된 손 제어기 센서에서 트리거 액션을 검출하는 단계 - 상기 트리거 액션은 복수의 가상 객체 중 하나의 식별을 나타내며, 상기 센서 데이터의 세트를 처리하여 상기 사용자에 의해 상호작용되는 복수의 가상 객체의 서브세트를 식별하는 것은 제1 좌표 세트를 제2 좌표 세트와 매핑하는 것과 상기 트리거 액션을 검출하는 것 모두를 포함함 - 를 더 포함하는, 가상 환경 시스템. - 제10항에 있어서, 상기 방법은,
상기 머리 장착형 디스플레이 내에 배치되고 사용자의 눈 움직임을 추적하도록 구성된 눈 추적 센서, 및
상기 머리 장착형 디스플레이 내에 배치되고 상기 머리 장착형 디스플레이의 공간적 움직임을 추적하도록 구성된 베이스 스테이션 센서 - 상기 눈 추적 센서 및 베이스 스테이션 센서는 상기 센서 데이터의 세트를 획득하도록 구성됨 - 를 더 포함하는, 가상 환경 시스템. - 제8항에 있어서, 상기 작업은 객체 선택 작업을 포함하고, 상기 객체 선택 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을 지정된 가상 객체 유형의 가상 객체를 포함하는 위치에 매핑하여, 상기 복수의 가상 객체를 포함하는 장면 내 상기 지정된 가상 객체 유형의 각각의 가상 객체를 식별하는, 가상 환경 시스템.
- 제9항에 있어서, 상기 작업은 객체 상호작용 작업을 포함하고, 상기 객체 상호작용 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을, 상기 제2 좌표 세트에서 지정된, 상기 가상 현실 환경 디스플레이 내 가상 객체의 위치와 매칭하는 것으로 매핑하는, 가상 환경 시스템.
- 제8항에 있어서, 상기 방법은,
상기 센서 데이터의 세트를 처리하여 상기 작업의 실행 중에 상기 머리 장착형 디스플레이의 공간적 움직임을 도출하는 단계 - 상기 공간적 움직임은 상기 작업 중에 상기 가상 객체와 상호작용하기 위한 사용자의 머리 움직임을 나타냄 - ,
도출된 공간적 움직임에 기초하여 제2 수행 메트릭을 생성하는 단계, 및
상기 제1 수행 메트릭과 상기 제2 수행 메트릭 모두를 나타내도록 상기 출력을 업데이트하는 단계 - 상기 출력은 사용자의 기능적 시각 능력과, 상기 가상 객체와 상호작용하는 사용자의 공간적 움직임을 정량화함 - 를 더 포함하는, 가상 환경 시스템. - 컴퓨터로 구현되는 방법으로서,
가상 현실 환경에서 실행될 작업을 식별하는 단계 - 상기 가상 현실 환경은 머리 장착형 디스플레이에 의해 디스플레이되도록 구성되고, 상기 가상 현실 환경의 디스플레이는 작업의 실행 중에 동적으로 수정되는 적어도 하나의 광학 설정을 포함함 - ,
상기 작업의 실행을 용이하게 하는 단계 - 상기 작업의 실행은 상기 머리 장착형 디스플레이에 의해 상기 가상 현실 환경의 디스플레이에 복수의 가상 객체를 디스플레이하는 것을 포함함 - ,
상기 작업의 실행 중에, 센서의 세트로부터 센서 데이터의 세트를 획득하는 단계,
상기 센서 데이터의 세트를 처리하여, 사용자에 의해 지시된 상기 가상 현실 환경 내 움직임을 나타내는 제1 좌표 세트를 상기 가상 현실 환경 내 복수의 가상 객체의 위치를 지정하는 제2 좌표 세트와 매핑하는 단계,
매핑된 좌표에 기초하여 제1 수행 메트릭을 도출하는 단계,
상기 센서 데이터의 세트를 처리하여 상기 작업의 실행 중의 상기 머리 장착형 디스플레이의 공간적 움직임을 도출하는 단계 - 상기 공간적 움직임은 상기 작업 중에 상기 가상 객체와 상호작용하기 위한 사용자의 머리 움직임을 나타냄 - ,
도출된 공간적 움직임에 기초하여 제2 수행 메트릭을 도출하는 단계, 및
상기 제1 수행 메트릭 및 상기 제2 수행 메트릭에 기초하여 출력을 생성하는 단계 - 상기 출력은 상기 가상 현실 환경 내 동적으로 수정되는 광학 설정으로 상기 가상 객체와 상호작용하기 위한 사용자의 기능적 시각 능력을 정량화함 - 를 포함하는, 컴퓨터로 구현되는 방법. - 제15항에 있어서, 상기 적어도 하나의 광학 설정은 상기 작업의 실행 중에 제1 설정에서 제2 설정으로 동적으로 수정되고, 상기 광학 설정은 광도 설정, 가상 객체 콘트라스트 설정, 동적으로 수정되는 휘도 설정, 상기 가상 현실 환경 내 디스플레이되는 복수의 가상 객체의 수, 상기 가상 현실 환경 내 디스플레이되는 복수의 가상 객체의 움직임의 궤적, 및 상기 가상 현실 환경 내 복수의 가상 객체의 위치 중 임의의 것을 포함하는, 컴퓨터로 구현되는 방법.
- 제15항에 있어서, 상기 센서의 세트는,
상기 머리 장착형 디스플레이 내에 배치되고 사용자의 눈 움직임을 추적하도록 구성된 눈 추적 센서,
상기 머리 장착형 디스플레이 내에 배치되고 상기 머리 장착형 디스플레이의 공간적 움직임을 추적하도록 구성된 베이스 스테이션 센서, 및
사용자의 손 움직임을 추적하도록 구성된 손 제어기 센서를 포함하는, 컴퓨터로 구현되는 방법. - 제15항에 있어서, 상기 작업은 작업의 세트로부터 식별되고, 상기 작업의 세트의 각 작업은 사용자와 관련된 특정 눈 상태와 관련되는, 컴퓨터로 구현되는 방법.
- 제15항에 있어서, 상기 작업은 객체 선택 작업을 포함하고, 상기 객체 선택 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을, 가상 객체를 포함하는 위치에 매핑하여 각각의 가상 객체를 식별하는, 컴퓨터로 구현되는 방법.
- 제15항에 있어서, 상기 작업은 객체 상호작용 작업을 포함하고, 상기 객체 상호작용 작업은 상기 가상 현실 환경 디스플레이 내 사용자에 의한 움직임을 상기 가상 현실 환경 디스플레이 내 가상 객체의 위치를 회피하는 것으로 매핑하는, 컴퓨터로 구현되는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163211930P | 2021-06-17 | 2021-06-17 | |
| US63/211,930 | 2021-06-17 | ||
| PCT/US2022/032180 WO2022265869A1 (en) | 2021-06-17 | 2022-06-03 | Virtual reality techniques for characterizing visual capabilities |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240015687A true KR20240015687A (ko) | 2024-02-05 |
Family
ID=82483137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237045464A KR20240015687A (ko) | 2021-06-17 | 2022-06-03 | 시각 능력을 특성화하기 위한 가상 현실 기법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20240122469A1 (ko) |
| EP (1) | EP4355193A1 (ko) |
| JP (1) | JP2024523315A (ko) |
| KR (1) | KR20240015687A (ko) |
| CN (1) | CN117677338A (ko) |
| AU (1) | AU2022293326A1 (ko) |
| WO (1) | WO2022265869A1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170262049A1 (en) * | 2016-03-11 | 2017-09-14 | Empire Technology Development Llc | Virtual reality display based on orientation offset |
| US10568502B2 (en) * | 2016-03-23 | 2020-02-25 | The Chinese University Of Hong Kong | Visual disability detection system using virtual reality |
| WO2017177188A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance |
-
2022
- 2022-06-03 KR KR1020237045464A patent/KR20240015687A/ko unknown
- 2022-06-03 EP EP22740620.4A patent/EP4355193A1/en active Pending
- 2022-06-03 CN CN202280051069.XA patent/CN117677338A/zh active Pending
- 2022-06-03 WO PCT/US2022/032180 patent/WO2022265869A1/en active Application Filing
- 2022-06-03 AU AU2022293326A patent/AU2022293326A1/en active Pending
- 2022-06-03 JP JP2023577361A patent/JP2024523315A/ja active Pending
-
2023
- 2023-12-18 US US18/542,893 patent/US20240122469A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240122469A1 (en) | 2024-04-18 |
| AU2022293326A1 (en) | 2024-01-18 |
| EP4355193A1 (en) | 2024-04-24 |
| WO2022265869A1 (en) | 2022-12-22 |
| CN117677338A (zh) | 2024-03-08 |
| JP2024523315A (ja) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niehorster et al. | The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research | |
| KR102097190B1 (ko) | 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러 | |
| EP1691670B1 (en) | Method and apparatus for calibration-free eye tracking | |
| AU2018250385A1 (en) | Motor task analysis system and method | |
| CN106095089A (zh) | 一种获取感兴趣目标信息的方法 | |
| US20160103487A1 (en) | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals | |
| CN108508629A (zh) | 具有眼睛驱动控制系统的智能接触镜片和方法 | |
| KR101983279B1 (ko) | 가상현실을 이용한 신경질환 진단 장치 및 방법 | |
| Sziladi et al. | The analysis of hand gesture based cursor position control during solve an IT related task | |
| CN108292448A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN112535479B (zh) | 一种情绪加工倾向的确定方法及相关产品 | |
| KR20220028654A (ko) | 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 | |
| KR102466438B1 (ko) | 인지 기능 평가 시스템 및 인지 기능 평가 방법 | |
| JP2018530790A (ja) | 累進レンズの光学系を判定する方法 | |
| Essig et al. | ADAMAAS: towards smart glasses for mobile and personalized action assistance | |
| WO2019210087A1 (en) | Methods, systems, and computer readable media for testing visual function using virtual mobility tests | |
| CN109219426A (zh) | 康复训练辅助控制装置以及计算机程序 | |
| CN117337426A (zh) | 音频加强的增强现实 | |
| US20240119594A1 (en) | Determining Digital Markers Indicative of a Neurological Condition Using Eye Movement Parameters | |
| KR101734845B1 (ko) | 시각 분석을 이용하는 감정 분류 장치 및 그 방법 | |
| TWI554245B (zh) | 用於個人化驗光之適應性校正鏡片處方系統、方法與其電腦程式產品 | |
| Lim et al. | Development of gaze tracking interface for controlling 3D contents | |
| KR20240015687A (ko) | 시각 능력을 특성화하기 위한 가상 현실 기법 | |
| CN114967128A (zh) | 一种应用于vr眼镜的视线追踪系统及方法 | |
| EP3922166B1 (en) | Display device, display method and display program |