KR20220134792A - 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 - Google Patents

사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 Download PDF

Info

Publication number
KR20220134792A
KR20220134792A KR1020227033832A KR20227033832A KR20220134792A KR 20220134792 A KR20220134792 A KR 20220134792A KR 1020227033832 A KR1020227033832 A KR 1020227033832A KR 20227033832 A KR20227033832 A KR 20227033832A KR 20220134792 A KR20220134792 A KR 20220134792A
Authority
KR
South Korea
Prior art keywords
user
data
display system
sensors
display
Prior art date
Application number
KR1020227033832A
Other languages
English (en)
Other versions
KR102643105B1 (ko
Inventor
니콜 엘리자베스 사멕
마크 배렌로트
나스타샤 유. 로바이나
샤를로트 도로시아 빌헬미나 빈커스
크리스토퍼 엠. 해리세스
니콜라스 크래머
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20220134792A publication Critical patent/KR20220134792A/ko
Application granted granted Critical
Publication of KR102643105B1 publication Critical patent/KR102643105B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/082—Evaluation by breath analysis, e.g. determination of the chemical composition of exhaled breath
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0086—Positioning aspects
    • G02B6/009—Positioning aspects of the light source in the package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Emergency Medicine (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Vascular Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들. 사용자 건강 분석을 위한 방법들은 초기 예측 모델에 대한 데이터를 수집하는 단계 및 하나 또는 그 초과의 데이터 기준들에 기반하여 부가적인 데이터를 계속 수집하는 단계를 포함할 수 있다. 방법들은 변경된 예측 모델을 생성하기 위해 부가적인 데이터에 기반하여 초기 예측 모델을 업데이팅하는 단계 또는 부가적인 데이터에 기반하여 개입이 발생하게 하는 단계를 더 포함할 수 있다. 데이터는 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 센서들 및 사용자에게 가상 콘텐츠를 제시하도록 구성된 디스플레이 디바이스를 포함하는 디스플레이 시스템에 의해 수집될 수 있다. 디스플레이 디바이스는 가변 파면 발산을 가진 광을 출력하도록 구성될 수 있다.

Description

사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들{AUGMENTED REALITY SYSTEMS AND METHODS FOR USER HEALTH ANALYSIS}
[0001] 본 출원은 2016년 5월 9일에 출원된 미국 가출원 번호 제 62/333,734호; 2016년 7월 25일에 출원된 미국 가출원 번호 제 62/366,576호; 및 2016년 12월 29일에 출원된 미국 가출원 번호 제 62/440,348호를 35 U.S.C. § 119(e) 하에서 우선권으로 주장한다. 이들 우선권 서류들 각각의 전체 개시내용은 인용에 의해 본원에 포함된다.
[0002] 본 출원은 다음 특허 출원들 각각의 전체를 인용에 의해 포함한다: 2014년 11월 27일에 출원되고, 2015년 7월 23일에 미국 공개 번호 제 2015/0205126호로서 공개된 미국 출원 번호 제 14/555,585호; 2015년 4월 18일에 출원되고, 2015년 10월 22일에 미국 공개 번호 제 2015/0302652호로서 공개된 미국 출원 번호 제 14/690,401호; 2014년 3월 14일에 출원되고, 현재 2016년 8월 16일에 특허 허여된 미국 특허 번호 제 9,417,452호인 미국 출원 번호 제 14/212,961호; 2014년 7월 14일에 출원되고, 2015년 10월 29일에 미국 공개 번호 제 2015/0309263호로 공개된 미국 출원 번호 제 14/331,218호; 2016년 3월 16일에 출원되고, 2016년 9월 22일에 미국 공개 번호 제 2016/0270656호로 공개된 미국 출원 번호 제 15/072,290호; 및 2017년 3월 24일에 출원된 미국 출원 번호 제 15/469,369호.
[0003] 본 개시내용은 디스플레이 시스템들 및, 더 구체적으로, 증강 현실 디스플레이 시스템들에 관한 것이다.
[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 혼합 현실, 또는 "MR" 시나리오는 AR 시나리오의 타입이고 통상적으로 자연 세계에 통합되고 이에 응답하는 가상 객체들을 수반한다. 예컨대, MR 시나리오에서, AR 이미지 콘텐츠는 실세계의 객체들에 의해 차단되거나 그렇지 않으면 이들과 상호작용하는 것으로 인식될 수 있다.
[0005] 도 1을 참조하면, 증강 현실 장면(10)이 묘사되고, 여기서 AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(30)을 특징으로 하는 실세계 공원형 세팅(20)을 본다. 이들 아이템들에 외에, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(30) 상에 서 있는 로봇 동상(40), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(50)(이들 엘리먼트들(40, 50)이 실세계에 존재하지 않더라도) 같은 "가상 콘텐츠"를 "보는" 것을 인식한다. 인간 시각 인식 시스템이 복잡하기 때문에, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 AR 기술을 만들어내는 것은 난제이다.
[0006] 본원에 개시된 시스템들 및 방법들은 VR 및 AR 기술에 관련된 다양한 난제들을 처리한다.
[0007] 일부 실시예들에서, 디스플레이 시스템은 가상 콘텐츠를 사용자에게 제시하도록 구성된 디스플레이 디바이스, 디스플레이 디바이스에 부착되고 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 센서들, 하나 또는 그 초과의 프로세서들, 및 하나 또는 그 초과의 컴퓨터 저장 매체들을 포함한다. 디스플레이 디바이스는 가변 파면 발산을 가진 광을 출력하도록 구성된다. 하나 또는 그 초과의 컴퓨터 저장 매체들은, 시스템에 의해 실행될 때, 시스템이 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 동작, 데이터를 초기 예측 모델에 적용하는 동작, 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 동작, 및 변경된(revised) 예측 모델을 생성하기 위해 부가적인 데이터에 기반하여 초기 예측 모델을 업데이팅하는 동작을 수행하게 하는 명령들을 저장한다.
[0008] 일부 다른 실시예들에서, 사용자 건강 분석을 수행하는 방법은 가변 파면 발산을 가진 광을 출력하도록 구성된 증강 현실 디스플레이 디바이스의 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 단계, 데이터를 초기 예측 모델에 적용하는 단계, 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 단계, 및 변경된 예측 모델을 생성하기 위해 부가적인 데이터에 기반하여 초기 예측 모델을 업데이팅하는 단계를 포함한다.
[0009] 또 다른 실시예들에서, 디스플레이 시스템은 가상 콘텐츠를 사용자에게 제시하도록 구성된 디스플레이 디바이스, 디스플레이 디바이스에 부착되고 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 센서들, 하나 또는 그 초과의 프로세서들, 및 하나 또는 그 초과의 컴퓨터 저장 매체들을 포함한다. 디스플레이 디바이스는 가변 파면 발산을 가진 광을 출력하도록 구성된다. 하나 또는 그 초과의 컴퓨터 저장 매체들은, 시스템에 의해 실행될 때, 시스템이 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 동작, 데이터를 초기 예측 모델에 적용하는 동작, 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 동작, 및 부가적인 데이터에 기반하여 개입이 발생하게 하는 동작을 수행하게 하는 명령들을 저장한다.
[0010] 일부 다른 실시예들에서, 사용자 건강 분석을 수행하는 방법은 가변 파면 발산을 가진 광을 출력하도록 구성된 증강 현실 디스플레이 디바이스의 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 단계, 데이터를 초기 예측 모델에 적용하는 단계, 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 단계, 및 부가적인 데이터에 기반하여 개입을 발생하게 하는 단계를 포함한다.
[0011] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성된다. 시스템은 또한, 사용자가 디스플레이를 착용하는 동안 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 하나 또는 그 초과의 센서들을 포함한다.
[0012] 일부 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및/또는 사용자가 디스플레이를 착용하는 동안 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 하나 또는 그 초과의 사용자 센서들을 더 포함한다. 디스플레이 시스템은 환경 데이터를 사용자 특정 데이터와 상관시키도록 구성된다.
[0013] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 광에 의해 형성된 이미지 콘텐츠에 대한 깊이 평면에 따라 가변하는 발산 양들을 가진 광을 투사하도록 구성된다. 디스플레이 시스템은 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 하나 또는 그 초과의 센서들을 더 포함한다. 디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성된다.
[0014] 일부 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및 사용자의 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 센서들을 더 포함한다. 디스플레이 시스템은 사용자에 대한 처치(treatment)를 관리하도록 구성되고, 그리고 환경 또는 사용자 특정 데이터에 기반하여 처치를 관리하거나 수정하도록 추가로 구성된다.
[0015] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이 시스템은 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 하나 또는 그 초과의 사용자 착용 센서들을 더 포함한다. 게다가, 디스플레이 시스템은 사용자 착용 및/또는 환경 데이터 중 하나 또는 둘 모두를 다른 디스플레이 시스템들과 공유하도록 구성된다.
[0016] 일부 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이 시스템은 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 미스매칭(mismatch)된 원근조절-이접운동 관계로 시각적 콘텐츠를 사용자에게 제공하도록 구성된다.
[0017] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이 시스템은 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 주변 환경으로부터 반사된 사운드를 검출하도록 구성된 환경 센서, 이를테면 마이크로폰 또는 압력 센서를 더 포함한다. 게다가, 디스플레이 시스템은 주변 환경 내의 객체의 사이즈 및 거리 중 하나 또는 둘 모두를 결정하기 위해 환경 센서를 사용하여 반향정위(echolocation)를 수행하도록 구성된다. 일부 실시예들에서, 디스플레이 시스템은 주위 환경 내의 광을 검출하기 위한 환경 센서, 이를테면 이미징 디바이스를 더 포함할 수 있다.
[0018] 일부 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성된다. 시스템은 또한, 사용자가 디스플레이를 착용하는 동안 사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 센서를 포함한다. 디스플레이 시스템은 분석들 각각에 대해 수집된 사용자 특정 데이터의 별개의 세트들을 사용하여 복수의 사용자 분석들을 수행하도록 구성된다.
[0019] 일부 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및/또는 사용자가 디스플레이를 착용하는 동안 사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 하나 또는 그 초과의 사용자 센서들을 더 포함한다. 디스플레이 시스템은 환경 데이터를 사용자 특정 데이터와 상관시키도록 구성된다.
[0020] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 광에 의해 형성된 이미지 콘텐츠에 대한 깊이 평면에 따라 가변하는 발산 양들을 가진 광을 투사하도록 구성된다. 디스플레이 시스템은 사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 하나 또는 그 초과의 센서들을 더 포함한다. 디스플레이 시스템은 분석들 각각에 대해 수집된 사용자 특정 데이터의 별개의 세트들을 사용하여 복수의 사용자 분석들을 수행하도록 구성된다.
[0021] 일부 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이는 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및/또는 사용자의 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 센서들을 더 포함한다. 디스플레이 시스템은 사용자에 대한 처치를 관리하도록 구성되고, 그리고 환경과 사용자 특정 데이터 사이의 상관에 기반하여 처치를 관리하거나 수정하도록 추가로 구성된다.
[0022] 또 다른 실시예들에서, 디스플레이 시스템은 복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함한다. 디스플레이 시스템은 광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함한다. 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성된다. 디스플레이 시스템은 환경 데이터를 검출하도록 구성된 하나 또는 그 초과의 환경 센서들; 및 사용자의 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 사용자 착용 센서들을 더 포함한다. 게다가, 디스플레이 시스템은 사용자 특정 및 환경 데이터 중 하나 또는 둘 모두를 다른 디스플레이 시스템들과 공유하도록 구성된다.
[0023] 부가적인 예시적인 실시예들이 아래에 제공된다.
1. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성됨 ―; 및
사용자가 디스플레이를 착용하는 동안 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 적어도 하나의 센서들을 포함한다.
2 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성된다.
3. 실시예 2의 디스플레이 시스템에 있어서, 분석은 건강 진단 분석이다.
4. 실시예 2의 디스플레이 시스템에 있어서, 분석은 개입에 대한 권고와 연관된다.
5. 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성된다.
6. 실시예 1의 디스플레이 시스템에 있어서, 센서는 5 또는 그 초과의 시간들에 걸쳐 사용자 특정 데이터를 수집하도록 구성된다.
7. 실시예 1의 디스플레이 시스템에 있어서, 센서는 며칠 동안, 하루에 다수 회 사용자 특정 데이터를 수집하도록 구성된다.
8. 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은 분석 동안 외인성(outlying) 사용자 특정 데이터 포인트들을 무시하도록 구성된다.
9. 실시예 1의 디스플레이 시스템에 있어서, 센서는 사용자를 이미징하도록 구성된 이미징 디바이스이다.
10. 실시예 9의 디스플레이 시스템에 있어서, 이미징 디바이스는 사용자의 눈 및 눈 주변 피처(feature) 중 하나 또는 그 초과를 이미징하도록 구성된다.
11. 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은:
증강 현실 콘텐츠를 사용자에게 전달하고; 그리고
전달된 증강 현실 콘텐츠에 대한 응답으로 사용자 특정 데이터를 수집함으로써 건강 분석을 수행하도록 구성된다.
12. 실시예 11의 디스플레이 시스템에 있어서, 증강 현실 콘텐츠는 머리 장착 디스플레이 상에 디스플레이된 증강 현실 이미지 콘텐츠이다.
13. 실시예 11의 디스플레이 시스템에 있어서, 증강 현실 콘텐츠는 사운드들을 포함한다.
14. 실시예 11의 디스플레이 시스템에 있어서, 사용자 특정 데이터와 디스플레이된 증강 현실 이미지 콘텐츠 사이의 상관을 결정하기 위해 수집된 사용자 특정 데이터를 분석하는 것을 더 포함한다.
15. 실시예 1의 디스플레이 시스템에 있어서, 센서 및 디스플레이는 공통 프레임에 연결되고, 디스플레이 시스템은 프레임에 연결된 하나 또는 그 초과의 부가적인 센서들을 더 포함하고, 하나 또는 그 초과의 부가적인 센서들은 3 또는 그 초과의 시간들에 걸쳐 사용자의 부가적인 사용자 특정 데이터를 계속 수집하도록 구성되고, 디스플레이 시스템은 사용자 특정 데이터와 부가적인 사용자 특정 데이터를 상관시키도록 구성된다.
16. 실시예 1의 디스플레이 시스템에 있어서, 센서는 눈 추적 디바이스, 전자 진단 디바이스, 혈압 센서, 혈당 미터, 온도 센서, 가속도계, 심박수 모니터, 카메라 및 마이크로폰으로 이루어진 그룹으로부터 선택된다.
17. 실시예 1의 디스플레이 시스템에 있어서, 로컬 프로세서 및 데이터 모듈을 더 포함하고, 센서는 로컬 프로세서 및 데이터 모듈과 무선으로 통신하도록 구성된다.
18. 실시예 1의 디스플레이 시스템에 있어서, 디스플레이는 복수의 도파관들을 포함하는 도파관 스택(stack)을 포함한다.
19. 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은 복수의 센서들을 포함한다.
20 실시예 1의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에 대한 건강 분석을 수행하도록 구성되고, 건강 분석은:
사용자의 신경계의 기능을 평가하는 것;
사용자의 정신 상태를 결정하는 것;
정신 또는 신경 질환의 생리학적 또는 행동적 징후를 검출하는 것;
무드(mood)를 검출하는 것; 및
사용자의 감각 기능을 평가하는 것 중 하나 또는 그 초과를 포함한다.
21. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
사용자가 디스플레이를 착용하는 동안 3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 사용자 센서를 포함하고,
디스플레이 시스템은 환경 데이터를 사용자 특정 데이터와 상관시키도록 구성된다.
22. 실시예 21의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성되고, 환경 데이터를 사용자 특정 데이터와 상관시키는 것은 분석 결과를 사용자 특정 데이터와 상관시키는 것을 포함한다.
23 실시예 21의 디스플레이 시스템에 있어서, 사용자 특정 데이터는 사용자의 행동을 특징으로 하는 행동 정보를 포함한다.
24 실시예 21의 디스플레이 시스템에 있어서, 행동 정보는 사용자의 움직임들 및 사용자의 안면 표정들 중 하나 또는 그 초과를 포함한다.
25 실시예 21의 디스플레이 시스템에 있어서, 디스플레이 시스템은 데이터를 분석하고 주위 환경에 관한 정보를 포함하는 증강 현실 이미지 콘텐츠를 디스플레이하도록 구성된다.
26. 실시예 21의 디스플레이 시스템에 있어서, 머리 장착 디스플레이는 증강 현실 콘텐츠를 사용자에게 제시하도록 구성되고, 환경 데이터는 증강 현실 콘텐츠에 관한 정보를 포함한다.
27. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 광에 의해 형성된 이미지 콘텐츠에 대한 깊이 평면에 따라 가변하는 발산 양들을 가진 광을 투사하도록 구성됨 ―; 및
3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 센서를 포함하고,
디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성된다.
28. 실시예 27의 디스플레이 시스템에 있어서, 센서 및 디스플레이는 공통 프레임에 연결되고, 디스플레이 시스템은 프레임에 연결된 하나 또는 그 초과의 부가적인 센서들을 더 포함하고, 하나 또는 그 초과의 부가적인 센서들은 3 또는 그 초과의 시간들에 걸쳐 사용자의 부가적인 사용자 특정 데이터를 계속 수집하도록 구성되고, 분석은 사용자 특정 데이터와 부가적인 사용자 특정 데이터를 상관시키는 것을 포함한다.
29. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
사용자의 사용자 특정 데이터를 수집하도록 구성된 센서를 포함하고,
디스플레이 시스템은 사용자에 대한 처치를 관리하도록 구성되고, 그리고 디스플레이 시스템은 환경 또는 사용자 특정 데이터에 기반하여 처치를 관리하거나 수정하도록 추가로 구성된다.
30. 실시예 29의 디스플레이 시스템에 있어서, 처치는 하나 또는 그 초과의 정신, 행동 및/또는 신경 질환을 처치하도록 구성된 시각적 콘텐츠를 포함한다.
31. 실시예 29의 디스플레이 시스템에 있어서, 디스플레이 시스템은 착용자가 경험한 의료 사인(sign) 또는 증상을 검출하는 것에 대한 응답으로 사용자에 대한 처치를 관리하도록 구성된다.
32. 실시예 29의 디스플레이 시스템에 있어서, 디스플레이 시스템은 미리결정된 임계 레벨들을 초과하거나 미만으로 유지되는 사용자 특정 데이터에 기반하여 처치를 수정하도록 구성된다.
33. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 사용자 착용 센서들을 포함하고,
디스플레이 시스템은 사용자 특정 및 환경 데이터 중 하나 또는 둘 모두를 다른 디스플레이 시스템들과 공유하도록 구성된다.
34. 실시예 33의 디스플레이 시스템에 있어서, 상이한 사용자들이 착용한 디스플레이 시스템 사이에서 환경 데이터 및 사용자 특정 데이터를 송신 및 수신하도록 구성된 무선 통신 회로를 더 포함한다.
35. 실시예 33의 디스플레이 시스템에 있어서, 디스플레이 시스템은, 비정상 환경 또는 사용자 특정 데이터가 검출될 때, 환경 또는 사용자 특정 데이터를 송신하도록 구성된다.
36. 실시예 33의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상이한 사용자들이 착용한 디스플레이 시스템들 사이에서 환경 데이터 및 사용자 특정 데이터를 송신하도록 구성된다.
37. 실시예 33의 디스플레이 시스템에 있어서, 디스플레이 시스템은 적어도 하나의 다른 시스템으로부터 전송된 환경 또는 사용자 특정 데이터를 수신하고, 그리고 수신된 환경 또는 사용자 특정 데이터를, 환경 센서로 검출된 환경 데이터 또는 사용자 착용 센서로 검출된 사용자 특정 데이터와 비교하도록 추가로 구성된다.
38. 실시예 37의 디스플레이 시스템에 있어서, 적어도 하나의 다른 시스템은 다른 디스플레이 시스템을 포함한다.
39. 실시예 33의 디스플레이 시스템에 있어서,
다른 디스플레이 시스템들로부터 송신된 환경 데이터 및 사용자 특정 데이터를 수신하도록 구성된 프로세싱 회로를 포함하고,
프로세싱 회로는 위치 데이터 및 수신된 환경 데이터 또는 수신된 사용자 특정 데이터 중 적어도 하나에 기반하여 물리적 근접성을 갖는 복수의 디스플레이 디바이스 착용자들의 유사한 생리학적, 행동적 또는 환경적 이상들의 발생을 검출하도록 추가로 구성된다.
40. 실시예 33의 디스플레이 시스템에 있어서, 상이한 사용자들 중 적어도 하나는 임상의이고, 그리고 임상의가 착용한 디스플레이 시스템은 상이한 사용자의 진단, 모니터링 또는 처치를 위해 임상의에게 증강 현실 콘텐츠를 디스플레이하도록 구성된다.
41. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들을 포함하고,
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성되고,
디스플레이 시스템은:
미스매칭된 원근조절-이접운동 관계로 시각적 콘텐츠를 사용자에게 제공하도록 구성된다.
42. 실시예 41의 디스플레이 시스템에 있어서,
환경 데이터를 검출하도록 구성된 환경 센서; 및
3 또는 그 초과의 시간들에 걸쳐 사용자의 사용자 특정 데이터를 계속 수집하도록 구성된 사용자 착용 센서들을 더 포함한다.
43. 실시예 41의 디스플레이 시스템에 있어서, 디스플레이 시스템은 하나 또는 그 초과의 생리학적 또는 행동적 응답들을 포함하는 사용자 데이터를 수집하도록 추가로 구성된다.
44. 실시예 43의 디스플레이 시스템에 있어서, 생리학적 또는 행동적 응답들은 뇌에서의 전기 활동을 포함한다.
45. 실시예 42의 디스플레이 시스템에 있어서, 생리학적 또는 행동적 응답들은 하나 또는 그 초과의 자율적 응답들을 포함한다.
46. 실시예 44의 디스플레이 시스템에 있어서, 하나 또는 그 초과의 자율적 응답들은 혈압, 호흡 수, 및 동공 확장/수축 중 하나 또는 그 초과를 포함한다.
47 실시예 40의 디스플레이 시스템에 있어서, 디스플레이 시스템은 시청각 미스매칭들, 전정 안구 미스매칭들 및 고유감각 시각적 미스매칭들로 이루어진 그룹으로부터 선택된 하나 또는 그 초과의 선택된 미스매칭들을 갖는 콘텐츠를 사용자에게 제공하도록 구성된다.
48. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ―
하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―; 및
주변 환경으로부터 반사된 사운드를 검출하도록 구성된 환경 센서를 포함하고,
디스플레이 시스템은 주변 환경 내의 객체의 사이즈 및 거리 중 하나 또는 둘 모두를 결정하기 위해 환경 센서를 사용하여 반향정위를 수행하도록 구성된다.
49. 실시예 48의 디스플레이 시스템에 있어서, 사운드를 주변 환경으로 투사하도록 구성된 사운드 방출기를 더 포함하고, 디스플레이 시스템은 사운드의 초기 생성 및 초기 생성과 환경 센서에 의한 반사의 검출 사이의 경과된 시간에 기반하여 반향정위를 수행하도록 구성된다.
50. 실시예 48의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에 의해 생성된 사운드의 검출과 환경 센서에 의한 사운드의 반사의 검출 사이의 경과된 시간에 기반하여 반향정위를 수행하도록 구성된다.
51. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성됨 ―; 및
사용자가 디스플레이를 착용하는 동안 사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 센서를 포함하고,
디스플레이 시스템은 분석들 각각에 대해 수집된 사용자 특정 데이터의 별개의 세트들을 사용하여 복수의 사용자 분석들을 수행하도록 구성된다.
52. 실시예 51의 디스플레이 시스템에 있어서, 사용자 분석들은 건강 진단 분석을 포함한다.
53. 실시예 51의 디스플레이 시스템에 있어서, 사용자 분석들은 치료(therapeutic) 분석을 포함한다.
54. 실시예 51의 디스플레이 시스템에 있어서, 디스플레이 시스템은 분석 동안 외인성 사용자 특정 데이터 포인트들을 무시하도록 구성된다.
55. 실시예 51의 디스플레이 시스템에 있어서, 센서는 사용자를 이미징하도록 구성된 이미징 디바이스이다.
56. 실시예 55의 디스플레이 시스템에 있어서, 이미징 디바이스는 사용자의 눈 및 눈 주변 피처들 중 하나 또는 그 초과를 이미징하도록 구성된다.
57. 실시예 51의 디스플레이 시스템에 있어서, 디스플레이 시스템은:
사용자 주위 세계의 자극을 검출하고; 그리고
검출된 자극에 대한 응답으로 사용자 특정 데이터를 수집함으로써 건강 분석을 수행하도록 구성된다.
58. 실시예 57의 디스플레이 시스템에 있어서, 자극을 검출하는 것은, 사용자가 객체를 터치하고 있다는 것을 결정하는 것을 포함한다.
59. 실시예 57의 디스플레이 시스템에 있어서, 자극을 검출하는 것은 사용자에게 가청가능한 사운드를 검출하는 것을 포함한다.
60. 실시예 57의 디스플레이 시스템에 있어서, 사용자 특정 데이터와 검출된 자극 사이의 상관을 결정하기 위해 수집된 사용자 특정 데이터를 분석하는 것을 더 포함한다.
61. 실시예 51의 디스플레이 시스템에 있어서, 센서 및 디스플레이는 공통 프레임에 연결되고, 디스플레이 시스템은 프레임에 연결된 하나 또는 그 초과의 부가적인 센서들을 더 포함하고, 센서 및 하나 또는 그 초과의 부가적인 센서들은 사용자 특정 데이터의 세트들 중 상이한 세트들을 수집하도록 구성된다.
62. 실시예 60의 디스플레이 시스템에 있어서, 디스플레이 시스템은 각각의 데이터 세트에서 통계적으로 중요한 양의 데이터를 수집하도록 구성된다.
63. 실시예 51의 디스플레이 시스템에 있어서, 센서는 눈 추적 디바이스, 전자 진단 디바이스, 혈압 센서, 혈당 미터, 온도 센서, 가속도계, 심박수 모니터, 카메라 및 마이크로폰으로 이루어진 그룹으로부터 선택된다.
64. 실시예 51의 디스플레이 시스템에 있어서, 로컬 프로세서 및 데이터 모듈을 더 포함하고, 센서는 로컬 프로세서 및 데이터 모듈과 무선으로 통신하도록 구성된다.
65. 실시예 51의 디스플레이 시스템에 있어서, 디스플레이는 복수의 도파관들을 포함하는 도파관 스택을 포함한다.
66. 실시예 51의 디스플레이 시스템에 있어서, 디스플레이 시스템은 복수의 센서들을 포함한다.
67. 실시예 51의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에 대한 건강 분석을 수행하도록 구성되고, 건강 분석은:
사용자의 하나 또는 그 초과의 뇌신경들의 기능을 평가하는 것;
사용자의 정신 상태를 결정하는 것;
행동 질환을 검출하는 것;
무드를 검출하는 것;
강박 장애를 검출하는 것; 및
사용자의 감각 기능을 평가하는 것 중 하나 또는 그 초과를 포함한다.
68. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 추가로 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
사용자가 디스플레이를 착용하는 동안 사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 사용자 센서를 포함하고,
디스플레이 시스템은 환경 데이터를 사용자 특정 데이터와 상관시키도록 구성된다.
69. 실시예 68의 디스플레이 시스템에 있어서, 환경 데이터는 하나 또는 그 초과의 외부 데이터베이스들로부터의 증강 현실 이미지 콘텐츠 및 데이터에 관한 데이터 또는 그 초과를 포함한다.
70. 실시예 68의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자 특정 데이터에 기반하여 사용자의 분석을 수행하도록 구성되고, 환경 데이터를 사용자 특정 데이터와 상관시키는 것은 분석 결과를 사용자 특정 데이터와 상관시키는 것을 포함한다.
71. 실시예 68의 디스플레이 시스템에 있어서, 사용자 특정 데이터는 사용자의 행동을 특징으로 하는 행동 정보를 포함한다.
72. 실시예 68의 디스플레이 시스템에 있어서, 행동 정보는 사용자의 움직임들 및 사용자의 안면 표정들 중 하나 또는 그 초과를 포함한다.
73. 실시예 68의 디스플레이 시스템에 있어서, 디스플레이 시스템은 데이터를 분석하고 주위 환경에 관한 정보를 포함하는 증강 현실 이미지 콘텐츠를 디스플레이하도록 구성된다.
74. 실시예 68의 디스플레이 시스템에 있어서, 디스플레이 시스템은 환경 데이터에 기반하여 주위 환경에서의 복수의 자극들을 검출하도록 구성된다.
75. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 광에 의해 형성된 이미지 콘텐츠에 대한 깊이 평면에 따라 가변하는 발산 양들을 가진 광을 투사하도록 구성됨 ―; 및
사용자의 복수의 사용자 특정 데이터의 세트들을 수집하도록 구성된 센서를 포함하고,
디스플레이 시스템은 분석들 각각에 대해 수집된 사용자 특정 데이터의 별개의 세트들을 사용하여 복수의 사용자 분석들을 수행하도록 구성된다.
76. 실시예 75의 디스플레이 시스템에 있어서, 센서 및 디스플레이는 공통 프레임에 연결되고, 디스플레이 시스템은 프레임에 연결된 하나 또는 그 초과의 부가적인 센서들을 더 포함하고, 센서 및 하나 또는 그 초과의 부가적인 센서들은 사용자 특정 데이터의 세트들 중 상이한 세트들을 수집하도록 구성된다.
77. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
사용자의 사용자 특정 데이터를 수집하도록 구성된 센서를 포함하고,
디스플레이 시스템은 사용자에 대한 처치를 관리하도록 구성되고, 그리고 디스플레이 시스템은 환경 데이터와 사용자 특정 데이터 사이의 상관에 기반하여 처치를 관리하거나 수정하도록 추가로 구성된다.
78. 실시예 77의 디스플레이 시스템에 있어서, 처치는 간질, 강박 행동, 불안 장애 및 우울증 중 하나 또는 그 초과를 처치하도록 구성된 시각적 콘텐츠를 포함한다.
79. 실시예 77의 디스플레이 시스템에 있어서, 디스플레이 시스템은 착용자가 경험한 의료 사인 또는 증상을 검출하는 것에 대한 응답으로 사용자에 대한 처치를 관리하도록 구성된다.
80. 실시예 79의 디스플레이 시스템에 있어서, 디스플레이 시스템은 미리결정된 임계 레벨들을 초과하거나 미만으로 유지되는 사용자 특정 데이터에 기반하여 처치를 수정하도록 구성된다.
81. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―;
환경 데이터를 검출하도록 구성된 환경 센서; 및
사용자의 사용자 특정 데이터를 수집하도록 구성된 사용자 착용 센서들을 포함하고,
디스플레이 시스템은 사용자 특정 및 환경 데이터 중 하나 또는 둘 모두를 다른 디스플레이 시스템들과 공유하도록 구성된다.
82. 실시예 81의 디스플레이 시스템에 있어서, 상이한 사용자들이 착용한 디스플레이 시스템들 사이에서 환경 데이터 및 사용자 특정 데이터를 송신 및 수신하도록 구성된 무선 통신 회로를 더 포함한다.
83. 실시예 81의 디스플레이 시스템에 있어서, 디스플레이 시스템은, 비정상 환경 또는 사용자 특정 데이터가 검출될 때, 환경 또는 사용자 특정 데이터를 송신하도록 구성된다.
84. 실시예 81의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상이한 사용자들이 착용한 디스플레이 시스템들 사이에서 환경 데이터 및 사용자 특정 데이터를 송신하도록 구성된다.
85. 실시예 81의 디스플레이 시스템에 있어서, 디스플레이 시스템은 적어도 하나의 다른 디스플레이 시스템으로부터 전송된 환경 또는 사용자 특정 데이터를 수신하고, 그리고 수신된 환경 또는 사용자 특정 데이터를, 환경 센서로 검출된 환경 데이터 또는 사용자 착용 센서로 검출된 사용자 특정 데이터와 비교하도록 추가로 구성된다.
86. 실시예 81의 디스플레이 시스템에 있어서,
다른 디스플레이 시스템들로부터 송신된 환경 데이터 및 사용자 특정 데이터를 수신하도록 구성된 프로세싱 회로를 포함하고,
프로세싱 회로는 위치 데이터 및 수신된 환경 데이터 또는 수신된 사용자 특정 데이터 중 적어도 하나에 기반하여 물리적 근접성을 갖는 복수의 디스플레이 디바이스 착용자들의 유사한 생리학적, 행동적 또는 환경적 이상들의 발생을 검출하도록 추가로 구성된다.
87. 실시예 81의 디스플레이 시스템에 있어서, 상이한 사용자들 중 적어도 하나는 임상의이고, 그리고 임상의가 착용한 디스플레이 시스템은 상이한 사용자의 진단, 모니터링 또는 처치를 위해 임상의에게 증강 현실 콘텐츠를 디스플레이하도록 구성된다.
88. 디스플레이 시스템으로서,
복수의 깊이 평면들 상의 이미지 콘텐츠를 디스플레이하기 위해 광을 사용자에게 투사하도록 구성된 머리 장착 디스플레이를 포함하고, 디스플레이는:
광을 사용자에게 투사하도록 구성된 하나 또는 그 초과의 도파관들 ― 하나 또는 그 초과의 도파관들은 주위 환경으로부터의 광을 사용자에게 전송하도록 구성됨 ―; 및
주변 환경으로부터 반사된 사운드를 검출하도록 구성된 환경 센서를 포함하고,
디스플레이 시스템은 주변 환경 내의 객체의 사이즈 및 거리 중 하나 또는 둘 모두를 결정하기 위해 환경 센서를 사용하여 반향정위를 수행하도록 구성된다.
89. 실시예 88의 디스플레이 시스템에 있어서, 사운드를 주변 환경으로 투사하도록 구성된 사운드 방출기를 더 포함하고, 디스플레이 시스템은 사운드의 초기 생성 및 초기 생성과 환경 센서에 의한 반사의 검출 사이의 경과된 시간에 기반하여 반향정위를 수행하도록 구성된다.
90. 실시예 88의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에 의해 생성된 사운드의 검출과 환경 센서에 의한 사운드의 반사의 검출 사이의 경과된 시간에 기반하여 반향정위를 수행하도록 구성된다.
91. 실시예 88의 디스플레이 시스템에 있어서, 디스플레이 시스템은 반향정위에 기반하여 주변 환경의 하나 또는 그 초과의 자극들을 결정하도록 구성된다.
92. 실시예 91의 디스플레이 시스템에 있어서, 사용자로부터 사용자 특정 데이터를 수집하도록 구성된 하나 또는 그 초과의 사용자 착용 센서들을 더 포함하고, 디스플레이 시스템은 수집된 사용자 특정 데이터와 주변 환경의 자극들 사이의 상관을 결정하도록 추가로 구성된다.
[0024] 도 1은 증강 현실(AR) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0025] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0026] 도 3a-도 3c는 곡률의 반경과 초점 반경 사이의 관계들을 예시한다.
[0027] 도 4a는 인간 시각 시스템의 원근조절-이접운동(vergence) 응답의 표현을 예시한다.
[0028] 도 4b는 사용자의 눈들의 쌍의 상이한 원근조절 상태들 및 이접운동 상태들의 예들을 예시한다.
[0029] 도 4c는 사용자가 디스플레이 시스템을 통해 콘텐츠를 보고 있는 하향식 도면의 표현의 예를 예시한다.
[0030] 도 4d는 사용자가 디스플레이 시스템을 통해 콘텐츠를 보고 있는 하향식 도면의 표현의 다른 예를 예시한다.
[0031] 도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0032] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택(stack)의 예를 예시한다.
[0033] 도 7은 도파관에 의해 출력된 출사(exit) 빔들의 예를 예시한다.
[0034] 도 8은, 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다.
[0035] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 스택된 도파관들의 세트의 예의 측단면도를 예시한다.
[0036] 도 9b는 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다.
[0037] 도 9c는 도 9a 및 도 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다.
[0038] 도 9d는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0039] 도 9e는 데이터 수집 및 분석 방법의 예를 예시한다.
[0040] 도 10은 환경 및 사용자 센서들을 포함하는 증강 현실 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0041] 도 11은 사용자를 분석하기 위해 다수의 소스들로부터의 데이터를 상관시키는 예시적인 방법을 예시하는 흐름도이다.
[0042] 도 12는 본원에서 개시된 디스플레이 시스템들을 사용하여 진단, 모니터링 및/또는 처치를 위해 구성된 건강 시스템을 개략적으로 예시한다.
[0043] 도면들은 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
[0044] 본원에서 개시된 바와 같이, 증강 현실(AR) 및 혼합 현실(MR) 시스템들은 가상 콘텐츠를 뷰어, 또는 사용자에게 디스플레이하면서, 여전히 뷰어가 그들 둘레의 세계를 보는 것을 허용할 수 있다. 바람직하게, 이 콘텐츠는, 이미지 정보를 뷰어의 눈들에게 투사하면서, 또한 주위 환경의 뷰(view)를 허용하기 위해, 그 주위 환경으로부터의 광을 이들 눈들에게 또한 전송하는 예컨대 안경류의 부분으로서의 머리 장착가능 디스플레이 상에 디스플레이된다. 본원에서 사용된 바와 같이, "머리 장착" 디스플레이가 뷰어의 머리 상에 장착될 수 있는 디스플레이인 것이 인식될 것이다.
[0045] 본원에서 논의된 바와 같이, 많은 VR, AR 및 MR 디스플레이 디바이스들은 이미지 정보를 디스플레이할 때 원근조절-이접운동 미스매칭 및/또는 전정 안구 미스매칭을 겪는다. 그런 미스매칭은 사용자 불편함을 유발할 수 있고 디바이스의 장기간 착용을 실행 불가능하게 할 수 있다. 유리하게, 본원의 실시예들에 따른 디스플레이 디바이스들은 특히 사용자의 원근조절과 이접운동 사이, 및/또는 전정과 눈 입력 사이의 올바른 매치를 제공함으로써 디바이스의 장기간 착용을 허용한다. 일부 실시예들에서, 본원에 개시된 디스플레이 시스템들은 약 0.1 디옵터 또는 그 미만을 포함하여, 약 0.5 디옵터 또는 그 미만, 약 0.33 디옵터 또는 그 미만, 또는 약 0.25 디옵터 또는 그 미만의 원근조절-이접운동 미스매칭을 갖는 이미지들을 뷰어에게 제시한다. 결과적으로, 디바이스의 사용자들은 지속시간의 약 25% 초과, 약 20% 초과, 약 15% 초과, 약 10% 초과, 또는 약 5% 초과 동안 디바이스를 제거하지 않고, 약 3 시간 또는 그 초과, 약 4 시간 또는 그 초과, 약 5 시간 또는 그 초과, 약 6 시간 또는 그 초과, 또는 하루종일의 지속기간들 동안 실질적으로 계속하여 디바이스를 착용 및 사용할 수 있을 수 있다.
[0046] 본원에 개시된 디스플레이 시스템들의 착용성 및 뷰어에 대한 디스플레이 시스템(감각 컴포넌트들을 포함함)의 초근접성과 결부된 그 착용성의 장기간 성질은 건강관리(healthcare) 이점들을 제공하기 위한 기회들을 유리하게 제공한다. 예컨대, 디스플레이 시스템들은 그렇지 않으면 쉽게 획득될 수 없는 데이터의 세트들을 수집하는 것을 허용할 수 있다. 게다가, 사용자 상태들 및 컨디션들의 평가 및 예측의 정확도는 데이터 수집의 지속기간, 데이터의 다양성, 데이터 수집 위치들의 다양성, 및 다수의 타입들의 데이터를 동시에 수집하는 능력(이에 의해 상이한 데이터가 예컨대, 모든 데이터에 적용된 타임 스탬프(time stamp)들 및/또는 위치 스탬프들을 사용하여 상호 참조되는 것을 허용함)으로 인해 증가할 수 있고, 다른 이점들 중에서 사용자 데이터 또는 외부 데이터, 예컨대 환경 데이터를 사용하여 수행된 임의의 건강 분석의 정확도를 증가시킬 수 있고, 그리고 달리 쉽게 알 수 없는, 건강 컨디션들 또는 처치들과 다양한 측정 변수들 사이의 관계들을 드러낼 수 있다. 외부 데이터가 사용자 외부에 있는 특성들 또는 컨디션들을 설명할 수 있다는 것이 인식될 것이다.
[0047] 일부 실시예들에서, 디스플레이 시스템의 부분을 형성하는 사용자 센서들은 연장된 지속기간에 걸쳐 데이터를 수집하도록 구성될 수 있는 반면에, 디스플레이 시스템은 그 지속기간의 실질적으로 전부 동안 뷰어 상에 장착된다. 바람직하게, 지정된 지속기간의 약 25% 초과, 약 20% 초과, 약 15% 초과, 약 10% 초과, 또는 약 5% 초과 동안 디바이스를 모두 제거하지 않고, 약 3 시간 또는 그 초과, 약 4 시간 또는 그 초과, 약 5 시간 또는 그 초과, 약 6 시간 또는 그 초과, 또는 약 하루종일 또는 그 초과의 지속기간들 동안 있을 수 있다. 사용자 센서들 외에, 환경 센서들은 디스플레이 시스템의 부분을 형성하고 사용자의 주변 환경에 관한 데이터를 수집하도록 구성될 수 있다. 다양한 실시예들에서, 사용자 센서들은, 시스템이 착용된 지속 기간에 무관하게 사용자 데이터와 환경 데이터 사이의 통계적으로 중요하거나 달리 유용한 상관들을 설정하는 기준을 포함하여, 미리정의된 기준 또는 기준들의 세트를 충족할 때까지, 데이터를 수집하도록 구성될 수 있다. 예컨대, 일부 분석들은 1시간 미만, 3시간 미만, 또는 간헐적으로 짧거나 긴 지속 기간들 동안 시스템을 착용한 것에 기반하여 달성될 수 있다.
[0048] 일부 실시예들에서, 가상 또는 AR 콘텐츠(예컨대, 이미지들, 촉각 피드백 및/또는 사운드들)는 사용자에게 제공될 수 있고 사용자 센서들은 이런 가상 콘텐츠에 대한 응답으로 사용자 데이터를 수집할 수 있다. 그런 실시예들에서, 가상 콘텐츠는, AR 이미지 콘텐츠가 예컨대 실제 객체 또는 실제 사운드였다면, 환경 센서들에 의해 수집되었을 데이터에 대응하는 연관된 "환경 데이터" 또는 가상 데이터를 가질 수 있다.
[0049] 다양한 실시예들에서, 사용자 데이터 또는 사용자 특정 데이터는 예컨대 디스플레이 시스템의 센서들로부터 수집된다. 사용자 특정 데이터는 생리학적 데이터(예컨대, 심박수, 혈압, 뇌파들 등) 및/또는 행동 데이터(예컨대, 몸체 포지션, 팔 움직임, 안면 표정, 눈 움직임들 등)를 포함할 수 있다. 일부 실시예들에서, 사용자 특정 데이터는 복수의 생리학적 및/또는 행동 데이터로부터 유도된 파라미터들을 포함한다. 그런 파라미터들은 유도된 파라미터들로 지칭될 수 있고, 그 예는 감정 상태이다. 일부 실시예들에서, 사용자 특정 데이터는 눈에 띄는 또는 눈에 띄지 않는 객관적 측정 기구들(예컨대, 사용자 착용 심박수 센서 등)로부터, 또는 주관적 측정 기구들(예컨대, 디지털 자체 리포팅 및/또는 다른 리포트 툴들, 이를테면 생태 순간 평가(Ecological Momentary Assessment) 등)로부터 모아진다.
[0050] 다양한 실시예들에서, 외부 데이터는 예컨대, 디스플레이 시스템의 센서들을 사용한 직접 측정에 의해 그리고/또는 외부 소스들, 이를테면 외부 데이터베이스들로부터 데이터를 획득함으로써 수집된다. 외부 데이터는 가상 데이터, 및 공용/범용 데이터(예컨대, 날씨 정보, 화분 계측(pollen count) 등)를 포함하여, 환경 데이터(예컨대, 주변 광, 근접 객체들 등)를 포함할 수 있다.
[0051] 일부 실시예들에서, 개입들은 사용자에게 관리될 수 있다. 개입들은 처치들, 이를테면 다양한 의료 및/또는 생리학적 처치들을 포함할 수 있다. 개입들 및/또는 처치들은 사용자 특정 데이터 및 외부 데이터 중 임의의 하나 또는 그 초과의 데이터뿐 아니라, 하나 또는 그 초과의 데이터 타입들의 상관 또는 다른 분석에 기반하여 관리 또는 수정될 수 있다.
[0052] 일부 실시예들에서, 상관 분석들은 2개 또는 그 초과의 상이한 타입들의 데이터 사이의 관계들을 결정하기 위해 수행될 수 있다. 예컨대, 사용자 특정 및 환경 데이터는 2개의 타입들의 데이터 사이의 관계들을 결정하기 위해 상관된다. 유리하게, 상관은 많은 상이한 정황들(예컨대, 상이한 위치들, 시간들 등)에서 데이터를 획득할 능력으로 인해 더 강력해지거나 더 정확하게 결정될 수 있다. 사용자 특정 및 환경 데이터 사이의 상관은 다양한 목적들, 예컨대 데이터 타입들 및/또는 데이터 소스들 사이의 중요한 통계적 상관 및/또는 인과 관계들을 평가하고, 그리고 개인들 및/또는 인구 집단들에 대한 분석 및/또는 예측 회귀를 구축하기 위해, 다양한 소스들(예컨대, 환경 데이터 및 사용자 특정 데이터)로부터 획득된 데이터 세트들에 대해 수행된 다양한 통계적 분석들을 포함할 수 있다. 상관의 맥락에서 수행된 다양한 분석들은 실시간으로, 거의 실시간으로 그리고/또는 시간에 걸쳐 상이한 소스들로부터의, 상이한 사용자들로부터의, 그리고/또는 개인 사용자들 및/또는 사용자들의 인구 집단들 내에서의 데이터의 이력 패턴들에 기반하여 수행될 수 있다.
[0053] 본원에 개시된 많은 테스트들이 다양한 자극들에 대한 사용자의 응답에 관하여 수집된 사용자 데이터를 활용하는 것이 인식될 것이다. 본원에서 설명된 바와 같이, 사용자 데이터는 예컨대, 사용자의 이미지들 형태, 사용자에게 지향된 센서들로부터의 측정치들 등을 취할 수 있다. 사용자가 하루를 보낼 때, 그들은 특정 테스트에 적합한 외부 자극들과 접촉하게 될 수 있다는 것이 또한 인식될 것이다. 외부 자극들은 주변 환경으로부터의 환경 자극들의 형태 및/또는 디스플레이 시스템에 의해 사용자에게 제공된 자극들의 형태(예컨대, 특정 건강 분석을 수행하는 것 외의 목적들을 위해 사용자에게 제공된 이미지들 및/또는 사운드들 형태임)를 취할 수 있다. 유리하게, 디스플레이 시스템은, 특히 능동적으로 사용자가 특정 자극들을 겪지 않고도, 눈에 띄지 않게 다양한 분석들을 수행하기 위해 사용자에 관한 데이터를 수동적으로 수집하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자 데이터와 동기화되거나 그렇지 않으면 연관되는, 디스플레이 시스템에 의해 사용자에게 제공되는 외부 데이터(예컨대, 날짜, 온도, 주변 노이즈, 조명 컨디션들, 미러로부터의 거리 등) 및/또는 출력들을 모으도록 구성될 수 있다. 디스플레이 시스템에 의해 사용자에게 제공되는 환경 데이터 및 출력들은 외부 데이터로 지칭될 수 있다.
[0054] 일부 실시예들에서, 외부 및 사용자 데이터는 연속으로 저장되고 이어서 이후에 분석될 수 있다. 예컨대, 디스플레이 시스템의 외향 지향 카메라들로부터의 이미지 정보 및 마이크로폰들로부터의 사운드 입력들은, 사용자에게 부착되거나 지향된 다양한 센서들(예컨대, 내향 지향 카메라들, 전극들 등)로부터의 사용자 데이터와 함께, 연속으로 수집될 수 있다. 디스플레이 시스템은, 수집된 데이터가 본원에 개시된 분석들, 예컨대 본원에 개시된 사용자 건강 분석들 중 하나 또는 그 초과에 관련되는지를 결정하기 위해, 해당 정보가 수집될 때, 수집된 외부 및 사용자 데이터의 분석을 수행하도록 구성될 수 있다.
[0055] 일부 실시예들에서, 데이터 분석들의 타이밍 및 빈도는, 임의의 특정 시점에 수집되었던 데이터의 필요한 타입들 및 양들을 포함하여(그러나 이에 제한되지 않음), 분석들을 위한 미리정의된 판단 룰들에 의해 결정된다. 특정 분석을 위한 데이터의 필요한 타입들 및 양들이 존재하는 것이 결정되면, 디스플레이 시스템은 연관된 분석을 수행하도록 구성될 수 있다. 일부 다른 실시예들에서, 적합한 데이터가 존재하는지의 분석 및/또는 결정은 이후에(예컨대, 디스플레이 시스템이 사용자에 의해 사용되지 않을 수 있는 야간 또는 다른 시간들 같은 미리세팅된 간격들로, 및/또는 하나 또는 그 초과의 분석들을 수행하기 위한 사용자로부터의 특정 입력에 대한 응답으로) 수행될 수 있다. 바람직하게, 외부 및 사용자 데이터의 수집은, 사용자가 디스플레이 시스템을 착용하고 있는 동안, 적합한 데이터가 존재하는지의 분석 및/또는 결정이 간헐적으로 수행되는 동안, 또는 우발적으로, 예컨대 사용자 또는 다른 파티에 의해 미리세팅된 스케줄 및/또는 입력에 따라, 계속된다. 수집된 데이터, 예컨대 외부 데이터 및 사용자 데이터는 다수의 분석들에 사용될 수 있는 복수의 데이터 세트들을 나타내고, 하나의 데이터 세트는 분석들 중 하나에 적합하고 다른 데이터 세트는 다른 분석들에 적합하다. 게다가, 원시(raw) 외부 및 사용자 데이터의 가용성은 종래 분석들에서 쉽게 활용되지 않는 데이터의 조합들을 사용할 수 있는, 이후의 분석들의 개발을 가능하게 한다. 일부 실시예들에서, 외부 및 사용자 데이터의 동시 획득은 주어진 시점에서 사용자의 상태를 결정하도록 다수의 분석들이 수행되는 것을 허용한다. 유리하게, 동일한 시점으로부터 유도된 데이터를 평가함으로써 수행되는 이들 분석들은 각각의 개별 분석에 의해 제공된 결론들을 입증하는 것을 도울 수 있다.
[0056] 유리하게, 이들 분석들은 시간에 걸쳐 계속 수행될 수 있고, 예컨대 특정 분석들은 몇시간들, 며칠들, 몇주들, 몇개월들 또는 심지어 몇년들의 기간에 걸쳐 다수 회 수행될 수 있다. 결과적으로, 특정 분석에 관한 결론을 내리기 전에 큰 데이터 세트가 획득되고 분석될 수 있다. 그런 큰 데이터 세트는, 단지 단일 시점에서 획득된 데이터의 단일 분석에 비해, 분석들로부터 유도된 결론들의 신뢰성 및 레벨 신뢰도를 개선시킬 수 있다.
[0057] 게다가, 장기간 경향들은 또한 수집된 외부 및 사용자 데이터의 이력 분석에 의해 획득될 수 있다. 결과적으로, 이들 사용자 컨디션들에 관한 당시의 사용자 건강 컨디션들 및 경향들 둘 모두가 결정될 수 있고, 이는 특정 사용자에게 더 구체적으로 맞추어진 미래 경향들을 결정하기 위한 데이터를 제공할 수 있다. 예컨대, 증상들의 특정 임계치들에 도달될 때까지 소정의 컨디션들이 자명해지지 가능성이 있고, 그리고 컨디션에 관한 이전의 데이터 세트들 임상의에 의해 정상적으로 획득되지 않았을 수 있기 때문에(이는, 이들 데이터 세트들의 관련성이 이전에는 이해되지 않았었기 때문임), 컨디션이 발견되기 전에 사용자의 상태를 분석하는 것은 통상 어려울 수 있다. 외부 및 사용자 데이터의 수동 수집 및 저장은 유리하게, 시간상 돌이켜, 더 이른 시점들에서 사용자의 분석들을 수행하는 능력은 디스플레이 시스템에게 제공한다. 결과적으로, 컨디션의 진행의 더 정확한 이해가 결정될 수 있다. 게다가, 일반 인구 집단에 대한 규범들로부터 외삽하는 것이 아니라, 사용자에 대한 컨디션의 변화율이 결정될 수 있고, 이에 의해 컨디션의 진행을 더 정확하게 계획하기 위한 정보가 제공된다.
[0058] 일부 실시예들에서, 임의의 구성에서 수집된 모든 데이터는 실시간 또는 거의 실시간으로, 또는 미리특정된 시간 지연으로 사용자에게 하나 또는 그 초과의 개입들을 제공하는 데 활용될 수 있다. 인가된 액세스 및 제어 권리들을 가진 사용자 또는 다른 엔티티는 일부 실시예들에서 임의의 개입의 콘텐츠 및 타이밍을 결정할 수 있다. 개입 판단들은 시스템에서 또는 원격 디바이스를 통해 자동화된 방식 또는 수동 방식으로 호출될 수 있다. 데이터는 분석될 수 있고 하나 또는 그 초과의 알고리즘들은 새로운 개입 또는 개입들의 세트를 트리거하는 데, 그리고/또는 사용자의 지속적인 개입 또는 일련의 개입들, 이를테면 의료 처치 또는 생리학적 테라피(therapy)를 수정하는 데 사용될 수 있다. 일부 실시예들에서, 개입들은 디스플레이 시스템에 의해 (예컨대, 시각적 및/또는 청각적 콘텐츠, 및/또는 촉각적 피드백의 형태로) 그리고/또는 시각적 디스플레이를 갖는, 또는 갖지 않는 다른 기술적 디바이스들에 의해 사용자에게 전달될 수 있다. 데이터는 관련 사용자 상태들 및 컨디션들의 평가 또는 진단, 이를테면 의료 진단을 지원하거나 수행하는 데 사용될 수 있는 미리특정된 파라미터들(예컨대, 건강 파라미터들)의 세트의 하나 또는 그 초과의 조합들을 평가하는 데 사용될 수 있다.
[0059] 일부 실시예들에서, 사용자 및/또는 환경 데이터(예컨대, 실제 및/또는 가상 콘텐츠를 포함함)뿐 아니라, 사용자 및/또는 환경 데이터 사이의 관계는 예컨대 로컬 부근의 유사한 디바이스들의 다른 사용자들 및/또는 다른 사람들과 공유되고 그리고/또는 저장될 수 있다. 유리하게, 그런 공유는, 다른 사용자들로부터의 데이터 세트들이 이용가능할 것이기 때문에, 사용자 및/또는 환경 데이터와 이루어지는 임의의 상관 정확도를 증가시키는 데 도움을 줄 수 있다. 일부 다른 실시예들에서, 사용자 및/또는 환경 데이터, 및/또는 이 데이터로부터 유도된 정보는 예컨대, 특정 위치에 있는 사람들과 공통 반응을 유발하는 자극들에 관한 통지들을 제공하기 위해 제3자들과 공유될 수 있다. 일부 실시예들에서, 데이터는 데이터 입력을 수신할 수 있는 디스플레이 기능을 가지거나 가지지 않는 다른 기술적 디바이스들, 예컨대 스마트폰 등과 공유될 수 있다.
[0060] 이제 도면들에 대해 참조가 이루어질 것이고, 여기서 유사한 참조 번호들은 전체에 걸쳐 유사한 부분들을 지칭한다.
[0061] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 사용자의 눈들은 이격되어 있으며, 그리고 공간 내의 실제 객체를 보고 있을 때, 각각의 눈은 객체의 약간 상이한 뷰를 가질 것이며 각각의 눈의 망막 상의 상이한 위치들에 객체의 이미지를 형성할 수 있다는 것이 인식될 것이다. 이것은 양안 시차로 지칭될 수 있고 그리고 깊이의 인식을 제공하기 위해 인간 시각 시스템에 의해 활용될 수 있다. 종래의 디스플레이 시스템들은, 가상 객체가 원하는 깊이에 있는 실제 객체이면, 각각의 눈에 의해 보여질 가상 객체의 뷰들에 대응하는 동일한 가상 객체의 약간 상이한 뷰들(각각의 눈(210, 220)에 대해 하나씩)을 갖는 2개의 별개의 이미지들(190, 200)을 제시함으로써 양안 시차를 시뮬레이팅한다. 이들 이미지들은, 사용자의 시각 시스템이 깊이의 인식을 유도하기 위해 해석할 수 있는 양안 큐(cue)들을 제공한다.
[0062] 도 2를 계속 참조하면, 이미지들(190, 200)은 z-축 상에서 거리(230)만큼 눈들(210, 220)로부터 이격된다. z-축은 뷰어의 광학 축과 평행하고, 뷰어의 눈들은 뷰어의 바로 앞에서 광학 무한대에 있는 객체를 응시한다. 이미지들(190, 200)은 편평하고 눈들(210, 220)로부터 고정된 거리에 있다. 눈들(210, 220)에게 각각 제시된 이미지들 내의 가상 객체의 약간 상이한 뷰들에 기반하여, 눈들은, 단일 양안 비전을 유지하기 위해, 객체의 이미지가 눈들 각각의 망막들 상의 대응하는 포인트들에 떨어지도록 자연스럽게 회전할 수 있다. 이런 회전은, 눈들(210, 220)의 각각의 시선들이, 가상 객체가 존재하는 것으로 인식되는 공간 내의 포인트 상으로 수렴하게 할 수 있다. 결과적으로, 3차원 이미저리를 제공하는 것은 통상적으로, 사용자의 눈들(210, 220)의 이접운동을 조작할 수 있고, 인간 시각 시스템이 깊이의 인식을 제공하기 위해 해석하는 양안 큐들을 제공하는 것을 포함한다.
[0063] 그러나, 현실적이고 편안한 깊이의 인식을 생성하는 것은 어렵다. 눈들로부터 상이한 거리들에 있는 객체들로부터의 광이 상이한 발산 양들을 가진 파면들을 가지는 것이 인식될 것이다. 도 3a-도 3c는 광선들의 거리와 발산 사이의 관계들을 예시한다. 객체와 눈(210) 사이의 거리는 거리가 감소하는 순서로 R1, R2 및 R3로 표현된다. 도 3a-도 3c에 도시된 바와 같이, 광선들은, 객체에 대한 거리가 감소함에 따라 더 많이 발산하게 된다. 반대로, 거리가 증가함에 따라, 광선들은 더 시준된다. 다른 말로하면, 포인트(객체 또는 객체의 일부)에 의해 생성된 광 필드가 구체 파면 곡률을 갖는다고 말할 수 있으며, 구체 파면 곡률은, 그 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수이다. 곡률은 객체와 눈(210) 사이의 거리가 감소함에 따라 증가한다. 도 3a-도 3c 및 본원의 다른 도면들에서 예시의 명확성을 위해 단지 한쪽 눈(210)만이 예시되지만, 눈(210)에 대한 논의들은 뷰어의 양쪽 눈들(210 및 220)에 적용될 수 있다.
[0064] 도 3a-도 3c를 계속 참조하면, 뷰어의 눈들이 응시하는 객체로부터의 광은 상이한 파면 발산 정도들을 가질 수 있다. 상이한 파면 발산 양들로 인해, 광은 눈의 렌즈에 의해 상이하게 포커싱될 수 있고, 이는 차례로 눈의 망막 상에 포커싱된 이미지를 형성하기 위해 렌즈가 상이한 형상들을 취하는 것을 요구할 수 있다. 포커싱된 이미지가 망막 상에 형성되지 않는 경우, 결과적인 망막 블러(blur)는, 포커싱된 이미지가 망막 상에 형성될 때까지 눈의 렌즈의 형상의 변화를 유발하는 원근조절에 대한 큐로서 작용한다. 예컨대, 원근조절에 대한 큐는 눈의 렌즈를 둘러싸는 섬모 체근(ciliary muscle)들을 이완 또는 수축시키도록 트리거될 수 있고, 이에 의해 렌즈를 홀딩하는 현수 인대(suspensory ligament)들에 적용되는 힘이 조절되고, 이에 의해 응시 객체의 망막 블러가 제거되거나 최소화될 때까지 눈의 렌즈의 형상이 변경되게 되고, 이에 의해 눈의 망막(예컨대, 중심와) 상에 응시 객체의 포커싱된 이미지가 형성된다. 눈의 렌즈가 형상을 변화시키는 프로세스는 원근조절로 지칭될 수 있고, 그리고 눈의 망막(예컨대, 중심와) 상에 응시 객체의 포커싱된 이미지를 형성하기 위해 요구되는 눈의 렌즈의 형상은 원근조절 상태로 지칭될 수 있다.
[0065] 이제 도 4a를 참조하면, 인간 시각 시스템의 원근조절-이접운동 응답의 표현이 예시된다. 객체를 응시하기 위한 눈들의 움직임은 눈들이 객체로부터 광을 수신하게 하고, 광은 눈들의 망막들 각각 상에 이미지를 형성한다. 망막 상에 형성된 이미지에서 망막 블러의 존재는 원근조절에 대한 큐를 제공할 수 있고, 그리고 망막들 상에서 이미지의 상대적 위치들은 이접운동에 대한 큐를 제공할 수 있다. 원근조절에 대한 큐는 원근조절이 발생하게 하고, 이는 눈들 각각의 렌즈들이 눈의 망막(예컨대, 중심와) 상에 객체의 포커싱된 이미지를 형성하는 특정 원근조절 상태를 취하게 한다. 한편, 이접운동에 대한 큐는, 각각의 눈의 각각의 망막 상에 형성된 이미지들이 단일 양안 비전을 유지하는 대응하는 망막 포인트들에 있도록 이접운동 움직임들(눈들의 회전)이 발생하게 한다. 이들 포지션들에서, 눈들은 특정 이접운동 상태를 취했다고 말할 수 있다. 도 4a를 계속 참조하면, 원근조절은, 눈이 특정 원근조절 상태를 달성하게 하는 프로세스인 것으로 이해될 수 있고, 그리고 이접운동은, 눈이 특정 이접운동 상태를 달성하게 하는 프로세스인 것으로 이해될 수 있다. 도 4a에 표시된 바와 같이, 눈들의 원근조절 및 이접운동 상태들은, 사용자가 다른 객체를 응시하면 변할 수 있다. 예컨대, 원근조절된 상태는, 사용자가 z-축 상의 다른 깊이에 있는 새로운 객체를 응시하면 변할 수 있다.
[0066] 이론에 의해 제한되지 않고, 객체의 뷰어들이 이접운동 및 원근조절의 결합으로 인해 객체를 "3차원"인 것으로 인식할 수 있다고 여겨진다. 위에서 주목된 바와 같이, 서로에 관해 2개의 눈들의 이접운동 움직임들(예컨대, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향해 또는 서로 멀어지게 동공들이 움직이도록 하는 눈들의 회전)은 눈들의 렌즈들의 원근조절과 밀접하게 연관된다. 정상 조건들하에서, 하나의 객체로부터 상이한 거리에 있는 다른 객체로 포커스를 변화시키기 위하여 눈들의 렌즈들의 형상들을 변화시키는 것은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계하에서, 동일한 거리로의 이접운동의 매칭 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는 정상 조건들 하에서 렌즈 형상의 매칭 변화를 트리거할 것이다.
[0067] 이제 도 4b를 참조하면, 눈들의 상이한 원근조절 및 이접운동 상태들의 예들이 예시된다. 눈들의 쌍(222a)은 광학 무한대에 있는 객체를 응시하는 반면, 눈들의 쌍(222b)은 광학 무한대 미만에 있는 객체(221)를 응시한다. 특히, 눈들의 각각의 쌍의 이접운동 상태들은 상이하고, 눈들의 쌍(222a)은 똑바로 앞을 지향하는 반면, 눈들의 쌍(222b)은 객체(221) 상에 수렴한다. 눈들의 각각의 쌍(222a 및 222b)을 형성하는 눈들의 원근조절 상태들은, 렌즈들(210a, 220a)의 상이한 형상들에 의해 표현되는 바와 같이, 또한 상이하다.
[0068] 바람직하지 않게, 종래의 "3D" 디스플레이 시스템들의 많은 사용자들은 그런 종래의 시스템들이 불편하다고 여기거나 또는 이들 디스플레이들의 원근조절 상태와 이접운동 상태 사이의 미스매칭으로 인해 깊이 감을 전혀 인식하지 못할 수 있다. 위에서 주목된 바와 같이, 많은 입체 또는 "3D" 디스플레이 시스템들은 약간 상이한 이미지들을 각각의 눈에 제공함으로써 장면을 디스플레이한다. 그런 시스템들은 많은 뷰어들에게 불편한데, 그 이유는, 그런 시스템들이, 특히 단순히 장면의 상이한 프리젠테이션들을 제공하고 눈들의 이접운동 상태들의 변화들을 유발하지만, 이들 눈들의 원근조절 상태들의 대응하는 변화를 유발하지 않기 때문이다. 오히려, 이미지들은 디스플레이에 의해 눈들로부터 고정된 거리에 있는 보여져서, 눈들은 단일 원근조절 상태에서 모든 이미지 정보를 본다. 그런 어레인지먼트는 원근조절 상태의 매칭 변화 없이 이접운동 상태의 변화들을 유발함으로써 "원근조절-이접운동 반사"에 반하게 작동한다. 이런 미스매칭은 뷰어 불편함을 유발하는 것으로 여겨진다. 원근조절과 이접운동 사이의 더 나은 매칭을 제공하는 디스플레이 시스템들은 3차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0069] 이론에 의해 제한되지 않고, 인간 눈이 통상적으로 깊이의 인식을 제공하기 위해 유한한 수의 깊이 평면들을 해석할 수 있는 것으로 여겨진다. 결과적으로, 인식된 깊이의 매우 믿을만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 일부 실시예들에서, 상이한 프리젠테이션들은 이접운동에 대한 큐들 및 원근조절에 대한 미스매칭 큐들 둘 모두를 제공할 수 있고, 이에 의해 생리학적으로 올바른 원근조절-이접운동 매칭이 제공된다.
[0070] 도 4b를 계속 참조하면, 눈들(210, 220)로부터 공간의 상이한 거리들에 대응하는 2개의 깊이 평면들(240)이 예시된다. 주어진 깊이 평면(240)의 경우, 이접운동 큐들은 각각의 눈(210, 220)에 대해 적절하게 상이한 조망들의 이미지들을 디스플레이함으로써 제공될 수 있다. 게다가, 주어진 깊이 평면(240)의 경우, 각각의 눈(210, 220)에 제공된 이미지들을 형성하는 광은 깊이 평면(240)의 거리에 있는 포인트에 의해 생성된 광 필드에 대응하는 파면 발산을 가질 수 있다.
[0071] 예시된 실시예에서, z-축을 따라, 포인트(221)를 포함하는 깊이 평면(240)의 거리는 1 m이다. 본원에서 사용된 바와 같이, z-축을 따른 거리들 또는 깊이들은 사용자의 눈들의 출사동들에 위치된 제로 포인트를 사용하여 측정될 수 있다. 따라서, 1 m의 깊이에 위치된 깊이 평면(240)은 눈들이 광학 무한대를 향해 지향되어 있는 이들 눈들의 광학 축 상에서, 사용자의 눈들의 출사동들로부터 1 m 떨어진 거리에 대응한다. 근사치로서, z-축을 따른 깊이 또는 거리는 사용자의 눈들의 전면의 디스플레이(예컨대, 도파관의 표면) 외에(plus), 디바이스와 사용자의 눈들의 출사동들 사이의 거리에 대한 값으로부터 측정될 수 있다. 그 값은 눈동자 거리(eye relief)라 칭해지고 그리고 사용자의 눈의 출사동과, 눈의 전면에 사용자가 착용한 디스플레이 사이의 거리에 대응한다. 실제로, 눈동자 거리에 대한 값은 일반적으로 모든 뷰어들에게 사용되는 정규화된 값일 수 있다. 예컨대, 눈동자 거리는 20 mm인 것으로 가정될 수 있고 1 m의 깊이에 있는 깊이 평면은 디스플레이의 전면에서 980 mm의 거리에 있을 수 있다.
[0072] 이제 도 4c 및 도 4d를 참조하면, 매칭된 원근조절-이접운동 거리들 및 미스매칭된 원근조절-이접운동 거리들의 예들이 각각 예시된다. 도 4c에 예시된 바와 같이, 디스플레이 시스템은 가상 객체의 이미지들을 각각의 눈(210, 220)에 제공할 수 있다. 이미지들은, 눈들(210, 220)이 깊이 평면(240) 상의 포인트(15) 상에 수렴하는 이접운동 상태를 그 눈들이 취하게 할 수 있다. 게다가, 이미지들은 그 깊이 평면(240)에 있는 실제 객체들에 대응하는 파면 곡률을 가진 광에 의해 형성될 수 있다. 결과적으로, 눈들(210, 220)은, 이미지들이 이들 눈들의 망막들 상에 인 포커스(in focus)하는 원근조절 상태를 취한다. 따라서, 사용자는 가상 객체를 깊이 평면(240) 상의 포인트(15)에 있는 것으로 인식할 수 있다.
[0073] 눈들(210, 220)의 원근조절 및 이접운동 상태들 각각이 z-축 상의 특정 거리와 연관된다는 것이 인식될 것이다. 예컨대, 눈들(210, 220)로부터 특정 거리에 있는 객체는 이들 눈들이 객체의 거리들에 기반하여 특정 원근조절 상태들을 취하게 한다. 특정 원근조절 상태와 연관된 거리는 원근조절 거리(Ad)라 지칭될 수 있다. 유사하게, 서로에 대한 포지션들 또는 특정 이접운동 상태들의 눈들과 연관된 특정 이접운동 거리들(Vd)이 있다. 원근조절 거리와 이접운동 거리가 매칭하는 경우, 원근조절과 이접운동 사이의 관계는 생리학적으로 올바른 것이라 말할 수 있다. 이것은 뷰어에게 가장 편안한 시나리오인 것으로 고려된다.
[0074] 그러나, 입체적 디스플레이들에서, 원근조절 거리와 이접운동 거리가 항상 매칭하지 않을 수 있다. 예컨대, 도 4d에 예시된 바와 같이, 눈들(210, 220)에 디스플레이되는 이미지들은 깊이 평면(240)에 대응하는 파면 발산으로 디스플레이될 수 있고, 눈들(210, 220)은, 그 깊이 평면 상의 포인트들(15a, 15b)이 인 포커스되는 특정 원근조절 상태를 취할 수 있다. 그러나, 눈들(210, 220)에 디스플레이되는 이미지들은 눈들(210, 220)이 깊이 평면(240) 상에 위치되지 않은 포인트(15) 상에 수렴하게 하는 이접운동에 대한 큐들을 제공할 수 있다. 결과적으로, 일부 실시예들에서, 원근조절 거리는 눈들(210, 220)의 출사동들로부터 깊이 평면(240)까지의 거리에 대응하는 반면, 이접운동 거리는 눈들(210, 220)의 출사동들로부터 포인트(15)까지의 더 먼 거리에 대응한다. 원근조절 거리는 이접운동 거리와 상이하다. 결과적으로, 원근조절-이접운동 미스매칭이 존재한다. 그런 미스매칭은 바람직하지 않은 것으로 고려되며, 사용자에게 불편함을 유발할 수 있다. 미스매칭이 거리(예컨대, Vd-Ad)에 대응하며, 디옵터(diopter)들을 사용하는 것을 특징으로 할 수 있다는 것이 인식될 것이다.
[0075] 일부 실시예들에서, 동일한 기준 포인트가 원근조절 거리 및 이접운동 거리에 활용되는 한, 눈들(210, 220)의 출사동들 외의 기준 포인트가 원근조절-이접운동 미스매칭을 결정하기 위한 거리를 결정하는 데 활용될 수 있다는 것이 인식될 것이다. 예컨대, 거리들은 각막으로부터 깊이 평면까지, 망막으로부터 깊이 평면까지, 접안렌즈(예컨대, 디스플레이 디바이스의 도파관)으로부터 깊이 평면까지 등으로 측정될 수 있다.
[0076] 이론에 의해 제한되지 않고, 미스매칭 자체가 상당한 불편함을 유발하지 않으면, 사용자들이 최대 약 0.25 디옵터, 최대 약 0.33 디옵터 및 최대 약 0.5 디옵터의 원근조절-이접운동 미스매칭들을 생리학적으로 올바른 것으로 여전히 인식할 수 있는 것으로 여겨진다. 일부 실시예들에서, 본원에 개시된 디스플레이 시스템들(예컨대, 디스플레이 시스템(250), 도 6)은 약 0.5 디옵터 또는 그 미만의 원근조절-이접운동 미스매칭을 갖는 이미지들을 뷰어에게 제시한다. 일부 다른 실시예들에서, 디스플레이 시스템에 의해 제공된 이미지들의 원근조절-이접운동 미스매칭은 약 0.33 디옵터 또는 그 미만이다. 또 다른 실시예들에서, 디스플레이 시스템에 의해 제공된 이미지들의 원근조절-이접운동 미스매칭은 약 0.1 디옵터 또는 그 미만을 포함하여, 약 0.25 디옵터 또는 그 미만이다.
[0077] 도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 디스플레이 시스템은 이미지 정보로 인코딩된 광(770)을 수신하도록, 그리고 그 광을 사용자의 눈(210)에 출력하도록 구성된 도파관(270)을 포함한다. 도파관(270)은 원하는 깊이 평면(240) 상의 포인트에 의해 생성된 광 필드의 파면 발산에 대응하는 정의된 파면 발산 양을 가진 광(650)을 출력할 수 있다. 일부 실시예들에서, 동일한 파면 발산 양은 그 깊이 평면 상에 제시된 모든 객체들에 대해 제공된다. 게다가, 사용자의 다른 눈에 유사한 도파관으로부터의 이미지 정보가 제공될 수 있다는 것이 예시될 것이다.
[0078] 일부 실시예들에서, 단일 도파관은 단일 또는 제한된 수의 깊이 평면들에 대응하는 세팅된 파면 발산 양을 가진 광을 출력하도록 구성될 수 있고 그리고/또는 도파관은 제한된 범위의 파장들의 광을 출력하도록 구성될 수 있다. 결과적으로, 일부 실시예들에서, 복수의 도파관들 또는 도파관들의 스택은 상이한 깊이 평면들에 대해 상이한 파면 발산 양들을 제공하는 데 그리고/또는 상이한 범위들의 파장들의 광을 출력하는 데 활용될 수 있다.
[0079] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(250)은 복수의 도파관들(270, 280, 290, 300, 310)을 사용하여 3차원 인식을 눈/뇌에 제공하기 위해 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(260)를 포함한다. 디스플레이 시스템(250)이 일부 실시예들에서 광 필드 디스플레이로 고려될 수 있다는 것이 인식될 것이다. 게다가, 도파관 어셈블리(260)는 또한 접안 렌즈로 지칭될 수 있다.
[0080] 일부 실시예들에서, 디스플레이 시스템(250)은 이접운동에 대한 실질적으로 연속적인 큐들 및 원근조절에 대한 다수의 이산 큐들을 제공하도록 구성될 수 있다. 이접운동에 대한 큐들은 상이한 이미지들을 사용자의 눈들의 각각에 디스플레이함으로써 제공될 수 있고, 그리고 원근조절에 대한 큐들은 선택가능한 이산 파면 발산 양들을 가진 이미지들을 형성하는 광을 출력함으로써 제공될 수 있다. 다른 말로하면, 디스플레이 시스템(250)은 가변 레벨들의 파면 발산을 가진 광을 출력하도록 구성될 수 있다. 일부 실시예들에서, 파면 발산의 각각의 이산 레벨은 특정 깊이 평면에 대응하고, 그리고 도파관들(270, 280, 290, 300, 310) 중 특정 하나의 도파관에 의해 제공될 수 있다.
[0081] 도 6을 계속 참조하면, 도파관 어셈블리(260)는 또한 도파관들 사이에 복수의 피처들(320, 330, 340, 350)을 포함할 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 하나 또는 그 초과의 렌즈들일 수 있다. 도파관들(270, 280, 290, 300, 310) 및/또는 복수의 렌즈들(320, 330, 340, 350)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 도파관들에 대한 광의 소스로서 기능할 수 있고 이미지 정보를 도파관들(270, 280, 290, 300, 310)에 주입하는 데 활용될 수 있고, 이 도파관들 각각은, 본원에 설명된 바와 같이, 눈(210)을 향한 출력을 위해 각각의 개별 도파관에 걸쳐 인입 광을 분배하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(360, 370, 380, 390, 400)의 출력 표면(410, 420, 430, 440, 450)을 출사하고 도파관들(270, 280, 290, 300, 310)의 대응하는 입력 표면(460, 470, 480, 490, 500)으로 주입된다. 일부 실시예들에서, 입력 표면들(460, 470, 480, 490, 500)의 각각은 대응하는 도파관의 에지일 수 있거나, 대응하는 도파관의 주 표면(즉, 세계(510) 또는 뷰어의 눈(210)을 직접 향하는 도파관 표면들 중 하나)의 부분일 수 있다. 일부 실시예들에서, 단일 광빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산량들)로 눈(210)을 향하여 지향되는 복제된 시준된 빔들의 전체 필드를 출력하기 위해 각각의 도파관으로 주입될 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 하나의 이미지 주입 디바이스는 복수(예컨대, 3개)의 도파관들(270, 280, 290, 300, 310)과 연관되어 이들에 광을 주입할 수 있다.
[0082] 일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 이산 디스플레이들이며, 이 각각은, 대응하는 도파관(270, 280, 290, 300, 310)으로의 주입을 위한 이미지 정보를 각각 생성한다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 예컨대 이미지 정보를 하나 또는 그 초과의 광학 도관들(이를테면, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(360, 370, 380, 390, 400)의 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력단들이다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)에 의해 제공된 이미지 정보가 상이한 파장들, 또는 컬러들(예컨대, 본원에 논의된 바와 같이, 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인식될 것이다.
[0083] 일부 실시예들에서, 도파관들(270, 280, 290, 300, 310)로 주입된 광은 광 투사기 시스템(520)에 의해 제공되고, 광 투사기 시스템(520)은 광 방출기, 이를테면 LED(light emitting diode)를 포함할 수 있는 광 모듈(530)을 포함한다. 광 모듈(530)로부터의 광은 빔 분할기(550)를 통해 광 변조기(540), 예컨대 공간 광 변조기로 지향되어 이에 의해 수정될 수 있다. 광 변조기(540)는 도파관들(270, 280, 290, 300, 310)로 주입된 광의 인식된 세기를 변화시켜 광을 이미지 정보로 인코딩하도록 구성될 수 있다. 공간 광 변조기들의 예들은 LCOS(liquid crystal on silicon) 디스플레이들을 포함하는 LCD(liquid crystal displays)를 포함한다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)이 개략적으로 예시되고 그리고 일부 실시예들에서, 이들 이미지 주입 디바이스들이, 광을 도파관들(270, 280, 290, 300, 310) 중 연관된 도파관들로 출력하도록 구성된 공통 투사 시스템의 상이한 광 경로들 및 위치들을 나타낼 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 도파관 어셈블리(260)의 도파관들은 도파관들로 주입된 광을 사용자의 눈들로 중계하면서 이상적인 렌즈로 기능할 수 있다. 이런 개념에서, 객체는 공간 광 변조기(540)일 수 있고 이미지는 깊이 평면 상의 이미지일 수 있다.
[0084] 일부 실시예들에서, 디스플레이 시스템(250)은 다양한 패턴들(예컨대, 래스터(raster) 스캔, 나선형 스캔, 리사주(Lissajous) 패턴들 등)의 광을 하나 또는 그 초과의 도파관들(270, 280, 290, 300, 310) 및 궁극적으로 뷰어의 눈(210)으로 투사하도록 구성된 하나 또는 그 초과의 스캐닝 섬유들을 포함하는 스캐닝 섬유 디스플레이일 수 있다. 일부 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 광을 하나 또는 복수의 도파관들(270, 280, 290, 300, 310)로 주입하도록 구성된 단일 스캐닝 섬유 또는 스캐닝 섬유들의 번들(bundle)을 개략적으로 나타낼 수 있다. 일부 다른 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 복수의 스캐닝 섬유들 또는 복수의 스캐닝 섬유들의 번들들을 개략적으로 나타낼 수 있고, 이들 각각은 도파관들(270, 280, 290, 300, 310) 중 연관된 도파관으로 광을 주입하도록 구성된다. 하나 또는 그 초과의 광섬유들이 광 모듈(530)로부터의 광을 하나 또는 그 초과의 도파관들(270, 280, 290, 300, 310)로 전송하도록 구성될 수 있다는 것이 인식될 것이다. 하나 또는 그 초과의 개재 광학 구조들이 스캐닝 섬유 또는 섬유들과, 하나 또는 그 초과의 도파관들(270, 280, 290, 300, 310) 사이에 제공되어, 예컨대 스캐닝 섬유를 출사하는 광을 하나 또는 그 초과의 도파관들(270, 280, 290, 300, 310)로 재지향시킬 수 있다는 것이 인식될 것이다.
[0085] 제어기(560)는, 이미지 주입 디바이스들(360, 370, 380, 390, 400), 광 소스(530) 및 광 변조기(540)의 동작을 포함하여, 스택된 도파관 어셈블리(260)의 하나 또는 그 초과의 동작을 제어한다. 일부 실시예들에서, 제어기(560)는 로컬 데이터 프로세싱 모듈(140)의 부분이다. 제어기(560)는, 예컨대 본원에 개시된 다양한 방식들 중 임의의 방식에 따라, 도파관들(270, 280, 290, 300, 310)로의 이미지 정보의 프로비전(provision) 및 타이밍을 조절하는 프로그래밍(예컨대, 비-일시적 매체 내의 명령들)을 포함한다. 일부 실시예들에서, 제어기는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 제어기(560)는 일부 실시예들에서 프로세싱 모듈들(140 또는 150)(도 9d)의 부분일 수 있다.
[0086] 도 6을 계속 참조하면, 도파관들(270, 280, 290, 300, 310)은 내부 전반사(TIR)에 의해 각각의 개별 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(270, 280, 290, 300, 310)은 각각 주 최상부 표면 및 주 최하부 표면, 그리고 이들 주 최상부 표면과 주 최하부 표면 사이에서 연장되는 에지들을 가진 평면형일 수 있거나 다른 형상(예컨대, 곡선형)을 가질 수 있다. 예시된 구성에서, 도파관들(270, 280, 290, 300, 310)은 각각, 이미지 정보를 눈(210)에 출력하기 위해 각각의 개별 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관 밖으로 광을 추출하도록 구성된 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 포함할 수 있다. 추출된 광은 또한 아웃커플링된 광이라 지칭될 수 있고 아웃커플링 광학 엘리먼트들은 또한 광 추출 광학 엘리먼트들이라 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력될 수 있다. 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 예컨대, 본원에서 추가로 논의된 바와 같이 회절 광학 피처들을 포함하는 격자들일 수 있다. 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은, 설명의 용이함 및 도면 명확성을 위해 도파관들(270, 280, 290, 300, 310)의 최하부 주 표면들에 배치된 것으로 예시되지만, 본원에서 추가로 논의된 바와 같이, 일부 실시예들에서는, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(270, 280, 290, 300, 310)의 볼륨 내에 직접 배치될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 도파관들(270, 280, 290, 300, 310)을 형성하기 위해 투명 기판에 부착되는 재료의 층으로 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(270, 280, 290, 300, 310)은 모놀리식 재료 피스(piece)일 수 있고 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 그 재료 피스의 표면 상에 및/또는 그 내부에 형성될 수 있다.
[0087] 도 6을 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(270, 280, 290, 300, 310)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(270)은, (그런 도파관(270)에 주입된) 시준된 광을 눈(210)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위쪽(up)의 다음 도파관(280)은, 시준된 광이 눈(210)에 도달할 수 있기 전에 제1 렌즈(350)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그런 제1 렌즈(350)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위쪽의 그 다음 도파관(280)으로부터 오는 광을, 광학 무한대로부터 눈(210)을 향해 내측으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 위쪽 제3 도파관(290)은 눈(210)에 도달하기 전에 제1 렌즈(350) 및 제2 렌즈(340) 둘 모두를 통하여 자신의 출력 광을 통과시키고; 제1 렌즈(350) 및 제2 렌즈(340)의 결합된 광학 파워는 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(290)으로부터 오는 광을, 위쪽 다음 도파관(280)으로부터의 광보다 광학적 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0088] 다른 도파관 층들(300, 310) 및 렌즈들(330, 320)은 유사하게 구성되고, 스택 내 가장 높은 도파관(310)은, 자신의 출력을, 사람과 가장 가까운 초점 평면을 대표하는 총(aggregate) 초점 파워에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(260)의 다른 측부 상에서 세계(510)로부터 오는 광을 보고/해석할 때 렌즈들(320, 330, 340, 350)의 스택을 보상하기 위하여, 보상 렌즈 층(620)이 아래쪽 렌즈 스택(320, 330, 340, 350)의 총 파워를 보상하도록 스택의 최상부에 배치될 수 있다. 그런 구성은 이용가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 인식되는 초점 평면들을 제공한다. 도파관들의 아웃커플링 광학 엘리먼트들과 렌즈들의 포커싱 양상들 둘 모두는 정적(즉, 동적이거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0089] 일부 실시예들에서, 도파관들(270, 280, 290, 300, 310) 중 2개 또는 그 초과는 동일한 연관된 깊이 평면을 가질 수 있다. 예컨대, 다수의 도파관들(270, 280, 290, 300, 310)은 이미지들 세트를 동일한 깊이 평면에 출력하도록 구성될 수 있거나, 또는 도파관들(270, 280, 290, 300, 310)의 다수의 서브세트들은 이미지들 세트를, 각각의 깊이 평면에 대해 하나의 세트로, 동일한 복수의 깊이 평면들에 출력하도록 구성될 수 있다. 이것은 이들 깊이 평면들에 확장된 시야를 제공하기 위해 타일화된(tiled) 이미지를 형성하는 데 장점들을 제공할 수 있다.
[0090] 도 6을 계속 참조하면, 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 자신의 개별 도파관들 밖으로 광을 재지향시킬뿐만 아니라 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하하도록 구성될 수 있다. 결과적으로, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 가질 수 있고, 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 연관된 깊이 평면에 따라 상이한 발산 양으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 구조들 및/또는 클래딩(cladding) 층들)일 수 있다.
[0091] 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨) 또는 회절 패턴을 형성하는 회절 피처들이다. 바람직하게, DOE들은 충분히 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차로 인해 눈(210)을 향하여 편향되지만, 나머지는 TIR에 의해 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 운반하는 광은 다수의 위치들에서 도파관을 출사하는 다수의 관련된 출사 빔들로 나뉘어지고, 그 결과는 도파관 내에서 이리저리 바운싱(bouncing)되는 이런 특정 시준된 빔에 대해 눈(210)을 향한 상당히 균일한 출사 방출 패턴이다.
[0092] 일부 실시예들에서, 하나 또는 그 초과의 DOE들은, 이들이 활발하게 회절하는 "온" 상태들과 이들이 현저하게 회절하지 않는 "오프" 상태들 사이에서 스위칭가능할 수 있다. 예컨대, 스위칭가능 DOE는, 마이크로액적(microdroplet)들이 호스트 매질에 회절 패턴을 포함하는 폴리머 확산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률과 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 뚜렷하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 인덱스(index)와 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활발하게 회절시킴).
[0093] 일부 실시예들에서, 카메라 어셈블리(630)(예컨대, 가시 광 및 적외선 광 카메라들을 포함하는 디지털 카메라)는, 예컨대 사용자 입력들을 검출하도록 그리고/또는 사용자의 생리학적 상태를 모니터링하도록 눈(210)의 이미지들 및/또는 눈(210) 주위의 조직을 캡처하기 위해 제공될 수 있다. 본원에서 사용된 바와 같이, 카메라는 임의의 이미지 캡처 디바이스일 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 이미지 캡처 디바이스 및 눈에 광(예컨대, 적외선 광)을 투사하기 위한 광 소스를 포함할 수 있고, 이후 광은 눈에 의해 반사되고 이미지 캡처 디바이스에 의해 검출될 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 프레임(80)에 부착될 수 있고(도 9d) 그리고 카메라 어셈블리(630)로부터의 이미지 정보를 프로세싱할 수 있는 프로세싱 모듈들(140 및/또는 150)과 전기적으로 통신할 수 있다. 일부 실시예들에서, 하나의 카메라 어셈블리(630)는 각각의 눈을 별개로 모니터링하기 위해 각각의 눈에 활용될 수 있다.
[0094] 이제 도 7을 참조하면, 도파관에 의해 출력된 출사 빔들의 예가 도시된다. 하나의 도파관이 예시되지만, 도파관 어셈블리(260)가 다수의 도파관들을 포함하는 경우, 도파관 어셈블리(260)(도 6)의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인식될 것이다. 광(640)은 도파관(270)의 입력 표면(460)에서 도파관(270)으로 주입되고 TIR에 의해 도파관(270) 내에서 전파된다. 광(640)이 DOE(570) 상에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(650)로서 도파관을 출사한다. 출사 빔들(650)은 실질적으로 평행한 것으로 예시되지만, 본원에 논의된 바와 같이, 이들 출사 빔들(650)은 또한 도파관(270)과 연관된 깊이 평면에 따라, (예컨대, 발산하는 출사 빔들을 형성하는) 각도로 눈(210)으로 전파되도록 재지향될 수 있다. 실질적으로 평행한 출사 빔들이 눈(210)으로부터 먼 거리(예컨대, 광학 무한대)에 있는 깊이 평면 상에 세팅되는 것으로 보이는 이미지들을 형성하기 위해 광을 아웃커플링하는 아웃커플링 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인식될 것이다. 다른 도파관들 또는 아웃커플링 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있고, 이 출사 빔 패턴은 눈(210)이 망막 상의 포커스로 이동하도록 더 가까운 거리에 원근조절되는 것을 요구할 것이고 뇌에 의해 광학 무한대보다 눈(210)에 더 가까운 거리로부터의 광으로서 해석될 것이다.
[0095] 일부 실시예들에서, 풀 컬러 이미지는 컴포넌트 컬러들, 예컨대 3개 또는 그 초과의 컴포넌트 컬러들 각각에 이미지들을 오버레잉함으로써 각각의 깊이 평면에 형성될 수 있다. 도 8은, 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다. 비록 더 많거나 더 적은 깊이들이 또한 고려되지만, 예시된 실시예는 깊이 평면들(240a - 240f)을 도시한다. 각각의 깊이 평면은, 제1 컬러(G)의 제1 이미지; 제2 컬러(R)의 제2 이미지; 및 제3 컬러(B)의 제3 이미지를 포함하여, 자신과 연관된 3개 또는 그 초과의 컴포넌트 컬러 이미지들을 가질 수 있다. 상이한 깊이 평면들은 문자들 G, R 및 B 다음에 디옵터들(dpt)에 대한 상이한 숫자들로 도면에 표시된다. 단지 예들로서, 이들 문자들 각각 다음의 숫자들은 디옵터들(1/m), 또는 뷰어로부터 깊이 평면의 역거리(inverse distance)를 표시하고, 도면들에서 각각의 박스는 개별 컴포넌트 컬러 이미지를 나타낸다. 일부 실시예들에서, 상이한 파장들의 광의 눈의 포커싱의 차이들을 고려하기 위해, 상이한 컴포넌트 컬러들에 대해 깊이 평면들의 정확한 배치는 변할 수 있다. 예컨대, 주어진 깊이 평면에 대해 상이한 컴포넌트 컬러 이미지들이 사용자로부터 상이한 거리들에 대응하는 깊이 평면들 상에 배치될 수 있다. 그런 어레인지먼트는 시력 및 사용자 편안함을 증가시킬 수 있고 그리고/또는 색수차들을 감소시킬 수 있다.
[0096] 일부 실시예들에서, 각각의 컴포넌트 컬러의 광은 단일 전용 도파관에 의해 출력될 수 있고, 결과적으로 각각의 깊이 평면은 자신과 연관된 다수의 도파관들을 가질 수 있다. 그런 실시예들에서, 도면들에서 문자들 G, R 또는 B를 포함하는 각각의 박스는 개별 도파관을 나타내는 것으로 이해될 수 있고, 그리고 깊이 평면당 3개의 도파관들이 제공될 수 있고, 여기서 깊이 평면당 3개의 컴포넌트 컬러 이미지들이 제공된다. 각각의 깊이 평면과 연관된 도파관들이 설명의 용이함을 위해 이 도면에서 서로 인접하게 도시되지만, 물리적 디바이스에서, 도파관들 모두가 레벨당 하나의 도파관을 가진 스택으로 배열될 수 있다는 것이 인식될 것이다. 일부 다른 실시예들에서, 다수의 컴포넌트 컬러들은 동일한 도파관에 의해 출력될 수 있어서, 예컨대 깊이 평면당 단일 도파관만이 제공될 수 있다.
[0097] 도 8을 계속 참조하면, 일부 실시예들에서, G는 녹색이고, R은 적색이고, 그리고 B는 청색이다. 일부 다른 실시예들에서, 자홍색 및 청록색을 포함하여, 광의 다른 파장들과 연관된 다른 컬러들은 적색, 녹색 또는 청색 중 하나 또는 그 초과 외에 사용될 수 있거나 이 적색, 녹색 또는 청색 중 하나 또는 그 초과를 대체할 수 있다.
[0098] 본 개시내용 전반에 걸쳐 광의 주어진 컬러에 대한 참조들이 그 주어진 컬러인 것으로서 뷰어에 의해 인식되는 광의 파장 범위 내의 하나 또는 그 초과의 파장들의 광을 포함하는 것으로 이해될 것이라는 것이 인식될 것이다. 예컨대, 적색 광은 약 620-780 nm 범위의 하나 또는 그 초과의 파장들의 광을 포함할 수 있고, 녹색 광은 약 492-577 nm의 범위의 하나 또는 그 초과의 파장들의 광을 포함할 수 있고, 그리고 청색 광은 약 435-493 nm의 범위의 하나 또는 그 초과의 파장들의 광을 포함할 수 있다.
[0099] 일부 실시예들에서, 광 소스(530)(도 6)는 뷰어의 시각 인식 범위를 벗어난 하나 또는 그 초과의 파장들, 예컨대 적외선 및/또는 자외선 파장들의 광을 방출하도록 구성될 수 있다. 게다가, 디스플레이(250)의 도파관들의 인커플링, 아웃커플링 및 다른 광 재지향 구조들은, 예컨대 이미징 및/또는 사용자 시뮬레이션 애플리케이션들을 위해, 디스플레이로부터의 이런 광을 사용자의 눈(210)을 향해 지향시키고 방출하도록 구성될 수 있다.
[0100] 이제 도 9a를 참조하면, 일부 실시예들에서, 도파관 상에 충돌하는 광은 도파관에 그 광을 인커플링하기 위해 재지향될 필요가 있을 수 있다. 인커플링 광학 엘리먼트는 자신의 대응하는 도파관으로 광을 재지향시키고 인커플링하는 데 사용될 수 있다. 도 9a는, 각각이 인커플링 광학 엘리먼트를 포함하는 복수의 스택된 도파관들 또는 스택된 도파관들의 세트(660)의 예의 측단면도를 예시한다. 도파관들은 각각, 하나 또는 그 초과의 상이한 파장들, 또는 하나 또는 그 초과의 상이한 범위들의 파장들의 광을 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 하나 또는 그 초과로부터의 광이 인커플링을 위해 광이 재지향되기를 요구하는 포지션으로부터 도파관들로 주입되는 것을 제외하고, 스택(660)이 스택(260)(도 6)에 대응할 수 있고 스택(660)의 예시된 도파관들이 복수의 도파관들(270, 280, 290, 300, 310)의 부분에 대응할 수 있다는 것이 인식될 것이다.
[0101] 스택된 도파관들의 예시된 세트(660)는 도파관들(670, 680 및 690)을 포함한다. 각각의 도파관은 연관된 인커플링 광학 엘리먼트(도파관 상의 광 입력 영역으로 또한 지칭될 수 있음)를 포함하는데, 예컨대 도파관(670)의 주 표면(예컨대, 상부 주 표면) 상에 인커플링 광학 엘리먼트(700)가 배치되고, 도파관(680)의 주 표면(예컨대, 상부 주 표면) 상에 인커플링 광학 엘리먼트(710)가 배치되고, 그리고 도파관(690)의 주 표면(예컨대, 상부 주 표면) 상에 인커플링 광학 엘리먼트(720)가 배치된다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(700, 710, 720) 중 하나 또는 그 초과는 (특히 하나 또는 그 초과의 인커플링 광학 엘리먼트들이 반사성, 편향 광학 엘리먼트들인 경우) 개별 도파관(670, 680, 690)의 최하부 주 표면 상에 배치될 수 있다. 예시된 바와 같이, 인커플링 광학 엘리먼트들(700, 710, 720)은, 특히, 이들 인커플링 광학 엘리먼트들이 투과성, 편향 광학 엘리먼트들인 경우, 이들 개별 도파관(670, 680, 690)의 상부 주 표면(또는 그 다음의 하부 도파관의 최상부) 상에 배치될 수 있다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(700, 710, 720)은 개별 도파관(670, 680, 690)의 몸체에 배치될 수 있다. 일부 실시예들에서, 본원에 논의된 바와 같이, 인커플링 광학 엘리먼트들(700, 710, 720)은 파장 선택적이어서, 이들 인커플링 광학 엘리먼트들은 다른 파장들의 광을 투과시키면서 하나 또는 그 초과의 파장들의 광을 선택적으로 재지향시킨다. 인커플링 광학 엘리먼트들(700, 710, 720)이, 이들 개개의 도파관(670, 680, 690)의 일 측부 또는 모서리 상에 예시되지만, 일부 실시예들에서, 이들은, 그 개별 도파관(670, 680, 690)의 다른 영역들에 배치될 수 있다는 것이 인식될 것이다.
[0102] 예시된 바와 같이, 인커플링 광학 엘리먼트들(700, 710, 720)은 서로 측방향으로 오프셋될 수 있다. 일부 실시예들에서, 각각의 인커플링 광학 엘리먼트는 오프셋될 수 있어서, 각각의 인커플링 광학 엘리먼트는, 다른 인커플링 광학 엘리먼트를 통과하는 광 없이, 그 광을 수신한다. 예컨대, 각각의 인커플링 광학 엘리먼트(700, 710, 720)는 도 6에 도시된 바와 같이 상이한 이미지 주입 디바이스(360, 370, 380, 390 및 400)로부터 광을 수신하도록 구성될 수 있고, 그리고 실질적으로 인커플링 광학 엘리먼트들(700, 710, 720) 중 다른 인커플링 광학 엘리먼트들로부터 광을 수신하지 않도록 다른 인커플링 광학 엘리먼트들(700, 710, 720)로부터 분리(예컨대, 측방향으로 이격)될 수 있다.
[0103] 각각의 도파관은 또한 연관된 광 분배 엘리먼트들을 포함하는데, 예컨대, 도파관(670)의 주 표면(예컨대, 최상부 주 표면) 상에 광 분배 엘리먼트들(730)이 배치되고, 도파관(680)의 주 표면(예컨대, 최상부 주 표면) 상에 광 분배 엘리먼트들(740)이 배치되고, 그리고 도파관(690)의 주 표면(예컨대, 최상부 주 표면) 상에 광 분배 엘리먼트들(750)이 배치된다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은, 각각, 연관된 도파관들(670, 680, 690)의 최하부 주 표면 상에 배치될 수 있다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 각각 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면 둘 모두 상에 배치될 수 있거나; 또는 광 분배 엘리먼트들(730, 740, 750)은, 각각, 상이한 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면들 중 상이한 주 표면들 상에 배치될 수 있다.
[0104] 도파관들(670, 680, 690)은 예컨대, 가스, 액체 및/또는 고체 재료 층들에 의해 이격되고 분리될 수 있다. 예컨대, 예시된 바와 같이, 층(760a)은 도파관들(670 및 680)을 분리할 수 있고; 그리고 층(760b)은 도파관들(680 및 690)을 분리할 수 있다. 일부 실시예들에서, 층들(760a 및 760b)은 낮은 굴절률 재료들(즉, 도파관들(670, 680, 690) 중 바로 인접한 도파관을 형성하는 재료보다 더 낮은 굴절률을 가진 재료들)로 형성된다. 바람직하게, 층들(760a, 760b)을 형성하는 재료의 굴절률은 도파관들(670, 680, 690)을 형성하는 재료의 굴절률보다 0.05 또는 그 초과, 또는 0.10 또는 그 미만이다. 유리하게, 더 낮은 굴절률 층들(760a, 760b)은 도파관들(670, 680, 690)을 통해 광의 내부 전반사(TIR)(예컨대, 각각의 도파관의 최상부 주 표면과 최하부 주 표면 사이의 TIR)를 가능하게 하는 클래딩 층들로서 기능할 수 있다. 일부 실시예들에서, 층들(760a, 760b)은 공기로 형성된다. 예시되지 않았지만, 도파관들의 예시된 세트(660)의 최상부 및 최하부가 바로 이웃하는 클래딩 층들을 포함할 수 있다는 것이 인식될 것이다.
[0105] 바람직하게, 제조의 용이함 및 다른 고려 사항들 때문에, 도파관들(670, 680, 690)을 형성하는 재료는 유사하거나 동일하고, 층들(760a, 760b)을 형성하는 재료는 유사하거나 동일하다. 일부 실시예들에서, 도파관들(670, 680, 690)을 형성하는 재료는 하나 또는 그 초과의 도파관들 사이에서 상이할 수 있고, 그리고/또는 층들(760a, 760b)을 형성하는 재료는 상이하지만, 위에서 주목된 다양한 굴절률 관계들을 여전히 유지할 수 있다.
[0106] 도 9a를 계속 참조하면, 광선들(770, 780, 790)은 도파관들의 세트(660) 상에 입사한다. 광선들(770, 780, 790)이 하나 또는 그 초과의 이미지 주입 디바이스들(360, 370, 380, 390, 400)(도 6)에 의해 도파관들(670, 680, 690)로 주입될 수 있다는 것이 인식될 것이다.
[0107] 일부 실시예들에서, 광선들(770, 780, 790)은 상이한 특성들, 예컨대 상이한 컬러들에 대응할 수 있는 상이한 파장들 또는 상이한 범위들의 파장들을 가진다. 인커플링 광학 엘리먼트들(700, 710, 720) 각각은 입사 광을 편향시켜, 광은 TIR에 의해 도파관들(670, 680, 690)의 각 도파관을 통해 전파된다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(700, 710, 720) 각각은, 하나 또는 그 초과의 특정 파장들의 광을 선택적으로 편향시키지만, 다른 파장들을 아래 놓인 도파관 및 연관된 인커플링 광학 엘리먼트로 투과시킨다.
[0108] 예컨대, 인커플링 광학 엘리먼트(700)는, 제1 파장 또는 파장들의 범위를 가진 광선(770)을 편향시키지만, 각각 상이한 제2 및 제3 파장들 또는 파장들의 범위들을 가진 광선들(780 및 790)을 투과시키도록 구성될 수 있다. 투과된 광선(780)은 제2 파장 또는 파장들의 범위의 광을 편향시키도록 구성된 인커플링 광학 엘리먼트(710)에 충돌하여 이에 의해 편향된다. 광선(790)은 제3 파장 또는 파장들의 범위의 광을 선택적으로 편향시키도록 구성된 인커플링 광학 엘리먼트(720)에 의해 편향된다.
[0109] 도 9a를 계속 참조하면, 편향된 광선들(770, 780, 790)은, 그들이 대응하는 도파관(670, 680, 690)을 통해 전파되도록 편향된다; 즉, 각각의 도파관의 인커플링 광학 엘리먼트들(700, 710, 720)은 광을 그 대응하는 도파관(670, 680, 690)에 인커플링하기 위해 광을 그 대응하는 도파관으로 편향시킨다. 광선들(770, 780, 790)은 광이 TIR에 의해 개별 도파관(670, 680, 690)을 통해 전파되게 하는 각도들로 편향된다. 광선들(770, 780, 790)은, 도파관의 대응하는 광 분배 엘리먼트들(730, 740, 750) 상에 충돌할 때까지 TIR에 의해 개별 도파관(670, 680, 690)을 통해 전파된다.
[0110] 이제 도 9b를 참조하면, 도 9a의 복수의 스택된 도파관들의 예의 사시도가 예시된다. 위에서 주목된 바와 같이, 인커플링된 광선들(770, 780, 790)은 각각 인커플링 광학 엘리먼트들(700, 710, 720)에 의해 편향되고, 이어서 각각 도파관들(670, 680, 690) 내에서 TIR에 의해 전파된다. 이어서, 광선들(770, 780, 790)은 각각 광 분배 엘리먼트들(730, 740, 750) 상에 충돌한다. 광 분배 엘리먼트들(730, 740, 750)은 광선들(770, 780, 790)을 편향시켜, 이들 광선들(770, 780, 790)은 각각 아웃커플링 광학 엘리먼트들(800, 810, 820)을 향해 전파된다.
[0111] 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 OPE(orthogonal pupil expander)들이다. 일부 실시예들에서, OPE들은, 광을 아웃커플링 광학 엘리먼트들(800, 810, 820)로 편향 또는 분배하고, 그리고 일부 실시예들에서, 광이 아웃커플링 광학 엘리먼트들로 전파될 때 이 광의 빔 또는 스폿(spot) 사이즈를 또한 증가시킬 수 있다. 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 생략될 수 있고 인커플링 광학 엘리먼트들(700, 710, 720)은 광을 직접 아웃커플링 광학 엘리먼트들(800, 810, 820)로 편향시키도록 구성될 수 있다. 예컨대, 도 9a를 참조하면, 광 분배 엘리먼트들(730, 740, 750)은 각각 아웃커플링 광학 엘리먼트들(800, 810, 820)로 대체될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(800, 810, 820)은 뷰어의 눈(210)(도 7)으로 광을 지향시키는 EP(exit pupil)들 또는 EPE(exit pupil expander)들이다. OPE들이 적어도 하나의 축에서 눈 박스의 치수들을 증가시키도록 구성될 수 있고 EPE들이 OPE들의 축을 교차하는, 예컨대 수직하는 축에서 눈 박스를 증가시킬 수 있다는 것이 인식될 것이다. 예컨대, 각각의 OPE는, OPE에 부딪치는 광의 일부를 동일한 도파관의 EPE로 재지향시키면서, 광의 나머지 부분이 도파관 아래로 계속 전파되는 것을 허용하도록 구성될 수 있다. 다시 OPE에 충돌할 때, 이 나머지 광의 다른 일부가 EPE로 재지향되고, 그리고 이 일부의 나머지 부분은 도파관 아래로 추가로 계속 전파되는 식이다. 유사하게, EPE에 부딪칠 때, 충돌 광의 일부는 도파관으로부터 사용자를 향해 지향되고, 그리고 이 충돌 광의 나머지 부분은, 다시 EP에 부딪칠 때까지 도파관을 통해 계속 전파되고, 다시 충돌할 때 충돌 광의 일부가 도파관의 밖으로 지향되는 식이다. 결과적으로, 인커플링된 광의 단일 빔은, 그 광의 일부가 OPE 또는 EPE에 의해 재지향될 때마다 "복제"될 수 있고, 이에 의해 도 6에 도시된 바와 같이, 복제된 광 빔들의 필드가 형성된다. 일부 실시예들에서, OPE 및/또는 EPE는 광 빔들의 사이즈를 수정하도록 구성될 수 있다.
[0112] 따라서, 도 9a 및 도 9b를 참조하면, 일부 실시예들에서, 도파관들의 세트(660)는 도파관들(670, 680, 690); 인커플링 광학 엘리먼트들(700, 710, 720); 광 분배 엘리먼트들(예컨대, OPE들)(730, 740, 750); 및 각각의 컴포넌트 컬러에 대한 아웃커플링 광학 엘리먼트들(예컨대, EP들)(800, 810, 820)을 포함한다. 도파관들(670, 680, 690)은 서로의 사이에 공기 갭/클래딩 층이 있게 스택될 수 있다. 인커플링 광학 엘리먼트들(700, 710, 720)은 입사 광을 자신의 도파관으로 재지향시키거나 편향시킨다(상이한 인커플링 광학 엘리먼트들은 상이한 파장들의 광을 수신함). 이어서, 광은 개별 도파관(670, 680, 690) 내에서 TIR을 초래할 각도로 전파된다. 도시된 예에서, 광선(770)(예컨대, 청색 광)은 이전에 설명된 방식으로, 제1 인커플링 광학 엘리먼트(700)에 의해 편향되고, 이어서 도파관 아래로 계속 바운스하여, 광 분배 엘리먼트(예컨대, OPE들)(730) 및 이어서 아웃커플링 광학 엘리먼트(예컨대, EP들)(800)와 상호작용한다. 광선들(780 및 790)(예컨대, 각각 녹색 및 적색 광)은 도파관(670)을 통과할 것이고, 광선(780)은 인커플링 광학 엘리먼트(710)에 충돌하여 이에 의해 편향된다. 이어서, 광선(780)은 TIR에 의해 도파관(680) 아래로 바운스하고, 자신의 광 분배 엘리먼트(예컨대, OPE들)(740) 및 이어서 아웃커플링 광학 엘리먼트(예컨대, EP들)(810)로 진행된다. 마지막으로, 광선(790)(예컨대, 적색 광)은 도파관(690)을 통과하여 도파관(690)의 광 인커플링 광학 엘리먼트들(720) 상에 충돌한다. 광 인커플링 광학 엘리먼트들(720)은 광선(790)을 편향시켜, 광선은 TIR에 의해 광 분배 엘리먼트(예컨대, OPE들)(750)로, 이어서 TIR에 의해 아웃커플링 광학 엘리먼트(예컨대, EP들)(820)로 전파된다. 이어서, 아웃커플링 광학 엘리먼트(820)는 마지막으로 광선(790)을, 다른 도파관들(670, 680)로부터 아웃커플링된 광을 또한 수신하는 뷰어에게 아웃커플링한다.
[0113] 도 9c는 도 9a 및 도 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다. 예시된 바와 같이, 각각의 도파관의 연관된 광 분배 엘리먼트(730, 740, 750) 및 연관된 아웃커플링 광학 엘리먼트(800, 810, 820)와 함께, 도파관들(670, 680, 690)은 수직으로 정렬될 수 있다. 그러나, 본원에서 논의된 바와 같이, 인커플링 광학 엘리먼트들(700, 710, 720)은 수직으로 정렬되지 않고; 오히려, 인커플링 광학 엘리먼트들은 바람직하게 비-오버랩핑된다(예컨대, 하향식 도면에서 도시된 바와 같이 측방향으로 이격됨). 본원에서 추가로 논의된 바와 같이, 이런 비오버랩핑 공간 어레인지먼트는 일대일 방식으로 상이한 리소스들로부터 상이한 도파관들로 광의 주입을 가능하게 하고, 이에 의해 특정 광 소스가 특정 도파관에 고유하게 커플링되는 것이 허용된다. 일부 실시예들에서, 비오버랩핑 공간-분리 인커플링 광학 엘리먼트들을 포함하는 어레인지먼트들은 시프트된 동공 시스템으로 지칭될 수 있고, 그리고 이들 어레인지먼트들 내의 인커플링 광학 엘리먼트들은 서브 동공들에 대응할 수 있다.
[0114] 도 9d는, 본원에 개시된 다양한 도파관들 및 관련된 시스템들이 통합될 수 있는 웨어러블 디스플레이 시스템(60)의 예를 예시한다. 일부 실시예들에서, 디스플레이 시스템(60)은 도 6의 시스템(250)이고, 도 6은 그 시스템(60)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 도 6의 도파관 어셈블리(260)는 디스플레이(70)의 부분일 수 있다.
[0115] 도 9d를 계속 참조하면, 디스플레이 시스템(60)은 디스플레이(70), 및 그 디스플레이(70)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(70)는 디스플레이 시스템 사용자 또는 뷰어(90)에 의해 착용가능하고 그리고 사용자(90)의 눈들의 전면에 디스플레이(70)를 포지셔닝하도록 구성된 프레임(80)에 커플링될 수 있다. 디스플레이(70)는 일부 실시예들에서 안경류로 고려될 수 있다. 일부 실시예들에서, 스피커(100)는 프레임(80)에 커플링되고 사용자(90)의 외이도(ear canal)에 인접하게 포지셔닝되도록 구성된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 선택적으로 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능 사운드 제어를 제공할 수 있음). 디스플레이 시스템(60)은 또한 하나 또는 그 초과의 마이크로폰들(110) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 입력들 또는 커맨드들(예컨대, 음성 메뉴 커맨드들, 자연어 질문들 등의 선택)을 시스템(60)에 제공하게 하도록 구성되고 그리고/또는 다른 사람들(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들)과 오디오 통신을 허용할 수 있다. 마이크로폰은 추가로 오디오 데이터(예컨대, 사용자 및/또는 환경으로부터의 사운드들)를 수집하도록 주변 센서로서 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 또한 주변 센서(120a)를 포함할 수 있고, 주변 센서(120a)는 프레임(80)으로부터 분리되고 사용자(90)의 몸체에(예컨대, 사용자(90)의 머리, 몸통, 손발 등에) 부착될 수 있다. 주변 센서(120a)는 일부 실시예들에서 사용자(90)의 생리학적 상태를 특징으로 하는 데이터를 획득하도록 구성될 수 있다. 예컨대, 센서(120a)는 전극일 수 있다.
[0116] 도 9d를 계속 참조하면, 디스플레이(70)는 다양한 구성들로 장착될 수 있는, 이를테면 프레임(80)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 임베딩되거나, 다른 방식으로 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 사용자(90)에게 제거가능하게 부착될 수 있는 로컬 데이터 프로세싱 모듈(140)에, 통신 링크(130), 이를테면 유선 리드 또는 무선 연결에 의해 동작가능하게 커플링된다. 유사하게, 센서(120a)는 통신 링크(120b), 예컨대 유선 리드 또는 무선 연결에 의해 로컬 프로세서 및 데이터 모듈(140)에 동작가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 하드웨어 프로세서뿐 아니라, 디지털 메모리 이를테면 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 돕는 데 활용될 수 있다. 선택적으로, 로컬 프로세서 및 데이터 모듈(140)은 하나 또는 그 초과의 CPU(central processing unit)들, GPU(graphics processing unit)들, 전용 프로세싱 하드웨어 등을 포함할 수 있다. 데이터는, a) (예컨대 프레임(80)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(90)에게 부착될 수 있는) 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 자이로(gyro)들 및/또는 본원에 개시된 다른 센서들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(150) 및/또는 원격 데이터 저장소(160)(가상 콘텐츠에 관련된 데이터를 포함함)를 사용하여 획득 및/또는 프로세싱되어, 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(70)에 전달되는 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 통신 링크들(170, 180)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(150, 160)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(140)에 대한 리소스들로서 이용가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(140)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 또는 그 초과를 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 또는 그 초과는 프레임(80)에 부착될 수 있거나, 또는 유선 또는 무선 통신 경로들에 의해 로컬 프로세싱 및 데이터 모듈(140)과 통신하는 독립형 구조들일 수 있다.
[0117] 도 9d를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(150)은, 예컨대 하나 또는 그 초과의 CPU(central processing unit)들, GPU(graphics processing unit)들, 전용 프로세싱 하드웨어 등을 포함하는, 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 하나 또는 그 초과의 원격 서버들을 포함할 수 있고, 상기 원격 서버들은 정보, 예컨대 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(140) 및/또는 원격 프로세싱 모듈(150)에 제공한다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)들은 로컬 프로세싱 및 데이터 모듈에서 수행되는데, 이는 원격 모듈로부터 완전히 자율적인 사용을 허용한다. 선택적으로, CPU들, GPU들 등을 포함하는 외측 시스템(예컨대, 하나 또는 그 초과의 프로세서들의 시스템, 하나 또는 그 초과의 컴퓨터들)은 프로세싱(예컨대, 이미지 정보를 생성, 데이터를 프로세싱) 중 적어도 일부를 수행하고 그리고 예컨대 무선 또는 유선 연결들을 통해 모듈들(140, 150, 160)에 정보를 제공하고 그리고 이 모듈로부터 정보를 수신할 수 있다.
[0118] 이제 도 9e를 참조하면, 본원에서 설명된 디스플레이 시스템들은 데이터의 수집 및 분석에 사용될 수 있다. 도 9e는 다양한 실시예들에 따라 데이터의 수집 및 분석을 위한 예시적인 방법(900)을 예시한다. 방법(900)은 예측 모델이 생성되는 블록(910)에서 시작된다. 예측 모델은 수집된 데이터에 기반하여 결과를 결정하기 위한 하나 또는 그 초과의 기준들을 포함할 수 있다. 예컨대, 예측 모델은, 디스플레이 시스템에 의해 검출될 수 있고 그리고/또는 디스플레이 시스템에 의해 획득된 데이터에 기반하여 결정될 수 있는 하나 또는 그 초과의 기준들 또는 변수들에 기반하여, 사용자가 증상, 컨디션, 질병 등을 가지는지를 결정하기 위한 하나 또는 그 초과의 방법들을 포함할 수 있다. 예측 모델은 예컨대, 과학 및/또는 의료 문헌 같은 소스들, 생리학적, 신경학적 및/또는 행동학적 데이터 사이의 상관들을 제공하는 공개된 연구들 및 증상들 또는 컨디션들 등 같은 결과들에 기반하여 생성될 수 있다. 일반적으로, 예측 모델은 분석될 특정 변수들뿐 아니라, 변수들의 분석을 위한 가중 팩터들을 포함할 수 있다. 일 예에서, 예측 모델은 우울증 컨디션을 검출하기 위해 생성될 수 있다. 우울증에 관련된 기존 연구는, 우울증이 소정 수, 예컨대 9개의 식별된 증상들을 가지며, 그리고 우울증의 진단이 특정 지속기간, 예컨대 적어도 2주 동안 9개의 증상들 중 다른 특정 수, 예컨대 5개의 존재에 기반할 수 있다는 것을 표시할 수 있다. 따라서, 우울증에 대한 예측 모델은, 사용자가 2 또는 그 초과의 연속적인 주들 동안 9개의 식별된 증상들(이 증상들 중 일부 또는 모두는 디스플레이 시스템의 하나 또는 그 초과의 센서들에 의해 직접적으로 또는 간접적으로 검출가능할 수 있음) 중 5 또는 그 초과를 나타내면 사용자가 우울증을 가진다는 결정을 제공할 수 있다. 예측 모델이 생성된 이후, 방법(900)은 블록(920)으로 계속된다. 예측 모델을 생성하는 것이 예측 모델을 디스플레이 시스템에 제공 또는 프로그래밍하는 것을 포함할 수 있다는 것이 인식될 것이다. 예컨대, 예측 모델은, 데이터 수집이 시작되기 전에 디스플레이 시스템에 미리 프로그래밍되거나 다른 방식으로 제공될 수 있다.
[0119] 블록(920)에서, 데이터 기준들은 예측 모델의 평가를 위한 데이터의 수집을 제어 및/또는 안내하기 위해 결정된다. 예컨대, 데이터 기준들은 예측 모델에 기반하여 신뢰가능한 결과를 양산하기에 충분한 데이터의 양(예컨대, 데이터 포인트들의 수, 총 데이터 수집 시간 등)을 포함할 수 있다. 일 예에서, 분석을 위해 수집될 데이터의 양은 우연 수준(예컨대, 50%)보다 더 높은 신뢰성을 가진 결과를 양산하기에 충분한 데이터 포인트들의 수일 수 있으며, 최대 10% 타입 1(위양성) 에러 및 최대 10% 타입 2(위음성) 에러를 갖는다. 일부 다른 실시예들에서, 에러의 더 크거나 더 작은 마진들은 특정 예측 모델에서의 결과의 결정을 위한 요건들에 기반하여 허용가능할 수 있다. 데이터 기준들은 예측 모델 내에서의 특정 변수들에 대한 개별 양들을 추가로 특정할 수 있다. 일반적으로, 데이터 기준들은, 데이터가 적어도 하나의 데이터 타입에 대해 적어도 하나의 시간 기간 동안 적어도 하나의 사용자에 대해 수집될 것을 특정할 수 있다. 일부 실시예들에서, 데이터 기준들은 (예컨대, 더 큰 샘플 사이즈를 획득하기 위한) 부가적인 사용자들, (예컨대, 디스플레이 시스템의 다수의 센서들 같은 상이한 데이터 소스들에 기반한) 부가적인 데이터 타입들, 및/또는 더 긴 시간 기간(예컨대, 더 긴 시간 기간에 걸친 하나 또는 그 초과의 사용자들에 대한 데이터)을 더 포함할 수 있다. 데이터 기준들의 그런 확장들은 측정될 데이터, 예컨대 특정 생리학적 또는 행동 현상들에 대한 데이터의 타입에 기반하여, 그리고/또는 생성될 결과 타입(예컨대, 컨디션의 진단 등)에 기반하여 결정될 수 있다. 데이터 기준들이 결정된 이후, 방법(900)은 블록(930)으로 계속된다.
[0120] 블록(930)에서, 데이터 수집은 데이터 기준들에 기반하여 발생한다. 예컨대, 디스플레이 시스템들은 데이터 기준들에 따라 데이터를 수집하도록 구성될 수 있다. 다양한 실시예들에서, 적어도 특정된 수의 데이터 포인트들이 수집될 수 있다. 일부 실시예들에서, 데이터 포인트들은 데이터 기준들을 만족시키기 위해 적어도 특정 시간 기간 동안 규칙적 또는 불규칙적 간격들로 수집될 수 있다. 일부 실시예들에서, 데이터 포인트들은, 사용자가 디스플레이 디바이스를 착용할 때 계속 수집된다. 부가적으로, 일부 실시예들에서, 소정의 수의 데이터 또는 데이터의 지속기간은 적어도 특정 수의 사용자들에 대해 수집될 수 있다. 충분한 데이터가 데이터 기준들에 기반하여 수집된 이후, 방법(900)은 블록(940)으로 계속된다.
[0121] 블록(940)에서, 수집된 데이터는 예측 모델에 기반하여 분석된다. 일반적으로, 수집된 데이터의 분석은 분류, 회귀 모델, 또는 예측 모델에서 특정된 다른 분석 방법에 기반하여 결과(예컨대, 등급 라벨, 값, 임계치 등)를 생성한다. 일부 실시예들에서, 수집된 데이터의 분석은 임의의 알려진 통계적 분석 방법들(예컨대, R-제곱, 카이-제곱 또는 다른 통계적 테스트들 또는 분석 방법들)을 포함할 수 있다. 예측 모델에 기반하여, 라벨은 분석 출력에 적용될 수 있다. 예컨대, 라벨은 증상들 또는 컨디션들의 하나 또는 그 초과의 카테고리화들, 특정 증상 또는 컨디션이 존재한다는 결정 등을 포함할 수 있다. 수집된 데이터가 분석된 이후, 방법(900)은 데이터 분석의 결과에 기반하여 블록(950) 및/또는 블록(960)으로 진행될 수 있다.
[0122] 블록(950)에서, 분석에 기반하여 개입이 수행된다. 예컨대, 데이터 분석의 결과가, 치료 또는 다른 개입이 구현되어야 하는 증상 또는 컨디션의 결정인 경우, 그런 개입은 분석에 기반하여 발생할 수 있다.
[0123] 블록(960)에서, 예측 모델은 분석에 기반하여 업데이트된다. 예컨대, 분석의 결과들은, 예측 모델의 데이터 기준들 및/또는 양상들이 모델의 정확도를 강화시키기 위해 변경되어야 하는 것을 표시할 수 있다. 일부 실시예들에서, 모델에 대한 업데이트들은 분석될 변수들의 변화들, 변수들의 상대적 가중, 수집될 데이터의 양 등을 포함할 수 있다. 다양한 실시예들에서, 블록들(950 및 960) 중 어느 하나 또는 둘 모두는 블록(940)의 분석의 특정 결과에 기반하여 구현될 수 있다. 블록(950) 또는 블록(960) 이후, 방법(900)은 블록(910)으로 리턴할 수 있고, 여기서 방법(900)은 추가 사용자 건강 분석 및 분석 결과들의 개선 및 예측 모델의 업데이팅을 위해 임의의 횟수 반복될 수 있다.
[0124] 예로서, 방법(900)은 우울증의 처치의 진단 및/또는 수정을 위해 구현될 수 있다. 예컨대, 블록(910)의 초기 예측 모델은 우울증의 9개의 식별된 증상들을 포함할 수 있고, 여기서 2 또는 그 초과의 연속적인 주들 동안 9개의 증상들 중 5 또는 그 초과의 존재는 우울증 진단을 표시한다. 초기 예측 모델은 사용될 분석 타입들, 이를테면 로지스틱스 회귀 분석(logistics regression analysis) 또는 통계적 분석들을 더 포함할 수 있다. 게다가, 예측 모델은 입력 데이터 타입(예컨대, 눈 추적 데이터 등)에 기반하여 하나 또는 그 초과의 인구 집단 서브그룹들(예컨대, 파키슨 병 또는 다른 그룹들)을 포함할 수 있다. 블록(920)에서, 방법(900)은 분석을 수행하기 위해 수집될 데이터의 양 및 타입을 결정할 수 있다. 예컨대, 데이터 기준들은 분당, 시간당, 날당, 주당 특정된 데이터의 수 등을 포함할 수 있고 그리고 데이터 포인트들이 미리프로그래밍된 예측 모델에 기반하여 예컨대 2주 또는 그 초과의 시간 기간에 걸쳐 수집되어야 하는 것을 더 포함할 수 있다. 데이터 기준들은 부가적으로, 예컨대 디스플레이 시스템의 특정 센서들에 기반하여 수집될 데이터 포인트들의 특정 타입들을 포함할 수 있다.
[0125] 이어서, 블록(930)에서 데이터는 데이터 기준들에 따라 수집될 수 있다. 예컨대, 디스플레이 시스템은, 데이터 수집 양 및/또는 시간 기간이 데이터 기준들을 만족시킬 때까지 데이터를 수집하는 것을 시작할 수 있다. 데이터가 수집된 이후, 블록(940)에서 데이터는 예측 모델에 기반하여 분석될 수 있다. 예컨대, 디스플레이 시스템은, 수집된 데이터가, 사용자가 2주 또는 그 초과의 기간 동안 특정 우울증 증상들 중 5 또는 그 초과를 가진다는 것을 특정 신뢰 간격까지 표시하는지를 결정하기 위해 본원에서 설명된 바와 같이 하나 또는 그 초과의 통계적 분석들을 수행할 수 있다. 이어서, 통계 분석들의 출력은, 사용자가 우울증을 가지는 것으로 결정되는지 우울증을 가지지 않는 것으로 결정되는지를 표시하기 위해 라벨링될 수 있다. 치료 구현들의 경우, 방법(900)은 블록(950)으로 계속되고, 여기서 라벨링된 분석 출력에 기반하여 개입이 개시된다. 예컨대, 개입은 의사를 호출하는 것, 우울증의 하나 또는 그 초과의 증상들을 완화시키기 위해 디스플레이 시스템을 통해 실시간 개입을 구현하는 것, 사용자에게 통지하는 것, 로그를 생성하는 것 등을 포함할 수 있다. 개입을 개시한 이후, 방법(900)은 우울증의 증상들에 대한 진행 중인 모니터링을 계속하기 위해 블록(910)으로 리턴할 수 있다.
[0126] 다른 예에서, 방법(900)은 예측 모델에서 표시자들의 지식 및/또는 예측 방법들의 강화(예컨대, 신뢰성, 정확도 및/또는 유효성을 강화시키기 위해 디스플레이 디바이스의 알고리즘들을 개선, 데이터를 어그리게이팅(aggregating) 및 예측 모델을 업데이팅 등)를 개선하도록 구현될 수 있다. 하나 또는 그 초과의 초기 예측 모델들은 어그리게이팅될 수 있고 데이터 기준들은 위의 블록들(910 및 920)의 설명과 일치하게 생성될 수 있다. 데이터는 위의 블록들(930 및 940)과 일치하는 분석 출력을 결정하도록 수집 및 분석될 수 있다. 데이터가 분석된 이후, 방법(900)은 블록(960)으로 계속될 수 있고, 여기서 예측 모델은 블록(940)의 분석의 출력에 기반하여 분석 및/또는 변경된다. 예컨대, 초기 예측 모델은, 선택된 변수들이 예측 모델에 포함될 올바른 변수들인지, 임의의 변수들이 모델에 부가 및/또는 모델로부터 제거되어야 하는지, 각각의 변수에 따른 가중들이 올바른지 등을 결정하기 위해 (예컨대, 통계적 검증력 분석(statistical power analysis) 등에 기반하여) 평가될 수 있다. 초기 예측 모델에 대한 변경들이 식별된 이후, 방법은 블록(910)으로 리턴할 수 있고, 여기서 모델이 변경되고, 그리고 방법은 변경된 모델과 일치하는 추가 분석을 위해 블록(920)으로 계속될 수 있다. 블록들(910-960) 중 임의의 블록 또는 블록의 조합들 또는 블록 모두가 로컬 프로세싱 모듈(사용자에 의해 착용가능한 적어도 메모리 및 하드웨어 프로세서를 포함할 수 있음)에서 로컬적으로 수행될 수 있고 그리고/또는 하나 또는 그 초과의 하드웨어 프로세서들을 포함하는 원격 프로세싱 모듈(50, 도 9d)에서 수행될 수 있다는 것이 인식될 것이다. 게다가, 블록들(910-960) 중 임의의 블록 또는 블록의 조합들 또는 모든 블록을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그래밍은 데이터 모듈 및/또는 원격 데이터 저장소(50, 도 9d)에 로컬적으로 저장될 수 있다.
[0127] 일부 실시예들에서, 시스템(60)은 이를테면 사용자 모니터링, 데이터 수집, 진단 또는 테라피를 위해 원근조절 및 이접운동을 조작할 수 있다. 일 실시예에서, 시스템(60)은 적당한 원근조절 및 이접운동으로 사용자(90)에게 시각적 콘텐츠를 디스플레이할 수 있고, 그리고 신경 응답, 이를테면 전기 활동(예컨대, EEG에 의해 측정됨), 및/또는 생리학적 응답, 이를테면 혈압, 호흡수, 동공 확장/수축, 또는 다른 징후들을 포함하는 데이터를 수집할 수 있다. 게다가 또는 대안적으로, 시스템(60)은 더 많거나 더 적은 원근조절-이접운동 미스매칭을 설정하기 위해 사용자(90)에게 전달된 시각적 콘텐츠를 조작할 수 있고, 그리고 유사한 데이터를 수집할 수 있다. 일부 양상들에서, 사용자 특정 데이터, 이를테면 사용자(90)로부터 수집되는 신경학적 및/또는 생리학적 데이터는, 상응하게 시스템(60) 및 디스플레이(70)가 적절한 원근조절 및 이접운동을 제공하는지, 또는 뷰어 편안함, 이를테면 장기간 착용 편안함을 개선시키기 위해 조정들이 이루어져야 하는지를 결정하는 데 사용될 수 있다.
[0128] 이제, 사용자 센서들(24, 28, 2030, 32) 및 환경 센서들(34)을 포함하는 증강 현실 디스플레이 시스템의 다양한 컴포넌트들의 예의 개략도를 도시하는 도 10에 대해 참조가 이루어질 것이다. 일부 실시예들에서, 증강 현실 디스플레이 시스템은 혼합 현실 디스플레이 시스템일 수 있다. 도시된 바와 같이, 사용자 센서들(24, 28, 2030, 32)은 사용자의 상태에 관한 데이터를 검출하도록 구성될 수 있고, 그리고 환경 센서들(34)은 사용자 외부의 파라미터들에 관한 데이터를 수집하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자에게 전달되는 가상 콘텐츠에 관련되고 그리고/또는 이를 특징으로 하는 데이터(예컨대, 가상 콘텐츠의 시간, 위치, 컬러 메이크업(make-up), 사운드 볼륨 등)를 저장하도록 구성될 수 있다.
[0129] 사용자 센서들이 먼저 논의될 것이다. 예시된 바와 같이, 증강 현실 디스플레이 시스템(2010)은 다양한 사용자 센서들을 포함할 수 있다. 증강 현실 디스플레이 시스템(2010)은 도 9d의 시스템(60)에 대응할 수 있고 뷰어 이미징 시스템(22)을 포함할 수 있다. 시스템(22)은 사용자(예컨대, 사용자의 눈들(2001, 2002) 및/또는 주위 조직들)를 지향하고 모니터링하도록 구성된 광 소스들(26)(예컨대, 적외선 광 소스들)과 쌍을 이루는 카메라들(24)(예컨대, 적외선, UV, 다른 비가시 광, 및/또는 가시 광 카메라들)을 포함할 수 있다. 이들 카메라들(24) 및 광 소스들(26)은 로컬 프로세싱 모듈(70)에 동작가능하게 커플링될 수 있다. 그런 카메라들(24)은 동공들(동공 사이즈들을 포함함), 홍채들, 또는 각각의 눈들의 다른 구조들, 및/또는 눈 주위 조직들, 이를테면 눈꺼플들 또는 눈썹들의 배향, 형상 및 대칭 중 하나 또는 그 초과를 모니터링하도록 구성될 수 있다.
[0130] 일부 실시예들에서, 동공, 홍채 및/또는 눈 또는 눈알 주위 조직들의 이미징은 신경 응답들을 결정하는 데 사용될 수 있는 다양한 자율 시스템 기능들을 모니터링하는 데 사용될 수 있다. 예컨대, 동공의 리드미컬한 확장 및 수축은 심장의 수축 및 이완과 상관될 수 있다. 따라서, 동공의 리드리컬한 확장 및 수축은 사용자의 심박수의 이상들을 모니터링 및/또는 검출하는 데 사용될 수 있다. 동공의 리드미컬한 확장 수축의 기간(예컨대, 동공의 2개의 연속적인 확장들 사이의 시간 간격) 및/또는 진폭(예컨대, 확장과 수축 사이의 간격)은 심박수 같은 다양한 자율 기능들에 상관될 수 있다. 시스템의 일부 실시예들은 사용자의 혈압 및/또는 혈관구조에서의 이상들을 모니터링 및/또는 검출하도록 구성될 수 있다. 예컨대, 시스템은 눈 뒤의 혈압에 의해 유발된 맥동들의 결과로서 사용자의 눈의 광학 축과 평행한 방향을 따라 발생하는 미세 각막 변위들을 감지 및/또는 측정하도록 구성될 수 있다. 시스템은 측정된 미세 각막 변위 값들을 정상 혈압 또는 혈관 기능을 표시하는 미세 각막 변위들의 하나 또는 그 초과의 값들과 비교하도록 구성될 수 있다. 사용자의 혈압 및/또는 사용자의 혈관 기능의 이상들은, 측정된 미세 각막 변위 값들이 정상 혈압 또는 혈관 기능을 표시하는 미세 각막 변위들의 하나 또는 그 초과의 값들로부터 벗어나는 경우 검출될 수 있다.
[0131] 일부 실시예들에서, 눈의 홍채 및/또는 망막의 이미징은 사용자의 안전한 식별을 위해 사용될 수 있다. 본원에서 논의된 바와 같이, 사용자 특정 데이터, 이를테면 눈들에 관련된 것이 사용자의 행동 또는 감정 상태를 추론하는 데 사용될 수 있다는 것이 인식될 것이다. 예컨대, 넓어진 눈들은 쇼크를 추론하는 데 사용될 수 있거나 찡그린 이마는 혼란을 추론하는 데 사용될 수 있다. 게다가, 사용자의 행동 또는 감정 상태는 행동 또는 감정 상태, 사용자 특정 데이터 및 환경 또는 가상 콘텐츠 데이터 사이의 관계들을 결정하기 위해 수집된 환경 및 가상 콘텐츠 데이터로 추가로 다원화(trianglate)될 수 있다. 예컨대, 시스템은, 그 자체 또는 아마도 다른 검출된 생리학적 및/또는 환경 데이터와 함께, 새로운 주제가 교실에서 가르쳐지고 있음을 시스템이 검출하는 환경에서 사용자가 혼란을 추론하도록 시스템에 의해 인식될 수 있는 안면 근육 및 조직 움직임, 이를테면 예컨대 찡그린 이마의 소정의 패턴들(이들이 뚜렷한 안면 거동들이든, 표정들이든, 또는 미세 표정들이든)을 인식하도록 구성될 수 있다. 이런 추론은, 학생이 교사 또는 강의되는 개념을 이해하지 못하는 것을 보여줌으로써 레슨(lesson)을 개선하기 위한 교육용 보조로서 유리하게 적용될 수 있다. 유사하게, 시스템은, 특히 환경 센서들이 큰 소음, 이를테면 총소리를 검출하는 경우, 사용자의 쇼크를 표시하는 것으로 넓어진 눈들을 인식하도록 구성될 수 있다.
[0132] 도 10을 계속 참조하면, 카메라들(24)은, 중심와 또는 안저(fundus)의 피처들 같은 망막 피처들의 위치에 기반하여 이를테면 진단 목적들 및/또는 배향 추적을 위해 각각의 눈들의 망막들을 이미징하도록 추가로 구성될 수 있다. 홍채 및 망막 이미징 또는 스캐닝은, 예컨대, 사용자 데이터를 특정 사용자와 올바르게 연관시키기 위해 그리고/또는 개인 정보를 적절한 사용자에게 제시하기 위해 사용자들의 안전한 식별을 위해 수행될 수 있다. 일부 실시예들에서, 카메라들(24) 외에 또는 대안으로써, 하나 또는 그 초과의 카메라들(28)은 사용자의 상태의 다양한 다른 양상들을 검출 및/또는 모니터링하도록 구성될 수 있다. 예컨대, 하나 또는 그 초과의 카메라들(28)은 내향 지향일 수 있고 그리고 사용자의 눈들 이외의 피처들의 형상, 포지션 및/또는 움직임, 예컨대 하나 또는 그 초과의 안면 피처들(예컨대, 안면 표정, 자발적인 움직임, 비자발적인 틱(tic)들), 또는 다른 피처들, 이를테면 피로 또는 아픔의 사인으로서 피부 창백함을 모니터링하도록 구성된다. 다른 실시예에서, 하나 또는 그 초과의 카메라들(28)은 하향 지향일 수 있고 그리고 사용자의 팔들, 손들, 다리들, 발들, 및/또는 몸통의 포지션 및/또는 움직임을 모니터링하도록 구성된다. 하향 지향 카메라들 및/또는 관성 측정 유닛들은 몸체 자세 또는 몸짓 언어를 검출할 수 있을 수 있고, 사용자가 앉아있는지, 서 있는지, 누워있는지, 또는 다른 포지션인지를 검출할 수 있을 수 있고, 그리고/또는 스피드, 걸음걸이 이상들 또는 다른 정보를 검출하기 위해 사용자가 걷거나 뛰고 있는 동안 사용자의 걸음걸이를 모니터링할 수 있을 수 있다. 추가 예에서, 디스플레이 시스템은 하향 지향 카메라들에 의해 캡처된 사용자의 피부의 이미지들을 분석하고 그리고 피부의 시각적 관찰들로부터 명확한 다양한 컨디션들을 결정하기 위해 이미지들의 이미지 분석을 수행하도록 구성될 수 있다. 예컨대, 이미지들은 혈류의 시각화를 허용하기 위해 증폭될 수 있다(예컨대, 특정 컬러들의 확대 및/또는 강도들이 증가될 수 있음). 그런 시각화는 증강 현실 콘텐츠로서 사용자에게 제공될 수 있거나, 제3자 또는 다른 엔티티에 제공될 수 있다. 다른 예로서, 하향 지향 카메라는 예컨대 피부의 광학 반사율에 관한 결정을 하여 피부의 건조 또는 습윤을 모니터링할 수 있고, 더 높은 반사율은 증가된 습윤과 상관된다. 일부 양상들에서, 본원에서 설명된 하향, 내향 및/또는 외향 지향 카메라들은 사용자에 의해 및/또는 시스템(22)에 의해 전자적으로 조정가능할 수 있다. 예컨대, 외향 지향 카메라는 전방으로 지향되어, 사용자의 시선을 추적하도록 구성될 수 있고, 그리고 또한, 예컨대 사용자의 시선에 직교하는 이미지들을 캡처하기 위해 회전하도록 구성될 수 있다.
[0133] 일부 실시예들에서, 본원에서 개시된 바와 같이, 디스플레이 시스템(2010)은 섬유 스캐너(예컨대, 이미지 주입 디바이스들(200, 202, 204, 206, 208))를 통해, 이미지를 형성하기 위해 사용자의 망막에 걸쳐 광빔들을 가변적으로 투사하는 공간 광 변조기를 포함할 수 있다. 일부 실시예들에서, 섬유 스캐너는 예컨대 사용자의 눈들을 추적 또는 이미징하기 위해 카메라들(28 또는 28)과 함께, 또는 그 대신에 사용될 수 있다. 예컨대, 광을 출력하도록 구성된 스캐닝 섬유에 대한 대안으로 또는 그 외에, 건강 시스템은 사용자의 눈들로부터 반사된 광을 수신하고, 그리고 그 반사된 광과 연관된 데이터를 수집하기 위해 별개의 광 수신 디바이스를 가질 수 있다. 일부 실시예들에서, 광 수신 디바이스는 광을 수집하도록 구성된 섬유 스캐너일 수 있다. 일부 구성들은 이미지들을 형성하기 위한 광을 투사하도록 구성된 제1 섬유 스캐너 및 광을 수집하도록 구성된 제2 섬유 스캐너를 포함할 수 있다. 또 다른 실시예들에서, 동일한 섬유 스캐너는 이미지들을 형성하기 위해 광을 제공하고 그리고 이미징 목적들을 위해 광을 수집하는 데 사용될 수 있다. 예컨대, 섬유 스캐너는 시간적으로 멀티플렉싱된 방식으로 광을 출력하고 광을 수집할 수 있고, 광의 출력 및 수집은 상이한 시간들에서 발생한다. 섬유 스캐너의 섬유들은 각각 섬유들 및 공간 광 변조기와 광 센서 사이의 광학 경로들에 개재된 빔 분할기와 함께, (광을 출력하기 위한) 공간 광 변조기 및 (이미징을 위해 광을 수집하기 위한) 광 센서에 연결될 수 있다.
[0134] 도 10을 계속 참조하면, 카메라들(24, 28) 및 광 소스들(26)은, 도파관 스택들(2005, 2006)을 또한 홀딩할 수 있는 프레임(64) 상에 장착될 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)의 센서들 및/또는 다른 전자 디바이스들(예컨대, 카메라들(24, 28) 및 광 소스들(26))은 통신 링크들(76, 78)을 통해 로컬 프로세싱 및 데이터 모듈(2070)과 통신하도록 구성될 수 있다.
[0135] 일부 실시예들에서, 사용자에 관한 데이터를 제공하는 것 외에, 카메라들(24 및 28) 중 하나 또는 둘 모두는 사용자에게 제공된 가상 콘텐츠를 제어하기 위한 수단으로서 한쪽 눈 또는 양쪽 눈들을 추적하는 데 활용될 수 있다. 예컨대, 눈 추적 시스템(22)은 가상 메뉴 상의 아이템들을 선택하고, 그리고/또는 다른 입력을 디스플레이 시스템(2010)에게 제공하는 데 활용될 수 있다.
[0136] 일부 실시예들에서, 디스플레이 시스템(2010)은 사용자의 생리학적 및/또는 행동 양상들을 모니터링하도록 구성된 다른 센서들 및/또는 자극기들(2030)을 포함할 수 있다. 예컨대, 그런 센서들 및/또는 자극기들(2030)은 가열, 냉각, 유도 진동 등을 위한 자극기들, 이를테면 트랜스듀서들 또는 작동기들 및/또는 아래에서 언급된 센서들 중 하나 또는 그 초과를 포함할 수 있다. 그런 센서들(2030)의 예들은 안과 테스팅을 위해 구성된 센서들, 이를테면 공초점 현미경(confocal microscopy) 센서들, ENG(electronystagmography) 센서들, EOG(electrooculography), ERG(electroretinography) 센서들, LDF(laser Doppler flowmetry) 센서들, 광음향 이미징 및 압력 판독 센서들, 2광자 여기 현미경 센서들, 및/또는 초음파 센서들을 포함한다. 센서들(2030)의 다른 예들은 다른 전기진단 기술들을 위해 구성된 센서들, 이를테면 ECG((electrocardiography) 센서들, EEG(electroencephalography) 센서들, EMG(electromyography) 센서들, EP(electrophysiological testing) 센서들, ERP(event-related potential) 센서들, fNIR(functional near-infrared spectroscopy) 센서들, LORETA(low-resolution brain electromagnetic tomography) 센서들, 및/또는 OCT(optical coherence tomography) 센서들을 포함한다. 센서들(2030)의 또 다른 예들은 부가적인 생리학적 센서들, 이를테면 혈당 미터들, 혈압 미터들, 피부 전기 활동 센서들, 광혈류측정 장비, 컴퓨터 지원 청진(auscultation)용 감지 장비, 및/또는 체온 센서를 포함한다. 일부 실시예들에서, 디스플레이 시스템(2010)은 모션 센서들(32), 이를테면 하나 또는 그초과의 가속도계들, 자이로(gyro)들, 제스처 센서들, 걸음걸이 센서들, 밸런스 센서들 및/또는 IMU 센서들을 포함할 수 있다. 센서들(2030)은 또한 CO2 모니터링 센서들, 호흡수 센서들, 엔드-타이틀(end-title) CO2 센서들, 및/또는 음주측정기들을 포함할 수 있다. 센서들(2030)은 검출된 사운드들의 세기 및 타입, 다수의 신호들의 존재, 신호 위치, 음성, 음성의 톤, 음성 패턴들, 씹기, 기침, 호흡, 펄스, 심장 사운드들 등을 포함하는, 사운드들, 및 이들 사운드들의 다양한 특성들을 검출하도록 구성된 하나 또는 그 초과의 내향 지향(사용자 지향) 마이크로폰들을 포함할 수 있다. 일부 양상들에서, 센서들(2030)은 예컨대 상이한 음식들의 씹기를 분석하기 위해 입으로 지향되거나 심장 사운드들을 분석하기 위해 심장으로 지향된, 반향정위를 수행하도록 구성된 하나 또는 그 초과의 센서들을 포함할 수 있다.
[0137] 센서들(2030)은 프레임(64)에 연결된 것으로 개략적으로 예시된다. 이런 연결이 프레임(64)에 대한 물리적 부착 형태를 취할 수 있고 그리고 사용자의 귀들에 걸쳐 연장되는 프레임(64)의 템플(temple)들의 단부들을 포함하는, 프레임(64) 상의 어디에나 있을 수 있다는 것이 인식될 것이다. 예컨대, 센서들(2030)은 프레임(64)과 사용자 사이의 접촉 포인트에서, 프레임(64)의 템플들의 단부들에 장착될 수 있다. 일부 다른 실시예들에서, 센서들(2030)은 사용자(60)와 접촉하도록 프레임(64)으로부터 멀리 연장될 수 있다. 또 다른 실시예들에서, 센서들(2030)은 물리적으로 프레임(64)에 부착되지 않을 수 있고; 오히려, 센서들(2030)은 프레임(64)으로부터 떨어져 이격될 수 있는 주변 센서들(120a)(도 9d) 형태를 취할 수 있다. 주변 센서의 예는 촉각 피드백을 제공하는 데 또한 사용될 수 있는 초음파 프로브(probe)이다.
[0138] 일부 실시예들에서, 디스플레이 시스템(2010)은 객체들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위 세계의 다른 양상들을 검출하도록 구성된 하나 또는 그 초과의 환경 센서들(34)을 더 포함할 수 있다. 예컨대, 환경 센서들(34)은 하나 또는 그 초과의 카메라들, 고도계들, 기압계들, 화학 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 열 이미징 센서, 타이밍 디바이스들(예컨대, 클록들 또는 캘린더(calendar)들), 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 다수(예컨대, 2개)의 마이크로폰들은 이격되어 제공되어, 사운드 신호 위치 결정들을 가능하게 할 수 있다. 예컨대, 반사된 사운드의 방출 및 이후 검출은 위치 결정들, 이를테면 반향정위에 활용될 수 있다. 예컨대, 객체의 사이즈 및/또는 위치는 비행 시간(사운드의 방출과 이후 반사 또는 에코의 수신 사이에 경과된 시간)과 결합된 (예컨대, 사용자 박수에 의해 그리고/또는 디스플레이 시스템(2010) 상의 사운드 스피커의 방출에 의해) 사용자의 위치로부터 방출된 사운드의 검출 및 그 방출된 사운드의 반사를 수신하는 외부 마이크로폰들로부터 결정된 방향 정보에 기반하여 결정될 수 있다. 객체와 사용자 사이의 거리가 경과된 시간의 증가에 따라 증가하는 한편, 객체의 사이즈가 에코의 크기 또는 소리의 강도(loudness)에 따라 증가하는 것이 인식될 것이다.
[0139] 일부 실시예들에서, 디스플레이 시스템(2010)은 추가로 다른 환경 입력들, 이를테면 GPS 위치 데이터, 날씨 데이터, 날짜 및 시간, 또는 인터넷, 위성 통신, 또는 다른 적절한 유선 또는 무선 데이터 통신 방법으로부터 수신될 수 있는 다른 이용가능한 환경 데이터를 수신하도록 구성될 수 있다. 프로세싱 모듈(2070)은 사용자의 위치를 특징으로 하는 추가 정보, 이를테면 화분 계측, 인구 통계, 공기 오염, 환경 독소들, 스마트 서모스탯들로부터의 정보, 생활방식 통계들, 또는 다른 사용자들, 빌딩들 또는 건강관리 제공자에 대한 근접도에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 위치를 특징으로 하는 정보는 클라우드 기반 또는 다른 원격 데이터베이스들을 사용하여 액세스될 수 있다. 프로세싱 모듈(2070)은 그런 데이터를 획득하고 그리고/또는 환경 센서들 중 임의의 하나 또는 조합으로부터의 데이터를 추가로 분석하도록 구성될 수 있다. 예컨대, 프로세싱 모듈(2070)은 사용자가 섭취하는 음식, 약, 영양제들 및 독소들을 식별 및 분석하기 위해 외향 지향 카메라로부터의 정보를 사용하도록 구성될 수 있다. 유사하게, 마이크로폰은 사용자가 씹는 것을 가리키는 사운드들을 캡처할 수 있고 프로세서는, 사용자가 음식을 씹고 있다는 것을 결정하도록 구성될 수 있다. 음식을 먹는 것이 생리학적 상태 또는 테라피 요법의 부분에서의 다양한 변화들과 연관될 수 있고, 따라서, 음식 섭취의 타이밍은 다양한 건강 컨디션들을 진단 및/또는 처치할 때 고려할 유용한 변수일 수 있다는 것이 인식될 것이다. 본원에서 더 상세히 설명될 바와 같이, 다양한 환경 센서들로부터의 데이터 및/또는 다른 입력들, 이를테면 사용자에게 전달되는 시각적 및/또는 청각적 콘텐츠를 특징으로 하는 정보뿐 아니라, 이 데이터에 기반한 추가 분석은 건강 분석들을 수행하고 그리고/또는 테라피들을 수정하기 위해 위에서 설명된 생리학적 센서들로부터의 데이터와 결합될 수 있다. 데이터는 또한 환경 및 사용자 특정 데이터의 관계들에 기반하여 사용자의 행동 및/또는 감정 상태들을 결정하는 데 사용될 수 있다.
[0140] 디스플레이 시스템(2010)은 연장된 시간 기간들 동안 센서들 중 임의의 센서를 통해 획득된 데이터 및/또는 위에서 설명된 입력들을 수집 및 저장하도록 구성될 수 있다. 디바이스에서 수신된 데이터는 로컬 프로세싱 모듈(2070) 및/또는 원격(예컨대, 원격 프로세싱 모듈(72), 또는 원격 데이터 저장소(74))에서 프로세싱 및/또는 저장될 수 있다. 일부 실시예들에서, 부가적인 데이터, 이를테면 날짜 및 시간, GPS 위치, 또는 다른 글로벌 데이터는 로컬 프로세싱 모듈(2070)에서 직접 수신될 수 있다. 시스템에 의해 사용자에게 전달되는 콘텐츠에 관한 데이터, 이를테면 이미지들, 다른 시각적 콘텐츠 또는 청각적 콘텐츠는 또한 로컬 프로세싱 모듈(2070)에서 수신될 수 있다. 일부 실시예들에서, 개별 데이터 포인트들이 분석될 수 있다.
[0141] 본원에서 개시된 바와 같이, 사용자 및/또는 환경 센서들을 통합하는 디스플레이 시스템(2010)은 유리하게, 건강 컨디션들(예컨대, 물리적, 행동적 또는 신경학적)의 검출 및 임의의 건강 평가들의 정확도를 개선하는 것, 및/또는 테라피들을 수정 또는 조정하는 것을 포함하는, 건강 이점들을 사용자에게 제공할 수 있는 방식들로 데이터를 상호 참조하기 위한 능력으로 그리고/또는 지속기간들에 걸쳐 다양한 데이터의 수집을 허용할 수 있다. 부가적으로, 연장된 시간 기간에 걸친 데이터 수집은 디바이스의 비용, 사이즈, 및/또는 무게를 감소시키기 위해 더 낮은 해상도 또는 예리함으로 센서들, 이미징 및/또는 다른 데이터 수집 기술들의 사용을 허용할 수 있고, 수집된 데이터는 에러들, 아티팩트(artifact)들, 노이즈, 또는 더 낮은 해상도 또는 예리함의 다른 결과들을 필터링하기 위해 분석된다. 일부 실시예들에서, 데이터는 긴 시간 기간들, 이를테면 몇시간들, 수일들, 몇주들, 몇개월들, 또는 몇년들에 걸쳐 수집 및 분석될 수 있고, 디스플레이 시스템(2010)은, 지속 기간의 25% 초과, 20% 초과, 15% 초과, 10% 초과, 또는 5% 초과 동안 디바이스를 제거하지 않고, 하루당, 3 시간 또는 그 초과, 4 시간 또는 그 초과, 5 시간 또는 그 초과, 6 시간 또는 그 초과, 또는 하루 종일의 지속기간들 동안 사용자에 의해 착용된다. 데이터 수집은 전체 시간 기간에 걸쳐 실질적으로 연속적으로, 예컨대 규칙적 간격들로 발생할 수 있다. 데이터 수집 기간의 지속기간에 걸쳐, 디스플레이 시스템의 사용자들은 한 번에, 3 시간 또는 그 초과, 4 시간 또는 그 초과, 5 시간 또는 그 초과, 6 시간 또는 그 초과, 또는 하루 종일 또는 그 초과에 걸친 지속기간들 동안 실질적으로 연속적으로 시스템을 착용할 수 있다. 이들 지속기간들에 걸쳐, 사용자는 바람직하게 관련된 지속기간의 25% 초과, 20% 초과, 15% 초과, 10% 초과, 또는 5% 초과 동안 디바이스를 벗지 않고 시스템을 편안하게 착용할 수 있다.
[0142] 일부 실시예들에서, 일련의 데이터 포인트들은 위에서 주목된 지속기간들 중 하나의 과정에 걸쳐 디스플레이 시스템(2010)의 하나 또는 그 초과의 센서들로부터 수집된다. 예컨대, 사용자 센서들(24, 28, 2030, 32) 및/또는 환경 센서들(34)의 하나 또는 그 초과는, 사용자가 센서들을 포함하는 디스플레이 시스템을 착용하는 동안 실질적으로 계속하여 데이터를 수집하도록 구성될 수 있다. 시스템은 부가적으로, 디스플레이 시스템에 의해 사용자에게 전달되는 시각적 및/또는 청각적 콘텐츠에 관한 데이터를 실질적으로 계속하여 수집할 수 있다. 바람직하게, 데이터 수집은, 관련 지속기간의 25% 초과, 20% 초과, 15% 초과, 10% 초과, 또는 5% 초과 동안 사용자가 디바이스를 벗지 않고, 한 번에, 3 시간 또는 그 초과, 4 시간 또는 그 초과, 5 시간 또는 그 초과, 6 시간 또는 그 초과, 또는 하루 종일 또는 그 초과의 지속기간들 동안 수행될 수 있다.
[0143] 일부 실시예들에서, 2 또는 그 초과의 센서들 및/또는 데이터 입력 소스들로부터의 데이터는 디스플레이 시스템(2010)의 모니터링, 진단, 치료, 및/또는 건강 분석 능력들을 개선시키기 위해 상관될 수 있다. 일부 더 많은 실시예들에서, 사용자 센서들(24, 28, 2030, 32)로부터 데이터는 환경 센서들(34)로부터의 데이터와 상관될 수 있고, 이는 디스플레이 시스템(2010)이 사용자와, 실제 및/또는 증강 환경 사이의 상호작용들의 효과들을 모니텅하게 한다. 이런 상관은 행동 분석, 진단 또는 모니터링 목적들, 및/또는 건강 분석을 위해 분석될 수 있다. 예컨대, 센서 데이터, 이를테면 심박수, 혈압, 또는 다른 사용자 특정 데이터는 환경 센서들로부터의 데이터와 상관될 수 있다. 그런 환경 데이터는, 하루, 여러 날들, 또는 더 긴 시간 기간들 동안 그런 생리학적 파라미터들의 사이클들 또는 경향들을 추적하기 위해 시간 및/또는 날짜를 포함할 수 있다. 다른 예로서, 외향 지향 및/또는 내향 지향 카메라들은 객체들, 이를테면 음식 아이템들을 식별 및 그런 아이템들이 소비되는 때를 검출할 수 있을 수 있다. 디스플레이 시스템(2010)은 착용자가 먹은 음식 아이템들뿐 아니라 혈압 센서 또는 혈당 모니터링 같은 사용자 특정 데이터에 대한 생리학적 데이터 소스를 동시에 모니터링링할 수 있다. 시스템은, 생리학적 파라미터들 중 하나 또는 그 초과의 변동들과 다이어드 사이의 상관을 관찰하기 위해 음식 아이템이 소비된 이후 시간 기간 동안 혈압 또는 혈당 데이터를 분석할 수 있다. 상관 및 분석은, 예컨대 사용자에게 경고하거나, 다른 사용자에게 경고하고, 진단 테스트를 실행하거나, 또는 다른 응답 액션을 취하기 위해 시스템으로부터 응답을 트리거할 수 있다.
[0144] 일부 실시예들에서, 위에서 설명된 바와 같은 결합된 데이터 포인트들은 수 분, 몇시간, 며칠들, 몇개월들, 또는 더 긴 시간 기간들 동안에 걸쳐 반복적으로 관찰될 수 있고, 이는 더 많은 수의 데이터 포인트들이 분석되는 것을 허용하고, 따라서 사용자 특정 데이터가 관찰된 환경 팩터들과 실제로 상관되고 그리고/또는 그로 인해 관련되는지, 및 관찰된 사용자 특정 데이터가 단지 우연이고 그리고/또는 관찰된 환경 팩터들과 관련되지 않는지를 식별하기 위한 디스플레이 시스템(2010)의 능력을 증가시킨다. 시간에 걸친 데이터 수집은 또한, 이를테면 이전 데이터와 비교함으로써 변화들을 식별하거나 행동 경향들을 식별하기 위해, 이력 분석을 허용할 수 있다.
[0145] 디스플레이 시스템(2010)의 일부 실시예들은 추가로 다수의 사용자들과 디바이스들 사이에서 데이터의 공유를 허용할 수 있다. 위에서 설명된 바와 같이 연장된 시간 기간에 걸쳐 단일 사용자를 모니터링하는 것과 유사하게, 다수의 사용자들 사이에서 데이터의 공유는 상당히 더 큰 데이터 세트를 제공하고 그리고 진단들 및/또는 인과 관계들의 더 정확한 결정들을 허용할 수 있다. 데이터 공유를 통해 강화된 데이터 분석의 몇몇 예시적인 상황들이 이제 설명될 것이다.
[0146] 일부 실시예들에서, 사용자 특정 데이터는 동일한 물리적 주변, 이를테면 단일 룸, 빌딩, 차량 또는 정의된 옥외 공간, 영역 코드, 시, 주 등에 위치된 사용자들 사이에서 공유될 수 있다. 사용자들 각각은 디스플레이 시스템(2010)을 착용 중일 수 있고, 이는 위치 센서(예컨대, GPS)에 기반하여 그리고/또는 간단히 다른 사용자들과 이용가능한 통신 채널의 존재를 검출함으로써 사용자들의 공통 위치를 검출할 수 있다. 이어서, 디스플레이 시스템(2010)은 생리학적 사용자 데이터(행동 데이터를 포함함)를 수집하고 그리고/또는 그 위치에 대해 더 일찍 수집된 데이터에 액세스할 수 있다. 이어서, 데이터는 공유될 수 있고 디스플레이 시스템(2010)은 수집된 사용자 데이터의 비교들을 하도록 구성될 수 있다. 예컨대, 공유된 데이터는, 로컬 영역 내의 다수의 사용자들이 질병을 갖고, 동시에 질병의 증상들을 나타내기 시작하였고, 그리고/또는 증상들을 나타내기 전에 유사한 지속기간 동안 특정 위치에 존재하였다는 것을 표시할 수 있다. 이어서, 사용자의 인구 집단에 걸쳐 사용자 데이터의 유사한 패턴들은, 전염, 화분, 또는 예컨대 급성접촉결막염을 유발하는 다른 조건 같은 인과관계 팩터가 로컬 환경에 존재하는지의 결정을 허용할 수 있다. 게다가, 데이터의 공유는 로컬 영역 내의 모든 사용자들이 로컬 영역 내의 사용자들 및/또는 시스템들의 서브세트에 의해서만 검출가능한 환경 팩터를 인식하는 것을 허용할 수 있다. 환경 데이터의 이런 공유는 유리하게, 사용자에 의해 수집된 환경 데이터만이 이용가능한 경우 가능할 수 있는 것보다 환경의 더 완전한 설명을 제공한다. 이에 의해, 이런 더 완전한 설명은 더 정확한 분석들을 가능하게 할 수 있다. 예컨대, 개가 사용자 뒤에서 룸으로 들어올 수 있고 그리고 개가 사용자의 시스템의 임의의 카메라들의 시선 밖이면 사용자의 시스템에 의해 검출불가능할 수 있다. 그러나, 룸 내의 다른 사용자는 개를 마주볼 수 있고, 이는 제2 사용자의 시스템이 개를 검출하고 개의 존재를 제1 사용자의 시스템에게 경고하는 것을 허용한다. 그런 정보는 상관들을 이끌어낼 더 완전한 환경 데이터베이스를 형성할 수 있다. 예컨대, 개의 존재의 인지는 환경 변수(개의 존재)와 개 알레르기 환자들의 알러지의 발병의 상관을 가능하게 할 수 있다. 다른 예에서, 단일 사용자의 이상은 다른 사용자들과 공유된 데이터에 기반하여 결정될 수 있다. 예컨대, 열 카메라는, 인근 사용자가 열이 있는지를 결정하는 데 사용될 수 있다. 아픈 사용자가 열이 있는 다른 사용자와 상호작용하였다는 것을 시스템이 결정하면, 시스템은 병의 소스를 결정할 수 있다. 또 다른 예에서, 공유된 데이터는 사용자들 사이의 이력 상호작용들을 분석하는 데 사용될 수 있다. 예컨대, 사용자들이 다른 사용자를 어떻게 아는지를 상기시키거나, 사용자가 스토커가 있는지 여부를 결정하거나, 이력 상호작용 데이터의 임의의 다른 분석을 위해, 예컨대 언제 그리고 얼마나 빈번하게 소정의 사용자들이 유사한 주변에서 상호작용하였는지 또는 있었는지에 관한 정보가 사용될 수 있다.
[0147] 일부 실시예들에서, 수집된 사용자 데이터는, 특히 사용자 데이터가 그 사용자에 대한 표준을 벗어나는 상황들에서, 통지 목적들을 위해 다른 사람들과 공유될 수 있다. 예컨대, 동일한 공용 공간 내의 다수의 디바이스 사용자들이 비정상적 EEG 또는 혈압 판독들을 레코딩하기 시작하거나, 마이크로폰에서 큰 사운드를 레코딩하거나, 외향 지향 카메라에서 높은-세기 플래시를 보거나, 또는 동일하거나 유사한 시간에 모두가 동공들이 빠르게 확장된다면(예컨대, 현장으로 오거나 및/또는 그 현장의 카메라 피드(feed)들을 보도록), 기관들, 이를테면 경찰 및/또는 응급 의료 응답자에게 경보가 발령된다. 인구 집단 사이의 그런 반응들은 응급 응답을 요구하는 응급 상황을 표시할 수 있다. 또 다른 예에서, 로컬 운전 영역에서 다수의 디바이스 착용 드라이버들이 비정상 판독들, 이를테면 고혈압 또는 증가된 EEG 활동을 나타내기 시작하는 것이 검출될 수 있다. 이어서, 교통 체증이 존재하는지가 결정될 수 있고, 그리고 그 영역에 접근하는 다른 사용자들에게 경고가 주어질 수 있다. 다수의 사용자들 사이에서 데이터를 공유하고 사용자들 사이에서 유사한 사용자 특정 데이터를 검출하는 것이, 유사한 환경 자극들(예컨대, 응급 상황 또는 교통 체증)이 존재하는 것을 확인할 수 있다는 것이 인식될 것이다. 주어진 영역 내의 약간 상이한 위치들에 있는 상이한 사용자들 사이에서 유사한 타입들의 데이터에 대한 액세스가 자극의 특정 위치를 정확히 찾아내는 것을 도울 수 있다는 것이 또한 인식될 것이다. 예컨대, 큰 노이즈, 이를테면 총소리의 위치는 사용자들이 착용한 디스플레이 디바이스들 상의 마이크로폰들(34)에 의해 검출된 노이즈의 상대적 레벨을 비교함으로써 결정될 수 있다. 다른 예에서, 그런 이벤트의 위치는 LOB(lines of bearing) 계산에 기반하여 결정될 수 있다. 예컨대, 다수의 분산된 사용자들 각각이 자신의 머리들을 돌려 사운드 또는 시각적 자극의 소스를 보면, 그들의 지리적포지션, 방위각, 및 고도는 계산될 수 있고, 이로부터 LOB(lines of bearing)가 위치를 삼각측량하는 데 사용될 수 있다. 게다가, 시스템의 사용자 센서들은, 환경 자극에 가장 가까운 사용자가 여전히 쇼크 또는 다른 결과적인 효과들을 경험하고 있는지, 사건으로부터 도망가고 있는지, 및/또는 그 사건과 관련된 다른 느낌들을 경험하고 있는지를 결정하는 데 사용될 수 있다.
[0148] 데이터는 또한 정의된 위치, 이를테면 레스토랑 또는 공공 이벤트 장소를 방문한 사용자들 사이에서 공유될 수 있다(심지어 이들 사용자들이 동시에 모두가 참석하지 않더라도). 예컨대, 상이한 시간들에 레스토랑을 방문한 이후 다수의 사용자들이 아프고 유사한 생리학적 증상들을 나타내면, 병의 증상들을 표시하는 이들 유사한 사용자 특정 데이터는, 레스토랑이 병의 원인일 수 있다는 것을 결정하기 위해 결합될 수 있다. 그런 결정들은, 낮은 혈액 산소 또는 다른 생리학적 증상의 단일 검출이 환경 팩터 이외의 팩터가 원인일 수 있기 때문에, 다수의 사용자들 사이의 데이터 상관 없이 달성하기가 훨씬 더 어렵거나 불가능할 수 있다. 다른 예에서, 복수의 사용자들 사이에서 데이터를 공유하는 것은 건강 문제들이 있는 사용자에게 의료 응답을 가능하게 할 수 있다. 로컬 개인 사용자는 건강 문제가 있을 수 있고 그러므로 사용자의 갑작스러운 건강 문제 및/또는 다른 컨디션 자료의 특징을 의료 처치에 통신할 수 없을 수 있다. 인근의 다른 사용자는 상황을 통지받을 수 있고 제1 사용자의 위치로 진행하도록 지시받을 수 있다. 공유된 데이터는 제2 사용자의 디스플레이 시스템을 통해 제2 사용자에게 제공될 수 있고, 이어서 제2 사용자는 이를 장면에 존재하는 제1 응답자들에게 제공할 수 있다(예컨대, 약물에 대한 알러리지들, 에피네프린 주사에 대한 필요, 혈당, 혈압 등). 제1 응답자들의 부재 시, 2차 사용자의 디스플레이 시스템은 도움을 주기 위한 액션들에 관해 2차 사용자에게 지시할 수 있다. 예컨대, 2차 사용자는 911을 호출하도록 명령받을 수 있고 그리고/또는 CPR을 수행하는 방법에 대해 디스플레이 시스템에 의해 명령을 받을 수 있다.
[0149] 일부 실시예들에서, 시스템들(600, 2010)(도 12, 10)은 주 사용자 및/또는 시스템들(600, 2010)의 착용자 이외의 사람의 건강 상태를 결정하도록 구성될 수 있다. 다양한 실시예들에서, 주 사용자 이외의 사람은 유사한 시스템(600, 2010)의 사용자일 수 있거나 아닐 수 있다. 다른 사람이 또한 유사한 시스템(600, 2010)의 사용자이면, 다른 사용자가 착용한 시스템들(600, 2010)로부터 수집된 데이터는 다른 사용자의 건강 상태의 추적 및/또는 분석을 개선하기 위해 주 사용자의 시스템(600, 2010)에 의해 수집된 데이터와 상관될 수 있는 데, 그 이유는 예컨대 이들 다른 시스템들이 유리하게 사용자의 상이한 뷰들을 제공할 수 있기 때문이다. 디스플레이 시스템들은 인간 해부학, 생리학, 시간-위치 상관 또는 개인 공유 정보의 관찰 및/또는 인지에 기반하여 다른 사람의 건강 상태를 결정하도록 추가로 구성될 수 있다. 진단 및 치료 기능들은 증강 현실 및/또는 가상 현실 콘텐츠, 안내된 이미저리 및/또는 오디오, 눈 추적, 안면 인식 센서들 및 알고리즘들, 몸짓 언어 검출 및/또는 하나 또는 그 초과의 마이크로폰들을 사용 및/또는 이에 기반하여 사용자의 디스플레이 시스템에 의해 관리될 수 있다.
[0150] 일부 실시예들은 환자의 평가를 강화하기 위해, 2차 사용자, 이를테면 임상의가 착용하도록 구성된 디스플레이 시스템(2010)을 포함할 수 있다. 일 예에서, 임상의는 환자의 걸음걸이를 평가하기 위해 걷고 있는 환자를 관찰할 수 있다. 임상의가 착용한 디스플레이 시스템(2010)은 환자를 모니터링하여 획득된 데이터에 기반하여 부가적인 콘텐츠로 환자의 임상의 뷰를 증강할 수 있다. 예컨대, 콘텐츠는 환자의 걸음걸이, 이를테면 다리 벌어짐, 안장다리/밭장다리 걸음걸이, 흔들림, 또는 다른 걸음걸이 변수들의 양상들을 묘사하는 다수의 깊이 평면들 내의 3D 콘텐츠일 수 있다. 일부 양상들에서, 디스플레이 시스템은, 예컨대, 머리 포즈 센서들, 가속도계들, 관성 측정 유닛들 등에 의해 측정된 바와 같은, 머리 모션, 이를테면 머리의 상하 또는 움직임 또는 사인파 움직임 및/또는 보빙(bobbing)을 포함할 수 있는 걸음걸이 변수들을 보여주도록 구성될 수 있다. 일부 실시예들에서, 이들 변수들은 환자의 걸음걸이의 뷰들과 함께 부가적인 증강 현실 가상 콘텐츠로서 그래픽으로 제시될 수 있다. 유리하게, 다수의 깊이 평면들 상의 정보를 디스플레이하기 위한 디스플레이 시스템의 능력은 사용자의 간단한 측면뷰(사용자의 걸음걸이를 포함함)에서 이용가능할 것보다 더 많은 정보가 임상의에게 제공되는 것을 허용한다. 일부 실시예들에서, 임상의가 착용한 디스플레이 시스템(2010)은 단지 환자의 뷰들만을 제공한다. 유사하게, 다른 예에서, 사용자의 머리 포즈에 관한 더 많은 정보는 임상의가 착용한 디스플레이 시스템(2010)에 의해 다수의 깊이 평면들에 걸쳐 그 정보를 디스플레이하기 위한 능력에 제공될 수 있다. 일부 실시에들에서, 환자의 머리 포즈의 검출은, 명령이 환자에 의해 이해되었는지를 임상의에게 표시하는 데 사용될 수 있다. 또 다른 예에서, 디스플레이 시스템(2010)은 임상의에게 뇌졸증 환자의 움직임 회복의 평가를 표시할 수 있다. 이런 평가는, 환자가 수행할 수 있는 움직임 양을 결정하기 위해 벡터 계산들을 수행하는 것을 포함할 수 있다. 예컨대, 임상의가 착용한 디스플레이 시스템(2010)은 환자의 움직임 범위를 결정하기 위해 임상의의 디스플레이 시스템(2010)의 하나 또는 그 초과의 카메라들 또는 다른 센서들로부터 데이터를, 환자가 착용한 다른 디스플레이 시스템(2010)의 하나 또는 그 초과의 센서들로부터 데이터를, 또는 다수의 소스들로부터의 데이터의 조합을 획득할 수 있다. 게다가, 임상의의 디스플레이 시스템(2010)에 디스플레이된 임의의 콘텐츠는 부가적으로 또는 대안적으로 환자가 착용한 디스플레이 시스템(2010)에 디스플레이될 수 있다.
[0151] 일부 실시예들에서, 디스플레이 시스템(2010)은 사용자에게 피드백 및/또는 개입 수정을 제공하도록 구성될 수 있다. 본원에서 사용된 바와 같이, 바이오피드백(biofeedback)은 사용자 센서들(예컨대, 카메라들(24 및 28), 내부 센서들(2030), 모션 센서들(32)) 및/또는 환경 센서들(34)로부터의 데이터에 기반하여 디스플레이 시스템(2010)의 사용자에게 전달된 임의의 타입의 콘텐츠 및/또는 자극의 수정을 포함할 수 있다. 바이오피드백은 임의의 카메라 또는 센서에서 수신된 특정 로우 데이터에 의해, 또는 그런 데이터의 추가 분석의 결과들(예컨대, 생리학적 파라미터에서의 비정상적인 경향, 외향 지향 카메라로부터의 이미지들에 기반하여 검출된 객체, 사용자 특정 데이터, 불규칙적이거나, 가속되거나, 반복되거나 그렇지 않으면 특이한 액션들에 기반한 의료 진단, 또는 환경 팩터에 상관될 수 있는 사용자 센서들에 의해 결정된 행동)에 의해 트리거될 수 있다. 바이오피드백은 실시간 또는 거의 실시간으로 제공될 수 있거나, 또는 이전에 레코딩되고 분석된 데이터에 기반하여 이후에 제공될 수 있다. 일부 바이오피드백은 사용자가 바이오피드백(예컨대, 시각적으로 또는 사운드 통신에 의해 제공된 명령들, 사용자의 생리학적 데이터, 예컨대 심박수 또는 혈압을 나타내는 이미지들)을 인식하게 하기 위해 전달될 수 있거나, 또는 사용자의 인식 없이(예컨대, 이미지의 밝기를 조정하거나 처치 계획을 변경하여) 전달될 수 있다. 바이오피드백의 몇몇 예들이 이제 설명될 것이다.
[0152] 바이오피드백의 하나의 예에서, 사용자는 물리적 테라피의 목적들을 위해 디스플레이 시스템(2010)을 착용할 수 있다. 디스플레이 시스템(2010)은 주마다, 매일, 또는 하루에 다수 회, 또는 다른 적절한 빈도로 물리적 테라피 루틴을 통해 사용자를 안내할 수 있다. 일부 실시예들에서, 물리적 테라피 루틴에 대한 명령들은 증강 현실 시스템에서 디스플레이된 명령들을 통해, 또는 가청가능 명령들을 통해 제공될 수 있다. 예컨대, 디스플레이 시스템(2010)은, 물리적 테라피 객체들을 표시하고 그리고 액션들, 예컨대 객체들을 픽 업(pick up) 또는 움직이는 것, 또는 다른 물리적 테라피 관련 태스크들을 완료하도록 사용자에게 명령하도록 구성된 증강 현실 시스템일 수 있다. 명령된 태스크들뿐 아니라, 연관된 생리학적 사인들을 완료하기 위한 사용자의 성공 또는 무능력은 본원에서 설명된 바와 같이 사용자 센서들 및/또는 카메라들에 의해 검출되고, 그리고 사용자의 물리적 테라피 진행을 추적하기 위해 분석될 수 있다. 강도 또는 다른 건강 기준들에서 검출된 개선들에 대한 응답으로, 디스플레이 시스템(2010)은 세기, 길이, 어려움을 증가 또는 감소시키거나, 그렇지 않으면 사용자의 변화하는 요구들을 충족시키기 위해 물리적 테라피 루틴을 변경함으로써 바이오피드백을 제공할 수 있다. 예컨대, 사용자의 생리학적 측정치들(예컨대, 심박수 및/또는 혈압)이 원하는 레벨 들미만이면, 디스플레이 시스템(2010)은 물리적 테라피 루틴의 세기를 증가시키도록 구성될 수 있다. 반대로, 사용자의 심장이 미리결정된 임계치들을 초과하면, 디스플레이 시스템(2010)은 물리적 테라피 루틴의 세기를 감소시키도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은, (예컨대, 사용자가 특정 포즈를 취하거나 특정 게이트로 움직일 수 없다는 것을 결정하기 위해 하향 지향 카메라(28)를 사용함으로써) 물리적 테라피 태스크를 완료하는데 있어서의 사용자의 무능력을 검출하고 그리고 사용자의 건강이 개선될 때까지 다른(예컨대, 더 쉬운) 태스크로 대체할 수 있다. 사용자의 진행에 관한 데이터는 처치 또는 테라피 계획과 함께 저장 및 추적될 수 있다.
[0153] 바이오피드백의 다른 예에서, 디스플레이 시스템(2010)은 만성 질환의 재발 사인 또는 증상을 검출하고 그리고 사인 또는 증상을 관리하기 위해 응답 처치 또는 명령을 제공하도록 구성될 수 있다. 예컨대, 사용자는 간헐적인 비자발적 떨림을 유발할 수 있는 파키슨 병을 진단 받았을 수 있다. 사용자의 디스플레이 시스템(2010)은, 이를테면 하향 지향 카메라(28)로부터 획득된 이미지들의 분석에 의해, 사용자가 떨림을 경험하고 있을 때를 검출하도록 구성될 수 있다. 떨림이 검출될 때, 디스플레이 시스템(2010)은 그 입력을 다른 감각 데이터, 이를테면 EEG 또는 불규칙적인 눈 추격(erratic eye pursuit)들과 삼각측량하도록 구성될 수 있고, 그리고 광의 플래시, tDCS(transcranial direct current stimulation)를 통한 전기 자극, TMS(transcranial magnetic stimulation)를 통한 자기 자극, 또는 검출된 떨림을 적어도 일시적으로 멈추거나 감소시키도록 시도하기 위한 다른 자극을 제공하도록 추가로 구성될 수 있다.
[0154] 유사하게, 사용자는 간질 또는 다양한 다른 컨디션들 중 임의의 컨디션으로 인해 발작하는 경향이 있을 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은 발작을 자극하고 자극들 트리거링을 결정하기 위해, 진단 기능들, 이를테면 밝은 광 또는 바둑판 패턴을 사용자에게 플래싱하거나, 깊이 평면들을 통해 콘텐츠 및/또는 모션을 조작하거나, 또는 3D 사운드를 조작하는 것을 수행할 수 있다. 이어서, 디스플레이 시스템(2010)은 미래에 자극들 트리거링의 발생을 인식할 수 있고, 그리고 발작들을 방지, 완화 또는 회피시키기 위해 치료 콘텐츠(예컨대, 백색 노이즈, 백색 광, 또는 발작들을 방지할 수 있는 다른 콘텐츠)를 제공할 수 있다. 이 콘텐츠는 하나 또는 그 초과의 깊이 평면들 상에 제공되면서, 장기간 사용자 뷰잉 편안함을 허용하기 위해 적당한 원근조절 및 이접운동 매칭을 제공할 수 있다는 것이 인식될 것이다.
[0155] 일부 실시예들에서, 콘텐츠는 명상 및/또는 안내 이미저리 및/또는 사운드 테라피를 가능하게 할 수 있고 그리고 반드시 발작들을 방지하는 것이 아닌, 일반적으로 사용자를 침착하게 하는 데 활용될 수 있다. 예컨대, 디스플레이 시스템(2010)은, 큰 노이즈들 또는 밝은 광이 PTSD(post-traumatic stress disorder)를 가진 환자의 바람직하지 않은 반응을 트리거하는 것을 결정할 수 있다. 이런 반응은 눈 확장, 발한(sweating), 비명 또는 다른 PTSD 사인들 또는 증상들을 포함할 수 있다. 디스플레이 시스템(2010)은 결정된 트리거링 자극들에 대한 응답으로 탈감각화 테라피를 제공할 수 있고, 그리고 테라피 과정에 걸쳐 환자의 진행을 결정하기 위해, 연장된 시간 기간에 걸쳐 환자의 증상들 및 자극들을 트리거링하는 것에 대한 응답을 모니터링할 수 있다.
[0156] 이제 도 11을 참조하면, 건강 분석을 위해 사용자 데이터를 외부 환경 데이터와 상관시키는 예시적인 방법이 이제 설명될 것이다. 도 11에 예시된 방법(1110)은 본원의 다른 곳에서 설명된 웨어러블 디스플레이 시스템들 중 임의의 것을 사용하여 수행될 수 있다. 예컨대, 도 10에 묘사된 디스플레이 시스템(2010)은 방법(1110)을 수행하도록 구성될 수 있다.
[0157] 방법(1110)은 블록(1120)에서 시작될 수 있고, 여기서 외부 자극(사용자 외부에 있음), 이를테면 이벤트, 시간, 또는 객체(가상 또는 실제)가 검출된다. 일부 실시예들에서, 환경(예컨대, 위치, 온도, 속도 등)은 콘텍추얼(contextual) 학습을 위한 외부 자극의 더 빠르고 그리고/또는 더 정확한 프로세싱을 위해 외부 자극을 예측하는 것을 준비하기 위해 블록(1120) 전에 모니터링될 수 있다. 외부 자극은 도 10을 참조하여 위에서 설명된 환경 센서들 또는 데이터 입력들 중 임의의 것에 의해 검출될 수 있다. 예컨대, 외향 지향 카메라로부터 획득된 이미지의 이미지 분석은, 사용자가 치즈버거같은 나트륨 및/또는 포화 지방이 높은 식사를 하고 있는 것을 검출할 수 있다. 본원에서 설명된 바와 같이, 환경 센서들에서 수신된 데이터의 분석은 로컬 프로세싱 모듈에서, 또는 원격으로 발생할 수 있다. 외부 자극이 검출되고 식별되었을 때, 방법(1110)은 블록(1130)으로 계속될 수 있다.
[0158] 블록(1130)에서, 사용자 특정 데이터는 검출된 외부 자극에 따라 모니터링된다. 일부 실시예들에서, 사용자는 콘텍추얼 학습을 위한 사용자 특정 데이터의 더 빠르고 그리고/또는 더 정확한 프로세싱을 위해 사용자 특정 데이터 및/또는 변화들을 예측하는 것을 준비하기 위해 블록(130) 이전에 모니터링될 수 있다. 일부 실시예들에서, 방법은 블록(1130)에서 시작될 수 있다. 즉, 수집된 사용자 특정 데이터는 외부 자극에 대한 필요 없이 방법(1110)의 개시를 트리거할 수 있다. 사용자 특정 데이터는 도 10을 참조하여 위에서 설명된 다양한 내향 지향 카메라들 또는 다른 사용자 센서들 중 임의의 것으로부터 획득될 수 있다. 사용자가 건강에 해로운 식사를 소비한 것으로 결정된 예시적인 프로세스에서, 시스템은 사용자의 생리학적 파라미터들, 이를테면 심박수, 혈압, 피부 창백함, 또는 다른 파라미터들을 모니터링할 수 있다. 일부 실시예들에서, 시스템은 검출된 외부 자극 이후 수 분들, 몇시간들 또는 심지어 며칠들 동안 그런 파라미터들을 추적할 수 있다. 예컨대, 시스템은 식사에 관련된 생리학적 파라미터의 변화의 검출 확률을 증가시키기 위해 식사 이후 몇시간들 동안 계속하여 사용자의 혈압을 추적할 수 있다. 이어서, 방법(1110)은 블록(1140)으로 계속될 수 있다.
[0159] 블록(1140)에서, 시스템은 모니터링되는 하나 또는 그 초과의 생리학적 파라미터들의 변화를 검출할 수 있다. 예컨대, 위에서 설명된 건강하지 않은 식사 시나리오에서, 시스템은 사용자의 건강하지 않은 식사 소비 이후 수 분들 또는 몇시간들 내에 혈압의 증가를 검출할 수 있다. 시스템은 또한 부가적인 생리학적 변화들, 이를테면 심박수의 증가를 검출할 수 있다. 생리학적 파라미터의 변화가 검출되면, 시스템은 관찰된 외부 자극과 연관된 변화를 레코딩할 수 있다. 예컨대, 시스템은 치즈버거를 소비하는 것과 연관된 혈압의 증가를 레코딩할 수 있다.
[0160] 본원에서 설명된 연관들에 관한 단일 데이터 포인트, 또는 심지어 소수의 데이터 포인트들이 외부 자극 타입과 검출된 생리학적 변화 사이의 상관을 설정하는 데 충분하지 않을 수 있다는 것이 인식될 것이다. 그러나, 시스템은 연장된 시간 기간, 이를테면 며칠들, 몇주들, 몇개월들 또는 심지어 몇년들에 걸쳐 수집된 관찰된 사용자 특정 데이터와, 유사한 외부 자극들을 계속 상관시킬 수 있다. 일부 실시예들에서, 시스템은 패턴들, 경향들 등을 식별하기 위해 각각의 데이터 포인트를 저장하고 이전 데이터 포인트들을 재호출하도록 구성될 수 있다. 게다가, 프로세스는 예측적일 수 있다. 예컨대, 시스템은, 예컨대 심지어 충분한 데이터가 통계적 중요성을 달성하기 위해 수집되기 전에, 경향을 제안하는 데이터에 기반한 가설들로서 가능한 경향들을 식별할 수 있다. 이어서, 시스템은 가설들을 확인하거나 논박하기 위해 미래 데이터 포인트들을 사용할 수 있다. 데이터에서 심각한 이상들은 예컨대 심장 마비 또는 뇌졸증의 경우에 직접 경고들을 유발할 수 있다. 따라서, 디스플레이 시스템(2010)은, 유사한 외부 자극이 검출될 때마다 방법(1110)을 통해 진행하도록 구성될 수 있다. 예컨대, 방법(1110)은, 사용자가 식사를 소비하는 것을 시스템(2010)이 검출할 때마다 위에서 설명된 바와 같이 블록들(1120, 1130 및 1140)을 반복할 수 있다. 연장된 시간 기간에 걸쳐, 사용자는 통계적 분석에 유용한 데이터 세트를 제공하기 위해 충분한 수의 건강하고 그리고/또는 건강하지 않은 식사들(예컨대, 나트륨 및/또는 포화 지방이 높은 식사들)을 할 수 있다. 충분한 데이터 포인트들이 레코딩되면, 방법(1110)은 블록(1150)으로 계속될 수 있다.
[0161] 블록(1150)에서, 방법(1110)은 유사하거나 동일한 외부 자극들과 연관된 하나 또는 그 초과의 생리학적 파라미터들의 반복된 변화를 식별할 수 있다. 예컨대, 사용자는 몇주들 또는 몇개월들의 과정에 걸쳐 다수의 건강하지 않은 식사들을 할 수 있다. 위에서 설명된 분석을 완료한 이후, 사용자가 대부분의 또는 모든 그런 건강하지 않은 식사들의 소비 이후 상승된 혈압을 나타내는 것이 관찰될 수 있다. 일부 실시예들에서, 방법은, 사용자의 혈압이 식사 이후 상승하는지의 표시와 함께 건강하지 않은 식사 소비의 각각의 반복을 레코딩할 수 있다. 데이터는 다른 감각 데이터, 이를테면 혈당, ECG, 심박수, 또는 다른 데이터와 삼각측량될 수 있다. 그런 데이터는 이후 분석을 위해 로컬적으로 또는 원격적으로 데이터베이스(예컨대, 로컬 데이터 프로세싱 모듈(2070), 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74))에 레코딩될 수 있다. 충분히 큰 데이터 세트가 신뢰성 있는 통계적 분석을 허용하기 위해 레코딩되었을 때, 방법(1110)은 이후 블록(1160)으로 계속될 수 있다.
[0162] 블록(1160)에서, 상관된 데이터 세트는 관찰된 외부 자극과 관찰된 생리학적 변화 사이의 상관을 결정하기 위해 분석된다. 외부 자극 및 생리학적 변화가 상관되는지 그리고/또는 인과 관계적으로 관련되는지를 결정하기 위해 다양한 알려진 추론 통계적 분석 방법들 중 임의의 것이 적용될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 행동 또는 감정 응답은 또한 생리학적 변화 및 사용자 센서들로부터 결정될 수 있고, 이어서 행동 또는 감정 응답이 외부 자극들 및 환경 팩터들에 상관되는지 그리고/또는 인과 관계적으로 관련되는지 또는 관련되지 않는지가 결정될 수 있다. 다양한 통계적 분석들에서, 외인성 데이터 포인트들은 무시될 수 있다. 예컨대, 사용자의 혈압이 매 건강하지 않은 식사 이후, 또는 많은 건강하지 않은 식사들 이후 증가하는 것으로 관찰되면, 건강하지 않은 식사들이 증가된 혈압과 상관되는 것이 결정될 수 있다. 일부 경우들에서, 통계적 분석은, 외부 자극이 관찰된 생리학적 변화의 원인이 아니라는 것을 표시할 수 있다. 다양한 실시예들에서, 양쪽 결과들은 의료 진단, 모니터링 및/또는 사용자의 처치의 목적들을 위해 유용한 정보를 제공할 수 있다. 예컨대, 블록(1170)에서, 상관 분석의 결과들은 건강 컨디션에 관한 진단, 및/또는 바람직하지 않은 건강 컨디션을 처리하기 위한 치료 프로토콜의 개발하기 위한 검토 및/또는 추가 분석을 위해 건강 전문가에게 포워딩될 수 있다. 다른 예들에서, 사용자는 통지를 받을 수 있고, 자동화된 테스트가 수행될 수 있고, 다른 사용자가 경고를 받을 수 있고, 그리고/또는 다른 액션이 결정된 상관에 기반하여 취해질 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템(2010)은 진단을 하거나 또는 디스플레이 시스템(2010)에 의해 발견된 특정 데이터에 의해 표시된 포지션 건강 컨디션들의 리스트를 제공하도록 구성될 수 있다.
[0163] 일부 실시예들에서, 방법은 바이오피드백을 사용자에게 제공함으로써 계속될 수 있다. 예컨대, 시스템은 예컨대 도 10을 참조하여 설명된 바이오피드백 방법들에 따라 다양한 가상 외부 자극들 중 임의의 것을 제공하도록 블록(1120) 또는 블록(1130)으로 리턴할 수 있다.
[0164] 일부 실시예들에서, 블록들(1120, 1130, 1140)의 순서는 변경될 수 있다. 예컨대, 블록(1130)은 블록(1120) 이전에 또는 이와 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 블록들(1140 및 1150) 중 하나 또는 그 초과는 생략될 수 있다. 예컨대, 디스플레이 시스템(2010)은 사용자 특정 데이터 및 환경 데이터 각각에 대한 단일 측정을 사용하여 사용자 특정 데이터와 환경 데이터 사이의 상관을 결정하도록 구성될 수 있다. 일부 실시예들에서, 블록(1120)은 생략될 수 있고 방법(1110)은 블록(1120)에서 시작될 수 있다; 즉, 수집된 사용자 특정 데이터는 검출된 외부 자극에 대한 필요 없이 방법(1110)의 개시를 트리거할 수 있다.
[0165] 일부 실시예들에서, 외부 자극은 단순히 환경 데이터의 측정일 수 있다. 일부 다른 실시예들에서, 외부 자극은 디스플레이 시스템(2010)에 의해 사용자에게 투사된 이미지 콘텐츠일 수 있다. 예컨대, 외부 자극은 사용자들의 특정 응답들을 유발하도록 투사된 이미저리일 수 있다(예컨대, 가상 거미는 거미공포증을 가진 사용자의 공포를 자극하도록 투사될 수 있음). 이어서, 사용자 센서들은, 예상된 비자발적인 생리학적 응답(예컨대, 공포를 표시하는 동공 확장 또는 발한) 또는 행동 응답(예컨대, 공포를 표시하는 비명 또는 비명지름)인 것으로 또한 고려될 수 있는 자발적인 응답이 발생하는지를 검출하고 그리고/또는 예상된 응답으로부터 벗어나는 정도를 결정할 수 있다.
[0166] 도 11을 계속 참조하면, 본원에서 설명된 바와 같이, 디스플레이 시스템(2010)은 사용자의 생리학적/신경학적 변화들을 유발하는 데 사용될 수 있는, 사용자의 원근조절 및 이접운동의 개별 조작을 허용한다. 본원에서 논의된 바와 같이, 블록(1120)에서, 디스플레이 시스템(2010)은 적절한, 생리학적으로 올바른 원근조절/이접운동 매칭을 갖는 이미지들을 사용자에게 디스플레이하도록 구성될 수 있다. 일부 다른 실시예들에서, 블록(1120)에서 디스플레이 시스템(2010)은 미스매칭된 원근조절 및 이접운동 매칭을 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템(2010)은 특정 이미지 콘텐츠에 대한 깊이 평면을 스위칭하도록 구성될 수 있고, 이에 의해 적절한 원근조절/이접운동 매칭을 제공할 깊이 평면과 상이한 깊이 평면 상의 이미지 콘텐츠를 디스플레이한다. 따라서, 시스템은 더 많거나 더 적은 원근조절/이접운동 미스매칭을 설정하기 위해, 사용자에게 제공된 시각적 콘텐츠를 조작할 수 있다. 일부 실시예들에서, 원근조절-이접운동 미스매칭은 약 0.25 디옵터 또는 그 초과, 약 0.33 디옵터 또는 그 초과, 또는 약 0.5 디옵터 또는 그 초과일 수 있다. 블록(1130)에서, 적절한 또는 부적절한 원근조절/이접운동 미스매칭이 디스플레이 시스템에 의해 제공되는지에 상관없이, 디스플레이 시스템(2010)은 신경학적 응답들, 이를테면 전기 활동(예컨대, EEG에 의해 측정됨), 및/또는 생리학적 응답, 이를테면 혈압, 호흡수, 동공 확장/수축 등을 포함하는, 다양한 타입들의 사용자 데이터를 수집하도록 구성될 수 있다. 결과적으로, 사용자의 다양한 신경학적 및/또는 생리학적 파라미터들의 변화들은 부적절한 원근조절 및 이접운동 매칭을 가진 증강 현실 콘텐츠의 프리젠테이션으로 인해 블록(1140)에서 관찰될 수 있다.
[0167] 디스플레이 시스템(2010)은 다양한 방법들 중 임의의 것을 사용하여 적절한(매칭된) 또는 부적절한(미스매칭된) 원근조절/이접운동 매칭을 달성할 수 있다. 원근조절/이접운동 매칭은 예컨대 각각의 눈에 디스플레이되는 이미지들을 형성하기 위한 광의 파면 발산, 및 착용자의 눈들의 각각에 디스플레이되는 이미지들에서의 가상 객체의 위치에 의존할 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은 하나 또는 그 초과의 데이터베이스들, 룩업 테이블들 등에 기반하여 파면 발산 및 이미지 위치의 조합을 선택할 수 있다. 예컨대, 로컬 또는 원격 데이터베이스는 다양한 깊이 평면들 각각에 대해, 파면 발산의 특정 정의된 양들 및 적절한 원근조절/이접운동 매칭에 대응하는 하나 또는 그 초과의 이미지 디스플레이 위치들 및/또는 임의의 수의 덜 적절한 원근조절/이접운동 매칭들에 대응하는 하나 또는 그 초과의 이미지 디스플레이 위치들을 표시하는 정보를 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은 디스플레이에 의해 제공된 이미지들에서 가상 콘텐츠에 대한 하나 또는 그 초과의 적합한 위치들을 결정하여, 예컨대 다소 적절한 원근조절/이접운동 매칭을 제공하기 위해, 하나 또는 그 초과의 미리결정된 수학 관계들을 적용하도록 구성될 수 있다. 다양한 실시예들에서, 디스플레이 시스템(2010)은 가상 콘텐츠에 대한 미리결정된 원하는 깊이 평면에 기반하여 이미지들에서의 가상 콘텐츠의 위치 및/또는 출력된 광의 파면 발산을 결정하기 위해 데이터베이스 및/또는 수학 관계를 사용하도록 구성될 수 있다.
[0168] 유사하게, 디스플레이 시스템(2010)은 사용자의 전정 시스템의 개별 조작을 허용할 수 있다. 예컨대, 블록(1120)에서, 디스플레이 시스템(2010)은 적절한 전정 큐들, 이를테면 실세계 수평선과 일치하는 수평선을 가지는 이미지들을 사용자에게 디스플레이하도록 구성될 수 있다. 블록(1120)에서, 디스플레이 시스템(2010)은 부적절한 전정 큐들, 이를테면 기울어지거나 수직으로 시프트된 수평선, 또는 다른 일관성 없는 시각적 콘텐츠를 제공하도록 추가로 구성될 수 있다. 블록(1130)에서 적절한 또는 부적절한 전정 큐들이 디스플레이 시스템(2010)에 의해 제공되는지에 상관없이, 디스플레이 시스템(2010)은 신경학적 응답들, 이를테면 전기 활동 및/또는 생리학적 응답, 이를테면 혈압, 호흡수, 동공 확장/수축 등을 포함하는, 다양한 타입들의 사용자 데이터를 수집하도록 구성될 수 있다. 결과적으로, 사용자의 다양한 신경학적 및/또는 생리학적 파라미터들의 변화들은 부적절한 전정 큐들을 가진 증강 현실 콘텐츠의 프리젠테이션으로 인해 블록(1140)에서 관찰될 수 있다. 다양한 실시예들에서, 전정 큐들의 조작은 어지럼증, 현기증, 또는 전정 안구 시스템에 영향을 미치는 다른 컨디션들에 관련된 진단 및/또는 치료 애플리케이션들에 사용될 수 있다. 일부 실시예들에서, 고유감각 큐들 및/또는 시청각 큐들의 조작(예컨대, 시간적으로 또는 공간적으로 조작된 시청각 큐들)이 유사하게 사용될 수 있다.
[0169] 일부 실시예들에서, 디스플레이 시스템(2010)은, 증강 현실 콘텐츠가 다수의 깊이 평면들에 걸쳐 디스플레이되면서 사용자에게 적절한 원근조절 및 이접운동을 제공하는 오디오스트로브(audiostrobe) 기능을 제공하도록 구성될 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는 사용자가 간츠펠트(Ganzfeld) 효과를 경험하는 것을 가능하게 하도록 선택된다. 본원에서 논의된 바와 같이, 적절한 원근조절 및 이접운동 매칭을 제공하기 위한 능력은 디스플레이 시스템(2010)의 장기간 착용을 허용한다.
[0170] 이제 도 12에 대한 참조가 이루어질 것이고, 도 12는 본원에서 개시된 디스플레이 시스템들을 사용하여 진단 및/또는 처치를 위해 구성된 건강 시스템(600)을 개략적으로 예시한다. 바람직하게, 건강 시스템은 진단 및/또는 처치뿐 아니라, 종단 및 실시간 모니터링을 가능하게 할 수 있다. 일반적으로, 원격의료 시스템(600)은 데이터 수집 부분(610) 및 데이터 분석 부분(630)을 포함한다. 시스템(600)은 이력 분석, 행동 경향들, 건강 목적들, 진단, 치료 및/또는 처치 목적들 및/또는 다른 목적들을 위해 포괄적인 사용자 및 환경 팩터 데이터베이스를 구축하기 위해 사용될 수 있다.
[0171] 시스템(600)은 사용자(602)가 착용하도록 구성된 증강 현실(AR) 디바이스(608)를 포함할 수 있다. 바람직하게, AR 디바이스(608)는 디스플레이 디바이스(2010)(도 10)이고, 그리고 알고리즘들을 포함하는 다양한 컴퓨터 프로그램들은 로컬 프로세싱 및 데이터 모듈(140), 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160)(도 9d) 중 하나 또는 그 초과에 저장될 수 있다. AR 디바이스(608)의 알고리즘들 및 기술들(612)은 콘텐츠(614)를 사용자(602)에게 전달하도록 구성될 수 있다. 콘텐츠(614)는 시각적으로, 청각적으로, 또는 그렇지 않으면 본원의 다른 곳에서 설명된 바와 같이, 예컨대 도 11을 참조하여 설명된 외부 자극으로서 전달될 수 있다. AR 디바이스(608)의 알고리즘들 및 기술들(612)은 추가로 AR 디바이스(608)의 환경 센서들(616) 및/또는 몸체 센서들 및 알고리즘들(618)로부터 데이터를 수신할 수 있다. 환경 센서들(616)은 예컨대 도 11을 참조하여 설명된 바와 같이 외부 자극을 표시하기 위해, 사용자(602) 주위 환경(604)으로부터 환경 데이터를 검출할 수 있다. 환경 센서들(616) 및/또는 몸체 센서들 및 알고리즘들(618)은 각각 환경 센서들(34) 및 사용자 센서들(24, 28, 2030, 32)(도 10)에 대응할 수 있다. 몸체 센서들 및 알고리즘들(618)은 이를테면 도 11을 참조하여 설명된 바와 같이 사용자 특정 데이터를 모니터링하기 위해, 사용자(602)가 나타낸 생리학적 응답들(620) 및/또는 행동 응답들(622)의 입력을 수신할 수 있다. 생리학적 응답들(620) 및 행동 응답들(622)이 자발적이거나 또는 비자발적일 수 있다는 것이 인식될 것이다. 알고리즘들 및 기술들(612)은 추가로 진단 자료 및/또는 처치(606)의 입력을 수신할 수 있다. 예컨대, 진단 자료 및 처치(606)는 정보, 이를테면 미리결정된 진단 테스트들, 미리결정된 또는 미리규정된 의료 처치 계획들 또는 절차들, 또는 진단 및/또는 처치 목적들을 위해 AR 디바이스(608)의 알고리즘들 및 기술들(612)에 제공된 임의의 다른 명령들 또는 데이터를 포함할 수 있다.
[0172] 일부 실시예들에서, 환경 센서들(616), 및 몸체 센서들 및 알고리즘들(618)로부터의 데이터는 도 11의 블록(160)을 참조하여 설명된 바와 같이, 진단 또는 처치의 목적들을 위해 분석될 수 있다. 분석은 AR 디바이스(608)에서 로컬적으로 발생할 수 있거나, 또는 센서들(616 및 618)로부터의 데이터는 분석을 위해 원격 디바이스, 이를테면 서버 또는 다른 프로세싱 회로(예컨대, 도 9d의 원격 프로세싱 모듈(140), 또는 원격 데이터 저장소(160))로 송신될 수 있다. 송신은 예컨대 유선 또는 무선 통신 시스템들에 의해 달성될 수 있다. 환경 센서들(616), 및 몸체 센서들 및 알고리즘들(618)은, 데이터가 분석 및/또는 저장될 수 있는 데이터베이스(632)로 데이터를 송신할 수 있다. 데이터베이스(632)는 의료 레코드들(634)의 데이터베이스로부터 사용자(602)에 관한 부가적인 데이터에 액세스할 수 있다. 의료 레코드들(634)은 예컨대 사용자의 건강관리 제공자의 컴퓨팅 네트워크 또는 다른 곳에 저장될 수 있다. 의료 레코드들(634) 및 데이터베이스(632)는 일부 실시예들에서 원격 데이터 저장소(160)(도 9d)의 부분일 수 있다.
[0173] 다양한 실시예들에서, 데이터베이스(632)에 수신 및/또는 저장된 데이터는 디바이스(608)에서 로컬적으로 분석될 수 있거나, 또는 예컨대 클라우드(636) 또는 다른 데이터 공유 또는 송신 매체를 통해 외부 프로세싱 회로에 송신한 이후, 원격으로 분석될 수 있다. 송신된 데이터는 이를테면 로컬 의사(638), 원격 의사(641)(예컨대, 연구 의사 또는 전문가)에 의해 진단, 처치 또는 평가를 위해 분석될 수 있고, 그리고/또는 이를테면 인공 지능(642) 또는 다른 컴퓨터화된 진단 또는 처치 평가 모듈에 의한 이미지 또는 자료 분석을 통해 자동으로 분석될 수 있다. 클라우드(636)가 또한 원격 데이터 저장소(160)(도 9d)의 부분일 수 있다는 것이 인식될 것이다.
[0174] 데이터베이스(632)로부터의 데이터의 분석 이후, 진단 및/또는 처치 진행 판단(644)이 생성되고 사용자(602)에게 전달될 수 있다. 예컨대, 진단 또는 처치 진행 판단(644)은, 사용자(602)가 식별된 질병 또는 다른 의료 컨디션을 가진다는 결정, 사용자(602)가 특정 질병 또는 다른 의료 컨디션을 가지지 않는다는 결정, 의료 처치 프로세스가 개시되어야 한다는 결정, 의료 처치 프로세스가 이전 처치(606)에 대한 사용자(602)의 응답에 기반하여 수정되어야 한다는 결정, 의료 처치 프로세스가 종료되어야 한다는 결정, 또는 데이터베이스(632) 내의 데이터의 분석에 기반한 임의의 다른 결론을 포함할 수 있다. 일부 실시예들에서, 이들 다양한 결정들은, 각각 블록들(160 및 170)(도 11)에 관해 본원에서 논의된 바와 같이, 수집된 데이터를 상관시키고 그리고/또는 상관에 기반하여 액션들을 취하는 것에 관련될 수 있다. 일부 실시예들에서, 진단 및/또는 처치 진행 판단(644)은, 진단 및/또는 처치 진행 결정(644)에 적합한 응답, 이를테면 새로운 또는 수정된 처치의 구현을 가능하게 하기 위해, (예컨대, 디스플레이 시스템(2010)에 의해 디스플레이된 통지를 통해) 사용자(602), 및 의사 또는 사용자(602)의 다른 건강관리 제공자 중 임의의 하나 또는 조합에게 전달될 수 있다.
[0175] 도 6, 도 9d, 도 11 및 도 12를 참조하면, 본원에서 개시된 시스템들 및 방법들의 진단, 모니터링 및 치료 애플리케이션들의 추가 예들이 이제 설명될 것이다. 본원에서 개시된 바와 같이, 디스플레이 시스템은 다양한 자극들에 대한 사용자의 응답을 검출하기 위해 유리하게 적용될 수 있는 다양한 센서들을 포함할 수 있다. 예컨대, 행동 추적은 웨어러블 디스플레이 시스템, 이를테면 도 6, 도 9d, 도 10 및 도 12에 관련하여 설명된 시스템들로 구현될 수 있다. 도 9d를 참조하면, 증강 또는 가상 현실 디스플레이 시스템(20)에서 행동들을 검출 및/또는 추적하는 것은 디스플레이(70) 및/또는 스피커들(100)에서 사용자(90)에게 제시된 안내된 이미저리 및/또는 오디오에 대한 응답들, 또는 외향 지향 환경 센서들(34)(도 10)에 의해 검출된 바와 같은 실세계 자극들에 대한 응답들을 검출하는 것을 포함할 수 있다. 도 10을 참조하면, 시스템(2010)은 이를테면 눈 포지션, 움직임, 바라봄(gaze), 또는 동공 사이즈를 검출하기 위해, 눈 추적을 위한 내향 지향 카메라들(24)을 통해 사용자를 모니터링할 수 있다. 내향 지향 카메라들(24)은 추가로, 다른 안면 표시자들, 이를테면 눈꺼풀 포지션, 안면 근육 크런칭(crunching), 스퀸팅(squinting), 또는 다른 안면 포지션 또는 움직임을 모니터링하도록 구성될 수 있다. 하향 지향 카메라들(28)은 사용자(60)의 몸체 움직임들 및 가능하게는 카메라 아래의 안면 표정들을 모니터링하는 데 추가로 사용될 수 있다. 시스템(2010)은 하나 또는 그 초과의 마이크로폰들(67)을 사용하여 사용자로부터 가청가능한 응답들, 이를테면 스피치를 추가로 모니터링할 수 있다. 이들 및 다른 센서들은 다양한 진단, 모니터링, 및 아래의 치료 애플리케이션들을 수행하기 위해 구현될 수 있다. 본원에서 설명된 센서들 중 임의의 것으로부터 획득된 데이터는 추가로, 데이터가, 상이한 더 이전 시간들에서 수집된 저장된 데이터와 비교되는 이력 분석들을 통해 시간에 걸쳐 비교 또는 그렇지 않으면 분석될 수 있다. 본원에서 설명된 바와 같이, 내향, 하향, 및/또는 외향 지향 카메라들은 사용자(60)에 의해 그리고/또는 시스템(2010)에 의해 조정가능할 수 있다.
신경학적 분석들
[0176] 신경학적 분석들은 말초 신경계 및 뇌신경의 분석을 포함할 수 있다. 일반적으로, 신경학적 분석들은 사용자의 행동 및/또는 신경학적 응답들을 분석하는 데 사용될 수 있다. 체성 신경계(somatic nervous system)는 자발적인 몸체 움직임들을 제어하고, 체성 신경계에 관련된 분석들은 행동 응답들의 결정을 가능하게 할 수 있다. 자율 신경계는 비자발적인 응답들을 제어하고, 그리고 자율 신경계에 관련된 분석들은 행동 응답들의 결정을 가능하게 할 수 있고, CN(Cranial Nerves)은 PNS(peripheral nervous system)의 부분이며 뇌로부터 직접 나타난다. 각각 상이한 기능을 서빙하지만 몸체, 주로 목과 머리 구역들과, 뇌 사이에서 모두 정보를 중계하는 12개의 상이한 CN들이 존재한다. 하나 또는 그 초과의 뇌신경에 대한 결함들 또는 부상들은 아래에서 설명된 바와 같이, 다양한 자극들에 대한 비정상적 응답들로서 검출될 수 있다.
[0177] 일부 실시예들에서, 수집된 사용자 데이터는 뇌신경의 기능을 평가하고 그리고 사용자의 하나 또는 그 초과의 뇌신경들과 연관된 컨디션들을 검출하는 데 활용될 수 있다. 일 예에서, 건강 시스템(600)(도 12) 또는 디스플레이 시스템(2010)(도 10)은 삼차 신경, 또는 제5 뇌신경(CN V)의 기능을 평가하도록 구성될 수 있다. 제5 뇌신경을 따른 임펄스들의 송신은 통상적으로 안면 기능, 이를테면 안면 피부의 저작(mastication)(씹기) 및 감각뿐 아니라, 얼굴에 관련된 다른 운동(motor) 및 감각 기능들에 관련될 수 있다. 저작 또는 다른 안면 운동 기능들의 검출은 마이크로폰들, 예컨대 사용자의 입 및/또는 턱들을 이미징하는 하나 또는 그 초과의 하향 지향 카메라들, 및/또는 다른 센서들, 예컨대 관성 측정 유닛들, 가속도계들 등에 의해 달성될 수 있다.
[0178] 삼차 신경의 진단 테스팅은 블링크(blink) 응답, 눈꺼풀 자극, 눈꺼풀 평가, 및 눈의 물리적 자극의 평가를 포함할 수 있다. 예컨대, 각막 반사 테스트는 각각의 눈의 각막을 부드럽게 터치하여 생리학적 응답(620)(도 12), 이를테면 블링크를 유도함으로써 수행될 수 있다. 이어서, 사용자(602)의 두 눈들의 각막 반사들 사이의 임의의 비대칭은 디스플레이 시스템(2010)(도 10)의 내향 지향 카메라들(24)을 사용하여 관찰될 수 있고, 그리고 삼차 신경과 안면 신경(제7 뇌신경, 또는 CN VII) 사이의 뇌간에 병변을 표시할 수 있다. 삼차 신경 기능들의 모니터링은 이를테면 눈 건조도를 결정하기 위해 시간에 걸쳐 블링크 레이트를 검출하는 것을 포함할 수 있다.
[0179] 짧거나 또는 연장된 시간 기간에 걸쳐 삼차 신경과 연관된 생리학적 응답들(620)의 모니터링 및/또는 진단 테스팅에 기반하여, 시스템(600)은, 사용자가 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 가진다는 것을 결정할 수 있다. 결정은 로컬적으로 또는 원격으로 수행될 수 있고, 그리고 일부 양상들에서 데이터베이스 또는 의료 정보의 다른 저장소를 참조하거나, 질문하거나, 그렇지 않으면 상호작용하는 것을 포함할 수 있다. 예컨대, 위에서 주목된 바와 같이, 시스템(600)(도 12) 또는 시스템(2010)(도 10)은 사용자의 눈들의 각막 반사들 사이의 비대칭들을 CN V와 CN VII 사이의 뇌간 병변을 표시하는 것으로 해석하도록 구성될 수 있다. 다른 예로서, 시스템(600)(도 12) 또는 시스템(2010)(도 10)은, 무결성 1차 감각의 존재하에서의 멸종(extinction)이 우측 두정엽의 병변을 표시할 수 있다는 것을 결정하도록 구성될 수 있다. 일부 실시예들에서, 멸종은, 시스템들(600, 2010)(도 12, 도 10)이 자극에 대한 사용자 응답들을 별개로 관찰하는 것과 함께, 다른 자극과 조합한 동일한 자극에 대한 응답의 결여에 기반하여, 존재하는 것으로 결정될 수 있다. 다른 예에서, 시간 기간에 걸친 낮은 블링크 레이트에 의해 표시되는 쳐다보라는 주문(staring spells)은 신경계 장애들, 이를테면 간질, 및/또는 기억 장애들, 이를테면 루이체 치매(Lewy body dementia) 또는 진행성 핵상 마비(progressive supranuclear palsy)를 표시할 수 있다. 사용자가 자극들, 이를테면 객체들 또는 광들을 스피닝(spinning)하는 것을 쳐다보는 관찰은 발달 장애들, 이를테면 자폐 스펙트럼 장애들을 표시할 수 있다. 반복적인 눈 블링킹은 신경계 장애들, 이를테면 간질, 및/또는 운동 장애들, 이를테면 근육긴장이상 또는 투렛증후군(Tourette syndrome)을 표시할 수 있다. 반복되는 눈꺼풀 경련은 행동 장애들, 이를테면 스트레스 관련 컨디션들을 표시할 수 있다. 안검경련, 또는 비자발적인 눈꺼풀 감김은 운동 장애들, 이를테면 근육긴장이상을 표시할 수 있다. 씹기에서의 검출된 어려움들은 운동 장애들, 이를테면 근위측성 측삭경화증 및/또는 기억 장애들, 이를테면 전두측두엽 치매를 표시할 수 있다. 위의 분석들 중 임의의 것에 대해, 눈들 및 눈꺼풀들에 관한 데이터가 디스플레이 시스템(2010)(도 10)의 내향 지향 카메라들(24)을 사용하여 획득될 수 있고, 주변 환경에 관한 데이터는 외향 지향 환경 센서들(34)(도 10)을 사용하여 획득될 수 있다는 것이 인식될 것이다.
[0180] 다른 예에서, 시스템들(600, 2010)(도 12, 도 10)은 설인 신경, 또는 제9 뇌신경(CN IX)의 기능을 평가하도록 구성될 수 있다. 설인 신경을 따른 임펄스들의 송신은 통상적으로 감각 및 운동 기능들, 이를테면 구강 감각, 맛 및 타액 생성에 관련된다. 설인 신경의 진단 테스팅은 삼킴 기능, 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레잉, 안내된 오디오 및/또는 이미저리를 제공, 머리 포즈 검출, 눈의 이미징 및/또는 눈의 물리적 자극을 포함하는 평가들을 포함할 수 있다. 예컨대, 시스템은 삼킴 및 확장된 동공들의 동시 발생을 삼킴과 연관된 고통의 표시로서 검출할 수 있다. 삼킴과 연관된 고통에 관련된 보조 치료 기능은 사용자가 삼키는 것을 용이하게 하도록 음식물 부분 및/또는 물린 사이즈들을 증가시키는 것을 도울 수 있다(예컨대, 디스플레이 시스템은 음식 및/또는 사이즈들이 실제보다 더 크게 보이도록 구성될 수 있어서, 사용자는 더 작은 부분들 및/또는 사이즈들을 취함). 스피치는, 이를테면 스피치가 가청가능하지 않을 때를 검출하기 위해 추가로 모니터링될 수 있다. 사용자가 가청가능하게 말할 수 없으면, 시스템들(600, 2010)(도 12, 도 10)은, 이를테면 사용자가 시선-활성화 키보드 같은 상호작용 콘텐츠를 가진 단어들을 선택하도록 하고, 그리고 선택된 단어들을 가청가능하게 출력함으로써 보조 치료 기능을 제공할 수 있다. 일부 실시예들에서, 시스템은, 스피치 또는 쓰기 장애들을 가진 사람들을 위해 스피치 또는 쓰기를 보충하거나 대체하기 위해, AAC(augmentative and assistive communication) 디바이스로서 기능할 수 있다. 예컨대, 시스템은 ALS 및/또는 마비를 가진 사용자들을 위해 스피치를 보충 또는 대체하도록 구성될 수 있다. 유리하게, 시스템은 사용자가 다수의 방식들로 입력들을 제공하는 것을 허용하는 다수의 상호작용 엘리먼트들을 포함하고, 이에 의해 시스템이 사용자의 증상 변화 또는 질병이 진행할 때에도 스피치를 보충하거나 대체하게 기능하는 것을 허용한다. 예컨대, ALS를 가진 사용자들의 경우, ALS가 진행되고 근육 움직임들이 약화됨에 따라, 디스플레이 시스템과의 상이한 상호작용들은 시스템이 사고들을 액션들 및 단어들로 전환하는 것을 허용하는 입력들을 제공하는 데 활용될 수 있다. 사용자의 이동성이 감소함에 따라, 사용자는 시스템에 입력들을 제공하기 위해 제스처들을 사용하는 것(예컨대, 가상 메뉴 아이템들을 선택하는 것, 가상 키보드를 타이핑하는 것 등)을, 시스템에 입력들을 제공하기 위해 사용자의 음성을 사용하는 것, 토템들을 사용하는 것, 머리 포즈를 사용하는 것, 눈 움직임들을 사용하는 것으로 전환할 수 있다. 입력들이, 예컨대 키보드 상의 문자들을 선정하는 것, 휠체어의 움직임을 지시하는 것 등을 포함하는, 다양한 목적들에 활용될 수 있다는 것이 인식될 것이다.
[0181] 시스템들(600, 2010)(도 12, 도 10)은 추가로 사용자에게 스피치 테라피를 제공할 수 있으며, 미러의 사용자의 반사에는 확대된 구강 움직임들이 오버레이된다. 일부 양상들에서, 맛은 혀 뒤의 1/3에 단맛과 같은 자극을 제공함으로써 평가될 수 있다. 인두의 촉각 감각은 물리적 자극 및/또는 사레 관련 문제들에 관한 조사에 기반하여 평가될 수 있다.
[0182] 짧거나 또는 연장된 시간 기간에 걸쳐 설인 신경과 연관된 생리학적 응답들(620)의 모니터링 및/또는 진단 테스팅에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 시스템들(600, 2010)(도 12, 도 10)은 정상적인 구토 반사와 상관되는, 검출된 연하 곤란 또는 삼킴 어려움이 설인 신경의 운동 부분의 병변을 표시할 수 있다는 것을 결정하도록 구성될 수 있다. 다른 예에서, 구음장애, 또는 말하기 어려움과 상관된 검출된 연하 곤란은 설인 및/또는 미주 신경들의 핵에 대한 상해를 표시하는 것으로 결정될 수 있다. 검출된 연하 곤란의 사인들은 신경계 장애들, 이를테면 급성 파종성 뇌염, 간질, 및/또는 갈랭-바레 증후군; 운동 장애들, 이를테면 뇌성 마비, 헌팅톤 병, 운동 뉴런 질환, 근위축성 축삭경화증, 진행성 연수마비, 가성구마비, 타입 I 척수성 근위축, 및/또는 케네디 질병(Kennedy's disease); 기억 장애들, 이를테면 전두측두엽 치매 및/또는 진행성 핵상 마비; 및/또는 상해들, 이를테면 뇌졸증에 의해 유발되는 것으로 결정될 수 있다. 검출된 구음 장애의 사인들은 신경계 질병들, 이를테면 다수의 경화증 및/또는 실더병; 및/또는 운동 장애들, 이를테면 운동실조, 뇌성 마비, 헌팅톤 병, 운동 신경 질병, 근위축성 축삭 경화증, 일차성 측삭 경화증, 진행성 연수 마비, 가성구마비, 및/또는 케네디 질병을 표시하는 것으로 결정될 수 있다.
[0183] 또 다른 예에서, 시스템들(600, 2010)(도 12, 도 10)은 미주 신경, 또는 제10 뇌신경(CN X)의 기능을 평가하도록 구성될 수 있다. 미주 신경을 따른 임펄스들의 송신은 통상적으로 심장 및 소화관의 부교감 신경 제어와 같은 기능들에 관련된다. 게다가, 미주 신경은 대체로 심장, 허파들, 및 소화관을 제어하고, 그리고 또한 물리 및 감정 효과들을 제어할 수 있다. 미주 신경의 진단 테스팅은 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레잉, 안내된 오디오 및/또는 이미저리를 제공, 눈 포지션 및/또는 움직임 추적을 검출 및/또는 의사 착용 디스플레이 디바이스들을 활용하는 것을 포함할 수 있다. 예컨대, 시스템은 이를테면 스피치가 가청가능하지 않을 때를 검출하기 위해 스피치를 모니터링할 수 있다. 사용자가 가청가능하게 말할 수 없으면, 시스템들(600, 2010)(도 12, 도 10)은, 이를테면 사용자가 시선-활성화 키보드 같은 상호작용 콘텐츠를 가진 단어들을 선택하도록 하고, 그리고 선택된 단어들을 가청가능하게 출력함으로써 보조 치료 기능을 제공할 수 있다. 위에서 주목된 바와 같이, 시스템은, 스피치 또는 쓰기 장애들을 가진 사람들을 위해 스피치 또는 쓰기를 보충하거나 대체하기 위해, AAC(augmentative and assistive communication) 디바이스로서 기능하도록 구성될 수 있다. 다른 진단 예에서, 시스템은 환자의 구개(palate) 고도 및/또는 구토 반사의 대칭을 검출하기 위해 구개 평가를 사용할 수 있다. 이를테면, 사용자가 구음 장애 또는 다른 비정상적 스피치 컨디션을 검출하기 위해 단어들 또는 다른 사운드들을 반복하도록 요구함으로써, 발음이 또한 모니터링될 수 있다.
[0184] 짧거나 또는 연장된 시간 기간에 걸쳐 미주 신경과 연관된 생리학적 응답들(620)의 모니터링 및/또는 진단 테스팅에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 시스템들(600, 2010)(도 12, 도 10)은 쇳소리, 연하 곤란, 음주와 연관된 질식 및/또는 앱슨트(absent) 구토 반사가 미주 신경의 후두 부분의 병변을 표시할 수 있다는 것을 결정하도록 구성될 수 있다. 다른 예에서, 구개 마비 및/또는 후두 마비, 비정상적 식도 운동, 위산 분비, 담즙 배출, 비정상적 심박수, 및/또는 다른 자율 신경 기능장애는 다른 미주 신경 병변들의 존재를 표시할 수 있다. 검출된 약한 구개 움직임 및/또는 감소된 구토 반사들의 사인들은 운동 장애들, 이를테면 진행성 연수마비를 표시하는 것으로 결정될 수 있다. 검출된 증가된 구토 반사들의 사인들은 운동 장애들, 이를테면 가성구마비로 결정되는 것으로 표시할 수 있다. 잠금 증후군의 사인들은 미주 신경 및 신경 전도로의 핵들에 대한 상해를 표시할 수 있다. 검출된 손상된 음성의 사인들은 운동 장애들, 이를테면 경련성 발성장애, 후두 근육긴장이상, 운동 뉴런 질병, 및/또는 가성구마비를 표시하는 것으로 결정될 수 있다. 음성 틱들은 운동 장애들, 이를테면 투렛 증후군을 표시하는 것으로 결정될 수 있다. 검출된 호흡 곤란은 운동 장애들, 이를테면 운동 뉴런 질병, 근위축성 측상경화증, 타입 I 또는 II 척수성 근위축, 및/또는 관절만곡증을 가진 선천적 척수성 근위축; 및/또는 행동 장애들, 이를테면 식욕부진 또는 다른 식이장애들을 표시하는 것으로 결정될 수 있다. 검출된 불분명 발음의 사인들은 운동 장애들, 이를테면 입턱근육긴장이상, 근위축성 측삭경화증, 및/또는 1차 측삭 경화증; 기억 장애들, 이를테면 진행성 핵상 마비; 행동 장애들, 이를테면 중독(예컨대, 중독 또는 알코올 중독); 및/또는 상해들, 이를테면 뇌졸증, 뇌 동맥류, 및/또는 외상성 뇌손상을 표시할 수 있다. 검출된 머퍼드(muffled) 스피치의 사인들은 운동 장애들, 이를테면 파킨슨 병을 표시하는 것으로 결정될 수 있다. 검출된 자율 신경계 오기능(예컨대, 서 있을 때 혈압 강하, 어지럼증, 낙상, 요실금, 펄스, 발한, 장 제어 문제들)의 사인들은 기억 장애들, 이를테면 루이체 치매를 표시하는 것으로 결정될 수 있다.
정신 상태 및 장애들
[0185] 시스템들(600, 2010)(도 12, 도 10)에 의해 수집된 사용자 데이터는 정신 상태 테스팅을 수행하기 위해 사용될 수 있다. 일부 양상들에서, 정신 상태 테스팅은 시스템들(600, 2010)(도 12, 도 10)이 사용자의 인지 기능과 행동 기능 사이를 구별하는 것을 허용할 수 있다. 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 망상들 및/또는 환각들을 검출하도록 구성될 수 있다. 망상들 및/또는 환각들을 검출하기 위한 진단 테스팅은 본원에서 설명된 다양한 기능들, 이를테면 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레잉, 안내된 오디오 및/또는 이미저리를 제공, 및 사용자 응답들, 이를테면 마이크로폰에서 검출된 말해진 또는 다른 가청가능한 응답들, 및/또는 눈 추적에 기반하여 검출된 응답들의 검출을 포함할 수 있다. 예컨대, 시스템들(600, 2010)(도 12, 도 10) AR 디바이스(608)는 정신 의학 진단 질문들을 사용자에게 제시하는 것, 질문들에 대한 사용자의 응답을 검출하는 것 및 환경 센서들(34)(도 10)에 의해 검출된 주변 환경에 관한 데이터와 이들 응답들을 비교하는 것에 기반하여 망상 사고 프로세스들, 청각적 환각들, 또는 시각적 환각들의 존재를 검출하도록 구성될 수 있다. 일부 실시예들에서, 디바이스(608)는 진단 자극들, 이를테면 질문들 등을 제시하지 않고 자극들에 대한 사용자의 응답을 검출함으로써, 본원에 개시된 바와 같이 수동적 모니터링을 구현하도록 구성될 수 있다. 디바이스(608)는, 사용자가 관심 자극을 만나기를 기다리고, 그리고 그런 자극이 검출될 때마다 사용자의 응답을 검출하기 위해 환경을 모니터링할 수 있다. 예컨대, 증강 현실 또는 오디오 콘텐츠를 통해 사용자에게 질문 또는 명령을 제시하기보다, 디바이스(608)은 질문 또는 명령과 유사한 응답을 생성하는 것으로 예상될 세계의 컨디션(예컨대, 객체, 노이즈, 사인, 사회적 상호작용 등)을 검출할 수 있다. 디바이스(608)는 사용자의 몸체로부터 획득된 데이터와 관찰된 환경으로부터의 데이터의 상관에서 패턴들의 존재를 검출하도록 구성될 수 있다. 경향들을 식별하기 위한, 데이터의 그런 상관은 다양한 방법들, 이를테면 도 11의 블록들(120-160)을 참조하여 설명된 방법(110)에 의해 달성될 수 있다.
[0186] 검출된 행동 응답들(622)(도 12)에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 사용자가 환각들로부터 고통을 받는다는 결정은, 사용자가 운동 장애, 이를테면 파키슨 병, 기억 장애, 이를테면 크로이츠펠트-야곱 병, 루이체 치매, 및/또는 후두피질 위축증; 및/또는 발달 장애, 이를테면 조현병을 가지는 것을 표시하는 것으로 해석될 수 있다. 사용자가 망상들로부터 고통을 받는다는 결정은, 사용자가 운동 장애, 이를테면 파키슨 병; 기억 장애, 이를테면 루이체 치매; 및/또는 발달 장애, 이를테면 조현병을 가지는 것을 표시하는 것으로 해석될 수 있다.
[0187] 유리하게, 시스템들(600, 2010)(도 12, 도 10)이, 사용자가 조현병으로 고통을 받는다는 것을 결정하거나 이 정보를 제공받으면, 시스템들(600, 2010)(도 12, 도 10)은 조현병의 효과들을 처치 또는 완화하기 위한 사용자 치료 애플리케이션들을 제공하도록 구성될 수 있다. 그런 처치들은, 환각된 음성들, 사람들 등으로부터 인식되는 위협 또는 위험을 감소시키기 위해, 디스플레이 시스템이 증강 현실 콘텐츠로서 아바타를 사용자에게 제시할 수 있는 아바타 테라피를 포함할 수 있다. 일부 조현병 사용자들이 특정 음성 및/또는 사람의 환각들을 가질 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 시스템들(600, 2010)은, 사용자가 인식하는 환각의 외관 및/또는 음성을 가진 증강 현실 콘텐츠 형태의 아바타를 사용자가 선택하는 것을 허용하도록 구성될 수 있다. 시스템들(600, 2010)은 또한 아바타를 사용자에게 디스플레이하고 그리고 사용자가 아바타와 상호작용하는 것을 허용하도록 구성될 수 있다. 아바타의 액션들 및/또는 단어들은 임상의, 또는 프로그램에 의해 제어될 수 있고, 그리고 환각과 연관된 공포 또는 불안을 감소시키고 환각 음성 또는 사람을 사용자가 대처하는 것을 조장하도록 고안될 수 있다. 이론에 의해 제한되지 않고, 아바타에 대한 반복된 노출이, 사용자가 환각 음성 또는 사람에 대처하는 데 그들의 신뢰를 증가시키는 것을 허용할 수 있다는 것이 믿어진다. 일부 실시예들에서, 시스템들(600, 2010)은 예컨대, 사용자의 스피치를 레코딩하기 위해 마이크로폰을 활용함으로써 그리고 또한 아바타 형태로 시스템에 의해 제공된 시각적 및 청각적 콘텐츠를 레코딩함으로써 상호작용을 레코딩하도록 구성될 수 있다. 이들 레코딩들은 이후 사용자, 임상의 등을 위해 플레이될 수 있다.
[0188] 다른 예에서, 시스템들(600, 2010)(도 12, 도 10)은 무드 및/또는 행동 관련 컨디션들, 이를테면 우울증, 불안감 및/또는 조증을 평가하도록 구성될 수 있다. 주우울증을 검출하기 위한 진단 테스팅은 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레이하는 것, 안내된 이미저리 및/또는 오디오를 제공하는 것, 눈 추적을 수행하는 것, 사용자의 반사들에서 이미징하는 것, 및 가청가능 응답들을 검출하기 위해 마이크로폰을 활용하는 것을 포함할 수 있다. 예컨대, 시스템들(600, 2010)(도 12, 도 10)은 사용자의 음성 톤, 안면 표정들 및/또는 몸체 자세에 기반하여 사용자의 무드를 결정하도록 구성될 수 있다. 우울증은 사용자의 확장된 모니터링 및 사용자가 눈 바라봄의 결여, 개인 위생 불량, 및/또는 낮은 활동 레벨을 나타내는지를 검출하는 것에 기반하여 검출될 수 있다. 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)이, 사용자가 주우울증으로 고통을 받는다는 것을 결정하거나 이 정보를 제공받으면, 시스템들(600, 2010)(도 12, 도 10)은 주우울증을 처치하기 위한 사용자 치료 애플리케이션들을 제공하도록 구성될 수 있다. 그런 처치들은, AR 디바이스(608)가 사용자의 관심을 자극하는 안내된 콘텐츠를 디스플레이하는 것 또는 사용자에게 즐거운 것으로 알려진 메모리와 연관된 이미지들 또는 오디오를 사용자에게 제시하는 것을 포함할 수 있다. 시스템들(600, 2010)(도 12, 도 10)은 또한 긍정적/행복한 감정들을 나타내는 다른 사람들을 식별 및/또는 하이라이팅할 수 있어서, 사용자는 사용자의 무드를 개선하기 위해 다른 사람들과 어울릴 수 있다. 시스템들(600, 2010)은, 알려졌거나 또는 사용자 행복을 가져올 개연성이 있는 다른 객체들을 묘사하는 가상 콘텐츠를 식별 또는 제공할 수 있다. 일부 양상들에서, 주우울증은 우울한 무드의 표시, 먹기 또는 잠자기 패턴들의 변화들, 에너지의 손실, 자주성 결여, 자부심 저하, 집중력 저하, 이전의 즐거운 활동들의 즐거움 결여, 및/또는 자기 파괴적 사고들 또는 행동에 대한 검출에 의해 표시될 수 있다. 이들 표시 중 일부는 시스템들(600, 2010)(도 12, 도 10)에 의해 직접 검출될 수 있고 그리고 일부는 사용자 및/또는 제3자, 이를테면 사용자와 상호작용하는 임상의에 의해 시스템들(600, 2010)(도 12, 도 10)에게 리포팅될 수 있다는 것이 인식될 것이다. 이들 모두는 블록(622)의 검출된 행동 응답들의 부분일 수 있다.
[0189] 검출된 행동 응답들(622)에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 검출된 우울증의 사인들은 운동 장애들, 이를테면 파키슨 병, 기억 장애들, 이를테면 크로이즈펠트-야곱 병, 루이체 치매, 전두측두엽 치매, 및/또는 혈관성 치매; 행동 장애들, 이를테면 외상 후 스트레스 장애; 발달 장애들, 이를테면 양극성정동장애 또는 다운증후군; 및/또는 상해들, 이를테면 뇌종양 및/또는 외상성 뇌손상을 표시하는 것으로 결정될 수 있다. 검출된 무감각증의 사인들은 기억 장애들, 이를테면 크로이츠펠트-야곱 병 및/또는 전두측두엽 치매; 학습 장애들, 이를테면 비언어적 학습 무능력들; 행동 장애들, 이를테면 우울증; 발달 장애들, 이를테면 양극성정동장애, 다운증후군, 및/또는 조현병; 및/또는 상해들, 이를테면 뇌수종을 표시하는 것으로 결정될 수 있다. 검출된 피로의 사인들은 신경계 질병들, 이를테면 다발성 경화증, 시속척수염, 및/또는 횡단성 척수염; 운동 장애들, 이를테면 운동 뉴런 질환, 근위축성 측삭경화증, 및/또는 케네디 병; 행동 장애들, 이를테면 우울증 또는 스트레스; 및/또는 상해들, 이를테면 뇌종양 및/또는 외상성 뇌손상을 표시하는 것으로 결정될 수 있다.
[0190] 불안 장애들을 검출하기 위한 진단 테스팅은 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레이하는 것, 안내된 이미저리 및/또는 오디오를 제공하는 것, 눈 추적을 수행하는 것, 및/또는 반사를 통해 사용자를 이미징하는 것을 포함할 수 있다. 예컨대, 걱정스러운 사고들을 가진 사용자의 집착은 눈 바라봄의 결여, 몸떨림, 상승된 심박수, 확장된 동공들 및/또는 회피 행동들에 기반하여 시스템들(600, 2010)(도 12, 도 10)에 의해 검출될 수 있다. 이들 행동들뿐 아니라, 임의의 상관 트리거들(예컨대, 불안을 유발할 공산이 있는 상황들, 사람들 또는 객체들)이 시간에 걸쳐 추적될 수 있고, 이들 행동들의 패턴들은 사용자 측의 걱정스러운 사고들을 표시하는 것으로 결정될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 불안 장애들에 관련된 치료 애플리케이션들은, AR 디바이스(608)가 불안 또는 공황을 감소시키고 그리고 사용자가 경험하는 의심 또는 혐오들을 감소시키기 위해 사용자에게 편안한 것으로 알려진 증강 현실 콘텐츠를 제공하는 것을 포함할 수 있다. 일부 양상들에서, 치료 콘텐츠는 백색 노이즈, 블러링, 또는 시각적 입력의 일부를 컬러링 아웃하는 것, 또는 그렇지 않으면 사용자의 감각 입력 및 자극을 줄이기 위해 콘텐츠를 증가시키는 것을 포함할 수 있다.
[0191] 사용자의 검출된 행동 응답들(622)에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답, 예컨대 불안 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 일반 불안은 운동 장애들, 이를테면 파키슨 병; 기억 장애들, 이를테면 크로이츠펠트-야곱 병; 발달 장애들, 이를테면 다운증후군; 상해들, 이를테면 외상성 뇌손상; 및/또는 행동 장애들, 이를테면 식이 장애들, 식욕 부진, 폭식증, 강박 장애, 및/또는 외상후 스트레스 장애를 표시하는 것으로 결정될 수 있다. 검출된 편집증의 사인들은 기억 장애들, 이를테면 크로이츠펠트-야곱 병; 및/또는 행동 장애들, 이를테면 강박 장애를 표시하는 것으로 결정될 수 있다. 검출된 앙박(obsessive and/or compulsive) 행동의 사인들은 기억 장애들, 이를테면 크로이츠펠트-야곱 병 및/또는 전두측두엽 치매; 및/또는 행동 장애들, 이를테면 식이장애들, 식욕부진, 폭식증, 및/또는 강박 장애를 표시하는 것으로 결정될 수 있다. 검출된 반복 행동 패턴들은 기억 장애들, 이를테면 전두측두엽 치매; 행동 장애들, 이를테면 강박 장애; 및/또는 발달 장애, 이를테면 자폐 스펙트럼 장애들을 표시할 수 있다.
[0192] 일부 실시예들에서, 조증과 연관된 장애들을 검출하기 위한 진단 테스팅은 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레이하는 것, 안내된 이미저리 및/또는 오디오를 제공하는 것, 눈 추적을 수행하는 것, 및/또는 사용자의 반사들을 활용하는 것을 포함할 수 있다. 예컨대, 조증은, 사용자가 비정상적으로 활동하고 그리고/또는 인지적으로 혼란하다는 표시들에 기반하여 검출될 수 있다. 일부 실시예들에서, 조증 장애들에 관련된 치료 애플리케이션들은 조증 행동의 기간들 동안 사용자를 진정시키기 위해 사용자에게 편안한 것으로 알려진 증강 현실 콘텐츠를 제공하도록 디스플레이 시스템을 활용하는 것을 포함할 수 있다.
[0193] 검출된 행동 응답들, 이를테면 조증 응답들에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 조증 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 검출된 극단적 반응들의 사인들은 시스템들(600, 2010)에 의해 인격장애들, 이를테면 경계성 인격장애를 표시하는 것으로 해석될 수 있다. 검출된 감정 동요(예컨대, 부적절한 비자발적 웃음 및/또는 울기)의 사인들은 운동 장애들, 이를테면 진행성 연수마비 또는 가성구마비; 기억 장애들, 이를테면 진행성 핵상마비; 및/또는 상해들, 이를테면 외상성 뇌손상을 표시하는 것으로 해석될 수 있다. 검출된 정신병의 사인들은 기억 장애들, 이를테면 크로이츠펠트-야곱 병 및/또는 발달 장애들, 이를테면 조현병을 표시할 수 있다. 검출된 무드 기복들의 사인들은 기억 장애들, 이를테면 크로이츠펠트-야곱 병; 상해들, 이를테면 편두통들; 및/또는 발달 장애들, 이를테면 주의력 결핍 과잉 행동 장애 또는 양극성정동장애를 표시할 수 있다. 검출된 충동적인 행동은 기억 장애들, 이를테면 진행성 핵상마비; 행동 장애들, 이를테면 경계성 인격장애; 상해들, 이를테면 외상성 뇌손상; 및/또는 발달 장애들, 이를테면 주의력 결핍 과잉 행동 장애, 양극성 정동장애 및/또는 태아 알코올 스펙트럼 장애들을 표시할 수 있다. 검출된 과잉행동은 발달 장애들, 이를테면 주의력 결핍 과잉 행동 장애를 표시할 수 있다.
[0194] 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 사용자의 사회적 상호작용들에 기반하여 진단 테스팅을 수행하도록 구성될 수 있다. 사용자의 사회적 상호작용들과 연관된 진단 및 치료 기능들은 증강 현실 및/또는 가상 현실 콘텐츠, 안내된 이미저리 및/또는 오디오, 눈 추적, 시간, 안면 인식 센서들 및 알고리즘들, 몸짓 언어 검출 및/또는 하나 또는 그 초과의 마이크로폰들을 활용할 수 있다. 일부 양상들에서, 다른 사용자들(예컨대, 주 사용자 부근 및/또는 그와 상호작용하는 사용자들)이 착용한 시스템들(600, 2010)로부터 수집된 데이터는 사용자의 사회적 상호작용들(예컨대, 주 사용자의 진술 또는 액션에 대한 응답으로 공포, 놀라움, 분노 또는 혼란을 표시하는 2차 사용자의 사용자 특정 데이터)의 추적 및/또는 분석을 개선하기 위해 상관될 수 있다. 디스플레이 시스템들은 인간 해부학, 생리학, 시간-위치 상관 또는 개인 공유 정보의 관찰 및/또는 지식에 기반하여 다른 시스템들의 사용자들의 정신 컨디션들을 결정하도록 추가로 구성될 수 있다.
[0195] 일 예에서, 검출된 다른 사람들과의 눈 맞춤의 결여는 시스템에 의해, 기억 장애들, 이를테면 진행성 핵상마비; 행동 장애들, 이를테면 품행장애 또는 사회 불안 장애; 및/또는 발달 장애들, 이를테면 자폐 스펙트럼 장애들 또는 양극성정동장애를 표시하는 것으로 해석될 수 있다. 눈 맞춤 결여와 연관된 컨디션들에 대한 치료 콘텐츠는 시각적 각성을 자극하고 눈 맞춤을 개선하기 위한 비전 테라피 활동들(예컨대, 증가하는 눈 맞춤 지속기간에 기반한 게임들)을 (도 10의 시스템(2010)을 통해) 디스플레이하는 것을 포함할 수 있다. 다른 예에서, 과도한 직접 눈 바라봄이 검출될 수 있고, 그리고 행동 장애들, 이를테면 분노 장애들, 불안 및/또는 공포증들을 표시하는 것으로 해석될 수 있다. 순간 주변 흘낏 봄은 또한 시스템에 의해 검출될 수 있고, 그리고 발달 장애들, 이를테면 자폐 스펙트럼 장애들을 표시하는 것으로 해석될 수 있다.
[0196] 추가 예에서, 시스템들(600, 2010)(도 12, 도 10)은 비언어적 큐들, 이를테면 몸짓 언어, 안면 표정들, 개인 공간 이해, 또는 다른 비언어적 표시들을 해석하는 어려움의 사인들을 검출할 수 있다. 그런 어려움은 학습 장애들, 이를테면 비언어적 학습 무능력들; 및/또는 발달 장애들, 이를테면 자폐 스펙트럼 장애들을 표시할 수 있다. 상호작용 사회적 스킬들의 결여와 연관된 컨디션들에 대한 치료 콘텐츠는, 사회적 상황들에서 응답들 및 감정 상태들을 식별하고, 산만함을 제거하기 위해 대화에서 중요한 포인트들을 식별하고, 그리고/또는 (예컨대, 수용가능한 개인 공간을 표시하기 위해 다수의 깊이 평면들에 걸쳐 디스플레이된 증강 현실 콘텐츠를 사용하여) 사회적으로 수용가능한 액션들을 보여주는 콘텐츠를 디스플레이하기 위해 디스플레이 시스템을 활용하는 것을 포함할 수 있다. 사회적 상호작용들이 가지는 어려움 외에, 시스템들(600, 2010)(도 12, 도 10)은 또한 행동 장애들, 이를테면 불안, 우울증, 외상 후 스트레스 장애, 또는 사회적 불안, 및/또는 발달 장애들, 이를테면 자폐 스펙트럼 장애들 또는 태아 알코올 스펙트럼 장애들을 표시할 수 있는 사회적 상호작용 또는 소통의 결여를 검출하도록 구성될 수 있다. 시스템들(600, 2010)(도 12, 도 10)은 행동 장애들, 이를테면 불안, 외상 후 스트레스 장애 또는 사회적 불안을 표시할 수 있는 회피 증상들을 검출하도록 구성될 수 있다. 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 행동 장애들, 이를테면 외상 후 스트레스 장애를 표시하는 것으로 해석될 수 있는 과각성의 사인들을 검출하도록 추가로 구성될 수 있다. 과각성과 연관된 컨디션들에 대한 치료 콘텐츠는 트리거링 상황들 또는 사람들을 식별하는 것 및 사용자의 공포들을 서서히 줄이기 위해 노출 테라피를 제공하는 것을 포함할 수 있다.
[0197] 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 강박 장애들을 검출 및 가능하면 처치하도록 구성될 수 있다. 시스템들(600, 2010)(도 12, 도 10)은, 사용자가 반복적인 액션들, 이를테면 객체들을 청소 및/또는 터칭하는 것을 수행하고; 소정의 행동들에 대한 혐오감 또는 강박을 가지며; 그리고/또는 공통 물질들 및/또는 객체들의 회피, 또는 강박을 나타내는 것을 검출하도록 구성될 수 있다. 그런 행동들은 강박 장애들을 표시하기 위해 시스템들(600, 2010)(도 12, 도 10)에 의해 결정될 수 있다.
[0198] 즉각 기억에서 검출된 강박 경향들(예컨대, 반복적인 액션들)은 병적인 강박을 표시하기 위해 결정될 수 있다. 예컨대, 사용자가 짧은 시간, 이를테면 1 분, 2 분, 5분 또는 유사한 시간 기간 내에 그리고/또는 그렇게 할 명백한 이유 없이(예컨대, 그런 행동을 유발하는 것과 일반적으로 연관된 특정 자극들을 관찰하는 것 없이) 특정 행동(예컨대, 특정 표면 또는 객체를 터칭, 동일한 조명 스위치를 턴 온 또는 턴 오프, 사람의 피부를 잡아당김, 머리카락 뽑기, 미러에서 사람의 외관을 체킹 등)을 반복하는 것으로 발견되는 경우, 강박 장애가 표시될 수 있다. 강박 장애는 또한, 시스템들(600, 2010)(도 12, 도 10)이, 사용자가 착용한 디스플레이 시스템(2010)(도 10)의 뷰 내에서 객체들에게 정신을 빼앗겨 많은 시간을 소비하는 것(예컨대, 아이템들을 배열, 순서화, 수집 및/또는 비축)을 관찰하면 표시될 수 있다. 다른 양상들에서, 강박 경향들, 이를테면 사용자의 몸체 또는 외관에 집중하는 행동들 및/또는 강박들을 체킹하는 것은 신체변형장애를 표시하는 것으로 결정될 수 있다. 강박 경향들, 이를테면 스트레스를 완화하기 위해 체모를 뽑거나 피부를 잡아당기는 것으로부터 긍정적인 느낌을 얻는 것은 BFRB(body focused repetitive behavior)들, 이를테면 발모광(trichotillomania)(머리카락 뽑기 장애 및 피부 당기기) 또는 데칼로마니아(dermotillomania)(피부 뜯기증)을 표시하는 것으로 결정될 수 있다.
[0199] 이들 강박 행동들 중 일부가 장기적인 시간 기간(예컨대, 수 날들, 몇주들, 몇개월들, 또는 몇년들)에 걸쳐 관찰될 수 있고 제3자들 또는 심지어 사용자에게도 명백하지 않을 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 유사한 행동들의 반복 및 이들 행동들이 수행되는 맥락을 포함하는 패턴들을 포함하여, 사용자 행동들을 카탈로그화하고 행동의 패턴들을 결정하도록 구성될 수 있다. 유리하게, 디스플레이 시스템(2010)의 적절한 이접운동-원근조절 매칭에 의해 제공된 장기간 착용 편안함은 사용자가 디스플레이 디바이스를 정규적으로 그리고 한 번에 오랜 지속기간들 동안 착용할 수 있는 능력으로 인해 이들 패턴 결정들을 가능하게 한다.
[0200] 일부 실시예들에서, 사용자의 강박적인 배열, 순서화 및/또는 수집 경향들은 이미 그룹화되거나 순서화된 방식(예컨대, 캐비넷 내의 음식 캔들 및 부가적인 캔들의 가상 쇼핑 바구니)으로 몇몇 가상 객체들 같은 정보를 제시함으로써 테스트될 수 있다. 정보는, 예컨대 도 2에 묘사된 디스플레이(62)에 의해 사용자에게 제시될 수 있다. 사용자의 응답, 이를테면 가상 객체들을 계속하여 재배열, 이동 또는 조작은 제스처 인식 또는 다른 사용자 상호작용 메커니즘들에 기반하여 검출될 수 있다. 사용자의 강박 행동은 자극들과 상호작용하는 빈도; 캐비넷으로부터 쇼핑 바구니 및 가방(back)으로 캔들의 이동; 객체 배치의 정확도; 및/또는 컬러들, 사이즈들 또는 라벨링의 순서화 등에 기반하여 평가될 수 있다.
[0201] 일부 실시예들에서, 인식된 또는 실제 오염물들에 대한 사용자의 혐오감은 사용자의 환경 내에 있는 것으로 인식되거나 실제로 위치된 상이한 화학물들, 알레르겐(allergen)들, 미생물들 등에 반응하도록 사용자에게 요청함으로써 테스트될 수 있다. 그런 테스트는 적어도 부분적으로 도 2, 도 6, 도 10 및 도 12에 묘사된 디스플레이들의 컴포넌트들에 의해 수행될 수 있고, 그리고 프로세싱 모듈(140) 및/또는 원격 프로세싱 모듈(150)(도 9d)의 회로 및 프로그래밍을 활용할 수 있다. 테스트 시, 사용자는, 가상 그림 자극들 또는 강화된 실세계 객체들, 이를테면 세척 화학물 병들 주위 윤곽들, 단백질들을 하이라이팅하기 위해 표면들 상에 투사되는 자외선 광, 및/또는 사용자에게 제시될 분석들을 수행하기 위해 확대, 패턴 인식 알고리즘들, 다중스펙트럼 분석, 또는 전문가/숙련자 상담(consultation)을 사용하여 박테리아, 바이러스들 및 알레르겐들 같은 잠재적 오염물들의 프로세싱된 분석들이 제시될 수있다. 이어서, 시스템들(600, 2010)(도 12, 도 10)은 검출된 행동 응답들(예컨대, 플린칭(flinching), 뒷걸음질, 찡그림, 또는 구토) 및/또는 생리학적 응답들(예컨대, 발한, 증가된 심박수)를 통해 자극들에 대한 사용자의 반응을 검출할 수 있다. 사용자의 강박 행동은 그 외에 일반 객체들 및 컨디션들에 대한 사용자의 응답에 기반하여 평가될 수 있다.
[0202] 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 앙박 행동들을 감소시키기 위해 치료 콘텐츠를 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템(2010)(도 10)은, 표면이 실제로 깨끗한지 더러운지를 보여주기 위해 강화된 프리젠테이션 또는 표면의 분석을 제시할 수 있다. 다른 예에서, 실세계 객체들은 불안을 감소시키기 위해 실세계 객체들이 사용자에게 더 깨끗하게 보이게 하도록 디스플레이 시스템에 의해 수정될 수 있다. 행동 보조기들은 또한 식별된 반복적인 활동들의 양자화 및/또는 식별을 포함할 수 있다. 일부 양상들에서, 활동들 또는 객체들은 재생을 위해 하이라이팅되거나 레코딩될 수 있고, "스코어(score)"는 계산되어 사용자에게 제시될 수 있다. 사용자는 식별된 반복적인 행동들을 회피함으로써 스코어를 낮게 유지하는 것이 장려될 수 있다.
감각 기능
[0203] 수집된 사용자 데이터, 이를테면 디스플레이 시스템(2010)(도 10)에 의해 수집된 데이터는 사용자의 감각 기능의 테스팅을 수행하는 데 사용될 수 있다. 일부 양상들에서, 감각 기능 테스팅은 시스템들(600, 2010)(도 12, 도 10)이 사용자의 미세 터치, 고통, 온도 등의 기능 레벨을 평가하는 것을 허용할 수 있다. 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 사용자의 일차 감각을 테스트하고 그리고/또는 사용자의 일차 감각을 가리키는 사인들을 수동적으로 모니터링하도록 구성될 수 있다. 일차 감각의 진단 테스팅은 증강 현실 및/또는 가상 현실 콘텐츠를 디스플레이하는 것, 안내된 이미저리를 제공하는 것, 및/또는 임상의 착용 디스플레이 디바이스들을 활용하는 것을 포함할 수 있다. 일부 실시예들에서, 다양한 감각 자극들, 이를테면 열, 전기 전류, 진동들, 오디오 자극들, 시각적 자극들 등은 제시될 수 있고, 사용자의 검출된 응답은 측정되어 예상된 응답과 비교될 수 있다. 일부 구현들에서, 임상의 착용 디바이스는 임상의가 비교를 위해 증가된 일반적 응답을 갖는 사용자의 응답을 보는 것을 허용할 수 있다. 감각 테스트들은 감각 응답의 비대칭들이 검출되는 것을 허용하도록 몸체의 양측들 및 각각의 말단의 근위에서 원위까지 수행될 수 있다. 수동 모니터링은 자극들을 능동적으로 제공하는 것 보다, 사용자 주위 세계에서 검출된 자극들에 대한 사용자의 응답을 검출하는 것에 의해 구현될 수 있다. 수동 모니터링의 일 예에서, 시스템들(600, 2010)(도 12, 도 10)은 열을 감지하는 사용자의 능력을 수동적으로 모니터링하도록 구성될 수 있다. 시스템은 사용자의 시야 내의 객체들의 온도를 모니터링하기 위해 열 카메라로서 기능할 수 있는 외향 지향 카메라를 포함할 수 있다. 시스템(600, 2010)(도 12, 도 10)은, 사용자가 뜨거운 객체, 이를테면 난로를 터칭하고 있을 때를 결정하고, 그리고 뜨거운 객체를 터치하는 것에 대한 사용자의 반응(예컨대, 고통으로 인한 확장된 동공들, 비명, 객체를 터치하고 있는 몸체 부분의 빠른 철회 등) 또는 이에 대한 반응의 결여를 관찰하기 위해 열 카메라 및 하나 또는 그 초과의 몸체 카메라들로부터의 입력을 사용할 수 있다. 반응의 결여가 부적절한 감각 기능을 표시할 수 있다는 것이 인식될 것이다.
[0204] 일차 감각과 연관된 진단 테스트들은 광 터치 및/또는 핀 프릭(pin prick) 테스팅을 포함할 수 있다. 무감각 및/또는 아린감의 사인들은 검출될 수 있고, 그리고 신경계 장애들, 이를테면 급성 파종성 뇌염, 갈랭-바레 증후군, 다발성 경화증, 또는 횡단성 척수염, 및/또는 상해들, 이를테면 편두통을 표시하는 것으로 해석될 수 있다. 터치에 대한 고조된 민감성의 사인들(예컨대, 점프 또는 비명 같은 반응)은 신경계 장애들, 이를테면 횡단성 척수염 또는 다발성 경화증, 및/또는 상해들, 이를테면 뇌수종을 표시하는 것으로 해석될 수 있다. 진단 테스트들은 이를테면 차가운 금속 피스를 피부에 적용함으로써 온도 테스팅을 더 포함할 수 있다. 진동 감지는 환자의 말단에 진동 구조, 이를테면 시스템(600, 2010)의 부분인 소리굽쇠 또는 진동 구조를 배치하고 그리고 진동이 멈출 때를 리포팅하도록 환자에게 명령함으로써 테스트될 수 있다. 일부 양상들에서, 시스템(600, 2010)의 진동 구조는 디스플레이 디바이스(60)(도 9d)의 프레임(80)의 부분에 장착될 수 있다. 일차 감각의 추가 진단 테스팅은 관절 포지션 감각 테스팅 및 2점 식별 테스팅을 포함할 수 있다.
[0205] 일부 실시예들에서, 시스템들(600, 2010)(도 12, 도 10)은 병변들을 특정 신경들, 신경근들, 및/또는 척수, 뇌간, 시상, 또는 피질의 구역들로 로컬라이징하는 것을 돕기 위해, 멸종을 포함하여, 환자의 피질 감각을 평가하도록 추가로 구성될 수 있다. 진단 기법들은 서화감각 테스팅(환자의 피부 상에 그려지는 글자들 또는 숫자들을 식별하기 위한 환자의 능력), 입체지각 테스팅(촉각 감각에 기반하여 객체를 식별하기 위한 환자의 능력), 및/또는 촉각 멸종(이중 동시 촉각 자극을 식별하기 위한 환자의 능력)을 포함할 수 있다. 이어서, 일차 감각 테스팅으로부터의 데이터는 피질 감각 테스팅의 결과들과 상관될 수 있다. 검출된 체 지각 결핍은 말초 신경들, 신경근들, 척수 또는 뇌간의 후주(posterior column)들 또는 전외측 감각계들, 시상, 또는 감각 피질의 병변들을 표시하는 것으로 해석될 수 있다. 피질 감각의 결손들이 동반된 무결성 일차 감각은 반대쪽 감각 피질의 병변을 표시할 수 있지만, 일차 감각의 결손들은 심한 피질 병변들을 표시하는 것으로 해석될 수 있다. 무결성 일차 감각이 동반된 멸종은 우측 두정엽 병변들, 우측 전두골 병변들, 피질 하부 병변들, 또는 좌측 반구 병변들을 표시할 수 있다.
[0206] 검출된 행동 응답들(622)에 기반하여, 시스템들(600, 2010)(도 12, 도 10)은 검출된 응답과 연관된 하나 또는 그 초과의 신경학적 컨디션들을 결정할 수 있다. 예컨대, 감각 손실의 사인들은 신경계 장애들, 이를테면 시속척수염, 운동 장애들, 이를테면 케네디 병, 및/또는 상해, 이를테면 뇌종양들을 표시할 수 있다. 감각 자극들에 대한 과민성(hypersensitivity)의 검출된 사인들은 인지 장애들, 이를테면 감각 프로세싱 장애, 행동 장애들, 이를테면 외상 후 스트레스 장애, 발달 장애들, 이를테면 자폐 스펙트럼 장애들, 및/또는 상해들, 이를테면 편두통을 표시하는 것으로 해석될 수 있다. 감각 자극들에 대한 저감수성의 검출된 사인들은 인지 장애들, 이를테면 감각 프로세싱 장애 및/또는 발달 장애들, 이를테면 자폐 스펙트럼 장애들을 표시하는 것으로 해석될 수 있다.
[0207] 본원에서 개시된 분석들 모두의 경우, 디스플레이 시스템이 분석 결과들에 관한 예비 결론을 내도록 구성될 수 있다는 것이 인식될 것이다. 이런 예비 결론은, 하나 또는 그 초과의 가능한 컨디션들이 존재한다는 결정을 포함할 수 있고, 그리고 사용자가 하나 또는 그 초과의 가능한 컨디션들을 가지는 확률들을 제공할 수 있다. 예비 결론 및/또는 관련된 확률들은 증강 현실 콘텐츠로, 가청가능 어나운스먼트들로, 그리고/또는 가상 이미지들 및/또는 비디오들로 사용자에게 제공될 수 있다. 이들 결론들 또는 콘텐츠 중 임의의 것이 환자의 이력 파일에 대한 업데이트로서 저장될 수 있다는 것이 인식될 것이다. 디스플레이 시스템은 또한 사용자에 의한 후속 조치에 대한 제안들을 제공하고 그리고/또는 임상의에게 정보를 포워딩함으로써 후속 조치를 자동으로 개시하도록 구성될 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 어떤 결정도 하지 않고 그리고 추가 분석 및 결론들의 결정을 위해 단순히 이미지들, 오디오 파일들, 비디오 파일들 등의 형태의 정보를, 임상의 및/또는 다른 컴퓨터 시스템에게 송신하도록 구성될 수 있다. 또 다른 실시예들에서, 디스플레이 시스템은 예비 결론들을 내리고 그리고 추가 분석을 위해 사용자의 이미지들을 임상의 및/또는 다른 컴퓨터 시스템에게 송신하도록 구성될 수 있다.
주위 환경에서의 반사들 및 객체들을 검출하는 컴퓨터 비전
[0208] 위에서 논의된 바와 같이, 디스플레이 시스템은 사용자 주위 환경 내의 객체들 또는 그 환경의 특성들을 검출하도록 구성될 수 있다. 검출은 본원에서 논의된 바와 같이 다양한 환경 센서들(예컨대, 카메라들, 오디오 센서들, 온도 센서들 등)을 포함하는 다양한 기법들을 사용하여 달성될 수 있다.
[0209] 일부 실시예들에서, 환경 내에 존재하는 객체들은 컴퓨터 비전 기법들을 사용하여 검출될 수 있다. 예컨대, 본원에 개시된 바와 같이, 디스플레이 시스템의 전방 지향 카메라는 주변 환경을 이미징하도록 구성될 수 있고 디스플레이 시스템은 주변 환경의 객체들의 존재를 결정하기 위해 이미지들의 이미지 분석을 수행하도록 구성될 수 있다. 디스플레이 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습, 인덱싱(indexing), 모션 추정, 또는 이미지 복원등을 수행하도록 외향 지향 이미징 시스템에 의해 획득된 이미지들을 분석할 수 있다. 다른 예들로서, 디스플레이 시스템은 사용자의 시야 내의 안면들 및/또는 인간 눈들의 존재 및 위치를 결정하기 위해 안면 및/또는 눈 인식을 수행하도록 구성될 수 있다. 하나 또는 그 초과의 컴퓨터 비전 알고리즘들은 이들 태스크들을 수행하는 데 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비제한적 예들은: SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), 비올라-존스 알고리즘(Viola-Jones algorithm), 아이겐페이시스(Eigenfaces) 접근법, 루카스-카나데(Lucas-Kanade) 알고리즘, 혼-셩크(Horn-Schunk) 알고리즘, 민-시프트(Mean-shift) 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(sequential Bayesian estimator)(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들(bundle) 조정, 적응형 스레스홀딩(Adaptive thresholding)(및 다른 스레스홀딩 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(컨볼루셔널 또는 심층 뉴럴 네트워크를 포함함), 또는 다른 감시/비감시 모델들 등) 등을 포함한다.
[0210] 이들 컴퓨터 비전 기법들 중 하나 또는 그 초과는 또한 센서들에 의해 검출된 객체들의 다양한 특성들을 검출 및 결정하기 위해 다른 환경 센서들(이를테면, 예컨대, 마이크로폰)로부터 획득된 데이터와 함께 사용될 수 있다.
[0211] 본원에서 논의된 바와 같이, 주변 환경의 객체들은 하나 또는 그 초과의 기준들에 기반하여 검출될 수 있다. 디스플레이 시스템이 컴퓨터 비전 알고리즘을 사용하여 또는 하나 또는 그 초과의 센서 어셈블리들(디스플레이 시스템의 부분일 수 있거나 부분이 아닐 수 있음)로부터 수신된 데이터를 사용하여 주변 환경의 기준들의 존재 또는 부재를 검출할 때, 디스플레이 시스템은 객체의 존재를 시그널링할 수 있다.
[0212] 부가적으로 또는 대안적으로, 디스플레이 시스템은 사용자의 행동들(또는 사용자들 그룹의 행동들)에 기반하여 환경에서의 반사 및/또는 객체의 존재를 식별하도록 학습할 수 있다. 예컨대, 디스플레이 시스템은 사용자 또는 사용자들 그룹의 소정의 액션들 또는 행동들을 주변 환경에 존재하는 소정의 객체들에 연관시킴으로써 환경에서의 객체의 존재를 식별하고 그리고 객체가 존재하는지 여부를 예측하기 위해 이 연관을 사용하도록 학습할 수 있다.
머신 학습
[0213] 다양한 머신 학습 알고리즘들은 주변 환경 내의 객체들의 존재를 식별하는 것을 학습하는 데 사용될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘들은 디스플레이 시스템에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, 회귀 알고리즘들(이를테면, 예컨대, 범용 최소 제곱 회귀), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화), 판정 트리 알고리즘들(이를테면, 예컨대 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이즈), 클러스터링 알고리즘들(이를테면, 예컨대, k-민즈 클러스터링), 연관 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 뉴럴 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론(Perceptron)), 심층 학습 알고리즘들(이를테면, 예컨대, 심층 볼츠만(Boltzmann) 머신, 또는 심층 뉴럴 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주성분 분석), 앙상블 알고리즘들(이를테면, 예컨대, 스택 일반화), 및/또는 다른 머신 학습 알고리즘들을 포함하는 감시 또는 비감시 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 맞춤화될 수 있다. 예컨대, 웨어러블 디바이스는 베이스 모델을 생성 또는 저장할 수 있다. 베이스 모델은 데이터 타입(예컨대, 특정 사용자), 데이터 세트(예컨대, 획득된 부가적인 이미지들 세트), 조건 상황들 또는 다른 변형들에 특정한 부가적인 모델들을 생성하기 위해 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 총 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기법들을 활용하도록 구성될 수 있다. 다른 기법들은 미리 정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0214] 객체를 검출하기 위한 기준들은 하나 또는 그 초과의 임계 조건들을 포함할 수 있다. 환경 센서에 의해 획득된 데이터의 분석이, 임계 조건이 통과된 것을 표시하면, 디스플레이 시스템은 주변 환경의 객체의 존재의 검출을 표시하는 신호를 제공할 수 있다. 임계 조건은 정량적 및/또는 정성적 측정을 포함할 수 있다. 예컨대, 임계 조건은 환경 내에 존재하는 반사 및/또는 객체의 공산과 연관된 스코어 또는 퍼센티지를 포함할 수 있다. 디스플레이 시스템은 환경 센서의 데이터로부터 계산된 스코어를 임계 스코어와 비교할 수 있다. 스코어가 임계 레벨보다 더 높으면, 디스플레이 시스템은 반사 및/또는 객체의 존재를 검출할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은, 스코어가 임계치보다 더 낮으면 환경 내의 객체의 존재를 시그널링할 수 있다. 일부 실시예들에서, 임계 조건은 사용자의 감정 상태 및/또는 주변 환경과의 사용자의 상호작용들에 기반하여 결정될 수 있다.
[0215] 일부 실시예들에서, 임계 조건들, 머신 학습 알고리즘들, 또는 컴퓨터 비전 알고리즘들은 특정 맥락에 전문화될 수 있다. 예컨대, 진단 맥락에서, 컴퓨터 비전 알고리즘은 자극들에 대한 소정의 응답들을 검출하도록 전문화될 수 있다. 다른 예로서, 디스플레이 시스템은 본원에서 논의된 바와 같이, 자극들에 대한 사용자의 반응을 감지하기 위해 안면 인식 알고리즘들 및/또는 이벤트 추적 알고리즘들을 실행할 수 있다.
[0216] 본원에 설명되고 그리고/또는 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각이 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 인식될 것이다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅(interpret)된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0217] 추가로, 본 개시내용의 기능성의 소정의 실시예들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들이 예컨대, 수반된 계산들의 양 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0218] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 일부 실시예들에서, 비일시적 컴퓨터 판독가능 매체는 로컬 프로세싱 및 데이터 모듈(70), 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74) 중 하나 또는 그 초과의 부분일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선 기반 및 유선/케이블 기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비일시적, 유형의 컴퓨터 저장부에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0219] 본원에 설명되고 그리고/또는 첨부 도면들에 묘사된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 삭제되거나, 수정되거나 다르게 변화될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 이에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 이들로부터 제거될 수 있다. 게다가, 본원에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 실시예들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
[0220] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 그 실시예들에 대해 이루어질 수 있다는 것이 명백할 것이다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.
[0221] 실제로, 본 개시내용의 시스템들 및 방법들 각각이 몇몇 혁신적인 양상들을 가지며, 이 양상들 중 어떤 단일의 양상도 본원에 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다는 것이 인식될 것이다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하도록 의도된다.
[0222] 별개의 실시예들의 맥락에서 본 명세서에 설명된 특정 특징들은 또한 단일 실시예로 결합하여 구현될 수 있다. 대조적으로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한 별도로 다수의 실시예들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 동작하는 것으로서 위에서 설명될 수 있고 심지어 그와 같이 처음에 청구될 수 있지만, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 서브조합 또는 서브조합의 변형에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0223] 특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다(can, could, might, may)", "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 또는 단계들을 포함하지만, 다른 실시예들이 이들을 포함하지 않는 것을 전달하기 위해 의도된다는 것이 인식될 것이다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 하나 또는 그 초과의 실시예들을 위해 어떤 식으로든 요구되거나 또는 하나 또는 그 초과의 실시예들이, 저자(author) 입력 또는 프롬프팅으로 또는 이들 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행될지를 판정하기 위한 로직을 반드시 포함하는 것을 의미하도록 의도되지 않는다. 용어들 "포함하는(comprising)", "구비하는(including)", "가지는(having)" 등은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 포괄적인 의미(및 배타적 의미가 아님)로 사용되어, 예컨대 리스트의 엘리먼트들을 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내 엘리먼트들 중 하나, 몇몇 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 청구항들에 사용된 단수 표현들은 다르게 특정되지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다. 유사하게, 동작들이 특정 순서로 도면들에 묘사될 수 있지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행될 필요가 없거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식될 것이다. 추가로, 도면들은 흐름도 형태로 하나 또는 그 초과의 예시적 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 부가적인 동작들은 예시된 동작들 중 임의의 동작 이전, 이후, 동시에, 또는 중간에 수행될 수 있다. 부가적으로, 동작들은 다른 실시예들에서 재배열되거나 재정렬될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키지될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 실시예들은 다음 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 열거된 액션들은 상이한 순서로 수행될 수 있고 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
[0224] 따라서, 청구항들은 본원에 도시된 실시예들로 제한되는 것으로 의도되는 것이 아니라, 본 개시내용, 즉 본원에 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.

Claims (30)

  1. 디스플레이 시스템으로서,
    가상 콘텐츠를 사용자에게 제시하도록 구성된 디스플레이 디바이스 ― 상기 디스플레이 디바이스는 가변 파면 발산을 갖는 광을 출력하도록 구성됨 ―;
    상기 디스플레이 디바이스에 부착된 하나 또는 그 초과의 센서들 ― 상기 하나 또는 그 초과의 센서들은 사용자 특정 데이터를 수집하도록 구성됨 ―;
    하나 또는 그 초과의 프로세서들; 및
    명령들을 저장하는 하나 또는 그 초과의 컴퓨터 저장 매체들
    을 포함하고,
    상기 명령들은, 상기 시스템에 의해 실행될 때, 상기 시스템이:
    상기 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 동작;
    초기 예측 모델에 상기 데이터를 적용하는 동작;
    상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 동작; 및
    변경된(revised) 예측 모델을 생성하기 위해 상기 부가적인 데이터에 기반하여 상기 초기 예측 모델을 업데이팅하는 동작
    을 수행하게 하는,
    디스플레이 시스템.
  2. 제1 항에 있어서,
    상기 디스플레이 디바이스는 약 0.25 디옵터 미만의 원근조절-이접운동 미스매칭(accommodation-vergence mismatch)으로 이미지들을 출력하도록 구성되는,
    디스플레이 시스템.
  3. 제1 항에 있어서,
    상기 데이터를 적용하는 동작은 상기 예측 모델의 결과를 결정하는 동작을 포함하는,
    디스플레이 시스템.
  4. 제1 항에 있어서,
    상기 데이터를 적용하는 동작은, 상기 예측 모델의 결과를 결정하기 전에 상기 데이터에 대한 기준 또는 기준들의 세트가 만족되었다는 것을 결정하는 동작을 포함하는,
    디스플레이 시스템.
  5. 제1 항에 있어서,
    상기 디스플레이 디바이스는 적어도 한 달의 기간에 걸쳐 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하도록 구성되는,
    디스플레이 시스템.
  6. 제3 항에 있어서,
    상기 디스플레이 디바이스는 상기 기간에 걸쳐 하루에 약 3 시간 또는 그 초과의 지속기간들 동안 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하도록 구성되는,
    디스플레이 시스템.
  7. 제1 항에 있어서,
    수집될 상기 부가적인 데이터의 양은 하나 또는 그 초과의 통계적 검증력 분석들에 기반하여 결정되는,
    디스플레이 시스템.
  8. 제1 항에 있어서,
    상기 초기 예측 모델을 업데이팅하는 동작은 상기 데이터 내의 측정된 변수, 수집될 데이터 포인트들의 수, 상기 부가적인 데이터를 수집하기 위한 시간 기간, 또는 하나 또는 그 초과의 측정된 변수들의 가중(weighting) 중 적어도 하나를 수정하는 동작을 포함하는,
    디스플레이 시스템.
  9. 제1 항에 있어서,
    상기 초기 예측 모델을 업데이팅하는 동작은 제1 센서 및 제2 센서로부터의 데이터를 상관시키는 동작을 포함하는,
    디스플레이 시스템.
  10. 제8 항에 있어서,
    상기 하나 또는 그 초과의 센서들은 적어도 상기 사용자 특정 데이터를 수집하기 위한 제1 센서 및 외부 데이터를 수집하기 위한 제2 센서를 포함하는,
    디스플레이 시스템.
  11. 제1 항에 있어서,
    상기 명령들을 저장하는 상기 하나 또는 그 초과의 컴퓨터 저장 매체들을 포함하는 원격 데이터 저장소; 및
    상기 하나 또는 그 초과의 프로세서들을 포함하는 원격 프로세싱 모듈
    을 더 포함하고,
    상기 하나 또는 그 초과의 프로세서들은 상기 동작들을 수행하도록 구성되는,
    디스플레이 시스템.
  12. 사용자 건강 분석을 수행하는 방법으로서,
    가변 파면 발산을 가진 광을 출력하도록 구성된 증강 현실 디스플레이 디바이스의 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 단계;
    초기 예측 모델에 상기 데이터를 적용하는 단계;
    상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 단계; 및
    변경된 예측 모델을 생성하기 위해 상기 부가적인 데이터에 기반하여 상기 초기 예측 모델을 업데이팅하는 단계
    를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  13. 제12 항에 있어서,
    약 0.25 디옵터 미만의 원근조절-이접운동 미스매칭을 갖는 가상 콘텐츠를 상기 디스플레이 디바이스 상에 디스플레이하는 단계를 더 포함하는,
    사용자 건강 분석을 수행하는 방법.
  14. 제13 항에 있어서,
    상기 원근조절-이접운동 미스매칭은 약 0.33 디옵터 미만인,
    사용자 건강 분석을 수행하는 방법.
  15. 제12 항에 있어서,
    상기 부가적인 데이터를 계속 수집하는 단계는 적어도 한 달의 기간에 걸쳐 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 수집하는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  16. 제15 항에 있어서,
    상기 부가적인 데이터를 계속 수집하는 단계는 상기 기간에 걸쳐 하루에 약 3 시간 또는 그 초과의 지속기간들 동안 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 수집하는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  17. 제12 항에 있어서,
    수집될 상기 부가적인 데이터의 양은 하나 또는 그 초과의 통계적 검증력 분석들에 기반하여 결정되는,
    사용자 건강 분석을 수행하는 방법.
  18. 제12 항에 있어서,
    상기 초기 예측 모델을 업데이팅하는 단계는 상기 데이터 내의 측정된 변수, 수집될 데이터 포인트들의 수, 상기 부가적인 데이터를 수집하기 위한 시간 기간, 또는 하나 또는 그 초과의 측정된 변수들의 가중 중 적어도 하나를 수정하는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  19. 제12 항에 있어서,
    상기 초기 예측 모델을 업데이팅하는 단계는 제1 센서 및 제2 센서로부터의 데이터를 상관시키는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  20. 제19 항에 있어서,
    상기 하나 또는 그 초과의 센서들은 적어도 사용자 특정 데이터를 수집하기 위한 제1 센서 및 외부 데이터를 수집하기 위한 제2 센서를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  21. 디스플레이 시스템으로서,
    가상 콘텐츠를 사용자에게 제시하도록 구성된 디스플레이 디바이스 ― 상기 디스플레이 디바이스는 가변 파면 발산을 갖는 광을 출력하도록 구성됨 ―;
    상기 디스플레이 디바이스에 부착된 하나 또는 그 초과의 센서들 ― 상기 하나 또는 그 초과의 센서들은 사용자 특정 데이터를 수집하도록 구성됨 ―;
    하나 또는 그 초과의 프로세서들; 및
    명령들을 저장하는 하나 또는 그 초과의 컴퓨터 저장 매체들
    을 포함하고,
    상기 명령들은, 상기 시스템에 의해 실행될 때, 상기 시스템이:
    상기 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 동작;
    초기 예측 모델에 상기 데이터를 적용하는 동작;
    상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 동작; 및
    상기 부가적인 데이터에 기반하여 개입(intervention)이 발생하게 하는 동작
    을 수행하게 하는,
    디스플레이 시스템.
  22. 제21 항에 있어서,
    상기 디스플레이 디바이스는 약 0.25 디옵터 미만의 원근조절-이접운동 미스매칭을 갖는 이미지들을 출력하도록 구성되는,
    디스플레이 시스템.
  23. 제21 항에 있어서,
    상기 디스플레이 디바이스는 적어도 한 달의 기간에 걸쳐 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하도록 구성되는,
    디스플레이 시스템.
  24. 제23 항에 있어서,
    상기 디스플레이 디바이스는 상기 기간에 걸쳐 하루에 약 3 시간 또는 그 초과의 지속기간들 동안 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하도록 구성되는,
    디스플레이 시스템.
  25. 제21 항에 있어서,
    상기 개입은 상기 예측 모델의 결과에 의해 표시된 컨디션(condition)에 대한 처치(treatment)인,
    디스플레이 시스템.
  26. 사용자 건강 분석을 수행하는 방법으로서,
    가변 파면 발산을 가진 광을 출력하도록 구성된 증강 현실 디스플레이 디바이스의 하나 또는 그 초과의 센서들로부터 데이터를 수집하는 단계;
    초기 예측 모델에 상기 데이터를 적용하는 단계;
    상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 계속 수집하는 단계; 및
    상기 부가적인 데이터에 기반하여 개입이 발생하게 하는 단계
    를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  27. 제26 항에 있어서,
    약 0.25 디옵터 미만의 원근조절-이접운동 미스매칭을 갖는 가상 콘텐츠를 상기 디스플레이 디바이스 상에 디스플레이하는 단계를 더 포함하는,
    사용자 건강 분석을 수행하는 방법.
  28. 제26 항에 있어서,
    상기 부가적인 데이터를 계속 수집하는 단계는 적어도 한 달의 기간에 걸쳐 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 수집하는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  29. 제28 항에 있어서,
    상기 부가적인 데이터를 계속 수집하는 단계는 상기 기간에 걸쳐 하루에 약 3 시간 또는 그 초과의 지속기간들 동안 상기 하나 또는 그 초과의 센서들로부터 부가적인 데이터를 수집하는 단계를 포함하는,
    사용자 건강 분석을 수행하는 방법.
  30. 제26 항에 있어서,
    상기 개입은 상기 예측 모델의 결과에 의해 표시된 컨디션에 대한 처치인,
    사용자 건강 분석을 수행하는 방법.
KR1020227033832A 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 KR102643105B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662333734P 2016-05-09 2016-05-09
US62/333,734 2016-05-09
US201662366576P 2016-07-25 2016-07-25
US62/366,576 2016-07-25
US201662440348P 2016-12-29 2016-12-29
US62/440,348 2016-12-29
KR1020187035653A KR102450362B1 (ko) 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
PCT/US2017/031806 WO2017196879A1 (en) 2016-05-09 2017-05-09 Augmented reality systems and methods for user health analysis

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035653A Division KR102450362B1 (ko) 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20220134792A true KR20220134792A (ko) 2022-10-05
KR102643105B1 KR102643105B1 (ko) 2024-03-04

Family

ID=60242994

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187035653A KR102450362B1 (ko) 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
KR1020227033832A KR102643105B1 (ko) 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187035653A KR102450362B1 (ko) 2016-05-09 2017-05-09 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들

Country Status (9)

Country Link
US (3) US10813619B2 (ko)
EP (1) EP3454720A4 (ko)
JP (2) JP7021110B2 (ko)
KR (2) KR102450362B1 (ko)
CN (2) CN115177208A (ko)
AU (2) AU2017264695B2 (ko)
CA (1) CA3023526A1 (ko)
IL (3) IL310060A (ko)
WO (1) WO2017196879A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590988B1 (ko) * 2023-01-06 2023-10-23 주식회사 구스랩스 아바타와 함께 운동하는 메타버스 서비스 제공 장치, 방법 및 프로그램

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HK1203120A2 (en) * 2014-08-26 2015-10-16 高平 A gait monitor and a method of monitoring the gait of a person
IL310060A (en) 2016-05-09 2024-03-01 Magic Leap Inc Augmented reality systems and methods for user health analysis
US10620437B2 (en) 2016-05-25 2020-04-14 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN109791295A (zh) 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
CN206095292U (zh) * 2016-08-29 2017-04-12 京东方科技集团股份有限公司 一种可穿戴设备
WO2018045438A1 (en) * 2016-09-12 2018-03-15 Embraer S.A. Brain stimulation system and method to provide a sense of wellbeing
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
CN106773060B (zh) * 2017-02-10 2019-05-10 京东方科技集团股份有限公司 头戴式虚拟现实设备
US11141095B2 (en) * 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
JP7211966B2 (ja) 2017-04-14 2023-01-24 マジック リープ， インコーポレイテッド マルチモーダル眼追跡
US10262446B2 (en) * 2017-07-26 2019-04-16 Lenovo (Singapore) Pte. Ltd. Systems and methods to alter presentation of virtual rendition based on real world object
JP6844468B2 (ja) * 2017-08-09 2021-03-17 富士通株式会社 データ生成プログラム、データ生成方法及びデータ生成装置
US11456064B2 (en) * 2017-08-25 2022-09-27 Behjat Iranpour Mobarakeh System and method for medical platform employing artificial intelligence and wearable devices
US11062616B2 (en) * 2017-10-27 2021-07-13 International Business Machines Corporation Interactive learning experience
US11164088B2 (en) 2017-10-27 2021-11-02 International Business Machines Corporation Interactive feedback and assessment experience
US10842967B2 (en) 2017-12-18 2020-11-24 Ifgcure Holdings, Llc Augmented reality therapy for treating mental health and developmental disorders
CN108260155B (zh) * 2018-01-05 2021-05-07 西安电子科技大学 一种基于时空相似度的无线传感网异常检测方法
WO2019143688A1 (en) * 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US20190290128A1 (en) * 2018-03-20 2019-09-26 Aic Innovations Group, Inc. Apparatus and method for user evaluation
WO2019232104A1 (en) * 2018-05-29 2019-12-05 Otsuka America Pharmaceutical Inc. Generating and searching data structures that facilitate measurement-informed treatment recommendations
ES2734740A1 (es) * 2018-06-08 2019-12-11 Bart Jan Jaeken Instrumento de realidad virtual para medir la refraccion y aberraciones del ojo de manera automatica
US11903712B2 (en) * 2018-06-08 2024-02-20 International Business Machines Corporation Physiological stress of a user of a virtual reality environment
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
JP7407748B2 (ja) * 2018-07-05 2024-01-04 マジック リープ， インコーポレイテッド 頭部搭載型ディスプレイシステムのための導波管ベースの照明
US20200020096A1 (en) * 2018-07-11 2020-01-16 William Franz Lamberti Generalized Process for Categorizing and Analyzing Image Data
WO2020028193A1 (en) * 2018-07-30 2020-02-06 Hi Llc Non-invasive systems and methods for detecting mental impairment
US11756691B2 (en) 2018-08-01 2023-09-12 Martin Reimann Brain health comparison system
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US20200066051A1 (en) * 2018-08-21 2020-02-27 Stayhealthy, Inc. Mindful art for stress relief using an augmented reality mobile application that allows both electronic and printed coloring that then turns into a 3d animated rendering of the colored art
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US20200069181A1 (en) * 2018-09-01 2020-03-05 Philip Jaques Sampson I-Examination
WO2020051511A1 (en) * 2018-09-06 2020-03-12 Ivision Technologies, Llc Autonomous multisensory apparatus for screening and therapy of visual, auditory and cognitive impairment with diagnostic capability and method thereof
US20200107767A1 (en) * 2018-10-09 2020-04-09 Synapstory Production Group Inc. Non-Invasive Portable Device and Method to Assess Mental Conditions
JP7228153B2 (ja) * 2018-10-19 2023-02-24 株式会社NeU 頭部装着装置、脳活動記録システム
US11508127B2 (en) * 2018-11-13 2022-11-22 Disney Enterprises, Inc. Capturing augmented reality on a head mounted display
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
JP7283075B2 (ja) * 2018-12-27 2023-05-30 株式会社ニデック 表示装置
WO2020139754A1 (en) * 2018-12-28 2020-07-02 Magic Leap, Inc. Augmented and virtual reality display systems with shared display for left and right eyes
US10943407B1 (en) 2019-01-25 2021-03-09 Wellovate, LLC XR health platform, system and method
DE102019108999B4 (de) 2019-04-05 2020-12-31 Psholix Ag Verfahren zur immersiven Anzeige von stereoskopischen Bildern und Bildfolgen
EP3938019A4 (en) * 2019-04-19 2022-10-12 Hewlett-Packard Development Company, L.P. NOISE ADJUSTMENTS TO COGNITIVE LOAD-BASED CONTENT
CN110152160B (zh) * 2019-04-23 2021-08-31 北京阿叟阿巴科技有限公司 自闭症康复干预系统
CN110236572B (zh) * 2019-05-07 2021-10-26 平安科技（深圳）有限公司 基于体温信息的抑郁症预测系统
WO2020240577A1 (en) * 2019-05-24 2020-12-03 Rajneesh Bhandari Method and system for performing automatic vestibular assessment
CN110292514A (zh) * 2019-06-03 2019-10-01 东莞佰和生物科技有限公司 服务于老年痴呆患者的智能机器人康复训练的方法
CN110222639B (zh) * 2019-06-05 2020-03-31 清华大学 人体应激反应测试方法与系统
US20210008330A1 (en) * 2019-07-09 2021-01-14 Drexel University Methods and systems of virtual reality (vr) behavior modification
US11224339B2 (en) 2019-07-16 2022-01-18 International Business Machines Corporation Dynamic eye condition self-diagnosis
CN110610754A (zh) * 2019-08-16 2019-12-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种沉浸式可穿戴诊断与治疗装置
US11923088B2 (en) * 2019-08-30 2024-03-05 AR & NS Investment, LLC Artificial intelligence-based personalized health maintenance system to generate digital therapeutic environment for multi-modal therapy
CN110638455B (zh) * 2019-09-26 2022-06-14 京东方科技集团股份有限公司 用于评估用户康复状态的服务器、系统、设备及介质
WO2021059080A1 (ja) * 2019-09-27 2021-04-01 株式会社半導体エネルギー研究所 統計モデルの作成方法、状態推定方法、および状態推定システム
CN111091732B (zh) * 2019-12-25 2022-05-27 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021151188A1 (en) * 2020-01-30 2021-08-05 Centre For Addiction And Mental Health Tool for assisting individuals experiencing auditory hallucinations to differentiate between hallucinations and ambient sounds
US11641890B2 (en) 2020-01-31 2023-05-09 Kyndryl, Inc. Wearer physical status indication using an electronically adjustable garment
EP3886461B1 (en) * 2020-03-24 2023-11-08 Sonova AG Hearing device for identifying a sequence of movement features, and method of its operation
CN113520450B (zh) * 2020-04-13 2023-03-14 中国人民解放军海军特色医学中心 一种无线听诊器
US11918382B2 (en) 2020-04-13 2024-03-05 International Business Machines Corporation Continual background monitoring of eye health
US11651855B2 (en) * 2020-04-16 2023-05-16 Aetna Inc. Systems and methods for managing and updating contextual intelligent processes using artificial intelligence algorithms
WO2021221719A1 (en) * 2020-04-29 2021-11-04 Dexcom, Inc. Hypoglycemic event prediction using machine learning
WO2021248191A1 (en) * 2020-06-09 2021-12-16 HitIQ Limited Improved assessment and management of brain injuries using a combination of instrumented mouthguard devices and human performance testing
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
CN111671399B (zh) * 2020-06-18 2021-04-27 清华大学 噪声感知强度的测量方法、装置和电子设备
US11460921B2 (en) 2020-07-09 2022-10-04 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource
US11526876B2 (en) 2020-07-09 2022-12-13 Bank Of America Corporation System for calibration of an EEG device for detection of specific brainwave patterns
US11467663B2 (en) 2020-07-09 2022-10-11 Bank Of America Corporation System for wireless communication between a brain activity monitoring system and a resource distribution hub
CN111839480B (zh) * 2020-07-14 2024-03-29 广州智康云科技有限公司 一种机器人的检测处理系统、方法及机器人
CN112617831B (zh) * 2020-09-18 2021-08-31 东北大学 基于虚拟现实与脑-机接口的阿尔兹海默症辅助治疗装置
CN116194051A (zh) * 2020-09-29 2023-05-30 株式会社岛津制作所 生物体信息测量系统
FR3117221B1 (fr) 2020-12-04 2023-01-06 Socialdream dispositif immersif
EP4268053A4 (en) * 2020-12-22 2024-01-31 Ericsson Telefon Ab L M MODERATION OF A USER'S SENSORY EXPERIENCE IN RELATION TO AN EXTENDED REALITY
KR102496561B1 (ko) * 2020-12-31 2023-02-07 광운대학교 산학협력단 뇌파 분석을 기반으로 치매를 예측하는 인공지능 관제시스템, 관제방법, 관제서버 및 노인 맞춤형 서비스 제공방법
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11556951B1 (en) 2021-01-12 2023-01-17 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US11776004B1 (en) 2021-01-12 2023-10-03 Wells Fargo Bank, N.A. Systems and methods for geolocation-based city and community promoted augmented reality rewards
US20220238194A1 (en) 2021-01-26 2022-07-28 Unify Patente Gmbh & Co. Kg System and method for augmentating video data
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
EP4302477A1 (en) * 2021-03-05 2024-01-10 Aeyedx, Inc. System and method to obtain intraocular pressure measurements and other ocular parameters
KR20220129175A (ko) * 2021-03-16 2022-09-23 현대자동차주식회사 드라이빙 스루 진료 시스템 및 드라이빙 스루 진료 방법
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
WO2022256657A1 (en) * 2021-06-04 2022-12-08 University Of Kansas Virtual reality-based psychotherapy system with real-time electroencephalogram feedback
WO2022271668A1 (en) 2021-06-22 2022-12-29 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
AR122808A1 (es) * 2021-06-30 2022-10-05 Fernandez Iglesias Javier Alberto Sistema y procedimiento de entrenamiento físico-mental aplicado a personas con enfermedades neurodegenerativas
KR102379132B1 (ko) * 2021-06-30 2022-03-30 액티브레인바이오(주) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
US11663790B2 (en) 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
WO2023037714A1 (en) * 2021-09-10 2023-03-16 Sony Group Corporation Information processing system, information processing method and computer program product
US20230104641A1 (en) * 2021-10-05 2023-04-06 Koa Health B.V. Real-time Patient Monitoring for Live Intervention Adaptation
WO2023059722A1 (en) * 2021-10-06 2023-04-13 Innovaccer Inc. Automated health monitoring system and method
US20230154611A1 (en) * 2021-11-18 2023-05-18 V Group Inc. Methods and systems for detecting stroke in a patient
KR102657537B1 (ko) * 2021-11-23 2024-04-17 주식회사 바이오브레인 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템
CN114366466B (zh) * 2021-12-10 2023-11-24 上海工程技术大学 一种集成健康信息监测与预测的代步护理机器人
US11950021B2 (en) 2021-12-22 2024-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of video feed on one display to appear as though presented on another display
TWI793947B (zh) * 2021-12-29 2023-02-21 國立臺灣大學 一種虛擬實境平衡障礙訓練系統、方法及其電腦可讀媒介
CN114388058A (zh) * 2022-01-13 2022-04-22 西湖大学 基于九轴imu的蛋白任意截面生成方法
WO2023164021A1 (en) * 2022-02-23 2023-08-31 Mitsubishi Tanabe Pharma Corporation Information processing device, information processing system, information processing method and program
CN114748760A (zh) * 2022-03-01 2022-07-15 上海市第一康复医院(上海市杨浦区老年医院) 血压与心理压力调降自我训练系统
TWI800286B (zh) * 2022-03-03 2023-04-21 李信達 血壓與生心理壓力調降自我訓練系統
US11751819B2 (en) * 2022-04-11 2023-09-12 Foshan Jiepin Toy Industrial Co., Ltd. Alarm system for monitoring physical disorder of user during immersive VR experience
WO2023250096A1 (en) * 2022-06-23 2023-12-28 Universal City Studios Llc Interactive imagery systems and methods
WO2024009841A1 (ja) * 2022-07-05 2024-01-11 株式会社ニデック 被検者情報取得装置および眼科システム
CN116138733B (zh) * 2022-09-01 2023-12-26 上海市第四人民医院 可视化疼痛等级评分方法及应用
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
WO2015173388A2 (en) * 2014-05-15 2015-11-19 Essilor International (Compagnie Generale D'optique) A monitoring system for monitoring head mounted device wearer
US20160077547A1 (en) * 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160034199A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 건강 관리 방법 및 장치

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP2003085289A (ja) 2001-09-13 2003-03-20 Matsushita Electric Ind Co Ltd 食生活改善支援装置
US20050216243A1 (en) 2004-03-02 2005-09-29 Simon Graham Computer-simulated virtual reality environments for evaluation of neurobehavioral performance
WO2006012678A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
US9471978B2 (en) * 2004-10-04 2016-10-18 Banner Health Methodologies linking patterns from multi-modality datasets
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8820929B2 (en) * 2006-01-20 2014-09-02 Clarity Medical Systems, Inc. Real-time measurement/display/record/playback of wavefront data for use in vision correction procedures
EP4159114B1 (en) * 2007-10-09 2024-04-10 DexCom, Inc. Integrated insulin delivery system with continuous glucose sensor
US7979380B2 (en) * 2008-02-22 2011-07-12 Applied Materials, Inc. Dynamically updated predictive model
JP2011033400A (ja) 2009-07-30 2011-02-17 Weather Service Co Ltd 環境情報提供装置、システム、方法およびプログラム
US20110124996A1 (en) 2009-11-20 2011-05-26 Roche Diagnostics Operations, Inc. Diabetes health management systems and methods
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JPWO2012081194A1 (ja) 2010-12-17 2014-05-22 パナソニック株式会社 医療支援装置、医療支援方法および医療支援システム
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
RU2621644C2 (ru) 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
WO2013085639A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
CA2858208C (en) 2011-11-23 2019-01-15 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
WO2013188464A1 (en) * 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9044171B2 (en) * 2012-06-22 2015-06-02 Fitbit, Inc. GPS power conservation using environmental data
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
KR102507206B1 (ko) 2013-01-15 2023-03-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
KR102547756B1 (ko) 2013-10-16 2023-06-23 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9504425B2 (en) 2013-12-16 2016-11-29 Verily Life Sciences Llc Method of location coordination via wireless protocol between multiple devices
US20160018653A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
EP4099274B1 (en) 2014-01-31 2024-03-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150262425A1 (en) 2014-03-13 2015-09-17 Ryan Hastings Assessing augmented reality usage and productivity
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015266586B2 (en) 2014-05-30 2020-07-23 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US9923980B2 (en) * 2014-06-27 2018-03-20 Intel Corporation Apparatus and methods for providing recommendations based on environmental data
US10368744B1 (en) * 2015-02-17 2019-08-06 Halo Wearables, Llc Baselining user profiles from portable device information
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
NZ773822A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
IL311155A (en) 2016-03-25 2024-04-01 Magic Leap Inc Virtual and augmented reality systems and methods
IL310060A (en) 2016-05-09 2024-03-01 Magic Leap Inc Augmented reality systems and methods for user health analysis
US20170364661A1 (en) * 2016-06-15 2017-12-21 International Business Machines Corporation Health monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
WO2015173388A2 (en) * 2014-05-15 2015-11-19 Essilor International (Compagnie Generale D'optique) A monitoring system for monitoring head mounted device wearer
US20160077547A1 (en) * 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160034199A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 건강 관리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590988B1 (ko) * 2023-01-06 2023-10-23 주식회사 구스랩스 아바타와 함께 운동하는 메타버스 서비스 제공 장치, 방법 및 프로그램

Also Published As

Publication number Publication date
EP3454720A4 (en) 2019-11-20
AU2017264695A1 (en) 2018-11-22
IL289757A (en) 2022-03-01
AU2017264695B2 (en) 2022-03-31
JP7021110B2 (ja) 2022-02-16
AU2022204426A1 (en) 2022-07-14
JP2022068215A (ja) 2022-05-09
US20200405257A1 (en) 2020-12-31
JP2019517849A (ja) 2019-06-27
US11617559B2 (en) 2023-04-04
KR102450362B1 (ko) 2022-10-04
KR20190005219A (ko) 2019-01-15
US10813619B2 (en) 2020-10-27
JP7333432B2 (ja) 2023-08-24
IL310060A (en) 2024-03-01
US20220015736A1 (en) 2022-01-20
KR102643105B1 (ko) 2024-03-04
CN115177208A (zh) 2022-10-14
US11071515B2 (en) 2021-07-27
CN109414164A (zh) 2019-03-01
IL262753A (en) 2018-12-31
EP3454720A1 (en) 2019-03-20
CA3023526A1 (en) 2017-11-16
WO2017196879A1 (en) 2017-11-16
CN109414164B (zh) 2022-06-14
US20170323485A1 (en) 2017-11-09
IL262753B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
US11617559B2 (en) Augmented reality systems and methods for user health analysis
US11734896B2 (en) Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US20230359910A1 (en) Artificial intelligence and/or virtual reality for activity optimization/personalization

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant