KR20230133940A - 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 - Google Patents
증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 Download PDFInfo
- Publication number
- KR20230133940A KR20230133940A KR1020237030543A KR20237030543A KR20230133940A KR 20230133940 A KR20230133940 A KR 20230133940A KR 1020237030543 A KR1020237030543 A KR 1020237030543A KR 20237030543 A KR20237030543 A KR 20237030543A KR 20230133940 A KR20230133940 A KR 20230133940A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- head
- mounted display
- image
- display
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 79
- 238000003384 imaging method Methods 0.000 title description 55
- 230000004048 modification Effects 0.000 title description 10
- 238000012986 modification Methods 0.000 title description 10
- 238000012800 visualization Methods 0.000 title description 8
- 210000001508 eye Anatomy 0.000 claims abstract description 699
- 238000012545 processing Methods 0.000 claims abstract description 265
- 230000002093 peripheral effect Effects 0.000 claims description 171
- 230000004438 eyesight Effects 0.000 claims description 65
- 210000003128 head Anatomy 0.000 claims description 63
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 abstract description 71
- 238000004891 communication Methods 0.000 abstract description 58
- 230000008447 perception Effects 0.000 abstract description 45
- 230000008859 change Effects 0.000 abstract description 37
- 230000003287 optical effect Effects 0.000 description 171
- 238000000034 method Methods 0.000 description 166
- 238000002604 ultrasonography Methods 0.000 description 117
- 230000001965 increasing effect Effects 0.000 description 105
- 230000005043 peripheral vision Effects 0.000 description 78
- 230000008569 process Effects 0.000 description 72
- 230000033001 locomotion Effects 0.000 description 71
- 230000000007 visual effect Effects 0.000 description 64
- 239000000835 fiber Substances 0.000 description 47
- 238000002595 magnetic resonance imaging Methods 0.000 description 47
- 210000001519 tissue Anatomy 0.000 description 46
- 230000002708 enhancing effect Effects 0.000 description 44
- 210000003484 anatomy Anatomy 0.000 description 41
- 238000004422 calculation algorithm Methods 0.000 description 40
- 238000001356 surgical procedure Methods 0.000 description 32
- 238000009877 rendering Methods 0.000 description 31
- 238000002591 computed tomography Methods 0.000 description 28
- 238000005259 measurement Methods 0.000 description 27
- 210000001747 pupil Anatomy 0.000 description 27
- 210000001525 retina Anatomy 0.000 description 27
- 238000002600 positron emission tomography Methods 0.000 description 26
- 239000003086 colorant Substances 0.000 description 23
- 238000013461 design Methods 0.000 description 20
- 210000002216 heart Anatomy 0.000 description 20
- 238000009826 distribution Methods 0.000 description 18
- 230000004304 visual acuity Effects 0.000 description 18
- 206010028980 Neoplasm Diseases 0.000 description 17
- 230000004308 accommodation Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 17
- 230000007423 decrease Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000010968 computed tomography angiography Methods 0.000 description 15
- 238000002347 injection Methods 0.000 description 15
- 239000007924 injection Substances 0.000 description 15
- 239000000463 material Substances 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 210000000988 bone and bone Anatomy 0.000 description 13
- 210000003127 knee Anatomy 0.000 description 13
- 210000004369 blood Anatomy 0.000 description 12
- 239000008280 blood Substances 0.000 description 12
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000004296 scotopic vision Effects 0.000 description 10
- 238000011282 treatment Methods 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 210000004204 blood vessel Anatomy 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 8
- 238000000265 homogenisation Methods 0.000 description 8
- 239000007943 implant Substances 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 238000013439 planning Methods 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 210000001367 artery Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 210000002683 foot Anatomy 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 108091008695 photoreceptors Proteins 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 230000004310 photopic vision Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 208000010392 Bone Fractures Diseases 0.000 description 4
- 230000002350 accommodative effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000004087 circulation Effects 0.000 description 4
- 238000005253 cladding Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000005406 washing Methods 0.000 description 4
- 208000003098 Ganglion Cysts Diseases 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 3
- 208000005400 Synovial Cyst Diseases 0.000 description 3
- 208000025865 Ulcer Diseases 0.000 description 3
- 238000002399 angioplasty Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 201000010260 leiomyoma Diseases 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 239000012466 permeate Substances 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 230000026676 system process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 231100000397 ulcer Toxicity 0.000 description 3
- 206010017076 Fracture Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 208000006670 Multiple fractures Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 206010046798 Uterine leiomyoma Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000011961 computed axial tomography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000002697 interventional radiology Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 210000000608 photoreceptor cell Anatomy 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 208000037259 Amyloid Plaque Diseases 0.000 description 1
- 208000022211 Arteriovenous Malformations Diseases 0.000 description 1
- 208000006820 Arthralgia Diseases 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000000592 Nasal Polyps Diseases 0.000 description 1
- 208000028389 Nerve injury Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010040943 Skin Ulcer Diseases 0.000 description 1
- 208000020339 Spinal injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004480 accommodation of the lens Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005744 arteriovenous malformation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 208000013355 benign neoplasm of brain Diseases 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 239000002639 bone cement Substances 0.000 description 1
- 230000005821 brain abnormality Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000010109 chemoembolization Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000001112 coagulating effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013154 diagnostic monitoring Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000010102 embolization Effects 0.000 description 1
- 231100000317 environmental toxin Toxicity 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000001631 haemodialysis Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000322 hemodialysis Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 238000013150 knee replacement Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000003715 limbic system Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000036649 mental concentration Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 230000007433 nerve pathway Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 210000004789 organ system Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007674 radiofrequency ablation Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 231100000019 skin ulcer Toxicity 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002537 thrombolytic effect Effects 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 208000010579 uterine corpus leiomyoma Diseases 0.000 description 1
- 201000007954 uterine fibroid Diseases 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000006496 vascular abnormality Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Abstract
디스플레이 시스템은, 사용자의 눈에 광을 투사하여 증강 현실 이미지 콘텐츠를 사용자에게 디스플레이하도록 구성된 머리-장착 디스플레이를 포함할 수 있다. 디스플레이 시스템은, 사용자를 감지하도록 구성된 하나 이상의 사용자 센서들을 포함할 수 있으며 사용자의 주변을 감지하도록 구성된 하나 이상의 환경 센서들을 포함할 수 있다. 디스플레이 시스템은 또한, 디스플레이, 하나 이상의 사용자 센서들 및 하나 이상의 환경 센서들과 통신하는 프로세싱 전자장치를 포함할 수 있다. 프로세싱 전자장치는, 사용자 포커스를 수반하는 상황을 감지하고, 상황에 대한 사용자 의도를 결정하고, 그리고 사용자 의도 그리고/또는 사용자 포커스를 수반하는 감지된 상황에 적어도 부분적으로 기반하여, 사용자의 시계 내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성될 수 있다. 프로세싱 전자장치는 사용자의 시계 내의 실제 또는 가상 오브젝트의 사용자 지각을 향상시키는 것 또는 경시하는(de-emphasize) 것 중 적어도 하나를 위해 구성될 수 있다.
Description
[0001]
본 출원은 2016년 7월 25일에 출원된 미국 가출원번호 제62/366,599호; 2016년 9월 16일에 출원된 미국 가출원번호 제62/396,071호; 및 2016년 12월 29일에 출원된 미국 가출원번호 제62/440,332호의 우선권을 35 U.S.C. 119(e) 하에서 주장한다. 이들 우선권 문헌들 각각의 전체 개시내용은 인용에 의해 본원에 통합된다.
[0002]
본 출원은 이하의 특허 출원들 각각의 전체를 인용에 의해 통합한다: 2016년 7월 25일에 출원된 미국 가출원번호 제62/366,555호; 2016년 6월 20일에 출원된 미국 가출원 번호 제62/352,539호; 및 2016년 5월 9일에 출원된 미국 가출원번호 제62/333,734호; 2014년 3월 14일에 출원된 미국 출원번호 제14/212,961호; 2014년 7월 14일에 출원된 미국 출원번호 제14/331,218호; 2016년 3월 16일에 출원된 미국 출원번호 제15/072,290호; 및 2016년 2월 11일에 출원된 미국 가출원 번호 제62/294,147호.
[0003]
본 개시내용은 디스플레이 시스템들, 더욱 구체적으로는 증강 현실 디스플레이 시스템들에 관한 것이다.
[0004]
현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털 방식으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제공된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency) 없는 디지털 또는 가상 이미지 정보의 제공(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 전형적으로 사용자 주위의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 제공을 수반한다. 혼합 현실, 또는 "MR" 시나리오는 AR 시나리오의 타입이며, 전형적으로 자연계(natural world)에 통합되고 자연계에 반응하는 가상 오브젝트들을 수반한다. 예컨대, MR 시나리오에서, AR 이미지 콘텐츠는 실세계의 오브젝트들에 의해 블록킹되거나 또는 그렇지 않으면 그 오브젝트들과 상호작용하는 것으로 지각될 수 있다.
[0005]
도 1a을 참조하면, 증강 현실 장면(scene)(1)이 묘사되는데, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅(1100)를 본다. 이들 아이템들 외에도, AR 기술의 사용자는 또한, 그가 "가상 콘텐츠", 이를테면 실세계 플랫폼(1120) 상에 서있는 로봇 동상(1110), 및 호박벌의 의인화된 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(1130)를 보는 것을 지각하는데 반해, 이들 엘리먼트들(1130, 1110)은 실세계에 존재하지 않는다. 인간 시각적 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 제공을 가능하게 하는 AR 기술을 만드는 것은 난제이다.
[0006]
본원에서 개시된 시스템들 및 방법들은 AR 및 VR 기술과 관련된 다양한 난제들을 처리한다.
[0007]
본 개시내용은 디스플레이 시스템들의 다양한 예들을 제공한다. 이러한 예들은 이하의 예들을 포함하나 이들에 제한되지 않는다.
1.
사용자의 시계(vision field)에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 디스플레이 시스템으로서,
머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 사용자의 눈으로부터의 상이한 거리들로부터 투사되는 것처럼 상이한 발산량들로 사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰(view)를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 주변들을 감지하도록 구성된 하나 이상의 환경 센서들,
디스플레이 및 하나 이상의 환경 센서들과 통신하는 프로세싱 전자장치(processing electronics)를 포함하며;
프로세싱 전자장치는,
증가된 사용자 포커스를 수반하는 상황을 감지하며, 그리고
증가된 포커스를 감지하는 것에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각(user perception)을 변경하도록 구성된다.
2.
예 1의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 오브젝트를 포함하는 이미지 콘텐츠를 변경함으로써 사용자의 시계내의 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
3.
예 1 또는 예 2의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 제1 위치로부터 제2 위치로 오브젝트를 이동시킴으로써 오브젝트의 사용자 지각을 변경하도록 구성된다.
4.
예 3의 디스플레이 시스템에 있어서, 제1 위치는 주변 구역이고 제2 위치는 중앙 구역이거나, 또는 제1 위치는 중앙 구역이고 제2 위치는 주변 구역이다.
5.
예 2 내지 예 4 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 이미지 콘텐츠를 변경하는 것은 오브젝트를 포함하는 이미지 콘텐츠의 콘트라스트, 불투명도, 컬러, 컬러 포화도, 컬러 밸런스, 사이즈, 밝기, 에지들 또는 선명도 중 적어도 하나를 변경하는 것을 포함한다.
6.
예 1 내지 예 5 중 어느 한 예의 디스플레이 시스템에 있어서, 사용자에게 경고를 제공하도록 추가로 구성된다.
7.
예 6의 디스플레이 시스템에 있어서, 경고는 시각적 경고 또는 오디오 경고이다.
8.
예 1 내지 예 7 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 환경 센서들은 깊이 센서, 한 쌍의 양안 세계 카메라들, 지오로케이션 센서, 근접 센서 또는 GPS를 포함한다.
9.
예 1 내지 예 8 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자를 감지하도록 구성된 하나 이상의 사용자 센서들을 더 포함하며, 상기 프로세싱 전자장치는 상기 하나 이상의 사용자 센서들과 통신한다.
10.
예 9의 디스플레이 시스템에 있어서, 하나 이상의 사용자 센서들은 하나 이상의 카메라들을 포함한다.
11.
예 1 내지 예 10 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이는 회절 광학 엘리먼트들을 포함하는 도파관을 포함하며, 회절 광학 엘리먼트들은 도파관 밖으로 광을 추출함으로써 광을 출력하도록 구성되며, 도파관은 도파관들의 스택 중 하나의 도파관이며, 도파관들의 스택 중 상이한 도파관들은 상이한 파면 발산을 가진 광을 출력하도록 구성된다.
12.
예 1 내지 예 11 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상황에 대한 사용자 의도를 결정하고, 상기 결정된 의도에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 추가로 구성된다.
13.
예 1 내지 예 12 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상황에 대한 사용자 의도를 결정하고, 증가된 포커스를 감지하는 것에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 추가로 구성된다.
14.
예 1 내지 예 13 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 환경 센서는 라디오 신호를 검출하도록 구성된 센서를 포함한다.
15.
예 1 내지 예 14 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 환경 센서는 오토모빌(automobile)로부터의 블루투스 신호를 검출하도록 구성된 센서를 포함한다.
16.
예 1 내지 예 15 중 어느 한 예의 디스플레이 시스템에 있어서, 증가된 사용자 포커스를 수반하는 상기 상황은 자동차를 운전하는 것을 포함한다.
17.
예 16의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치는 사용자에 관한 하나 이상의 데이터 레코드들에 적어도 부분적으로 기반하여 사용자의 시계내의 상기 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성되며, 상기 하나 이상의 데이터 레코드들은 상기 사용자의 운전 레코드를 포함한다.
18.
예 1 내지 예 17 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 배경을 변경함으로써 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
19.
예 18의 디스플레이 시스템에 있어서, 배경을 변경하는 것은 배경의 균질화를 증가시켜서 배경내의 가시적인 피처들을 감소시키는 것을 포함한다.
20.
예 19의 디스플레이 시스템에 있어서, 배경의 균질화를 증가시키는 것을 배경내의 피처들을 워싱 아웃(washing out)하거나 또는 덧칠하는 것(painting over)을 포함한다.
21.
예 18 내지 예 20 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 배경내의 광의 세기를 증가시킴으로써 배경을 변경하도록 구성된다.
22.
예 1 내지 예 21 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 광의 세기를 증가시키도록 구성된다.
23.
예 1 내지 예 22 중 어느 한 예의 디스플레이 시스템에 있어서, 사용자의 시계내의 오브젝트에 대한 사용자 지각을 변경하는 것은 오브젝트를 강조 표시하는 것을 포함한다.
24.
예 23의 디스플레이 시스템에 있어서, 오브젝트를 강조 표시하는 것은 오브젝트 위에 부분적으로 투명한 컬러를 중첩하는 것(superimposing)을 포함한다.
25.
예 1 내지 예 24 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 디스플레이 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
27.
예 25의 디스플레이 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
28.
예 25 내지 예 27 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터(fiber scanning projector)를 포함한다.
29.
예 1 내지 예 28 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 하나 이상의 환경 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 시스템들을 포함한다.
30.
예 1 내지 예 29의 디스플레이 시스템에 있어서, 상기 환경 센서들은 하나 이상의 외향 카메라들을 포함한다.
31.
예1 내지 예 30 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 환경 센서들은 거리 측정 시스템을 포함한다.
32.
예 31의 디스플레이 시스템에 있어서, 상기 거리 측정 시스템은 레이저 거리 측정기를 포함한다.
33.
예 1 내지 예 32 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 시스템을 더 포함한다.
34.
예 1 내지 예 33 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 시스템들을 더 포함한다.
35.
예 1 내지 예 34 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 제2 부분에 제공되는 이미지 콘텐츠와 비교하여 사용자의 시계의 적어도 제1 부분에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
36.
예 1 내지 예 35 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여 사용자의 시계의 상기 주변 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
37.
예 1 내지 예 37 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 사용자 지각을 변경하는 것은 향상시키는 것(enhancing) 또는 경시하는 것(de-emphasizing)을 포함한다.
38.
예 37의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 이미지 콘텐츠를 확대하는 것을 포함한다.
39.
예 37 또는 예 38의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 밝기를 변경하는 것을 포함한다.
40.
예 37 내지 예 39 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 밝기를 증가시키는 것을 포함한다.
41.
예 37 내지 예 40 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 밝기를 감소시키는 것을 포함한다.
42.
예 37 내지 예 41 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 밝기를 증가시키는 것을 포함한다.
43.
예 37 내지 예 42 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 콘트라스트를 변경하는 것을 포함한다.
44.
예 37 내지 예 43 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 콘트라스트를 증가시키는 것을 포함한다.
45.
예 37 내지 예 44 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 콘트라스트를 감소시키는 것을 포함한다.
46.
예 37 내지 예 45 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 컬러 포화도를 변경하는 것을 포함한다.
47.
예 37 내지 예 46 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 컬러 포화도를 증가시키는 것을 포함한다.
48.
예 37 내지 예 47 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 컬러 포화도를 감소시키는 것을 포함한다.
49.
예 37 내지 예 48 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 선명도를 변경하는 것을 포함한다.
50.
예 37 내지 예 49 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 선명도를 증가시키는 것을 포함한다.
51.
예 37 내지 예 50 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 선명도를 감소시키는 것을 포함한다.
52.
예 37 내지 예 51 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 불투명도를 변경하는 것을 포함한다.
53.
예 37 내지 예 52 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 불투명도를 증가시키는 것을 포함한다.
54.
예 37 내지 예 53 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 불투명도를 감소시키는 것을 포함한다.
55.
예 37 내지 예 54 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 불투명도를 증가시키는 것을 포함한다.
56.
예 37 내지 예 55 중 어느 한 예의 디스플레이 시스템에 있어서, 향상시키는 것은 에지 향상 피처들을 포함한다.
57.
예 37 내지 예 56 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 컬러 밸런스를 시프팅하는 것을 포함한다.
1.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 디스플레이 시스템으로서,
머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하며 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들,
사용자의 눈이 어디를 보고 있는지를 결정하도록 구성된 하나 이상의 눈 추적 센서들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이, 상기 외향 카메라 및 상기 눈 추적 센서들과 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며,
눈이 지향되는 오브젝트를 결정하며, 그리고
눈이 지향되는 오브젝트의 렌더링을 향상시키는 것 또는 눈이 지향되는 오브젝트를 둘러싸는 하나 이상의 피처들을 경시하는 것 중 적어도 하나를 수행하도록 구성된다.
2.
예 1의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 디스플레이상에 오브젝트를 디스플레이하고 오브젝트의 렌더링을 향상시키도록 구성된다.
3.
예 1 또는 예 2의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 오브젝트를 둘러싸는 상기 하나 이상의 피처들을 디스플레이상에 디스플레이하고 디스플레이상에 렌더링될 때 눈이 지향되는 오브젝트를 둘러싸는 상기 하나 이상의 피처들을 경시하도록 구성된다.
4.
예 1 내지 예 3 중 어느 한 예의 디스플레이 시스템에 있어서, 오브젝트를 둘러싸는 상기 하나 이상의 피처들은 사용자 및 머리-장착 디스플레이 시스템의 전방의 환경의 실제 피처들을 포함하며, 프로세싱 전자장치는 눈이 지향되는 오브젝트를 둘러싸는 상기 하나 이상의 실제 피처들을 경시하도록 구성된다.
5.
예 4의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방의 환경의 상기 하나 이상의 실제 피처들이 사용자의 눈에 덜 띄도록, 눈으로 지향되는 광의 세기를 증가시킴으로써 눈이 지향되는 오브젝트를 둘러싸는 상기 하나 이상의 실제 피처들을 경시하도록 구성된다.
6.
예 1 내지 예 4 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방의 환경의 피처들이 사용자의 눈에 덜 띄도록 눈에 투사되는 광의 세기를 증가시키도록 구성된다.
7.
예 1 내지 예 6 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은 상기 투명 부분을 통해 환경의 뷰의 밝기, 가시성, 선명도 또는 콘트라스트를 감소시키는 것 또는 상기 투명 부분을 통해 환경의 컬러를 변경하는 것 중 하나 이상을 포함한다.
8.
예 1 내지 예 7 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는, 상기 디스플레이상에 이미지들을 디스플레이하는 것에 의한 것 외에, 사용자 및 머리-장착 디스플레이의 전방의 환경의 피처들이 사용자의 눈에 덜 띄도록 눈에 투사되는 광의 세기를 증가시키도록 구성된다.
9.
예 1 내지 예 8 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은 상기 투명 부분을 통해 환경의 뷰를 감쇠시키기 위하여 불투명도를 증가시키는 것을 포함한다.
10.
예 1 내지 예 9 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은, 상기 디스플레이 상에 이미지들을 디스플레이하는 것에 의한 것 외에, 상기 투명 부분을 통해 환경의 뷰의 밝기, 가시성, 선명도 또는 콘트라스트를 감소시키는 것 또는 상기 투명 부분을 통해 환경의 컬러를 변경하는 것 중 하나 이상을 포함한다.
11.
예 1 내지 예 10 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은, 상기 디스플레이 상에 이미지들을 디스플레이하는 것에 의한 것 외에, 상기 투명 부분을 통해 환경의 뷰를 감쇠시키기 위하여 불투명도를 증가시키는 것을 포함한다.
12.
예 1 내지 예 11 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 배경을 변경함으로써 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
13.
예 12의 디스플레이 시스템에 있어서, 배경을 변경하는 것은 배경의 균질화를 증가시켜서 배경내의 가시적인 피처들을 감소시키는 것을 포함한다.
14.
예 13의 디스플레이 시스템에 있어서, 배경의 균질화를 증가시키는 것은 배경내의 피처들을 워싱 아웃하거나 또는 덧칠하는 것을 포함한다.
15.
예 12 내지 예 14 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 배경내의 광의 세기를 증가시킴으로써 배경을 변경하도록 구성된다.
16.
예 1 내지 예 15 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성된다.
17.
예 1 내지 예 16 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성된다.
18.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 디스플레이 시스템으로서,
머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며,
이미지 콘텐츠의 렌더링을 향상시키는 것 또는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하는 것 중 적어도 하나를 수행하도록 구성되며;
상기 향상시키는 것은 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도 또는 선명도를 증가시키는 것, 디스플레이에 의해 디스플레이되는 다른 이미지 콘텐츠에 비해 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런스를 강조 표시하는 것 또는 변경하는 것 중 하나 이상을 포함하며; 그리고
상기 경시하는 것은 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도 또는 선명도를 감소시키는 것, 또는 디스플레이에 의해 디스플레이되는 다른 이미지 콘텐츠에 비해 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런스를 변경하는 것 중 하나 이상을 포함한다.
19.
예 18의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성된다.
20.
예 18 또는 예 19의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성된다.
21.
예 18 내지 예 20 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 디스플레이에 의해 디스플레이되는 주변 이미지 콘텐츠에 비해, 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성된다.
22.
예 18 내지 예 21 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 경시된 이미지 콘텐츠에 의해 둘러싸이는, 디스플레이에 의해 디스플레이되는 이미지 콘텐츠에 비해, 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성된다.
23.
예 18 내지 예 22 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들을 더 포함한다.
24.
예 18 내지 예 23 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자의 눈이 어디를 보고 있는지를 결정하도록 구성된 하나 이상의 눈 추적 센서들을 더 포함한다.
25.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들,
상기 디스플레이 및 상기 외향 카메라들과 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며,
하나 이상의 외향 카메라들로부터 수신된 이미지들에 오브젝트 인식을 적용함으로써 사용자의 환경의 하나 이상의 오브젝트들을 인식하며, 그리고
상기 오브젝트 인식에 기반하여, 이미지 콘텐츠의 렌더링을 향상시키는 것 또는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하는 것 중 적어도 하나를 수행하도록 구성되며;
상기 향상시키는 것은 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도 또는 선명도를 증가시키는 것, 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런스를 강조 표시하는 것 또는 변경하는 것 중 하나 이상을 포함하며; 그리고
상기 경시하는 것은 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도 또는 선명도를 감소시키는 것, 또는 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런스를 변경하는 것 중 하나 이상을 포함한다.
26.
예 25의 디스플레이 시스템에 있어서, 상기 하나 이상의 외향 카메라는 프레임 상에 배치된다.
27.
예 25 또는 예 26의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성된다.
28.
예 25 내지 예 27 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성된다.
29.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들,
상기 디스플레이 및 상기 외향 카메라들과 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며,
하나 이상의 외향 카메라들로부터 수신된 이미지들에 오브젝트 인식을 적용함으로써 사용자의 환경의 하나 이상의 오브젝트들을 인식하며, 그리고
상기 오브젝트 인식에 기반하여, 상기 투명 부분을 통해 사용자의 눈으로의 사용자의 전방의 상기 환경의 뷰의 적어도 일부를 경시하도록 구성된다.
30.
예 29의 디스플레이 시스템에 있어서, 상기 경시하는 것은 상기 투명 부분을 통해 환경의 뷰의 밝기, 가시성, 선명도 또는 콘트라스트를 감소시키는 것 또는 상기 투명 부분을 통해 환경의 컬러를 변경하는 것 중 하나 이상을 포함한다.
31.
예 29 또는 예 30의 디스플레이 시스템에 있어서, 상기 경시하는 것은 상기 투명 부분을 통해 환경의 뷰를 감쇠시키기 위하여 불투명도를 증가시키는 것을 포함한다.
32.
예 29 내지 예 31 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은, 상기 디스플레이 상에 이미지들을 디스플레이하는 것에 의한 것 외에, 상기 투명 부분을 통해 환경의 뷰의 밝기, 가시성, 선명도 또는 콘트라스트를 감소시키는 것 또는 상기 투명 부분을 통해 환경의 컬러를 변경하는 것 중 하나 이상을 포함한다.
33.
예 29 내지 예 32 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 경시하는 것은, 상기 디스플레이 상에 이미지들을 디스플레이하는 것에 의한 것 외에, 상기 투명 부분을 통해 환경의 뷰를 감쇠시키기 위하여 불투명도를 증가시키는 것을 포함한다.
34.
예 29 내지 예 33 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 배경을 변경함으로써 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
35.
예 34의 디스플레이 시스템에 있어서, 배경을 변경하는 것은 배경의 균질화를 증가시켜서 배경내의 가시적인 피처들을 감소시키는 것을 포함한다.
36.
예 35의 디스플레이 시스템에 있어서, 배경의 균질화를 증가시키는 것을 배경내의 피처들을 워싱 아웃하거나 또는 덧칠하는 것을 포함한다.
37.
예 29 내지 예 36 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 배경내의 광의 세기를 증가시킴으로써 배경을 변경하도록 구성된다.
38.
예 29 내지 예 37 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 광의 세기를 증가시키도록 구성된다.
39.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
사용자의 환경을 감지하기 위한 하나 이상의 외향 센서들,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이, 및 사용자에 관한 데이터 레코드들을 포함하는 하나 이상의 저장 시스템과 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며, 그리고
사용자에 관한 상기 하나 이상의 데이터 레코드들 및 상기 하나 이상의 외향 센서들로부터의 출력에 기반하여, 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
40.
예 39의 디스플레이 시스템에 있어서, 상기 하나 이상의 외향 센서들은 프레임상에 배치되는 하나 이상의 외향 카메라들을 포함한다.
41.
예 39 또는 예 40의 디스플레이 시스템에 있어서, 상기 하나 이상의 외향 카메라들은 사용자의 환경의 오브젝트들을 이미징하도록 구성되며, 상기 프로세싱 전자장치는 하나 이상의 외향 카메라들로부터 수신된 이미지들에 오브젝트 인식을 적용함으로써 사용자의 환경에서 하나 이상의 오브젝트들을 인식하고, 그리고 상기 오브젝트 인식에 기반하여, 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
42.
예 39 내지 예 41 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치는 사용자 포커스를 수반하는 상황을 감지하고, 상황에 대한 사용자 의도를 결정하며, 그리고 상기 사용자 의도에 적어도 부분적으로 기반하여, 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성된다.
43.
예 39 내지 예 42 중 어느 한 예의 디스플레이 시스템에 있어서, 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하는 것은 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 향상시키는 것 또는 경시하는 것 중 적어도 하나를 포함한다.
44.
예 39 내지 예 43 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 하나 이상의 외향 카메라들은 사용자의 환경의 오브젝트들을 이미징하도록 구성되며, 상기 프로세싱 전자장치는 하나 이상의 외향 카메라들로부터 수신된 이미지들에 오브젝트 인식을 적용함으로써 사용자의 환경에서 하나 이상의 오브젝트들을 인식하고, 그리고 상기 오브젝트 인식에 기반하여, 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 향상시키는 것 또는 경시하는 것 중 적어도 하나를 수행하도록 구성된다.
45.
예 39 내지 예 44 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 데이터 레코드는 사용자의 운전 레코드를 포함한다.
46.
예 45의 디스플레이 시스템에 있어서, 상기 데이터 레코드는 사용자가 운전 위반들을 했는지 여부를 포함한다.
47.
예 45 또는 예 46의 디스플레이 시스템에 있어서, 상기 데이터 레코드는 사용자의 나이 및 사용자가 10대 운전자인지 여부 중 적어도 하나를 포함한다.
48.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들,
상기 디스플레이 및 상기 외향 카메라들과 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며,
하나 이상의 외향 카메라들로부터 수신된 이미지들에 오브젝트 인식을 적용함으로써 사용자의 환경의 하나 이상의 오브젝트들을 인식하며, 그리고
상기 오브젝트 인식에 기반하여, 상기 투명 부분을 통해 사용자의 눈으로의 사용자의 전방의 상기 환경의 뷰의 적어도 일부를 강조 표시하도록 구성된다.
49.
예 48의 머리-장착 디스플레이 시스템에 있어서, 오브젝트를 강조 표시하는 것은 오브젝트 위에 부분적으로 투명한 컬러를 중첩하는 것을 포함한다.
50.
예 48 또는 예 49의 머리-장착 디스플레이 시스템에 있어서, 오브젝트를 강조 표시하는 것은 상기 하나 이상의 외향 카메라들로부터의 이미지들을 디스플레이하는 것에 의한 것 외에 오브젝트를 강조 표시하는 것을 포함한다.
[0008]
51.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트를 이미징하도록 구성된 외향 카메라;
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이 및 상기 외향 카메라와 통신하는 프로세싱 전자장치를 포함하며;
프로세싱 전자장치는,
사용자가 차량을 동작하고 있음을 결정하고, 그리고
사용자의 시계의 오브젝트를 향상시키도록 구성된다.
52.
예 51의 디스플레이 시스템에 있어서, 사용자의 시계의 오브젝트를 향상시키는 것은 사용자의 시계의 제1 위치로부터 제2 위치로 오브젝트의 이미지 콘텐츠를 이동시키는 것을 포함한다.
53.
예 51 또는 예 52의 디스플레이 시스템에 있어서, 사용자의 시계의 오브젝트를 향상시키는 것은 향상 없이 오브젝트의 오리지널 컬러에 대하여 오브젝트의 지각된 컬러를 변경하는 것을 포함한다.
54.
예 51 내지 예 53 중 어느 한 예의 디스플레이 시스템에 있어서, 사용자의 시계의 오브젝트를 향상시키는 것은 디스플레이된 이미지 콘텐츠의 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도 또는 선명도를 증가시키는 것 중 하나 이상을 포함한다.
55.
예 51 내지 예 54 중 어느 한 예의 디스플레이 시스템에 있어서, 사용자의 시계의 오브젝트를 향상시키는 것은 오브젝트 위에 복수의 투명 컬러를 중첩함으로써 오브젝트를 강조 표시하는 것을 포함한다.
56.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임;
하나 이상의 사용자 레코드들을 포함하도록 구성된 데이터베이스;
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―; 및
상기 디스플레이 및 상기 데이터베이스와 통신하는 프로세싱 전자장치를 포함하며,
상기 프로세싱 전자장치는 하나 이상의 사용자 레코드들에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키도록 구성된다.
57.
예 56의 디스플레이 시스템에 있어서, 하나 이상의 사용자 레코드들은 운전 레코드, 사고 레코드, 인용(citation) 레코드, 학업 수행(school performance) 레코드, 범죄 레코드 또는 구속 레코드 중 적어도 하나를 포함한다.
58.
예 56 또는 예 57의 디스플레이 시스템에 있어서, 하나 이상의 사용자 레코드들은 사용자의 나이를 포함한다.
59.
예 56 내지 예 58 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 사용자 레코드들에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키는 것은 디스플레이된 이미지 콘텐츠에 대한 사용자 액세스를 선택적으로 가능하게 하는 것을 포함한다.
60.
예 56 내지 예 59 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 사용자 레코드들에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키는 것은 이미지 콘텐츠를 디스플레이하지 않는 것을 포함한다.
61.
예 56 내지 예 59 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 사용자 레코드들에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키는 것은 실질적으로 이미지 콘텐츠를 디스플레이하지 않는 것을 포함한다.
62.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―, 및
상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
프로세싱 전자장치는,
차량의 프로세서와 설정된 통신 링크에 적어도 부분적으로 기반하여 사용자가 차량에 더 근접해 있음을 결정하며, 그리고
설정된 통신 링크에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키도록 구성된다.
63.
예 62의 머리-장착 디스플레이 시스템에 있어서, 사용자가 차량에 근접해 있음을 결정하는 것은 라디오 주파수 신호 또는 적외선 신호를 전송하는 것 및/또는 수신하는 것 중 적어도 하나를 포함한다.
64.
예 62의 머리-장착 디스플레이 시스템에 있어서, 사용자가 차량에 근접해 있음을 결정하는 것은 라디오 주파수 신호를 전송하는 것 및/또는 수신하는 것 중 적어도 하나를 포함한다.
65.
예 62의 머리-장착 디스플레이 시스템에 있어서, 사용자가 차량에 근접해 있음을 결정하는 것은 무선 신호를 전송하는 것 및/또는 수신하는 것 중 적어도 하나를 포함한다.
66.
예 62의 머리-장착 디스플레이 시스템에 있어서, 사용자가 차량에 근접해 있음을 결정하는 것은 블루투스 신호를 전송하는 것 및/또는 수신하는 것 중 적어도 하나를 포함한다.
67.
예 62 또는 예 66의 머리-장착 디스플레이 시스템에 있어서, 설정된 통신 링크에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키는 것은 어느 이미지 콘텐츠도 디스플레이하지 않는 것을 포함한다.
68.
예 62 또는 예 66의 머리-장착 디스플레이 시스템에 있어서, 설정된 통신 링크에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키는 것은 실질적으로 어느 이미지 콘텐츠도 디스플레이하지 않는 것을 포함한다.
69.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 머리-장착 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트를 이미징하도록 구성된 외향 카메라,
오브젝트의 하나 이상의 포지션들을 식별하도록 구성된 환경 센서, 및
상기 디스플레이, 상기 외향 카메라들 및 상기 환경 센서와 통신하는 프로세싱 전자장치를 포함하며,
프로세싱 전자장치는,
사용자가 차량을 동작하고 있는지 여부를 결정하고;
차량이 오브젝트와 충돌하는 것 및 오브젝트가 차량과 충돌하는 것 중 적어도 하나의 충돌의 위험요소를 결정하며; 그리고
결정된 위험요소에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키도록 구성된다.
70.
예 69의 머리-장착 디스플레이 시스템에 있어서, 충돌 위험요소를 결정하는 것은 환경 센서에 의해 식별된 오브젝트의 하나 이상의 포지션들에 기반하여 오브젝트 및 차량이 근접해지는 레이트(rate)를 결정하는 것을 포함한다.
71.
예 69 또는 예 70의 머리-장착 디스플레이 시스템에 있어서, 오브젝트의 하나 이상의 포지션들을 식별하도록 구성된 상기 환경 센서는 레이저 거리 측정기, LIDAR, 레이더 거리 측정기 또는 초음파 레인징 디바이스(ultrasonic ranging device) 중 적어도 하나를 포함한다.
72.
사용자의 시계에 증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 머리-장착 디스플레이 시스템은,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 및 상기 머리-장착 디스플레이 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
사용자의 환경의 오브젝트를 이미징하도록 구성된 외향 카메라, 및
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이 및 상기 외향 카메라와 통신하는 프로세싱 전자장치를 포함하며;
상기 프로세싱 전자장치는,
사용자가 차량을 동작하고 있음을 결정하고,
사용자의 눈으로부터의 상이한 거리들로부터 투사되는 것처럼 상이한 발산량들로 상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하며, 그리고
사용자가 차량을 동작하고 있다는 결정에 기반하여 디스플레이된 이미지 콘텐츠의 양을 감소시키도록 구성된다.
[0009]
앞의 예들 중 임의의 것은 이하의 예들 중 임의의 것을 생성하기 위하여 이하에서 기재된 특징들 중 어느 하나 이상을 포함할 수 있다.
73.
예 1 내지 예 72 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 오브젝트를 포함하는 이미지 콘텐츠를 변경함으로써 사용자의 시계내의 가상 오브젝트의 사용자 지각을 변경하도록 구성될 수 있다.
74.
예 73의 디스플레이 시스템에 있어서, 이미지 콘텐츠를 변경하는 것은 오브젝트를 포함하는 이미지 콘텐츠의 콘트라스트, 불투명도, 컬러, 컬러 포화도, 컬러 밸런스, 사이즈, 밝기, 에지들 또는 선명도 중 적어도 하나를 변경하는 것을 포함한다.
75.
예 1 내지 예 74 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 제1 위치로부터 제2 위치로 오브젝트를 이동시킴으로써 오브젝트의 사용자 지각을 변경하도록 구성될 수 있다.
76.
예 75의 디스플레이 시스템에 있어서, 제1 위치는 주변 구역이고 제2 위치는 중앙 구역이거나, 또는 제1 위치는 중앙 구역이고 제2 위치는 주변 구역이다.
77.
예 1 내지 예 76 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에게 경고를 제공하도록 추가로 구성된다.
78.
예 77의 디스플레이 시스템에 있어서, 경고는 시각적 경고 또는 오디오 경고이다.
79.
예1 내지 예 78 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 하나 이상의 환경 센서들을 더 포함한다.
80.
예 1 내지 예 79 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 환경 센서들은 깊이 센서, 한 쌍의 양안 세계 카메라들, 지오로케이션 센서, 근접 센서 또는 GPS를 포함한다.
81.
예1 내지 예 79 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 하나 이상의 사용자 센서들을 포함한다.
82.
예 1 내지 예 81 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 사용자 센서들은 하나 이상의 카메라들을 포함한다.
83.
예 1 내지 예 82 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이는 회절 광학 엘리먼트들을 포함하는 도파관을 포함하며, 회절 광학 엘리먼트들은 도파관 밖으로 광을 추출함으로써 광을 출력하도록 구성되며, 도파관은 도파관들의 스택 중 하나의 도파관이며, 도파관들의 스택 중 상이한 도파관들은 상이한 파면 발산을 가진 광을 출력하도록 구성된다.
84.
예 1 내지 예 83 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상황에 대한 사용자 의도를 결정하고, 결정된 사용자 의도에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 추가로 구성된다.
85.
예 1 내지 예 84 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 상황에 대한 사용자 의도를 결정하고, 증가된 포커스를 감지하는 것에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 추가로 구성된다.
86.
예 1 내지 예 85 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 환경 센서는 라디오 신호를 검출하도록 구성된 센서를 포함한다.
87.
예 1 내지 예 86 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 환경 센서는 오토모빌로부터의 블루투스 신호를 검출하도록 구성된 센서를 포함한다.
88.
예 1 내지 예 87 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치는 사용자가 자동차를 운전하고 있는지 여부를 결정하도록 구성된다.
89.
예 1 내지 예 88 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치는 사용자에 관한 하나 이상의 데이터 레코드들에 적어도 부분적으로 기반하여 사용자의 시계내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성되며, 상기 하나 이상의 데이터 레코드들은 상기 사용자의 운전 레코드를 포함한다.
90.
예 1 내지 예 89 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 배경을 변경하도록 구성된다.
91.
예 90의 디스플레이 시스템에 있어서, 배경을 변경하는 것은 배경의 균질화를 증가시켜서 배경내의 가시적인 피처들을 감소시키는 것을 포함한다.
92.
예 91의 디스플레이 시스템에 있어서, 배경의 균질화를 증가시키는 것은 배경을 워싱 아웃하거나 또는 덧칠하는 것을 포함한다.
93.
예 1 내지 예 92 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 배경내의 광의 세기를 증가시킴으로써 배경을 변경하도록 구성된다.
94.
예 1 내지 예 93 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 사용자 및 머리-장착 디스플레이의 전방에 있는 환경내의 피처들이 사용자의 눈에 덜 띄도록 광의 세기를 증가시키도록 구성된다.
95.
예 1 내지 예 94 중 어느 한 예의 디스플레이 시스템에 있어서, 프로세싱 전자장치는 오브젝트를 강조 표시함으로써 사용자의 시계내의 오브젝트의 사용자 지각을 변경하도록 구성된다.
96.
예 95의 디스플레이 시스템에 있어서, 오브젝트를 강조 표시하는 것은 오브젝트 위에 부분적으로 투명한 컬러를 중첩하는 것을 포함한다.
97.
예 1 내지 예 96 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
98.
예 97의 디스플레이 시스템에 있어서, 상기 하나 이상의 광원들은 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
99.
예 97 또는 예 98의 디스플레이 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
100.
예 1 내지 예 99 중 어느 한 예의 디스플레이 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
101.
예1 내지 예 100 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
102.
예 101의 디스플레이 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 시스템들을 포함한다.
103.
예 102의 디스플레이 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 시스템들은 하나 이상의 외향 카메라들을 포함한다.
104.
예101 내지 예 103 중 어느 한 예의 디스플레이 시스템에 있어서, 하나 이상의 센서들은 거리 측정 시스템을 포함한다.
105.
예 104의 디스플레이 시스템에 있어서, 상기 거리 측정 시스템은 레이저 거리측정기를 포함한다.
106.
예 1 내지 예 105 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 시스템을 더 포함한다.
107.
예 1 내지 예 106 중 어느 한 예의 디스플레이 시스템에 있어서, 디스플레이 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 시스템들을 더 포함한다.
108.
예 1 내지 예 107 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 제2 부분에 제공되는 이미지 콘텐츠와 비교하여 사용자의 시계의 적어도 제1 부분에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
109.
예 1 내지 예 108 중 어느 한 예의 디스플레이 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여 사용자의 시계의 상기 주변 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
110.
예 1 내지 예 109 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 이미지 콘텐츠를 확대하는 것을 포함한다.
111.
예 1 내지 예 110 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 밝기를 변경하는 것을 포함한다.
112.
예 1 내지 예 111 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 밝기를 증가시키는 것을 포함한다.
113.
예 1 내지 예 112 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 밝기를 감소시키는 것을 포함한다.
114.
예 1 내지 예 113 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 밝기를 증가시키는 것을 포함한다.
115.
예 1 내지 예 114 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 콘트라스트를 변경하는 것을 포함한다.
116.
예 1 내지 예 115 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 콘트라스트를 증가시키는 것을 포함한다.
117.
예 1 내지 예 116 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 콘트라스트를 감소시키는 것을 포함한다.
118.
예 1 내지 예 117 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 컬러 포화도를 변경하는 것을 포함한다.
119.
예 1 내지 예 118 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 컬러 포화도를 증가시키는 것을 포함한다.
120.
예 1 내지 예 119 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 컬러 포화도를 감소시키는 것을 포함한다.
121.
예 1 내지 예 120 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 선명도를 변경하는 것을 포함한다.
122.
예 1 내지 예 121 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 선명도를 증가시키는 것을 포함한다.
123.
예 1 내지 예 122 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 선명도를 감소시키는 것을 포함한다.
124.
예 1 내지 예 123 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 불투명도를 변경하는 것을 포함한다.
125.
예 1 내지 예 124 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것은 불투명도를 증가시키는 것을 포함한다.
126.
예 1 내지 예 125 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 불투명도를 감소시키는 것을 포함한다.
127.
예 1 내지 예 126 중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 경시하는 것은 불투명도를 증가시키는 것을 포함한다.
128.
예 1 내지 예 127 중 어느 한 예의 디스플레이 시스템에 있어서, 향상시키는 것은 에지 향상 피처들을 포함한다.
129.
예 1 내지 예 128중 어느 한 예의 디스플레이 시스템에 있어서, 상기 프로세싱 전자장치에 의해 제공되는 향상시키는 것 또는 경시하는 것은 컬러 밸런스를 시프팅하는 것을 포함한다.
[0010]
부가적인 예들이 이하에서 제공된다.
예시적인 세트 IA
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임;
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여 향상되는 이미지 콘텐츠를 사용자의 시계의 상기 주변 구역에 제공하도록 구성된다.
2. 예 1의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
3.
예 1 또는 예 2의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
4.
예 3의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
5.
예 2 내지 예 4 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
6.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
7.
예 6의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
8.
예 7의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
10.
예 9의 시스템에 있어서, 상기 거리 측정 시스템은 레이저 거리측정기를 포함한다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
12.
예 1 또는 예 11의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여 사용자의 시계의 상기 주변 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
14.
예 13의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 확대함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
15.
예 13 또는 예 14의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 밝기를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
16.
예 13 내지 예 15 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 콘트라스트를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
17.
예 13 내지 예 16 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 포화도를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
18.
예 13 내지 예 17 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 선명화에 의해 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
19.
예 18의 시스템에 있어서, 선명화는 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 에지 향상 피처들을 포함한다.
20.
예 13 내지 예 19 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 밸런스를 시프팅함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
21.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 및 주변 구역들에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여 경시되는 이미지 콘텐츠를 사용자의 시계의 상기 중앙 구역에 제공하도록 구성된다.
22.
예 21의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
23.
예 21 또는 예 22의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
24.
예 23의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
25.
예 22 내지 예 24 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
26.
예 21 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
27.
예 26의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
28.
예 27의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
29.
예 26 내지 예 28 중 어느 한 예의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
30.
예 29의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
31.
예 21 내지 예 30 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
32.
예 21 내지 예 31 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
33.
예 21 내지 예 32 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
34.
예 33의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 흐려지게 만들음으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
35.
예 33 또는 예 34의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 어둡게 하거나 감쇠시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
36.
예 33 내지 예 35 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 콘트라스트를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
37.
예 33 내지 예 36 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 포화도를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
38.
예 33 내지 예 37 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 선명도를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
39.
예 38의 시스템에 있어서, 선명도를 감소시키는 것은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 피처들의 에지들을 비-향상시키는 것을 포함한다.
40.
예 33 내지 예 39 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 밸런스를 시프팅함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
41.
예 33 내지 예 40 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 수축시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
42.
예 14의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
43.
예 34의 시스템에 있어서, 상기 흐려지게 만드는 것은 사용자의 시계의 상기 중앙 구역의 상기 적어도 일부에 제공되는 상기 이미지 콘텐츠를 흐려지게 만들기 위하여 동일한 컬러를 사용하는 것을 포함한다.
44.
예 44의 시스템에 있어서, 상기 동일한 컬러는 사용자의 시계의 상기 주변 구역에 제공되는 상기 이미지 콘텐츠의 컬러와 비교하여 높은 콘트라스트 컬러를 포함한다.
45.
예 1 내지 예 20 또는 예 42 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
46.
예 21 내지 예 41 중 어느 한 예 또는 예 43 또는 예 44 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
47.
예 45 또는 예 46의 시스템에 있어서, 상기 경고는 시각적 경고이다.
48.
예 45 또는 예 46의 시스템에 있어서, 상기 경고는 오디오 경고이다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
51.
예 50의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
52.
예 50 또는 예 51의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
54.
예 53의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
55.
예 54의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
57.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨(volume)을 추정하도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제1 이미지 모달리티와 제2 이미지 모달리티 간을 토글(toggle)하도록 구성된다.
61.
예 60의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
62.
예 60 또는 예 61의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
63.
예 60 내지 예 62 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
68.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
69.
예 68의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
72.
예 71의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환(translate)하도록 구성된다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
76.
예 75의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
77.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
78.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
79.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
80.
예 79의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후(vital sign)을 포함한다.
81.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
82.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
83.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
84.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
85.
예 16의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
86.
예 16의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
87.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
88.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
89.
예 88의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
90.
예 88 또는 예 89의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IB
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여 향상되는 이미지 콘텐츠를 사용자의 시계의 상기 중앙 구역에 제공하도록 구성된다.
2.
예 1의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
3.
예 1 또는 예 2의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
4.
예 3의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
5.
예 2 내지 예 4 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
6.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
7.
예 6의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
8.
예 7의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
10.
예 9의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
12.
예 1 또는 예 11의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
14.
예 13의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 확대함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
15.
예 13 또는 예 14의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 밝기를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
16.
예 13 내지 예 15 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 콘트라스트를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
17.
예 13 내지 예 16 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 포화도를 증가시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
18.
예 13 내지 예 17 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 선명화에 의해 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
19.
예 18의 시스템에 있어서, 선명화는 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 에지 향상 피처들을 포함한다.
20.
예 13 내지 예 19 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 주변 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 중앙 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 밸런스를 시프팅함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
21.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 및 주변 구역들에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여 경시되는 이미지 콘텐츠를 사용자의 시계의 상기 주변 구역에 제공하도록 구성된다.
22.
예 21의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
23.
예 21 또는 예 22의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
24.
예 23의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
25.
예 22 내지 예 24 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
26.
예 21 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
27.
예 26의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
28.
예 27의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
29.
예 26 내지 예 28 중 어느 한 예의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
30.
예 29의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
31.
예 21 내지 예 30 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
32.
예 21 내지 예 31의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
33.
예 21 내지 예 32 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 다르게 제공되는 이미지 콘텐츠를 프로세싱하도록 구성된다.
34.
예 33의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 흐려지게 만들음으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
35.
예 33 또는 예 34의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 어둡게 하거나 감쇠시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
36.
예 33 내지 예 35 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 콘트라스트를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
37.
예 33 내지 예 36 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 포화도를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
38.
예 33 내지 예 37 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 선명도를 감소시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
39.
예 38의 시스템에 있어서, 선명도를 감소시키는 것은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 피처들의 에지들을 비-향상시키는 것을 포함한다.
40.
예 33 내지 예 39 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠의 컬러 밸런스를 시프팅함으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
41.
예 33 내지 예 40 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 사용자의 시계의 중앙 구역에 제공되는 이미지 콘텐츠와 비교하여, 사용자의 시계의 상기 주변 구역의 적어도 일부에 제공되는 이미지 콘텐츠를 수축시킴으로써 이미지 콘텐츠를 다르게 프로세싱하도록 구성된다.
42.
예 14의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
43.
예 34의 시스템에 있어서, 상기 흐려지게 만드는 것은 사용자의 시계의 상기 주변 구역의 상기 적어도 일부에 제공되는 상기 이미지 콘텐츠를 흐려지게 만들기 위하여 동일한 컬러를 사용하는 것을 포함한다.
44.
예 44의 시스템에 있어서, 상기 동일한 컬러는 사용자의 시계의 상기 중앙 구역에 제공되는 상기 이미지 콘텐츠의 컬러와 비교하여 높은 콘트라스트 컬러를 포함한다.
45.
예 1 내지 예 20 또는 예 42 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
46.
예 21 내지 예 41 중 어느 한 예 또는 예 43 또는 예 44 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
47.
예 45 또는 예 46의 시스템에 있어서, 상기 경고는 시각적 경고이다.
48.
예 45 또는 예 46의 시스템에 있어서, 상기 경고는 오디오 경고이다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
51.
예 50의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
52.
예 50 또는 예 51의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
54.
예 53의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
55.
예 54의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
57.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
61.
예 60의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
62.
예 60 또는 예 61의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
63.
예 60 또는 예 61의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
68.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
69.
예 68의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
72.
예 71의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
76.
예 76의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
77.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
78.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
79.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
80.
예 79의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
81.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
82.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
83.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
84.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
85.
예 16의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
86.
예 16의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
87.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
88.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
89.
예 88의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
90.
예 88 또는 예 89의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IIA
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 복수의 깊이 평면들상의 이미지 콘텐츠를 사용자에게 제공하기 위하여 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 하나 이상의 도파관들을 포함하며, 상기 하나 이상의 도파관들은 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시키며, 사용자의 눈의 시계의 중앙 구역은 사용자의 전방의 환경의 중앙 구역에 대응하며, 그리고 사용자의 눈의 시계의 주변 구역은 사용자의 전방의 환경의 주변 구역에 대응함―,
사용자의 전방의 환경의 상기 적어도 일부를 이미징하도록 구성된 외향 이미지 캡처 디바이스,
사용자의 전방의 환경의 상기 적어도 일부에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들,
상기 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 상기 하나 이상의 입력 디바이스들에 의해 수신된 입력에 기반하여 사용자의 시계의 주변 구역에 대응하는 환경의 오브젝트를 선택하도록 구성되며, 상기 하나 이상의 센서들은 상기 선택 이후에 상기 오브젝트까지의 거리를 측정하도록 구성되며, 상기 외향 이미지 캡처 디바이스는 상기 오브젝트의 이미지를 획득하도록 구성되며, 상기 디스플레이는 거리를 측정하도록 구성된 상기 하나 이상의 센서들에 의해 측정된 상기 거리에 기반하여 결정된 깊이 평면에 있는 상기 오브젝트의 향상된 이미지를 제공하도록 구성되며, 상기 향상된 이미지는 시계의 다른 부분들에서와 비교하여 향상되며, 상기 향상된 이미지는 사용자의 시계의 주변 구역의 위치에 제공된다.
2.
예 1의 시스템에 있어서, 시스템은 사람의 눈에 이미지를 형성하기 위하여 사람의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
3.
예 2의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
4.
예 2 또는 예 3의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
5.
예 1의 시스템에 있어서, 상기 깊이 평면들은 제1 먼 깊이 평면 및 제2 인근 깊이 평면을 포함하며, 상기 제1 먼 깊이 평면은 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 제2 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
6.
예 5의 시스템에 있어서, 상기 향상된 이미지는 상기 먼 깊이 평면상에 제공된다.
7.
예 5 또는 예 6의 시스템에 있어서, 상기 디스플레이는 상기 제2 인근 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워(optical power)를 갖는 광학 엘리먼트들을 포함한다.
8.
예 7의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 렌즈들을 포함한다.
9.
예 7 또는 예 8의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 회절 광학 엘리먼트들을 포함한다.
10.
예 1의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 주변 구역의 위치에 대응하는, 사용자의 시계의 상기 주변 구역의 위치에 상기 향상된 이미지 콘텐츠를 제공하도록 구성된다.
11.
예 1의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 주변 구역에 대응하지 않는, 사용자의 시계의 상기 주변 구역의 위치로 상기 향상된 이미지 콘텐츠를 이동시키도록 구성된다.
12.
예 1의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
13.
예 12의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
14.
예 1의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
15.
예 14의 시스템에 있어서, 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
16.
예 1의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 상기 사용자의 눈을 이미징하고 이의 움직임을 추적하도록 배치된 내향 눈-추적 카메라를 포함한다.
17.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 향상된 이미지를 제공하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지를 다르게 프로세싱하는 것을 포함한다.
18.
예 17의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지를 확대하는 것을 포함한다.
19.
예 17 또는 예 18의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지의 밝기를 증가시키는 것을 포함한다.
20.
예 17 내지 예 19 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 콘트라스트를 증가시키는 것을 포함한다.
21.
예 17 내지 예 20 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 컬러 포화도를 증가시키는 것을 포함한다.
22.
예 17 내지 예 21 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지를 선명화하는 것을 포함한다.
23.
예 22의 시스템에 있어서, 상기 선명화하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 에지 향상 피처들을 포함한다.
24.
예 17 내지 예 23 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 컬러 밸런스를 시프팅하는 것을 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 시계의 상기 다른 부분들은 상기 시계의 상기 주변 구역의 다른 부분들을 포함한다.
26.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 시계의 다른 부분들은 상기 시계의 상기 중앙 구역의 적어도 일부를 포함한다.
27.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 복수의 깊이 평면들상의 이미지 콘텐츠를 사용자에게 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 하나 이상의 도파관들을 포함하며, 상기 하나 이상의 도파관들은 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시키며, 사용자의 눈의 시계의 중앙 구역은 사용자의 전방의 환경의 중앙 구역에 대응하며, 그리고 사용자의 눈의 시계의 주변 구역은 사용자의 전방의 환경의 주변 구역에 대응함―,
사용자의 전방의 환경의 상기 적어도 일부를 이미징하도록 구성된 외향 이미지 캡처 디바이스,
사용자의 전방의 환경의 상기 적어도 일부에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들,
상기 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 상기 하나 이상의 입력 디바이스들에 의해 수신된 입력에 기반하여 사용자의 시계의 주변 구역에 대응하는 환경의 오브젝트를 선택하도록 구성되며, 상기 하나 이상의 센서들은 상기 선택 이후에 상기 오브젝트까지의 거리를 측정하도록 구성되며, 상기 외향 이미지 캡처 디바이스는 상기 오브젝트의 이미지를 획득하도록 구성되며, 상기 디스플레이는 거리를 측정하도록 구성된 상기 하나 이상의 센서들에 의해 측정된 상기 거리에 기반하여 결정된 깊이 평면에 있는 상기 오브젝트의 이미지를 제공하도록 구성되며, 상기 오브젝트의 상기 이미지는 사용자의 시계의 주변 구역의 위치에 제공되며, 상기 디스플레이는 상기 오브젝트의 상기 이미지와 비교하여 시계의 다른 부분에 형성된 이미지들을 경시하도록 구성된다.
28.
예 27의 시스템에 있어서, 시스템은 사람의 눈에 이미지를 형성하기 위하여 사람의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
29.
예 28의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
30.
예 28 또는 예 29의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
31.
예 27의 시스템에 있어서, 상기 깊이 평면들은 제1 먼 깊이 평면 및 제2 인근 깊이 평면을 포함하며, 상기 제1 먼 깊이 평면은 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 제2 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
32.
예 31의 시스템에 있어서, 상기 오브젝트의 상기 이미지는 상기 먼 깊이 평면상에 제공된다.
33.
예 31 또는 예 32의 시스템에 있어서, 상기 디스플레이는 상기 제2 인근 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
34.
예 33의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 렌즈들을 포함한다.
35.
예 33 또는 예 34의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 회절 광학 엘리먼트들을 포함한다.
36.
예 27의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 주변 구역의 위치에 대응하는, 사용자의 시계의 상기 주변 구역의 위치에 상기 오브젝트의 상기 이미지를 제공하도록 구성된다.
37.
예 27의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 주변 구역에 대응하지 않는, 사용자의 시계의 상기 주변 구역의 위치로 상기 오브젝트의 상기 이미지를 이동시키도록 구성된다.
38.
예 27의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
39.
예 38의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
40.
예 27의 시스템에 있어서, 상기 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
41.
예 40의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
42.
예 27의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 상기 사용자의 눈을 이미징하고 이의 움직임을 추적하도록 배치된 내향 눈-추적 카메라를 포함한다.
43.
예 27 내지 예 42 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 상기 오브젝트의 상기 이미지와 다르게 프로세싱하도록 구성된다.
44.
예 43의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 사이즈를 수축 또는 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
45.
예 43 또는 예 44의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 어둡게 하거나 또는 감쇠시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
46.
예 43 내지 예 45 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 콘트라스트를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
47.
예 43 내지 예 46 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 컬러 포화도를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
48.
예 43 내지 예 47 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 선명도를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
49.
예 48의 시스템에 있어서, 상기 선명도를 감소시키는 것은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 상기 이미지들의 피처들의 에지들을 비-향상시키는 것을 포함한다.
50.
예 48 또는 예 49의 시스템에 있어서, 상기 선명도를 감소시키는 것은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 흐려지게 만드는 것을 포함한다.
51.
예 48 내지 예 50 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 컬러 밸런스를 시프팅시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
52.
예 27 내지 예 51 중 어느 한 예의 시스템에 있어서, 상기 시계의 다른 부분들은 상기 시계의 상기 주변 구역의 다른 부분들을 포함한다.
53.
예 27 내지 예 52 중 어느 한 예의 시스템에 있어서, 상기 시계의 다른 부분들은 상기 시계의 상기 중앙 구역의 적어도 일부를 포함한다.
54.
예 5의 시스템에 있어서, 상기 향상된 이미지는 상기 인근 깊이 평면상에 제공된다.
55.
예 5 또는 예 54의 시스템에 있어서, 상기 디스플레이는 상기 제1 먼 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
56.
예 18의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
57.
예 31의 시스템에 있어서, 상기 오브젝트의 상기 이미지는 상기 인근 깊이 평면상에 제공된다.
58.
예 31 또는 예 57의 시스템에 있어서, 상기 디스플레이는 상기 제1 먼 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
59.
예 50의 시스템에 있어서, 상기 흐려지게 만드는 것은 상기 사용자 시계의 다른 부분들에 형성된 상기 이미지들을 흐려지게 만들기 위하여 동일한 컬러를 사용하는 것을 포함한다.
60.
예 59의 시스템에 있어서, 상기 동일한 컬러는 상기 오브젝트의 상기 이미지의 컬러와 비교하여 높은 콘트라스트 컬러를 포함한다.
61.
예 1 내지 예 26 중 어느 한 예 또는 예 54 내지 예 56 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
62.
예 27 내지 예 53 중 어느 한 예 또는 예 57 내지 예 60 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
63.
예 61 또는 예 62의 시스템에 있어서, 상기 경고는 시각적 경고이다.
64.
예 61 또는 예 62의 시스템에 있어서, 상기 경고는 오디오 경고이다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
67.
예 66의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
68.
예 66 또는 예 67의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
70.
예 69의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
71.
예 70의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
76.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
77.
예 76의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
78.
예 76 또는 예 77의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
79.
예 76 내지 예 78 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
80.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
81.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
82.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
83.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
84.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
85.
예 84의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
86.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
87.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
88.
예 87의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
89.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
90.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
91.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
92.
예 91의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
93.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
94.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
95.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
96.
예 95의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
97.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
98.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
99.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
100.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
101.
예 20의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
102.
예 20의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
103.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
104.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
105.
예 104의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
106.
예 104 또는 예 105의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IIB
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 복수의 깊이 평면들상의 이미지 콘텐츠를 사용자에게 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 하나 이상의 도파관들을 포함하며, 상기 하나 이상의 도파관들은 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시키며, 사용자의 눈의 시계의 중앙 구역은 사용자의 전방의 환경의 중앙 구역에 대응하며, 그리고 사용자의 눈의 시계의 주변 구역은 사용자의 전방의 환경의 주변 구역에 대응함―,
사용자의 전방의 환경의 상기 적어도 일부를 이미징하도록 구성된 외향 이미지 캡처 디바이스,
사용자의 전방의 환경의 상기 적어도 일부에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들,
상기 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 상기 하나 이상의 입력 디바이스들에 의해 수신된 입력에 기반하여 사용자의 시계의 중앙 구역에 대응하는 환경의 오브젝트를 선택하도록 구성되며, 상기 하나 이상의 센서들은 상기 선택 이후에 상기 오브젝트까지의 거리를 측정하도록 구성되며, 상기 외향 이미지 캡처 디바이스는 상기 오브젝트의 이미지를 획득하도록 구성되며, 상기 디스플레이는 거리를 측정하도록 구성된 상기 하나 이상의 센서들에 의해 측정된 상기 거리에 기반하여 결정된 깊이 평면에 있는 상기 오브젝트의 향상된 이미지를 제공하도록 구성되며, 상기 향상된 이미지는 시계의 다른 부분들에서와 비교하여 향상되며, 상기 향상된 이미지는 사용자의 시계의 중앙 구역의 위치에 제공된다.
2.
예 1의 시스템에 있어서, 시스템은 사람의 눈에 이미지를 형성하기 위하여 사람의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
3.
예 2의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
4.
예 2 또는 예 3의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
5.
예 1의 시스템에 있어서, 상기 깊이 평면들은 제1 먼 깊이 평면 및 제2 인근 깊이 평면을 포함하며, 상기 제1 먼 깊이 평면은 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 제2 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
6.
예 5의 시스템에 있어서, 상기 향상된 이미지는 상기 먼 깊이 평면상에 제공된다.
7.
예 5 또는 예 6의 시스템에 있어서, 상기 디스플레이는 상기 제2 인근 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
8.
예 7의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 렌즈들을 포함한다.
9.
예 7 또는 예 8의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 회절 광학 엘리먼트들을 포함한다.
10.
예 1의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 중앙 구역의 위치에 대응하는, 사용자의 시계의 상기 중앙 구역의 위치에 상기 향상된 이미지 콘텐츠를 제공하도록 구성된다.
11.
예 1의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 중앙 구역에 대응하지 않는, 사용자의 시계의 상기 중앙 구역의 위치로 상기 향상된 이미지 콘텐츠를 이동시키도록 구성된다.
12.
예 1의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
13.
예 12의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
14.
예 1의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
15.
예 14의 시스템에 있어서, 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
16.
예 1의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 상기 사용자의 눈을 이미징하고 이의 움직임을 추적하도록 배치된 내향 눈-추적 카메라를 포함한다.
17.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 향상된 이미지를 제공하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지를 다르게 제공하는 것을 포함한다.
18.
예 17의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지를 확대하는 것을 포함한다.
19.
예 17 또는 예 18 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 밝기를 증가시키는 것을 포함한다.
20.
예 17 내지 예 19 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 콘트라스트를 증가시키는 것을 포함한다.
21.
예 17 내지 예 20 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 컬러 포화도를 증가시키는 것을 포함한다.
22.
예 17 내지 예 21 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지를 선명화하는 것을 포함한다.
23.
예 22의 시스템에 있어서, 상기 선명화하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 이미지의 에지 향상 피처들을 포함한다.
24.
예 17 내지 예 23 중 어느 한 예의 시스템에 있어서, 상기 이미지를 다르게 프로세싱하는 것은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들과 비교하여 상기 오브젝트의 상기 이미지의 컬러 밸런스를 시프팅하는 것을 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시계의 상기 다른 부분들은 상기 시계의 상기 중앙 구역의 다른 부분들을 포함한다.
26.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시계의 상기 다른 부분들은 상기 시계의 상기 주변 구역의 적어도 일부를 포함한다.
27.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 복수의 깊이 평면들상의 이미지 콘텐츠를 사용자에게 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 하나 이상의 도파관들을 포함하며, 상기 하나 이상의 도파관들은 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시키며, 사용자의 눈의 시계의 중앙 구역은 사용자의 전방의 환경의 중앙 구역에 대응하며, 그리고 사용자의 눈의 시계의 주변 구역은 사용자의 전방의 환경의 주변 구역에 대응함―,
사용자의 전방의 환경의 상기 적어도 일부를 이미징하도록 구성된 외향 이미지 캡처 디바이스,
사용자의 전방의 환경의 상기 적어도 일부에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들,
상기 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 상기 하나 이상의 입력 디바이스들에 의해 수신된 입력에 기반하여 사용자의 시계의 중앙 구역에 대응하는 환경의 오브젝트를 선택하도록 구성되며, 상기 하나 이상의 센서들은 상기 선택 이후에 상기 오브젝트까지의 거리를 측정하도록 구성되며, 상기 외향 이미지 캡처 디바이스는 상기 오브젝트의 이미지를 획득하도록 구성되며, 상기 디스플레이는 거리를 측정하도록 구성된 상기 하나 이상의 센서들에 의해 측정된 상기 거리에 기반하여 결정된 깊이 평면에 있는 상기 오브젝트의 이미지를 제공하도록 구성되며, 상기 오브젝트의 상기 이미지는 사용자의 시계의 중앙 구역의 위치에 제공되며, 상기 디스플레이는 상기 오브젝트의 상기 이미지와 비교하여 시계의 다른 부분에 형성된 이미지들을 경시하도록 구성된다.
28.
예 27의 시스템에 있어서, 시스템은 사람의 눈에 이미지를 형성하기 위하여 사람의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
29.
예 28의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
30.
예 28 또는 예 29의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
31.
예 27의 시스템에 있어서, 상기 깊이 평면들은 제1 먼 깊이 평면 및 제2 인근 깊이 평면을 포함하며, 상기 제1 먼 깊이 평면은 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 제2 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
32.
예 31의 시스템에 있어서, 상기 오브젝트의 상기 이미지는 상기 먼 깊이 평면상에 제공된다.
33.
예 31 또는 예 32의 시스템에 있어서, 상기 디스플레이는 상기 제2 인근 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
34.
예 33의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 렌즈들을 포함한다.
35.
예 33 또는 예 34의 시스템에 있어서, 광학 파워를 갖는 광학 엘리먼트들은 회절 광학 엘리먼트들을 포함한다.
36.
예 27의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 중앙 구역의 위치에 대응하는, 사용자의 시계의 상기 중앙 구역의 위치에 상기 오브젝트의 상기 이미지를 제공하도록 구성된다.
37.
예 27의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트가 위치된 환경의 중앙 구역에 대응하지 않는, 사용자의 시계의 상기 중앙 구역의 위치로 상기 오브젝트의 상기 이미지를 이동시키도록 구성된다.
38.
예 27의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
39.
예 38의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
40.
예 27의 시스템에 있어서, 상기 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
41.
예 40의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
42.
예 27의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 상기 사용자의 눈을 이미징하고 이의 움직임을 추적하도록 배치된 내향 눈-추적 카메라를 포함한다.
43.
예 27 내지 예 42 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 상기 오브젝트의 상기 이미지와 다르게 프로세싱하도록 구성된다.
44.
예 43의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 사이즈를 수축 또는 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
45.
예 43 또는 예 44의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 어둡게 하거나 또는 감쇠시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
46.
예 43 내지 예 45 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 콘트라스트를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
47.
예 43 내지 예 46 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 컬러 포화도를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
48.
예 43 내지 예 47 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 선명도를 감소시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
49.
예 48의 시스템에 있어서, 상기 선명도를 감소시키는 것은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 상기 이미지들의 피처들의 에지들을 비-향상시키는 것을 포함한다.
50.
예 48 또는 예 49의 시스템에 있어서, 상기 선명도를 감소시키는 것은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들을 흐려지게 만드는 것을 포함한다.
51.
예 48 내지 예 50 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 오브젝트의 상기 이미지와 비교하여, 상기 오브젝트의 상기 이미지가 형성되는 위치와 다른 상기 사용자의 시계의 부분들에 형성된 이미지들의 컬러 밸런스를 시프팅시킴으로써 이미지들을 다르게 프로세싱하도록 구성된다.
52.
예 27 내지 예 51 중 어느 한 예의 시스템에 있어서, 상기 시계의 다른 부분들은 상기 시계의 상기 중앙 구역의 다른 부분들을 포함한다.
53.
예 27 내지 예 52 중 어느 한 예의 시스템에 있어서, 상기 시계의 상기 다른 부분들은 상기 시계의 상기 주변 구역의 적어도 일부를 포함한다.
54.
예 5의 시스템에 있어서, 상기 향상된 이미지는 상기 인근 깊이 평면상에 제공된다.
55.
예 5 또는 예 54의 시스템에 있어서, 상기 디스플레이는 상기 제1 먼 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
56.
예 18의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
57.
예 31의 시스템에 있어서, 상기 오브젝트의 상기 이미지는 상기 인근 깊이 평면상에 제공된다.
58.
예 31 또는 예 57의 시스템에 있어서, 상기 디스플레이는 상기 제1 먼 깊이 평면으로부터의 이미지 콘텐츠를 제공하기 위하여 상기 눈에 투사된 상기 광이 발산하도록 광학 파워를 갖는 광학 엘리먼트들을 포함한다.
59.
예 50의 시스템에 있어서, 상기 흐려지게 만드는 것은 상기 사용자 시계의 다른 부분들에 형성된 상기 이미지들을 흐려지게 만들기 위하여 동일한 컬러를 사용하는 것을 포함한다.
60.
예 59의 시스템에 있어서, 상기 동일한 컬러는 상기 오브젝트의 상기 이미지의 컬러와 비교하여 높은 콘트라스트 컬러를 포함한다.
61.
예 1 내지 예 26 중 어느 한 예 또는 예 54 내지 예 56 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
62.
예 27 내지 예 53 중 어느 한 예 또는 예 57 내지 예 60 중 어느 한 예의 시스템에 있어서, 시스템은 제공된 이미지가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
63.
예 61 또는 예 62의 시스템에 있어서, 상기 경고는 시각적 경고이다.
64.
예 61 또는 예 62의 시스템에 있어서, 상기 경고는 오디오 경고이다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다
67.
예 66의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
68.
예 66 또는 예 67의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
70.
예 69의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
71.
예 70의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
76.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
77.
예 76의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
78.
예 76 또는 예 77의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
79.
예 76 내지 예 78 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
80.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
81.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
82.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
83.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
84.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
85.
예 84의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
86.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
87.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
88.
예 87의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
89.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
90.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
91.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
92.
예 91의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
93.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
94.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
95.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
96.
예 95의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
97.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
98.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
99.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
100.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
101.
예 20의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
102.
예 20의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
103.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
104.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
105.
예 104의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
106.
예 104 또는 예 105의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 III
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 복수의 깊이 평면들상의 이미지 콘텐츠를 사용자에게 제공하기 위하여 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 하나 이상의 도파관들을 포함하며, 상기 하나 이상의 도파관들은 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자의 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시키며, 사용자의 눈의 시계의 중앙 구역은 사용자의 전방의 환경의 중앙 구역에 대응하며, 그리고 사용자의 눈의 시계의 주변 구역은 사용자의 전방의 환경의 주변 구역에 대응함―,
사용자의 전방의 환경의 상기 적어도 일부를 이미징하도록 구성된 외향 이미지 캡처 디바이스,
상기 사용자로부터의 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 깊이 평면들은 제1 깊이 평면 및 제2 깊이 평면을 포함하며, 상기 오브젝트까지의 거리는 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 제2 깊이 평면보다 상기 제1 깊이 평면에 더 대응하며,
상기 머리-장착 디스플레이 시스템은 상기 하나 이상의 입력 디바이스들에 의해 수신된 입력에 기반하여 사용자의 시계의 환경의 오브젝트를 선택하도록 구성되며, 상기 외향 이미지 캡처 디바이스는 상기 오브젝트의 이미지를 획득하도록 구성되며, 상기 디스플레이는 상기 제2 깊이 평면의 상기 오브젝트의 이미지를 제공하도록 구성된다.
2.
예 1의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 상기 사용자의 눈을 이미징하고 이의 움직임을 추적하도록 배치된 내향 눈-추적 카메라를 포함한다.
3.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
4.
예 3의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
5.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 사용자의 전방의 환경의 상기 적어도 일부에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들을 더 포함한다.
6.
예 5의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 오브젝트의 상기 선택 이후에 상기 오브젝트까지의 거리를 측정하도록 구성된다.
7.
예 5 또는 예 6의 시스템에 있어서, 하나 이상의 센서들은 거리 측정 디바이스를 포함한다.
8.
예 7의 시스템에 있어서, 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
9.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 제1 깊이 평면들은 먼 깊이 평면을 포함하며, 상기 제2 깊이 평면은 인근 깊이 평면을 포함하며, 상기 먼 깊이 평면은 상기 머리-장착 디스플레이가 상기 사용자에 의해 착용될 때 상기 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
10.
예 1 내지 예 8 중 어느 한 예의 시스템에 있어서, 상기 제1 깊이 평면들은 인근 깊이 평면을 포함하며, 상기 제2 깊이 평면은 먼 깊이 평면을 포함하며, 상기 먼 깊이 평면은 상기 머리-장착 디스플레이가 사용자에 의해 착용될 때 상기 인근 깊이 평면보다 상기 사용자의 눈으로부터 더 멀리 있다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 제2 깊이 평면의 부가적인 이미지 콘텐츠를 제공하도록 구성된다.
12.
예 11의 시스템에 있어서, 상기 부가적인 이미지는 선택된 오브젝트이다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 제2 깊이 평면에서 제공된 상기 오브젝트의 상기 이미지는 확대된다.
14.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 제2 깊이 평면에서 제공된 상기 오브젝트의 상기 이미지는 확대되지 않는다.
15.
예 15의 시스템에 있어서, 상기 제2 깊이 평면에서 제공된 상기 오브젝트의 상기 이미지는 사이즈가 감소된다.
16.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 사용자로부터의 입력을 수신하도록 구성된 상기 하나 이상의 입력 디바이스들은 머리 포즈 센서들을 포함한다.
17.
예 16의 시스템에 있어서, 상기 머리 포즈 센서들은 가속도계들 또는 IMU들을 포함한다.
18.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 중앙 구역의 상기 오브젝트의 상기 이미지를 제공하도록 구성된다.
19.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 상기 주변 구역의 상기 오브젝트의 상기 이미지를 제공하도록 구성된다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
22.
예 21의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
23.
예 21 또는 예 22의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
24.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
25.
예 24의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
26.
예 25의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
28.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
29.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
31.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
32.
예 31의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
33.
예 31 또는 예 32의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
34.
예 31 내지 예 33 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
37.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
38.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
39.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
40.
예 39의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
41.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
42.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
43.
예 42의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
46.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
47.
예 46의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
48.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
51.
예 50의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
54.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
55.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
57.
예 56의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
58.
예 56 또는 예 57의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IV
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 향상되는 이미지 콘텐츠를 사용자의 시계에 제공하도록 구성된다.
2.
예 1의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
3.
예 1 또는 예 2의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
4.
예 3의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
5.
예 2 내지 예 4 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
6.
예 1 내지 예 5 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
7.
예 6의 디스플레이 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
8.
예 1 내지 예 5 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
9.
예 8의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
10.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
12.
예 11의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
14.
예 1 내지 예 13 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
15.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 확대하도록 구성된다.
16.
예 15의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
17.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 밝기를 증가시키도록 구성된다.
18.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 증가시키도록 구성된다.
19.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 증가시키도록 구성된다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 선명화하도록 구성된다.
21.
예 20의 시스템에 있어서, 선명화하는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠에 에지 향상 피처들을 부가하는 것을 포함한다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
24.
예 23의 시스템에 있어서, 경고는 시각적 경고이다.
25.
예 23의 시스템에 있어서, 경고는 오디오 경고이다.
26.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 경시되는 이미지 콘텐츠를 사용자의 시계에 제공하도록 구성된다.
27.
예 26의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
28.
예 26 또는 예 27의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
29.
예 28의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
30.
예 27 내지 예 29 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
31.
예 26 내지 예 30 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
32.
예 31의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
33.
예 26 내지 예 30 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
34.
예 33의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
35.
예 26 내지 예 34 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
36.
예 26 내지 예 35 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
37.
예 36의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
38.
예 26 내지 예 37 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
39.
예 26 내지 예 38 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
40.
예 26 내지 예 39 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 사이즈를 감소시키도록 구성된다.
41.
예 40의 시스템에 있어서, 상기 사이즈를 감소시키는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
42.
예 26 내지 예 41 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 어둡게 하거나 또는 감쇠시키도록 구성된다.
43.
예 26 내지 예 42 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 감소시키도록 구성된다.
44.
예 26 내지 예 43 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 감소시키도록 구성된다.
45.
예 26 내지 예 44 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 선명도를 감소시키도록 구성된다.
46.
예 45의 시스템에 있어서, 선명도를 감소시키는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 피처들의 에지들을 비-향상시키는 것을 포함한다.
47.
예 26 내지 예 46 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
48.
예 26 내지 예 47 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 흐려지게 만들도록 구성된다.
49.
예 48의 시스템에 있어서, 상기 흐려지게 만드는 것은 상기 이미지 콘텐츠를 흐려지게 만들기 위하여 동일한 컬러를 사용하는 것을 포함한다.
50.
예 26 내지 예 49 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
51.
예 50의 시스템에 있어서, 경고는 시각적 경고이다.
52.
예 50의 시스템에 있어서, 경고는 오디오 경고이다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
54.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
55.
예 54의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
56.
예 54 또는 예 55의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
57.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
58.
예 57의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
59.
예 58의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
61.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
62.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
65.
예 64의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
66.
예 64 또는 예 65의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
67.
예 64 내지 예 66 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
68.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
73.
예 72의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
76.
예 75의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
77.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
78.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
79.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
80.
예 79의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
81.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
82.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
83.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
84.
예 83의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
85.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
86.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
87.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지를 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
88.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
89.
예 18의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
90.
예 18의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
91.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
92.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
93.
예 92의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
94.
예 92 또는 예 93의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVA
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 향상되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
2.
예 1의 시스템에 있어서, 명소시(photopic) 조명 조건하에서, 이미지 콘텐츠는 추상체(cone)의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2 의 휘도를 가진다.
4.
예 1의 시스템에 있어서, 암소시(scotopic) 조명 조건하에서, 이미지 콘텐츠는 간상체(rod)의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
5.
예 4의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
6.
예 1의 시스템에 있어서, 박명시(mesopic) 조명 조건하에서, 이미지 콘텐츠는 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 향상된다.
7.
예 6의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
8.
예 6 또는 예 7의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 추상체들이 우세할 때 추상체들의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
10.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 간상체들이 우세할 때 사용자의 눈의 간상체들의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
12.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
14.
예 13의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
15.
예 12 내지 예 14 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
16.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
17.
예 16의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
18.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
19.
예 18의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
24.
예 23의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 확대하도록 구성된다.
28.
예 27의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
29.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 밝기를 증가시키도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 증가시키도록 구성된다.
31.
예 30의 시스템에 있어서, 머리-장착 디스플레이 시스템은 눈의 콘트라스트 민감도에 적어도 부분적으로 기반하여 콘트라스트를 증가시키도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 증가시키도록 구성된다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 선명화하도록 구성된다.
34.
예 33의 시스템에 있어서, 선명화하는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠에 에지 향상 피처들을 부가하는 것을 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
37.
예 36의 시스템에 있어서, 경고는 시각적 경고이다.
38.
예 36의 시스템에 있어서, 경고는 오디오 경고이다.
39.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
41.
예 40의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
42.
예 41의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
43.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
46.
예 45의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
47.
예 45 또는 예 46의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
48.
예 45 내지 예 47 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
54.
예 53의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
55.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
57.
예 56의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
61.
예 60의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
62.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
65.
예 64의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
68.
예 21의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 주변 구역의 부분에 제공되는 이미지 콘텐츠에 비하여 향상되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 중앙 구역의 다른 부분에 제공되는 이미지 콘텐츠에 비하여 향상되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
73.
예 30의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
74.
예 30의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
76.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
77.
예 76의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
78.
예 76 또는 예 77의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVB
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 주변 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 향상되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
2.
예 1의 시스템에 있어서, 명소시 조명 조건하에서, 이미지 콘텐츠는 추상체의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2의 휘도를 가진다.
4.
예 1의 시스템에 있어서, 암소시 조명 조건하에서, 이미지 콘텐츠는 간상체의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
5.
예 4의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
6.
예 1의 시스템에 있어서, 박명시 조명 조건하에서, 이미지 콘텐츠는 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 향상된다.
7.
예 6의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
8.
예 6 또는 예 7의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 추상체들이 우세할 때 추상체들의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
10.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 간상체들이 우세할 때 사용자의 눈의 간상체들의 투사된 광 위치의 밀도에 역으로 기반하여 향상된다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
12.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
14.
예 13의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
15.
예 12 내지 예 14 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
16.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
17.
예 16의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
18.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
19.
예 18의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
24.
예 23의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 확대하도록 구성된다.
28.
예 27의 시스템에 있어서, 상기 확대하는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
29.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 밝기를 증가시키도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 증가시키도록 구성된다.
31.
예 30의 시스템에 있어서, 머리-장착 디스플레이 시스템은 눈의 콘트라스트 민감도에 적어도 부분적으로 기반하여 콘트라스트를 증가시키도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 증가시키도록 구성된다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠를 선명화하도록 구성된다.
34.
예 33의 시스템에 있어서, 선명화하는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠에 에지 향상 피처들을 부가하는 것을 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 향상되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
37.
예 36의 시스템에 있어서, 경고는 시각적 경고이다.
38.
예 36의 시스템에 있어서, 경고는 오디오 경고이다.
39.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
41.
예 40의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
42.
예 41의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
43.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티 또는 제1 이미지 모달리티 간을 토글하도록 구성된다.
46.
예 45의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
47.
예 45 또는 예 46의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
48.
예 45 내지 예 47 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
54.
예 53의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
55.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
57.
예 56의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
61.
예 60의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
62.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
65.
예 64의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
68.
예 21의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 중앙 구역의 일부에 제공되는 이미지 콘텐츠에 비하여 향상되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 일부에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 주변 구역의 다른 부분에 제공되는 이미지 콘텐츠에 비하여 향상되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 일부에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
73.
예 30의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러의 밝기 또는 어둠을 조정하는 것을 포함한다.
74.
예 30의 시스템에 있어서, 콘트라스트를 증가시키는 것은 상기 이미지 콘텐츠의 적어도 하나의 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가하는 것을 포함한다.
75.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
76.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
77.
예 76의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
78.
예 76 또는 예 77의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVC
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 사용자의 시계의 제1 부분으로부터 사용자의 시계의 제2 부분으로 이미지 콘텐츠를 제공하도록 구성되며, 환경의 조명 조건 하에서, 제2 부분은 제1 부분 보다 높은 시력을 가진 사용자의 눈의 위치에 대응한다.
2.
예 1의 시스템에 있어서, 명소시 조명 조건하에서, 제2 부분은 제1 부분보다 고밀도의 추상체들을 가진 사용자의 눈의 위치에 대응한다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2의 휘도를 가진다.
4.
예 2 또는 예 3의 시스템에 있어서, 상기 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 중앙 구역의 부분을 포함한다.
5.
예 2 또는 예 3의 시스템에 있어서, 상기 제1 부분은 중앙 구역의 부분을 포함하며, 제2 부분은 중앙 구역의 다른 부분을 포함한다.
6.
예 2 또는 예 3의 시스템에 있어서, 상기 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 주변 구역의 다른 부분을 포함한다.
7.
예 1의 시스템에 있어서, 암소시 조명 조건하에서, 제2 부분은 제1 부분보다 고밀도의 간상체들을 가진 사용자의 눈의 위치에 대응한다.
8.
예 7의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
9.
예 7 또는 예 8의 시스템에 있어서, 상기 제1 부분은 중앙 구역의 부분을 포함하며, 제2 부분은 주변 구역의 구역을 포함한다.
10.
예 7 또는 예 8의 시스템에 있어서, 상기 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 주변 구역의 다른 구역을 포함한다.
11.
예 1의 시스템에 있어서, 박명시 조명 조건하에서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 제1 부분으로부터 제2 부분으로 이미지 콘텐츠를 제공하도록 구성된다.
12.
예 11의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
13.
예 11 또는 예 12의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
14.
예 11 내지 예 13 중 어느 한 예의 시스템에 있어서, 제2 부분은 추상체들이 사용자의 눈에서 우세할 때 제1 부분보다 고밀도의 추상체들을 가진 사용자의 눈의 위치에 대응한다.
15.
예 14의 시스템에 있어서, 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 중앙 구역의 부분을 포함한다.
16.
예 14의 시스템에 있어서, 제1 부분은 중앙 구역의 부분을 포함하며, 제2 부분은 중앙 구역의 다른 부분을 포함한다.
17.
예 14의 시스템에 있어서, 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 주변 구역의 다른 부분을 포함한다.
18.
예 11 내지 예 13 중 어느 한 예의 시스템에 있어서, 제2 부분은 간상체들이 사용자의 눈에서 우세할 때 제1 부분보다 고밀도의 간상체들을 가진 사용자의 눈의 위치에 대응한다.
19.
예 18의 시스템에 있어서, 제1 부분은 중앙 구역의 부분을 포함하며, 제2 부분은 주변 구역의 부분을 포함한다.
20.
예 18의 시스템에 있어서, 제1 부분은 주변 구역의 부분을 포함하며, 제2 부분은 주변 구역의 다른 부분을 포함한다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
24.
예 23의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
25.
예 22 내지 예 24 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
27.
예 26의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
28.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
29.
예 28의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
31.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
34.
예 33의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
36.
예 1 내지 예 35 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
37.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 제1 부분으로부터 제2 부분으로 변위되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
38.
예 37의 시스템에 있어서, 경고는 시각적 경고이다.
39.
예 37의 시스템에 있어서, 경고는 오디오 경고이다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
41.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
42.
예 41의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
43.
예 42의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
46.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
47.
예 46의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
48.
예 46 또는 예 47의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
49.
예 46 내지 예 48 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
54.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
55.
예 54의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
57.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
58.
예 57의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
61.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
62.
예 61의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
66.
예 65의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
68.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
69.
예 31의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
73.
예 72의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
74.
예 72 또는 예 73의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVD
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 사용자의 시계의 부분에 이미지 콘텐츠를 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
2.
예 1의 시스템에 있어서, 명소시 조명 조건하에서, 투사된 광 위치는 추상체들의 투사된 광 위치의 밀도에 기반한다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2의 휘도를 가진다.
4.
예 2 또는 예 3의 시스템에 있어서, 사용자의 시계의 부분은 중앙 구역을 포함한다.
5.
예 2 내지 예 4 중 어느 한 예의 시스템에 있어서, 투사된 광 위치는 중심와로부터 0 내지 5도 범위로 벗어나 있다.
6.
예 1의 시스템에 있어서, 암소시 조명 조건하에서, 투사된 광 위치는 간상체들의 투사된 광 위치의 밀도에 기반한다.
7.
예 6의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
8.
예 6 또는 예 7의 시스템에 있어서, 사용자의 시계의 부분은 주변 구역을 포함한다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 투사된 광 위치는 중심와로부터 15 내지 20도의 범위로 벗어나 있다.
10.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 투사된 광 위치는 중심와로부터 25 내지 35도의 범위로 벗어나 있다.
11.
예 1의 시스템에 있어서, 박명시 조명 조건하에서, 투사된 광 위치는 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반한다.
12.
예 11의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
13.
예 11 또는 예 12의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
14.
예 11 내지 예 13 중 어느 한 예의 시스템에 있어서, 투사된 광 위치는 사용자의 눈에서 추상체들이 우세할 때 추상체들의 투사된 광 위치의 밀도에 기반한다.
15.
예 14의 시스템에 있어서, 사용자의 시계의 부분은 중앙 구역을 포함한다.
16.
예 14의 시스템에 있어서, 투사된 광 위치는 중심와로부터 0 내지 5도의 범위로 벗어나 있다.
17.
예 11 내지 예 13 중 어느 한 예의 시스템에 있어서, 투사된 광 위치는 사용자의 눈에서 간상체들이 우세할 때 사용자의 눈의 간상체들의 투사된 광 위치의 밀도에 기반한다.
18.
예 17의 시스템에 있어서, 사용자의 시계의 부분은 주변 구역을 포함한다.
19.
예 17의 시스템에 있어서, 투사된 광 위치는 중심와로부터 15 내지 20도의 범위로 벗어나 있다.
20.
예 17의 시스템에 있어서, 투사된 광 위치는 중심와로부터 25 내지 35도의 범위로 벗어나 있다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
24.
예 23의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
25.
예 22 내지 예 24 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
27.
예 26의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
28.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
29.
예 28의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
31.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
34.
예 33의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
36.
예 1 내지 예 35 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
37.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 제공되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
38.
예 37의 시스템에 있어서, 경고는 시각적 경고이다.
39.
예 37의 시스템에 있어서, 경고는 오디오 경고이다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
41.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
42.
예 41의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
43.
예 42의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
46.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
47.
예 46의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
48.
예 46 또는 예 47의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
49.
예 46 내지 예 48 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
54.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
55.
예 54의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
57.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
58.
예 57의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
61.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
62.
예 61의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
65.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
66.
예 65의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
68.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
69.
예 31의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 광수용체들의 투사된 광 위치의 밀도에 적어도 부분적으로 기반하여 사용자의 시계의 부분에 이미지 콘텐츠를 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
74.
예 73의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
75.
예 73 또는 예 74의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVE
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 중앙 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 경시되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
2.
예 1의 시스템에 있어서, 명소시 조명 조건하에서, 이미지 콘텐츠는 추상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2의 휘도를 가진다.
4.
예 1의 시스템에 있어서, 암소시 조명 조건하에서, 이미지 콘텐츠는 간상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
5.
예 4의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
6.
예 1의 시스템에 있어서, 박명시 조명 조건하에서, 이미지 콘텐츠는 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 경시된다.
7.
예 6의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
8.
예 6 또는 예 7의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 추상체들이 우세할 때 추상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
10.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 간상체들이 우세할 때 사용자의 눈의 간상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
12.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지를 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
14.
예 13의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
15.
예 12 내지 예 14 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
16.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
17.
예 16의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
18.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
19.
예 18의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
24.
예 23의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 사이즈를 감소시키도록 구성된다.
28.
예 27의 시스템에 있어서, 상기 사이즈를 감소시키는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
29.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 밝기를 감소시키도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 감소시키도록 구성된다.
31.
예 30의 시스템에 있어서, 머리-장착 디스플레이 시스템은 눈의 콘트라스트 민감도에 적어도 부분적으로 기반하여 콘트라스트를 감소시키도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 감소시키도록 구성된다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 선명도를 감소시키도록 구성된다.
34.
예 33의 시스템에 있어서, 선명화하는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 피처들의 에지들을 경시하는 것을 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
37.
예 36의 시스템에 있어서, 경고는 시각적 경고이다.
38.
예 36의 시스템에 있어서, 경고는 오디오 경고이다.
39.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
41.
예 40의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
42.
예 41의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
43.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
46.
예 45의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
47.
예 45 또는 예 46의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
48.
예 45 내지 예 47 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
54.
예 53의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
55.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
57.
예 56의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
61.
예 60의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
62.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
65.
예 64의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
68.
예 21의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 주변 구역의 부분에 제공되는 이미지 콘텐츠에 비하여 경시되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 중앙 구역의 다른 부분에 제공되는 이미지 콘텐츠에 비하여 경시되는 이미지 콘텐츠를 사용자의 시계의 중앙 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
75.
예 74의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
76.
예 74 또는 예 75의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 IVF
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이 시스템은,
사용자의 머리상에 지지되도록 구성된 프레임,
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 사용자의 시계의 상기 주변 구역에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―,
환경의 조명 조건을 캡처하도록 구성된 하나 이상의 캡처 디바이스들,
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함하며;
상기 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 경시되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
2.
예 1의 시스템에 있어서, 명소시 조명 조건하에서, 이미지 콘텐츠는 추상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
3.
예 2의 시스템에 있어서, 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2의 휘도를 가진다.
4.
예 1의 시스템에 있어서, 암소시 조명 조건하에서, 이미지 콘텐츠는 간상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
5.
예 4의 시스템에 있어서, 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 가진다.
6.
예 1의 시스템에 있어서, 박명시 조명 조건하에서, 이미지 콘텐츠는 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 경시된다.
7.
예 6의 시스템에 있어서, 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 가진다.
8.
예 6 또는 예 7의 시스템에 있어서, 시스템은 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성된다.
9.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 추상체들이 우세할 때 추상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
10.
예 6 내지 예 8 중 어느 한 예의 시스템에 있어서, 이미지 콘텐츠는 사용자의 눈에서 간상체들이 우세할 때 사용자의 눈의 간상체들의 투사된 광 위치의 밀도에 기반하여 경시된다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 조명 조건에서 소비되는 시간을 모니터하기 위한 타이머 또는 클록을 포함한다.
12.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 광을 사용자에게 투사하도록 구성된 하나 이상의 도파관들을 포함한다.
14.
예 13의 시스템에 있어서, 상기 하나 이상의 광원들은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된다.
15.
예 12 내지 예 14 중 어느 한 예의 시스템에 있어서, 상기 광원은 파이버 스캐닝 프로젝터를 포함한다.
16.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 이미지 캡처 디바이스들을 포함한다.
17.
예 16의 시스템에 있어서, 하나 이상의 이미지 캡처 디바이스들은 하나 이상의 카메라들을 포함한다.
18.
예 1 내지 예 15 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 하나 이상의 광 센서들을 포함한다.
19.
예 18의 시스템에 있어서, 하나 이상의 광 센서들은 하나 이상의 라이트 미터들을 포함한다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 환경의 휘도를 측정하도록 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 픽셀들의 어레이를 포함하는 검출기 어레이를 포함하며, 검출기 어레이는 조명 조건을 캡처하기 위하여 픽셀들에 대한 광 레벨을 통합하도록 구성된다.
22.
앞의 예들 중 어느 한 예의 시스템에 있어서, 하나 이상의 캡처 디바이스들은 조명 조건을 캡처하기 위하여 동공 사이즈를 검출하도록 구성된 하나 이상의 내향 카메라들을 포함한다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
24.
예 23의 시스템에 있어서, 상기 거리 측정 디바이스는 레이저 거리측정기를 포함한다.
25.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
26.
예 1 내지 예 25 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 내향 이미지 캡처 디바이스들을 더 포함한다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 사이즈를 감소시키도록 구성된다.
28.
예 27의 시스템에 있어서, 상기 사이즈를 감소시키는 것은 눈의 해상도에 적어도 부분적으로 기반한다.
29.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 밝기를 감소시키도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 콘트라스트를 감소시키도록 구성된다.
31.
예 30의 시스템에 있어서, 머리-장착 디스플레이 시스템은 눈의 콘트라스트 민감도에 적어도 부분적으로 기반하여 콘트라스트를 감소시키도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 포화도를 감소시키도록 구성된다.
33.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 선명도를 감소시키도록 구성된다.
34.
예 33의 시스템에 있어서, 선명화하는 것은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 피처들의 에지들을 경시하는 것을 포함한다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이 시스템은 환경의 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 컬러 밸런스를 시프팅하도록 구성된다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 이미지 콘텐츠가 경시되었음을 표시하기 위한 경고를 사용자에게 제공하도록 구성된다.
37.
예 36의 시스템에 있어서, 경고는 시각적 경고이다.
38.
예 36의 시스템에 있어서, 경고는 오디오 경고이다.
39.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 센서들을 더 포함한다.
41.
예 40의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
42.
예 41의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
43.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
44.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
45.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
46.
예 45의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
47.
예 45 또는 예 46의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
48.
예 45 내지 예 47 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
49.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
50.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
51.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
52.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
53.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
54.
예 53의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
55.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
56.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
57.
예 56의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
58.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
59.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
60.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
61.
예 60의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
62.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
63.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
64.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
65.
예 64의 시스템에 있어서, 의료 파라미터는 바이탈 징후를 포함한다.
66.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
67.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
68.
예 21의 시스템에 있어서, 검출기 어레이는 환경을 이미징하도록 구성된 외향 카메라를 포함한다.
69.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 중앙 구역의 다른 부분에 제공되는 이미지 콘텐츠에 비하여 경시되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
70.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 주변 구역의 부분에 제공되는 이미지 콘텐츠에 비하여 경시되는 이미지 콘텐츠를 사용자의 시계의 주변 구역의 부분에 제공하기 위하여 사용자의 눈의 위치에 광을 투사하도록 구성된다.
71.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경의 조명 조건의 시간 양상에 적어도 부분적으로 기반하여 사용자 눈에 이미지 콘텐츠를 제공하는 방법을 결정하도록 구성된다.
72.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 디스플레이는 상기 이미지 콘텐츠가 상이한 깊이들로부터 온 이미지 콘텐츠인 것처럼 상기 이미지 콘텐츠를 제공하기 위하여 상이한 발산들로 상기 사용자의 눈으로 광을 투사하도록 구성된다.
73.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 적어도 제공된 이미지 콘텐츠 부근의 불투명도 정도를 제공하도록 구성된다.
74.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
75.
예 74의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
76.
예 74 또는 예 75의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
예시적인 세트 V
1.
증강 현실 이미지 콘텐츠를 디스플레이하기 위하여 사용자의 눈으로 광을 투사하도록 구성된, 의료 치료 및/또는 진단에서 사용하기 위한 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주변에 배치된 주변 구역을 가진 시계를 가지며,
상기 머리-장착 디스플레이는,
사용자의 머리상에 지지되도록 구성된 프레임;
프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 눈으로 복수의 깊이 평면들상의 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리-장착 디스플레이를 착용할 때 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 사용자 전방의 환경의 일부의 뷰를 제공하기 위하여 사용자 전방의 환경의 상기 일부로부터의 광을 사용자의 눈으로 투과시킴 ―; 및
상기 디스플레이상에의 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치를 포함한다.
2.
예 1의 시스템에 있어서, 상기 머리-장착 디스플레이 시스템은 사용자의 전방의 환경의 상기 적어도 일부의 3D 표현을 구성하고 환경의 상기 적어도 일부의 표현을 해석하도록 구성되며, 상기 환경의 상기 일부는 환자를 포함하며, 상기 머리-장착 디스플레이는 환자와 연관된 제2 구조로부터 환자와 연관된 제1 구조를 구별하도록 추가로 구성된다.
3.
앞의 예들 중 어느 한 예의 시스템에 있어서, 투명하고 사용자의 눈의 전방의 위치에 배치된 상기 디스플레이의 상기 적어도 일부는 하나 이상의 도파관들을 포함한다.
4.
예 3의 시스템에 있어서, 시스템은 상기 하나 이상의 도파관들내로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함하며, 도파관들은 사용자의 눈으로 광을 지향시키도록 구성된다.
5.
예 3 또는 예 4의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
6.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 환경을 모니터하도록 구성된 하나 이상의 사용자 센서들을 더 포함한다.
7.
예 6의 시스템에 있어서, 상기 하나 이상의 센서들은 상기 환경을 이미징하도록 구성된 하나 이상의 외향 이미지 캡처 디바이스들을 포함한다.
8.
예 7의 시스템에 있어서, 상기 환경을 이미징하도록 구성된 상기 하나 이상의 외향 이미지 캡처 디바이스들은 하나 이상의 외향 카메라들을 포함한다.
9.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 거리 측정 디바이스를 더 포함한다.
10.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈의 포지션 및/또는 움직임을 추적하도록 구성되는 눈 추적 디바이스를 더 포함한다.
11.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계내의 인간 조직의 볼륨을 추정하도록 구성된다.
12.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환경의 2개의 오브젝트들 간의 거리를 측정하도록 구성된다.
13.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 디스플레이상에 제공되는 제2 이미지 모달리티와 제1 이미지 모달리티 간을 토글하도록 구성된다.
14.
예 13의 시스템에 있어서, 상기 제1 이미지 모달리티는 MRI 스캔을 포함한다.
15.
예 13 또는 예 14의 시스템에 있어서, 제2 이미지 모달리티는 초음파를 포함한다.
16.
예 13 내지 예 15 중 어느 한 예의 시스템에 있어서, 제1 이미지 모달리티는 x-레이 스캔을 포함한다.
17.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 생성하도록 적응된 전자 방출기를 더 포함한다.
18.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 초음파들을 전기 신호들로 변환하도록 적응된 센서를 더 포함한다.
19.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자가, 사용자의 눈에 대해 사용자의 전방의 환경의 일부 상에 가상 기준 마커들을 배치할 수 있게 하도록 구성된다.
20.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 이미지가 환경의 실세계 오브젝트에 부착되는 것으로 나타나도록 디스플레이상에 이미지를 투사하도록 구성된다.
21.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 가상 컷팅 가이드라인들이 커팅될 인간 신체 구역상에 오버레이되는 것으로 사용자에게 나타나도록 가상 컷팅 가이드라인들을 디스플레이하도록 구성되거나 또는 컷팅될 부분에 대한 액세스를 제공한다.
22.
예 21의 시스템에 있어서, 가상 컷팅 가이드라인들의 명백한 위치는 환자의 신체 부분의 포지션과 관련되는 것으로 나타난다.
23.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션들에 대한 데이터를 획득하기 위하여 신호들을 방출하도록 구성된다.
24.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 데이터베이스를 사용하여 사용자의 전방의 환경의 일부에서 오브젝트들의 포지션을 획득하도록 구성된다.
25.
예 24의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트 위치들의 상기 데이터베이스에 기반하여 기준 포인트를 세팅하고, 이미지가 기준 포인트에 대하여 고정되는 것으로 나타나도록 사용자의 눈으로 이미지를 투사하도록 구성된다.
26.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 축을 중심으로, 오브젝트의 3D 이미지의 뷰를 회전시키도록 구성된다.
27.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자 입력에 기반하여 3D 오브젝트의 이미지의 뷰를 전환하도록 구성된다.
28.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 오브젝트의 3D 이미지의 제1 슬라이스를 디스플레이하도록 구성된다.
29.
예 28의 시스템에 있어서, 머리-장착 디스플레이는 3D 이미지의 제1 슬라이스의 이미지 및 제2 슬라이스의 이미지를 순서대로 배열하도록 구성된다.
30.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 전방의 환경의 일부의 이미지를 투과하여, 머리-장착 디스플레이들의 제2 사용자가 투과된 환경의 상기 일부의 상기 이미지를 볼 수 있도록 구성된다.
31.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 의료 절차의 단계를 사용자에게 경고하도록 구성된다.
32.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 의료 파라미터를 모니터하고 의료 파라미터에 기반하여 경고를 제공하도록 구성된다.
33.
예 32의 시스템에 있어서, 사용자의 의료 파라미터는 바이탈 징후를 포함한다.
34.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 초음파들을 방출하고 상기 초음파들로부터 발생된 신호를 측정하도록 구성되며, 머리-장착 디스플레이는 신호에 기반하여 초음파 이미지를 생성하도록 추가로 구성된다.
35.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 사용자의 시계의 밖에 있는 이벤트들 및/또는 오브젝트들을 사용자에게 경고하도록 구성된다.
36.
앞의 예들 중 어느 한 예의 시스템에 있어서, 시스템은 상기 사용자의 눈에 이미지들을 형성하기 위하여 상기 사용자의 눈으로 광을 지향시키도록 구성된 하나 이상의 광원들을 더 포함한다.
37.
앞의 예들 중 어느 한 예의 시스템에 있어서, 상기 하나 이상의 광원들은 파이버 스캐닝 프로젝터를 포함한다.
38.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 환자쪽으로 에너지를 방출하고 리턴된 에너지를 감지하도록 구성된다.
39.
예 38의 시스템에 있어서, 에너지는 초음파를 포함한다.
40.
앞의 예들 중 어느 한 예의 시스템에 있어서, 머리-장착 디스플레이는 제1 이미지 모달리티를 제1 이미지 모달리티와 상이한 제2 이미지 모달리티와 조합하도록 구성된다.
41.
예 40의 시스템에 있어서, 제1 이미지 모달리티 및 제2 이미지 모달리티는 각각 MRI, CT, PET, MRA, 또는 CTA 스캔으로부터의 이미지를 포함한다.
42.
예 40 또는 예 41의 시스템에 있어서, 머리-장착 디스플레이는 환자의 실제 해부학적 구조 위에 제1 및 제2 이미지 모달리티들의 조합된 이미지를 정렬시키도록 구성된다.
[0011]
도 1a는 AR(augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0012] 도 1b는 사람의 시야 및 관심 필드(field of regard)를 예시한다.
[0013] 도 1c-1 및 도 1c-2는 중앙 시야 및 주변 시야가 장면의 어떤 부분들을 포함할 수 있는지의 제1-사람 관점을 예시한다.
[0014] 도 1d는 인간의 눈의 단면을 예시한다.
[0015] 도 1e 및 도 1f는 전형적인 인간의 눈에서의 추상체들 및 간상체들의 상대 밀도 및 해상도를 각각 예시한다.
[0016] 도 1g는 상이한 조명 조건들 하에서의 시각적 기능을 예시한다.
[0017] 도 2는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0018] 도 3은 사용자에 대한 3-차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0019] 도 4는 다수의 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0020] 도 5a - 도 5c는 곡률 반경과 초점 반경 간의 관계를 예시한다.
[0021] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0022] 도 7은 도파관에 의해 출력된 출사 빔(exit beam)들의 예를 예시한다.
[0023] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다.
[0024] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 스택된 도파관들의 세트의 예의 측단면도를 예시한다.
[0025] 도 9b는 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다.
[0026] 도 9c는 도 9a 및 도 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다.
[0027] 도 10a는 환경 및 사용자 센서들을 포함하는 증강 현실 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0028] 도 10b는 환경 및 사용자 센서들을 포함하는 증강 현실 시스템의 다양한 컴포넌트들의 다른 예의 개략도를 도시한다.
[0029] 도 11a는 환경의 이미지 콘텐츠의 사용자 뷰를 향상시키기 위한 방법의 예를 예시하는 흐름도이다.
[0030] 도 11b는 환경의 이미지 콘텐츠의 사용자 뷰를 향상시키기 위한 방법의 다른 예를 예시하는 흐름도이다.
[0031] 도 12a는 이미지 수정을 위한 방법의 예를 예시하는 흐름도이다.
[0032] 도 12b는 본원에서 설명된 일부 실시예들의 예시적인 애플리케이션들을 예시한다.
[0033] 도 12c는 위치에 기반한 이미지 수정의 예들을 예시한다.
[0034] 도 13a는 웨어러블 시스템의 예의 블록 다이어그램이다.
[0035] 도 13b는 인식된 오브젝트들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0036] 도 13c는 웨어러블 시스템의 다른 예의 블록 다이어그램이다.
[0037] 도 14는 사용자 의도에 적어도 부분적으로 기반하여 사용자의 시계 내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하기 위한 방법의 예를 예시하는 흐름도이다.
[0012] 도 1b는 사람의 시야 및 관심 필드(field of regard)를 예시한다.
[0013] 도 1c-1 및 도 1c-2는 중앙 시야 및 주변 시야가 장면의 어떤 부분들을 포함할 수 있는지의 제1-사람 관점을 예시한다.
[0014] 도 1d는 인간의 눈의 단면을 예시한다.
[0015] 도 1e 및 도 1f는 전형적인 인간의 눈에서의 추상체들 및 간상체들의 상대 밀도 및 해상도를 각각 예시한다.
[0016] 도 1g는 상이한 조명 조건들 하에서의 시각적 기능을 예시한다.
[0017] 도 2는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0018] 도 3은 사용자에 대한 3-차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0019] 도 4는 다수의 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0020] 도 5a - 도 5c는 곡률 반경과 초점 반경 간의 관계를 예시한다.
[0021] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0022] 도 7은 도파관에 의해 출력된 출사 빔(exit beam)들의 예를 예시한다.
[0023] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다.
[0024] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 스택된 도파관들의 세트의 예의 측단면도를 예시한다.
[0025] 도 9b는 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다.
[0026] 도 9c는 도 9a 및 도 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다.
[0027] 도 10a는 환경 및 사용자 센서들을 포함하는 증강 현실 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0028] 도 10b는 환경 및 사용자 센서들을 포함하는 증강 현실 시스템의 다양한 컴포넌트들의 다른 예의 개략도를 도시한다.
[0029] 도 11a는 환경의 이미지 콘텐츠의 사용자 뷰를 향상시키기 위한 방법의 예를 예시하는 흐름도이다.
[0030] 도 11b는 환경의 이미지 콘텐츠의 사용자 뷰를 향상시키기 위한 방법의 다른 예를 예시하는 흐름도이다.
[0031] 도 12a는 이미지 수정을 위한 방법의 예를 예시하는 흐름도이다.
[0032] 도 12b는 본원에서 설명된 일부 실시예들의 예시적인 애플리케이션들을 예시한다.
[0033] 도 12c는 위치에 기반한 이미지 수정의 예들을 예시한다.
[0034] 도 13a는 웨어러블 시스템의 예의 블록 다이어그램이다.
[0035] 도 13b는 인식된 오브젝트들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0036] 도 13c는 웨어러블 시스템의 다른 예의 블록 다이어그램이다.
[0037] 도 14는 사용자 의도에 적어도 부분적으로 기반하여 사용자의 시계 내의 실제 또는 가상 오브젝트의 사용자 지각을 변경하기 위한 방법의 예를 예시하는 흐름도이다.
[0038]
눈들은 우리의 환경으로부터 반사되고 방출된 광을 수집하고 감지하여 유용한 정보, 이를테면 우리에 관한 오브젝트들의 형상들, 피처들 및 위치를 제공하는 복잡한 장기들이다. 우리의 눈들로 오브젝트들을 지각하는 우리의 능력을 개선하는 것은 광범위한 시도들을 추구하여 우리를 도울 수 있다. 향상된 비전(enhanced vision)이 특히 유리할 수 있는 한 가지 예는 개업 의사, 이를테면 외과 의사가 의료 임무들, 이를테면 수술, 진단 및/또는 치료를 수행하는 데 있다. 향상된 비전은 또한 정신집중을 요구하는, 이를테면 자동차 또는 다른 차량을 운전하는 일상 임무들에 도움이 될 수 있다.
[0039]
임의의 정해진 순간에 세계 또는 그 주변 환경에 대해 사람이 갖는 뷰는 중앙 구역 및 주변 구역을 갖는 시야를 특징으로 한다. 이 시야는 사람이 돌아다니거나 자신의 머리를 움직이거나 자신의 눈들 또는 시선을 움직일 때 변할 수 있다. 도 1b는 중앙 및 주변 구역들을 포함하는 그러한 시야(1755)를 도시한다. 도 1b는 또한 예컨대, 사람의 머리를 돌리거나 그들의 시선을 재지향시킴으로써 사람(60)에 의해 지각될 수 있는 사람(60) 주위의 환경의 부분을 포함하는 관심 필드(1765)를 도시한다. 사람(60)의 눈들의 시야(1755)의 중심 부분은 중앙 시야(1745)로서 지칭될 수 있다. 시야(1755) 내의, 그러나 중앙 시야(1745) 밖의 구역은 주변 시야로서 지칭될 수 있다.
[0040]
중앙 시야는 환경 뷰의 중앙 구역에 있는 오브젝트들의 대응하는 뷰를 사람에게 제공할 것이다. 유사하게, 주변 시야는 환경 뷰의 주변 구역에 있는 오브젝트들의 대응하는 뷰를 사람에게 제공할 것이다. 이 경우, 중앙으로 고려되는 것 그리고 주변으로 고려되는 것은 사람이 어떤 방향을 보고 있는지의, 그리고 그에 따른 그들의 시야의 함수이다.
[0041]
도 1c-1 및 도 1c-2는 중앙 시야 및 주변 시야가 장면의 어떤 부분들을 포함할 수 있는지의 제1-사람 관점을 예시한다. 예컨대, 도 1c-1은 사람이 자신의 시야(1755)에서 볼 수 있는 것의 예를 예시한다. 시야(1755)는 오브젝트들(1721, 1722)을 포함할 수 있다. 도 1c-2에 도시된 바와 같이, 중앙 시야(1745)는 오브젝트(1721)를 포함하는 한편, 도 1c-1에 도시된 다른 오브젝트(1722)는 주변 시야(예컨대, 음영 구역)에 있다.
[0042]
도 1d에 도시된 바와 같이, 각막(42), 홍채(44), 렌즈 ― 또는 "수정체"(46), 공막(48), 맥락막 층(50), 황반(52), 망막(54) 및 뇌에 대한 시신경 경로(56)를 특징으로 하는 인간의 눈(1100)의 개략적인 단면도가 도시된다. 각막(42) 및 수정체(46)는 광을 굴절시켜 망막(54) 쪽으로 포커싱한다. 황반(52)은 망막(54)의 중심이다. 황반(52)의 중심에는 "중심와"로서 지칭되는 망막(54)의 부분이 있다. 망막(54)은 추상체들 및 간상체들로 알려진 광수용체 세포들을 포함한다. 망막(54)의 내측 표면 근처에는 추상체들 및 간상체들로부터 시각적 정보를 수신하여 뇌로 송신하는 신경절 세포들이 있다. 시각적 정보는 이미지를 형성하기 위한 정보를 포함할 수 있다.
[0043]
중심와는 망막(54)의 임의의 다른 부분보다 더 많은 광수용체들(시각도당 대략 120개의 추상체들)을 포함한다. 도 1e는 (예컨대, 광학 축으로부터 눈의 렌즈를 통과하여 망막의 중심까지 측정되는) 망막의 중심으로부터의 각도 함수로써 플롯팅된 전형적인 인간의 눈에서의 추상체들 및 간상체들의 상대 밀도를 예시한다. 도 1e는 추상체들(1852)의 상대 밀도가 망막의 중심(예컨대, 중심와)에서 가장 높고 그 중심으로부터 몇 도 뒤에는 극적으로 감소함을 보여준다. 이에 반해, 중심에는 실질적으로 간상체들이 없지만, 간상체들(1856)의 밀도는 중심으로부터 몇 도 뒤에는 극적으로 증가하며 이는 망막에 걸쳐 감소한다.
[0044]
도 1f는 망막에 걸쳐 동일한 각도 스펙트럼에 대한 추상체들 및 간상체들의 상대 해상도를 보여준다. 도 1f에 도시된 바와 같이, 추상체들의 밀도와 유사하게, 추상체들(1842)의 해상도는 중심와에서 가장 높고, 중심와로부터의 각도가 증가함에 따라 감소한다. 간상체들의 밀도와 유사하게, 간상체들(1846)의 해상도는 점점 줄어들기 전에 초기에 증가한다.
[0045]
중심와가 눈의 중심에 위치되기 때문에 중앙 시야가 중심와 위에 떨어진다. 추상체들은 일반적으로 컬러(예컨대, l-추상체들 또는 장파장 감응 추상체들이 적색 파장들에 사용될 수 있고, m-추상체들 또는 중간 파장 감응 추상체들이 녹색 파장들에 사용될 수 있으며, s-추상체들 또는 단파장 감응 추상체들이 청색 파장들에 사용될 수 있음) 및 공간 해상도를 담당한다. 간상체들은 컬러에 민감하지 않으며 일반적으로 기본 공간 해상도(예컨대, 형상들 및 움직임의 검출)를 담당한다. 중심와가 가장 높은 밀도의 추상체들을 포함하므로, 중심와는 사람의 중앙 시야에 위치된 오브젝트들에 대해 높은 해상도를 제공한다. 중심와로부터 멀어지게 이동하면, (예컨대, 인근 주변 시야에서부터 먼 주변 시야까지) 사람의 주변 시야에 위치된 오브젝트들의 해상도가 감소함에 따라 추상체 밀도가 줄어든다. 중심와로부터의 감소하는 추상체 밀도 때문에, 주변 시야는 일반적으로 중앙 시야의 이미지 품질과 비교할 때 열등한 이미지 품질과 연관될 수 있다. 그러나, 중앙 시야(예컨대, 도 1b의 1745)에 있는 오브젝트에 눈들의 중심을 두고, 또한 주변 시야에서 오브젝트를 볼 수 있는 것이 바람직할 수 있다.
[0046]
그에 따라서, 본원에서 설명된 디스플레이 시스템의 다양한 실시예들은 사용자의 주변 시야에서 하나 이상의 오브젝트들의 개선된 사용자 뷰를 유리하게 제공할 수 있다. 예컨대, 특정 실시예들은 사용자가 사용자의 중앙 시야에서 하나의 오브젝트들에 포커싱하고 사용자의 주변 시야에 위치된 다른 오브젝트를 증가된 가시성으로 동시적으로 볼 수 있게 할 수 있다. 예로서, 전형적인 수술 환경에서, 외과 의사는 환자에 또는 수술대로부터 어느 정도 거리에 위치된 의료 이미지에 포커싱한다. 외과 의사는, 환자와 의료 이미지 중 하나가 외과 의사의 중앙 시야에 있고 다른 하나는 외과 의사의 주변 시야에서(또는 심지어 가능하게는 외과 의사의 시야의 바깥에서) 더 낮은 해상도로 있도록, 둘 사이에서 외과 의사의 눈들(및/또는 머리)을 앞뒤로 움직일 수 있다. 본원에서 설명된 다양한 실시예들에서, 디스플레이 시스템들은 외과 의사가 환자와 의료 이미지 둘 모두를 동시에 충분한 시력(예컨대, 충분한 해상도)으로 볼 수 있도록 이미지 콘텐츠를 제공할 수 있다. 예컨대, 일부 실시예들은 환자에 더 근접하게 움직이는 또는 향상된 의학 이미지의 증강된 또는 가상 이미지를 제공하도록 구성될 수 있다. 그러한 일부 실시예들은 환자와 의료 이미지 간의 주의를 시프팅하는 데 소비되는 시간을 감소시킬 수 있으며, 따라서 환자를 관찰하고 환자에게 의학적 주의를 제공하는데 더 많은 시간이 소비될 수 있게 할 수 있다. 본원에서 설명된 다양한 실시예들은 또한 사용자의 중앙 시야에서 하나 이상의 오브젝트들의 개선된 사용자 뷰를 유리하게 제공할 수 있다. 예컨대, 일부 실시예들은 회색 배경을 제공하여 수술 부위 및/또는 의료 이미지에 대한 룸의 나머지를 경시하도록 구성될 수 있다.
[0047]
세 가지 상이한 타입들의 비전: 명소시, 박명시 및 암소시 비전이 있다. 명소시, 박명시 및 암소시 비전은 상대적으로 밝은(예컨대, 일부 예시들에서 10 내지 108 cd/m2), 중간(예컨대, 일부 예시들에서 10-3 cd/m2 내지 100.5 cd/m2) 그리고 낮은 광(예컨대, 일부 예시들에서 10-3.5 cd/m2 내지 10-6 cd/m2) 조건들 각각 하에서의 눈의 비전이다. 예컨대, 주위 광 휘도에 따라 추상체들, 간상체들, 또는 둘 모두가 활성화될 수 있다. 추상체들과 간상체들은 상이한 조명 조건들 동안 활성화되므로 이들은 역으로 관련될 수 있다. 도 1g에 도시된 바와 같이, 추상체들은 높은 광 조건들 하에서 활성화되는 한편, 간상체들은 낮은 광 조건들 동안 활성화된다. 따라서, 명소시 비전의 경우에는 추상체들이 주로 사용되고, 암소시 비전의 경우에는 주로 간상체들이 사용된다. 박명시 비전은 추상체들과 간상체들 둘 모두를 활용한다. 시력은 추상체들 및/또는 간상체들의 해상도 또는 밀도에 의존할 수 있으므로, 시력은 또한 조명 레벨의 함수가 될 수 있다. 그에 따라서, 본원에서 설명된 다양한 실시예들은 조명 조건을 캡처하기 위한 하나 이상의 캡처 디바이스들(예컨대, 하나 이상의 카메라들, 광 센서들, 라이트 미터들 등)을 포함할 수 있고 그리고/또는 조명 조건에 적어도 부분적으로 기반하여 이미지 콘텐츠의 적어도 일부를 제공 또는 수정(예컨대, 향상, 경시, 이동 등)할 수 있다.
[0048]
명소시 비전이 박명시 비전으로 전환될 때, 간상체들은 반드시 선형 관계에 의해서가 아니더라도 보다 활성이 된다. 예컨대, 관계는 어두운 환경에서 소모된 시간에 의존할 수 있다. 환경이 어두울수록, 추상체들이 활성인 것에서 간상체들이 활성인 것으로 전환하는 데 더 빠를 수 있다. 암소시 비전이 박명시 비전으로 전환될 때, 그 반대가 발생할 수 있다. 시간, 휘도 레벨 및 휘도 레벨 변경을 모니터링함으로써, 활용되고 있는 추상체들 및/또는 간상체들의 양이 결정될 수 있다. 그에 따라서, 본원에서 설명된 다양한 실시예들은 시간을 모니터링하기 위한 하나 이상의 타이밍 디바이스들(예컨대, 하나 이상의 클럭들 또는 타이머들)을 포함할 수 있고 그리고/또는 조명 조건에 적어도 부분적으로 기반하여 그리고/또는 조명 조건의 시간에 적어도 부분적으로 기반하여 이미지 콘텐츠의 적어도 일부를 제공 또는 수정(예컨대, 향상, 경시, 이동 등)할 수 있다.
[0049]
의학적 맥락으로 제한되지는 않지만, 본원에서 설명된 특정 실시예들은 의료 이미징, 디스플레이 및 시각화를 위해 구현될 수 있다. 예컨대, 의료 관리 서비스 전문가들은 자신들이 제공하는 의료 서비스들과 연결하여 그들의 신체적 그리고 정신적 능력들에 대한 과중한 요구들을 받는다. 그러한 전문가들은 예컨대, 닥터들, 외과 의사들, 간호사들, 기술자들, 치과의사들, 안과의사들, 가정 의료 서비스 제공자들, 임상의들 및/또는 다른 의료 관리 제공자들을 포함할 수 있다. 많은 상황들에서, 의료 관리의 요구들은 신속한 응답들과 정밀한 액션을 요구한다. 의학적 맥락을 벗어난 전문가들(예컨대, 운동선수들, 기계공들 및 요리사들)은 또한 본원에서 설명된 다양한 실시예들로부터 이익을 얻을 수 있다. 게다가, 다수의 위치들로부터의 정보를 요구하면서 손들의 사용을 요구하는 직업들 및 취미들을 가진 자들은 본원에서 개시된 방법들 및 시스템들로부터 이익을 얻을 수 있다. 게다가, 본원에서 설명된 다양한 실시예들은 일상 활동들, 예컨대 사용자 포커스 및 정신집중을 요구할 수 있는, 이를테면 자동차 또는 다른 차량을 운전하는 임무들에 사용될 수 있다.
[0050]
유리하게, 일부 실시예들에서, 본원에서 개시된 AR(augmented reality) 디스플레이 시스템들은 의료 관리 제공자들을 이들의 작업에서 돕도록(예컨대, 사용자의 주변 및/또는 중앙 시야에서 하나 이상의 오브젝트들의 향상된 사용자 뷰를 제공하도록) 구성될 수 있다. AR 시스템들은 사용자가 여전히 그들 주위의 세계를 볼 수 있게 허용하면서 가상 콘텐츠를 사용자 또는 뷰어에 디스플레이할 수 있다. 바람직하게는, 이 콘텐츠는 사용자의 눈들에 이미지 정보를 투사하는 머리-장착 디스플레이 상에, 예컨대 안경류의 부분으로서 디스플레이된다. 게다가, 디스플레이는 또한 주변 환경의 뷰를 허용하기 위해 그 주변 환경으로부터의 광을 사용자의 눈들로 투과시킬 수 있다. 본원에서 사용되는 바와 같이, "머리-장착" 디스플레이는 뷰어의 머리 상에 장착될 수 있는 디스플레이라고 인지될 것이다.
[0051]
이를테면, 본원에서 설명된 머리-장착 증강 현실 디스플레이 시스템 또는 디바이스를 착용하는 사람에게는, 외부 환경의 오브젝트들이 직접 보일 수 있도록 외부 환경의 그러한 오브젝트들로부터의 광이 투명한 광학기들을 통해 사용자의 눈들로 전달되는 것을 허용하는 투명한 광학기들, 예컨대 창문들, 렌즈, 도파관들 등을 통해 외부 세계 또는 환경의 뷰가 제공될 수 있다. 머리 장착 증강 현실 디스플레이를 착용하고 있는 사람은, 머리 장착 디스플레이의 투명한 엘리먼트들을 통해 외부 세계를 직접 볼 때, 이를테면 도 1b에 도시된 시야를 갖는다. AR 시스템은 예컨대, 변조된 광원으로부터의 광을 사용자의 눈으로 투사함으로써 머리 장착 디스플레이를 착용하고 있는 사용자들에게 이미지들을 부가적으로 제공할 수 있다. 이러한 이미지들은 "가상" 이미지들로서 지칭될 수 있는데, 이는 이러한 "가상" 이미지들이 머리 장착 디스플레이의 투명한 엘리먼트들을 통해 눈으로 전달되어 망막 상에 오브젝트들의 이미지를 형성하는 외부 세계의 오브젝트들로부터의 광으로부터가 아니라 디스플레이에 의해 생성되기 때문이다.
[0052]
아래에 추가로 논의되는 바와 같이, 많은 VR, AR 및 MR 디스플레이 디바이스들은 이미지 정보를 디스플레이할 때 원근조절-이접운동 미스매치들을 겪는다. 이러한 미스매치들은 사용자 불편함을 유발할 수 있으며, 디바이스의 장기간 착용을 실행 불가능하게 만들 수 있다. 유리하게, 본원에서 실시예들에 따른 디스플레이 디바이스들은 무엇보다도, 사용자의 원근조절과 이접운동 간의 정확한 매치를 제공함으로써 디바이스의 장기간 착용을 허용한다. 결과적으로, 디바이스의 사용자들은 지속기간의 25% 초과, 20% 초과, 15% 초과, 10% 초과 또는 5% 초과 동안 디바이스를 제거하지 않고도, 3시간 이상, 4시간 이상, 5시간 이상, 6시간 이상 또는 하루 종일의 지속기간들 동안 실질적으로 계속해서 디바이스를 착용 및 사용하는 것이 가능할 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 위에서 언급된 지속기간들 동안 증강 현실 이미지들을 실질적으로 계속해서 디스플레이할 수 있다.
[0053]
본원에서 개시된 디스플레이 시스템의 착용성, 및 사용자에 대한 (감각 컴포넌트들을 포함하는) 디스플레이 시스템의 근접성과 커플링된, 착용성의 장기(long-term) 성질은, 의료 절차들 및 치료들 전에, 도중에 그리고 이후에 디스플레이 시스템 또는 디바이스의 사용을 유리하게 가능하게 한다. 일부 실시예들에서, 디스플레이 시스템은 사용자의 시야 내의 실세계 오브젝트들(예컨대, 사용자 전방 환경의 유형적 오브젝트들 등)의 이미지들을 제공하도록 구성될 수 있다. 특정 실시예들에서, 디스플레이 시스템은 실세계 오브젝트들의 이미지들을 뷰어를 위한 향상된 이미지들로 렌더링할 수 있다. 향상된 이미지들은 머리 장착 디스플레이를 착용하고 있는 사용자 전방의 환경 내의 실제 실세계 오브젝트의 이미지들에 비해 그리고/또는 디스플레이에 의해 제공되는 다른 이미지들 및/또는 머리 장착 디스플레이를 착용하고 있는 사용자 전방의 환경 내의 다른 오브젝트들에 비해, 예컨대 개선된 배율, 사용자의 시야 내의 위치, 깊이 평면 할당, 컬러 포화도, 콘트라스트, 밝기, 선명도, 측정 비율들, 화이트 밸런스, 그림자들, 강조 표시들, 사용자에 대한 이미지 배향, 컬러 또는 그림자 밸런스 및/또는 명확성을 갖는, 광원에 의해 눈으로 투사된 이미지들을 포함할 수 있다. 예컨대, 디스플레이 시스템은 실세계에서 오브젝트를 식별하고 오브젝트의 확대된 이미지를 디스플레이하도록 구성될 수 있다. 다양한 실시예들에서, 디스플레이 시스템은 이미지의 다른 부분들, 또는 머리 장착 디스플레이의 투명한 광학 엘리먼트들(창문들, 렌즈들, 도파관들)을 통해 미리 환경 내의 오브젝트들을 보고 있는 사용자의 시야 내의 다른 오브젝트들과 비교할 때 이미지의 부분을 확대하도록 구성될 수 있다.
[0054]
일부 실시예들에서, 디스플레이 시스템은 오브젝트가 사용자로부터인 것으로 나타나는 대략적인 거리를 결정하도록 구성될 수 있다. 특정 실시예들에서, 디스플레이 시스템은 대략적으로 결정된 거리에 적어도 부분적으로 기반하여 깊이 필드에서 오브젝트의 이미지를 렌더링할 수 있다. 디스플레이 시스템이 각각의 눈에 대한 시각적 콘텐츠를 디스플레이할 수 있고, 그리고 시각적 콘텐츠의 위치, 콘텐츠가 디스플레이되는 깊이 평면, 시각적 콘텐츠에 대한 노출의 지속기간 등을 포함하는 다양한 시각적 파라미터들을 변경할 수 있다는 것이 인지될 것이다. 시각적 콘텐츠와 이러한 시각적 파라미터들을 변경함으로써, 실세계 오브젝트는 본원에서 설명된 바와 같이 다양한 방식들로 디스플레이 시스템에 의해 렌더링될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 환경 내의 다른 오브젝트들에 대한 그리고/또는 주변 환경에 대한 시각적 콘텐츠의 다양한 시각적 파라미터들을 변경할 수 있다.
[0055]
인간 시각적 시스템은 수동 센서 타입의 시스템이 아닌데; 이는 환경을 활성적으로 스캔하도록 구성된다. 이미지를 캡처하기 위한 평판형 스캐너의 사용, 또는 점자를 종이로부터 판독하기 위한 손가락의 사용과 다소 유사한 방식으로, 눈의 광수용체들은 일정한 자극 상태에 지속적으로 응답하기보다는, 자극의 변경들에 대한 응답으로 시동한다(fire).
[0056]
뇌의 시각적 피질은 본원에서 논의된 바와 같이, 서로에 대해 두 눈들 모두 및 이들의 컴포넌트들의 모션으로부터 귀중한 지각 정보를 얻는다. 게다가, 눈들을 지니고 있는 머리의 움직임은 또한 오브젝트들의 시각화에 중요한 영향을 갖는다. 인간들은 그들의 머리들을 움직여 그들 주위의 세계를 시각화하는데; 그들은 종종 관심 오브젝트에 대해 머리를 재포지셔닝하고 재배향하는 상당히 일정한 상태에 있다. 또한, 대부분의 사람들은 특정 오브젝트에 포커싱하기 위해 그들의 눈 시선이 중심으로부터 약 20도 넘게 벗어나도록 움직일 필요가 있을 때 그들의 머리를 움직이는 것을 선호한다(예컨대, 사람들은 전형적으로 "눈가로부터" 어떤 것들을 보는 것을 좋아하지 않는다). 인간들은 또한 ― 오디오 신호 캡처를 개선하고 머리에 대한 귀들의 지오메트리를 활용하도록 ― 전형적으로 사운드들과 관련하여 그들의 머리들을 스캔 또는 움직인다. 인간 시각적 시스템은 "머리 모션 시차"라고 불리는 것으로부터 강력한 깊이 큐들을 얻는데, 이것은 머리 모션과 눈 이접운동 거리의 함수로써 상이한 거리들에 있는 오브젝트들의 상대적인 모션과 관련된다(예컨대, 사람이 자신의 머리를 좌우로 움직이고 오브젝트에 응시를 유지한다면, 그 오브젝트로부터 더 멀리 떨어진 아이템들은 머리와 동일한 방향으로 움직일 것이며; 그 오브젝트 전방의 아이템들은 머리 모션과 반대로 움직일 것이고; 이들은 사물들이 환경 내에서 사람에 대해 공간적으로 어디에 있는지에 대한 매우 중요한 ― 아마도 입체와 같이 ― 강력한 큐들이 된다). 머리 모션은 또한 오브젝트들을 둘러보는 데에도 물론 활용된다.
[0057]
그러나, 사용자의 머리 움직임들에 대한 의존은 사용자가 포커스, 정신집중 및/또는 주의를 요구하는 상황에서(예컨대, 수술 중 또는 차를 운전하는 동안) 불리할 수 있다. 이러한 상황들에서, 사용자는 이미지들을 보다 편리하게 제공되게(예컨대, 사용자를 위해 개인화되게) 또는 향상되게, 이를테면 확대되게, 더 중심적으로, 예컨대 자신의 중앙 시야에 더 근접하거나 광학 축 및/또는 중심와에 더 근접하게 하거나, 또는 본원에서 설명된 바와 같은 다른 방식들로 하는 것이 도움이 될 수 있다. 사용자는 또한 가능하게는, 주의산만한 콘텐츠를 경시되게, 이를테면 사이즈가 감소되거나 주변으로 움직이게 하는 것이 도움이 될 수 있다.
[0058]
일부 실시예들에서, 다수의 깊이 평면들 상에 이미지들을 디스플레이하는 디스플레이 시스템의 능력은 유리하게는, 뇌 활동을 측정하기 위해 직접적인 사용자 입력 또는 복잡한 외부 기구를 요구하지 않으면서, 다수의 이미지들 중 뷰어가 지각하고 있거나 반응하고 있는 이미지를 결정하는 데 유리하게 적용될 수 있다. 예컨대, 실세계 이미지들은 디스플레이 시스템의 상이한 깊이 평면들 상에 렌더링될 수 있고, 사용자의 눈들의 원근조절 및/또는 이접운동이 (예컨대, 디스플레이 디바이스 상의 눈-추적 카메라들을 사용하여) 측정될 수 있다. 뷰어에 의해 지각되는 상이한 깊이 평면들 상의 이미지들이 눈으로 하여금 상이한 원근조절 및/또는 이접운동 상태들을 취하게 할 것이라는 것이 인지될 것이다. 결과적으로, 사용자에 의해 지각되는 이미지는: 1) 사용자의 눈들의 원근조절 및/또는 이접운동 상태들; 및 2) 그 원근조절 및/또는 이접운동 상태와 디스플레이되고 있는 이미지들 또는 이미지들의 깊이 평면들과의 매칭을 결정함으로써 추론될 수 있다. 그런 다음, 사용자의 측정된 원근조절 및/또는 이접운동 상태들에 대응하는 이미지는 사용자에 의해 지각되는 이미지로 해석된다. 일부 실시예들에서, 이미지들은 이미지들 간의 원근조절 및/또는 이접운동 상태들의 예상된 차이를 증가시키기 위해 광범위하게 다양한 깊이 평면들(예컨대, 디스플레이 시스템에 의해 출력된 가장 근접한 깊이 평면 및 무한대) 상에 디스플레이될 수 있다. 일부 실시예들에서, 이미지에 대한 사용자의 응시의 지속기간, 예컨대 사용자의 눈들이 특정 원근조절 및/또는 이접운동 상태를 취하는 시간의 양은 또한 사용자가 특정 이미지를 활성적으로 지각하고 있는지 여부, 또는 원근조절 및/또는 이접운동 상태들의 변경이 예컨대, 무의식적 반사인지 여부를 추론하도록 측정될 수 있다. 사용자 지각을 검출하기 위한 그러한 방식은 제한 없이, 경쟁, 우세 및/또는 억제와 관련된 테스트들을 포함하는 다양한 지각 테스트들, 후방향 마스킹 및 전방향 마스킹에 활용될 수 있다고 인지될 것이다.
[0059]
앞서 논의된 바와 같이, 관심 필드는 사용자에 의해 지각될 수 있는 사용자 주변 환경의 부분을 포함한다. 그에 따라서, 머리-장착 ARD(augmented reality device)를 착용하는 사용자의 경우, 착용자는 자신의 신체, 머리 또는 눈들을 움직여서 공간 내의 실질적으로 임의의 방향을 지각할 수 있기 때문에, 관심 필드는 실질적으로, 착용자를 둘러싸는 4π 스테라디안 입체각 모두를 포함할 수 있다. 다른 맥락들에서, 사용자의 움직임들은 보다 억제될 수 있고, 그에 따라서 사용자의 관심 필드는 보다 더 작은 입체각을 대할 수 있다(subtend).
[0060]
도 1b에서, 관심 필드(1765)는 AR 시스템을 착용한 사용자에 의해 지각될 수 있는 오브젝트들(예컨대, 오브젝트들(1721, 1722, 1727))의 그룹을 포함할 수 있다. 일부 실시예들에서, 오브젝트들(1729)은 머리 장착 디스플레이의 투명한 광학기를 통해 보는 사용자의 시야 외부에 있을 수 있지만, 그럼에도 불구하고 (그의 위치 및 시야에 의존하여) AR 시스템 상의 적어도 하나의 센서(예컨대, 카메라들)에 의해 잠재적으로 지각되고 사용자(60)에 대해 디스플레이될 수 있다.
[0061]
AR 시스템은 머리 장착 디스플레이의 투명한 광학기를 통해 뷰잉되는 기존의 물리적 오브젝트들에 가상 요소들을 부가하고, 그리하여 물리적 오브젝트들과의 사용자 상호작용을 허용할 수 있다. 예컨대, AR 시스템은 룸에 의료 모니터와 연관된 가상 메뉴를 부가할 수 있으며, 여기서 가상 메뉴는 AR 시스템을 사용하여 의료 이미징 장비 또는 도징(dosing) 제어를 턴 온하거나 조정하는 옵션을 사용자에게 제공할 수 있다.
[0062]
그에 따라서, 디스플레이는 사용자 전방의 환경에 있는 물체의 가상 이미지 외에도, 부가적인 가상 이미지 콘텐츠를 착용자에게 제공할 수 있다. 가상 오브젝트들은, 예컨대, 운영 시스템 오브젝트들, 이를테면, 예컨대, 커맨드들을 입력하기 위한 터미널, 파일들 또는 디렉토리들에 액세스하기 위한 파일 관리자, 아이콘, 메뉴, 오디오 또는 비디오 스트리밍을 위한 애플리케이션, 운영 시스템으로부터의 통지 등을 포함할 수 있다. 가상 오브젝트들은 또한, 예컨대, 아바타들, 게임들의 가상 오브젝트들, 그래픽들 또는 이미지들 등과 같은 애플리케이션의 오브젝트들을 포함할 수 있다. 일부 가상 오브젝트들은 운영 시스템 오브젝트 및 애플리케이션의 오브젝트 둘 모두일 수 있다.
[0063]
시야(1755)는 다수의 오브젝트들(예컨대, 오브젝트들(1721, 1722))을 포함할 수 있다. 시야(1755)는 AR 시스템의 사이즈 또는 광학 특징들, 예컨대, 광이 사용자 전방의 실세계로부터 사용자의 눈들로 전달되는 머리 장착 디스플레이의 투명한 윈도우 또는 렌즈의 명확한 어퍼처 사이즈(clear aperture size)에 의존할 수 있다. 일부 실시예들에서, 사용자(60)의 포즈(예컨대, 머리 포즈, 신체 포즈 및/또는 눈 포즈)가 변함에 따라, 시야(1755)는 대응하게 변할 수 있고, 시야(1755) 내의 오브젝트들이 또한 변할 수 있다. 본원에서 설명된 바와 같이, AR 시스템은 관심 필드(1765)의 오브젝트들 뿐만 아니라 시야(1755)의 오브젝트들을 모니터 또는 이미징하는 카메라들과 같은 센서들을 포함할 수 있다. 이러한 일부 실시예들에서, AR 시스템은 사용자의 시야(1755)에서 발생하고 그리고/또는 관심 필드(1765) 내이지만 사용자의 시야 외부에서 발생하는 눈에 띄지 않는 오브젝트들 또는 이벤트들을 사용자에게 경고할 수 있다. 일부 실시예들에서, AR 시스템은 또한 사용자(60)가 주의를 기울이는 것과 기울이지 않는 것 간을 구별할 수 있다.
[0064]
도 2는 웨어러블 디스플레이 시스템(80)의 예를 예시한다. 디스플레이 시스템(80)은 디스플레이(62), 및 그 디스플레이(62)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(62)는, 디스플레이 시스템 사용자 또는 뷰어(60)에 의해 착용가능하고 사용자(60)의 눈들의 전방에 디스플레이(62)를 포지셔닝하도록 구성된 프레임(64)에 커플링될 수 있다. 디스플레이(62)는 일부 실시예들에서, 안경류(eyewear)로 고려될 수 있다. 일부 실시예들에서, 스피커(66)는 프레임(64)에 커플링되고 사용자(60)의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형가능(shapeable) 사운드 제어를 제공함). 일부 실시예들에서, 디스플레이 시스템은 또한 하나 이상의 마이크로폰들(67) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(80)에 입력들 또는 커맨드들(예컨대, 음성 메뉴 커맨드들의 선택, 자연어 질문 등)을 제공할 수 있도록 구성되고, 그리고/또는 다른 사람들(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들)과의 오디오 통신을 허용할 수 있다. 마이크로폰은 또한, 오디오 데이터를 계속해서 수집하기 위한(예컨대, 사용자 및/또는 환경으로부터의 수동적으로 수집하기 위한) 주변 센서로서 구성될 수 있다. 이러한 오디오 데이터는 사용자 사운드들, 이를테면, 거친 숨, 또는 환경 사운드들, 이를테면, 근처의 이벤트를 나타내는 큰 굉음(loud bang)을 포함할 수 있다. 디스플레이 시스템은 또한, 프레임(64)과 별개이고 사용자(60)의 신체(예컨대, 사용자(60)의 머리, 몸통, 손발(extremity) 등)에 부착될 수 있는 주변 센서(30a)를 포함할 수 있다. 주변 센서(30a)는 본원에서 추가로 설명된 바와 같이, 일부 실시예들에서 사용자(60)에 관한 데이터를 획득하도록 구성될 수 있다.
[0065]
도 2를 계속해서 참조하면, 디스플레이(62)는, 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(64)에 고정적으로 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(60)에게 제거가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(70)에 통신 링크(68)에 의해, 예컨대, 유선 리드 또는 무선 연결성에 의해, 동작가능하게 커플링된다. 유사하게, 센서(30a)는 통신 링크(30b), 예컨대, 유선 리드 또는 무선 연결성에 의해 로컬 프로세서 및 데이터 모듈(70)에 동작가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 하드웨어 프로세서뿐 아니라, 디지털 메모리 예컨대, 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대 프레임(64)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(60)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들, 자이로(gyro)들, 깊이 센서들, 양안 세계 카메라들의 쌍들, 지오로케이션 센서들, 근접도 센서들 및/또는 본원에서 개시된 다른 센서들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)(가상 콘텐츠에 관련된 데이터를 포함함)를 사용하여 획득 및/또는 프로세싱되는(가능하게는, 이러한 프로세싱 또는 리트리벌 후 디스플레이(62)에 전달하기 위한) 데이터를 포함한다. 로컬 프로세싱 및 데이터 모듈(70)은 통신 링크들(76, 78)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(70)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들, 자이로들, 깊이 센서들, 양안 세계 카메라들의 쌍들, 지오로케이션 센서들, 근접도 센서들 등 중 하나 이상을 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 이상은 프레임(64)에 부착될 수 있거나, 또는 유선 또는 무선 통신 통로들에 의해 로컬 프로세싱 및 데이터 모듈(70)과 통신하는 자립형 구조들일 수 있다.
[0066]
도 2를 계속해서 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(74)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(74)는 정보, 예컨대, 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72)에 제공하는 하나 이상의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0067]
"3-차원" 또는 "3-D"로서 이미지의 지각은 뷰어의 각각의 눈에 이미지의 약간 상이한 제공들을 제공함으로써 달성될 수 있다. 도 3은 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 2개의 별개의 이미지들(5 및 7)(각각의 눈(4 및 6)에 대해 하나씩)이 사용자에게 출력된다. 이미지들(5, 7)은 뷰어의 시선과 평행한 광학 또는 z-축을 따라 거리(10) 만큼 눈들(4, 6)로부터 이격된다. 이미지들(5, 7)은 편평하고 눈들(4, 6)은 단일 원근조절된 상태를 가정함으로써 이미지들에 포커싱될 수 있다. 그러한 시스템들은 조합된 이미지에 대한 스케일 및/또는 깊이의 지각을 제공하기 위하여 이미지들(5, 7)을 조합하는데 인간 시각 시스템에 의존한다.
[0068]
그러나, 인간 시각 시스템은 더 복잡하고 현실적인 깊이의 지각을 제공하는 것이 더 어렵다는 것이 인지될 것이다. 예컨대, 종래의 "3-D" 디스플레이 시스템들의 많은 뷰어들은 그런 시스템들이 불편하다는 것을 발견하거나, 깊이감을 전혀 지각하지 못할 수 있다. 이론에 의해 제한됨이 없이, 오브젝트의 뷰어들은 이접운동 및 원근조절의 조합으로 인해 오브젝트를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 대한 두 눈들의 이접운동 움직임들(즉, 동공들이 오브젝트를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향해 또는 서로 멀어지게 움직이도록 하는 눈들의 회전)은 눈들의 동공들 및 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들하에서, 상이한 거리에 있는 하나의 오브젝트로부터 다른 오브젝트로 포커스를 변경하기 위하여, 눈들의 렌즈들의 포커스를 변경하거나, 또는 눈들을 원근조절하는 것은 동공 팽창 또는 수축은 물론, "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계하에서, 동일한 거리에 대한 이접운동에서의 매칭하는 변경을 자동으로 유발할 것이다. 마찬가지로, 이접운동에서의 변경은 정상 조건들하에서, 렌즈 형상 및 동공 사이즈의, 원근조절에서의 매칭하는 변경을 트리거할 것이다. 본원에서 언급되는 바와 같이, 다수의 입체 또는 "3-D" 디스플레이 시스템들은, 3-차원 관점이 이 인간 시각 시스템에 의해 지각되도록 각각의 눈에 대한 약간 상이한 제공들(그리고 따라서, 약간 상이한 이미지들)을 사용하여 장면을 디스플레이한다. 그러나, 그러한 시스템들은 많은 뷰어들에게 불편한데, 그 이유는 다른 것들 중에서, 그러한 시스템들이 단순히 장면의 상이한 제공을 제공하지만, 눈들이 단일 원근조절된 상태에서 모든 이미지 정보를 보고, 그리고 "원근조절-이접운동 반사"에 반하여 작동하기 때문이다. 원근조절과 이접운동 간의 더 양호한 매칭을 제공하는 디스플레이 시스템들은, 증가된 착용 지속기간 및 결국, 진단 및 치료 프로토콜들에 대한 준수에 기여하는, 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0069]
도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 4를 참조하여, z-축 상에서 눈들(4, 6)로부터의 다양한 거리들에 있는 오브젝트들은, 이들 오브젝트들이 인 포커싱(in focus)되도록 눈들(4, 6)에 의해 원근조절된다. 눈들(4 및 6)은 z-축을 따라 상이한 거리들에 있는 오브젝트들에 포커싱을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(14) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 오브젝트들 또는 오브젝트들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 인 포커싱된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(4, 6) 각각에 대해 이미지의 상이한 제공들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 제공들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(4, 6)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 겹쳐질 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 피처들은 특정 원근조절된 상태에서 눈과 인 포커싱된다는 것이 인지될 것이다.
[0070]
오브젝트와 눈(4 또는 6) 간의 거리는 또한, 그 눈으로 뷰잉할 때, 그 오브젝트로부터 광의 발산의 양을 변화시킬 수 있다. 도 5a 내지 도 5c는 광선들의 거리와 발산 간의 관계들을 예시한다. 오브젝트와 눈(4) 간의 거리는, 거리가 감소하는 순서 R1, R2 및 R3로 표현된다. 도 5a 내지 도 5c에 도시된 바와 같이, 광선들은, 오브젝트에 대한 거리가 감소함에 따라 더 많이 발산하게 된다. 거리가 증가함에 따라, 광선들은 더욱 시준된다. 다른 말로 하면, 포인트(오브젝트 또는 오브젝트의 부분)에 의해 생성된 광 필드(light field)가 구체 파면 곡률을 가지는 것으로 말해질 수 있고, 구체 파면 곡률은, 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수이다. 곡률은 오브젝트와 눈(4) 간의 거리가 감소함에 따라 증가한다. 결과적으로, 상이한 깊이 평면들에서, 광선들의 발산 정도는 또한 상이하고, 발산 정도는, 깊이 평면들과 뷰어의 눈(4) 간의 거리가 감소함에 따라 증가한다. 도 5a 내지 도 5c 및 본원의 다른 도면들에서 예시의 명확성을 위해 단지 하나의 눈(4)만이 예시되지만, 눈(4)에 관한 논의들이 뷰어의 양쪽 눈들(4 및 6)에 적용될 수 있다는 것이 인지될 것이다.
[0071]
이론에 의해 제한됨이 없이, 인간의 눈은 전형적으로, 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있는 것으로 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 수 있는 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지(예컨대, 장면)의 상이한 제공들을 제공함으로써 달성될 수 있다. 상이한 제공들이 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 그리하여, 상이한 깊이 평면 상에 위치된 장면에 대한 상이한 이미지 피처들에 포커스를 맞추도록 요구되는 눈의 원근조절에 기반하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 피처들이 아웃 포커스(out of focus)되는 것을 관찰하는 것에 기반하여 깊이 큐들을 사용자에게 제공하는 것을 돕는다.
[0072]
도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(1000)은 복수의 도파관들(182, 184, 186, 188, 190)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(178)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(1000)은 도 2의 시스템(80)이고, 도 6은 그 시스템(80)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 도파관 어셈블리(178)는 도 2의 디스플레이(62)의 부분일 수 있다. 디스플레이 시스템(1000)은 일부 실시예들에서 광 필드 디스플레이로서 고려될 수 있다는 것이 인지될 것이다.
[0073]
도 6을 계속해서 참조하면, 도파관 어셈블리(178)는 또한 도파관들 사이에 복수의 피처들(198, 196, 194, 192)을 포함할 수 있다. 일부 실시예들에서, 피처들(198, 196, 194, 192)은 하나 이상의 렌즈들일 수 있다. 도파관들(182, 184, 186, 188, 190) 및/또는 복수의 렌즈들(198, 196, 194, 192)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 도파관들에 대한 광원으로서 기능할 수 있고, 이미지 정보를 도파관들(182, 184, 186, 188, 190)에 주입하기 위하여 활용될 수 있으며, 도파관들 각각은, 본원에 설명된 바와 같이, 눈(4)을 향하여 출력하기 위해 각각의 개개의 도파관에 걸쳐 인입 광을 분배하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(200, 202, 204, 206, 208)의 출력 표면(300, 302, 304, 306, 308)을 나가고 도파관들(182, 184, 186, 188, 190)의 대응하는 입력 표면(382, 384, 386, 388, 390)에 주입된다. 일부 실시예들에서, 입력 표면들(382, 384, 386, 388, 390) 각각은 대응하는 도파관의 에지일 수 있거나, 또는 대응하는 도파관의 주 표면의 부분일 수 있다(즉, 도파관 표면들 중 하나는 직접적으로 세계(144) 또는 뷰어의 눈(4)을 향함). 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(4)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208) 중 하나의 이미지 주입 디바이스가 복수(예컨대, 3개)의 도파관들(182, 184, 186, 188, 190)과 연관되고 그에 광을 주입할 수 있다.
[0074]
일부 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 각각 대응하는 도파관(182, 184, 186, 188, 190)에 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(200, 202, 204, 206, 208) 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다. 이미지 주입 디바이스들(200, 202, 204, 206, 208)에 의해 제공되는 이미지 정보는 상이한 파장들 또는 컬러들(예컨대, 본원에서 논의된 바와 같이 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인지될 것이다.
[0075]
일부 실시예들에서, 도파관들(182, 184, 186, 188, 190)로 주입된 광은 LED(light emitting diode)와 같은 광 방출기를 포함할 수 있는 광 모듈(2040)을 포함하는 광 프로젝터 시스템(2000)에 의해 제공된다. 광 모듈(2040)로부터의 광은 빔 분할기(2050)를 통해 광 변조기(2030), 예컨대, 공간 광 변조기에 지향되고 그에 의해 수정될 수 있다. 광 변조기(2030)는 도파관들(182, 184, 186, 188, 190) 내로 주입되는 광의 지각되는 세기를 변화시키도록 구성될 수 있다. 공간 광 변조기들의 예들은, LCOS(liquid crystal on silicon) 디스플레이들을 포함하는 LCD(liquid crystal display)들을 포함한다.
[0076]
일부 실시예들에서, 디스플레이 시스템(1000)은 광을 다양한 패턴들(예컨대, 래스터 스캔, 나선형 스캔, 리사주(Lissajous) 패턴 등)로 하나 이상의 도파관들(182, 184, 186, 188, 190) 내로 그리고 궁극적으로 뷰어의 눈(4)으로 투사하도록 구성된 하나 이상의 스캐닝 섬유들을 포함하는 스캐닝 섬유 디스플레이일 수 있다. 일부 실시예들에서, 예시된 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 하나 또는 복수의 도파관들(182, 184, 186, 188, 190) 내로 광을 주입하도록 구성된 단일 스캐닝 섬유 또는 스캐닝 섬유들의 번들(bundle)들을 개략적으로 표현할 수 있다. 일부 다른 실시예들에서, 예시된 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 복수의 스캐닝 섬유들 또는 스캐닝 섬유들의 복수의 번들들을 개략적으로 표현하며, 이들 각각은 도파관들(182, 184, 186, 188, 190) 중 연관된 하나 내로 광을 주입하도록 구성된다. 하나 이상의 광섬유들이 광 모듈(2040)로부터 하나 이상의 도파관들(182, 184, 186, 188, 190)로 광을 투과시키도록 구성될 수 있다는 것이 인지될 것이다. 예컨대, 스캐닝 섬유에서 나오는 광을 하나 이상의 도파관들(182, 184, 186, 188, 190)로 재지향시키기 위해, 스캐닝 섬유 또는 섬유들과, 하나 이상의 도파관들(182, 184, 186, 188, 190) 사이에 하나 이상의 개재된 광학 구조들이 제공될 수 있다는 것이 인지될 것이다.
[0077]
제어기(210)는 이미지 주입 디바이스들(200, 202, 204, 206, 208), 광원(2040) 및 광 변조기(2030)의 동작을 포함한, 스택된 도파관 어셈블리(178)의 하나 이상의 도파관들의 동작을 제어한다. 일부 실시예들에서, 제어기(210)는 로컬 데이터 프로세싱 모듈(70)의 부분이다. 제어기(210)는 예컨대, 본원에 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(182, 184, 186, 188, 190)에 대한 이미지 정보의 타이밍 및 프로비전을 조절하는 프로그래밍(예컨대, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 제어기(210)는 일부 실시예들에서, 프로세싱 모듈들(70 또는 72)(도 2)의 부분일 수 있다.
[0078]
도 6을 계속해서 참조하면, 도파관들(182, 184, 186, 188, 190)은 TIR(total internal reflection)에 의해 각각의 개개의 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(182, 184, 186, 188, 190)은 각각 평면형이거나 다른 형상(예컨대, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(182, 184, 186, 188, 190)은 이미지 정보를 눈(4)에 출력하기 위해 각각의 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관 밖으로 광을 추출하도록 구성된 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 아웃커플링 광학 엘리먼트들은 또한 광 추출 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력된다. 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 예컨대, 본원에서 추가로 논의되는 바와 같이, 회절성 광학 피처들을 포함하는 격자들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(182, 184, 186, 188, 190)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 본원에서 추가로 논의되는 바와 같이, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(182, 184, 186, 188, 190)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 도파관들(182, 184, 186, 188, 190)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(182, 184, 186, 188, 190)은 재료의 모놀리식 피스(piece)일 수 있고 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0079]
도 6을 계속해서 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(182, 184, 186, 188, 190)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(182)은, 그러한 도파관(182)에 주입된 시준된 광을 눈(4)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위의 다음 도파관(184)은, 시준된 광이 눈(4)에 도달할 수 있기 전에 제1 렌즈(192)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그러한 제1 렌즈(192)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위의 다음 도파관(184)으로부터 오는 광을, 광학적 무한대로부터 눈(4)을 향하여 안쪽으로 더 근접한 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 위의 제3 도파관(186)은 자신의 출력 광을 눈(4)에 도달하기 전에 제1 렌즈(192) 및 제2 렌즈(194) 둘 모두를 통과시키고; 제1 렌즈(192) 및 제2 렌즈(194)의 조합된 광학 파워는 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(186)으로부터 오는 광을, 위의 다음 도파관(184)으로부터의 광보다는 광학적 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 근접한 제2 초점 평면으로부터 오는 것으로 해석한다.
[0080]
다른 도파관 층들(188, 190) 및 렌즈들(196, 198)은 유사하게 구성되는데, 스택에서 가장 높은 도파관(190)은 자신의 출력을, 사람과 가장 근접한 초점 평면을 나타내는 어그리게이트 초점력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(178)의 다른 측 상에서 세계(144)로부터 오는 광을 보거나/해석할 때 렌즈들(198, 196, 194, 192)의 스택을 보상하기 위하여, 보상 렌즈 층(180)은 아래의 렌즈 스택(198, 196, 194, 192)의 어그리게이트 초점력을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 페어링들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 아웃커플링 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적(즉, 동적이거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0081]
일부 실시예들에서, 도파관들(182, 184, 186, 188, 190) 중 둘 이상은 동일한 연관된 깊이 평면을 가질 수 있다. 예컨대, 다수의 도파관들(182, 184, 186, 188, 190)은 동일한 깊이 평면으로 세팅된 이미지들을 출력하도록 구성될 수 있거나, 또는 도파관들(182, 184, 186, 188, 190)의 다수의 서브세트들은 동일한 복수의 깊이 평면들로 세팅된 이미지들(각각의 깊이 평면에 대해 하나의 이미지가 세팅됨)을 출력하도록 구성될 수 있다. 이는 그러한 깊이 평면들에서 확장된 시야를 제공하기 위해 타일 이미지(tiled image)를 형성하는 장점들을 제공할 수 있다.
[0082]
도 6을 계속해서 참조하면, 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 자신들의 개개의 도파관들 밖으로 광을 재지향할 뿐만 아니라 도파관과 연관된 특정 깊이 평면에 대해 적합한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)을 가질 수 있고, 이러한 아웃커플링 광학 엘리먼트들은 연관된 깊이 평면에 의존하여 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(198, 196, 194, 192)은 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0083]
일부 실시예들에서, 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)은 회절 패턴 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)를 형성하는 회절 피처들이다. 바람직하게는, DOE들은 충분히 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차로 인해 눈(4)을 향하여 편향되지만, 나머지는 내부 전반사를 통해 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할되고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(4)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0084]
일부 실시예들에서, 하나 이상의 DOE들은, 이들이 활성적으로 회절되는 "온" 상태들과 이들이 크게 회절되지 않는 "오프" 상태들 간에 스위칭가능할 수 있다. 예컨대, 스위칭가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활성적으로 회절시킴).
[0085]
일부 실시예들에서, 예컨대, 사용자 입력들을 검출하기 위해 눈(4) 및/또는 눈(4) 주위 조직의 이미지들을 캡처하도록 카메라 어셈블리(500)(예컨대, 가시광 및 적외선 광 카메라들을 포함하는 디지털 카메라)가 제공될 수 있다. 본원에서 사용된 바와 같이, 카메라는 임의의 이미지 캡처 디바이스일 수 있다. 일부 실시예들에서, 카메라 어셈블리(500)는 이미지 캡처 디바이스 및 눈에 광(예컨대, 적외선 광)을 투사하기 위한 광원을 포함할 수 있으며, 그런 다음 이 광은 눈에 의해 반사되고 이미지 캡처 디바이스에 의해 검출될 수 있다. 일부 실시예들에서, 카메라 어셈블리(500)는 프레임(64)(도 2)에 부착될 수 있고, 카메라 어셈블리(500)로부터의 이미지 정보를 프로세싱할 수 있는 프로세싱 모듈들(70 및/또는 72)과 전기 통신할 수 있다. 일부 실시예들에서, 하나의 카메라 어셈블리(500)가 각각의 눈을 별개로 모니터하기 위해 각각의 눈에 대해 활용될 수 있다.
[0086]
이제 도 7을 참조로, 도파관에 의해 출력된 출사 빔들의 예가 도시된다. 하나의 도파관이 예시되지만, 도파관 어셈블리(178)(도 6) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(178)는 다수의 도파관들을 포함한다. 광(400)은 도파관(182)의 입력 표면(382)에서 도파관(182)으로 주입되고 TIR에 의해 도파관(182) 내에서 전파된다. 광(400)이 DOE(282)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(402)로서 도파관을 나간다. 출사 빔들(402)은 실질적으로 평행한 것으로 예시되지만, 본원에 논의된 바와 같이, 이들 출사 빔들(402)은 또한 도파관(182)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(4)으로 전파되도록 재지향될 수 있다(예컨대, 발산하는 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(4)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 보이는 이미지들을 형성하도록 광을 아웃커플링하는 아웃커플링 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 아웃커플링 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있고, 이는 눈(4)이 망막 상에 포커싱을 맞추게 하기 위해 더 근접한 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(4)에 더 근접한 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0087]
일부 실시예들에서, 풀(full) 컬러 이미지는 컴포넌트 컬러들, 예컨대, 3개 이상의 컴포넌트 컬러들 각각에 이미지들을 오버레이시킴으로써 각각의 깊이 평면에 형성될 수 있다. 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다. 예시된 실시예는 깊이 평면들(14a-14f)을 도시하지만, 더 많거나 더 적은 깊이들이 또한 고려될 수 있다. 각각의 깊이 평면은, 자신과 연관된 3개의 컴포넌트 컬러 이미지들, 즉, 제1 컬러(G)의 제1 이미지; 제2 컬러(R)의 제2 이미지; 및 제3 컬러(B)의 제3 이미지를 가질 수 있다. 상이한 깊이 평면들은 G, R 및 B 문자들 다음에 오는 디옵터들(dpt)에 대한 상이한 숫자들에 의해 도면에 표시된다. 단지 예들로서, 이들 문자들 각각 다음에 오는 숫자들은 디옵터들(1/m) 또는 뷰어로부터의 깊이 평면의 역 거리(inverse distance)를 표시하며, 도면들에서 각각의 박스는 개별 컴포넌트 컬러 이미지를 나타낸다. 일부 실시예들에서, 상이한 파장들의 광의 눈의 포커싱에서의 차이를 참작하기 위해, 상이한 컴포넌트 컬러들에 대한 깊이 평면들의 정확한 배치는 변할 수 있다. 예컨대, 정해진 깊이 평면에 대한 상이한 컴포넌트 컬러 이미지들은 사용자로부터의 상이한 거리들에 대응하는 깊이 평면들 상에 배치될 수 있다. 이러한 어레인지먼트는 시력 및 사용자의 편안함을 증가시킬 수 있고 그리고/또는 색수차들을 감소시킬 수 있다.
[0088]
일부 실시예들에서, 각각의 컴포넌트 컬러의 광은 단일 전용 도파관에 의해 출력될 수 있고, 결과적으로, 각각의 깊이 평면은 그것과 연관된 다수의 도파관들을 가질 수 있다. 이러한 실시예들에서, 문자들 G, R 또는 B를 포함하는 도면들 내 각각의 박스는 개별 도파관을 나타내는 것으로 이해될 수 있고, 3개의 도파관들이 깊이 평면 당 제공될 수 있으며, 여기서 3개의 컴포넌트 컬러 이미지들이 깊이 평면 당 제공된다. 각각의 깊이 평면과 연관된 도파관들이 설명의 용이함을 위해 이 도면에서 서로 인접한 것으로 도시되지만, 물리적 디바이스에서, 도파관들은 모두 레벨 당 하나의 도파관을 갖는 스택으로 배열될 수 있다는 것이 인지될 것이다. 일부 다른 실시예들에서, 다수의 컴포넌트 컬러들이 동일한 도파관에 의해 출력될 수 있어서, 예컨대, 단지 단일 도파관이 깊이 평면 당 제공될 수 있다.
[0089]
도 8을 계속해서 참조하면, 일부 실시예들에서, G는 녹색 컬러이고, R은 적색 컬러이고, B는 청색 컬러이다. 일부 다른 실시예들에서, 마젠타 및 시안을 포함하는, 다른 광의 파장들과 연관되는 다른 컬러들이 적색, 녹색 또는 청색 중 하나 이상을 대체할 수 있거나, 또는 이에 추가로 사용될 수 있다. 일부 실시예들에서, 피처들(198, 196, 194, 및 192)은, 주변 환경으로부터의 광을 뷰어의 눈들로 선택적으로 차단하도록 구성된 능동 또는 수동 광학 필터들일 수 있다.
[0090]
본 개시내용 전반에 걸쳐 정해진 컬러의 광에 대한 참조는 그 정해진 컬러인 것으로서 뷰어에 의해 지각되는 광의 파장들의 범위 내의 하나 이상의 파장들의 광을 포함하는 것으로 이해될 것이란 점이 인지될 것이다. 예컨대, 적색 광은 약 620-780nm 범위의 하나 이상의 파장들의 광을 포함할 수 있고, 녹색 광은 약 492-577nm 범위의 하나 이상의 파장들의 광을 포함할 수 있으며, 청색 광은 약 435-493nm 범위의 하나 이상의 파장들의 광을 포함할 수 있다.
[0091]
일부 실시예들에서, 광원(2040)(도 6)은 뷰어의 시각적 지각 범위 밖의 하나 이상의 파장들, 예컨대, 적외선 및/또는 자외선 파장들의 광을 방출하도록 구성될 수 있다. 게다가, 디스플레이(1000)의 도파관들의 인커플링, 아웃커플링 및 다른 광 재지향 구조들은, 예컨대, 이미징 및/또는 다른 애플리케이션들을 위해 사용자의 눈(4)을 향하여 디스플레이 밖으로 이 광을 지향 및 방출하도록 구성될 수 있다.
[0092]
이제 도 9a를 참조로, 일부 실시예들에서, 도파관에 충돌하는 광은 도파관 내로 그 광을 인커플링하기 위해 재지향될 필요가 있을 수 있다. 인커플링 광학 엘리먼트는 광을 그의 대응하는 도파관으로 재지향 및 인커플링하는 데 사용될 수 있다. 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 복수의 스택된 도파관들 또는 스택된 도파관들의 세트(1200)의 예의 측단면도를 예시한다. 도파관들은 각각 하나 이상의 상이한 파장들, 또는 하나 이상의 상이한 파장들의 범위들의 광을 출력하도록 구성될 수 있다. 스택(1200)은 스택(178)(도 6)에 대응할 수 있고, 스택(1200)의 예시된 도파관들은, 이미지 주입 디바이스들(200, 202, 204, 206, 208) 중 하나 이상으로부터의 광이 인커플링을 위해 재지향되도록 요구되는 포지션으로부터 도파관들로 주입되는 것을 제외하면, 복수의 도파관들(182, 184, 186, 188, 190)의 부분에 대응할 수 있다는 것이 인지될 것이다.
[0093]
스택된 도파관들의 예시된 세트(1200)는 도파관들(1210, 1220, 및 1230)을 포함한다. 각각의 도파관은, (도파관 상의 광 입력 영역으로서 또한 지칭될 수 있는) 연관된 인커플링 광학 엘리먼트를 포함하며, 예컨대, 인커플링 광학 엘리먼트(1212)는 도파관(1210)의 주 표면(예컨대, 상부 주 표면) 상에 배치되고, 인커플링 광학 엘리먼트(1224)는 도파관(1220)의 주 표면(예컨대, 상부 주 표면) 상에 배치되며, 인커플링 광학 엘리먼트(1232)는 도파관(1230)의 주 표면(예컨대, 상부 주 표면) 상에 배치된다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(1212, 1222, 1232) 중 하나 이상은 개개의 도파관(1210, 1220, 1230)의 최하부 주 표면 상에 배치될 수 있다(특히, 여기서 하나 이상의 인커플링 광학 엘리먼트들은 반사성 편향 광학 엘리먼트들임). 예시된 바와 같이, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 그들 개개의 도파관(1210, 1220, 1230)의 상부 주 표면(또는 다음 하위 도파관의 최상부) 상에 배치될 수 있으며, 특히, 여기서 이러한 인커플링 광학 엘리먼트들은 투과성 편향 광학 엘리먼트들이다. 일부 실시예들에서, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 각각의 도파관(1210, 1220, 1230)의 본체에 배치될 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 파장 선택적이어서, 이들은 하나 이상의 광 파장들을 선택적으로 재지향시키면서 다른 광 파장들을 투과시킨다. 그들 개개의 도파관(1210, 1220, 1230)의 한 측 또는 코너 상에 예시되지만, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 일부 실시예들에서, 그들의 개개의 도파관(1210, 1220, 1230)의 다른 영역들에 배치될 수 있다는 것이 인지될 것이다.
[0094]
예시된 바와 같이, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 서로 측방으로 오프셋될 수 있다. 일부 실시예들에서, 각각의 인커플링 광학 엘리먼트는, 광이 다른 인커플링 광학 엘리먼트를 통과하지 않고 자신이 그 광을 수신하도록 오프셋될 수 있다. 예컨대, 각각의 인커플링 광학 엘리먼트(1212, 1222, 1232)는 도 6에 도시된 바와 같이 상이한 이미지 주입 디바이스(200, 202, 204, 206, 및 208)로부터 광을 수신하도록 구성될 수 있고, 다른 인커플링 광학 엘리먼트들(1212, 1222, 1232)로부터 분리(예컨대, 측방으로 이격)될 수 있어서, 그것은 인커플링 광학 엘리먼트들(1212, 1222, 1232) 중 다른 것들로부터의 광을 실질적으로 수신하지 않는다.
[0095]
각각의 도파관은 또한 연관된 광 분배 엘리먼트들을 포함하며, 예컨대, 광 분배 엘리먼트들(1214)은 도파관(1210)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되고, 광 분배 엘리먼트들(1224)은 도파관(1220)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되며, 광 분배 엘리먼트들(1234)은 도파관(1230)의 주 표면(예컨대, 최상부 주 표면) 상에 배치된다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(1214, 1224, 1234)은 연관된 도파관들(1210, 1220, 1230)의 최하부 주 표면 상에 각각 배치될 수 있다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(1214, 1224, 1234)은 연관된 도파관들(1210, 1220, 1230)의 최상부 및 최하부 주 표면 둘 모두 상에 각각 배치될 수 있거나; 또는 광 분배 엘리먼트들(1214, 1224, 1234)은 상이한 연관된 도파관들(1210, 1220, 1230)의 최상부 및 최하부 주 표면들 중 상이한 표면들 상에 각각 배치될 수 있다.
[0096]
도파관들(1210, 1220, 1230)은, 예컨대, 기체, 액체 및/또는 고체 재료 층들에 의해 이격되고 분리될 수 있다. 예컨대, 예시된 바와 같이, 층(1218a)은 도파관들(1210, 1220)을 분리할 수 있고; 층(1218b)은 도파관들(1220 및 1230)을 분리할 수 있다. 일부 실시예들에서, 층들(1218a 및 1218b)은 더 낮은 굴절률 재료들(즉, 도파관들(1210, 1220, 1230) 중 바로 인접한 하나를 형성하는 재료보다 낮은 굴절률을 갖는 재료들)로 형성된다. 바람직하게는, 층들(1218a, 1218b)을 형성하는 재료의 굴절률은 0.05 이상 또는 0.10 이하거나 또는 도파관들(1210, 1220, 1230)을 형성하는 재료의 굴절률보다 훨씬 낮을 수 있다. 유리하게, 더 낮은 굴절률 층들(1218a, 1218b)은 도파관들(1210, 1220, 1230)을 통한 광의 TIR(total internal reflection)(예컨대, 각각의 도파관의 최상부 및 최하부 주 표면들 사이의 TIR)를 가능하게 하는 클래딩 층들로서 기능할 수 있다. 일부 실시예들에서, 층들(1218a, 1218b)은 공기로 형성된다. 예시되지는 않았지만, 예시된 도파관들의 세트(1200)의 최상부 및 최하부는 바로 이웃한 클래딩 층들을 포함할 수 있다는 것이 인지될 것이다.
[0097]
바람직하게는, 제조의 용이함 및 다른 고려사항들을 위해, 도파관들(1210, 1220, 1230)을 형성하는 재료는 유사하거나 동일하며, 층들(1218a, 1218b)을 형성하는 재료는 유사하거나 동일하다. 일부 실시예들에서, 도파관들(1210, 1220, 1230)을 형성하는 재료는 하나 이상의 도파관들 간에 상이할 수 있고, 그리고/또는 층들(1218a, 1218b)을 형성하는 재료는 여전히 위에서 언급된 다양한 굴절률 관계들을 유지하면서 상이할 수 있다.
[0098]
도 9a를 계속해서 참조하면, 광선들(1240, 1242, 1244)이 도파관들의 세트(1200) 상에 입사된다. 광선들(1240, 1242, 1244)은 하나 이상의 이미지 주입 디바이스들(200, 202, 204, 206, 208)(도 6)에 의해 도파관들(1210, 1220, 1230) 내로 주입될 수 있다는 것이 인지될 것이다.
[0099]
일부 실시예들에서, 광선들(1240, 1242, 1244)은 상이한 성질들, 예컨대, 상이한 파장들 또는 상이한 파장들의 범위들을 가지며, 이는 상이한 컬러들에 대응할 수 있다. 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 각각, 입사 광이 TIR에 의해 도파관들(1210, 1220, 1230) 중 개개의 도파관을 통해 전파되도록 광을 편향시킨다.
[0100]
예컨대, 인커플링 광학 엘리먼트(1212)는, 제1 파장 또는 파장들의 범위를 갖는 광선(1240)을 편향시키도록 구성될 수 있다. 유사하게, 투과된 광선(1242)은 제2 파장 또는 파장들의 범위의 광을 편향시키도록 구성된 인커플링 광학 엘리먼트(1222)에 충돌하고 그에 의해 편향된다. 마찬가지로, 광선(1244)은 제3 파장 또는 파장들의 범위의 광을 선택적으로 편향시키도록 구성된 인커플링 광학 엘리먼트(1232)에 의해 편향된다.
[0101]
도 9a를 계속해서 참조하면, 편향된 광선들(1240, 1242, 1244)은, 이들이 대응하는 도파관(1210, 1220, 1230)을 통해 전파되도록 편향되는데; 즉, 각각의 도파관의 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 그 대응하는 도파관(1210, 1220, 1230) 내로 광을 인커플링하도록 그 대응하는 도파관 내로 광을 편향시킨다. 광선들(1240, 1242, 1244)은, 광으로 하여금 TIR에 의해 각각의 도파관(1210, 1220, 1230)을 통해 전파되게 하는 각도들로 편향된다. 광선들(1240, 1242, 1244)은, 도파관의 대응하는 광 분배 엘리먼트들(1214, 1224, 1234)에 충돌할 때까지 TIR에 의해 개개의 도파관(1210, 1220, 1230)을 통해 전파된다.
[0102]
이제 도 9b를 참조로, 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다. 위에서 언급된 바와 같이, 인커플링된 광선들(1240, 1242, 1244)은 인커플링 광학 엘리먼트들(1212, 1222, 1232)에 의해 각각 편향되고, 그런 다음 도파관들(1210, 1220, 1230) 내에서 TIR에 의해 각각 전파된다. 그런 다음, 광선들(1240, 1242, 1244)은 광 분배 엘리먼트들(1214, 1224, 1234)에 각각 충돌한다. 광 분배 엘리먼트들(1214, 1224, 1234)은, 광선들(1240, 1242, 1244)이 아웃커플링 광학 엘리먼트(1250, 1252, 1254)를 향해 각각 전파되도록 이들을 편향시킨다.
[0103]
일부 실시예들에서, 광 분배 엘리먼트들(1214, 1224, 1234)은 OPE(orthogonal pupil expander)들이다. 일부 실시예들에서, OPE들 둘 모두는 아웃커플링 광학 엘리먼트들(1250, 1252, 1254)로 광을 편향시키거나 분배하고, 광이 아웃커플링 광학 엘리먼트들로 전파될 때 이 광의 빔 또는 스폿 사이즈를 또한 증가시킨다. 예컨대, 빔 크기가 이미 원하는 사이즈를 갖는 일부 실시예들에서, 광 분배 엘리먼트들(1214, 1224, 1234)은 생략될 수 있고, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 아웃커플링 광학 엘리먼트들(1250, 1252, 1254)에 광을 직접 편향시키도록 구성될 수 있다. 예컨대, 도 9a를 참조하여, 광 분배 엘리먼트들(1214, 1224, 1234)은 아웃커플링 광학 엘리먼트(1250, 1252, 1254)로 각각 대체될 수 있다. 일부 실시예들에서, 아웃커플링 광학 엘리먼트들(1250, 1252, 1254)은 뷰어의 눈(4)(도 7)에 광을 지향시키는 EP(exit pupil)들 또는 EPE(exit pupil expander)들이다.
[0104]
그에 따라서, 도 9a 및 9b를 참조하여, 일부 실시예들에서, 도파관들의 세트(1200)는 각각의 컴포넌트 컬러에 대해 도파관들(1210, 1220, 1230; 인커플링 광학 엘리먼트들(1212, 1222, 1232); 광 분배 엘리먼트(예컨대, OPE들)(1214, 1224, 1234); 및 아웃커플링 광학 엘리먼트들(예컨대, EP들)(1250, 1252, 1254)을 포함한다. 도파관들(1210, 1220, 1230)은 각각의 도파관 사이에 에어 갭/클래딩 층을 갖도록 스택될 수 있다. 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 (상이한 인커플링 광학 엘리먼트들이 상이한 파장들의 광을 수신함에 따라) 입사 광을 자신의 도파관으로 재지향 또는 편향시킨다. 그런 다음, 광은 개개의 도파관(1210, 1220, 1230) 내에서 TIR을 초래할 각도로 전파된다. 도시된 예에서, 광선(1240)(예컨대, 청색 광)은 제1 인커플링 광학 엘리먼트(1212)에 의해 편향되고, 그런 다음 도파관을 따라 계속 바운싱(bounce)하여, 앞서 설명된 방식으로, 광 분배 엘리먼트(예컨대, OPE들)(1214) 및 그런 다음 아웃커플링 광학 엘리먼트(예컨대, EP들)(1250)와 상호작용한다. 광선들(1242 및 1244)(예컨대, 각각 녹색 및 적색 광)은 도파관(1210)을 통과할 것이고, 광선(1242)은 인커플링 광학 엘리먼트(1222)에 충돌하고 그에 의해 편향된다. 그런 다음, 광선(1242)은 TIR을 통해 도파관(1220)을 따라 바운싱되어, 자신의 광 분배 엘리먼트(예컨대, OPE들)(1224)로 그리고 그런 다음 아웃커플링 광학 엘리먼트(예컨대, EP들)(1252)로 진행된다. 마지막으로, 광선(1244)(예컨대, 적색 광)은 도파관(1220)을 통과하여 도파관(1230)의 광 인커플링 광학 엘리먼트들(1232)에 충돌한다. 광 인커플링 광학 엘리먼트들(1232)은, 광선(1244)이 TIR에 의해 광 분배 엘리먼트(예컨대, OPE들)(1234)로, 그리고 그런 다음 TIR에 의해 아웃커플링 광학 엘리먼트(예컨대, EP들)(1254)로 전파되도록 그 광선을 편향시킨다. 그런 다음, 아웃커플링 광학 엘리먼트(1254)는 최종적으로 광선(1244)을 뷰어에 아웃커플링하며, 이 뷰어는 또한 다른 도파관들(1210, 1220)로부터 아웃커플링된 광을 수신한다.
[0105]
도 9c는 도 9a 및 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다. 예시된 바와 같이, 각각의 도파관의 연관된 광 분배 엘리먼트(1214, 1224, 1234) 및 연관된 아웃커플링 광학 엘리먼트(1250, 1252, 1254)와 함께, 도파관들(1210, 1220, 1230)은 수직으로 정렬될 수 있다. 그러나, 본원에서 논의된 바와 같이, 인커플링 광학 엘리먼트들(1212, 1222, 1232)은 수직으로 정렬되지 않고; 오히려, 인커플링 광학 엘리먼트들은 바람직하게는, 오버랩핑되지 않는다(예컨대, 하향식 도면에서 보여지는 바와 같이 측방으로 이격됨). 본원에서 추가로 논의되는 바와 같이, 이러한 오버랩핑되지 않는 공간적 어레인지먼트는 일대일 기반으로 상이한 자원들로부터 상이한 도파관으로의 광의 주입을 가능하게 하고, 그리하여 특정 광원이 특정 도파관에 고유하게 커플링될 수 있게 허용한다. 일부 실시예들에서, 오버랩핑되지 않는 공간적으로-분리된 인커플링 광학 엘리먼트들을 포함하는 어레인지먼트는 시프트된 동공 시스템으로서 지칭될 수 있고, 이러한 어레인지먼트들의 인커플링 광학 엘리먼트들은 서브 동공들에 대응할 수 있다.
[0106]
이제 도 10a를 참조로, 도 10a는 사용자 센서들(24, 28, 30, 32) 및 환경 센서들(34)을 포함하는 증강 현실 디스플레이 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다. 일부 실시예들에서, 증강 현실 디스플레이 시스템은 혼합 현실 디스플레이 시스템일 수 있다. 도시된 바와 같이, 사용자 센서들(24, 28, 30, 32)은 사용자에 관한 데이터를 검출하도록 구성될 수 있고, 환경 센서들(34)은 사용자 외부의 파라미터들에 관한 데이터를 수집하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자에게 전달되는 AR 콘텐츠를 특징화하고 그리고/또는 이에 관련된 데이터(예컨대, AR 콘텐츠의 시간, 위치, 컬러 메이크-업, 사운드 볼륨 등)를 저장하도록 구성될 수 있다.
[0107]
사용자 센서들이 우선 논의될 것이다. 예시된 바와 같이, 증강 현실 디스플레이 시스템(2010)은 다양한 사용자 센서들을 포함할 수 있다. 증강 현실 디스플레이 시스템(2010)은 도 2의 시스템(80)에 대응할 수 있고, 뷰어 이미징 시스템(22)을 포함할 수 있다. 시스템(22)은, 사용자(예컨대, 사용자의 눈들(2001, 2002) 및/또는 주변 조직들)로 지향되고, 이를 모니터하도록 구성된 광원들(26)(예컨대, 적외선 광원들)과 페어링된 카메라들(24)(예컨대, 적외선, UV 및/또는 가시광 카메라들)을 포함할 수 있다. 카메라들(24) 및 광원들(26)은 로컬 프로세싱 모듈(70)에 동작가능하게 커플링될 수 있다. 그러한 카메라들(24)은, 본원에서 개시된 다양한 분석들을 수행하기 위해, 개개의 눈들의 동공들(동공 사이즈들을 포함함) 또는 홍채들, 및/또는 눈 주변의 조직들, 이를테면, 눈꺼풀 또는 눈썹의 배향, 형상, 및 대칭성 중 하나 이상을 모니터하도록 구성될 수 있다. 일부 실시예들에서, 눈의 홍채 및/또는 망막의 이미징은 사용자의 안전한 식별을 위해 사용될 수 있다.
[0108]
도 10a를 계속해서 참조하면, 카메라들(24)은 이를테면 망막 피처들, 이를테면 중심와 또는 안저(fundus)의 피처들에 기반하여 진단 목적들로 및/또는 배향 추적들을 위해 개개의 눈들의 망막들을 이미징하도록 추가로 구성될 수 있다. 홍채 및 망막 이미징 또는 스캐닝은 예컨대 사용자 데이터를 특정 사용자와 정확하게 연관시키기 위해 및/또는 개인 정보를 적합한 사용자에게 제공하기 위해 사용자들의 안전한 식별을 위해 수행될 수 있다. 일부 실시예들에서, 카메라들(24) 외에도 또는 그에 대한 대안으로서, 하나 이상의 카메라들(28)은 사용자의 상태의 다양한 다른 양상들을 검출 및/또는 모니터링하도록 구성될 수 있다. 예컨대, 하나 이상의 카메라들(28)은 내향일 수 있고, 사용자의 눈들 이외의 피처들의 형상, 포지션, 움직임, 컬러 및/또는 다른 특성들, 예컨대, 하나 이상의 얼굴 피처들(예컨대, 얼굴 표정, 의식적 움직임, 무의식적 틱들)을 모니터링하도록 구성될 수 있다. 다른 예에서, 하나 이상의 카메라들(28)은 하향일 수 있고, 사용자의 팔들, 손들, 다리들, 발들 및/또는 몸통의 포지션, 움직임 및/또는 다른 피처들 또는 특성들을 모니터링하도록 구성될 수 있다.
[0109]
일부 실시예들에서, 본원에서 개시된 바와 같이, 디스플레이 시스템(2010)은, 이미지를 형성하기 위해 사용자의 망막을 통한 광 빔들을 파이버 스캐너(예컨대, 도 6의 이미지 주입 디바이스들(200, 202, 204, 206, 208))를 통해 가변적으로 투사하는 공간 광 변조기를 포함할 수 있다. 일부 실시예들에서, 파이버 스캐너는, 예컨대, 사용자의 눈들을 추적 또는 이미징하기 위해 카메라들(24 또는 28)과 관련하여 또는 그 대신에 사용될 수 있다. 예컨대, 광을 출력하도록 구성된 스캐닝 파이버에 대한 대안으로서 또는 그 외에도, 헬쓰 시스템은 별개의 광-수신 디바이스가 사용자의 눈들로부터 반사된 광을 수신하게 하고 반사된 광과 연관된 데이터를 수집하게 할 수 있다.
[0110]
도 10a를 계속해서 참조하면, 카메라들(24, 28) 및 광원들(26)은 프레임(64) 상에 장착될 수 있고, 프레임(64)은 또한 도파관 스택들(2005, 2006)을 홀딩할 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)의 센서들 및/또는 다른 전자 디바이스들(예컨대, 카메라들(24, 28) 및 광원들(26))은 통신 링크들(76, 70)을 통해 로컬 프로세싱 및 데이터 모듈(70)과 통신하도록 구성될 수 있다.
[0111]
일부 실시예들에서, 사용자에 관한 데이터를 제공하는 것 외에도, 카메라들(24 및 28) 중 하나 또는 둘 모두는 사용자 입력을 제공하기 위해 눈들을 추적하기 위해 활용될 수 있다. 예컨대, 뷰어 이미징 시스템(22)은 가상 메뉴들 상에서 아이템들을 선택하고 그리고/또는 이를테면 본원에 개시된 다양한 테스트들 및 분석들에서 사용자 응답들을 제공하기 위해 디스플레이 시스템(2010)에 다른 입력을 제공하기 위해 활용될 수 있다.
[0112]
일부 실시예들에서, 디스플레이 시스템(2010)은 모션 센서들(32), 이를테면 하나 이상의 가속도계들, 자이로들, 제스처 센서들, 걸음걸이 센서들, 밸런스 센서들 및/또는 IMU 센서들을 포함할 수 있다. 센서들(30)은, 사운드들, 및 검출된 사운드들의 강도 및 타입, 다수의 신호들의 존재 및/또는 신호 위치를 포함하는, 그러한 사운드의 다양한 특성들을 검출하도록 구성된 하나 이상의 내측으로 지향된(사용자 지향된) 마이크로폰들을 포함할 수 있다.
[0113]
센서들(30)은 프레임(64)에 연결되는 것으로 개략적으로 예시된다. 이 연결은 프레임(64)에 대한 물리적 어태치먼트의 형태를 취할 수 있고, 사용자의 귀들 위에서 연장되는 프레임(64)의 템플들의 단부들을 포함하는 프레임(64) 상의 어디에든 있을 수 있음이 인지될 것이다. 예컨대, 센서들(30)은 프레임(64)과 사용자 간의 접촉 포인트에서, 프레임(64)의 템플들의 단부들에 장착될 수 있다. 일부 다른 실시예들에서, 센서들(30)은 사용자(60)와 접촉하기 위해 프레임(64)으로부터 멀리 연장될 수 있다(도 2). 또 다른 실시예들에서, 센서들(30)은 프레임(64)에 물리적으로 어태치되지 않을 수 있고; 오히려, 센서들(30)은 프레임(64)으로부터 이격될 수 있는 주변 센서들(30a)(도 2)의 형태를 취할 수 있다.
[0114]
일부 실시예들에서, 디스플레이 시스템(2010)은 오브젝트들, 자극들, 사람들, 동물들, 위치들 또는 사용자 주위 세계의 다른 양상들을 검출하도록 구성된 하나 이상의 환경 센서들(34)을 더 포함할 수 있다. 예컨대, 환경 센서들(34)은 하나 이상의 카메라들, 고도계들, 기압계들, 화학적 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 라이트 미터들), 타이밍 디바이스들(예컨대, 클록들 또는 캘린더들) 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 다수의(예컨대, 2개의) 마이크로폰들은 이격되어 사운드 소스 위치 결정들을 가능하게 할 수 있다. 환경 센싱 카메라들을 포함하는 다양한 실시예들에서, 카메라들은, 예컨대 외측을 향하게(예컨대, 외측을 보도록) 위치되어, 사용자의 보통의 시야의 적어도 일부와 유사한 이미지들을 캡처할 수 있다. 환경 센서들은 신호들, 이를테면 레이저, 가시 광, 광의 비가시적 파장들, 사운드(예컨대, 가청 사운드, 초음파 또는 다른 주파수들)를 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 (예컨대, 환경의 조명 조건들을 캡처하기 위해) 환경의 주변 광(예컨대, 휘도)을 측정하도록 구성될 수 있다. 물리적 접촉 센서들, 이를테면 스트레인 게이지들, 커브 필러(curb feeler)들 등이 또한 환경 센서들로서 포함될 수 있다.
[0115]
일부 실시예들에서, 디스플레이 시스템(2010)은 다른 환경 입력들, 이를테면 GPS 위치 데이터, 날씨 데이터, 날짜 및 시간, 또는 인터넷, 위성 통신 또는 다른 적절한 유선 또는 무선 데이터 통신 방법으로부터 수신될 수 있는 다른 이용가능한 환경 데이터를 수신하도록 추가로 구성될 수 있다. 프로세싱 모듈(70)은 사용자의 위치를 특성화하는 추가적 정보, 이를테면 화분 카운트, 인구 통계, 공기 오염, 환경 독소들, 스마트 서모스탯들로부터의 정보, 라이프스타일 통계들 또는 다른 사용자들, 빌딩들 또는 헬쓰케어 제공자에 대한 근접성에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 위치를 특성화하는 정보는 클라우드-기반 또는 다른 원격 데이터베이스들을 사용하여 액세스될 수 있다. 프로세싱 모듈(70)은 이러한 데이터를 획득하고 그리고/또는 환경 센서들 중 임의의 하나 또는 조합들로부터의 데이터를 추가로 분석하도록 구성될 수 있다.
[0116]
디스플레이 시스템(2010)은 연장된 시간 기간 동안 위에서 설명된 센서들 및/또는 입력들 중 임의의 것을 통해 획득된 데이터를 수집 및 저장하도록 구성될 수 있다. 디바이스에서 수신된 데이터는 로컬 프로세싱 모듈(70)에서 및/또는 원격으로 (예컨대, 도 2에 도시된 바와 같이, 원격 프로세싱 모듈(72) 또는 원격 데이터 저장소(74)에) 프로세싱 및/또는 저장될 수 있다. 일부 실시예들에서, 부가적인 데이터, 이를테면 날짜 및 시간, GPS 위치 또는 다른 글로벌 데이터가 로컬 프로세싱 모듈(70)에서 직접 수신될 수 있다. 시스템에 의해 사용자에게 전달되는 콘텐츠에 관한 데이터, 이를테면, 이미지들, 다른 시각적 콘텐츠 또는 청각적 콘텐츠가 또한 로컬 프로세싱 모듈(70)에서 수신될 수 있다.
[0117]
도 10b는 다른 예시적인 증강 현실 디스플레이 시스템을 도시한다. 일부 실시예들에서, 디스플레이 시스템(2010)은 초음파 정보에 기반하여 환자의 이미지들을 제공하기 위해 초음파들을 송신 및 수신할 수 있다. 도 10a와 유사하게, 도 10b의 예는 환경(34) 및 사용자(24, 28, 30, 32) 센서들을 포함한다. 또한, 도 10b에 도시된 바와 같이, 디스플레이 시스템(2010)은 음향 에너지를 환자의 신체에 지향시키도록 구성된 하나 이상의 외향 초음파 프로브들(1081)을 더 포함할 수 있다. 하나 이상의 프로브들(1081)은 사용자의 신체의 다양한 영역들에 초음파를 송신할 뿐만 아니라 사용자의 신체의 다양한 영역들로부터 반사된 초음파를 수신하도록 구성될 수 있다. 예컨대, 하나 이상의 프로브들(1081)은 환자의 신체에 초음파 에너지를 방출하도록 구성된 초음파 송신기(1077) 및 환자의 신체의 다양한 구조들로부터 역으로 반사 및/또는 산란된 초음파 에너지를 수신하도록 구성된 초음파 수신기(1079)에 연결될 수 있다. 일부 실시예들에서, 하나 이상의 프로브들(1081)은 초음파 송신기 및 수신기 둘 모두를 조합한 초음파 트랜시버(1075)에 연결될 수 있다. 다양한 실시예들은 반사된 정보에 기반하여 환자의 이미지들을 제공할 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은 반사된 초음파들에 기반하여 환자의 조직 밀도를 결정하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템(2010)은 반사된 초음파들에 기반하여 혈액 유동(예컨대, 혈관들을 통한 혈액 유동 속도)을 맵핑하도록 구성될 수 있다.
향상된 시계
[0118]
본원에 개시된 바와 같이, 사용자 및/또는 환경 센서들, 이를테면 외향 카메라들 및/또는 광 센서들을 통합한 디스플레이 시스템은 유리하게, 예컨대 사용자의 주변 시야(예컨대, 사용자의 시계의 주변 구역)에서 환경의 이미지 콘텐츠의 개선된 사용자 뷰를 제공할 수 있다. 예컨대, 특정 실시예들은 사용자가 사용자의 중앙 시야(예컨대, 사용자의 시계의 중앙 구역)에서 하나의 오브젝트 상에 포커싱하고, 동시에 사용자의 주변 시야에 위치된 다른 오브젝트를 증가된 가시성으로 뷰잉할 수 있게 할 수 있다.
[0119]
다양한 실시예들에서, 사용자의 시계의 중앙 구역은 중심와의 중심으로부터(또는 동공의 중심으로부터의 광학 축으로부터) 0 내지 15 도, 1 내지 15 도, 2 내지 15 도, 5 내지 15 도, 0 내지 12 도, 1 내지 12 도, 2 내지 12 도, 5 내지 12 도, 0 내지 10 도, 1 내지 10 도, 2 내지 10 도, 5 내지 10 도 범위, 이러한 범위들의 임의의 조합 또는 중심와의 중심으로부터 0부터 15 도까지의 임의의 값에 의해 형성된 임의의 범위(예컨대, 중심와의 중심으로부터 0 내지 7 도, 1 내지 7 도, 2 내지 7 도 등)의 (절반 각도들의) 영역을 포함할 수 있다.
[0120]
사용자의 시계의 주변 구역은 중앙 구역의 대응하는 영역 외부의 시계의 외부 영역을 포함할 수 있다. 예컨대, 사용자의 시계의 주변 구역은 중심와의 중심으로부터(또는 동공의 중심으로부터의 광학 축으로부터) 16 내지 60 도, 18 내지 60 도, 20 내지 60 도, 25 내지 60 도, 30 내지 60 도, 35 내지 60 도, 40 내지 60 도, 45 내지 60 도, 50 내지 60 도, 55 내지 60 도 범위, 이러한 범위들의 임의의 조합 또는 중심와의 중심으로부터 16부터 60 도까지의 임의의 값에 의해 형성된 임의의 범위(예컨대, 중심와의 중심으로부터 16 내지 50 도, 20 내지 50 도, 16 내지 55 도, 30 내지 55 도 등)의 (절반 각도들의) 시계의 영역을 포함할 수 있다.
[0121]
일부 실시예들에서, 사용자의 시계의 중앙 구역은 사용자의 시계의 1 내지 5 퍼센트, 1 내지 10 퍼센트, 5 내지 10 퍼센트, 1 내지 15 퍼센트, 5 내지 15 퍼센트, 5 내지 20 퍼센트, 10 내지 20 퍼센트, 5 내지 25 퍼센트, 10 내지 25 퍼센트, 이러한 범위들의 임의의 조합 또는 사용자의 시계의 0부터 25 퍼센트까지의 임의의 값에 의해 형성된 임의의 범위(예컨대, 사용자의 시계의 1 내지 17 퍼센트, 3 내지 18 퍼센트, 7 내지 25 퍼센트, 15 내지 25 퍼센트 등)를 포함할 수 있다.
[0122]
사용자의 시계의 주변 구역은 사용자의 시계의 나머지 퍼센트를 포함할 수 있다. 예컨대, 사용자의 시계의 주변 구역은 사용자의 시계의 75 내지 99.9 퍼센트, 75 내지 99 퍼센트, 75 내지 95 퍼센트, 75 내지 90 퍼센트, 80 내지 99.9 퍼센트, 80 내지 99 퍼센트, 80 내지 95 퍼센트, 80 내지 90 퍼센트, 이러한 범위들의 임의의 조합 또는 사용자의 시계의 75부터 99.9 퍼센트까지의 임의의 값에 의해 형성된 임의의 범위(예컨대, 사용자의 시계의 77 내지 98 퍼센트, 75 내지 85 퍼센트, 85 내지 95 퍼센트 등)를 포함할 수 있다.
[0123]
이제 도 11a를 참조로, 디스플레이 시스템을 사용하여 예컨대 사용자의 주변 시야에서 환경의 이미지 콘텐츠의 적어도 일부의 사용자 뷰를 개선하는 예시적인 방법(3000)이 예시된다. 디스플레이 시스템은 각각 도 2, 도 6 및 도 10a-10b의 디스플레이 시스템들(80, 1000 또는 2010)을 포함할 수 있다. 디스플레이 시스템은 예컨대, 이미지 콘텐츠를 사용자의 눈들에 투사하는 머리-장착 디스플레이 디바이스를 포함할 수 있다.
[0124]
일부 실시예들에서, 머리-장착 디스플레이 디바이스는 디스플레이를 사용하여 증강 현실 이미지 콘텐츠를 사용자에게 제공하도록 구성된다. 특정 실시예들에서, 디스플레이는 머리-장착 디스플레이의 프레임 상에 배치된다. 본원에서 설명된 바와 같이, 디스플레이는 사용자의 눈들 전방의 위치에 배치된 하나 이상의 투명한 도파관들을 포함할 수 있다. 그에 따라서, 사용자는 디스플레이를 통해 볼 수 있다. 머리 장착 디스플레이 디바이스를 착용하고 있는 사용자의 전방의 환경의 오브젝트들로부터의 광은 디스플레이를 통해, 예컨대 하나 이상의 투명한 도파관들을 통해 사용자들의 눈으로 투과되어, 사용자의 전방의 환경의 이미지들 또는 이들의 적어도 일부는 사용자의 눈의 망막 상에 형성된다. 사용자의 비전은 중앙 구역 및 주변 구역을 갖는 시계에 의해 특성화될 수 있다. 주변 구역은 중앙 구역 주위 또는 주변에 배치될 수 있다. 중앙 구역 및 주변 구역은 본원에서 논의된 바와 같이 각각 중앙 시야 및 주변 시야에 대응할 수 있다. 사용자의 시계의 중앙 구역은, 예컨대, 사용자의 시선이 직접 전방향으로 지향되면 사용자의 전방의 환경 부분을 직접 포함할 수 있다. 유사하게, 사용자의 눈의 시계의 주변 구역은 이러한 예에서 사용자의 전방의 환경의 주변 구역에 대응할 수 있다. 사용자의 시선의 전방향 환경의 부분의 중심에 있는 오브젝트들은 중앙 필드에 포함될 수 있는 반면, 사용자의 시선의 전방향의 환경의 부분의 주변에 있는 오브젝트는 주변 필드에 포함될 수 있다. 예컨대, 사용자는, 사용자가 수술되고 있는 환자에 대해 이를테면 수술 부위 상에 주의를 지향시키고 있는 경우 수술을 뷰잉할 수 있다. 환자 및 특히 수술 부위는 예컨대, 사용자의 시계의 사용자의 중앙 구역에 대응할 수 있다. 마찬가지로 이러한 예에서, 사용자는 시계의 주변 구역에서 의료진의 다른 멤버들, 수술 부위를 둘러싼 환자의 해부학적 구조, 수술실 내의 가구, 이를테면 수술 오브젝트들(예컨대, 기구들)이 놓인 테이블들 및/또는 트레이들, 다른 수술 및/또는 진단 장비, 수술실의 벽들 및/또는 바닥 및/또는 환경의 주변 구역(예컨대, 장면)에서 광들 및 다른 아이템들을 볼 수 있다.
[0125]
블록(3010)에서, 디스플레이 시스템 또는 디바이스는 환경의 하나 이상의 이미지들을 캡처하도록 구성될 수 있다. 예컨대, 본원에서 설명된 바와 같이, 다양한 실시예들은 사용자의 보통의 시야의 적어도 일부와 유사한 이미지들을 캡처하기 위해 외측을 향하는 하나 이상의 환경 센서들(34), 이를테면 하나 이상의 이미지 캡처 디바이스들(예컨대, 비디오 카메라들)을 포함할 수 있다. 다른 말로, 외향 이미지 캡처 디바이스들은 환경의 사용자의 뷰에 대응하는 이미지들을 캡처할 수 있다. 이러한 카메라들은 예컨대, 사용자의 전방향의 환경의 이미지들을 캡처하기 위해 전방향을 향할 수 있다. 그러나, 이러한 카메라들은 다양한 실시예들에서 직접 전방향을 향하는 방향에 대해 적어도 부분적으로 기울어지거나 각질 수 있다. 이러한 카메라들은 또한 개별적으로 및/또는 함께 사용자의 눈의 시야보다 크거나 작을 수 있는 시야들을 가질 수 있다.
[0126]
그에 따라서, 본원에서 논의된 바와 같이, 머리-장착 디스플레이 디바이스는 사용자의 전방의 환경의 일부를 이미징 또는 스캔하도록 구성될 수 있는 외향 이미지 캡처 디바이스를 포함할 수 있다. 일부 실시예들에서, 외향 카메라는 사용자의 전방에 있지 않은 사용자의 환경의 부분들, 이를테면 사용자의 관심 필드에 있지만 사용자의 시야에 있지 않은 오브젝트들 또는 이미지들을 스캔하도록 구성된다. 특정 경우들에서, 예컨대, 머리 장착 디스플레이 시스템은 다수의 카메라들, 이를테면 사용자의 전방의 환경의 부분을 더 향하도록 지향된 하나 이상의 비디오 카메라들 및 사용자의 측면들 상의 환경의 부분을 더 향하도록 지향된 하나 이상의 비디오 카메라들을 포함할 수 있다. 일부 경우들에서, 머리 장착 디스플레이 시스템은 사용자의 뒤의 환경의 부분을 향하도록 지향된 하나 이상의 카메라들을 포함할 수 있다. 특정 실시예들에서, 외향 카메라는 비디오, 이를테면 병원, 수술실 또는 다른 환경에서의 활동을 캡처하는 연장된 시간 기간들 동안 계속해서 동작하도록 구성될 수 있다. 일부 구성들에서, 외향 카메라는 사용자가 자신의 시선을 지향시키고 있는 것, 이를테면 환경의 오브젝트를 결정할 수 있다. 일부 실시예들에서, 머리-장착 디스플레이 디바이스는 환경에 관한 정보를 캡처하기 위해 하나 이상의 캡처 디바이스들을 포함할 수 있다. 예컨대, 카메라 또는 광 센서(예컨대, 라이트 미터)가 환경의 광 조건(들)을 캡처하기 위해 사용될 수 있다.
[0127]
블록(3020)에서, 다양한 실시예들은 환경의 이미지를 프로세싱할 수 있다. 예컨대, 이미지는 도 2에 도시된 로컬 프로세싱 및 데이터 모듈(70) 또는 원격 프로세싱 모듈(72)을 사용하여 프로세싱될 수 있다. 일부 이러한 실시예들에서, 프로세싱 전자장치는 디스플레이에 대한 이미지 콘텐츠의 제공을 제어하기 위해 디스플레이(62)와 통신할 수 있다. 디스플레이는 이미지들, 이를테면 하나 이상의 외향 비디오 카메라들로부터의 환경의 이미지를 뷰잉을 위해 제공하도록 사용자의 눈에 광을 투사하기 위해 도 6에 도시된 도파관 어셈블리(178)를 포함할 수 있다. 본원에서 설명된 바와 같이, 도파관 어셈블리(178)는 또한 광학 투과성, 예컨대, 투명할 수 있어서, 머리 장착 디스플레이 디바이스를 착용하고 있는 사용자의 전방의 환경의 부분의 직접적 뷰를, 투명한 도파관 어셈블리를 통해 전파하는 환경의 오브젝트들로부터의 광을 통해 사용자의 눈의 망막에 제공할 수 있다.
[0128]
도 11a를 계속해서 참조하면, 블록(3030)에서, 디스플레이 시스템은 (예컨대, 환경의 부분의 증강 현실 이미지를 제공함으로써 환경의 이미지 콘텐츠의 적어도 일부의 가시성을 증가시키기 위해) 예컨대 주변 시야에서 환경의 적어도 일부의 가시성을 개선하도록 구성될 수 있다. 일부 실시예들은 눈의 광수용체 세포 밀도에 대한 이미지 수정(예컨대, 중앙 비전에 대해 중심와에서 가장 높은 추상체 밀도 및 주변 비전에 대해 중심와로부터 멀리 감소하는 추상체 밀도)을 제공할 수 있다. 도 1e 및 도 1f에 예시된 바와 같이, 눈의 추상체 밀도에 기반하여, 시력은 일반적으로 중심와(예컨대, 눈의 중심)에서 가장 높고 중심와로부터 멀리 이동함에 따라 감소한다. 예컨대, 시력은 눈의 중심으로부터 (예컨대, 광학 축으로부터 눈의 렌즈를 통해 망막의 중심까지 측정된 바와 같이) 멀리 2.5도마다 약 50%씩, 눈의 중심(예컨대, 이러한 광학 축)으로부터 약 30도까지 감소할 수 있다. (예컨대, 이러한 광학 축에 대해) 훨씬 더 높은 각도의 광선들의 경우, 시력에서의 감소는 훨씬 더 클 수 있다(예컨대, 쌍곡선 함수). 가장 높은 추상체 밀도 및 시력을 갖는 중심와는 중앙 시야에서 뷰잉을 위해 사용된다. 중심와로부터 멀리 이동하면 추상체 밀도 및 시력이 감소하기 때문에, 뷰잉은 중앙 시야로부터 주변 시야로 이동한다.
[0129]
따라서, 일반적으로 사용자의 중앙 시야에서의 오브젝트들에 대해서보다 사용자의 주변 시야에서의 오브젝트의 세부사항들 간을 구별하는 것은 더 곤란하다. 또한 일반적으로 사용자의 가까운 주변 시야에서의 오브젝트들에 대해서보다 사용자의 먼 주변 시야에서의 오브젝트의 세부사항들 간을 구별하는 것은 더 곤란하다. 해상도의 측면에서, 눈에 의해 리졸브될 수 있는 2-포인트 구별을 위한 최소 거리(예컨대, 2개의 피처들 간을 구별하는 최소 간격)는 중심와로부터의 거리에 따라 증가한다(그리고 공간 해상도는 감소한다). 따라서, 일반적으로, 시야의 중심으로부터 더 멀리에서 눈에 제공되는 이미지 콘텐츠는 이들을 보기 위해 더 클 필요가 있을 수 있다. 부가적으로, 눈으로부터 더 먼 오브젝트들은 보기 위해 더 클(예컨대, 확대될) 필요가 있을 수 있다. 본원에서 설명된 바와 같이, 이미지 콘텐츠는 이러한 관계들 중 하나 이상에 기반하여 수정될 수 있다.
[0130]
다양한 실시예들에서, 디스플레이 시스템은, (예컨대, 향상되지 않으면) 콘텐츠가 달리 사용자에 의해 지각될 방법과 관련하여, 이미지 콘텐츠를 예컨대, (예컨대 하나 이상의 방식들로) 향상된 사용자의 주변 시야에 제공하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 예컨대, 사용자의 중앙 시야에 제공된 이미지 콘텐츠에 비해 향상된 사용자의 주변 시야에 이미지 콘텐츠를 제공하도록 구성될 수 있다. 다양한 실시예들에서, 실세계 콘텐츠를 포함할 수 있는, 사용자에 의해 지각된 콘텐츠는 하나 이상의 증강 이미지들을 사용함으로써 및/또는 실제 실세계 콘텐츠와 조합된 하나 이상의 증강 이미지들을 사용함으로써 향상되어 나타날 수 있다. 일부 실시예들에서, 디스플레이 시스템은 불투명도(예컨대, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 95% 등)를 갖는 하나 이상의 증강 이미지들을 제공할 수 있다. 불투명도를 갖는 제공된 이미지(들)는 일부 예시들에서, 실제 실세계 콘텐츠의 일부를 차폐할 수 있다. 일부 실시예들에서, 향상된 이미지 콘텐츠는 하나 이상의 가상 이미지들로서(예컨대, 불투명도 또는 실질적인 불투명도(예컨대, 98%, 99% 또는 100% 불투명도)에 의해 차폐된 실제 실세계 콘텐츠로) 눈에 제공될 수 있다. 일부 실시예들에서, 향상 범위는 중심와 및/또는 필드의 중심으로부터의 거리, 눈으로부터의 거리 및/또는 2-포인트 구별을 위한 최소 거리, 및/또는 눈의 공간 해상도에 대한 반비례 관계, 및/또는 추상체 밀도에 대한 반비례 관계, 간상체 밀도, 신경절 세포 밀도 및/또는 눈의 시력에 적어도 부분적으로 기반할 수 있다. 예컨대, 중심와로부터 멀리 이동하면, 2-포인트 구별을 위한 최소 거리는 증가하는 반면, 세포 밀도 및/또는 눈의 시력을 감소한다. 일부 이러한 실시예들에서, 가까운(예컨대, 중앙 구역에 가장 가까운) 주변 구역에 제공되는 이미지 콘텐츠보다 먼(예컨대, 세포 밀도 및 시력이 감소되고 2-포인트 구별을 위한 최소 거리가 증가하는, 중앙 구역으로부터 가장 먼) 주변 구역에 제공된 이미지 콘텐츠에 더 많은 향상이 제공될 수 있다.
[0131]
예로서, 사용자의 주변 시야에 제공되는 이미지 콘텐츠는 사이즈에서 향상될 수 있다. 예컨대, 일부 실시예들에서, 이미지 콘텐츠는 디스플레이 시스템을 사용하지 않고(예컨대, 확대되지 않은 경우) 뷰잉되는 경우의 콘텐츠에 비해 확대될 수 있다. 다른 예로서, 디스플레이 시스템은, 사용자의 중앙 시야에 제공된 이미지 콘텐츠에 비해 사용자의 주변 시야에 제공된 이미지 콘텐츠의 적어도 일부를 확대하도록 구성될 수 있다. 주변 시야에 제공된 이미지 콘텐츠가 확대될 수 있기 때문에, 특정 실시예들은 이러한 이미지 콘텐츠의 가시성을 증가시킬 수 있다. 배율의 크기는 눈으로부터의 거리, 시계의 중심으로부터의 거리(예컨대, 중심와로부터의 거리) 및/또는 2-포인트 구별을 위한 최소 거리, 및/또는 눈의 공간 해상도에 대한 반비례 관계, 및/또는 세포 밀도에 대한 반비례 관계 및/또는 눈의 시력에 적어도 부분적으로 기반할 수 있다. 예컨대, 먼 주변 구역에 제공되는 이미지 콘텐츠에 더 큰 배율이 제공될 수 있고, 가까운 주변 구역에 제공되는 이미지 콘텐츠에 더 작은 배율이 제공될 수 있다.
[0132]
다른 예로서, 사용자의 주변 시야에 대해 제공된 이미지 콘텐츠는, 콘텐츠를 강화시키지 않으면서(예컨대, 광 세기를 증가시키지 않으면서) 콘텐츠가 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여, 광 세기 또는 밝기를 변경(예컨대, 증가)함으로써 향상될 수 있다. 이러한 일부 실시예들에서, 하나 이상의 광원들은 이미지 콘텐츠의 광 세기 또는 밝기를 증가시키기 위해 사용될 수 있다. 일반적으로, 더 밝은 이미지들은 보기에 더 용이할 수 있다. 주변 시야에 제공된 이미지 콘텐츠가 더 밝을 수 있으므로, 특정 실시예들은 그러한 이미지 콘텐츠의 가시성을 증가시킬 수 있다. 일부 실시예들에서, 더 큰 광 세기 또는 밝기가 먼 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있고, 더 적은 세기 또는 밝기가 가까운 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있다. 일부 실시예들에서, 광 세기는 눈으로부터의 거리 및/또는 세포 밀도(예컨대, 간상체 밀도)에 대한 반비례 관계 및/또는 (예컨대, 시계의 중심 또는 중심와로부터의 거리에 대한) 눈의 시력에 적어도 부분적으로 기반할 수 있다.
[0133]
다른 예로서, 사용자의 주변 시야에 대해 제공된 이미지 콘텐츠는, 콘트라스트를 증가시키지 않으면서 콘텐츠가 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여, 콘트라스트를 증가시킴으로써 향상될 수 있다. 콘트라스트의 증가는 콘트라스트 비의 비교에 의해 표시될 수 있다. 이러한 일부 실시예들에서, 콘트라스트 비는 가장 밝은 컬러 및 가장 어두운 컬러의 휘도 간의 비에 기반할 수 있다. 일부 실시예들에서, 증가의 양은, 콘트라스트 비가 눈이 콘트라스트를 구별하기 위한 임계치를 초과하도록 이루어질 수 있다. 예컨대, 망막은 약 100:1의 정적 콘트라스트 비를 가질 수 있고 약 106:1까지 연장될 수 있다. 그에 따라서, 다양한 실시예들은 제공된 이미지의 적어도 일부의 콘트라스트 비를 약 100:1, 103:1, 104:1, 105:1, 또는 106:1 또는 이들 값들의 임의의 조합 간의 임의의 범위들로 증가시킬 수 있다. 콘트라스트 비의 증가의 양은, 사용자의 주변 시야에 제공될 이미지 콘텐츠 및/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠의 기존의 콘트라스트 비에 기반할 수 있다.
[0134]
콘트라스트의 증가는 인접한 컬러들(예컨대, 높은 콘트라스팅 컬러들)의 밝기 및/또는 어둠을 조정함으로써 제공될 수 있다. 일부 실시예들에서, 백색(예컨대, 8비트 그레이스케일에서 값 255) 다음에 흑색(예컨대, 값 0)을 제공하는 것이 사용될 수 있다. 예컨대, 흑색 오브젝트(들) 또는 배경에 인접한 회색 오브젝트는 백색 오브젝트(들) 또는 배경에 인접한 것보다 더 밝게 나타날 수 있다. 일부 실시예들에서, 제공된 이미지 콘텐츠는, 실제 실세계 콘텐츠와 조합해서, 콘텐츠가 조정 없이 어떻게 나타날지와 비교하여 그리고/또는 사용자의 시야의 다른 부분들에 제공된 이미지 콘텐츠와 비교하여, 조정된 콘트라스트 비를 제공하는 증강 이미지(들)를 포함할 수 있다. 일부 예들에서, 인접한 컬러들의 밝기 및/또는 어둠은 적어도 하나의 컬러의 밝기 및/또는 어둠을 조정(예컨대, 오브젝트의 컬러, 적어도 2개의 인접한 오브젝트들의 컬러, 배경의 컬러, 오브젝트의 컬러, 및 배경의 컬러, 오브젝트의 일부의 컬러, 오브젝트의 2개의 인접한 부분들의 컬러, 등의 밝기 및/또는 어둠을 조정)함으로써 조정될 수 있다. 일부 예시들에서, 컬러의 밝기 및/또는 어둠은, 실제 실세계 콘텐츠와 함께 뷰잉될 때, 실제 및 부가적인 컬러들의 조합이 조정된 콘트라스트 비를 제공하도록 부가적인 컬러 또는 컬러들(예컨대, 흑색, 회색, 백색 또는 다른 컬러 등)을 오브젝트 또는 배경에 제공함으로써 조정될 수 있다. 일부 예시들에서, 컬러의 밝기 및/또는 어둠은, 차폐된 실제 실세계 콘텐츠와 함께 뷰잉될 때, 조합이 조정된 콘트라스트 비를 제공하도록 불투명도(예컨대, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 95% 등)를 갖는 하나 이상의 증강 이미지들을 제공함으로써 조정될 수 있다.
[0135]
일부 실시예들에서, 제공된 이미지 콘텐츠는, 콘텐츠가 조정 없이 어떻게 나타날지와 비교하여 그리고/또는 사용자의 시야의 다른 부분들에 제공된 이미지 콘텐츠와 비교하여, 조정된 콘트라스트 비를 갖는(예컨대, 불투명도 또는 실질적인 불투명도에 의해 차폐된 실제 실세계 콘텐츠의 부분을 갖는) 가상 이미지(들)를 포함할 수 있다. 일부 예들에서, 인접한 컬러들의 밝기 및/또는 어둠은 적어도 하나의 컬러의 밝기 및/또는 어둠을 조정(예컨대, 오브젝트의 컬러, 적어도 2개의 인접한 오브젝트들의 컬러, 배경의 컬러, 오브젝트의 컬러 및 배경의 컬러, 오브젝트의 일부의 컬러, 오브젝트의 2개의 인접한 부분들의 컬러 등의 밝기 및/또는 어둠을 조정)함으로써 조정될 수 있다. 컬러의 밝기 및/또는 어둠은 컬러에 흑색, 회색, 백색, 또는 다른 컬러를 부가함으로써 또는 컬러로부터 흑색, 회색, 백색, 또는 다른 컬러를 감산함으로써 조정될 수 있다. 컬러의 밝기 및/또는 어둠은 부가적으로 또는 대안적으로, 컬러를 흑색, 회색, 백색, 또는 다른 컬러로 대체함으로써 조정될 수 있다.
[0136]
더 큰 콘트라스트를 갖는 이미지들이 더 용이하게 보여질 수 있으므로, 주변 시야에 제공된 더 높은 콘트라스트 비를 갖는 이미지 콘텐츠는 그러한 이미지 콘텐츠의 가시성을 증가시킬 수 있다. 예로서, (예컨대, 외과 의사의 주변 시야에서) 환자가 다른 곳에서 출혈하기 시작할 수 있는 동안, 외과 의사는 (예컨대, 외과 의사의 중앙 시야에서) 수술 부위를 뷰잉하고 있을 수 있다. 일부 실시예들은, 적색 혈액이 외과 의사에게 "팝" 아웃되도록 주변 영역에서 콘트라스트 비를 증가시킬 수 있다. 예컨대, 본원에서 설명된 바와 같이, 일부 실시예들은, 사용자에 의해 지각된 주변 영역이 향상되도록 부가적인 적색 컬러를 제공하는 증강 이미지를 제공할 수 있다. 다른 예로서, 일부 실시예들은, 혈액에 대해 큰 콘트라스트를 생성하는 컬러로 혈액을 둘러싸는 배경을 차단할 수 있다. 다른 예로서, 일부 실시예들은, 증가된 콘트라스트 비를 갖는 주변 영역의 가상 이미지(예컨대, 실제 혈액 및 혈액을 둘러싸는 영역과 비교하여 높은 콘트라스트 또는 증가된 콘트라스트를 생성하는, 혈액 및 혈액을 둘러싸는 영역의 그래픽 이미지)를 제공할 수 있다. 외과 의사는 수술 부위 및 부가적인 출혈 위치 둘 모두를 계속 지켜볼 수 있다. 일부 실시예들에서, 콘트라스트 증가의 양은 본원에서 설명된 바와 같이, 세포 밀도(눈의 신경절 세포 밀도, 추상체 밀도, 및/또는 간상체 밀도)에 대한 반비례 관계에 적어도 부분적으로 기반할 수 있다. 예컨대, 더 큰 콘트라스트가 먼 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있고, 더 적은 콘트라스트가 가까운 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있다.
[0137]
다른 예로서, 사용자의 주변 시야에 대해 제공된 이미지 콘텐츠는, 향상된 컬러 또는 컬러 포화도 없이 콘텐츠가 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여, 컬러 또는 컬러 포화도에 의해 향상될 수 있다. 이러한 일부 실시예들에서, 하나 이상의 광원들은 이미지 콘텐츠의 컬러 포화도를 증가시키기 위해 사용될 수 있다. 일반적으로, 더 높은 컬러 포화도를 갖는 이미지들이 보기에 더 용이할 수 있다. 주변 시야에 제공된 이미지 콘텐츠가 중앙 시야에 제공된 이미지 콘텐츠와 비교하여 더 높은 컬러 포화도 또는 컬러 포화도의 증가를 가질 수 있으므로, 특정 실시예들은 그러한 이미지 콘텐츠의 가시성을 증가시킬 수 있다. 일부 실시예들에서, 컬러 포화도의 양은 본원에서 설명된 바와 같이, 눈으로부터의 거리, 시계의 중심(또는 중심와)으로부터의 거리, 및/또는 세포 밀도에 대한 반비례 관계 및/또는 눈의 시력에 적어도 부분적으로 기반할 수 있다. 예컨대, (예컨대, 추상체 밀도의 역에 기반하여) 더 많은 컬러 포화도가 먼 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있고, 더 컬러 포화도가 가까운 주변 구역에 제공된 이미지 콘텐츠에 제공될 수 있다.
[0138]
예컨대, 콘텐츠가 향상되지 않으면서 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시계에 제공된 이미지 콘텐츠와 비교하여, 망막에 의해 감지될 수 있는 주변 이미지를 향상시키기 위한 방식으로 사용자의 주변 시계에 제공된 이미지 콘텐츠를 프로세싱하는 다른 예들이 가능하다. 예컨대, 사용자의 주변 시계에 대해 제공된 이미지 콘텐츠는 컬러 밸런스(예컨대, 적색/녹색 밸런스) 및/또는 화이트 밸런스(예컨대, 컬러 온도)를 시프팅함으로써 향상될 수 있다. 일반적으로, 컬러들은, 상이한 광원들(예컨대, 촛불 대 형광등 진료실 조명) 하에서, 상이한 컬러들에 인접하게, 그리고/또는 상이한 배경들에 대해 다르게 나타난다. 시각적 시스템은 컬러 및 세기의 변동들을 수용하기 위해 눈의 감각 응답 및 신호들의 뇌의 해석에 기반할 수 있다. 백색이 정확하게 지각되면, 다른 컬러들이 또한 정확하게 지각될 수 있다. 그에 따라서, 일부 실시예들은 컬러 밸런스를 시프팅함으로써 향상될 수 있다.
[0139]
추가로, 특수한 효과들이 주변 시계 또는 시야에 제공된 이미지 콘텐츠를 향상시키기 위해 또한 사용될 수 있다. 예컨대, 일부 실시예들은, 콘텐츠가 선명하게 되지 않으면서 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여, 사용자의 주변 시야에 제공된 이미지 콘텐츠를 선명하게 하도록 구성될 수 있다. 예컨대, 이미지 콘텐츠는 에지 향상들을 포함할 수 있다. 이러한 일부 실시예들에서, 디스플레이 시스템은 환경에서 에지들을 식별하도록 구성된 에지 검출기 또는 프로세싱 전자장치를 포함할 수 있다. 예컨대, 구성된 에지 검출기 또는 프로세싱 전자장치는 컬러에서 급격한 변경들을 검출함으로써, 세기에서 급격한 변경들을 검출함으로써, 그리고/또는 k-민즈(means) 클러스터링 알고리즘을 적용함으로써 에지들을 식별하도록 구성될 수 있다. 제공된 이미지 콘텐츠는, 특정 에지들, 형상들, 및/또는 피처들을 향상시키기 위해 외곽선들, 윤곽들, 배경들 및/또는 콘트라스팅 기법들을 포함시킴으로써 선명하게 될 수 있다. 다른 예로서, 제공된 이미지 콘텐츠의 부근에서 적어도, 사용자가 제공된 이미지 콘텐츠를 주로 뷰잉하도록(예컨대, 그리고 주변 실세계 콘텐츠가 경시되도록), 제공된 이미지 콘텐츠가 배경(예컨대, 일부 예시들에서 주변 후방 스크린)에 대해 제공될 수 있다. 일부 예시들에서, 배경에는 일정 정도의 불투명도 및/또는 일부 예시들에서는 불투명도 또는 실질적인 불투명도가 제공될 수 있다. 다른 예들로서, 사용자의 주변 시야에 제공된 이미지 콘텐츠는 노출, 명도, 그림자들, 강조 표시들, 뒤집기(예컨대, 인버팅), 직선화, 회전, (예컨대, 볼륨들을 포함하여) 이미지 부분들을 측정하는 것에 기반하여 그리고/또는 다른 기법들을 사용하여 향상될 수 있다. 일부 실시예들에서, 이미지 콘텐츠가 더 편리하게 사용자에게 제공될 수 있다. 예컨대, 이미지는 머리와 정렬될 때 뷰잉하기에 더 용이할 수 있다. 그에 따라서, 일부 실시예들은 사용자의 머리 포즈에 기반하여 이미지 콘텐츠를 직선화 및/또는 회전시킴으로써 이미지 콘텐츠를 향상시킬 수 있다. 그에 따라서, 사용자의 주변 시계에 제공된 이미지 콘텐츠는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여 다르게 이미지 프로세싱될 수 있다.
[0140]
향상되지 않으면서 콘텐츠가 어떻게 나타날지와 관련하여 그리고/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠와 비교하여 향상되는 사용자의 주변 시야에 이미지 콘텐츠를 제공하는 것 대신(또는 그와 조합하여), 다양한 실시예들은, 경시되지 않으면서 콘텐츠가 어떻게 나타날지와 관련하여 그리고/또는 사용자의 주변 시야에 제공된 이미지 콘텐츠와 비교하여 경시되는 사용자의 중앙 시야에 이미지 콘텐츠를 제공하도록 구성될 수 있다는 것이 인지될 것이다. 예로서, 사용자의 중앙 시야에 대해 제공된 이미지 콘텐츠는, 사용자의 주변 시야에 제공되는 이미지 콘텐츠와 비교하여, 사이즈를 감소시키는 것(예컨대, 수축), 흐려지게 만드는 것, 어둡게 하는 것/감쇠시키는 것, 콘트라스트를 감소시키는 것, 컬러 포화도를 감소시키는 것, 선명도를 감소시키는 것, 차폐하는 것, 및/또는 에지들을 비-향상시키는 것에 의해 경시될 수 있다. 흐려지게 만드는 것의 일 예는 실질적으로 동일한 컬러로 사용자의 중앙 시야에 이미지 콘텐츠를 제공하는 것을 포함한다. 이미지는 유사한 컬러, 예컨대 청색 또는 녹색 등의 톤의 변동들을 포함할 수 있다. 따라서, 이미지는 중앙 필드 내의 이미지가 파악가능하게 유지되면서 중앙 필드에서 모노톤으로 나타날 수 있다. 사용자는, 주변 시야에서 오브젝트들의 뷰를 향상시키면서 (예컨대, 오브젝트들의 에지들에 의해) 중앙 시야에서 콘텐츠를 여전히 뷰잉할 수 있다. 사용자의 중앙 시야에 제공된 이미지 콘텐츠는 또한, 노출, 명도, 그림자들, 강조 표시들, 뒤집기(예컨대, 인버팅), 직선화, 회전, (예컨대, 볼륨들을 포함하여) 이미지 부분들을 측정하는 것, 컬러 밸런스(또는 화이트 밸런스)를 시프팅하는 것에 기반하여 그리고/또는 다른 기법들을 사용하여 경시될 수 있다. 명도, 노출, 그림자들, 강조 표시들 등 또는 이들의 임의의 조합을 사용하는 것은 일부 예시들에서, 콘트라스트를 증가시키는 것을 도울 수 있다. 그에 따라서, 사용자의 중앙 시계에 제공된 이미지 콘텐츠는 사용자의 주변 시야에 제공된 이미지 콘텐츠와 비교하여 다르게 이미지 프로세싱될 수 있다. 특정 타입들의 이미지 프로세싱은, 예컨대, 이미지 프로세싱 분야의 당업자들에게 알려진 공통 기법들을 포함할 수 있다. 일부 실시예들은 다양한 향상 및/또는 경시 기법들의 조합을 사용할 수 있다.
[0141]
이미지가 향상 또는 경시되었을 때, 특정 실시예들은 수정의 표시를 사용자에게 제공할 수 있다. 일부 예시들에서, 제공된 이미지 그 자체는, 수정된 이미지 콘텐츠로 사용자의 주의를 끌기 위한 경고(예컨대, 사이즈의 급격한 증가, 제공된 이미지의 높은 콘트라스트, 하나의 컬러로 이미지 콘텐츠를 흐려지게 만드는 것, 플래시 등)를 제공할 수 있다. 다른 예들로서, 일부 실시예들은 시각적(예컨대, 팝-업 경고 또는 깜빡이는 빛) 또는 오디오 경고(예컨대, 벨 또는 음성)를 사용자에게 제공할 수 있다.
[0142]
특정 구성들에서, 향상의 정도는 다양한 팩터들에 기반할 수 있다. 예컨대, 향상의 정도는 사용자로부터의 오브젝트의 거리에 의해 결정될 수 있다. 일부 실시예들에서, 향상의 정도는 오브젝트로부터 수신된 광의 양 또는 디스플레이의 다른 인근 오브젝트들로부터 수신된 광의 양에 적어도 부분적으로 기반할 수 있다.
[0143]
본원에서 설명된 특정 예들이 (예컨대, 사용자의 주변 시야에서 환경의 이미지 콘텐츠의 가시성을 증가시키기 위해) 사용자의 주변 시야에 제공된 이미지 콘텐츠를 향상시키는 것 및/또는 사용자의 중앙 시야에 제공된 이미지 콘텐츠를 경시하는 것을 개시하지만, 다양한 실시예들은 본원에서 설명된 향상 및/또는 경시 기법들을 사용하여, (예컨대, 사용자의 중앙 시야에서 환경의 이미지 콘텐츠의 가시성을 증가시키기 위해) 사용자의 중앙 시야에 제공된 이미지 콘텐츠를 향상시키고 그리고/또는 사용자의 주변 시야에 제공된 이미지 콘텐츠를 경시할 수 있다. 예컨대, 방사선 전문의 또는 다른 의료 개업 의사는 자신의 중앙 시야에서 형광으로 이미징된 X-레이 또는 콘텐츠(예컨대, 스테인드 세포(stained cell)들, 종양들, 아밀로이드 플라크들 등)를 뷰잉할 수 있다. 일부 실시예들은, 사용자의 중앙 시야에 제공된 이미지 콘텐츠의 콘트라스트를 증가시키고, 광 세기를 증가시키고, 사이즈를 증가시키고, 배경을 차폐하는 등을 하고 그리고/또는 사용자의 주변 시야에 제공된 이미지 콘텐츠의 콘트라스트를 감소시키고, 광 세기를 감소시키고, 사이즈를 감소시키고, 흐려지게 만들고, 어둡게 하고, 차폐하는 등을 할 수 있다. 일부 실시예들은 또한, 본원에서 설명된 바와 같이 이미지 콘텐츠의 컬러 밸런스(예컨대, 적색/녹색 밸런스)를 시프팅할 수 있다. 그러한 예들에서, 형광으로 이미징된 X-레이 또는 콘텐츠의 세부사항들이 더 용이하게 보여질 수 있다. 다른 예로서, 일부 실시예들은, 사용자가 (예컨대, 시각적 크라우딩을 제거한) 수술 부위의 향상된 뷰를 가질 수 있도록, (예컨대, 사용자의 주변 시야의) 흐려지게 만들어진 배경에 대해 (예컨대, 사용자의 중앙 시야의) 활성 수술 부위의 뷰를 제공할 수 있다. 또 다른 예로서, 일부 실시예들은, 활성 수술 부위가 가시적이고 실세계의 나머지가 차폐되도록 배경의 이미지를 차폐(예컨대, 배경의 일부가 일정 정도의 불투명도를 갖거나 또는 불투명도/실질적인 불투명도를 가짐)할 수 있다.
[0144]
게다가, 부가적인 "가상" 이미지 콘텐츠가 주변 시계 및/또는 중앙 시계에 제공될 수 있다. 그러한 부가적인 또는 "증강된" 콘텐츠는 또한, 추가의 텍스트, 화살표들, 사용자 커맨드들, 복제 이미지들 등을 포함할 수 있다. 일부 경우들에서, 그러한 부가적인 또는 "증강된" 콘텐츠는 이미지들, 이를테면 2-차원(2D) 또는 3-차원(3D) 이미지들, 이를테면 x-레이들, CT, MRI, PET, 초음파 이미지들 또는 이미징 기술들로부터의 다른 이미지들을 포함할 수 있다. 그러한 부가적인 이미지 콘텐츠는 또한, 진단 모니터링 디바이스들 또는 다른 기구 뿐만 아니라 다른 소스들로부터의 데이터를 포함할 수 있다.
[0145]
이제 도 11b를 참조하면, 디스플레이 시스템을 사용하여 환경의 이미지 콘텐츠의 적어도 일부의 사용자 뷰를 개선시키는 다른 예시적인 방법(3500)이 예시된다. 디스플레이 시스템은 각각, 도 2, 도 6, 및 도 10a 및 도 10b의 디스플레이 시스템들(80, 1000, 또는 2010)을 포함할 수 있다. 디스플레이 시스템은, 예컨대, 이미지 콘텐츠를 사용자의 눈들로 투사하는 머리-장착 디스플레이 디바이스를 포함할 수 있다.
[0146]
블록(3510)에서, 디스플레이 시스템은 환경의 조건을 캡처하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 일부 실시예들은 환경의 조건을 캡처하기 위한 하나 이상의 캡처 디바이스들을 포함할 수 있다. 일 예로서, 디스플레이 시스템은 환경의 조명 조건(들)을 감지하기 위한 하나 이상의 카메라들 또는 광 센서들(예컨대, 라이트 미터들)을 포함할 수 있다. 하나 이상의 카메라들 또는 광 센서들은 주변 광의 휘도를 측정할 수 있다.
[0147]
블록(3520)에서, 다양한 실시예들은 조건에 적어도 부분적으로 기반하여 환경의 이미지 콘텐츠의 적어도 일부를 수정할 수 있다. 예컨대, 다양한 실시예들은 환경의 조명 조건에 기반하여 이미지 콘텐츠를 수정할 수 있다.
[0148]
본원에서 설명된 바와 같이, 추상체는 일반적으로 컬러 및 공간 해상도를 담당한다. 간상체들은 컬러에 민감하지 않으며, 일반적으로 기본 공간 해상도를 담당한다. 추상체들은 밝은 광 조건들에서 가장 활성인 반면, 간상체는 낮은 광 조건들에서 더 활성이다. 따라서, 조명 조건(예컨대, 휘도)이 감소됨에 따라, 추상체들의 해상도가 또한 감소된다.
[0149]
그에 따라서, 일부 실시예들은 조명 조건에 대한 반비례 관계에 적어도 부분적으로 기반하여 이미지 콘텐츠를 제공할 수 있다. 일부 예들에서, 사용자에게 제공된 이미지 콘텐츠는 본원에서 설명된 기법들을 이용하여 향상될 수 있다. 향상의 정도는 환경의 휘도에 대한 반비례 관계에 적어도 부분적으로 기반할 수 있다. 예컨대, 더 많은 향상, 이를테면 배율, 증가된 밝기, 증가된 콘트라스트, 또는 다른 타입들의 향상, 이를테면 본원에서 설명된 것 또는 이들의 조합들은 더 낮은 조명 조건들을 갖는 환경들에서 이미지 콘텐츠에 제공될 수 있다. 본원에서 설명된 바와 같이, 이미지 콘텐츠의 상이한 부분은 또한, 조명 조건에 적어도 부분적으로 기반하여 경시될 수 있다. 유리하게, 본원에서 설명된 특정 실시예들은, 본원에서 설명된 바와 같은 다양한 향상/경시 기법들 중 하나 이상을 통해 조명 조건에 기반하여 이미지 콘텐츠를 향상시킬 수 있다. 예컨대, 어두운 환경에서 디스플레이에 제공된 이미지 콘텐츠의 밝기를 증가시킴으로써, 사용자는 디스플레이를 통해 뷰잉되는 실세계 환경의 가시성을 감소시킬 수 있다. 그에 따라서, 다양한 실시예들은 조명 조건에 기반하여, (예컨대, 밝기를 증가시키는 것, 이를테면 사이즈를 증가시키는 것, 콘트라스트를 증가시키는 것, 컬러 포화도를 증가시키는 것, 선명도를 증가시키는 것, 배경들을 통합하는 것 등 이외에) 이미지 콘텐츠를 향상시키거나 또는 이미지 콘텐츠를 경시(예컨대, 사이즈를 감소시키는 것, 흐려지게 만드는 것, 콘트라스트를 감소시키는 것, 컬러 포화도를 감소시키는 것, 선명도를 감소시키는 것, 차폐하는 것 등)하기 위한 다른 기법들 중 하나 이상을 활용할 수 있다. 일부 경우들에서, 더 많은 향상 또는 경시가 더 낮은 조명 조건들을 갖는 환경들에서 이미지 콘텐츠에 제공될 수 있다.
[0150]
특정 실시예들은 또한 유리하게, 환경의 조명 조건 하의 시각적 기능에 기반하여 이미지 콘텐츠를 향상시킬 수 있다(예컨대, 도 1g 참조). 예컨대, 다양한 실시예들은 상이한 조명 조건들에 대한 사용자의 눈의 추상체들 및/또는 간상체들의 사용의 변동들을 이용할 수 있다. 이러한 일부 실시예들에서, 디스플레이 시스템은, 사용자가 명소시, 박명시, 또는 암소시 비전을 이용하고 있는지에 적어도 부분적으로 기반하여 향상되는 사용자의 시계의 중앙 또는 주변 구역의 일부에 이미지 콘텐츠를 제공하기 위해 사용자의 눈의 위치에 광을 투사하도록 구성될 수 있다. 명소시, 박명시, 및 암소시 비전은 상대적으로 밝은, 중간, 및 낮은 광 조건들 각각 하에서의 눈의 비전이다. 명소시 비전의 경우, 추상체들이 주로 사용되고, 암소시 비전의 경우, 간상체들이 주로 사용된다. 박명시 비전은 추상체들 및 간상체들 둘 모두를 활용한다. 본원에서 설명된 바와 같이, 대응하는 조명 조건들은 명소시, 박명시, 또는 암소시 조명 조건으로 지칭될 수 있다. 특정 조명 조건 하에서, 눈에서 추상체 활동이 간상체 활동에 비해 우세할 때, 일부 실시예들은 본원에서 설명된 바와 같이 대응하는 추상체 밀도에 기반하여 이미지 콘텐츠를 향상시킬 수 있다. 일부 그러한 예시들에서, 이미지 콘텐츠는 추상체들의 밀도에 기반하여 역으로 향상될 수 있다. 예컨대, 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 더 낮은 추상체 밀도를 갖는 눈의 위치에 제공된 이미지 콘텐츠에 제공될 수 있다. 게다가, 특정 조명 조건 하에서, 눈에서 간상체 활동이 추상체 활동에 비해 우세할 때, 일부 실시예들은 본원에서 설명된 바와 같이 대응하는 간상체 밀도에 기반하여 이미지 콘텐츠를 향상시킬 수 있다. 일부 그러한 예시들에서, 이미지 콘텐츠는 간상체들의 밀도에 기반하여 역으로 향상될 수 있다. 예컨대, 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 더 낮은 간상체 밀도를 갖는 눈의 위치에 제공된 이미지 콘텐츠에 제공될 수 있다.
[0151]
본원에서 설명된 바와 같이, 일부 실시예들은 환경에 관한 정보를 캡처하기 위한 하나 이상의 캡처 디바이스들을 포함할 수 있다. 예컨대, 이미지 캡처 디바이스(예컨대, 카메라)가 환경의 광 조건(예컨대, 휘도)을 캡처하기 위해 사용될 수 있다. 다른 예로서, 픽셀들의 어레이(예컨대, 광 센서들, 검출기들, 또는 활성 센서 영역들의 어레이)를 포함하는 검출기 어레이가 (예컨대, 환경의 조명 조건을 캡처하기 위해 픽셀들에 대한 광 레벨을 통합시킴으로써) 환경의 조명 조건을 캡처하기 위해 사용될 수 있다. 또 다른 예로서, 하나 이상의 캡처 디바이스들은 동공 사이즈를 검출하기 위한 눈 추적 디바이스 또는 내향 이미지 캡처 디바이스를 포함할 수 있다. 휘도에 의존하여, 동공 사이즈가 변경될 수 있다. 낮은 광 조건들의 경우, 동공들은 확장될 수 있는 반면, 높은 광 조건들의 경우, 동공들은 수축될 수 있다. 그에 따라서, 일부 실시예들은 동공 사이즈에 적어도 부분적으로 기반하여 조명 조건을 결정할 수 있다. 일부 실시예들은 조명 조건에서 소모된 시간을 모니터링하기 위한 하나 이상의 타이밍 디바이스들(예컨대, 클록들 또는 타이머들)을 포함할 수 있다. 타이밍 디바이스들 중 하나 이상은 디바이스의 전자장치, 이를테면 프로세싱 전자장치(예컨대, 도 2에 도시된 로컬 프로세싱 및 데이터 모듈(70) 또는 원격 프로세싱 모듈(72))에 통합된 타이밍 디바이스(예컨대, 클록)를 포함할 수 있다.
[0152]
명소시 조명 조건 하에서, 휘도는 10 cd/㎡ 또는 그 초과, 12 cd/㎡ 또는 그 초과, 15 cd/㎡ 또는 그 초과, 20 cd/㎡ 또는 그 초과, 50 cd/㎡ 또는 그 초과, 또는 그 사이의 임의의 값 또는 그 초과(예컨대, 10.5 cd/㎡ 또는 그 초과, 13 cd/㎡ 또는 그 초과 등)일 수 있다. 휘도 범위는 10 cd/㎡ 내지 108 cd/㎡, 12 cd/㎡ 내지 108 cd/㎡, 15 cd/㎡ 내지 108 cd/㎡, 10 cd/㎡ 내지 107 cd/㎡, 12 cd/㎡ 내지 107 cd/㎡, 15 cd/㎡ 내지 107 cd/㎡, 10 cd/㎡ 내지 106 cd/㎡, 또는 10 cd/㎡ 내지 108 cd/㎡의 임의의 값에 의해 형성된 임의의 범위들(예컨대, 10.5 cd/㎡ 내지 108 cd/㎡, 10.5 cd/㎡ 내지 107 cd/㎡ 등)일 수 있다.
[0153]
일부 그러한 조명 조건들 하에서, 추상체들이 활성화되기 때문에, 이미지 콘텐츠는, 추상체들의 투사된 광 위치의 밀도에 기반하여 역으로 향상(예컨대, 확대, 밝기가 증가, 콘트라스트가 증가, 컬러 포화도가 증가, 선명도가 증가 등)될 수 있다. 예컨대, 더 적은 추상체 밀도(예컨대, 중심와로부터 더 멀리 있음)를 갖는 투사된 광 위치들(예컨대, 중앙 또는 주변 시계들에 대응함)에서, 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 요구될 수 있다.
[0154]
암소시 조명 조건 하에서, 휘도는 10-3.5 cd/㎡ 또는 그 미만, 10-3.6 cd/㎡ 또는 그 미만, 10-3.7 cd/㎡ 또는 그 미만, 10-3.8 cd/㎡ 또는 그 미만, 10-4 cd/㎡ 또는 그 미만, 10-4.5 cd/㎡ 또는 그 미만, 또는 10-3.5 cd/㎡ 미만의 임의의 값 또는 그 미만(예컨대, 10-3.9 cd/㎡ 또는 그 미만, 10-5 cd/㎡ 또는 그 미만 등)일 수 있다. 휘도 범위는 10-3.5 cd/㎡ 내지 10-6 cd/㎡, 10-3.6 cd/㎡ 내지 10-6 cd/㎡, 10-3.7 cd/㎡ 내지 10-6 cd/㎡, 10-3.8 cd/㎡ 내지 10-6 cd/㎡, 10-4 cd/㎡ 내지 10-6 cd/㎡, 10-4.5 cd/㎡ 내지 10-6 cd/㎡, 10-3.5 cd/㎡ 내지 10-5 cd/㎡, 10-3.6 cd/㎡ 내지 10-5 cd/㎡, 10-3.6 cd/㎡ 내지 10-5 cd/㎡, 10-4 cd/㎡ 내지 10-5 cd/㎡, 또는 10-3.5 cd/㎡ 내지 10-6 cd/㎡의 임의의 값에 의해 형성된 임의의 범위(예컨대, 10-3.9 cd/㎡ 내지 10-6 cd/㎡, 10-4.2 cd/㎡ 내지 10-6 cd/㎡, 10-5 cd/㎡ 내지 10-6 cd/㎡ 등)일 수 있다.
[0155]
일부 그러한 조명 조건들 하에서, 간상체들이 활성화되기 때문에, 이미지 콘텐츠는, 간상체들의 투사된 광 위치의 밀도에 기반하여 역으로 향상될 수 있다. 더 적은 간상체 밀도(및 더 많은 추상체 밀도)를 갖는 투사된 광 위치들(예컨대, 중앙 시계 내에 대응함)에서, 예컨대 간상체들 및/또는 추상체들을 "웨이크 업"하기 위해, 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 요구될 수 있다. 예컨대, 간상체들 및 추상체들은 차이들에 기반하여 활성화될 수 있다. 형상들 상의 에지들 또는 움직임은 간상체들에 의해 검출될 수 있는 차이들일 수 있다. 임의의 그러한 차이들을 제공하는 것은, 간상체들을 웨이크 업하며, 그리고 가능하게는 간상체들이 이미지를 검출하는 것에 더욱 민감하게 할 수 있다. 일부 실시예들에서, 추상체들이 컬러를 담당하지만, 암소시 비전에 대해 활성화되지 않기 때문에, 예컨대, 암소시 비전 동안, 중앙 구역에서, 컬러 또는 콘트라스트 향상된 이미지들(예컨대, 증가된 컬러 포화도 또는 콘트라스트를 갖는 이미지들)을 추상체들에 제공하는 것은, 추상체들을 활성화할 수 있다. 추가로, 간상체 밀도는 중심와의 중심으로부터 약 18도에서 피크일 수 있는데, 중심와의 중심으로부터 약 30도에 더 작은 피크가 있다. 일부 실시예들에서, 향상은 이들 피크들 중 하나로부터의 거리에 적어도 부분적으로 기반할 수 있다. 예컨대, 이들 피크들 중 하나로부터 더 멀리 떨어져 있는 투사된 광 위치들(예컨대, 주변 시계 내에 대응함)에서, 더 많은 향상이 요구될 수 있다.
[0156]
박명시 조명 조건 하에서, 휘도는 10-3 cd/㎡ 내지 100.5 cd/㎡, 10-2.9 cd/㎡ 내지 100.5 cd/㎡, 10-2.8 cd/㎡ 내지 100.5 cd/㎡, 10-3 cd/㎡ 내지 100.45 cd/㎡, 10-2.9 cd/㎡ 내지 100.45 cd/㎡, 10-2.8 cd/㎡ 내지 100.45, 또는 10-3 cd/㎡ 내지 100.5 cd/㎡의 임의의 값에 의해 형성된 임의의 범위(예컨대, 10-2.9 cd/㎡ 내지 100.4 cd/㎡, 10-2.8 cd/㎡ 내지 100.4 cd/㎡, 10-2 cd/㎡ 내지 100.4 cd/㎡ 등)일 수 있다.
[0157]
일부 그러한 조명 조건들 하에서, 추상체들과 간상체들 둘 모두가 사용될 수 있다. 조명 조건이 어두울수록(예컨대, 명소시 비전으로부터 박명시 비전으로 갈수록), 더 많은 간상체들(및 더 적은 추상체들)이 활성화되게 될 수 있다. 부가적으로, 일부 그러한 예시들에서, 박명시 조명 조건에서 소모된 시간이 길수록, 더 많은 간상체들(및 더 적은 추상체들)이 활성화되게 될 수 있다. 조명 조건이 밝을수록(예컨대, 암소시 비전으로부터 박명시 비전으로 갈수록), 더 많은 추상체들(및 더 적은 간상체들)이 활성화되게 될 수 있다. 일부 그러한 예시들에서, 박명시 조명 조건에서 소모된 시간이 길수록, 더 많은 추상체들(및 더 적은 간상체들)이 활성화되게 될 수 있다. (예컨대, 실시간으로) 시간 및 휘도 레벨을 모니터함으로써, 특정 실시예들은, 활성 상태인 추상체들 및 간상체들의 양, 및/또는 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지를 결정할 수 있다. 일반적으로, 환경이 어두울수록, 추상체들보다 우세하도록 간상체들의 전이가 더 빠를 수 있다. 또한, 휘도의 변경이 클수록(예컨대, 더 어둡거나 또는 더 밝음), 간상체들 또는 추상체들은 보다 신속하게 활성화되게 될 수 있다.
[0158]
그에 따라서, 일부 실시예들에서, 이미지 콘텐츠는 조명 조건에 적어도 부분적으로 기반하여 그리고 조명 조건에서(예컨대, 박명시 조명 조건에서) 소모된 시간에 적어도 부분적으로 기반하여 향상될 수 있다. 추상체들이 우세할 때, 이미지 콘텐츠는, 예컨대 명소시 조건에서와 같이, 추상체들의 투사된 광 위치의 밀도에 기반하여 역으로 향상될 수 있다. 예컨대, 더 낮은 추상체 밀도를 갖는 눈의 위치에 제공되는 이미지 콘텐츠에 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 제공될 수 있다. 간상체들이 우세할 때, 이미지 콘텐츠는, 예컨대 암소시 조건에서와 같이, 간상체들의 투사된 광 위치의 밀도에 기반하여 역으로 향상될 수 있다. 예컨대, 더 낮은 간상체 밀도를 갖는 눈의 위치에 제공되는 이미지 콘텐츠에 더 많은 향상(예컨대, 사이즈, 콘트라스트, 컬러 포화도, 선명도 등의 더 많은 증가)이 제공될 수 있다.
[0159]
부가적으로, 향상은 활성 광수용체들(예컨대, 명소시 비전의 경우 추상체들, 암소시 비전의 경우 간상체들, 그리고 박명시 비전의 경우 추상체들 및/또는 간상체들)의 해상도에 적어도 부분적으로 기반할 수 있다. 이미지 콘텐츠의 2개의 포인트들을 리졸빙하는 것은, 눈의 공간 및/또는 콘트라스트 민감도(또는 공간 해상도)에 의존할 수 있다. 게다가, 눈이 감지할 수 있는 최소 공간 거리 및/또는 최소 콘트라스트는 휘도 레벨에 의존할 수 있다. 예컨대, 눈이 감지할 수 있는 최소 공간 거리 및/또는 최소 콘트라스트는 어두운 환경들과 비교하여 잘 조명된 환경들에 대해 더 작을 수 있다. 그에 따라서, 다양한 실시예들은 정해진 조명 조건에 대한 눈의 해상도에 적어도 부분적으로 기반하여 눈에 의해 리졸빙되도록 이미지 콘텐츠를 향상시킬 수 있다. 예컨대, 이미지 콘텐츠는, 적어도 활성 추상체들 및/또는 간상체들의 최소 공간 해상도를 충족시키는 정도까지 확대될 수 있다. 다른 예로서, 이미지 콘텐츠는, 적어도 활성 추상체들 및/또는 간상체들의 최소 콘트라스트 민감도를 충족시키는 정도까지 증가된 콘트라스트를 가질 수 있다. 일부 실시예들은, 향상(예컨대, 확대, 밝기 증가, 콘트라스트 증가, 컬러 포화도 증가, 선명도 증가, 배경들 부가 등)을 위한 하나 초과의 기법을 활용할 수 있다.
[0160]
다양한 실시예들이, 환경의 조명 조건 하에서의 시각적 기능에 기반하여 그리고/또는 활성 광수용체들의 해상도에 기반하여 이미지 콘텐츠를 경시(예컨대, 사이즈 감소시키기, 흐려지게 만들기, 어둡게 하기/감쇠시키기, 콘트라스트 감소시키기, 컬러 포화도 감소시키기, 선명도 감소시키기, 차폐 등)하기 위한 하나 이상의 기법들을 활용할 수 있다는 것이 인지될 것이다. (예컨대, 더 낮은 휘도 레벨들과 비교하여) 예컨대 휘도 레벨들이 높을수록, 추상체들은 더 민감할 수 있다. 일부 그러한 경우들에서, 높은 추상체 밀도를 갖는 광 투사된 위치에 대응하는 사용자의 시계의 부분에 제공되는 이미지 콘텐츠는 경시되며 계속해서 검출될 수 있다. 그에 따라서, 명소시 조명 조건들에서, 일부 실시예들은, 사용자가, 중앙 시계에 제공되는 경시된 이미지 콘텐츠를 계속해서 볼 수 있으면서 주변 시계에 제공되는 이미지 콘텐츠를 더욱 잘 볼 수 있도록, 중앙 시계에 제공되는 이미지 콘텐츠를 경시할 수 있다. (예컨대, 더 높은 휘도 레벨들과 비교하여) 더 낮은 휘도 레벨들에서, 간상체들은 더 민감할 수 있다. 일부 그러한 경우들에서, 높은 간상체 밀도를 갖는 광 투사된 위치에 대응하는 사용자의 시계의 부분에 제공되는 이미지 콘텐츠는 경시되며 계속해서 검출될 수 있다. 그에 따라서, 암소시 조명 조건들에서, 일부 실시예들은, 사용자가, 주변 시계에 제공되는 경시된 이미지 콘텐츠를 계속해서 볼 수 있으면서 중앙 시계에 제공되는 이미지 콘텐츠를 더욱 잘 볼 수 있도록, 주변 시계에 제공되는 이미지 콘텐츠를 경시할 수 있다. 게다가, 박명시 조명 조건들에서, 일부 실시예들은, (예컨대, 조명 조건에서 소모된 시간에 적어도 부분적으로 기반하여) 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지를 결정하며, 그에 따라서 이미지 콘텐츠를 제공할 수 있다. 예컨대, 일부 실시예들은, 예컨대 명소시 조건에서와 같이, 추상체들이 우세할 때, 추상체들의 밀도에 기반하여 이미지 콘텐츠를 경시할 수 있다. 일부 실시예들은, 예컨대 암소시 조건에서와 같이, 간상체들이 우세할 때, 간상체들의 밀도에 기반하여 이미지 콘텐츠를 경시할 수 있다. 게다가, 본원에서 설명된 일부 실시예들은 유리하게, 시각적 또는 오디오 경고를 통해, 향상된/경시된 이미지 콘텐츠의 사용자에게 경고할 수 있다.
이미지 수정
[0161]
이제 도 12a 및 도 12b를 참조하면, 사용자 및/또는 환경 센서들을 통합하는 디스플레이 시스템은 유리하게, 환경에서의 오브젝트의 이미지 수정을 제공할 수 있다. 다른 말로, 특정 실시예들은, 사용자가 사용자의 시야에 위치되는 오브젝트를 더 나은 가시성으로 볼 수 있게 할 수 있다.
[0162]
도 12a 및 도 12b는 디스플레이 시스템을 사용하는, 사용자의 시야에 있는 오브젝트의 이미지 수정의 예시적인 방법(4000)을 예시한다. 디스플레이 시스템은, 각각, 도 2, 도 6, 및 도 10a-도 10b의 디스플레이 시스템들(80, 1000, 또는 2010)을 포함할 수 있다. 도 11a의 블록들(3010 및 3020)과 유사하게, 디스플레이 시스템은, 블록(4010)에 도시된 바와 같이 환경의 하나 이상의 이미지들을 캡처하도록 구성될 수 있으며, 블록(4020)에 도시된 바와 같이 환경의 이미지를 프로세싱할 수 있다. 일부 실시예들에서, 캡처 디바이스들은 환경에 관한 다른 정보를 캡처할 수 있다(예컨대, 환경의 조명 조건(예컨대, 평균 밝기)을 캡처하기 위해 카메라 또는 광 센서가 사용될 수 있음).
[0163]
블록(4030)에서, 다양한 실시예들은, 환경에서 관심 오브젝트를 결정할 수 있다. 일부 실시예들에서, 관심 오브젝트는 사용자의 주변 시야에 있는 오브젝트일 수 있다. 일반적으로, 사용자는 전형적으로, 사용자의 중앙 시야에 있는 오브젝트 또는 오브젝트들에 그들의 주의를 포커스할 것이다. 이러한 일부 실시예들에서, 디스플레이 시스템은 사용자의 주변 시야에 위치되는 관심 오브젝트를 사용자에 대해 자동으로 결정할 수 있다.
[0164]
다양한 실시예들은, 예컨대, 사용자가 관심을 가질 수 있는, 사용자의 주변 시야에 있는 환경의 적어도 부분(예컨대, 하나 이상의 오브젝트들, 하나 이상의 오브젝트들의 부분, 또는 오브젝트의 적어도 부분 그리고 그것의 근접 환경의 부분)을 식별할 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 사용자가 환경의 어느 부분을 보는 데 관심이 있는지를 결정하기 위해 사용자를 모니터함으로써 환경의 부분을 자동으로 식별할 수 있다. 사용자가 특정 뷰잉 방향으로 포커스하는 시간 및/또는 노력이 사용자의 관심 레벨로서 해석될 수 있다. 예컨대, 사용자의 주변 시야에 있는 특정 구역에 관심이 있는 사용자는, 다수의 경우들에서 특정 방향 쪽으로 자신의 머리 및/또는 눈들을 지향시킬 수 있고, 그리고/또는 그 방향을 보는 더 긴 시간 기간을 소모할 수 있다. 다른 예로서, 환경의 특정 부분에 관심이 있는 사용자는 특정 방향으로 관찰할 때 자신의 눈들을 가늘게 뜨고 볼 수 있는데, 이는 예컨대, 그 방향으로 위치된, 저 해상도를 가질 수 있는 오브젝트를 보려고 노력할 때의 노력/관심을 표시한다. 사용자는 또한, 원근조절하려고 애쓸 수 있다. 그러므로, 사용자가 오브젝트를 보려고 시도하고 있지만 일부 어려움을 갖고 있는지를 확인하기 위해, 눈에 있는 렌즈의 원근조절의 측정이 모니터될 수 있다.
[0165]
그에 따라서, 도 10a-도 10b에 도시된 바와 같이, 디스플레이 시스템은, 사용자로부터 입력을 수신하도록 구성된 하나 이상의 입력 디바이스들을 포함할 수 있다. 입력 디바이스는, 이를테면 눈 포지션, 움직임, 시선, 또는 동공 사이즈를 검출하기 위해 눈 추적을 위한 내향 카메라들(24, 28) 및/또는 센서들을 포함할 수 있다. 내향 카메라들(24, 28) 및/또는 센서들은 추가로, 다른 얼굴 표시기들, 이를테면 눈꺼풀 포지션, 주변 눈 조직 포지션, 얼굴 근육 움직임(예컨대, 얼굴 근육들을 씹거나 또는 쥐어짜기, 눈을 가늘게 뜨고 보기 등) 또는 다른 얼굴 포지션 또는 움직임을 모니터하도록 구성될 수 있다. 본원에서 설명된 바와 같은 센서들 및/또는 카메라들(예컨대, 머리 포즈 센서들, 이를테면 가속도계들, 자이로들, IMU들, 및/또는 카메라들(24, 28, 30, 32, 34))은, 사용자의 머리 포즈, 이를테면 머리가 포지셔닝되는 방향(예컨대, 수평선에 대해 직선 또는 기울어짐)을 결정하기 위해 사용될 수 있다. 외향 카메라들(34)로부터의, 사용자 환경에 관한 정보와 함께, 그러한 정보(예컨대, 눈 추적, 얼굴 표시기들, 및/또는 머리 포즈에 관한 정보) 중 하나 이상을 사용함으로써, 로컬 프로세싱 및 데이터 모듈(70)(및/또는 도 2의 원격 프로세싱 모듈(72))은 사용자의 주변 시야에 있는 관심 구역을 결정하도록 구성될 수 있다.
[0166]
일부 실시예들에서, 디스플레이 시스템은, 관심 구역을 활성적으로 표시하는 사용자에 의해 사용자의 주변 시야에 있는 환경의 부분을 식별할 수 있다. 예컨대, 내향 센서들 및/또는 카메라들(24, 28)은 특정 사용자 눈-기반 커맨드들을 검출하기 위한 검출 시스템을 포함할 수 있다. 예컨대, 일부 실시예들은 시선, 눈을 가늘게 뜨고 보기, 또는 하나 이상의 윙크들 또는 깜박거림들의 패턴들을 수반하는 사용자 커맨드들을 이용하여 관심 구역을 선택할 수 있다. 다른 예들로서, 디스플레이 시스템은, 사용자가 관심 구역을 선택할 수 있게 하기 위해, 물리적 사용자 인터페이스(예컨대, 터치 센서, 이를테면 터치 패드, 마우스, 포인팅 디바이스, 또는 디스플레이 시스템의 표면 상의 하나 이상의 버튼들), 가상 사용자 인터페이스(예컨대, 가상 터치 패드, 가상 마우스, 가상 포인팅 디바이스, 또는 가상 터치 스크린 상의 하나 이상의 아이콘들), 오디오 인식 시스템(예컨대, 음성 커맨드들, 한숨들, 하품 등을 검출하기 위한 하나 이상의 마이크로폰들), 제스처 인식 시스템(예컨대, 제스처를 식별하기 위한 비디오 카메라 및 프로세싱 전자장치) 및/또는 움직임 인식 시스템(예컨대, 모션 검출기)을 포함할 수 있다.
[0167]
일부 실시예들은, 주변 시야에서의 상황(예컨대, 주변 구역에서의 눈에 띄지 않는 출혈)에 사용자의 주의를 끌기 위해 하나 이상의 표시기들 또는 디바이스 경고들(예컨대, 플래싱 광 또는 팝-업 경고 또는 오디오 신호를 사용하여)을 포함할 수 있다. 응답으로, 사용자는, 사용자의 주변 시야에 있는 관련 부분의 이미지를 향상시킬지 여부를 활성적으로 선택할 수 있다. 이러한 일부 실시예들에서, 즉각적인 중앙 시야로부터 시선을 중단시키지 않으면서, 사용자는 주변 시야와 상호작용할 수 있다(이를테면, 주변에서 팝-업 경고를 닫기 위해 손을 흔드는 것 또는 음성 커맨드).
[0168]
다양한 실시예들에서, 사용자의 주변 시야에 있는 환경의 식별된 부분은, 하나 이상의 물리적 오브젝트들, 하나 이상의 물리적 오브젝트들의 부분, 또는 물리적 오브젝트의 적어도 부분 그리고 그것의 인근 환경의 부분을 포함할 수 있다. 예컨대, 식별된 부분은 인근 테이블 상의 하나 이상의 툴들을 포함할 수 있다. 다른 예로서, 오브젝트는 수술실에서 물리적 스크린 상에 제공되는 프리-레코딩된 또는 실시간 의료 이미지를 포함할 수 있다. 의료 이미지는 정보, 이를테면 데이터 파일, CT(computed tomography) 스캔(또는 CAT(computed axial tomography) 스캔으로서 또한 알려짐), MRI(magnetic resonance imaging), PET(positron emission tomography) 스캔, 초음파 이미징, x-레이 등을 포함할 수 있다. 이러한 일부 예들에서, 환경의 부분이 반드시 스크린 상의 전체 이미지를 포함하는 것은 아니지만, 이미지의 부분을 포함할 수 있다. 추가로, 디스플레이 시스템은 환경의 하나 초과의 비-인접 부분들(예컨대, 외과 의사의 좌측의 의료 이미지와 외과 의사의 우측의 상이한 의료 이미지)을 식별하도록 구성될 수 있다.
[0169]
다양한 실시예들에서, 하나 이상의 외향 센서들(34)은, 환경의 식별된 부분에서, 관심 오브젝트까지의 거리를 측정하도록 구성될 수 있다. 하나 이상의 센서들(34)은 거리 측정 디바이스(예컨대, 레이저 거리측정기)를 포함할 수 있다. 관심 오브젝트까지의 거리는, 오브젝트의 이미지 콘텐츠를 어느 깊이 평면에 제공할지를 결정하기 위해 사용될 수 있다.
[0170]
도 12a를 참조하여, 블록(4040)에서, 디스플레이 시스템은 오브젝트의 이미지에 대응하는, 환경의 이미지의 부분을 수정하도록 구성될 수 있다. 블록(4041)에 도시된 바와 같이, 디스플레이 시스템은 오브젝트의 향상된 이미지(예컨대, 오브젝트까지의 거리, 및/또는 2-포인트 구별을 위한 최소 거리, 및/또는 눈의 공간 해상도에 대한 반비례 관계에 적어도 부분적으로 기반하여 결정된 깊이 평면에 있는 확대된 이미지)를 제공할 수 있거나, 또는 블록(4042)에 도시된 바와 같이, 디스플레이 시스템은 상이한 위치에 있는 오브젝트의 이미지를 제공할 수 있다. 도 12b는 이러한 일부 실시예들의 예시적인 애플리케이션들을 도시한다. 도 12b에서, 외과 의사는 자신의 중앙 시야에 있는 환자를 수술하고 있을 수 있다. 수술 테이블로부터 떨어져 있는 일부 거리는 의료 이미지(4045)(예컨대, 심장 모니터 상의 심전도)일 수 있다. 일부 실시예들은, 도 12b에서 4041에 의해 표시된 바와 같이, 유리하게, 향상된 의료 이미지(예컨대, 이 예에서, 사이즈가 향상된 의료 이미지)를 제공할 수 있다. 일부 예시들에서, 향상된 이미지는 실제 의료 이미지와 실질적으로 동일한 위치에 나타날 수 있다(명확성을 위해, 향상된 이미지는 도 12b에서 동일한 위치에 도시되지 않음). 예컨대, 의료 이미지는 그것의 실제 위치 또는 그쯤에 유지될 수 있지만, 향상된 상태로(예컨대, 그것의 실제 사이즈보다 더 크거나 또는 더 작은 상태로) 나타날 수 있다. 외과 의사가 향상된 의료 이미지를 볼 때, 외과 의사는 더 나은 가시성으로 의료 이미지를 볼 수 있다. 일부 실시예들은, 도 12b에서 4042에 의해 표시된 바와 같이, 유리하게, 의료 이미지의 위치를 변경할 수 있다. 예컨대, 외과 의사의 주변 시야에 있었던 의료 이미지는, 외과 의사가 머리 포즈를 계속해서 조정할 필요가 없도록 환자에 더 근접하게 변위될 수 있다. 이러한 방식으로, 외과 의사는 동시에 환자와 의료 이미지 둘 모두를 볼 수 있다. 다양한 실시예들은 또한, 부가적인 이미지들을 사용자에 제공할 수 있다. 예컨대, 도 12b에 도시된 바와 같이, 부가적인 AR 이미지(4047)(예컨대, 환자에 근접하게 제공되는 심장의 3D 이미지)가 제공될 수 있다.
[0171]
도 12a의 블록(4041)을 다시 참조하여, 본원에서 설명된 바와 같이, 오브젝트의 이미지는 오브젝트의 대응하는 깊이 평면과 동일한 깊이 평면 상에서 또는 오브젝트에 대응하는 깊이 평면에 근접한 깊이 평면 상에서 향상될 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 시스템은, 오브젝트까지의 거리에 적어도 부분적으로 기초하여 결정된 깊이 평면에 관심 오브젝트의 향상된 이미지를 제공하도록 구성될 수 있다. 이미지가 투사되는 깊이 평면은, 실세계에서 사용자로부터 오브젝트까지의 거리와 정확하게 일치하지 않을 수 있다. 대신에, 일부 경우들에서, 사용자로부터 실세계에서 오브젝트의 거리에 근접한, 이를테면, 머리 장착 디스플레이 디바이스가 이미지들을 제공하도록 구성되는 하나 이상의 다른 깊이 평면들보다 적어도 더 근접한 또는 이용가능한 깊이 평면에 근접한 깊이 평면이 선택된다. 사용자의 주변 시야에 있는 관심 오브젝트의 이미지가 향상되기 때문에, 사용자의 시야를 그 오브젝트 쪽으로 재지향시킬 필요 없이, 사용자는 그 오브젝트의 더 나은 가시성을 가질 수 있다. 도 12b에 도시된 예에서, 오브젝트(4045)의 이미지(4041)가 확대되지만, 오브젝트(4045)의 이미지(4041)는 다른 방식들로 향상될 수 있다.
[0172]
실세계에서 사용자로부터 오브젝트까지의 거리를 측정하기 위해 다양한 방식들이 사용될 수 있다. 예컨대, 미국 가출원 번호 제62/294,147호는 물리적 측정들을 취하는 하나의 방법을 설명한다. 일부 실시예들에서, 머리-장착 디스플레이 디바이스는 환경에서 오브젝트들까지의 거리를 측정하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 이러한 센서는 거리 측정 디바이스 또는 레인징 디바이스 이를테면, 예컨대, 레이저 거리측정기(예컨대, 라이더), 레이더 거리 측정기, 초음파 레인징 디바이스(예컨대, 소나 또는 에코 사운드들을 사용함)일 수 있다. 다른 방법들, 이를테면 삼각측량이 또한, 가능하게는 사용될 수 있다. 본원에서 설명된 바와 같이, 오브젝트의 이미지가 실제 위치와 동일한 위치에 있는 것으로 나타나는 효과를 사용자에 대해 생성하기 위해, 머리-장착 디스플레이 상에 오브젝트의 이미지가 디스플레이될 수 있다. 이 효과는, 이미징된 오브젝트가 오브젝트의 실제 위치와 동일한 거리로서 위치되는 것으로 나타나도록 제공될 수 있는 깊이 평면을 결정함으로써 달성될 수 있다. 머리 장착 디스플레이가 제공하는 깊이 평면이 반드시 오브젝트까지의 거리에 정확하게 매칭하는 것은 아닐 수 있다. 그 거리에 근접한 깊이 평면이 선택될 수 있다. 또는, 어쩌면, 가장 적절한 깊이 평면은, 머리 장착 디스플레이 디바이스에 의해 제공될 수 있는 다른 깊이 평면들보다, 사용자로부터 오브젝트까지의 거리에 더 근접한, 머리 장착 디스플레이 디바이스에 의해 제공될 수 있는 깊이 평면이다. 일부 실시예들에서, 예컨대, 디스플레이 디바이스는 적어도 2개의 깊이 평면들인 먼 깊이 평면과 인근 깊이 평면을 포함한다. 가장 적절한 깊이 평면은 오브젝트로부터 사용자까지의 거리에 의존하여 선택될 수 있다. 예컨대, 오브젝트로부터 사용자까지의 거리가, 특정 머리 장착 디스플레이에 의해 제공되는 제2 깊이 평면이 아니라 제1 깊이 평면에 더 근접하면, 그 오브젝트의 이미지는 제1 깊이 평면 상에 제공될 수 있다. 일부 실시예들에서, 먼 깊이 평면은 사용자로부터의 임계치 거리보다 더 멀리 나타나는 오브젝트들의 이미지들을 디스플레이할 수 있고, 인근 깊이 평면은 임계치 거리보다 더 근접하게 나타나는 오브젝트들의 이미지들을 디스플레이할 수 있다. 다양한 실시예들에서, 이미지들을 제공하기 위해 단 2개보다 많은 깊이 평면들이 이용가능하다. 다시, 위에서 설명된 바와 같이, 이러한 실시예들에서, 실세계에서 오브젝트에 대응하는 깊이 평면에 더 근접한 가장 적절한 깊이 평면이 선택될 수 있다.
[0173]
일부 실시예들에서, 디스플레이 시스템은, 오브젝트의 이미지 콘텐츠를 확대하고, 그리고 오브젝트까지의 거리, 및/또는 2-포인트 구별을 위한 최소 거리, 및/또는 눈의 공간 해상도에 대한 반비례 관계에 적어도 부분적으로 기반하는 깊이 평면 상에 그 확대된 이미지를 제공하도록 구성될 수 있다. 특정 실시예들에서, 디스플레이 시스템은, 배율(또는 향상) 없이 오브젝트가 어떻게 나타날 것인지에 관련하여 오브젝트의 확대된(또는 향상된) 이미지를 제공할 수 있다. 일부 실시예들에서, 이미지의 배율(또는 향상)은, 실세계에서의 주변 오브젝트들 및/또는 디스플레이 상에 제공되는 다른 이미지들에 관련될 수 있다.
[0174]
이제 도 12a의 블록(4042)을 참조하면, 본원에서 설명된 바와 같이, 디스플레이 시스템은, 관심 오브젝트의 이미지를 오브젝트와 상이한 위치에서 제공할 수 있다. 일부 예들에서, 디스플레이 시스템은, 블록(4042a)에 도시된 바와 같이, 오브젝트까지의 거리에 대응하는 동일한 깊이 평면에서, 또는 블록(4042b)에 도시된 바와 같이, 오브젝트까지의 거리에 대응하는 깊이 평면과 상이한 깊이 평면에서, 상이한 위치들에 오브젝트의 이미지를 제공할 수 있다. 예컨대, 블록(4042a)은 도 12c를 참조하여 예시될 수 있다. 도 12c는, 하나의 눈(6)으로부터의 도 4에서의 깊이 평면들을 도시한다. 관심 오브젝트는 본래 위치 A에서의(예컨대, 사용자로부터 10 피트에서의) 깊이 평면(4100)과 연관될 수 있다. 도 12c에 도시된 바와 같이, 디스플레이 시스템은, 위치 A로부터 측방으로 변위되지만 동일한 깊이 평면(4100)에 있는 위치 A'에서 오브젝트의 이미지를 제공할 수 있다(예컨대, 광선들이 방사되는 오브젝트가 사용자로부터 10 피트에 위치된 것처럼 또는 일부 실시예들에서처럼 망막 내로 광선들을 투사함). 예로서, 의료 이미지는 외과 의사의 시야의 거의 바깥에(예컨대, 주변 시야에) 위치될 수 있다. 일부 실시예들에서, 의료 이미지는, 의료 이미지가 외과 의사의 중앙 시야에 더 근접하게 나타나도록, 측방으로 변위된 위치에서 제공될 수 있다. 이러한 일부 실시예들에서, 외과 의사는, 의료 이미지가 측방으로 변위된 위치에서 제공되지 않은 경우보다 더 양호한 가시성으로 의료 이미지를 볼 수 있을 수 있다.
[0175]
블록(4042b)은 또한 도 12c를 참조하여 예시될 수 있다. 위에 언급된 바와 같이, 관심 오브젝트는 본래 위치 A에서의 깊이 평면(4100)과 연관될 수 있다. 도 12c에 도시된 바와 같이, 디스플레이 시스템은, 위치 A와 연관된 깊이 평면과 상이한 깊이 평면(4200)에 있는 위치 A''에서 오브젝트의 이미지를 제공할 수 있다. 예로서, 위치 A에 위치된 의료 이미지는, (예컨대, 위치 B에서의) 환자 및/또는 수술 부위와 연관된 깊이 평면(4200)에 더 근접한 상이한 깊이 평면(4200)에서 제공될 수 있다.
[0176]
다양한 실시예들에서, 환자와 연관된 깊이 평면에 더 근접한 (그렇지 않다면 동일한) 깊이 평면 상에 의료 이미지를 제공하는 것은 외과의사의 원근조절을 용이하게 할 수 있다(예컨대, 의료 이미지의 원근조절 상태를 환자의 것에 더 근접하게 함). 게다가, 외과 의사는, 의료 이미지가 상이한 위치에서 제공되지 않은 경우보다 더 양호한 가시성으로 의료 이미지를 볼 수 있을 수 있다. 예컨대, 의료 이미지는 환자에 인접하게 제공될 수 있다. 다른 예로서, 의료 이미지는 환자 상에 중첩될 수 있다. 일부 예시들에서, 환자 상의 중첩되는 이미지들은 수술 동안 외과 의사에게 안내를 제공할 수 있다.
[0177]
일부 실시예들에서, 관심 오브젝트의 이미지는 눈(6)에 더 근접한 또는 눈(6)으로부터 더 먼 깊이 평면에서 제공될 수 있다. 예컨대, 깊이 평면들은 먼 깊이 평면(4100) 및 인근 깊이 평면(4200)을 포함할 수 있다. 먼 깊이 평면(4100)은 인근 깊이 평면(4200)보다 사용자의 눈(6)으로부터 더 멀리 있을 수 있다. 본원에서 설명된 바와 같이, 다양한 실시예들은, 관심 오브젝트까지의 거리를 결정하도록 구성된 하나 이상의 외향 센서들(34)을 포함할 수 있다. 관심 오브젝트까지의 거리는 인근 깊이 평면(4200)보다 먼 깊이 평면(4100)에 더 대응할 수 있다. 일부 예시들에서, 오브젝트의 이미지는 인근 깊이 평면(4200)에서 제공될 수 있다. 인근 깊이 평면(4200)에 제공된 오브젝트의 이미지는, 일부 경우들에서, 사용자의 중앙 시야에 또는 그에 근접하게 제공될 수 있다. 제공된 이미지는 확대(또는 그렇지 않으면 향상)되거나 되지 않을 수 있다. 일부 다른 실시예들에서, 관심 오브젝트는 먼 깊이 평면(4100)보다 인근 깊이 평면(4200)에 더 대응할 수 있고, 오브젝트의 이미지는 (예컨대, 관심 오브젝트(들) 근처에서 주의산만 또는 클러터(clutter)를 유발하는 너무 많은 이미징된 세부사항들에 의해 야기되는 시각적 크라우딩을 감소시키기 위해) 먼 깊이 평면(4100)에서 제공될 수 있다. 게다가, 일부 실시예들에서, 오브젝트의 이미지는 오브젝트의 대응하는 깊이 평면과 동일한 깊이 평면에서 측방으로 변위될 수 있다(예컨대, 주변 시야로부터 중앙 시야로 측방으로 변위됨). 일부 실시예들은, 오브젝트의 대응하는 깊이 평면과 동일한 깊이 평면에서 측방으로 변위된 향상된 이미지를 제공할 수 있다. 일 예로서, 사용자의 주변 시야에 있는 병 위의 라벨의 확대된 이미지가 실제 라벨링된 병 위로 측방으로 변위된 채로 제공될 수 있다.
[0178]
관심 오브젝트의 이미지는 확대 및/또는 위치 이외의(또는 이와 조합된) 양상들에 기반하여 수정될 수 있다는 것이 인지될 것이다. 예컨대, (예컨대, 주변 시야에서의) 오브젝트의 이미지에 대응하는 환경의 이미지의 부분은, 강도/밝기, 콘트라스트, 컬러 포화도, 선명도, 에지 향상, 배경들의 통합, 컬러 밸런스, 및/또는 화이트 밸런스가, 환경의 이미지의 다른 부분에(예컨대, 중앙 시야에서의 환경의 이미지의 부분 또는 수정된 이미지 근방의 것과 같은 주변 시야에서의 환경의 이미지의 다른 부분에) 비교되고 그리고/또는 수정됨이 없이 오브젝트가 어떻게 나타날 것인지와 관련하여 향상되도록 수정될 수 있다. 오브젝트의 이미지에 대응하는 환경의 이미지의 부분은 또한, 노출, 명도, 그림자들, 강조 표시들, 뒤집기, 직선화, 회전, 이미지 부분들의 측정에 기반하고 그리고/또는 다른 접근법들을 사용하여 향상될 수 있다. 그에 따라서, 다양한 실시예들에서, 오브젝트의 이미지에 대응하는 환경의 이미지의 부분은, 환경의 이미지의 다른 부분과 비교하여 다르게 프로세싱될 수 있다. 제공된 이미지 콘텐츠는 부가적인 증강 콘텐츠이고 그리고/또는 추가의 부가적인 증강 콘텐츠(예컨대, 텍스트, 화살표들, 사용자 커맨드들, 복제 이미지들, 조작될 수 있는 장기들과 같은 오브젝트들의 3D-이미지들 등)를 포함할 수 있다.
[0179]
또한, 관심 오브젝트에 대응하는 환경의 뷰 또는 이미지의 부분을 수정하는 것 대신 또는 그 외에도, 환경의 다른 부분은, 환경의 뷰들 또는 이미지들의 또는 디스플레이에 의해 디스플레이되는 다른 이미지들의 수축, 흐려지게 만드는 것, 어둡게 하는 것/감쇠시키는 것, 콘트라스트를 감소시키는 것, 컬러 포화도를 감소시키는 것, 선명도를 감소시키는 것, 에지들을 비-향상시키는 것, 차폐 등에 의해 경시될 수 있다는 것이 인지될 것이다. 예컨대, 그러한 이미지 콘텐츠는 시각적 크라우딩 또는 클러터를 감소시키기 위해 흐려질 수 있다. 일부 실시예들은, 이미지의 인접한 부분들을 실질적으로 전부 동일한 컬러(예컨대, 모노톤)로 제공함으로써 콘텐츠를 흐려지게 만들 수 있다. 일부 그러한 예시들에서, 컬러는, 관심 오브젝트에 대응하는 이미지의 부분에서의 컬러들에 대한 높은 콘트라스트를 갖는 컬러일 수 있다. 환경 또는 디스플레이에 의해 디스플레이되는 다른 이미지들의 경시된 이미지들 또는 뷰들은 또한, 노출, 명도, 그림자들, 강조 표시들, 뒤집기(예컨대, 인버팅), 직선화 또는 직선 감소, 회전, 이미지 부분들의 측정(예컨대, 볼륨들을 포함함), 컬러 밸런스(또는 화이트 밸런스) 시프팅에 기반하여 달성될 수 있고 그리고/또는 그렇지 않으면, 관심 오브젝트의 이미지에 대응하는 환경의 이미지의 부분과 비교하여 다르게 이미지 프로세싱된다.
[0180]
추가로, 관심있는 것으로 결정된 오브젝트는 사용자의 중앙 시야에서의 오브젝트에 대응할 수 있고, 오브젝트의 이미지에 대응하는 환경의 이미지의 부분은 본원에서 설명된 바와 같이 향상되고 그리고/또는 위치가 이동될 수 있다는 것이 인지될 것이다. 추가로, 환경의 이미지의 다른 부분은 본원에서 설명된 바와 같이 경시될 수 있다.
[0181]
또 다른 예로서, 일부 실시예들은, 사용자의 중앙 시야로부터의 오브젝트의 이미지를 사용자의 중앙 시야의 다른 위치에 제공할 수 있다. 먼 깊이 평면으로부터의 이미지 콘텐츠는 사용자의 중앙 시야에서의 증가된 가시성을 위해 인근 깊이 평면으로 가져올 수 있다. 또한, 인근 깊이 평면에 대응하는 이미지 콘텐츠는, 예컨대, 사용자의 중앙 시야에서의 클러터 및/또는 시각적 크라우딩을 감소시키기 위해, 먼 깊이 평면으로 가져갈 수 있다. 일부 실시예들은 또한, (예컨대, 시각적 크라우딩을 감소시키기 위해) 사용자의 중앙 시야로부터의 오브젝트의 이미지를 사용자의 주변 시야에 제공할 수 있다.
[0182]
도 12a를 계속해서 참조하면, 블록(4050)에서, 일부 실시예들은, 오브젝트의 수정된 이미지 근방의 환경의 이미지의 부분을 수정하도록 구성될 수 있다. 예컨대, 일부 실시예들은, (예컨대, 시각적 세부사항을 주의산만하게 하는 것 또는 시각적 크라우딩을 감소시키기 위해) 오브젝트의 수정된 이미지 근방의 환경의 이미지의 양상을 경시할 수 있다(예컨대, 사이즈를 감소시키는 것, 컬러 포화도를 감소시키는 것, 강도를 감소시키는 것, 이미지 콘텐츠를 흐려지게 만드는 것, 이미지 콘텐츠를 어둡게 하는 것/감쇠시키는 것, 컬러 또는 색조를 변경하는 것 등). 다른 예로서, 일부 실시예들은, 임의의 하부(underlying) 이미지를 커버하기 위해, 오브젝트의 수정된 이미지 근방의 환경의 이미지의 부분들을 조정할 수 있다. 예컨대, 오브젝트의 수정된 이미지가 상이한 위치로 변위되고 그리고/또는 확대된 이미지인 경우, 특정 실시예들은, 이중 이미지들의 제공을 방지하기 위해, 수정된 이미지 아래의 구역들을 조정할 수 있다. 일부 예시들에서, 환경의 이미지는 또한 오브젝트의 수정된 이미지를 둘러싸는 경계를 포함하도록 수정될 수 있다. 경계를 제공하는 것은, 사용자가, 실제 세계에 존재하는 것과 같은 오브젝트의 이미지가 아니라 오브젝트의 수정된 이미지(예컨대, 증강 가상 이미지)를 자신이 뷰잉하고 있다는 것을 알도록 도울 수 있다. 추가로, 도 12b에 도시된 바와 같이, 부가적인 증강 현실 이미지들(예컨대, 사전 계획된 수술 가이드들, 지시들 등)이 오브젝트의 수정된 이미지 근처에 제공될 수 있다.
[0183]
본원에서 설명된 바와 같이, 디스플레이 디바이스는, 사용자 주위의 환경에서의 오브젝트들의 이미지들을 강조 표시하도록 구성될 수 있다. 그러한 오브젝트들은, 사용자의 다양한 감지 구역들에, 이를테면, 사용자의 시야 내에 나타날 수 있다. 그러한 예시들에서, 오브젝트는, 사용자의 중앙 시야에 또는 주변 시야에 있을 수 있다. 대안적으로, 오브젝트들은, 사용자의 관심 필드 내에, 그러나, 사용자의 시야 외부에 있을 수 있다. 예컨대, 일부 실시예들에서, 사용자의 시야 외부에 있는 오브젝트의 이미지를 사용자의 시야 내로 가져오는 것은, 사용자에게 경고하는 데 유용할 수 있다. 수술의 경우에, 수술 부위에 주의를 기울일 때 외과 의사의 시야 내에 있지 않은 스크린은 환자의 바이탈 징후들을 포함할 수 있다. 그러한 바이탈 징후들이 특정 레벨에 도달할 때, 외과 의사는, 머리 장착 디스플레이 디바이스의 디스플레이 상에 스크린의 이미지를 제공함으로써 경고받을 수 있다. 이러한 스크린은, 머리 장착 디스플레이 디바이스 상에 배치된 비디오 카메라에 의해 이미징될 수 있다. 이러한 카메라(또는 카메라들)는 전방 지향 카메라일 수 있고, 또는 가능하게는 심지어, 측방 지향 카메라 또는 후방 지향 카메라일 수 있다. 다른 예로서, 경고는, 외과 의사에게 잠재적 상황을 표시하기 위한 아이콘(예컨대, 이미지의 카피) 또는 오디오를 포함할 수 있다. 또 다른 예로서, 환자의 특정 바이탈 징후들(예컨대, 심박수 또는 체온)을 확인할 것을 외과 의사에게 상기시키기 위해, 아이콘(예컨대, 심장 또는 온도계)이 디스플레이 상에 나타날 수 있다. 작은 아이콘은 주의산만을 덜 제공할 수 있다. 그런 다음, 외과 의사는, 실제 오브젝트를 뷰잉하거나 오브젝트를 AR 이미지로서 뷰잉하도록 자신의 머리를 움직일 것을 선택할 수 있다.
[0184]
다른 예로서, (예컨대, 공항에서의) 긴급상황의 경우에, 관심 오브젝트는 제세동기일 수 있다. 디스플레이 디바이스는, 네트워크 시스템 또는 오브젝트 인식 알고리즘을 통해 제세동기를 위치하고 제세동기의 위치에 대한 일반적인 방향들을 제공(예컨대, 시각적인 것들, 오디오, 텍스트 등)할 수 있다. 외향 카메라들이 (예컨대, 사용자의 관심 필드 내의) 제세동기를 위치한 후, 디스플레이 디바이스는, 제세동기에 대한 더 정밀한 방향들과 같은 부가적인 증강 이미지들(예컨대, 화살표들, 텍스트들 등)과 함께 제세동기의 향상된 이미지(예컨대, 제세동기의 확대된 이미지)를 제공할 수 있다. 추가로, 제세동기를 사용할 때, 디스플레이 디바이스는, 환자의 옆에 지침 책자(instructions booklet)의 향상된 이미지를 제공할 수 있다. 부가적인 콘텐츠(예컨대, 제세동기 패드들을 배치할 곳의 위치)가 또한 환자 근처에 제공될 수 있다. 다수의 다른 예들이 가능하다. 앞서 논의된 바와 같이, 네트워크 시스템과의 통신은, 이러한 예에서의 제세동기의 위치와 같은 부가적인 정보를 제공하는 데 유용할 수 있다. 이를테면 프로세싱 전자장치에 의해 제공되는 패턴 인식은, 예컨대, 이러한 예에서의 제세동기와 같은 오브젝트의 위치를 결정하거나 그러한 오브젝트를 식별하기 위해, 외향 카메라에 의해 캡처된 이미지를 프로세싱하는 데 사용될 수 있다.
조명 조건에 기반한 이미지 수정의 추가적인 실시예들
[0185]
본원에서 설명된 바와 같이, 특정 실시예들은, 조명 조건에 적어도 부분적으로 기반하여 환경의 이미지 콘텐츠의 적어도 일부를 수정할 수 있다(예컨대, 도 11b 참조). 또한 본원에서 설명된 바와 같이, 다양한 실시예들은, 환경에서의 관심 오브젝트를 식별하고 그 오브젝트에 대응하는 환경의 이미지의 부분을 수정할 수 있다(예컨대, 도 12a-12b에 도시된 바와 같이 상이한 위치에 오브젝트의 이미지를 제공하거나 오브젝트의 향상된 이미지를 제공함).) 이미지의 부분은 조명 조건에 적어도 부분적으로 기반하여 수정될 수 있다.
[0186]
이미지 콘텐츠가 상이한 위치에 제공되는 일부 실시예들에서, 디스플레이 시스템은, 환경의 조명 조건에 적어도 부분적으로 기반하여, 이미지 콘텐츠를 사용자의 시계의 제1 부분으로부터 사용자의 시계의 제2 부분에 제공하도록 구성될 수 있다. 환경의 조명 조건 하에서, 제2 부분은, 제1 부분보다 더 높은 시력을 갖는 사용자 눈의 투사된 광 위치에 대응할 수 있다. 더 높은 시력을 갖는 사용자 눈의 투사된 광 위치에 대응하는 위치로 이미지 콘텐츠를 이동시킴으로써, 본원에서 설명된 특정 실시예들은, 이미지 콘텐츠의 밝기를 증가시킬 필요 없이 디스플레이에 이미지 콘텐츠를 제공할 수 있다. 유리하게, 어두운 환경들에서 그러한 일부 실시예들을 사용하는 것은, 자연스러운 어두운 환경에서 디스플레이를 통해 사용자의 실세계 뷰잉 능력을 유지할 수 있다.
[0187]
명소시 조명 조건 하에서, 추상체들이 활성화되므로, 제2 부분은, 제1 부분보다 더 높은 밀도의 추상체들을 갖는 사용자 눈의 투사된 광 위치에 대응할 수 있다. 예컨대, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 중앙 구역에서의 부분을 포함할 수 있다. 다른 예로서, 제1 부분은 중앙 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 중앙 구역에서의 (예컨대, 중심와에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다. 또 다른 예로서, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 (예컨대, 중심와에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다. 제2 부분은, 일부 예시들에서, 추상체들이 최적의 뷰잉을 위한 가장 높은 시력을 갖는 중심와에서의 사용자 눈의 투사된 광 위치에 대응할 수 있다. 일부 예들에서, 제2 부분은, 중심와의 중심으로부터 0 내지 10 도, 1 내지 10 도, 2 내지 10 도, 0 내지 8 도, 1 내지 8 도, 2 내지 8 도, 0 내지 5 도, 1 내지 5 도, 2 내지 5 도의 범위, 또는 중심와의 중심으로부터 0 내지 10 도의 임의의 값으로 형성된 임의의 범위(예컨대, 중심와의 중심으로부터 1 내지 4 도, 1 내지 6 도, 2 내지 7 도 등)의 사용자 눈의 투사된 광 위치에 대응할 수 있다.
[0188]
암소시 조명 조건 하에서, 간상체들이 활성화되므로, 제2 부분은, 제1 부분보다 더 높은 밀도의 간상체들을 갖는 사용자 눈의 투사된 광 위치에 대응할 수 있다. 예컨대, 사람은, 주변시(averted vision)를 사용하여 약광에서 세부사항을 보려 노력할 수 있다. 중심와에 실질적으로 어떠한 간상체들도 존재하지 않으므로, 사람은, 관심 오브젝트에 집중하면서 주변 비전으로 시선을 변경할 수 있다. 그에 따라서, 제1 부분은 중앙 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 부분을 포함할 수 있다.
[0189]
본원에서 설명된 바와 같이, 간상체 밀도는 중심와의 중심으로부터 약 18 도에서 피크를 나타낼 수 있고, 중심와의 중심으로부터 약 30 도에서 더 작은 피크를 갖는다. 일부 예들에서, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 (예컨대, 간상체 밀도 피크들 중 하나에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다. 일부 예시들에서, 제2 부분은, 최적의 뷰잉을 위한 간상체 밀도 피크들 중 하나에서의 사용자 눈의 투사된 광 위치에 대응할 수 있다. 일부 예들에서, 제2 부분은, 중심와의 중심으로부터 10 내지 25 도, 12 내지 22 도, 15 내지 20 도의 범위, 또는 중심와의 중심으로부터 10 내지 25 도의 임의의 값으로 형성된 임의의 범위(예컨대, 중심와의 중심으로부터 13 내지 23 도, 14 내지 22 도, 16 내지 20 도 등)의 사용자 눈의 투사된 광 위치에 대응할 수 있다. 일부 예들에서, 제2 부분은, 중심와의 중심으로부터 20 내지 40 도, 22 내지 38 도, 25 내지 35 도의 범위, 또는 중심와의 중심으로부터 20 내지 40 도의 임의의 값으로 형성된 임의의 범위(예컨대, 중심와의 중심으로부터 23 내지 37 도, 26 내지 32 도, 27 내지 33 도 등)의 사용자 눈의 투사된 광 위치에 대응할 수 있다.
[0190]
박명시 조명 조건 하에서, 추상체들 및 간상체들 둘 모두가 사용될 수 있다. 일부 실시예들에서, 박명시 조명 조건 하에서, 디바이스는, 조명 조건에 적어도 부분적으로 기반하고 그리고 그 조명 조건에서 소모된 시간에 적어도 부분적으로 기반하여 이미지 콘텐츠를 제1 부분으로부터 제2 부분으로 제공하도록 구성될 수 있다. 조명 조건이 어두울수록, 더 많은 간상체들(및 더 적은 추상체들)이 활성화될 수 있다. 부가적으로, 박명시 조명 조건에서 소모된 시간이 길수록, 더 많은 간상체들(및 더 적은 추상체들)이 활성화될 수 있다. 시간(예컨대, 실시간으로) 및 휘도 레벨을 모니터링함으로써, 특정 실시예들은, 사용되는 추상체들 및 간상체들의 양, 및 사용자 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지를 결정할 수 있다. 일반적으로, 환경이 어두울수록, 간상체들이 추상체들에 비해 우세해지는 전환이 빠르다.
[0191]
추상체들이 사용자 눈에 우세할 때, 제2 부분은, 예컨대 명소시 조건에서와 같이, 제1 부분보다 더 높은 밀도의 추상체들을 갖는 사용자 눈의 투사된 광 위치에 대응할 수 있다. 예컨대, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 중앙 구역에서의 부분을 포함할 수 있다. 다른 예로서, 제1 부분은 중앙 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 중앙 구역에서의 (예컨대, 중심와에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다. 또 다른 예로서, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 (예컨대, 중심와에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다. 일부 예시들에서, 제2 부분은, 예컨대 명소시 조건에 대해 본원에서 설명된 바와 같이, 추상체들이 최적의 뷰잉을 위한 가장 높은 시력을 갖는, 중심와에서의 사용자 눈의 투사된 광 위치에 대응할 수 있다.
[0192]
간상체들이 사용자 눈에 우세할 때, 제2 부분은, 예컨대 암소시 조건에서와 같이, 제1 부분보다 더 높은 밀도의 간상체들을 갖는 사용자 눈의 투사된 광 위치에 대응할 수 있다. 예컨대, 제1 부분은 중앙 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 부분을 포함할 수 있다. 일부 예들에서, 제1 부분은 주변 구역에서의 부분을 포함할 수 있고 그리고 제2 부분은 주변 구역에서의 (예컨대, 암소시 조건에 대해 설명된 바와 같이, 간상체 밀도 피크들 중 하나에서의 또는 그에 더 근접한 사용자 눈의 투사된 광 위치에 대응하는) 다른 부분을 포함할 수 있다.
[0193]
디스플레이 시스템이 이미지 콘텐츠를 사용자의 시계의 제1 부분으로부터 사용자의 시계의 제2 부분에 제공하도록 구성될 수 있으므로, 일부 실시예들은 유리하게, 시각적 또는 오디오 경고를 통해, 변경된 이미지 콘텐츠를 사용자에게 경고할 수 있다.
[0194]
일부 실시예들은 이미지 콘텐츠를 반드시 일정 위치로부터 다른 위치로 이동키는 것은 아닐 수 있지만, (예컨대, 조명 조건에서의 최적의 뷰잉을 위해) 환경의 조명 조건에 적어도 부분적으로 기반하고 그리고 투사된 광 위치들의 광수용체들의 밀도에 적어도 부분적으로 기반하여, 증강 이미지 콘텐츠를 제공할 위치를 결정하기 위해 본원에서 설명된 유사한 원리들을 사용할 수 있다는 것이 인지되어야 한다.
[0195]
예컨대, 명소시 조명 조건 하에서, 이미지 콘텐츠는, 투사된 광 위치의 추상체들의 밀도에 기반하여 사용자의 시계의 부분에 제공될 수 있다. 이미지 콘텐츠는, 비교적 높은 밀도의 추상체들을 갖는 사용자 눈의 위치에 대응하는 사용자의 시계의 부분에 제공될 수 있다. 일부 예시들에서, 광은, 사용자의 시계의 중앙 구역에 이미지 콘텐츠를 제공하도록 사용자 눈의 일정 위치에 투사될 수 있다. 일부 예시들에서, 투사된 광 위치는 중심와에 있거나 그에 근접할 수 있다.
[0196]
다른 예로서, 암소시 조명 조건 하에서, 이미지 콘텐츠는, 본원에서 설명된 바와 같이, 투사된 광 위치의 간상체들의 밀도에 기반하여 사용자의 시계의 부분에 제공될 수 있다. 이미지 콘텐츠는, 비교적 높은 밀도의 간상체들을 갖는 사용자 눈의 위치에 대응하는 사용자의 시계의 부분에 제공될 수 있다. 일부 예시들에서, 광은, 사용자의 시계의 주변 구역에 이미지 콘텐츠를 제공하도록 사용자 눈의 위치에 투사될 수 있다. 일부 예시들에서, 투사된 광 위치는 간상체 밀도 피크들 중 하나에 있거나 그에 근접할 수 있다.
[0197]
또 다른 예로서, 박명시 조명 조건 하에서, 특정 실시예들은, 그 조명 조건 하에서 사용자 눈에 추상체들이 우세한지 또는 간상체들이 우세한지를 결정하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 이러한 결정은, 그 조명 조건에서 소모된 시간에 기반할 수 있다. 추상체들이 사용자 눈에 우세할 때, 이미지 콘텐츠는, 명소시 조건에 대해 설명된 바와 같은 위치에 제공될 수 있다. 간상체들이 사용자 눈에 우세할 때, 이미지 콘텐츠는, 암소시 조건에 대해 설명된 바와 같은 위치에 제공될 수 있다. 또한 본원에서 설명된 바와 같이, 일부 실시예들은 유리하게, 시각적 또는 오디오 경고를 통해, 제공된 증강 이미지 콘텐츠를 사용자에게 경고할 수 있다.
의료 이미징, 디스플레이, 및 시각화를 위한 예시적인 디스플레이 시스템들
[0198]
많은 개인들은 그들의 삶들의 어떤 시점에서 진단 및 치료를 요구하는 의료 조건 또는 질환을 경험한다. 이러한 조건들은, 특히, 예컨대 심장 질환, 암, 척수 상태들 및 정형외과적 부상들을 포함하는 무수한 형태들을 취할 수 있다. 유리하게, 일부 실시예들에서, 본원에서 개시된 AR(augmented reality) 디스플레이 시스템들은, 의료 전문가들이 그들의 환자들을 평가 및 치료하는 것을 보조하도록 구성될 수 있고, 임의의 관리 단계에서 그렇게 할 수 있다. AR 디스플레이 시스템들은, 의료 이미징, 의료 디스플레이, 및/또는 의료 시각화가 유용한 임의의 적절한 맥락에서 사용될 수 있다. 예컨대, AR 디스플레이 시스템들은, 응급실들, 수술실들, 진료실들, 닥터 사무실들, 환자 집들 등에서 사용될 수 있다. 일부 실시예들에서, AR 디스플레이 시스템들은, 이미징하고, 이미지들을 디스플레이하고, 이미지들을 조작하고, 질환들 및 이상들을 진단하고, 치료 옵션들을 제공하고, 특정 건강 문제들을 방지하고, 그리고/또는 의료 절차들 동안 보조를 제공하도록 구성될 수 있다. AR 디스플레이 시스템들은 임의의 적절한 방식으로 하나 이상의 의료 전문가들을 보조 또는 보충할 수 있다는 것이 인지될 것이다. 의학적 맥락에서, 집에 있는 환자들 및 사용자들이 또한 다양한 실시예들로부터 이익을 얻을 수 있다.
[0199]
일부 실시예들에서, 디스플레이 시스템은 "근안(near-to-eye)" 디스플레이, 예컨대 사용자의 눈들 전방에 가까이 포지셔닝될 수 있는 디스플레이일 수 있다. 디스플레이는 예컨대 망막에 걸쳐 다양한 패턴들로 여러 포커스 거리들에 따라 강도-변조된 광의 빔들을 스캐닝함으로써 이미지들을 사용자의 눈들에 직접 투사하는 3-차원 볼류메트릭 디스플레이일 수 있다. 스캐닝 패턴들은 특히 래스터, 나선형, 및/또는 리사주를 포함할 수 있다. 그러한 다양한 패턴들을 눈에 투사하기 위해서, 디스플레이는 하나 이상의 스캐닝 섬유들을 포함하는 스캐닝 섬유 디스플레이를 포함할 수 있다. 디스플레이는 눈으로의 시준 및 발산 빔들 둘 모두를 생성함으로써 다양한 깊이들의 이미지들을 생성할 수 있고, 이는 유리하게 오브젝트들을 뷰어에게 디스플레이할 때 더욱 정상적인 원근조절을 가능하게 할 수 있다. 일부 실시예들에서, 이미지의 깊이 또는 포컬 거리는 광학 엘리먼트들, 기계 구조, 프로세싱 알고리즘들, 또는 이들의 임의의 조합에 의해서 조정될 수 있다. 디스플레이는 뷰어가 투명한 윈도우들, 렌즈들 및/또는 다른 투명한 광학기를 통해 전방의 환경을 볼 수 있게 하는 증강 현실 디스플레이를 포함할 수 있고, 그리고 광을 눈으로 지향시키는 광원을 포함하는 디스플레이에 의해 제공되는 이미저리를 환경의 그 뷰에 또한 부가하여 그런 부가적인 또는 "증가된" 이미저리의 형성을 가능하게 할 수 있다.
[0200]
아래에서 논의되는 바와 같이, 부가적인 이미지들은 X-레이들, CT, PET 또는 MRI 스캔들과 같은 의료 이미지들, 초음파 이미지들 등을 포함할 수 있다. 일부 실시예들에서, 의료 이미지의 콘트라스트 레벨은 조정될 수 있다. 예컨대, 의료 이미지는 회색 스케일에 있을 수 있고, 회색 스케일의 레벨은 조직 타입의 내인성일 수 있다. 종종, 의료 이미지의 레벨들의 수는 인간의 눈이 구별할 수 있는 것보다 더 클 수 있다. 예컨대, 8-비트 이미지는 256개의 레벨들을 가질 수 있고, 그 256개의 레벨들은 인간의 눈이 구별할 수 있는 것보다 더 클 수 있다. 일부 실시예들은 콘트라스트 레벨들이 인간의 눈에 의해서 구별될 수 있도록 그 콘트라스트 레벨들을 조정할 수 있다.
[0201]
부가적인 이미지들은 또한 예컨대 의료 기구 또는 다른 소스들로부터의 의료 데이터 또는 다른 정보를 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템에 포함되는 이미지 프로세싱 및/또는 머신 비전 기술은 형상 및/또는 볼륨의 변경들을 형상화 및/또는 측정하고 및/또는 그런 이미지들 또는 다른 신호들 또는 데이터에 기반하여 유체 유동을 측정하도록 구성될 수 있다. 다른 타입들의 정보가 또한 디스플레이될 수 있다. 디스플레이 시스템은 그런 이미징된 및 감지된 데이터를 실시간 및/또는 포스트-프로세싱하도록 구성될 수 있다. 이는 유리하게 디스플레이 시스템이 예컨대 명령들, 측정들, 계산들, 및 다른 가시적인 이미저리와 같은 적절한 정보로 실시간 이미저리 및/또는 포스트-뷰잉 이미저리를 증강시키게 할 수 있다.
[0202]
본원에서 설명된 바와 같이, 디스플레이 시스템은 하나 이상의 외향 카메라들을 포함할 수 있다. 일부 실시예들에서는, 머신 비전이 사용자의 환경으로부터의 시각적 콘텐츠를 분석하기 위해 사용될 수 있고, 그리고 예컨대 다른 피처들 또는 컴포넌트들 중에서도 컬러 센서, 깊이 센서, 패턴 인식기, 에지 검출기, 및/또는 세계 카메라(world camera) 중 하나 이상을 포함할 수 있다. 이들 하나 이상의 카메라들로부터의 이미지들이 디스플레이 상에 제공될 수 있다. 앞서 논의되고 본원의 다른 곳에서 논의되는 바와 같이, 사용자가 콘텐츠를 명확히 그리고 본원에서 논의된 바와 같이 다양한 경우들(픽셀 스틱)에서 접지로 그라운딩 것으로 콘텐츠를 볼 수 있도록, 디스플레이 기술은 깊이 평면, 이산 콘텐츠 뷰잉 및 이미지 배치를 사용할 수 있다.
[0203]
그런 시스템은 하나 이상의 센서들, 이를테면 예컨대 이미지 센서들, 가속도계들, 자이로들, 온도 센서들, 전극들, 압력 센서들 등을 부가적으로 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 고도계, 기압계, 화학 센서, 습도/온도 센서, 마이크로폰, 스피커, GPS 시스템, 일기도, 달력 및/또는 다른 정보 소스를 포함할 수 있고, 이들 각각은 사용자가 그의 디바이스 상에서 보고 상호작용하는 콘텐츠의 타입에 기여할 수 있다.
[0204]
시스템은 하나 이상의 레코더들 및/또는 하나 이상의 다른 외부 입력들 및/또는 출력들을 부가적으로 포함한다. 앞서 논의된 바와 같이, 머신 비전은 디스플레이 시스템이 머신 비전 시스템의 다양한 입력들(예컨대, 센서들)에 대응하는 입력들을 수신하고 사용자의 시야에 그것들을 디스플레이하게 할 수 있다. 이미지들 및 다른 정보가 저장되고 및/또는 다른 사용자들에게 전달될 수 있다.
[0205]
일부 실시예들에서, 결과들이 동시에 또는 이력 데이터의 비교를 통해서 수집되고 및/또는 분석될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 의료 상태들을 진단하기 위해서 머신 비전 기술을 포함할 수 있다. 일부 실시예들에서, 예컨대, 외향 카메라들은 환자의 상태에 관한 정보를 수집하기 위해 사용될 수 있다. 또한, 일부 실시예들에서, 초음파, x-레이, MRI, PET, CT, 이미징이 진단을 제공하기 위해서 분석될 수 있다. 일부 실시예들에서, 예컨대, 디바이스는 초음파 방출 소스로서 트랜스듀서로부터의 초음파들을 출력할 수 있고 그리고 환자에 관한 정보를 획득하는 것에 대한 응답으로서 조직 밀도를 결정하기 위해 리턴된 초음파들을 측정할 수 있다. 예컨대 도 10b를 참조하라. 그에 따라서, 일부 실시예들에서, 머리 장착 디스플레이 디바이스는 초음파들의 소스를 포함할 수 있다. 머리-장착 디스플레이는 또한 방출된 초음파들로부터 리턴 신호를 수신, 측정 및/또는 해석하도록 구성된 수신기를 포함할 수 있다. 일부 실시예들은 수신된 신호의 측정 및/또는 해석의 부분으로서 도플러 효과 또는 전파 시간을 사용한다. 특정 실시예들에서, 디스플레이 시스템은 초음파를 전기 신호들로 변환하도록 적응된 센서를 포함한다. 프로세싱 전자장치는, 본원에서 개시된 바와 같이, 그런 신호들을 프로세싱하기 위해 사용될 수 있다. 일부 실시예들에서, 소스 및/또는 수신기는 하나 이상의 트랜스듀서들을 포함할 수 있다. 일부 실시예들에서, 소스 및/또는 수신기의 하나 이상의 트랜스듀서들은 디스플레이 시스템 상에 장착될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 초음파들이 전파 매체(예컨대, 공기, 피부, 액체, 젤 등)를 통해 전파하게 그 초음파들을 방출하도록 구성된다. 다른 입력들은 또한 불러온 데이터, 예컨대 이미지들, 환자 이력 파일들, 응급 의료 레코드들, 또는 진단을 돕기 위해 나중에 사용될 수 있는 수술 사례 노트들을 포함할 수 있다. 일부 실시예들에서, 디바이스는 예컨대 환자의 상태를 평가하기 위해 측정들(예컨대, 병변 길이, 초음파로부터의 데이터 전파 시간)을 수행하기 위해서 패턴 인식 및 프로세싱 전자장치를 사용할 수 있다. 특정 실시예들에서, 장치에 의해 이루어지는 실시간 측정들 및/또는 관측들과 비교하기 위해 파퓰레이션 규범들이 사용될 수 있도록, 그 파퓰레이션 규범들은 저장될 수 있다. 그런 비교들에 의해서 수신되는 정보를 사용하여, 특정 실시예들은 이미지 데이터로부터 이상들을 식별할 수 있다. 그런 진단들 및/또는 결정들은 방출, 응답, 측정, 및/또는 분석 프로세스 중 하나 이상을 이용할 수 있다. 그런 진단들은 또한 특정 건강 문제들이 발생하는 것을 막기 위해 사용될 수 있다. 일부 실시예들에서, 오브젝트들(예컨대, 뼈 구조)의 더욱 정확한 표현들 및/또는 이미지들을 형성하는 데 있어서 수집된 정보(예컨대, 이력-기반 반응들, 파퓰레이션 규범들 등)가 사용될 수 있다. 수집된 및/또는 분석된 데이터에 대한 응답으로, 디스플레이 시스템은, 일부 실시예들에서, 정보 큐들을 제공하거나, 경고들을 전송하거나, 다른 응답들을 개시하도록 구성될 수 있다. 디스플레이 시스템의 감지 및 디스플레이 성능들은 조사자들, 임상의들, 환자들, 소비자들 등에 의해 사용되는 임의의 의료 및 소비자 애플리케이션에서 유용하도록 임의의 적절한 방식으로(예컨대, 센서들 및/또는 다른 디바이스들을 이용해) 수정될 수 있다는 것이 인지될 것이다.
[0206]
하나 이상의 내향 카메라들이 사용자의 입력을 검출하도록 구성될 수 있다. 일부 실시예들에서, 하나 이상의 내향 카메라들은 눈 움직임들, 주변 눈 조직을 추적하고 그리고/또는 사용자의 동공들을 추적하도록 구성될 수 있다. 내향 카메라들은 사용자의 입력을 검출하도록 구성된 망막 카메라를 포함할 수 있다. 일부 예시들에서, 사용자 수행(user performance)을 평가하고 그에 따라서 콘텐츠(예컨대, 컬러, 사이즈, 위치 등)를 디스플레이하기 위해서 피드백이 사용될 수 있다. 예컨대, 가늘게 떠진 눈들 또는 감기는 눈꺼풀들은 사용자가 피로하다는 기색을 표시할 수 있다. 일부 실시예들의 디스플레이 시스템은 사용자를 임무에 다시 몰두시키기 위해서 특정 콘텐츠를 줌인하고 그리고/또는 콘트라스트를 증가시킴으로써 디스플레이 콘텐츠를 자동으로 조정하도록 구성될 수 있다. 다른 예로서, 일부 실시예들에서, 동공이 오브젝트에 계속해서 포커싱하고 있는 시간이 측정될 수 있고, 그리고 사용자의 관심 레벨로서 해석될 수 있다. 디스플레이 시스템은 제스처 인식을 포함할 수 있다. 하나 이상의 외향 카메라들은, 예컨대, 사용자의 제스처들, 머리 포즈, 움직임 패턴 등을 이해하기 위해서 머신 비전, 에지 검출, 오브젝트 인식, 및/또는 IMU(inertial measurement unit) 등을 사용할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 예컨대 하나 이상의 신호들, 하나 이상의 신호들의 위치, 오디오(예컨대, 음성) 입력, 및/또는 잡음 강도를 인식할 수 있는 마이크로폰을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 오디오 피드백을 예컨대 사용자에게 제공하기 위해 스피커를 포함할 수 있다.
환자 의료 스캔들로부터 3D 가상 이미지들을 생성
[0207]
앞서 논의된 바와 같이, 디스플레이 시스템은 예컨대 뼈, 장기들, 연골, 혈액, 암 조직 등을 포함한 다양한 해부학상 특징들을 시각화하기 위해서 다양한 의료 이미징 모달리티들(예컨대, CT, MRI, PET 및/또는 초음파 등)과 결합될 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 시스템은 조직 볼륨(예컨대, 종양 볼륨)을 측정하고 그리고 건강하지 않은 조직에 비해 건강한 조직의 정도를 측정하도록(예컨대, 건강하지 않은 조직에 비해 건강한 조직의 비율 또는 퍼센티지를 획득하도록) 구성될 수 있다. 일부 실시예들에서, 시각화된 조직의 다양한 양상들은 분석되고 디스플레이될 수 있다. 하나 이상의 의료 이미징 모달리티들과 결합될 때, 디스플레이 시스템은 유리하게 하나 이상의 3D 데이터세트들로부터 오브젝트들의 3D 가상 이미지들을 생성하고 그리고 그 3D 가상 이미지들을 의료 애플리케이션들을 위해 사용자에게 디스플레이할 수 있다. 이는, 예컨대, 더욱 현실적 이미지들, 뷰어를 위한 더욱 정확하고 자연적인 뷰잉 경험(예컨대, 오브젝트 이미지가 3D로 나타나기 때문에), 및 의료 절차들에서의 개선된 정확도를 허용할 수 있다. 예컨대, 일부 그러한 결합된 실시예들에서, 닥터들은 더욱 정밀한 수술전 계획 및 수술들을 위해 디스플레이 시스템을 사용할 수 있다. 증가하는 절차 정밀도는 유리하게 환자 회복 시간을 감소시킬 뿐만 아니라 더 많은 건강한 주변 조직을 보존할 수 있다.
[0208]
예로서, 공격적인 외과 수술, 이를테면 전절제술이 대부분의 양성 뇌 종양들에 대한 일반적인 치료였다. 하나 이상의 이미징 모달리티들과 결합되는 디스플레이 시스템을 사용한 종양 위치의 정확한 수술전 스캐닝 및 계획은 더욱 국소적인 종양 절제술 및 건강한 주변 조직의 더 많은 보존을 허용할 수 있다. 다른 예로서, 본원에서 설명된 시스템들은 관절 장애들을 진단하기 위해서 사용될 수 있다. 예컨대, 생성된 관절 이미지에서, 닥터는 관절 내의 유체를 줌하여 보는 것이 가능할 수 있다. 닥터는 아픈 관절들을 진단할 수 있다. 예컨대, 닥터는 유체 샘플을 취할 수 있고, 그 유체 샘플은 유체 내의 박테리아(아픈 관절이 감염으로 인한 것일 수 있음을 표시함)를 보여줄 수 있다. 일부 실시예들에서, 디스플레이 시스템은 이미지 및/또는 그 이미지와의 닥터의 상호작용에 기반하여 유체 샘플이 취해질 것을 추천하도록 구성될 수 있다.
[0209]
위에서 설명된 바와 같이, 디스플레이 시스템은 다양한 3D 가상 이미지들을 생성하기 위해서 환자 스캔 모달리티들, 이를테면 CT, MRI, PET, 초음파, 또는 이런 이미징 모달리티들의 조합(예컨대, MRI 및 PET, CT 및 PET, MRI 및 초음파, 및/또는 임의의 다른 적절한 조합)과 결합될 수 있다. 디스플레이 디바이스가 없을 경우, 내과의사들은 미리 2D 이미지들을 보고 3D 이미지들을 상상력으로 "구축"해야 했다. 본원에서 설명된 디스플레이 시스템은 환자의 해부학적 구조처럼 보이거나 또는 환자의 실제 해부학적 구조의 연출들인 3D 이미지들을 유리하게 렌더링하도록 구성될 수 있다. 이들 3D 이미지들은 의료 상태들을 진단하는 데 있어서 유리할 뿐만 아니라 학생들이 이들 2D 이미지들을 상이한 관점들로부터 3D 모델로 그들 머리 속에서 렌더링하는데 어려워할 수 있는 교육 목적들에 있어서도 유리할 수 있다.
[0210]
일부 실시예들에서, 디스플레이 시스템은 환자 스캔 모달리티들로부터 생성되는 이미지들을 분석하기 위해 인공 지능을 포함할 수 있다. 이런 식으로, 특히 암, 당뇨병, 또는 울혈성 심부전과 같은 질병들이 예컨대 머신 학습 기술을 사용하여 조기에 진단될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 파퓰레이션 규범이 식별되는 경우에 파퓰레이션의 하나 이상의 데이터베이스들을 다운로드하거나 액세스할 수 있다. 파퓰레이션 규범은 예컨대 질병 진단, 증상 분석, 및/또는 치료 처방을 돕기 위해서 이미지들과 비교될 수 있다.
3D 가상 이미지 조작 및 상호작용
[0211]
앞서 논의된 바와 같이, 디스플레이 시스템은 예컨대 복수의 깊이 평면들 및 도파관 스택들을 사용하여 3-차원 이미지들을 디스플레이할 수 있다. 이는 적절한 원근조절 및 이접운동을 통해 마치 눈들로부터 다양한 거리들에 있는 것처럼 렌더링되는 오브젝트들의 이미지들에 포커싱하는 능력을 사용자들에게 제공할 수 있다.
[0212]
일부 실시예들에서, 사용자들은 디스플레이 필드의 가상 콘텐츠를 조작하기 위해 원격조정기 또는 손가락을 사용할 필요가 없다. 대신에, 위에서 설명된 바와 같이, 디스플레이 디바이스는 눈 움직임, 주변 눈 조직을 추적하는 것, 동공들을 추적하는 것 등이 가능한 하나 이상의 내향 카메라들을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자 입력을 검출하기 위해 망막 카메라를 포함할 수 있다. 동공이 오브젝트에 계속해서 포커싱하고 있는 시간은 사용자의 관심 레벨로서 해석될 수 있다. 일부 실시예들에서, 눈 추적 기술은 사용자가 시선, 곁눈질 및/또는 눈의 한번 이상의 깜박임들을 이용해서 및/또는 다른 방식들로 가상 콘텐츠를 조작할 수 있게 한다. 특정 실시예들에서, 디스플레이 디바이스는 원근조절 및/또는 이접운동에서의 변동들을 검출할 수 있다. 이런 정보는 사용자가 이미지를 보는 데 어려움을 겪고 있음을 식별하기 위해 사용될 수 있다. 일부 구성들에서, 디스플레이 디바이스는 향상(예컨대, 확대)시킬 이미지의 부분을 선택하기 위해서 이런 정보를 사용할 수 있다. 마이크로폰들 및/또는 스피커 입력들이 가상 콘텐츠를 조작하기 위해서 사용될 수 있다.
[0213]
매우 다양한 3D 시각적 조작이 가능하고, 그런 조작은 많은 용도들을 갖는다. 예컨대, 일부 실시예들에서, 사용자들은 세그먼트화하고(예컨대, 백질 또는 종양 둘레의 윤곽을 그림), 신체 부분들을 추출하고, 신체 부분들의 일부들을 추출하고, 스캔에 있어서 특정 해부학적 구조(예컨대, 단지 뼈만 보여주고 연조직은 보여주지 않음)에 포커싱하기 위한 조직 층들을 선택하고, 줌하고, 변환하고, 회전하고, 그리고/또는 가상 해부학상 이미지를 수정하고 그리고/또는 그것을 더욱 면밀히 조사하기 위해 가상 해부학상 이미지를 재-포지셔닝할 수 있다. 일부 실시예들은 의료 이미징 결과들로부터 수집된 정보를 사용하여 상이한 조직 타입들을 카테고리화 및/또는 세그먼트화할 수 있다. 예컨대, 다양한 예시들에서, 이미지의 회색 스케일의 유사한 값은 유사한 조직 타입을 표시한다. 그에 따라서, 동일한 조직 타입을 포함하는 영역들은 식별될 수 있다. 일부 구성들에서, 예컨대, 공통 특징을 공유하는 특정 조직들 또는 조직을 식별하고, 강조하고 그리고/또는 세그먼트화하기 위해서 k-민즈 클러스터링이 사용될 수 있다. 예컨대, 일부 실시예들은 사용자가 조직의 선택된 섹션을 "턴 오프"(예컨대, 검게 변함)할 수 있게 한다. 예컨대, 만약 단지 혈액 및 혈관만이 보여지길 원한다면, 다른 조직 및 섹션들은 디스플레이될 필요가 없다. 이와 같은 가상 이미지 조작은, 예컨대, 본원에서 설명된 이미지 조작이 사용자가 절개들 및 그들의 기구들의 궤적들을 정확하게 계획하게 할 수 있는 척추 수술의 경우에, 특히 유리할 수 있다. 다른 예로서, 사용자는 폐색된 동맥을 더 잘 보기 위해서 심장의 가상 이미지를 회전시킬 수 있다. 사용자는 자신이 좋아하는 식으로 심장의 이미지를 확대하거나 이동시킬 수 있다. MRI, CT, PET 이미징 모달리티들을 사용하여, 일부 실시예들에서는, 디스플레이 시스템이 신속하고, 효율적이고 그리고 최소로 침습적인 시각적 레퍼런스를 위해 가상 3D 이미지에서 이상들의 위치들(예컨대, 폐색된 동맥들의 위치들)을 디스플레이하도록 구성될 수 있고, 이는 유리하게도 더 빠른 절차들 및 더욱 정통한 닥터로 이어질 수 있다. 3D 시각적 조작을 사용하는 것은, 예컨대, 다른 의료 용도들 중에서도, 스텐트 배치, 제거할 종양의 위치확인, 생검 샘플을 취함에 있어 또한 유리할 수 있다.
[0214]
일부 실시예들에서, 스크린 상의 병치된(나란한, 중첩된 등) 3D 및 2D 이미지들의 일부를 조작함으로써 임플란트를 계획하기 위해 3D 시각적 조작 특징이 사용될 수 있다. 정확한 2D 및 3D 이미지들은 유리하게도 사용자가 특히 척추와 같은 중요한 영역들에서 더욱 안전하게 임플란트들을 포지셔닝하게 할 수 있다. 다른 예로서, 3D 시각적 조작 특징은 더욱 정확한 정형외과 임플란트 배치 및 계획을 허용할 수 있다. 예컨대, 의료 이미징의 표준인 DICOM(Digital Imaging and Communications in Medicine)에 기반하는, 환자의 엉덩이/무릎/다리의 이미지 세트들의 3D 렌더링 및/또는 조작은 2D CT 이미지를 이용한 계획과 비교할 때, 엉덩이에 임플란트될 인공 컴포넌트들을 더욱 정확하게 선택하기 위해서 사용될 비구컵의 다리 길이, 오프셋 및 버전을 더 잘 계획하는 데 참조될 수 있다. 디스플레이 시스템은 유리하게도 사용자들이 그들의 수술전 계획을 3D로 볼 수 있게 하여서, 사용자들이 더 잘 알 수 있게 할 수 있다. 위의 설명은 또한 임플란트 제거 계획뿐만 아니라 다른 의료 절차들에 적용될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자 인터페이스를 포함할 수 있다. 예컨대, 일부 실시예들에서, 사용자 인터페이스는 임플란트 사이즈, 포지션, 경사도, 버전, 회전, 변환, 배치 전략 등을 조정하기 위한 메뉴와 매우 유사하게 사용될 수 있다.
[0215]
앞서 논의된 바와 같이, 디스플레이 시스템은 혈액 순환을 포함해서 의료 상태들, 해부학상 및 생리적 움직임들, 및/또는 신체 내에서의 상호작용들을 실시간으로(그리고/또는 포스트-프로세싱을 통해) 진단하기 위해 사용될 수 있다. 예로서, 당뇨병 합병증들은 종종 신경 손상 및 원활하지 못한 혈액 순환을 포함한다. 이들 문제점들은, 신속히 악화되고 치료가 어려울 수 있는 피부 궤양들에 발들이 취약하게 만들 수 있다. 비-치유적인 궤양은 발가락, 발 또는 다리의 부분의 절단을 요구할 수 있다. 따라서, 궤양들을 막기 위해서는 세심한 발 관리가 일반적으로 중요하다. 본원에서 설명되는 디스플레이 시스템은 센서를 포함할 수 있거나, 데이터를 평가하기 위한 이미징 시스템(예컨대, 초음파 이미징) 및 프로세싱 전자장치는 순환을 모니터링하고 사용자들이 궤양이 형성되기 전에 또는 그 이후에 원활하지 못한 순환을 적시에 식별할 수 있게 하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 환자에 있어서 혈액 흐름 농도들에 대해서는 MRI 스캔들에 그리고 실시간적인 혈액 흐름에 대해서는 초음파에 의존할 수 있다. 일부 실시예들에서, 디스플레이 시스템을 사용하여 원활하지 못한 순환의 조기 검출은 유리하게도 닥터들로 하여금 (예컨대, 당뇨병 또는 흡연으로부터의) 의료 순환-관련된 합병증들 발병 전에 순환-향상 보완제들을 처방할 수 있게 한다.
이미지 슬라이싱
[0216]
위에서 설명된 바와 같이, 디스플레이 시스템이 이미지들을 하나 이상의 깊이 평면들로서 제공하도록 구성될 수 있음으로써, 사용자들은 다양한 환자 스캔 모달리티들(예컨대, MRI, CT, PET 등)의 슬라이스들을 통해 내비게이팅하고 각각의 슬라이스를 명확하게 볼 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자가 이미지에 적절히 포커싱하여 피로 및/또는 안정피로를 감소시키게 할 수 있는 깊이 평면들을 갖도록 구성될 수 있고 그리고/또는 그 깊이 평면들을 사용하도록 구성될 수 있다. 상이한 깊이들과 연관된 상이한 이미지 콘텐츠를 마치 상이한 깊이 평면들로부터 발생하는 것처럼 제공하는 것은 적절한 원근조절 및 이접운동을 촉진시켜 안정피로 및/또는 피로를 감소시킬 수 있다. 부가적인 이익은, 사용자가 환자 스캔의 각각의 슬라이스 또는 적어도 복수의 슬라이스들을 통해 "슬라이스별로" 진행함으로써 이미지를 조작하는 것이 어쩌면 가능할 수 있다는 점이다. 사용자는, 예컨대, 어쩌면 상이한 깊이 평면들 및/또는 슬라이스 각도들로 상이한 시간들에 별개의 슬라이스들을 볼 수 있다. 사용자는 슬라이스를 순서대로 또는 비순서대로 볼 수 있다. 일부 실시예들에서, 하나 초과의 환자 스캔이 디스플레이 시스템에 제공될 수 있다. 사용자는 하나 이상의 환자 스캔들의 다양한 슬라이스들을 통해 내비게이팅 및/또는 토글링가능할 수 있다. 사용자는, 일부 경우들에서, 사용자가 3D 이미지의 2D 슬라이스들을 통해 스크롤링하도록 허용하는 3D 이미지를 제공받을 수 있다. 이런 특징은, 예컨대, 더욱 정확한 임플란트 포지셔닝을 허용할 수 있다. 이런 "슬라이스별" 접근법은, 예컨대, 다수의 조직 층들에 걸쳐 종양들을 보거나 다양한 뇌 이상들을 보는 데 있어 유리할 수 있지만, 임의의 적절한 사용이 인지된다.
환자 위의 이미지 디스플레이
[0217]
일부 실시예들에서, 디스플레이 시스템은 환자의 해부학적 구조 위에 2D 및/또는 3D 이미지를 디스플레이할 수 있다. 예컨대 도 12b를 참조하라. 일부 실시예들에서, 2D 및/또는 3D 가상 이미지가 세계(예컨대, 환경, 움직이지 못하는 환자 등)에 그라운딩될 수 있다. 환자의 적합한 해부학적 구조 부위 위에 가상 이미지를 디스플레이하기 위해서, 디스플레이 시스템 상의 하나 이상의 외향 카메라들은 이미징하도록 구성될 수 있고, 프로세싱 전자장치는 환자의 해부학적 구조의 다양한 양상들을 인지하기 위해 이미지 프로세싱을 갖도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 위에서 설명된 이미징 모달리티들(예컨대, CT, PET, MRI 등) 중 하나 이상의 도움으로 또는 도움 없이, 다양한 기관계들(예컨대, 순환계, 변연계, 신경계), 장기들(예컨대, 간, 위, 심장, 폐, 뇌, 쓸개, 췌장, 맹장, 신장 등), 사지(예컨대, 팔들, 다리들), 조직들(예컨대, 뼈, 근육, 지방 등), 또는 임의의 다른 적절한 해부학상 특징 또는 속성을 식별가능하게 할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 해부학적 구조, 환경 등에 따라 정확하게 가상 이미지를 배치하기 위해서, 각각의 신체 부분, 장기 등이 위치되는 곳을 알도록 구성될 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 시스템은 환자와 관련해 가상 이미지를 (예컨대, 장기 또는 관련된 해부학상 구조 위에) 정확하게 포지셔닝하기 위해서 에지 검출을 포함할 수 있다(예컨대, 하나 이상의 카메라들 또는 이미징 디바이스들 및/또는 프로세싱 전자장치 중 하나 이상이 통합됨). 일부 실시예들에서, 하나 이상의 사용자들은 가상 이미지의 그들 관점과 관련해 가상 이미지를 볼 수 있다(예컨대, 각각의 사용자가 서 있는 곳/이미지를 보고 있는 곳으로부터).
[0218]
일부 실시예들에서, 2D 및/또는 3D 이미지가 위에서 설명된 바와 같이 조작될 수 있다. 예컨대, 외과 의사들은 수술(또는 임의의 다른 절차) 동안에 더 나은 시각화를 제공하기 위해서 이미지를 조작하는 것이 가능할 수 있다. 일부 예들로서, 이미지는 닥터들이 수술 이전에 및/또는 수술 동안에 동맥의 폐색 또는 척추 디스크에 대한 손상을 더 잘 보기 위해 가상 이미지를 회전시키게 할 수 있도록 구성될 수 있다.
[0219]
일부 실시예들에서는, 위에서 설명된 바와 같이, 사용자들은 별개의 컴퓨터 스크린을 볼 필요가 없이 그리고 손 제스처들 또는 원격 제어를 사용할 필요가 없이 2D 및/3D 이미지를 조작할 수 있다. 이는 절차 동안의 무균상태가 중요한 외과 의사들에게 특히 유리할 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 시스템은 사용자들이 예컨대 가상 이미지 상의 조명, 가상 이미지와 환경 간의 콘트라스트, 이미지의 배향, 이미지의 사이즈, 또는 임의의 다른 적절한 특징을 포함해서 그들의 눈들 또는 구강(예컨대, 음성) 통신을 사용하여 가상 이미지의 다양한 특징들을 조정할 수 있게 하도록 구성될 수 있다. 일부 실시예들에서, 하나 이상의 사용자들은 동일한 이미지를 동시에 보고 조작할 수 있다. 일부 경우들에서, 만약 한 명의 사용자가 가상 이미지를 조작했다면, 다른 뷰어들은 그 가상 이미지를 조작된 것으로서 볼 수 있다. 그러나, 일부 경우들에서, 상이한 사용자는 가상 이미지의 다른 뷰어들의 뷰에 영향을 주지 않으면서 가상 이미지를 독립적으로 조작할 수 있다.
[0220]
일부 실시예들에서, 예컨대, 이를테면 유방들, 전립선 및 심장과 같은 연조직 장기들의 이미지들이 환자 위에서 뷰잉 및 조작되어, 사용자가, 절차가 수반할 수 있는 것을 시각화하고 그리고/또는 이를테면 다른 장기들과의 공간 관계들, 종양 위치, 정확한 해부학적 구조 등과 같은 중요한 정보를 제공하는 것을 도울 수 있다. 다른 예로서, 뼈 파괴/골절의 임의의 타입이 인지된다고 하더라도, 척추 손상들에 관한 보다 정확한 측정들 및 진단을 가능하게 하기 위해, 부러지거나(broken) 파절된(fractured) 척추골들의 하나 이상의 이미지들이 환자의 해부학적 구조 위에서 뷰잉 및 조작될 수 있다. 예컨대, 거리들 및 각도의 측정이 획득될 수 있다. 유리하게, 디스플레이 시스템은, 절차 및/또는 예상되는 수술 결과를 시뮬레이팅하기 위해, 사용자들이 부러진 뼈들을 이론적으로 재정렬하고 실제 해부학적 구조 위에 이미지를 중첩할 수 있게 하도록 구성될 수 있다. 예컨대, 척추 외과 의사들은, 수술을 시작하기 전에 또는 그 이후 임의의 시간에, 자신들의 환자의 부러진 척추골 위에 자신들의 목표 결과를 중첩할 수 있다. 다른 예로서, 성형 수술을 고려하고 있는 환자들은 자신들의 새로운 모습을 "시험해 보는" 수단으로서 자신들의 실제 해부학적 구조 위에 증강이 중첩되게 할 수 있다. 일부 실시예들에서, 가상 콘텐츠는 또한 메뉴를 포함할 수 있으며, 사용자는 그러한 메뉴를 사용하여 가상 콘텐츠(예컨대, 사이즈, 포지션, 형상 등)를 조작할 수 있다. 일부 실시예들에서, 이러한 특징은 사용자가 자신들의 어느 척추골이 수술될 수 있는지를 볼 수 있게 한다. 부러진 또는 파절된 뼈들에 대해, 예컨대 X-레이들, MRI 등과 같은 적절한 이미징 모달리티로부터의 이미지들, 및 프로세싱 전자장치를 통한 적절한 이미지 프로세싱을 사용하여, 디스플레이 시스템은 뼈를 검출하고, 그런 다음 이미지로부터 이상들을 검출하고 측정들을 획득할 수 있다. 디스플레이 시스템은 또한, 사용자가 골절을 치료하는 것을 보조하기 위해, (수술전 계획에 의해) 시뮬레이팅된 올바른 뼈 정렬을 환자의 해부학적 구조 위에 투사하도록 구성될 수 있다. 다른 예로서, 디스플레이 시스템은, 뼈 시멘트가 하나 이상의 척추골에 주입되는 파절된 척추골에 대한 고통을 줄이는 절차인 척추성형술로 사용자들을 보조하는 데 사용될 수 있다. 디스플레이 시스템의 이미징은 유리하게, 척추골에서의 보다 정밀한 시멘트 배치를 가능하게 할 수 있다.
[0221]
증강된 및/또는 가상의 콘텐츠를 환자 위에 디스플레이하는 것은 이미지들의 조합(예컨대, 환자 스캔들의 조합)으로서 디스플레이될 수 있다. 예컨대, 일부 실시예들은 조합된 정보를 사용자에게 제공하기 위해, 의료 이미지를 상이한 진단 모달리티와 정렬(예컨대, 이미지 대 이미지 등록(registration))하도록 구성될 수 있다. 일부 예시들에서, MRI, CT, PET, SPECT(single-photon emission computed tomography), MRA(magnetic resonance angiography), CTA(computed tomography angiography) 등으로부터의 하나 이상의 이미지들이 조합될(예컨대, 중첩될) 수 있다. 일 예로서, MRI 및 PET 이미지들은 해부학상 정보 및 대사 활동을 하나의 이미지에 중첩하여 디스플레이할 수 있다. 그러한 조합된 정보는 사용자가 이상들을 보다 신속하고 정확하게 진단하는 것을 보조할 수 있다. 다양한 실시예들은, 다수의 이미징 모달리티들을, 사용자가 뷰잉하고 그리고 일부 예시들에서는 조작하기 위한 조합된 가상 시각적 이미지로 메쉬(mesh)하기 위한 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 본원에서 설명된 바와 같이, 조합된 이미지들은 또한, 환자의 실제 해부학적 구조와 정렬될 수 있다.
[0222]
일부 실시예들에서, 디스플레이 시스템은 환자의 사용자 시야에 가상 이미지를 인체공학적으로 투사할 수 있으며, 그에 따라, 사용자는 (예컨대, 이미지 내비게이션을 위해 또는 환자의 실제 해부학적 구조를 등록하기 위하여 환자 랜드마크들을 취하기 위해) 스크린과 수술 부위 사이에서 왔다갔다 볼 필요가 없다. 예컨대, 이를테면 도 12b에 도시된 바와 같이, 이미지는 환자의 환자 해부학적 구조 바로 위에 투사되어, 절차의 용이성 및 효율성을 증가시킬 수 있다. 이는 간병인(예컨대, 닥터)이 환자에게 더 많은 주의 및 시간을 기울일 수 있게 할 수 있다. 다른 실시예들에서, 이미지는 환자 해부학적 구조 상에 투사될 수 있고(예컨대, 등록 포인트들이 실제의 환자 해부학적 구조 상에 디스플레이 됨), 그에 따라, 닥터는 해부학적 구조를 프로브/등록할 위치를 알게 된다.
[0223]
일부 실시예들에서, 디스플레이 시스템은, 사용자들이, 예컨대 대퇴골 상의 5개의 컷(cut)들 및 경골 상의 1개의 컷을 포함할 수 있는 수동의 무릎 인공 관절 치환술(total knee replacement; TKR)을 하는 것을 보조하도록 구성될 수 있다. 대퇴골 상의 5개의 컷들에 대해, 마지막 4개의 컷들은 첫 번째 컷에 기반할 수 있다. 이러한 이유로, 첫 번째 컷에 대해 컷팅 블록을 정확하게 포지셔닝하는 것이 중요할 수 있다. 디스플레이 시스템은 유리하게, 수술전 계획에 따라 수동 절제술 블록을 포지셔닝하기 위한 실시간 포지셔닝 보조를 제공할 수 있다. 디스플레이 시스템은 무릎의 해부학적 구조를 인식하도록 구성될 수 있기 때문에, 다양한 실시예들은 가상 콘텐츠를 포지셔닝하는 것을 보조하는 데 사용될 수 있다. 일부 실시예들은 또한, 컷팅 블록들을 포지셔닝하기 위해 사용될 수 있다. 예컨대, 일부 실시예들에서, 컷팅 가이드라인들은, 무릎에 대한 사용자의 포지션이 상관없도록, 세계(예컨대, 무릎)에 대해 그라운딩될 수 있다. 일부 실시예들에서, 가상 콘텐츠는 기준 포인트(예컨대, 무릎)로부터 투사될 수 있다. 에지 검출 또는 다른 이미지 프로세싱 기법은, 예컨대, 디스플레이 시스템이 적절한 배치를 위해 환자의 뼈의 에지를 인식할 수 있도록 사용될 수 있다. 에지 검출의 다른 예는, 수술 툴 팁(예컨대, 메스, 드릴 팁 등)의 에지를 인식하는 디바이스에 적용될 수 있다.
[0224]
일부 실시예들은 유리하게, (예컨대, 오브젝트들/해부학적 구조를 인식함으로써), 이를테면 관련된 해부학상 피처와 같은, 환자의 해부학적 구조 위에 가상 콘텐츠를 디스플레이하고, 그리고 사용자가 아니라, 환자에 대해 절개 가이드라인들을 그라운딩할 수 있다. 일부 실시예들에서, 보다 정밀한 절개를 위해 절개 가이드라인들이 환자 위에 투사될 수 있으며, 이는 회복 시간을 감소시킬 수 있다. 예컨대, 일부 실시예들에서, 가상 이미지 콘텐츠가 환자의 해부학적 구조의 하나 이상의 부분들 위에 디스플레이되거나 또는 이들 위에 중첩되어서, 컷팅할 곳을 표시할 수 있으며, 그리고 상이한 컷들이 무엇인지에 대한 라벨들(예컨대, 5mm 포트, 5mm 어시스턴트 포트, 10mm 카메라 포트 등)을 포함할 수 있다. 다른 용도들이 또한 가능하다.
실시간 가상 이미징 및 디스플레이
[0225]
디스플레이 시스템의 다양한 실시예들은 실제 오브젝트들의 실시간 3D 이미지들을 사용자에게 제공할 수 있다. 앞서 논의된 바와 같이, 이미지들에 대한 신호들은, 타겟, 이를테면 인간 신체의 부분들을 프로빙하기 위해, 전자기파들 또는 다른 에너지 소스들, 이를테면 음파들을 활용하는 기구들 또는 센서들로부터 그리고/또는 외향 비디오 카메라로부터 수신될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 초음속 또는 초음파 정보에 기반하여 오브젝트의 이미지들을 제공할 수 있다. 예컨대, 도 10b를 참조한다. 초음파들을 생성하는 초음파 소스는 그러한 초음파들을 이미징될 오브젝트 상으로 지향시키도록 배치될 수 있다. 초음파들에 민감한 트랜스듀서는, 오브젝트로 지향된 후, 수신되는 초음파들을 검출 및 측정할 수 있다. 이러한 오브젝트는 환자일 수 있으며, 그리고 그러한 초음파들은 인간 신체의 생리학 및/또는 해부학적 구조를 이미징하는 데 이용될 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 디바이스는 초음파 기술을 사용하여 사람의 혈관들을 통하는 혈액의 흐름을 감지할 수 있다. 따라서, 디스플레이 디바이스는 사람의 혈액 흐름을 이미징하도록 구성될 수 있다. 결과적으로, 디스플레이는 잠재적으로, 사용자가, 사람을 물리적으로 접촉하지 않으면서 개인의 맥박을 확인하고 그리고/또는 측정할 수 있게 할 수 있다. 앞서 논의된 바와 같이, 디스플레이 디바이스는 3D인 것처럼 나타나는 이미지를 사용자에게 제공하도록 구성될 수 있다. 이러한 이미지는 일부 경우들에서 실시간 이미지일 수 있으며, 그리고/또는 환자에게 중첩되어 나타날 수 있다. 부가적으로, 앞서 논의된 바와 같이, 사용자는, 예컨대, 렌더링된 이미지의 원하는 뷰를 선택하기 위해, 잠재적으로 이미지를 조작할 수 있다.
[0226]
위에서 설명된 바와 같이, 디스플레이 디바이스는, 오브젝트의 3D 이미지를 렌더링하기 위해, 오브젝트의 다수의 이미지들 및/또는 스캔들(예컨대, X-레이 이미지들, CT, PET, 또는 MRI 스캔들 등)로부터의 데이터를 조합할 수 있다. 일부 경우들에서, 3D 이미지들은, 동일한 타입의 스캔(예컨대, 초음파 또는 X-레이)으로부터 또는 동일한 이미징 모달리티에서의 다수의 이미지들로부터 획득된 데이터로부터 생성된다. 일부 예시들에서, 다수의 모달리티들로부터의 정보(예컨대, 초음파 플러스 MRI 스캔 데이터)는 3D 이미지를 렌더링하기 위해 조합될 수 있다. 앞서 논의된 바와 같이, 디스플레이 디바이스는 사용자의 시야 내의 오브젝트 또는 오브젝트들의 타입을 검출하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 사용자의 요구들 또는 필요들에 대해 적절하게 될 이미지 모달리티를 결정할 수 있다. 예컨대, 의료 절차 동안 자궁 경부를 이미징할 때, 디스플레이 디바이스는 3D 실시간 이미지를 사용자에게 제공하는 것이 수술 동안 사용하기 위한 최상의 모달리티임을 자동으로 검출하도록 구성될 수 있다. 디스플레이 시스템은 또한, 사용자의 시야(예컨대, 뷰 중에서 중앙 뷰) 내의 특정 해부학상 피처(들)를 이미징하기 위해, 이를테면 초음파, X-레이, MRI 등을 사용할지 여부와 같은 모달리티를 선택하도록 구성될 수 있다. 특정 설계들에 대해, 이미지 모달리티는 자동으로 그리고/또는 사전에 결정될 수 있다. 이러한 이미지는 일부 경우들에서 실시간 이미지일 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 이전의 이미징 모달리티(예컨대, MRI)에 기반하여 오브젝트의 3D 렌더링을 구성할 수 있으며, 그리고 새로운 데이터(예컨대, 초음파)에 기반하여 3D 렌더링을 실시간으로 업데이트할 수 있다. X-레이들은 또한, 이를테면, 예컨대 혈관 성형술 및 스텐트 배치에서 실시간으로 사용될 수 있다.
[0227]
위에서 설명된 바와 같이, 디스플레이 디바이스는, 오브젝트의 특정 이미지가 어느 신체 부분을 나타내는 지를 자동으로 결정하도록 구성될 수 있다. 예컨대, 디스플레이 디바이스는 상이한 장기들, 뼈들, 또는 다른 해부학상 부분들 사이를 파악할 수 있다. 다른 예로서, 디스플레이 디바이스는 암 조직과 건강한 조직 사이를 파악할 수 있다. 일부 실시예들에서, 디스플레이 디바이스는, 고유한 품질(예컨대, 조직 밀도, 흡수, 감쇠) 및 이미징하는 동안의 결과적인 영향(예컨대, 이미지의 그레이스케일)에 기반하여, 이웃 조직들의 경계들을 파악할 수 있다. 다른 예로서, 디스플레이 디바이스는 신체의 이상들, 이를테면 부러진 뼈, 종양, 및/또는 폴립을 파악할 수 있다.
[0228]
일부 실시예들에서, 디스플레이 디바이스는, 오브젝트에 부가된 또는 그러한 오브젝트로부터 제거된 재료의 양을 검출 및 측정할 수 있다. 예컨대, 일부 실시예들에서, 디스플레이 디바이스는, (예컨대, 컷팅 툴의 각도 및/또는 궤적에 기반하여), 수술 동안 제거된 암 조직의 양을 자동으로 확인할 수 있으며, 그리고 제거될, 얼마나 많은 암 조직이 남아있는 지를 결정할 수 있다. 특정 실시예들에서, 절차가 불완전하다면(예컨대, 모든 암 조직이 제거된 것이 아니라면), 디스플레이 디바이스는 사용자에게 피드백(예컨대, 시각적, 오디오 등)을 제공할 수 있다.
[0229]
디스플레이 디바이스는 다양한 외부 디바이스들과 함께 작동하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 외부 디바이스로부터 데이터를 수신하고 그 데이터를 사용자에게 디스플레이할 수 있다. 예컨대, 일부 실시예들에서, 닥터는 암 폴립(cancerous polyp)들에 대한 코안(nasal cavity)을 보기 위해 내시경을 사용할 수 있다. 이 경우, 디스플레이 디바이스는, 내시경으로부터 이미징 데이터를 수신하고, 디스플레이 상에 사용자에 대한 내시경 이미지들을 렌더링하고 그리고/또는 (예컨대, 내시경에 부착된 6 DOF 디바이스를 사용하여) 내시경의 포지션을 추적하도록 구성될 수 있다. 일부 실시예들에서, 이미지는 디스플레이 상의 편리한 위치에 투사되어, 다른 임무들을 수행(예컨대, 의료 수술(medical operation)을 수행)하는 동안, 중첩된 이미지를 보는 어려움을 감소시키거나 최소화할 수 있다. 디스플레이 디바이스는, 비강 폴립을 제거하기 위한 절차가 진행됨에 따라, 실시간 이미지들을 렌더링하고 그리고/또는 닥터에게 업데이트들을 제공할 수 있다. 다른 예에서, 디스플레이 디바이스의 특정 실시예들은 환자의 혈관계의 일부를 이미징할 수 있다. 이러한 이미징은 디스플레이 디바이스를 통해 환자의 사용자의 뷰 위에 중첩(superposition)으로서 실시간으로 디스플레이될 수 있다. 이러한 실시간 이미지는 환자의 신체의 수술 부위(예컨대, 그에 인접한 부위) 또는 관련 부분에 대해 병치될 수 있다. 이는, 사용자가, 예컨대, 절차를 수행(예컨대, 약물들의 도즈(dose)의 전달(delivery), 외과 수술 내비게이션 등)하는 것을 도울 수 있다. 유사한 예에서, 임산부의 복부 또는 중앙부 위의 태아의 초음파 이미지는, 초음파의 실시간 3D 이미지를 제공하기 위해, 개업 의사의 디스플레이에 의해 눈으로 투사될 수 있다. 앞서 논의된 바와 같이, 일부 실시예들에서, 사용자는, 예컨대, 눈 움직임, 얼굴 표정, 손가락 움직임, 또는 본원에서 설명된 다른 신호를 사용하는 커맨드에 의해, 중첩된 이미지를 조작할 수 있다. 일부 경우들에서, 사용자는, 임의의 축을 중심으로 회전시키거나 그 축을 따라 병진시킴으로써(또는 그 조합에 의해) 오브젝트를 조작할 수 있다. 따라서, 일부 실시예들에서, 사용자는 6개의 자유도를 사용하여 이미지들을 조작할 수 있다.
가상 콘텐츠 공유
[0230]
특정 실시예들에서, 디스플레이 디바이스에 의해 수신되는 정보는 그러한 디바이스들의 다른 사용자들 또는 비-사용자들에게 송신될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는, (예컨대, 디스플레이 디바이스 또는 다른 센서 또는 이미징 시스템들 상의 외향 카메라들을 사용하여) 오브젝트의 이미지를 렌더링하며, 그리고 이러한 이미지를 다수의 사용자들에게 동시에 제공할 수 있다. 일부 경우들에서, 이미지는, 예컨대, x-레이, MRI, CT 기술로부터 수집된 것들과 같은 2D 스캔들로부터 컴파일링되는 3D 이미지일 수 있다. 일부 실시예들에서, 각각의 디스플레이 디바이스는, 각각의 사용자가 오브젝트에 대한 상이한 포지션들로부터 그 오브젝트를 보고 있는 것처럼, 동일한 오브젝트의 이미지들을 각각의 사용자에게 제공할 수 있다. 예컨대, 닥터들의 그룹은, 이미지가 픽셀-스틱을 통해 접지(earth)로 그라운딩될 것이기 때문에, 이들이 서 있는 관점에서 이들의 디바이스들 각각에서 환자 스캔, 해부학적 구조 등의 가상 이미지를 보고 있을 수 있다. 이는, 다수의 의견들, 교육/트레이닝 지원, 전문가 조언, 수술 계획 등을 갖게 됨으로써 진단을 보조할 것이다. 일부 구성들에서, 사용자는, 오브젝트를 보기 위한, 오브젝트에 대한 가상 위치를 선택할 수 있다. 예컨대, 사용자가 수술을 하지 않더라도, 사용자는 수술을 수행하는 외과 의사 바로 뒤에 또는 근처에 있는 것처럼 그 수술을 볼 수 있다. 게다가, 그러한 실시예들에서, 사용자들의 가상 위치는 상이한 뷰잉 각도를 달성하도록 사용자의 방향에서 변경될 수 있다. 따라서, 다양한 실시예들에서, 머리 장착 디스플레이들은 서로 통신하거나, 또는 다른 컴포넌트들을 포함하거나 포함하지 않을 수 있는 네트워크에 연결될 수 있다. 사용자의 디스플레이 디바이스로부터 획득된 이미지들뿐만 아니라 다른 정보는 비-사용자들에게도 또한 전자적으로 송신될 수 있다. 예컨대, 하나 이상의 머리 장착 디스플레이들 상에 장착된 하나 이상의 카메라들은, 환경(예컨대, 수술실)을 이미징하고, (가능하게는, 범위 파인더 또는 거리 측정 시스템을 사용하여) 환경 내의 오브젝트들(수술 테이블, 기구들, 환자, 주변 사람들 등)의 위치에 대한 정보를 수집하여, 환경에서의 오브젝트들 및 위치들의 데이터베이스를 구축할 수 있다. 예컨대, (예컨대, GPS를 사용하여) 머리 장착 디스플레이 디바이스의 알려진 포지션, 및 그 머리 장착 디스플레이까지의 오브젝트의 거리에 의해, 3D 공간에서의 오브젝트의 위치(예컨대, x, y, z 좌표들)가 알려지게 되고 데이터베이스에 저장될 수 있다. 상이한 머리 장착 디바이스들은 환경의 3D 맵을 구축하기 위해, 드문 포인트들의 맵을 전송할 수 있다. 환경에서 더 많은 시간을 소비할수록 데이터베이스가 커진다. 특정 경우들에서, 에지 검출은 오브젝트들, 예컨대, 수술 테이블, 기구 트레이, 장비 또는 환자를 결정할 수 있다.
[0231]
다양한 예시들에서, 디스플레이 디바이스는 공간 관계들을 할당 및/또는 계산하기 위한, 실세계에서의 기준 포인트를 세팅할 수 있다. 예컨대, 디스플레이 디바이스는, 특정 구성들에서, 룸에서의 관심 포인트(예컨대, 환자의 가슴 또는 무릎)를 식별하고 그 관심 포인트와 관련된 측정들을 결정할 수 있다. 그 오브젝트와 연관된 이미지 콘텐츠(예컨대, 무릎 임플란트의 3D 그래픽 연출(graphic rendition))는, 사용자에 대한 그 오브젝트의 포지션 및 룸 내의 다른 오브젝트를 아는 것으로 제공될 수 있다. 그러한 이미지 콘텐츠는 기준 포인트 또는 오브젝트에 대해 고정될 수 있다. 예컨대, 무릎 임플란트의 3D 그래픽은, 무릎이 움직이더라도, 무릎 위에 고정될 수 있다. 또한, 그러한 머리 장착 디스플레이들을 착용하고 있는 상이한 뷰어가 또한, 기준 포인트(예컨대, 무릎)에 대해 고정된 이미지 콘텐츠(예컨대, 3D 그래픽)를 볼 수 있지만, 상이한 관점으로부터 이러한 이미지 콘텐츠(이는 3D 이미지 콘텐츠일 수 있음)를 볼 수 있는데, 왜냐하면 상이한 뷰어는 상이한 위치에 위치되고 그리고/또는 다르게 배향되기 때문이다. 또한, 도 12b 및 환자 위에 배치된 심장의 그래픽을 참조하며, 여기서, 일부 경우들에서, 심장의 그래픽은 환자 위의 특정 위치 위에 고정되고, 환자가 움직인다면 환자와 함께 움직일 수 있다. 앞서 논의된 바와 같이, 위치들의 데이터 데이터베이스를 어셈블링하기 위해, 디스플레이 디바이스의 일부 실시예들은 실세계에서의 움직임들 및/또는 공간 포지션들에 대한 데이터를 획득하기 위해 (예컨대, 드문 포인트 맵핑에서와 같이) 신호들을 방출할 수 있다. 효과적으로, 머리 장착 디스플레이 디바이스(들)는 환경 내의 오브젝트들을 이미징하고, 이들의 위치를 데이터베이스에 레코딩할 수 있으며, 그리고 위치들의 그러한 데이터베이스에서의 위치(예컨대, 환자의 무릎 또는 가슴)는 레퍼런스의 프레임으로서 사용될 수 있으며, 이러한 레퍼런스의 프레임으로부터, 그러한 레퍼런스의 프레임에 대한 하나 이상의 디스플레이된 이미지들의 선택된 관점/위치에 기반하여 이들 이미지들의 위치 및 배향이 결정된다. 오브젝트에 대한 상이한 위치들 및 그에 따른 관점들을 갖는 상이한 사용자들은 또한, 이들의 위치에 따라서, 상이한 이미지 콘텐츠 또는 그 뷰들을 볼 수 있다.
[0232]
유사하게, 일부 실시예들에서, 다수의 사용자들이 공통의 가상 오브젝트를 조작할 수 있다. 예컨대, 일부 실시예들에서, 다른 가상 사용자들과 수술을 보고 있는 사용자는 오브젝트의 특정 관심 구역을 (예컨대, 강조 표시, 확대에 의해) 표시할 수 있다. 그러한 표시는 다른 사용자들의 각각의 디스플레이 상에 동시에 그리고/또는 자동으로 디스플레이될 수 있다. 이런 식으로, 한 사용자는 다른 사용자들과 시각적 신호들을 통해 정밀한 오브젝트들에 관해 유리하게 통신할 수 있다. 일부 실시예들에서, 사용자는 디스플레이되는 오브젝트를, 이를테면 회전 또는 병진에 의해 조작할 수 있다. 그러한 조작은 다른 사용자들의 디스플레이들 상에 디스플레이될 수 있으며, 따라서, 둘 또는 그 초과의 사용자들이, 3D인 것으로 나타나는 이미징된 오브젝트를 논의하는 방식을 용이하게 한다. 유사하게, 디스플레이 디바이스는, 사용자들이 다른 매체들, 이를테면 음성 채팅, 텍스트 또는 다른 것을 사용하여 통신할 수 있게 하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 디바이스는 사용자가 절차(예컨대, 수술)를 수행할 때 어느 단계에 있는지를 검출하도록 구성될 수 있다. 예컨대, 특정 실시예들은 닥터에 대해 수술의 어느 단계가 다음에 올지를 검출할 수 있으며, 룸 내의 다른 사용자들에게 향후 단계를 디스플레이할 수 있다. 유사하게, 디스플레이 디바이스는 수술의 특정 단계를 통해 닥터를 돕기 위해 콘텐츠(예컨대, 비디오, 오디오, 이미지들, 텍스트 등)를 제공할 수 있다.
인터벤션 영상의학(Interventional Radiology)
[0233]
특정 실시예들에서, 디스플레이 디바이스는 의료인이 인터벤션 영상의학 이미지들을 보고 해석하는 것을 도울 수 있다. 예컨대, 일부 실시예들에서, 디바이스는 하나 이상의 이미징 모달리티들(예컨대, CT, x-레이들, MRI 등)을 사용하여 절차 전에 또는 절차 동안 디스플레이 상에 이미지를 렌더링하도록 구성될 수 있다. 일부 실시예들에서, 다양한 방법들(예컨대, 머신 학습, 수동 알고리즘들)을 사용하여, 디스플레이 디바이스는, 건강하지 않은 또는 이상한(anomalous) 스캔 또는 이미지들과 비교하여, 정상적인 또는 건강한 환자의 조직, 기관들, 해부학적 구조들 등의 스캔들 또는 이미지들을 적절히 식별하도록 트레이닝될 수 있다. 그에 따라서, 다양한 실시예들에서, 디스플레이 디바이스는 환자 이미지(예컨대, 스캔)가 이상이 있는지 여부를 자동으로 결정하고, 그러한 이미지의 의학적 및/또는 병리학적 중요성을 잠재적으로 결정하고, 그로부터 결론들 또는 진단들을 이끌어낼 수 있다. 예컨대, 특정 실시예들에서, 디바이스는, x-레이들에 기반하여, 파절된 뼈들, 뇌 스캔들에서의 이상들, 이를테면 종양, 및 여분의 치아를 인식하거나, 또는 이미지에 기반하여, 종양 성장의 위치를 인식할 수 있다.
[0234]
일부 실시예들에서, 디스플레이 디바이스는 표면 상의 신체 부분들의 에지들(예컨대, 머리카락(hair)들의 위치들, 무릎의 에지 등) 및/또는 피부 아래(예컨대, 뼈, 장기들 또는 혈관들)를 검출할 수 있다. 디스플레이 디바이스는, 외과 수술을 수행하면서 사용자의 디스플레이 상에 신체 부분들의 이미지를 렌더링할 수 있다. 사용자는, 예컨대, 어느 부분들이 방사선 처리를 받아야 하는지, 수술 컷을 위한 위치 등을 표시하기 위해, 오브젝트의 이미지 위에 가상 마커들(예컨대, 기준 마커들)을 배치할 수 있다. 사용자(예컨대, 내과의사)는 가상 마커들의 위치를 결정할 수 있지만, 디스플레이 시스템의 특정 실시예들은 기준 마커들을 식별 및/또는 배치할 수 있다. 머리 장착 디스플레이 디바이스와 연관된 프로세싱 전자장치는, 패턴 인식을 사용하여, 구조들의 위치, 및 기준 마커들을 어디에 배치할지를 식별할 수 있다. 추가 예로서, 디스플레이 디바이스는, 콘트라스팅 에이전트가 환자에게 주입되고 MRI 또는 x-레이에 의해 스캐닝된 이후, 혈관 내의 막힘(blockage)의 3D 이미지를 디스플레이 상에 렌더링할 수 있다. 앞서 논의된 바와 같이, 디스플레이 시스템은 막힘의 상이한 부분들과 연관된 다수의 깊이들을 (예컨대, 상이한 슬라이스들로서) 디스플레이한다. 3D 이미지를 슬라이스들로서 제공하는 것은, 내과의사가 정확한 수술전 결정들을 내리는 것을 보조할 수 있다. 그러한 이미지들은 또한, 수술 후에, 수술 및 그 이후의 환자의 경과를 평가하는 데 유용하며, 그리고 후속적인 헬쓰케어 결정들을 하는 데 사용될 수 있다.
[0235]
그에 따라서, 디스플레이 디바이스는, 오브젝트의 3D 이미지들을 렌더링함으로써, 다양한 의료 절차들 이전에, 그러한 의료 절차들 동안, 그리고/또는 그러한 의료 절차들 이후 사용자들(예컨대, 내과의사들, 간호사들, 기술자들, 학생들)을 도울 수 있다. 일부 경우들에서, 그러한 이미지들은 환자와 관련하여 병치될 수 있데, 예컨대, 수술 또는 치료 부위, 또는 진단 테스팅이 수행되고 있는 곳 근처의 위치에 인접하거나, 또는 그 위에 중첩될 수 있다. 일부 실시예들에서, 이러한 렌더링은 다수의 타입들의 스캔들(예컨대, 초음파 플러스 MRI)로부터의 정보에 기반할 수 있고, 절차 동안 실시간으로 제공될 수 있다. 하나의 애플리케이션은 (예컨대, 뇌에서의) 혈관 이상들 또는 동정맥 기형들에 대한 것이다. 다른 애플리케이션은, 동맥 또는 혈관의 협착/막힘을 막기 위해 풍선이 혈관에 삽입되고 팽창되는 풍선 혈관 성형술을 시각화하는 것에 대한 것이다. 다른 애플리케이션은 담즙 배출 및 스텐트(stenting)에 대한 것인데, 여기에서는, 스텐트가 삽입되어, 막힌 덕트들을 열고, 간으로부터 담즙이 배출될 수 있게 한다. 다른 예는 내부 출혈의 경우이며, 이 경우, 디바이스는, 내부 출혈의 영역을 위치하고 그리고/또는 사용자가, 이를테면 겔(gel), 폼(foam), 또는 코일과 같은 응고 물질을 삽입하는 것을 돕도록 구성될 수 있다. 다른 애플리케이션은 화학색전술에 대한 것이며, 여기에서는, 암과 싸우는 에이전트(cancer fighting agent)가 암 종양의 부위에 직접적으로 전달된다. 디스플레이 디바이스는 또한, 환자의 적절한 위치에서의 미식 튜브(gastronomy tube)의 삽입(또는 삽입의 가상 연습)에 유용할 수 있다.
[0236]
디스플레이 디바이스는 또한, 다른 절차들을 수행 또는 준비하는 것에서 사용자들을 지원할 수 있다. 하나의 그러한 애플리케이션은 혈액투석 액세스를 유지하는 것이며, 여기서, 신부전(kidney failure) 동안 차단된 그래프트들을 개방하기 위해 혈관성형술 또는 혈전용해가 사용된다. 다른 애플리케이션은 무선주파수(radiofrequency) 절제이며, 여기서, 암 종양들을 쿠킹하고 죽이기 위해 복사 에너지가 사용된다. 다른 애플리케이션은 스텐트들의 배치이며, 여기서, 막힌 혈관 또는 다른 통로를 개방하도록 스텐트를 포지셔닝하기 위해 카테터가 사용된다. 다른 애플리케이션은 TIPS(Transjugular Intrahepatic Portosystemic Shunt), 인명구조 절차이며, 여기서, 닥터가 간 내에서 유입 문맥과 유출 간정맥 사이에 인공 채널을 배치한다. 추가 예로서, 디바이스는 자궁 섬유종 색전술에 있어서 사용자를 도울 수 있으며, 여기서, 닥터는 섬유종으로의 혈액 공급을 차단함으로써, 섬유종으로 하여금 수축하고 죽게 한다. 이 절차에서, 닥터는 대퇴 동맥에 카테터를 배치하고, 카테터 내로 콘트라스트 물질을 주입하며, 동맥을 통해 카테터를 가이딩하여, 섬유종에 혈액을 공급하는 동맥들을 발견한다. 마찬가지로, 디바이스는 유리하게, 의료 절차들의 준비 시, 의료 절차들 동안, 또는 의료 절차들 후에, 개선된 시각화를 위해 3D 이미지들의 뷰들을 제공할 수 있다.
컴퓨터 비전 및 오브젝트 검출
[0237]
다양한 기법들을 사용하여 오브젝트가 검출될 수 있다. 예컨대, 컴퓨터 비전 기법들을 사용하여 오브젝트가 검출될 수 있다. 예컨대, 디스플레이 디바이스는, 장면 재구성, 이벤트 검출, 비디오 추적, 오브젝트 인식, 오브젝트 포즈 추정, 학습, 인덱싱, 모션 추정, 또는 이미지 복원 등을 수행하기 위해, 외향 이미징 시스템에 의해 획득된 이미지들을 분석할 수 있다. 이들 임무들을 수행하기 위해 하나 이상의 컴퓨터 비전 알고리즘들이 사용될 수 있다. 컴퓨터 비전 알고리즘들의 일부 제한적인 예들은: SIFT(scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, 평균-시프트 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들 조정, 적응형 임계화(및 다른 임계화 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램들, 다양한 머신 학습 알고리즘들(이를테면 예컨대, 서포트 벡터 머신, k-최근접 이웃들 알고리즘, 나이브 베이지안, (컨볼루셔널 또는 딥 뉴럴 네트워크들을 포함하는) 뉴럴 네트워크, 또는 다른 지도/비지도 모델들 등) 등을 포함한다.
[0238]
이들 컴퓨터 비전 기법들 중 하나 이상은 또한, 오브젝트의 존재를 검출하기 위해, 다른 환경 센서들(이를테면, 예컨대, 마이크로폰, 온도 센서, 광 센서, 타이밍 디바이스, 물리적 접촉 센서 등)로부터 획득되는 데이터와 함께 사용될 수 있다.
[0239]
오브젝트는 하나 이상의 표준들에 기반하여 검출될 수 있다. 이들 표준들은 사용자(또는 다른 사람)에 의해 정의될 수 있다. 예컨대, 사용자는 가능한 관심 오브젝트로서 사용자의 환경 내의(예컨대, 수술실 내의) 심장 모니터를 세팅할 수 있다. 사용자는 심장 모니터의 신호가 특정 값 미만인 것으로서 또는 심장 모니터가 비프할 때로서 표준들을 정의할 수 있다. 따라서, 하나 이상의 환경 센서들로부터 수신된 데이터를 사용하여 그리고/또는 컴퓨터 비전 알고리즘을 사용하여, 심장 모니터가 표준들을 만족시키는 것을 디바이스가 검출할 때, 디바이스는 심장 모니터의 존재를 시그널링할 수 있고(예컨대, 경고로서의 아이콘), 그리고/또는 심장 모니터의 향상된 뷰(예컨대, 심장 모니터의 확대된 이미지)를 자동으로 제공할 수 있다.
[0240]
도 13a는 혼합 현실("MR") 환경(700)의 일 예의 블록 다이어그램이다. MR 환경(700)은 하나 이상의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(80) 또는 디스플레이 시스템(62)) 또는 고정 룸 시스템들(예컨대, 룸 카메라들 등)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각적 입력(702), 고정 입력(704), 이를테면 룸 카메라들, 다양한 센서들으로부터의 감각 입력(706), 제스처들, 토템들, 눈 추적, 사용자 입력 디바이스(504)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 상이한 관점에서 이미지들 또는 다양한 큐들을 제공할 수 있는 룸 내의 고정 카메라들로부터의 정보로 추가로 보충될 수 있다. (외향 이미징 시스템의 카메라들 및/또는 룸 카메라들과 같은) 카메라들에 의해 획득된 이미지 데이터는 맵핑 포인트들의 세트로 감소될 수 있다.
[0241]
하나 이상의 오브젝트 인식기들(708)은 맵 데이터베이스(710)의 도움으로, 수신된 데이터(예컨대, 포인트들의 수집)를 크롤링하고, 포인트들을 인식하거나 또는 맵핑하고, 이미지들을 태그하고, 시멘틱 정보를 오브젝트들에 부착할 수 있다. 맵 데이터베이스(710)는 시간이 지남에 따라 수집된 다양한 포인트들 및 그들의 대응하는 오브젝트들을 포함할 수 있다. 다양한 디바이스들 및 맵 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0242]
맵 데이터베이스 내의 포인트들의 이러한 정보 및 수집에 기반하여, 오브젝트 인식기들(708a 내지 708n)은 오브젝트들을 인식할 수 있고, 오브젝트들에 생명을 주기 위해, 오브젝트들에 시멘틱 정보를 보충할 수 있다. 예컨대, 만약 오브젝트 인식기가 포인트들의 세트를 문이라고 인식하면, 시스템은 일부 시멘틱 정보(예컨대, 문은 힌지를 가지며 힌지를 중심으로 90도 움직임을 갖는다는 정보)를 부착할 수 있다. 만약 오브젝트 인식기가 포인트들의 세트를 미러라고 인식하면, 시스템은 미러가 룸의 오브젝트들의 이미지들을 반사시킬 수 있는 반사 표면을 갖는다는 시멘틱 정보를 부착할 수 있다. (로컬로 상주할 수 있거나 또는 무선 네트워크를 통해 액세스가능할 수 있는) 시스템이 세계로부터 더 많은 데이터를 축적하므로, 시간이 지남에 따라 맵 데이터베이스는 증가하게 된다. 일단 오브젝트들이 인식되면, 정보는 하나 이상의 웨어러블 시스템들에 전송될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서의 장면에 관한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 한 명 또는 그 초과의 사용자들에게 송신될 수 있다. FOV 카메라 및 다른 입력들로부터 수신된 데이터에 기반하여, 오브젝트 인식기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 맵핑하고, 오브젝트들 등을 인식할 수 있어서, 장면이, 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확하게 "전달"될 수 있다. 환경(700)은 또한 로컬화를 목적으로 토폴로지형 맵를 사용할 수 있다.
[0243]
도 13b는 인식된 오브젝트들과 관련하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 웨어러블 시스템의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 원격에 있을 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 현재 진행되고 있는 장면을 뷰잉하기를 원하거나 캘리포니아에 거주하는 친구와 산책하기를 원할 수 있다.
[0244]
블록(810)에서, AR 시스템은 사용자 및 다른 사용자들로부터 사용자의 환경에 관한 입력을 수신할 수 있다. 이는, 다양한 입력 디바이스들 및 맵 데이터베이스에서 이미 소유된 지식을 통해 달성될 수 있다. 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 블록(810)에서 시스템에 정보를 운반한다. 시스템은 블록(820)에서 이 정보에 기반하여 드문 포인트들을 결정할 수 있다. 드문 포인트들은 사용자 주변들의 다양한 오브젝트들의 배향 및 포지션을 디스플레이하고 이해하는 데 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 또는 손 제스처들)를 결정하는데 사용될 수 있다. 오브젝트 인식기들(708a-708n)은 블록(830)에서 이러한 수집된 포인트들을 크롤링하고 맵 데이터베이스를 사용하여 하나 이상의 오브젝트들을 인식할 수 있다. 이어서, 이 정보는 블록(840)에서 사용자의 개별 웨어러블 시스템에 전달될 수 있고, 블록(850)에서 원하는 가상 장면이 그에 따라서 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 오브젝트들 및 다른 주변들과 관련하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0245]
도 13c는 웨어러블 시스템의 다른 예의 블록 다이어그램이다. 이 예에서, 웨어러블 시스템(900)은 세계에 대한 맵 데이터를 포함할 수 있는 맵를 포함한다. 맵는 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스가능한 네트워크화된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행될 수 있고 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정하기 위해 맵로부터의 데이터를 활용할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, (일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 유닛들과 같은) 센서들로부터의 데이터 및 실제 또는 가상 환경의 오브젝트들과 관련된 표면 정보를 포함할 수 있다.
[0246]
드문 포인트 표현은 동시적인 로컬화 및 맵핑 (입력이 오직 이미지들/시각적인 구성을 지칭하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 이 시스템은 세계에서 다양한 컴포넌트들이 있는 곳을 파악할 뿐만 아니라 세계가 무엇으로 구성되었는지를 파악할 수 있도록 구성될 수 있다. 포즈는 맵을 파퓰레이팅하는 것 및 맵으로부터의 데이터를 사용하는 것을 포함하여, 많은 목표들을 실현하는 빌딩 블록일 수 있다.
[0247]
드문 포인트 포지션들은 다초점 AR, VR 또는 MR 경험을 생성하기 위해 보충될 수 있다. 일반적으로 깊이 맵 정보를 지칭하는 조밀한 표현들이 이 갭을 적어도 부분적으로 채우기 위해 활용될 수 있다. 이러한 정보는 스테레오(940)로 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 깊이 정보는 삼각측량 또는 비행 시간 감지와 같은 기법을 사용하여 결정된다. 이미지 정보 및 (활성 프로젝터들을 사용하여 생성된 적외선 패턴들과 같은) 활성 패턴들은 스테레오 프로세스(940)에 대한 입력으로서의 역할을 할 수 있다. 상당량의 깊이 맵 정보가 함께 융합될 수 있으며, 이 중 일부는 표면 표현으로 요약될 수 있다. 예컨대, 수학적으로 정의 가능한 표면들은 (예컨대, 대형 포인트 클라우드와 비교하여) 효율적일 수 있고, 게임 엔진들과 같은 다른 프로세싱 디바이스들로의 처리 가능한 입력들이다. 따라서, 스테레오 프로세스(예컨대, 깊이 맵)(940)의 출력은 융합 프로세스(930)에서 결합될 수 있다. 포즈는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 맵 프로세스(920)를 파퓰레이팅하는 입력이 된다. 서브-표면들은 지형적 맵핑에서와 같이 서로 연결되어 더 큰 표면들을 형성할 수 있으며, 맵은 포인트들 및 표면들의 대형 하이브리드가 된다.
[0248]
혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 13c에 묘사된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 룸 주위의 다양한 위치들에서 하나 이상의 가상 닥터들과 수술을 수행하고 있다는 것을 결정하기 위한 입력들일 수 있다. 가상 닥터들은 룸 내의 다양한 조건들에 반응하고 있을 수 있다. 세계 맵은 혼합 현실에 대한 또 다른 가치있는 입력이 될, 그러한 오브젝트들이 서로에 대해 어디에 있는지에 관한 정보를 포함할 수 있다. 세계에 대한 포즈는 거의 모든 상호작용 시스템에서 중요한 역할을 할 뿐만 아니라 입력이 된다.
[0249]
사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각적 입력, 제스처들, 토템들, 오디오 입력, 감각 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 하기 위해, 사용자는 자신이 하고 싶어하는 것에 관하여 웨어러블 시스템(900)에 지시할 필요가 있을 수 있다. 공간에서 단지 스스로 이동하는 것 외에도 활용될 수 있는 다양한 형태들의 사용자 제어들이 있다. 토템(예컨대, 사용자 입력 디바이스), 또는 수술 기구와 같은 오브젝트는 사용자에 의해 홀딩되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는 사용자가 아이템을 홀딩하고 있다는 것을 알고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 토템 또는 오브젝트가 수술 가위인 경우, 시스템은 위치 및 배향을 이해하도록 구성될 수 있을 뿐만 아니라 사용자가 IMU와 같은 센서를 구비할 수 있는 핸들들을 압착하고 있는지 여부를 이해하도록 구성될 수 있으며, 이는 이러한 활동이 어떤 카메라들의 시야 내에도 있지 않을 경우에도 무슨 일이 일어나고 있는지를 결정하는 것을 보조할 수 있다).
[0250]
손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름, 좌측 또는 우측 제스처, 정지, 잡기, 홀드 등을 위한 손 체스처들을 추적하고 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 비-게이밍 환경에서 이메일들 또는 캘린더를 넘기거나 다른 사람 또는 플레이어와 "피스트 범프"를 하기를 원할 수 있다. 웨어러블 시스템(900)은 동적일 수 있거나 동적이 아닐 수 있는 최소량의 손 제스처를 레버리지하도록 구성될 수 있다. 예컨대, 제스처들은 정지를 위해 벌린 손, 오케이를 의미하는 엄지손가락들 세움, 오케이가 아님을 의미하는 엄지손가락들 내림; 또는 방향 커맨드들을 위해 우측, 또는 좌측, 또는 위/아래로 손을 젖히는 것과 같은 단순한 정적 제스처들일 수 있다.
[0251]
눈 추적은 또 다른 입력(예컨대, 사용자가 특정 깊이 또는 범위에서 렌더링하기 위해 디스플레이 기술을 제어하고자 보고 있는 곳을 추적)이다. 눈들의 이접운동은 삼각측량을 사용하여 결정될 수 있고, 이어서 그 특정 사람에 대해 개발된 이접운동/원근조절 모델을 사용하여, 원근조절이 결정될 수 있다.
[0252]
카메라 시스템들과 관련하여, 도 13c에 도시된 예시적인 웨어러블 시스템(900)은 3개의 쌍들의 카메라들, 즉 사용자의 얼굴의 측면들에 배열된 상대적 와이드 FOV 또는 수동 SLAM 쌍의 카메라들, 스테레오 이미징 프로세스(940)를 핸들링하고 또한 사용자 얼굴 전방에서 토템/오브젝트 추적 및 손 제스처들을 캡처하기 위해 사용자 전방에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. 스테레오 프로세스(940)를 위한 카메라들의 쌍 및 FOV 카메라들은 하나 이상의 외향 이미징 센서들(34)(도 10a에 도시됨)의 일부일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 10a에 도시된 사용자 센서들(24, 28, 30, 32) 중 하나 이상일 수 있음)을 포함할 수 있다. 웨어러블 시스템(900)은 또한 장면에 텍스처를 주입하기 위해 하나 이상의 텍스처화된 광 프로젝터들(이를테면, 적외선(IR) 프로젝터들)을 포함할 수 있다.
[0253]
다른 예로서, 관심 오브젝트는 제세동기일 수 있다. 사용자는 제세동기가 일반적으로 어떻게 보이는지 설명할 수 있거나, 또는 특정 제세동기를 설명할 수 있다. 일부 예시들에서, 디바이스는 제세동기들의 사진들을 포함하는 내부 또는 외부 시스템에 액세스할 수 있다. 따라서, 하나 이상의 환경 센서들로부터 수신된 데이터를 사용하여 그리고/또는 컴퓨터 비전 알고리즘을 사용하여, 디바이스가 제세동기를 검출할 때, 디바이스는 제세동기의 존재를 시그널링할 수 있고, 제세동기의 위치의 향상된 뷰를 자동으로 제공할 수 있다. 다양한 실시예들에서, 디바이스는 또한, 향후의 사용을 위해 제세동기의 이미지 및/또는 제세동기의 위치를 메모리에 저장할 수 있다.
[0254]
그러한 알고리즘들 및 방법들 뿐만 아니라 유사한 것들은 본원에서 설명된 다양한 애플리케이션들 및/또는 실시예들 중 임의의 것에 적용될 수 있다.
머신 학습
[0255]
가능한 관심 오브젝트들(예컨대, 특정 값 미만의 신호를 갖는 심장 모니터)을 검출하기 위해, 일부 실시예들에서, 다양한 머신 학습 알고리즘들이 구현될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘들이 디바이스에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은 회귀 알고리즘들(이를테면, 예컨대, 보통의 최소 제곱 회귀), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화), 결정 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이지안), 클러스터링 알고리즘들(이를테면, 예컨대, k-민즈 클러스터링), 연관성 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 뉴럴 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론), 심층 학습 알고리즘들(이를테면, 예컨대, 딥 볼츠만 머신, 또는 딥 뉴럴 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주 컴포넌트 분석), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화) 및/또는 다른 머신 학습 알고리즘들을 포함하는 지도 또는 비지도 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 베이스 모델을 생성하거나 저장할 수 있다. 베이스 모델은 데이터 타입(예컨대, 특정 사용자), 데이터 세트(예컨대, 획득된 부가 이미지들의 세트), 조건부 상황들 또는 다른 변동들에 특정적인 부가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 복수의 기법들을 활용하여, 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하도록 구성될 수 있다. 다른 기법들은 사전-정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0256]
표준들은 임계치 조건을 포함할 수 있다. 만약 환경 센서에 의해 획득된 데이터의 분석이 임계치 조건이 초과됨을 표시한다면, 디바이스는 관심 오브젝트의 존재를 검출할 수 있다. 임계치 조건은 정량적 및/또는 질적 측정을 수반할 수 있다. 예컨대, 임계치 조건은 관심 오브젝트의 가능성과 연관된 스코어 또는 백분율을 포함할 수 있다. 디바이스는 환경 센서의 데이터로부터 계산된 스코어를 임계치 스코어와 비교할 수 있다. 만약 스코어가 임계치 레벨보다 더 높다면, 디바이스는 관심 오브젝트의 존재를 검출할 수 있다. 다른 실시예들에서, 디바이스는 만약 스코어가 임계치보다 더 낮다면 관심 오브젝트의 존재를 시그널링할 수 있다.
[0257]
임계치 조건은 또한, 문자 등급들, 이를테면 "A", "B", "C", "D" 등을 포함할 수 있다. 각각의 등급은 상황의 심각성을 표현할 수 있다. 예컨대, "A"는 가장 심각할 수 있는 한편(예컨대, 심장 모니터 비핑), "D'는 가장 덜 심각할 수 있다. 사용자의 환경 내의 이벤트가 (임계치 조건과 비교하여) 충분히 심각한 것으로 디바이스가 결정할 때, 디바이스는 관심 오브젝트 또는 이벤트의 존재를 표시할 수 있고, 액션을 취할 수 있다(예컨대, 경고 또는 관심 오브젝트/이벤트의 향상된 뷰를 제공함).
[0258]
임계치 조건은 사용자의 물리적 환경 내의 오브젝트들(또는 사람들)에 기반하여 결정될 수 있다. 예컨대, 임계치 조건은 환자의 혈액 손실, 환자의 심장 레이트, 또는 다른 생리적 파라미터들에 기반할 수 있다. 도 2 및 도 10a-10b를 참조하여 설명된 바와 같이, 디바이스는 환경 센서들(예컨대, 수술 부위를 이미징하는 외향 카메라)로부터 또는 외부 소스(이를테면, 예컨대, 심전계 또는 심장 모니터에 의해 모니터링되는 ECG 데이터)로부터 환자의 데이터를 획득할 수 있다.
[0259]
임계치 조건은 또한, 사용자의 환경 내의 실세계 오브젝트들, 또는 사용자에게 디스플레이되는 가상 오브젝트들에 기반하여 결정될 수 있다. 하나의 예로서, 임계치 조건은 오브젝트와의 사용자의 상호작용(예컨대, 사용자가 오브젝트를 곁눈질한 횟수, 사용자가 오브젝트를 보는 지속기간 등)에 기반할 수 있다. 예컨대, 임계치 조건은 사용자의 눈-추적에 기반하여 결정될 수 있다.
[0260]
일부 실시예들에서, 임계치 조건들, 머신 학습 알고리즘들, 또는 컴퓨터 비전 알고리즘들은 특정 맥락에 대해 특수화될 수 있다. 예컨대, 수술 맥락에서, 컴퓨터 비전 알고리즘은 특정 수술 이벤트들을 검출하도록 특수화될 수 있다. 다른 예로서, 디바이스는 사용자의 환경 내의 사람(예컨대, 환자 또는 다른 의료인)을 검출하기 위해 얼굴 또는 신체 인식 알고리즘들을 실행할 수 있다.
[0261]
그러한 알고리즘들 및 방법들 뿐만 아니라 유사한 것들은 본원에서 설명된 다양한 애플리케이션들 및/또는 실시예들 중 임의의 것에 적용될 수 있다.
사용자 의도에 기반한 인식 변경
[0262]
다양한 실시예들에서, 디스플레이 시스템은 유리하게, 사용자 의도에 적어도 부분적으로 기반하여 실제 또는 가상 콘텐츠의 사용자 인식을 변경할 수 있다. 예컨대, 특정 실시예들은, 이미지 콘텐츠를 향상시킴으로써(또는 경시함으로써) 그리고/또는 상이한 위치에서 이미지 콘텐츠를 제공함으로써, 사용자가 상황 또는 임무에 포커싱할 수 있게 한다.
[0263]
이제 도 14를 참조하면, 디스플레이 시스템을 사용하여, 지각된 사용자 의도 및/또는 사용자 의도에 적어도 부분적으로 기반하여, 실제 또는 가상 오브젝트의 사용자 인식을 변경하는 예시적인 방법(5000)이 예시된다. 지각된 사용자 의도를 결정하는 것은, 예컨대, 사용자의 환경 내의 하나 이상의 오브젝트들을 이미징하는 것, 사용자의 눈이 어디를 뷰잉하고 있는지 결정하는 것, 및/또는 사용자의 눈이 지향되는 오브젝트를 결정하는 것을 포함할 수 있다. 디스플레이 시스템은 본원에서 설명된 디스플레이 시스템들, 이를테면, 도 2, 도 6, 및 도 10a-10b의 디스플레이 시스템들(80, 1000, 또는 2010) 각각 중 임의의 것을 포함할 수 있다. 디스플레이 시스템은 또한, 본원에서 설명되는 특징들 중 임의의 특징을 포함할 수 있다. 예컨대, 본원에서 설명된 바와 같이, 일부 실시예들에서, 머리-장착 디스플레이 디바이스는 디스플레이를 사용하여 사용자에게 증강 현실 이미지 콘텐츠를 제공하도록 구성될 수 있다. 머리-장착 디스플레이는 사용자의 머리에 장착가능할 수 있다. 특정 실시예들에서, 디스플레이는, 예컨대 안경류의 부분으로서 프레임(예컨대, 도 2 및 도 10a-10b의 프레임(64)) 상에 배치될 수 있다.
[0264]
머리-장착 디스플레이는, 여전히 사용자가 실세계를 보고 실세계와 상호작용할 수 있게 허용하면서, 사용자의 눈에 가상 이미지 콘텐츠를 투사할 수 있다. 예컨대, 디스플레이는 사용자의 눈들 전방의 위치에 배치된 하나 이상의 투명한 도파관들(예컨대, 도 6의 도파관 어셈블리(178) 및/또는 도 9a-9c의 도파관 스택(1200))을 포함할 수 있다. 디스플레이는 사용자가 디스플레이를 통해 볼 수 있게 한다. 디스플레이는 사용자의 눈들에 실세계 환경으로부터의 광을 전달할 수 있고, 그에 따라, 환경의 이미지들이 사용자의 망막 상에 형성될 수 있다. 디스플레이는 또한, 예컨대, 변조된 광원으로부터의 광을 투사함으로써, 사용자의 눈들에 증강 및/또는 가상 이미지 콘텐츠를 투사할 수 있다. 예컨대, 도파관 어셈블리 내의 도파관에 이미지 정보가 주입될 수 있고, 그 도파관은 사용자의 눈에 그 이미지 정보를 지향시킬 수 있다.
[0265]
일부 실시예들에서, 도파관들은 상이한 파면 발산을 갖는 이미지 정보를 전송하도록 구성될 수 있다. 머리-장착 디스플레이는 사용자의 눈에 광을 투사하여, 사용자의 눈으로부터 상이한 거리로부터 투사된 것처럼 상이한 발산 양으로 증강 현실 이미지 콘텐츠를 사용자에게 디스플레이하도록 구성될 수 있다. 그에 따라서, 도파관들은, 예컨대 편안한 3 차원 깊이 지각을 제공하는 것을 돕기 위해, 광이 상이한 깊이들(예컨대, 상이한 깊이 평면들)로부터의 이미지 콘텐츠를 제공할 수 있도록, 하나 이상의 깊이 평면들과 관련될 수 있다. 일부 실시예들에서, 도파관들은 도파관 밖으로 그리고 사용자의 눈으로(예컨대, 도 7) 광(예컨대, 도파관 내에서 전파하는 광)을 재지향하도록 구성된 하나 이상의 광학 엘리먼트들(예컨대, 도 6의 아웃커플링 광학 엘리먼트들(282, 284, 286, 288, 290)을 포함할 수 있다. 일부 예시들에서, 하나 이상의 광학 엘리먼트들은 도파관으로부터 광을 추출하도록 구성된 하나 이상의 회절 광학 엘리먼트들을 포함할 수 있다. 그러나, 이 설계는 도파관들 및/또는 회절 광학 엘리먼트들을 사용하는 것에 한정될 필요는 없다. 그럼에도 불구하고, 다양한 실시예들에서, 머리-장착 디스플레이는 사용자에게 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 사용자의 눈에 광을 투사하도록 구성될 수 있다.
[0266]
사용자의 시력은 중앙 구역 및 주변 구역을 갖는 시계에 의해 특징지어질 수 있다. 주변 구역은 중앙 구역 주위 또는 둘레에 배치될 수 있다. 중앙 구역 및 주변 구역은 본원에서 논의된 바와 같이, 각각 중앙 시야 및 주변 시야에 대응할 수 있다.
[0267]
디스플레이 시스템 또는 디바이스는, 사용자를 감지하도록 구성된 하나 이상의 사용자 센서들(예컨대, 도 10a 및 도 10b의 사용자 센서들(24, 28, 30, 32))을 포함하고 그리고/또는 이에 커플링될 수 있다. 일부 실시예들에서, 하나 이상의 사용자 센서들은 디스플레이 시스템의 프레임 상에 배치된다. 하나 이상의 사용자 센서들은 하나 이상의 내향 및/또는 하향 센서들을 포함할 수 있다. 하나 이상의 사용자 센서들은 사용자의 눈이 보고 있는 곳을 결정하도록 구성될 수 있다. 사용자 센서의 예는 카메라와 같은 이미지 캡쳐 디바이스를 포함할 수 있다. 본원에서 설명된 바와 같이, 이러한 센서들은, 사용자의 눈들, 얼굴 특징들, 및/또는 다른 신체 부분들, 이를테면 팔, 손, 다리 등을 모니터링하는 것을 포함하여 사용자를 모니터링할 수 있다. 예컨대, 하나 이상의 사용자 센서는, 눈 및/또는 얼굴을 이미징하고 눈 추적을 제공할 수 있는 내향 카메라를 포함할 수 있다. 다른 타입들의 눈 추적 디바이스들이 또한 사용될 수 있다. 사용자 센서들(예컨대, 눈 추적 센서들)은 디스플레이 시스템의 디스플레이 상의 이미지 콘텐츠의 제공을 제어하는 것을 보조하도록 구성될 수 있다. 이미지 콘텐츠의 제공을 제어하는 것은, 예컨대, 감각 이미지들을 프로세싱 전자장치들에 전송하는 것을 포함하며, 이어 프로세싱 전자장치들은 이미지 콘텐츠의 제공, 어떤 이미지 콘텐츠가 디스플레이되는지, 어디에 디스플레이되는지, 그리고 이미지들의 특징들, 예컨대, 콘트라스트, 선명도, 밝기, 컬러, 컬러 밸런스, 컬러 포화도, 불투명도 등을 제어한다.
[0268]
디스플레이 시스템 또는 디바이스는 또한, 사용자의 주변을 감지하도록 구성된 하나 이상의 환경 센서들(예컨대, 도 10a 및 도 10b의 환경 센서(34))을 포함하고 그리고/또는 이에 커플링될 수 있다. 하나 이상의 환경 센서들은 하나 이상의 외향 센서들을 포함할 수 있다. 하나 이상의 환경 센서들은 사용자의 환경에서 하나 초과의 오브젝트들을 이미징하도록 구성될 수 있다. 환경 센서들의 예들은, 깊이 센서, 하나 이상의 카메라들, 이를테면, 한 쌍의 양안 세계 카메라들, 지오로케이션 센서, 근접 센서, GPS 등을 포함할 수 있다. 하나 이상의 환경 센서들은 또한, 환경의 사운드들을 감지하도록 구성된 마이크로폰(예컨대, 도 2의 마이크로폰(67))을 포함할 수 있다. 본원에서 설명된 바와 같이, 환경 센서들은, 사용자 환경에 있는 오브젝트들, 모션들 및/또는 사운드들을 검출 및/또는 모니터링하여, 예컨대, 사용자가 주의를 기울이거나 상호작용할 수 있는 것을 결정하는데 도움을 줄 수 있다. 이러한 센서는 사용자가 수행하고 있을 수 있는 액션들의 표시 및/또는 액션을 수행하기 위한 사용자의 의도를 제공할 수 있다. 또한, 본원에서 설명된 바와 같이, 일부 실시예들은, 예컨대, 환경의 광 조건을 결정하기 위해 하나 이상의 광 센서들을 포함할 수 있다.
[0269]
다양한 실시예들은, 디스플레이, 하나 이상의 사용자 센서들, 및/또는 하나 이상의 환경 센서들과 통신하는 프로세싱 전자장치들을 갖는 하나 이상의 프로세서들(예컨대, 도 2의 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72))을 포함하고 그리고/또는 이에 커플링될 수 있다. 일부 실시예들에서, 본원에서 설명된 바와 같이, 프로세싱 전자장치는 또한 네트워크 시스템과 통신할 수 있다. 프로세싱 전자장치는 하나 이상의 사용자 및/또는 환경 센서들로부터 획득된 정보를 분석하고, 예컨대 사용자에게 디스플레이할 이미지 콘텐츠에 관하여 디스플레이에 명령들을 제공하도록 구성될 수 있다. 예컨대, 프로세싱 전자장치는 도 14에 도시된 예시적인 방법(5000)을 수행하도록 구성될 수 있다. 프로세싱 전자장치는, 사용자의 증가된 포커스 및/또는 사용자의 의도에 적어도 부분적으로 기반하여, 증가된 사용자 포커스를 수반하는 상황을 감지하고, 상황에 대한 사용자의 의도를 선택적으로 결정하고, 그리고 사용자의 시계 내의 이미지 콘텐츠(예컨대, 실제 또는 가상 오브젝트)에 대한 사용자 지각을 변경하도록 구성될 수 있다. 추가 예로서, 프로세싱 전자장치는 사용자의 눈이 지향되는 오브젝트를 결정하도록 구성될 수 있다. 일부 실시예들에서, 프로세싱 전자장치는 눈이 지향되는 (예컨대, 중앙 시야 및/또는 주변 시야의) 하나 이상의 오브젝트를 결정하도록 구성된다. 사용자의 눈이 지향되는 오브젝트를 결정하는 것은, 하나 이상의 환경 센서들(예컨대, 외향 카메라들)로부터 수신된 이미지들에 오브젝트 인식을 적용하여 사용자의 환경의 하나 이상의 오브젝트들을 인식하는 것을 포함할 수 있다. 사용자의 뷰가 특히 지향되는 오브젝트를 식별하는 것은, 사용자가 포커스를 증가시켰다는 결정을 가능하게 할 수 있고 그리고/또는 사용자 의도들을 결정하는 데 도움을 줄 수 있다. 또한 또는 대안적으로, 사용자가 보고 있는 오브젝트를 식별하는 것은, 예컨대, 오브젝트의 지각을 향상시키고 그리고/또는 다른 오브젝트들의 지각을 경시함으로써, 프로세싱 전자장치가 오브젝트를 보는 것을 더 쉽게 할 수 있다. 오브젝트 인식은 오브젝트의 존재를 간단히 결정하는 것 및/또는 주변 피처들로부터 오브젝트를 분리하는 것을 포함할 수 있다. 오브젝트 인식은, 대안적으로 또는 부가적으로, 오브젝트와 관련하여, 일부 의미, 이를테면 그 오브젝트가 무엇인지의 인식 및/또는 오브젝트의 특징들 또는 기능들을 포함한다. 예컨대, 오브젝트 인식은 배경과 분리된, 전경에 일부 오브젝트가 있는지를 간단히 결정할 수 있다. 그러나, 다른 예에서, 오브젝트 인식은, 오브젝트가 무엇인지 이를테면, 이 오브젝트가 사람 얼굴, 심장 모니터, 스티어링 휠 및 가능하게는 그 오브젝트와 관련한 특징들 및/또는 의미라고 결정하는 것을 부가적으로 포함할 수 있다. 더 정교한 분석 레벨은 환경에 대한 보다 깊은 이해를 향상시키기 위해 복수의 오브젝트들의 결정을 결합하는 것일 수 있다. 예컨대, 프로세싱 전자장치가 메스, 심박 레이트 모니터 및 테이블에 엎드린 사람을 인식하면, 결론은 사용자가 수술실에 있는 것일 수 있다. 인식된 다른 오브젝트들 및/또는 입력들, 이를테면 사용자의 정면 중앙의 스티어링 휠, 대시 보드, 윈드실드 및/또는 윈드실드 바로 너머의 승용차의 후드의 조합들뿐만 아니라, 가능하게는 다른 입력 신호들, 이를테면 블루투스 신호를 수신하는 것은, 사용자가 가능하게는, 자동차를 운전할 또는 자동차를 시동시킬 준비가 된 차량의 운전자 좌석에 있다는 것을 나타낼 수 있다.
[0270]
그에 따라서, 블록(5010)에서, 프로세싱 전자장치는 선택적으로 사용자 포커스를 수반하는 상황을 감지하도록 구성될 수 있다. 앞서 논의된 바와 같이, 사용자 포커스를 수반하는 상황을 감지하는 것은, 예컨대, 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공된 정보로부터, 하나 이상의 오브젝트들을 검출하는 것을 포함할 수 있다. 사용자 포커스를 수반하는 상황을 감지하는 것은, (적어도 일반적으로) 사용자의 눈이 지향되는 오브젝트를 결정하는 것을 포함할 수 있다. 프로세싱 전자장치는, 본원에서 설명된 것과 같은 컴퓨터 비전 및 오브젝트 검출 기법들 중 임의의 것(예컨대, 전술한 사항을 참조)을 사용하여 오브젝트들을 검출하도록 구성될 수 있다. 사용자 포커스를 수반하는 상황을 감지하는 것은, 예컨대, 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공된 정보로부터, 하나 이상의 모션들 또는 사운드들을 검출하는 것을 또한 포함할 수 있다. 사용자 초점을 수반하는 상황을 감지하는 것은 또한, 라디오 또는 RF 신호들(예컨대, 자동차에 의해 방출되는 블루투스 신호)와 같은 하나 이상의 다른 타입들의 신호들을 검출하는 것을 포함할 수 있다. 상이한 룸들에서 방출된 라디오 신호들은 또한, 사용자가 특정 룸에 있음을 알릴 수 있고 사용자가 어떤 액션을 취하고 있을 수 있는지의 표시를 제공할 수 있다. 사용자 포커스를 수반하는 상황을 감지하는 것은, 하나 이상의 검출된 오브젝트들, 모션들 및/또는 사운드들이 특정 상황, 이를테면, 사용자 포커스를 수반하는 액션 또는 상황과 관련되는지를 결정하는 것을 더 포함할 수 있다. 대안적으로 또는 부가적으로, 사용자 포커스를 수반하는 상황을 감지하는 것은, 관심 있는, 사용자 포커스를 수반하는 다양한 상황들을 제공하고, 예컨대, 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공된 정보에서, 특정 오브젝트들, 모션들, 및/또는 이러한 상황과 관련된 사운드들을 서치하는 것을 포함할 수 있다.
[0271]
예로서, 머리-장착 디스플레이 디바이스를 착용하고 있는 사용자가 수술실로 들어갈 수 있다. 사용자 및/또는 환경 센서들 중 하나 이상에 의해 캡처된 이미지들은, 수술실 및/또는 관련 오브젝트들의 이미지들(예컨대, 수술대, 거니, 트레이들, 수술 기구들, 심장 모니터, 환자, 간호 조무사들 등)을 포함할 수 있다. 프로세싱 전자장치는 외과 의사가 예컨대 수술 기구들에 자신의 눈을 지향시키고 있다고 결정할 수 있다. 외과 의사는 수술 기구를 손에 가지고 있을 수 있다. 수술 기구가 환자에게 작용할 수 있다. 검출된 오브젝트들, 검출된 특정 상황들(예컨대, 수술 기구가 환자에게 접근함) 및/또는 외과 의사가 자신의 눈을 향한 곳에 기반하여, 프로세싱 전자장치는 사용자가 향후 수술에 참여하고 있음을 감지할 수 있다.
[0272]
위에서 설명된 바와 같이, 디스플레이 시스템 또는 디바이스의 다양한 설계들이 특정 맥락들에 대해 구성될 수 있으며, 이러한 맥락들에서 특정 상황을 감지할 수 있다. 예컨대, 의료 전문가들을 위해 구성된 디스플레이 시스템 또는 디바이스는 의학적 맥락(예컨대, 의료 진단 또는 절차)에서 상황들을 감지하도록 구성될 수 있다. 일부 예시들에서, 디스플레이 시스템 또는 디바이스는 특정 사용자에 커스터마이징되거나 커스터마이징되지 않을 수 있다. 머신 학습 알고리즘들은 본원에서 설명된 일부 실시예들에서 사용될 수 있다.
[0273]
사용자 포커스를 수반하는 상황이 감지된 후, 프로세싱 전자장치는 블록(5020)으로 계속될 수 있다. 일부 실시예들에서, 프로세싱 전자장치는 또한, 사용자 포커스를 수반하는 다른 상황들을 계속 감지할 수 있다.
[0274]
블록(5020)에서, 프로세싱 전자장치는 상황에 대한 사용자 의도를 결정하도록 선택적으로 구성될 수 있다. 사용자 의도를 결정하는 것은, 사용자의 행동 의도를 나타내는, (예컨대, 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공된 정보로부터의) 하나 이상의 오브젝트들, 모션들 및/또는 사운드들을 검출하는 것을 포함할 수 있다. 대안적으로 또는 부가적으로, 사용자 의도를 결정하는 것은, 예컨대 데이터베이스에, 사용자의 행동 의도를 나타내는 다양한 가능한 오브젝트들, 모션들 및/또는 사운드들을 제공하는 것, 및 예컨대 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공된 정보에서, 오브젝트들, 모션들 및/또는 사운드들을 서치하는 것을 포함할 수 있다. 일부 설계들 및/또는 일부 상황들의 경우, 디스플레이 시스템 또는 디바이스는, 사용자 의도가 결정될 때까지 검출된 오브젝트들, 모션들 및/또는 사운드들에 기반하여 동작하거나 동작하지 않을 수 있다.
[0275]
예로서, 사용자는 수술 보조자와 간단히 이야기할 수 있다. 마이크로폰이 외과 의사와 어시스턴트 간의 대화를 캡처할 수 있다. 오디오 데이터가 향후 수술을 확인할 수는 있지만, 취해질 어떠한 액션도 트리거하지 않을 수 있다. 그런 다음, 사용자는 환자에게 걸어 가서 수술 기구를 집어 올릴 수 있다. 하나 이상의 사용자 및/또는 환경 센서들에 의해 제공되는 정보로부터 이러한 액션들을 결정하는 것에 기반하여, 프로세싱 전자장치가 수술을 시작할 사용자 의도를 결정할 수 있다. 이러한 액션들은 프로세싱 전자장치가 블록(5030)으로 계속하도록 트리거할 수 있다. 본원에서 설명된 바와 같이, 일부 설계들은 특정 사용자에게 커스터마이징될 수 있다. 예컨대, 특정 외과 의사는 수술을 수행하기 전에 특정 습관, 의식 또는 절차(예컨대, "Let's begin"이라고 말하는 것)를 가질 수 있으며, 이러한 습관들, 절차들 또는 의식들은 디스플레이 시스템 또는 디바이스에 저장될 수 있다.
[0276]
사용자 의도가 결정된 후, 프로세싱 전자장치는 블록(5030)에 따라 계속 수행될 수 있다. 일부 실시예들에서, 프로세싱 전자장치는 또한, 감지된 상황에서 다른 사용자 의도들을 계속 결정할 수 있다.
[0277]
블록(5030)에서, 프로세싱 전자장치는, 예컨대, 가능하게는 사용자 의도 및/또는 사용자 포커스 등에 적어도 부분적으로 기반하여, 사용자의 시계 내에서, 실제 또는 가상 오브젝트의 사용자 지각을 변경하도록 구성될 수 있다. 이러한 실제 또는 가상 오브젝트들은, 안경류를 통해 눈으로 투과되는 광이 반사되거나 방출되는 머리 장착 디스플레이 전방의 사용자의 환경의 실제 오브젝트들 또는 디스플레이에 의해 디스플레이되는 가상 콘텐츠를 포함할 수 있다. 프로세싱 전자장치는, 예컨대, 본원에서 설명된 임의의 이미지 수정 기법들을 사용하여 가상 오브젝트를 포함하는 가상 이미지 콘텐츠를 변경함으로써, 실제 또는 가상 콘텐츠의 사용자 지각을 변경하도록 구성될 수 있다. 실제 또는 가상 콘텐츠에 대한 사용자의 지각을 변경하는 것은, 눈이 지향되는 오브젝트의 렌더링을 향상시키는 것 또는 눈이 지향되는 오브젝트(예컨대, 실제 또는 가상 오브젝트) 주변의 하나 이상의 특징들을 경시하는 것 중 적어도 하나를 포함할 수 있다. 예로서, 예컨대 프로세싱 전자장치들에 의해 제공된 명령들을 통해, 디스플레이 시스템 또는 디바이스는, 상이한 위치에 이미지 콘텐츠를 제공하도록 구성될 수 있다. 일부 예시들에서, 사용자의 주변 시계의 실제 또는 가상 오브젝트들이 예컨대, 더 용이한 뷰잉을 위해 사용자의 중앙 시계에 제공되거나 렌더링될 수 있다. 대안적으로, 사용자의 중앙 시계의 실제 또는 가상 오브젝트들이, 예컨대, 클러터를 제거하기 위해 사용자의 주변 시계에 렌더링되거나 제공될 수 있다. 사용자의 주변 시계의 실제 또는 가상 오브젝트들은 또한, 사용자의 주변 시계의 다른 구역(예컨대, 먼 주변 시계부터 근처 주변 시계까지 또는 그 반대, 또는 먼 중앙 시계부터 근처 중앙 시계까지 또는 그 반대)에 제공되거나 렌더링될 수 있다. 일부 예시들에서, 예컨대, 프로세싱 전자장치에 의해 제공된 명령들을 통해, 디스플레이 시스템 또는 디바이스는, 제1 깊이 평면으로부터 제2 깊이 평면(예컨대, 더 먼 깊이 평면으로부터 더 가까운 깊이 평면까지 또는 그 반대)으로 이미지 콘텐츠를 제공하도록 구성될 수 있다. 또한 본원에서 설명된 바와 같이, 이미지 콘텐츠는 동일한 깊이 평면 상에서 측방으로 변위될 수 있다(예컨대, 사용자의 중심 시계에 더 근접하게 또는 더 멀리 측방으로 변위됨).
[0278]
다른 예로서, 예컨대, 디스플레이 전자장치에 의해 제공된 명령들을 통해, 디스플레이 시스템 또는 디바이스는, 본원에서 설명된 임의의 향상시키는(또는 경시하는) 기법들을 사용하여 이미지 콘텐츠를 수정하도록 구성될 수 있다. 예컨대, 프로세싱 전자장치는, 하나 이상의 이미지 속성들, 이를테면, 이미지 콘텐츠(이를테면, 실제 또는 가상 오브젝트를 포함하는 이미지 콘텐츠)의 콘트라스트, 불투명도, 컬러, 컬러 포화도, 컬러 밸런스, 사이즈, 배경, 밝기, 에지 가시성, 선명도 등을 변경(예컨대, 증가, 감소)하도록 구성될 수 있다. 이미지 콘텐츠를 강조하는 것은, 이미지 콘텐츠의 하나 이상의 이미지 속성들(예컨대, 밝기, 선명도, 콘트라스트 등) 중 특정 이미지 속성들을 증가시키는 것을 포함할 수 있다. 예컨대, 이미지 콘텐츠를 강조하는 것은, 이미지 콘텐츠의 컬러를 변경하고, 이미지 콘텐츠의 불투명도를 증가시키는 것을 포함할 수 있다. 이미지 콘텐츠를 경시하는 것은, 하나 이상의 이미지 속성들(예컨대, 밝기, 선명도, 콘트라스트 등) 중 특정 이미지 속성들을 감소시키는 것을 포함할 수 있다. 예컨대, 이미지 콘텐츠를 경시하는 것은, 이미지 콘텐츠의 컬러를 변경하고, 이미지 콘텐츠의 불투명도를 감소시키는 것을 포함할 수 있다. 일부 경우들에서, 오브젝트 주변의 피처들이 경시되어 오브젝트를 더욱 두드러지게 만들 수 있다. 오브젝트 주변의 피처들을 경시하는 것은, 주변 이미지 콘텐츠의 하나 이상의 이미지 속성들 중 특정 이미지 속성들을 감소시키는 것을 포함할 수 있다. 예컨대, 주변 피처들을 경시하는 것은, 주변의 가상 이미지 콘텐츠를 경시하고, 그리고/또는 주변 가상 이미지 콘텐츠의 불투명도 증가시켜서, 사용자의 머리 장착 디스플레이 전방의 주변 환경의 뷰를 약화시키는 것을 포함할 수 있다.
[0279]
일부 설계들에서, 사용자와 상이한 깊이(예컨대, 상이한 깊이 평면)에서 기원하는 것처럼 이미지 콘텐츠를 디스플레이함으로써 이미지 콘텐츠가 강조(예컨대, 향상)되거나 경시될 수 있다. 예컨대, 이미지 콘텐츠를 강조하는 것은 이미지 콘텐츠를 더 근접한 깊이에 디스플레이하고 그리고/또는 주변 이미지 콘텐츠를 더 먼 깊이에 디스플레이하는 것을 포함할 수 있다. 이미지 콘텐츠를 경시하는 것은 이미지 콘텐츠를 더 먼 깊이에 디스플레이하고 그리고/또는 주변 이미지 콘텐츠를 더 근접한 깊이에 디스플레이하는 것을 포함할 수 있다. 지각된 깊이는 가능하게는 광의 발산을 변화시킴으로써 적어도 부분적으로 제공될 수 있다. 일부 실시예들에서, 이미지 콘텐츠는 콘텐츠가 사용자에 의해 달리 어떻게 지각되는지와 비교하여(예컨대, 경시되거나 향상되지 않는 경우) 그리고/또는 사용자의 시계의 다른 오브젝트들에 비교하여 향상되거나 경시될 수 있다. 예컨대, 사용자의 주변 시야의 이미지 콘텐츠 및/또는 오브젝트들은 사용자의 중앙 시야 내의 이미지 콘텐츠 및/또는 오브젝트에 비해 경시될 수 있다. 본원에서 설명된 바와 같이, 강조 또는 경시의 정도는, 중앙 시계 또는 중심와로부터의 거리, 2-포인트 구별을 위한 최소 거리, 눈의 공간 해상도, 추상체 밀도, 간상체 밀도, 조명 조건 등 중 하나 이상에 적어도 부분적으로 기반할 수 있다.
향상의 다른 예들은 강조 표시를 포함한다. 예컨대, 노란색 강조 표시는, 외향 카메라 및 디스플레이를 사용하여 렌더링된 환경의 오브젝트의 이미지와 같은 가상 오브젝트 위에 중첩될 수 있다. 다른 예는 투과성 디스플레이를 통해 볼 수 있는 실제 오브젝트 전방에 노란색 강조 표시를 중첩하는 것이다. 노란색 강조 표시는 투과성 디스플레이를 통해 보여지는 오브젝트(예컨대, 스피드 제한 표지판)를 워시아웃할 정도로 그렇게 밝지는 않을 수 있지만, 투과성 디스플레이를 통해 오브젝트의 뷰를 보충하기에 충분할 수 있어도, 노란색 가상 콘텐츠(강조 표시)와 스피드 제한 표지판인 실제 오브젝트의 조합은 사용자의 주의를 스피드 제한 표지판에 끌어들일 수 있다.
[0280]
게다가, 특정 실시예들은, 사용자 포커스를 수반하는 정해진 상황에서 다른 사용자 의도를 결정하고 그러한 다른 사용자 의도에 기반하여 이미지 콘텐츠의 사용자 지각을 변경하기 위해 그 상황에 대해 블록들(5020 및 5030)을 반복할 수 있다.
[0281]
예로서, 수술의 수행을 시작하려는 사용자 의도에 기반하여, 회색 배경이 제공되어 사용자가 수술 부위에 집중하는 것을 돕고 수술 부위에 비해 룸의 나머지를 경시할 수 있다. 충분한 강도의 회색 광이 눈에 투사될 수 있어서, 그렇지 않으면 배경 피처를 구성했을, 사용자 및 머리-장착 디스플레이 전방의 환경의 실제 오브젝트들 또는 피처들이 사용자에게 덜 눈에 띈다. 이 회색 배경은 또한 균질화되어 주의 산만하게 하는 세부 사항을 감소시키거나 제거할 수 있다. 배경에 있는 다른 이미지 콘텐츠, 이를테면, 다른 이미지들/다른 가상 이미지 콘텐츠의 투영이 또한 감소되거나 제거될 수 있다. 이러한 방식으로, 배경의 피처들이 워시아웃되거나 충분히 덧칠될 수 있어서 이러한 피처들은 수술 부위에 수술을 수행하는 사용자의 주의를 산만하게 하지 않는다.
수술 동안 또 다른 사용자 의도는 주변에 위치된 심장 모니터 상의 의료 이미지를 뷰잉하는 것을 포함할 수 있다(예컨대, 눈-추적에 기반함). 이러한 사용자 의도에 기반하여, 특정 실시예들은 더 용이한 뷰잉을 위해 수술 부위에 더 근접한 의료 이미지의 이미지를 제공할 수 있다.
[0282]
본원에서 설명된 다양한 예들은 의학적 맥락에 있다. 다양한 실시예들은 예컨대, 일상 활동들 및 임무들을 포함하는, 다른 맥락에도 적용될 수 있다. 일례는, 사용자 포커스와 정신집중이 오퍼레이터 및 오프레이터 주변의 것들에 도움이 될 수 있는 차량(예컨대, 자동차, 택시, 버스, 모터사이클, 기차, 건설 차량, 트랙터, 농기계, 선박, 비행기 등)을 동작시키는 것을 포함한다. 예컨대, 정지 표지판, 신호등, 보행자 교차로 및 다른 교통 피처들을 강조함으로써, 증강 현실 향상들은, 그렇지 않으면 운전자들이 보거나 의식하지 못했을 수 있는 상황들을 운전자에게 경고하여 안전을 개선할 수 있다.
[0283]
도 14를 계속해서 참조하면, 블록(5010)에서, 프로세싱 전자장치는 사용자 포커스를 수반하는 상황을 감지할 수 있다. 사용자 포커스를 수반하는 상황을 감지하는 것은, 사용자의 눈이 지향되는 오브젝트를 결정하는 것을 포함할 수 있다. 사용자의 눈이 지향되는 오브젝트를 결정하는 것은, 사용자의 눈이 보는 곳을 결정하도록 구성된 눈 추적 센서들로부터 수신된 감각 정보에 부분적으로 기반할 수 있다. 예컨대, 머리-장착 디스플레이 디바이스를 착용하고 있는 사용자는 자신의 집을 떠나 외부로 차량(예컨대, 자동차)을 향해 걸을 수 있다. 사용자 및/또는 환경 센서들 중 하나 이상에 의해 캡처된 이미지들은 빌딩 내부의 이미지들, 도어와의 상호작용, 실외 이미지들 및/또는 차량을 포함할 수 있다. 이러한 이미지들은 임의의 액션이 취해지게 트리거하거나 트리거하지 않을 수 있다. 그런 다음 사용자는 차량 도어를 열 수 있다. 하나 이상의 사용자 또는 환경 센서들에 의해 제공된 정보에 기반하여, 프로세싱 전자장치는 사용자의 포커스를 수반하는 상황을 감지할 수 있다. 디스플레이 시스템은 오브젝트들을 이미징할 수 있고, 오브젝트 인식은 이러한 오브젝트들 및 가능하게는 이러한 오브젝트들의 움직임을 식별하기 위해 사용될 수 있다. 디스플레이 시스템은, 예컨대 오브젝트 인식을 사용하여, 운전자가 차량의 시동을 걸거나 차량에 기어 넣는 것(예컨대, 주행 또는 후진)을 식별할 수 있다. 디스플레이 시스템은 무선 인터넷(예컨대, WiFi), 불루투스 및/또는 다른 정보 수집 시스템들을 획득할 수 있다. 디스플레이 시스템은 블루투스 연결을 통해 차량에 연결될 수 있으며(예컨대, 차량과 "페어링"됨), 이는 사용자가 차량 내에 있음을 표시할 수 있다(또는 적어도 차량에 근접한 상태). 디스플레이 시스템은 디스플레이 시스템이 이러한 특정 차량과 이전에 페어링되었는지 여부를 검출할 수 있다. 디스플레이 시스템은 간단히 무선 신호(예컨대, 블루투스) 또는 다른 신호 이를테면, 다른 라디오 또는 RF 신호를 검출하고, 사용자가 승용차에 있거나 그 부근에 있다고 결정할 수 있다. 디스플레이 시스템은, 예컨대, 뷰 및 사용자의 뷰 내의 오브젝트를 인식함으로써 사용자가 승용차를 운전하려고 하거나 승용차를 운전하고 있다고 결정할 수 있다. 다른 타입들의 센서들이 또한 사용되어 운전자가 운전 중이거나 운전하려는 것을 결정할 수 있다. 승용차의 네비게이션 시스템이나 다른 제어 시스템(예컨대, 난방 및/또는 냉방)에 대한 음성 커맨드들과 같은 오디오, 자동차를 잠그거나 또는 엔진의 시동을 거는 사운드를 감지하는 것은, 사용자가 승용차 운전을 시작하려고 한다는 것을 표시할 수 있다. GPS 또는 가속도계들로부터의 가속도 및/또는 모션 데이터는, 차량이 정지 중이거나 모션 중인지를 결정하기 위해 사용될 수 있다. 운전자 측으로부터 윈드실드를 통한 뷰 또는 스티어링 휠을 보여주는 머리 장착 디스플레이의 외향 카메라로부터의 이미지와 커플링된 오디오 입력들(엔진 시동 사운드)과 같은 입력들의 조합은, 사용자가 운전하려고 하거나 운전 중임을 표시할 수 있다.
[0284]
프로세싱 전자장치는, 사용자가 승용차를 운전하는 데 관여할 수 있음을 결정하고 그리고/또는 운전하는 것과 연관된 상황들, 예컨대, 사용자가 곧 급정거를 하려 한다는 것을 식별할 수 있다. 하나 이상의 사용자 및/또는 환경 센서들은, 전방의 차량이 점차적으로 느려지거나 또는 급정거하는 것 등을 검출할 수 있다. 오브젝트들의 포지션을 결정하는 센서들, 이를테면, 거리 측정기(레이저 거리 측정기), LIDAR, 레이더, 초음파 레인징 디바이스들 또는 다른 포지션 감지 시스템들은 포지션 및/또는 포지션의 변경을 결정할 수 있다. 오브젝트와 사용자 또는 사용자의 차량이 더 근접하게 되는 레이트는 환경 센서에 의해 식별된 오브젝트의 하나 이상의 포지션들(예컨대, 포지션들의 변경)에 기반하여 결정될 수 있다. 사용자 또는 사용자의 차량이 오브젝트와 충돌하는 것 또는 오브젝트가 사용자 또는 사용자의 차량과 충돌하는 것 중 적어도 하나의 위험요소가 확인될 수 있다. 디스플레이 시스템은 이미지 콘텐츠를 디스플레이하고 그리고/또는 오브젝트들 또는 이미지 콘텐츠를 적절하게 향상시키고 그리고/또는 경시할 수 있다. 예컨대, 가상 정지, 워닝(warning) 또는 경고 싸인이 디스플레이될 수 있고, 그리고 향상될 수 있고, 그리고/또는 다른 오브젝트들 또는 이미지 콘텐츠가 경시될 수 있다. 부가적으로, 디스플레이되는 이미지 콘텐츠의 양은, 결정된 위험요소에 기반하여 감소될 수 있다. 예컨대, 일부 경우들에서, 주의산만해질 가능성을 감소시키고 그리고 사용자가 상황(액션, 예컨대, 브레이크들이 적용되는 것, 승용차가 오브젝트로부터 멀리 스티어링되는 것이 취해지지 않으면, 충돌이 발생할 수 있음)에 포커싱할 수 있게 하기 위해, 어떤 이미지 콘텐츠 또는 실질적으로 어떤 이미지 콘텐츠도 디스플레이되지 않을 수 있다.
[0285]
일부 실시예들에서, 프로세싱 전자장치는, 자동으로 수신된 신호들에 기반하여, 상황이 포커스를 수반함을 결정할 수 있다. 예컨대, 프로세싱 전자장치는, 승용차의 스티어링 휠 상의 두 손들이, 사용자 포커스를 수반하는 상황을 표시함을 결정할 수 있다. 하나 이상의 센서들, 이를테면, 내향 센서, 이를테면, 눈 추적 센서 또는 카메라는 적어도, 시선 방향의 변경들의 최소 빈도를 검출할 수 있다. 센서(들)는, 예컨대, 하나 이상의 환경적 또는 내향으로 지향된 센서들에 의해 결정되는 바와 같은, 사용자에 의한 포커스를 표시할 수 있는, 사용자에 의한 액션, 이를테면, 예컨대, 눈들을 가늘게 뜨고 보는 것(squinting), 임계 볼륨 초과의 스피치, 사용자의 신체에 의해 가해지는 임계 레벨 초과의 압력으로 인한 피부 컬러의 변경들(예컨대, 스티어링 제어부를 견고하게 움켜잡는 것), 및/또는 맥박수의 증가를 검출하도록 구성될 수 있다. 추가 예로서, 디스플레이 시스템의 센서(들)는, 사용자가 차량(예컨대, 승용차, 건설 차량)의 하나 이상의 특정 제어부들을 움켜잡았다는 것을 검출할 수 있으며, 이는 상황이, 증가된 사용자 포커스를 수반함을 표시할 수 있다.
[0286]
블록(5010)의 부분으로서, 디스플레이 시스템은 사용자 포커스를 감지할 때 차량의 동작을 둘러싼 하나 이상의 컨디션들을 고려할 수 있다. 디스플레이 시스템은 사용자에 관한 정보, 이를테면, 데이터 레코드들을 저장하는 메모리 스토리지 디바이스(예컨대, 하드 드라이브, RAM)를 포함할 수 있다. 디스플레이 시스템의 하나 이상의 센서들은 또한, 사용자의 하나 이상의의 특징들을 감지할 수 있다. 메모리 디바이스는, 사용자의 하나 이상의 데이터 레코드들 및/또는 특징들, 이를테면, 사용자의 나이, 사용자의 사이즈 및/또는 키, 사용자의 아이덴티티, 사용자의 운전 자격증들(예컨대, 운전 면허증, 임시 운전면허증, 제한된-사용 허가증), 사용자의 운전 레코드(예컨대, 소환장들/티켓들, 체포들의 수 및/또는 원인, 및/또는 면허증의 정지들, 제한들, 및/또는 취소들), 성과 레코드(예컨대, 학교 GPA, 범죄 레코드), 및/또는 사용자의 능력(예컨대, 신체적 및/또는 정신적 질병들 또는 한계들의 존재)을 보유할 수 있다.
[0287]
하나 이상의 센서들은 위에서 리스트된 것들과 같은, 사용자의 특징들 중 하나 이상과 관련된 데이터 및/또는 특징들을 검출하도록 구성될 수 있다. 다른 예들은, 외향 카메라가 사용자 운전 자격증(예컨대, 임시 운전면허증)을 스캔하고, 사용자 포지션 및/또는 배향(예컨대, 사용자가 운전석에 있는지 여부)을 검출하고, 그리고/또는 사용자의 신체적 및/또는 정신적 특징(예컨대, 키, 체중 등)을 감지할 수 있는 것을 포함한다. 프로세싱 전자장치는 잠재적으로, 아래에서 더 완전히 설명되는 바와 같이, 이러한 팩터들 중 하나 이상이, 포커스를 수반하는 상황을 표시함을 결정할 수 있고, 시스템 애플리케이션들(예컨대, 이메일, 텍스트들 등)에 대한 사용자 액세스 허가들을 조정할 수 있다.
[0288]
블록(5020)에서, 프로세싱 전자장치는 선택적으로, 상황에 대한 사용자 의도를 결정하도록 구성될 수 있다. 예컨대, 사용자는 승용차 내에 앉을 수 있다. 그러한 정보는 임의의 액션이 취해지도록 트리거할 수 있거나 또는 트리거하지 않을 수 있다. 일부 실시예들에서, 하나 이상의 센서들은, 사용자가 차량을 조작할(예컨대, 차량을 운전할) 포지션에 있는지 여부를 확인하기 위해, 특정 오브젝트들의 존재 및 사용자에 대한 상대적 포지션들을 검출 및/또는 서치할 수 있다. 예컨대, 프로세싱 전자장치는, 사용자가 운전석에 있음을 표시하는 오브젝트들(예컨대, 운전자 측 도어 및/또는 사용자의 좌측 상의 사이드 뷰 미러, 사용자의 우측 상의 탑승자, 사용자 전방의 대시보드 및 스티어링 휠, 사용자의 우측 상부의 후방-뷰 미러 등)의 존재 및 상대적 포지션들을 결정할 수 있다. 프로세싱 전자장치는, 하나 이상의 센서들이 그러한 의도에 부합하는 정보(예컨대, 사용자가 엔진을 턴 온하는 것, 엔진의 사운드, 사용자가 승용차를 주행 또는 후진에 두는 것, 사용자가, 후방-뷰 미러, 또는 후방-뷰 카메라 이미지들에서, 후방을 응시하는 것 등)를 제공할 때, 사용자가 곧 운전을 시작하려고 한다는 것을 결정할 수 있다.
[0289]
블록(5030)에서, 프로세싱 전자장치는, 예컨대, 증가된 사용자 포커스에 적어도 부분적으로 기반하여 그리고/또는 사용자 의도에 적어도 부분적으로 기반하여, 사용자의 시계 내의 (이를테면, 가상 콘텐츠 또는 머리 장착 디스플레이 전방의 환경의 실제 오브젝트들로서) 실제 또는 가상 오브젝트들의 사용자 지각을 변경하도록 구성될 수 있다. 다양한 디스플레이 시스템들은, 사용자에게 강조하는 데 도움이 될 수 있는 오브젝트들에 대해, 예컨대 하나 이상의 센서들을 통해, 계속해서 모니터할 수 있다. 예컨대, 디스플레이 시스템 또는 디바이스는, 교통 표지판들, 도로 표지판들, 보행자 교차로들, 및/또는 다른 오브젝트들(예컨대, 신호등들, 정지 표지판들, 스피드 제한 표지판들 등)을 서치하여, 증강 또는 가상 콘텐츠를 사용자의 시계에 부가할 수 있다. 예컨대, 표지판은, 향상되고 그리고/또는 재-렌더링되어 가능하게 향상될 수 있고, 가능하게는 중앙 시계에 더 근접하게 제공되어 운전자가 더 안전하게 운전하는 것을 도울 수 있다. 앞서 논의된 바와 같이, 표지판은 컬러 강조 표시로 강조 표시될 수 있다. 디스플레이 시스템은 또한, 주의산만들, 이를테면, 예컨대, 경고들(예컨대, 이메일들, 전화 통화들, 텍스트 또는 다른 메시지들, 소셜 미디어 통지들), 오디오 및/또는 비디오 제공들, 및/또는 주변 사운드들을 경시할 수 있다. 주의산만들을 경시하는 것은 주의산만들에 대한 액세스를 제한하거나 또는 제거하는 것을 포함할 수 있다. 예컨대, 특정 소프트웨어 애플리케이션들(예컨대, "앱들"), 인터넷, 및/또는 다른 통신 서비스들(예컨대, 이메일, 전화)의 기능 및/또는 그에 대한 액세스는, 특정 액션들(예컨대, 차량을 동작시키는 것) 동안 그리고/또는 특정 상황들(예컨대, 특정 나이 미만의 오퍼레이터의 경우) 하에서 감소되거나, 제한되거나, 또는 금지될 수 있다. 주의산만들을 경시하는 것은 (예컨대, 디스플레이 시스템 상에 디스플레이하는 것으로부터의) 시각적 자극을 조광(dimming)하거나 또는 제거하는 것, 및/또는 청각적 자극(예컨대, 노래, 톤, 음성)을 볼륨을 낮추거나 또는 음소거(muting)하는 것을 포함할 수 있다. 따라서, 일부 경우들에서 가상 콘텐츠는 제거되거나 감소될 수 있는 한편, 일부 경우들에서 다른 가상 콘텐츠가 부가될 수 있다. 그에 따라서, 디스플레이 시스템은 차량(예컨대, 승용차)의 동작의 안전을 향상시키도록 구성될 수 있다.
도 14의 블록 다이어그램이, 사용자 포커스를 수반하는 상황을 감지하고 그리고 사용자 의도를 결정하는 것을 참조하지만, 이들 중 하나 또는 둘 모두가 선택적으로 포함될 수 있거나 또는 둘 모두가 배제될 수 있다.
[0290]
일부 설계들에서, 프로세싱 전자장치는, 허용가능한 복수의 애플리케이션들(예컨대, 시스템 애플리케이션들, 제삼자 애플리케이션들) 및/또는 자동차의 동작 동안에 허용불가한 복수의 애플리케이션들을 결정할 수 있다. 프로세싱 전자장치는, 앞서 논의된 하나 이상의 팩터들(예컨대, 사용자 특징들, 환경 판독치들)에 기반하여, 어느 애플리케이션들이 이용가능하고 그리고/또는 액세스/기능이 감소되는지를 결정할 수 있다. 예컨대, 특정 나이 미만이거나, 특정 나이 초과이거나, 또는 차량을 동작시킬 허용가능 자격증이 없는 사용자는 디스플레이 시스템의 애플리케이션들에 대한 액세스가 제한될 수 있다. 하나 이상의 센서들은 모션, 이를테면, 모션 중인 사람들 또는 승용차들과 같은 오브젝트들을 검출하도록 구성될 수 있다. 예로서, 검출된 모션에 기반하여, 프로세싱 전자장치는 갑자기 정지하는 차량, 느리게 이동하는 차량, 자전거, 및/또는 보행자의 존재를 결정하도록 구성될 수 있다. 그러한 잠재적으로 위험한 상황들에서, 운전자가 사고들을 피하는 것을 돕기 위해 관련 콘텐츠가 향상될 수 있다(그리고/또는 덜 관련된 세부사항들, 이를테면, 주변들은 경시됨). 예컨대, 관심 오브젝트, 예컨대, 차량, 자전거, 보행자는, 높은 콘트라스트를 제공하는 컬러로 밝게 재-렌더링될 수 있다. 상황을 검출하는 안경류에 기반하여, 경보가 또한 울릴 수 있다. 다른 배경 피처들은, 예컨대, 실제 환경의 그러한 피처 또는 가상 콘텐츠의 피처를 워싱 아웃하거나 덧칠하기 위해 눈에 밝은 컬러 광을 투사함으로써, 경시될 수 있다. 주의산만한 세부사항들을 감소시키기 위해, 균질한 구역이 제공될 수 있다. 다른 예들도 가능하다.
[0291]
다양한 실시예들은 또한, 본원에서 설명된 바와 같은 다른 피처들을 포함할 수 있다. 예컨대, 디스플레이 시스템 또는 디바이스는, 예컨대 이미지 콘텐츠의 변경을 표시하기 위해, 사용자에게 경고를 제공할 수 있다. 경고는 시각적 경고(예컨대, 팝-업, 아이콘, 깜빡이는 빛 등), 촉각 경고(예컨대, 진동), 및/또는 오디오 경고(예컨대, 벨, 음악, 음성 등)를 포함할 수 있다.
[0292]
그에 따라서, 설계에 의존하여, 머리-장착 디스플레이 디바이스는, 사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들, 및 상기 디스플레이 및 상기 외향 카메라들과 통신하는 프로세싱 전자장치를 포함할 수 있다. 프로세싱 전자장치는, 이미지 콘텐츠를 사용자의 시계에 디스플레이하도록, 오브젝트 인식을 하나 이상의 외향 카메라들로부터 수신된 이미지들에 적용함으로써, 사용자의 환경의 하나 이상의 오브젝트들을 인식하도록; 그리고 상기 오브젝트 인식에 기반하여, 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하는 것 또는 이미지 콘텐츠의 렌더링을 향상시키는 것 중 적어도 하나를 하도록 구성될 수 있다. 향상시키는 것은, 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 선명도를 증가시키는 것, 또는 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런싱을 변경하는 것 중 하나 이상을 포함할 수 있다. 경시하는 것은, 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 또는 선명도를 감소시키는 것, 또는 렌더링된 이미지 콘텐츠의 컬러 또는 컬러 밸런싱을 변경하는 것 중 하나 이상을 포함할 수 있다. 하나 이상의 외향 카메라들은 프레임 상에 배치될 수 있다.
[0293]
일부 설계들에서, 머리-장착 디스플레이 디바이스는, 사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들, 및 디스플레이 및 외향 카메라들과 통신하는 프로세싱 전자장치를 포함한다. 프로세싱 전자장치는, 이미지 콘텐츠를 사용자의 시계에 디스플레이하도록 오브젝트 인식을 하나 이상의 외향 카메라들로부터 수신된 이미지들에 적용함으로써, 사용자의 환경의 하나 이상의 오브젝트들을 인식하도록; 그리고 상기 오브젝트 인식에 기반하여, 상기 투명한 부분을 통해 사용자의 눈에 대해 사용자의 전방의 환경의 뷰의 적어도 일부를 경시하도록 구성될 수 있다. 경시하는 것은 투명한 부분을 통해 환경의 뷰의 밝기, 가시성, 선명도, 또는 콘트라스트를 감소시키는 것, 또는 상기 투명한 부분을 통해 환경의 컬러를 변경하는 것 중 하나 이상을 포함할 수 있다. 경시하는 것은, 상기 하나 이상의 외향 카메라들로부터의 이미지들을 디스플레이하는 것 이외에, 상기 투명한 부분을 통해 환경의 뷰를 약화시키기 위해 불투명도 또는 밝기를 증가시키는 것을 포함할 수 있다.
[0294]
또한, 일부 머리 장착 디스플레이 설계들에서, 프로세싱 전자장치는 디스플레이와 통신할 수 있으며, 프로세싱 전자장치는, 이미지 콘텐츠를 사용자의 시계에 디스플레이하도록, 그리고 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하는 것 또는 이미지 콘텐츠의 렌더링을 향상시키는 것 중 적어도 하나를 하도록 구성된다. 향상시키는 것은, 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 선명도를 증가시키는 것, 또는 디스플레이에 의해 디스플레이되는 다른 이미지 콘텐츠에 대해, 렌더링되는 이미지 콘텐츠의 컬러 또는 컬러 밸런싱을 변경하는 것 중 하나 이상을 포함할 수 있다. 경시하는 것은, 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 또는 선명도를 감소시키는 것, 또는 디스플레이에 의해 디스플레이되는 다른 이미지 콘텐츠에 대해, 렌더링되는 이미지 콘텐츠의 컬러 또는 컬러 밸런싱을 변경하는 것 중 하나 이상을 포함할 수 있다. 그에 따라서, 프로세싱 전자장치는 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성될 수 있다. 대안적으로 또는 게다가, 프로세싱 전자장치는 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성된다. 프로세싱 전자장치는 디스플레이에 의해 디스플레이되는 주변 이미지 콘텐츠에 대해, 상기 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 향상시키도록 구성될 수 있다. 프로세싱 전자장치는, 경시 이미지 콘텐츠에 의해 둘러싸이는, 디스플레이에 의해 디스플레이되는 이미지 콘텐츠에 대해, 디스플레이에 의해 디스플레이되는 이미지 콘텐츠의 렌더링을 경시하도록 구성될 수 있다.
[0295]
또한, 머리 장착 디스플레이 디바이스의 설계에 의존하여, 디바이스는, 사용자의 환경의 오브젝트들을 이미징하도록 구성된 하나 이상의 외향 카메라들, 사용자의 눈이 뷰잉하고 있는 곳을 결정하도록 구성된 하나 이상의 눈 추적 센서들, 디스플레이와 통신하는 프로세싱 전자 장치, 외향 카메라, 및 상기 디스플레이 상의 이미지 콘텐츠의 제공을 제어하기 위한 눈 추적 센서들을 포함할 수 있다. 프로세싱 전자장치는, 상기 사용자의 시계에 이미지 콘텐츠를 디스플레이하도록; 눈이 지향되는 오브젝트를 결정하도록; 그리고 눈이 지향되는 오브젝트의 렌더링을 향상시키는 것 또는 눈이 지향되는 오브젝트를 둘러싸는, 디스플레이 상의 이미지의 하나 이상의 피처들을 경시하는 것 중 적어도 하나를 하도록 구성될 수 있다. 따라서, 디스플레이 디바이스는, 사용자가 포커싱하고 있는 오브젝트를 식별할 수 있고, 디스플레이 상에 렌더링될 때 그 오브젝트를 향상시키고 그리고/또는 디스플레이 상에 렌더링되는 다른 오브젝트들을 경시할 수 있다. 프로세싱 전자장치는, 사용자가 포커싱하고 있는 오브젝트를 둘러싸는 하나 이상의 피처들을 디스플레이 상에 디스플레이하도록, 그러나 디스플레이 상에 렌더링될 때, 눈이 지향되는 오브젝트를 둘러싸는 상기 하나 이상의 피처들을 경시하도록 구성될 수 있다.
앞서 논의된 바와 같이, 오브젝트 인식은 배경 속의 오브젝트를 간단히 파악하는 것을 포함할 수 있다. 오브젝트 인식의 다른 형태들은 오브젝트가 무엇인지 그리고 오브젝트와 연관된 기능들 및/또는 특징들을 식별하는 것을 포함할 수 있다.
[0296]
매우 다양한 다른 변동들 및 설계들이 가능하다. 예컨대, 디스플레이 시스템은 사용자의 환경의 오브젝트를 이미징하도록 구성된 외향 카메라를 포함할 수 있다. 디스플레이 시스템은, 본원에서(예컨대, 위에서) 설명된 디스플레이 및/또는 외향 카메라와 통신하는 프로세싱 전자장치를 더 포함할 수 있다. 프로세싱 전자장치는, 사용자가 차량(예컨대, 승용차)을 동작시키고 있음을 결정하도록 구성될 수 있다. 프로세싱 전자장치는 사용자의 시계의 오브젝트를 향상시키도록 구성될 수 있다. 사용자의 시계의 오브젝트를 향상시키는 것은, 사용자의 시계의 제1 위치로부터 제2 위치로 오브젝트의 이미지 콘텐츠를 이동시키는 것을 포함할 수 있다. 대안적으로 또는 부가적으로, 사용자의 시계의 오브젝트를 향상시키는 것은, 향상 없이, 오브젝트의 오리지널 컬러에 대해, 오브젝트의 지각된 컬러를 변경하는 것을 포함할 수 있다. 사용자의 시계의 오브젝트를 향상시키는 것은, 디스플레이되는 이미지 콘텐츠의 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 또는 선명도를 증가시키는 것 중 하나 이상을 포함할 수 있다. 사용자의 시계의 오브젝트를 향상시키는 것은, 부분적으로 투명한 컬러를 오브젝트 위에 중첩시킴으로써 오브젝트를 강조 표시하는 것을 포함할 수 있다.
경시는 또한 잠재적으로 제공될 수 있다. 환경의 실제 오브젝트의 그러한 경시는, 실제 오브젝트들이 덜 가시적이도록, 충분한 밝기의 광을 눈으로 지향시키는 것을 포함할 수 있다. 가상 오브젝트들을 경시하는 것은, 디스플레이되는 가상 이미지 콘텐츠의 콘트라스트, 컬러 포화도, 밝기, 에지 가시성, 불투명도, 또는 선명도를 감소시키는 것을 포함할 수 있다.
[0297]
설계에 의존하여, 머리-장착 디스플레이 디바이스는, 하나 이상의 사용자 레코드들(예컨대, 성과 레코드들)을 포함하도록 구성된 데이터베이스를 포함할 수 있다. 디스플레이 디바이스는 또한, 하나 이상의 사용자 레코드들에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키도록 구성된 프로세싱 전자장치를 포함할 수 있다. 프로세싱 전자장치는, 하나 이상의 사용자 레코드들에 기반하여, 하나 이상의 시스템 및/또는 사용자 애플리케이션들에 대한 사용자 액세스를 가능하게 할 수 있거나 또는 가능하지 않게 할 수 있다. 그러한 애플리케이션들의 예들은, 이메일, 텍스트들, 전화 통화들, 소셜 미디어 연결들 등을 포함할 수 있다. 프로세싱 전자장치들은 하나 이상의 사용자 레코드들에 기반하여, 지정된 양의 이미지 콘텐츠가 디스플레이되게 할 수 있다. 예컨대, 액세스 자격증명(access credential)의 결정 없이, 사용자는, 어떤 애플리케이션들이 사용될 수 있는지에 대해 제한될 수 있다. 대안적으로 또는 부가적으로, 액세스 자격증명의 결정 없이, 지정된 양의 이미지 콘텐츠는 디스플레이되는 것이 제한될 수 있다. 사용자 액세스 자격증명에 기반하여, 디스플레이되는 이미지 콘텐츠의 양이 감소될 수 있다. 하나 이상의 사용자 레코드들은, 운전 레코드, 사고 레코드, 소환 레코드, 학업 성과 레코드, 범죄 레코드, 또는 체포 레코드 중 적어도 하나를 포함할 수 있다(그러나, 이에 제한되지 않음). 대안적으로 또는 부가적으로, 레코드는 사용자의 나이의 레코드를 포함할 수 있다. 하나 이상의 사용자 레코드들에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키는 것은, 디스플레이되는 이미지 콘텐츠에 대한 사용자 액세스를 선택적으로 가능하게 하는 것(예컨대, 특정 애플리케이션들 또는 가상 콘텐츠에 대한 사용자 액세스는 허용되지만, 다른 것들은 허용되지 않음)을 포함할 수 있다. 일부 경우들에서, 디스플레이되는 이미지 콘텐츠의 양을 감소시키는 것은 어떤 이미지 콘텐츠도 또는 실질적으로 어떤 이미지 콘텐츠도 디스플레이하지 않는 것을 포함할 수 있다.
[0298]
디스플레이 디바이스는, 차량의 프로세서와 설정된 통신 링크에 적어도 부분적으로 기반하여 사용자가 차량 부근에 있음을 결정하도록 구성된 프로세싱 전자장치를 포함할 수 있다. 프로세싱 전자장치는 설정된 통신 링크에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키도록 구성될 수 있다. 사용자가 차량 부근에 있음을 결정하는 것은, 사용자가 차량 내에 있음을 그리고/또는 사용자가 차량을 동작시키고 있음을 결정하는 것을 포함할 수 있다. 사용자가 차량을 동작시키고 있음을 결정하는 것은 사용자가 차량(예컨대, 승용차, 보트)을 운전하고 있음을 결정하는 것을 포함할 수 있다. 프로세싱 전자장치는, 환경 센서들, 예컨대 라디오 수신기, 광학 수신기 중 하나에 의해 수신되는 신호에 부분적으로 기반하여, 사용자가 차량 부근에 있음을 결정할 수 있다. 사용자가 차량 부근에 있음을 결정하는 것은 라디오 주파수 신호를 수신 및/또는 전송하는 것 또는 적외선 신호를 전송하는 것 중 적어도 하나를 포함할 수 있다. 프로세싱 전자장치는 또한, 사용자가 차량 부근에 있음을 결정하기 위해, 통신 링크의 설정과 함께 하나 이상의 외향 이미지 센서들(예컨대, 카메라들) 중 하나에 의해 수신되는 이미지를 사용할 수 있다. 설정된 통신 링크에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키는 것은 어떤 이미지 콘텐츠도 디스플레이하지 않는 것 또는 실질적으로 어떤 이미지 콘텐츠도 디스플레이하지 않는 것을 포함할 수 있다.
[0299]
디스플레이 디바이스의 설계에 따르면, 디스플레이 디바이스는 사용자의 환경에서 오브젝트를 이미징하도록 구성된 외향 센서(예컨대, 카메라)를 포함할 수 있다. 디스플레이 디바이스는, 오브젝트의 하나 이상의 포지션들을 식별하도록 구성된 하나 이상의 환경 센서들을 포함할 수 있다. 디스플레이 디바이스의 프로세싱 전자장치는, 사용자가 차량을 동작시키고 있는지 여부를 결정하도록 구성될 수 있다. 프로세싱 전자장치는, 차량이 오브젝트와 충돌하는 것 및 오브젝트가 차량과 충돌하는 것 중 적어도 하나의 위험요소를 결정하도록 구성될 수 있다. 대안적으로 또는 부가적으로, 프로세싱 전자장치는, 사용자가 차량 내부에 있는 것으로 결정되는 동안, 디스플레이되는 이미지 콘텐츠의 양을 감소시키도록 구성될 수 있다. 설계에 의존하여, 프로세싱 전자장치는, 결정된 충돌 위험요소에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키도록 구성될 수 있다. 충돌 위험요소를 결정하는 것은, 하나 이상의 환경 센서들에 의해 식별된 오브젝트의 하나 이상의 포지션들에 기반하여, 오브젝트와 차량이 더 근접하게 되는 레이트를 결정하는 것을 포함할 수 있다.
[0300]
설계에 따르면, 디스플레이 디바이스는, 사용자의 환경의 오브젝트를 이미징하도록 구성된 외향 카메라, 및 디스플레이 상의 이미지 콘텐츠의 제공을 제어하기 위해 디스플레이 및 외향 카메라와 통신하는 프로세싱 전자장치를 포함할 수 있다. 프로세싱 전자장치는, 사용자가 차량을 동작시키고 있음을 결정하고, 사용자의 눈으로부터 상이한 거리들로부터 투사되는 것처럼 상이한 발산량들로 사용자의 시계에 이미지 콘텐츠를 디스플레이하고, 그리고 사용자가 차량을 동작시키고 있다는 결정에 기반하여, 디스플레이되는 이미지 콘텐츠의 양을 감소시키도록 구성된다.
그에 따라서, 설계들에 있어서의 매우 다양한 변동들이 가능하다. 일부 설계들에서, 예컨대, 하나 이상의 애플리케이션들(예컨대, 사용자 애플리케이션들, 시스템 애플리케이션들)의 기능 및/또는 그에 대한 액세스, 및/또는 디스플레이되는 이미지 콘텐츠의 양은 액세스 관리 시스템에 의해 관리될 수 있다. 액세스 관리 시스템은, 하나 이상의 애플리케이션들이 사용될 수 있기 전에 그리고/또는 이미지 콘텐츠가 디스플레이될 수 있기 전에, 로그인 및/또는 패스워드를 요구하도록 구성될 수 있다. 부가적으로 또는 대안적으로, 액세스 관리 시스템은 시스템 세팅들에 기반하여 사용자에 대한 액세스를 제한할 수 있다. 액세스 관리 시스템은, 상이한 세트의 액세스 허가들(예컨대, 어느 애플리케이션들이 사용될 수 있는지, 어떤 이미지 콘텐츠가 디스플레이될 것인지)을 그랜트하도록 구성될 수 있다. 액세스 허가들은 "화이트 리스트"(예컨대, 허용되는 애플리케이션들 및/또는 디스플레이 이미지 콘텐츠의 리스트) 및/또는 "블랙 리스트"(예컨대, 제한되는 애플리케이션들 및/또는 디스플레이 이미지 콘텐츠의 리스트)로서 제공될 수 있다. 설계에 따르면, 액세스 관리 시스템은, 변경될 수 없는 액세스 허가들을 가질 수 있다. 액세스 허가들은 상위(superior) 액세스 허가들에 의해 오버라이드될 수 있다. 예컨대, 부모는 자식의 액세스 허가들을 오버라이드 할 수 있다. 대안적으로, 액세스 허가들은 오버라이드될 수 없을 수 있다. 설계에 의존하여, 이머전시 오버라이드(emergency override)는 특정 애플리케이션들 및/또는 이미지 콘텐츠에 대한 사용자 액세스(예컨대, 제한된 액세스)를 허용할 수 있다. 액세스 관리 시스템은, 동작되고 있는 차량의 타입에 적어도 부분적으로 기반하여, 특정 애플리케이션들 및/또는 이미지 콘텐츠에 대한 액세스를 그랜트할 수 있다. 예컨대, 승용차를 운전하는 동안에는 허용되지 않을 특정 기능이, 보트를 운전하는 사용자에게 제공될 수 있다. 액세스 관리 시스템은, 사용자 레코드들(예컨대, 나이, 운전 레코드, GPA(grade point average), 범죄 레코드, DWD 체포들 등)에 기반하여, 사용자-특정 액세스 허가들을 그랜트할 수 있다. 액세스 관리 시스템은, 차량 타입, 사용자, 디바이스, 현지 관할권의 법률들, 오버라이드 제어 정책, 그 지역의 인구 밀도, 사용자 활동 범위(예컨대, 사용자가 승용차를 운전하는 대신에 승용차에 앉아 있음) 등을 포함하는(그러나, 이에 제한되지 않음) 다양한 팩터들에 기반하여, 애플리케이션들 및/또는 이미지 콘텐츠에 대한 액세스를 그랜트할 수 있거나 또는 그랜트하지 않을 수 있다.
[0301]
부가적으로, 본원에서 설명되고 그리고/또는 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 하드웨어 프로세서들, 주문형 회로 및/또는 특별 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현될 수 있고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 인지될 것이다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들 또는 특수 목적 컴퓨터들, 특수 목적 회로 등으로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들)을 포함할 수 있다. 코드 모듈은 실행가능한 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석형 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 정해진 기능에 특정한 회로에 의해 수행될 수 있다.
[0302]
추가로, 본 개시내용의 기능성의 특정 실시예들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들이 예컨대, 수반된 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들―각각의 프레임은 수백만 개의 픽셀들을 가짐―을 포함할 수 있고, 그리고 상업적으로 적정한 시간량에서 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해, 특수하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0303]
코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능한 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 스토리지, 이들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지 상에 저장될 수 있다. 일부 실시예들에서, 비-일시적 컴퓨터-판독가능한 매체는 로컬 프로세싱 및 데이터 모듈(70), 원격 프로세싱 모듈(72), 및 원격 데이터 저장소(74) 중 하나 이상의 것의 일부일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능한 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형의 컴퓨터 스토리지에 영구적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독가능한 송신 매체를 통해 통신될 수 있다
[0304]
본원에서 설명되고 그리고/또는 첨부된 도면들에 묘사된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은, 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 삭제되거나, 수정되거나 다르게 변경될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한, 임의의 특정 시퀀스로 제한되지 않고, 이에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 임무들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 이들로부터 제거될 수 있다. 게다가, 본원에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로, 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
[0305]
전술한 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조로 설명되었다. 그러나, 본 발명의 광범위한 사상 및 범위를 벗어남 없이 다양한 수정들 및 변경들이 본 발명에 대해 이루어질 수 있다는 것이 명백할 것이다. 그에 따라서, 명세서 및 도면들은 제한적 의미가 아니라 예시적 의미로 간주되어야 한다.
[0306]
사실상, 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 이 양상들 중 어떤 단일의 양상도 본원에 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하도록 의도된다.
[0307]
별개의 실시예들의 맥락에서 본 명세서에서 설명되는 특정 특징들은 또한, 단일 실시예로 결합하여 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한, 다수의 실시예들로 별도로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 동작하는 것으로서 위에서 설명될 수 있고, 심지어 그와 같이 처음에 청구될 수 있지만, 예시화된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 예시화된 조합은 서브조합 또는 서브조합의 변형에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 모든 실시예에 필요하거나 필수적인 것은 아니다.
[0308]
특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는 것을 전달하기 위해 의도된다는 것이 인지될 것이다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을 또는 하나 이상의 실시예들이, 저자(author) 입력 또는 프롬프팅으로 또는 이들 없이, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행될지를 판정하기 위한 로직을 반드시 포함하는 것을 의미하도록 의도되지 않는다. "포함하는(comprising)", "포함하는(including)", "가지는(having)" 등의 용어들은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, "또는"이란 용어는 그의 포괄적인 의미(및 그의 배타적 의미가 아님)로 사용되어, 예컨대 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이란 용어는 리스트 내 엘리먼트들 중 하나, 일부 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 예들에 사용되는 단수 표현들은 다르게 특정되지 않으면 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다. 유사하게, 동작들이 특정 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행될 필요가 없거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 추가로, 도면들은 흐름도 형태로 하나 이상의 예시적 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은 예시된 동작들 중 임의의 동작 이전에, 이후에, 동시에, 또는 중간에 수행될 수 있다. 부가적으로, 동작들은 다른 실시예들에서 재배열되거나 재정렬될 수 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 실시예들은 하기의 예들의 범위 내에 있다. 일부 경우들에서, 예들에 열거된 액션들은 상이한 순서로 수행될 수 있고 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
[0309]
따라서, 본 개시내용은 본원에 도시된 예들 또는 실시예들로 제한되는 것으로 의도되는 것이 아니라, 본원에 개시된 본 개시내용, 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합될 것이다. 예컨대, 본 개시내용 내의 다수의 예들은 의료 분야에서의 의료 애플리케이션들과 관련하여 제공되지만, 본원에서 설명되는 특정 실시예들은 광범위한 다른 애플리케이션들에 대해 그리고/또는 많은 다른 상황들에서 구현될 수 있다.
Claims (29)
- 증강 현실 이미지 콘텐츠를 디스플레이하기 위해 사용자의 눈에 광을 투사하도록 구성된 머리-장착 디스플레이 시스템으로서,
상기 사용자의 눈은 중앙 구역 및 상기 중앙 구역 주위에 배치된 주변 구역을 갖는 시계(vision field)를 가지며,
상기 머리-장착 디스플레이 시스템은:
상기 사용자의 머리 상에 지지되도록 구성된 프레임;
상기 프레임 상에 배치된 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 이미지 콘텐츠를 제공하기 위하여 상기 사용자의 눈으로 광을 투사하도록 구성되며, 상기 디스플레이의 적어도 일부는 투명하고 상기 사용자가 상기 머리-장착 디스플레이 시스템을 착용할 때 상기 사용자의 눈의 전방의 위치에 배치되어, 상기 투명한 부분은 상기 사용자의 전방의 환경의 일부의 뷰를 제공하기 위하여 상기 사용자의 전방의 환경의 일부로부터의 광을 상기 사용자의 눈으로 투과시킴 ―;
상기 환경의 조명 조건을 캡처하도록 구성되는 하나 이상의 캡처 디바이스들 ― 상기 조명 조건은 상기 환경의 주위 광 휘도를 포함함 ―;
상기 디스플레이에 대한 이미지 콘텐츠의 제공을 제어하기 위하여 상기 디스플레이와 통신하는 프로세싱 전자장치
를 포함하며, 상기 머리-장착 디스플레이 시스템은 상기 사용자의 눈의 위치에 광을 투사하여 상기 사용자의 시계의 부분에 이미지 콘텐츠를 제공하도록 구성되고, 상기 광이 투사되는 상기 사용자의 눈의 위치는 상기 환경의 주위 광 휘도에 적어도 부분적으로 기반하는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 주위 광 휘도는 명소시(photopic) 조명 조건을 포함하고, 상기 명소시 조명 조건 하에서, 상기 광이 투사되는 상기 사용자의 눈의 위치는 상기 사용자의 눈의 추상체(cone)들의 밀도에 기반하는,
머리-장착 디스플레이 시스템. - 제2 항에 있어서,
상기 환경의 명소시 조명 조건은 10 cd/m2 내지 108 cd/m2 의 휘도를 갖는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
명소시 조명 조건 하에서, 상기 사용자의 시계의 부분은 상기 중앙 구역을 포함하는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
명소시 조명 조건 하에서, 상기 투사된 광 위치는 중심와로부터 0 내지 5도 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 주위 광 휘도는 암소시(scotopic) 조명 조건을 포함하고, 상기 암소시 조명 조건 하에서, 상기 광이 투사되는 상기 사용자의 눈의 위치는 상기 사용자의 눈의 간상체(rod)들의 밀도에 기반하는,
머리-장착 디스플레이 시스템. - 제6 항에 있어서,
상기 환경의 암소시 조명 조건은 10-3.5 cd/m2 내지 10-6 cd/m2의 휘도를 갖는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
암소시 조명 조건 하에서, 상기 사용자의 시계의 일부는 상기 주변 구역을 포함하는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 주위 광 휘도는 암소시 조명 조건을 포함하고, 상기 암소시 조명 조건 하에서, 상기 광이 투사되는 상기 사용자의 눈의 위치는 중심와로부터 15 내지 20도의 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 주위 광 휘도는 암소시 조명 조건을 포함하고, 상기 암소시 조명 조건 하에서, 상기 광이 투사되는 상기 사용자의 눈의 위치는 중심와로부터 25 내지 35도의 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 주위 광 휘도는 박명시(mesopic) 조명 조건을 포함하고, 상기 박명시 조명 조건 하에서, 상기 광이 투사되는 상기 사용자의 눈의 위치는 상기 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 환경의 박명시 조명 조건은 10-3 cd/m2 내지 100.5 cd/m2의 휘도를 갖는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 시스템은 상기 박명시 조명 조건에서 소비되는 시간에 적어도 부분적으로 기반하여 상기 사용자의 눈에서 추상체들이 우세한지 또는 간상체들이 우세한지 여부를 결정하도록 구성되는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 추상체들이 상기 사용자의 눈에서 우세할 때 상기 추상체들의 밀도에 기반하는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 사용자의 시계의 부분은 상기 중앙 구역을 포함하는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 중심와로부터 0 내지 5도 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 간상체들이 상기 사용자의 눈에서 우세할 때 상기 사용자의 눈의 간상체들의 밀도에 기반하는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 사용자의 시계의 부분은 상기 주변 구역을 포함하는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 중심와로부터 15 내지 20도의 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제11 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 중심와로부터 25 내지 35도의 범위로 벗어나 있는,
머리-장착 디스플레이 시스템. - 제1 항에 있어서,
상기 광이 투사되는 상기 사용자의 눈의 위치는 상기 주위 광 휘도가 특정 휘도 레벨에 있는 시간의 양에 적어도 부분적으로 기반하는,
머리-장착 디스플레이 시스템. - 제21 항에 있어서,
상기 주위 광 휘도가 상기 특정 휘도 레벨에 있는 시간의 양을 모니터링하기 위한 타이밍 디바이스를 포함하는,
머리-장착 디스플레이 시스템. - 제21 항에 있어서,
상기 머리-장착 디스플레이 시스템은 상기 주위 광 휘도, 상기 주위 광 휘도가 상기 특정 휘도 레벨에 있는 시간의 양, 또는 상기 주위 광 휘도 및 상기 주위 광 휘도가 상기 특정 휘도 레벨에 있는 시간의 양 모두에 적어도 부분적으로 기반하여 상기 사용자의 눈에 투사되는 이미지 콘텐츠를 수정하도록 구성되는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 머리-장착 디스플레이 시스템은 상기 광이 투사되는 위치에 적어도 부분적으로 기반하여 상기 사용자의 눈에 투사되는 이미지 콘텐츠를 수정하도록 구성되는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 이미지 콘텐츠의 수정은 상기 이미지 콘텐츠의 사이즈를 변경하는 것을 포함하는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 이미지 콘텐츠의 수정은 상기 이미지 콘텐츠의 콘트라스트를 변경하는 것을 포함하는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 이미지 콘텐츠의 수정은 상기 이미지 콘텐츠의 컬러 포화도를 변경하는 것을 포함하는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 이미지 콘텐츠의 수정은 상기 이미지 콘텐츠의 선명도를 변경하는 것을 포함하는,
머리-장착 디스플레이 시스템. - 제23 항에 있어서,
상기 이미지 콘텐츠의 수정은 상기 이미지 콘텐츠의 밝기를 변경하는 것을 포함하는,
머리-장착 디스플레이 시스템.
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662366599P | 2016-07-25 | 2016-07-25 | |
| US62/366,599 | 2016-07-25 | ||
| US201662396071P | 2016-09-16 | 2016-09-16 | |
| US62/396,071 | 2016-09-16 | ||
| US201662440332P | 2016-12-29 | 2016-12-29 | |
| US62/440,332 | 2016-12-29 | ||
| KR1020227037695A KR102577634B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| PCT/US2017/043555 WO2018022523A1 (en) | 2016-07-25 | 2017-07-24 | Imaging modification, display and visualization using augmented and virtual reality eyewear |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227037695A Division KR102577634B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230133940A true KR20230133940A (ko) | 2023-09-19 |
Family
ID=61016802
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237030543A KR20230133940A (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| KR1020197005428A KR102461953B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| KR1020227037695A KR102577634B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197005428A KR102461953B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| KR1020227037695A KR102577634B1 (ko) | 2016-07-25 | 2017-07-24 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
Country Status (9)
| Country | Link |
|---|---|
| US (4) | US10838210B2 (ko) |
| EP (2) | EP4345831A3 (ko) |
| JP (3) | JP7182538B2 (ko) |
| KR (3) | KR20230133940A (ko) |
| CN (1) | CN109791295A (ko) |
| AU (3) | AU2017301435B2 (ko) |
| CA (1) | CA3031771A1 (ko) |
| IL (4) | IL292427B2 (ko) |
| WO (1) | WO2018022523A1 (ko) |
Families Citing this family (135)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11918375B2 (en) * | 2014-09-05 | 2024-03-05 | Beijing Zitiao Network Technology Co., Ltd. | Wearable environmental pollution monitor computer apparatus, systems, and related methods |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| US9836895B1 (en) * | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
| JP6714085B2 (ja) * | 2015-12-29 | 2020-06-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法 |
| TWI589274B (zh) * | 2016-07-05 | 2017-07-01 | da-quan Ye | 心理臨床應用的虛擬實境系統 |
| KR20230133940A (ko) | 2016-07-25 | 2023-09-19 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| DE112016007015T5 (de) * | 2016-07-29 | 2019-03-21 | Mitsubishi Electric Corporation | Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP3343267B1 (en) | 2016-12-30 | 2024-01-24 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| EP3343957B1 (en) * | 2016-12-30 | 2022-07-06 | Nokia Technologies Oy | Multimedia content |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| CA3050122C (en) * | 2017-03-06 | 2020-07-28 | E Ink Corporation | Method and apparatus for rendering color images |
| JP7189939B2 (ja) | 2017-05-05 | 2022-12-14 | ストライカー・ユーロピアン・オペレーションズ・リミテッド | 手術ナビゲーションシステム |
| US11221823B2 (en) * | 2017-05-22 | 2022-01-11 | Samsung Electronics Co., Ltd. | System and method for context-based interaction for electronic devices |
| CN107272202A (zh) * | 2017-06-16 | 2017-10-20 | 北京灵犀微光科技有限公司 | 光学装置和波导显示装置 |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| CN110998674B (zh) * | 2017-08-09 | 2023-11-24 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| US20190061617A1 (en) * | 2017-08-29 | 2019-02-28 | GM Global Technology Operations LLC | Audio Control Systems And Methods Based On Driver Helmet Use |
| US10510812B2 (en) | 2017-11-09 | 2019-12-17 | Lockheed Martin Corporation | Display-integrated infrared emitter and sensor structures |
| CN111448497B (zh) | 2017-12-10 | 2023-08-04 | 奇跃公司 | 光波导上的抗反射涂层 |
| US11266849B2 (en) * | 2017-12-12 | 2022-03-08 | Eb Neuro S.P.A. | Control device and a machine for interactive cerebral and bodily navigation with real-time anatomical display and control functions |
| US11124136B2 (en) * | 2017-12-19 | 2021-09-21 | GM Global Technology Operations LLC | Controlling vehicle modules based on media content |
| CN111712751B (zh) | 2017-12-20 | 2022-11-01 | 奇跃公司 | 用于增强现实观看设备的插入件 |
| US10665023B2 (en) * | 2017-12-26 | 2020-05-26 | Disney Enterprises, Inc. | System and method for providing improved augmented reality content |
| US11304763B2 (en) * | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
| US20190246946A1 (en) * | 2018-02-15 | 2019-08-15 | Covidien Lp | 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking |
| US11417071B1 (en) | 2018-02-23 | 2022-08-16 | Red Pacs, Llc | Virtual toolkit for radiologists |
| WO2019177711A1 (en) * | 2018-03-13 | 2019-09-19 | Intuitive Surgical Operations, Inc. | Methods of guiding manual movement of medical systems |
| EP3766039A4 (en) | 2018-03-15 | 2021-04-07 | Magic Leap, Inc. | IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE |
| CN112136094A (zh) * | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| CN110324528A (zh) * | 2018-03-28 | 2019-10-11 | 富泰华工业（深圳）有限公司 | 摄像装置、影像处理系统及方法 |
| US10922862B2 (en) * | 2018-04-05 | 2021-02-16 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on headset display based on one or more condition(s) |
| US10872470B2 (en) | 2018-04-05 | 2020-12-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of content at headset display based on other display not being viewable |
| US10565718B2 (en) | 2018-04-18 | 2020-02-18 | Faro Technologies, Inc. | System and method of scanning an environment |
| US10916065B2 (en) * | 2018-05-04 | 2021-02-09 | Facebook Technologies, Llc | Prevention of user interface occlusion in a virtual reality environment |
| US10504290B2 (en) * | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
| WO2019231850A1 (en) | 2018-05-31 | 2019-12-05 | Magic Leap, Inc. | Radar head pose localization |
| US11422764B1 (en) | 2018-06-03 | 2022-08-23 | Epic Optix, Inc. | Multi-platform integrated display |
| US10497161B1 (en) | 2018-06-08 | 2019-12-03 | Curious Company, LLC | Information display by overlay on an object |
| WO2019241340A1 (en) * | 2018-06-12 | 2019-12-19 | Current Lighting Solutions, Llc | Integrated management of sensitive controlled environments and items contained therein |
| US11430215B2 (en) | 2018-06-20 | 2022-08-30 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
| WO2019245543A1 (en) * | 2018-06-20 | 2019-12-26 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
| JP7008220B2 (ja) * | 2018-06-21 | 2022-01-25 | パナソニックＩｐマネジメント株式会社 | 映像表示システム、映像表示方法、プログラム、及び移動体 |
| JP7026325B2 (ja) * | 2018-06-21 | 2022-02-28 | パナソニックＩｐマネジメント株式会社 | 映像表示システム、映像表示方法、プログラム、及び移動体 |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US10818088B2 (en) | 2018-07-10 | 2020-10-27 | Curious Company, LLC | Virtual barrier objects |
| CN112740666A (zh) | 2018-07-19 | 2021-04-30 | 艾科缇弗外科公司 | 自动手术机器人视觉系统中多模态感测深度的系统和方法 |
| US10679393B2 (en) | 2018-07-24 | 2020-06-09 | Snap Inc. | Conditional modification of augmented reality object |
| JP7438188B2 (ja) | 2018-08-03 | 2024-02-26 | マジック リープ， インコーポレイテッド | ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正 |
| US10991148B2 (en) * | 2018-08-13 | 2021-04-27 | Canon Medical Systems Corporation | Medical image rendering method and apparatus |
| US11244509B2 (en) | 2018-08-20 | 2022-02-08 | Fisher-Rosemount Systems, Inc. | Drift correction for industrial augmented reality applications |
| WO2020041693A1 (en) * | 2018-08-24 | 2020-02-27 | David Byron Douglas | A virtual tool kit for radiologists |
| US11030813B2 (en) * | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
| US20200082576A1 (en) * | 2018-09-11 | 2020-03-12 | Apple Inc. | Method, Device, and System for Delivering Recommendations |
| US11508127B2 (en) * | 2018-11-13 | 2022-11-22 | Disney Enterprises, Inc. | Capturing augmented reality on a head mounted display |
| CN114879840A (zh) * | 2018-11-23 | 2022-08-09 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| US11055913B2 (en) | 2018-12-04 | 2021-07-06 | Curious Company, LLC | Directional instructions in an hybrid reality system |
| US10963757B2 (en) | 2018-12-14 | 2021-03-30 | Industrial Technology Research Institute | Neural network model fusion method and electronic device using the same |
| US11501499B2 (en) | 2018-12-20 | 2022-11-15 | Snap Inc. | Virtual surface modification |
| US10970935B2 (en) * | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
| US11023769B2 (en) * | 2019-01-16 | 2021-06-01 | Lenovo (Singapore) Pte. Ltd. | Modifying an image based on identifying a feature |
| US11031128B2 (en) | 2019-01-25 | 2021-06-08 | Fresenius Medical Care Holdings, Inc. | Augmented reality-based training and troubleshooting for medical devices |
| US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
| US11532132B2 (en) * | 2019-03-08 | 2022-12-20 | Mubayiwa Cornelious MUSARA | Adaptive interactive medical training program with virtual patients |
| CN113544766A (zh) | 2019-03-12 | 2021-10-22 | 奇跃公司 | 在第一和第二增强现实观看器之间配准本地内容 |
| US10872584B2 (en) | 2019-03-14 | 2020-12-22 | Curious Company, LLC | Providing positional information using beacon devices |
| US20200315734A1 (en) * | 2019-04-04 | 2020-10-08 | The Board Of Regents Of The University Of Oklahoma | Surgical Enhanced Visualization System and Method of Use |
| US11024096B2 (en) | 2019-04-29 | 2021-06-01 | The Board Of Trustees Of The Leland Stanford Junior University | 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device |
| US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
| CN110376737B (zh) * | 2019-05-28 | 2022-09-30 | 京东方科技集团股份有限公司 | 光学显示系统、显示控制装置和增强现实设备 |
| US11265487B2 (en) | 2019-06-05 | 2022-03-01 | Mediatek Inc. | Camera view synthesis on head-mounted display for virtual reality and augmented reality |
| US10799090B1 (en) * | 2019-06-13 | 2020-10-13 | Verb Surgical Inc. | Method and system for automatically turning on/off a light source for an endoscope during a surgery |
| CN110457990B (zh) * | 2019-06-19 | 2020-06-12 | 特斯联（北京）科技有限公司 | 一种机器学习的安防监控视频遮挡智能填补方法与系统 |
| KR20220021904A (ko) | 2019-06-23 | 2022-02-22 | 루머스 리미티드 | 포비티드 광학 보정에 의한 디스플레이 |
| US10976816B2 (en) * | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| JP7198950B2 (ja) * | 2019-07-12 | 2023-01-04 | ニューラリンク コーポレーション | ロボット脳外科手術用の光コヒーレンストモグラフィ |
| US11022972B2 (en) * | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
| CN110364096B (zh) * | 2019-08-12 | 2024-04-05 | 张枫 | 一种体三维显示装置 |
| US20210065374A1 (en) * | 2019-08-26 | 2021-03-04 | Organize Everything Inc. | System and method for extracting outlines of physical objects |
| US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
| US11232646B2 (en) | 2019-09-06 | 2022-01-25 | Snap Inc. | Context-based virtual object rendering |
| WO2021081845A1 (zh) * | 2019-10-30 | 2021-05-06 | 未艾医疗技术(深圳)有限公司 | 一种基于vrds ai的肝脏肿瘤和血管分析方法及相关产品 |
| CN110930811B (zh) * | 2019-11-11 | 2020-10-16 | 北京交通大学 | 一种适用于无人驾驶决策学习和训练的系统 |
| US11733761B2 (en) | 2019-11-11 | 2023-08-22 | Intel Corporation | Methods and apparatus to manage power and performance of computing devices based on user presence |
| WO2021097323A1 (en) | 2019-11-15 | 2021-05-20 | Magic Leap, Inc. | A viewing system for use in a surgical environment |
| JP7467623B2 (ja) | 2019-11-26 | 2024-04-15 | マジック リープ， インコーポレイテッド | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
| CN110989203A (zh) * | 2019-11-28 | 2020-04-10 | 四川泛华航空仪表电器有限公司 | 一种360度视野的眼镜及其使用方法 |
| US20210161596A1 (en) * | 2019-12-02 | 2021-06-03 | SG Devices LLC | Augmented reality display of surgical imaging |
| US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| US11886001B2 (en) * | 2019-12-20 | 2024-01-30 | Snap Inc. | Optical waveguide fabrication process |
| US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
| US11360528B2 (en) | 2019-12-27 | 2022-06-14 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
| US20210200845A1 (en) * | 2019-12-31 | 2021-07-01 | Atlassian Pty Ltd. | Illumination-based user authentication |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US11789688B1 (en) | 2020-03-26 | 2023-10-17 | Apple Inc. | Content presentation based on environmental data |
| WO2021211986A1 (en) * | 2020-04-17 | 2021-10-21 | Activ Surgical, Inc. | Systems and methods for enhancing medical images |
| US11641460B1 (en) | 2020-04-27 | 2023-05-02 | Apple Inc. | Generating a volumetric representation of a capture region |
| US11922581B2 (en) * | 2020-05-08 | 2024-03-05 | Coviden Lp | Systems and methods of controlling an operating room display using an augmented reality headset |
| US20210390882A1 (en) * | 2020-06-16 | 2021-12-16 | Venu Iyengar | Blind assist eyewear with geometric hazard detection |
| CN115803779A (zh) * | 2020-06-29 | 2023-03-14 | 斯纳普公司 | 分析增强现实内容使用数据 |
| CN111831118B (zh) * | 2020-07-10 | 2022-12-30 | 清华大学 | 一种基于增强现实的三维脑电显示方法及其显示系统 |
| US11816887B2 (en) * | 2020-08-04 | 2023-11-14 | Fisher-Rosemount Systems, Inc. | Quick activation techniques for industrial augmented reality applications |
| CN114114518A (zh) * | 2020-08-28 | 2022-03-01 | 中强光电股份有限公司 | 光波导、光波导的制作方法以及头戴式显示装置 |
| CN112037340A (zh) * | 2020-09-09 | 2020-12-04 | 中电建冀交高速公路投资发展有限公司 | 基于增强现实技术的隧道衬砌病害查看方法及穿戴式设备 |
| JP2022052475A (ja) * | 2020-09-23 | 2022-04-04 | セイコーエプソン株式会社 | 表示制御装置および表示制御プログラム |
| US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
| US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
| US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
| US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
| US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
| TWI756944B (zh) * | 2020-11-27 | 2022-03-01 | 國立臺北科技大學 | 融合混增實境及虛擬實境之教學系統及其方法 |
| CN114721497A (zh) * | 2020-12-22 | 2022-07-08 | 鸿富成精密电子(成都)有限公司 | 基于混合现实的培训方法、电子设备及存储介质 |
| WO2022146169A1 (en) * | 2020-12-30 | 2022-07-07 | Ringcentral, Inc., (A Delaware Corporation) | System and method for noise cancellation |
| US11831665B2 (en) | 2021-01-04 | 2023-11-28 | Bank Of America Corporation | Device for monitoring a simulated environment |
| CN117043843A (zh) * | 2021-01-15 | 2023-11-10 | 索尼半导体解决方案公司 | 图像显示设备与图像显示方法 |
| US11736679B2 (en) * | 2021-01-27 | 2023-08-22 | Meta Platforms Technologies, Llc | Reverse pass-through glasses for augmented reality and virtual reality devices |
| JP2022133176A (ja) * | 2021-03-01 | 2022-09-13 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| US11669159B2 (en) * | 2021-03-22 | 2023-06-06 | Microsoft Technology Licensing, Llc | Eye tracker illumination through a waveguide |
| CN112734939A (zh) * | 2021-03-23 | 2021-04-30 | 济南浪潮高新科技投资发展有限公司 | 基于ar可穿戴设备和视觉拥挤神经机制的优化显示方法 |
| JP7345866B2 (ja) * | 2021-03-23 | 2023-09-19 | 国立大学法人 東京大学 | 情報処理システム、情報処理方法及びプログラム |
| CN113297723B (zh) * | 2021-04-22 | 2022-11-08 | 哈尔滨理工大学 | 基于均值漂移-灰色关联分析的电主轴温度测点优化方法 |
| WO2022235886A1 (en) * | 2021-05-07 | 2022-11-10 | Snap Inc. | Virtual tastings and guided tours for augmented reality experiences |
| CN113297789B (zh) * | 2021-05-17 | 2024-03-19 | 南京大学 | 一种基于机器学习的声涡旋分束器设计方法 |
| CN115373064A (zh) | 2021-05-20 | 2022-11-22 | 中强光电股份有限公司 | 光波导 |
| US20220374543A1 (en) * | 2021-05-24 | 2022-11-24 | Samsung Electronics Co., Ltd. | Method and apparatus for removing privacy sensitive objects in an augmented reality system |
| KR102615906B1 (ko) * | 2021-07-16 | 2023-12-21 | 고려대학교 산학협력단 | 의료 환경의 가상 현실을 구현하기 위한 전자 장치 |
| WO2023009853A1 (en) * | 2021-07-29 | 2023-02-02 | Meta Platforms Technologies, Llc | User interface to select field of view of a camera in smart glasses |
| US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
| US11741861B1 (en) | 2022-02-08 | 2023-08-29 | Lumus Ltd. | Optical system including selectively activatable facets |
| US20230264706A1 (en) * | 2022-02-22 | 2023-08-24 | Toyota Research Institute, Inc. | Varying extended reality content based on risk level of a driving environment |
| WO2023205145A1 (en) * | 2022-04-18 | 2023-10-26 | Mobeus Industries, Inc. | Interactive reality computing experience using multi-layer projections to create an illusion of depth |
Family Cites Families (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| JP3058004B2 (ja) * | 1994-03-23 | 2000-07-04 | キヤノン株式会社 | 目視制御画像表示装置 |
| US5913079A (en) * | 1995-07-31 | 1999-06-15 | Canon Kabushiki Kaisha | Optical apparatus having a line of sight detection device |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| JP3492942B2 (ja) * | 1999-06-30 | 2004-02-03 | 株式会社東芝 | 装着型情報呈示装置および方法および記憶媒体 |
| US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
| WO2005006290A1 (en) | 2003-06-30 | 2005-01-20 | E Ink Corporation | Methods for driving electro-optic displays |
| DE10331592A1 (de) * | 2003-07-08 | 2005-02-03 | Carl Zeiss Meditec Ag | Augenuntersuchungsgerät |
| JP4281462B2 (ja) | 2003-08-08 | 2009-06-17 | 日産自動車株式会社 | 車両用表示装置 |
| US8778022B2 (en) | 2004-11-02 | 2014-07-15 | E-Vision Smart Optics Inc. | Electro-active intraocular lenses |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| JP5036177B2 (ja) | 2005-12-12 | 2012-09-26 | オリンパス株式会社 | 情報表示装置 |
| JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| JP2009288529A (ja) * | 2008-05-29 | 2009-12-10 | Keio Gijuku | 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム |
| ES2459440T3 (es) | 2008-07-11 | 2014-05-09 | Tomtom Global Content B.V. | Aparato y método para presentar una vista de cruce |
| CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| US8482562B2 (en) * | 2009-12-03 | 2013-07-09 | International Business Machines Corporation | Vision-based computer control |
| US8847972B2 (en) * | 2010-01-20 | 2014-09-30 | Intellectual Ventures Fund 83 Llc | Adapting display color for low luminance conditions |
| US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
| EP2383695A1 (en) * | 2010-04-28 | 2011-11-02 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Apparent display resolution enhancement for moving images |
| US9557812B2 (en) * | 2010-07-23 | 2017-01-31 | Gregory A. Maltz | Eye gaze user interface and calibration method |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| JP6185844B2 (ja) | 2010-12-24 | 2017-08-30 | マジック リープ， インコーポレイテッド | 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム |
| CN103635891B (zh) | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
| US8223088B1 (en) | 2011-06-09 | 2012-07-17 | Google Inc. | Multimode input field for a head-mounted display |
| US8988474B2 (en) | 2011-07-18 | 2015-03-24 | Microsoft Technology Licensing, Llc | Wide field-of-view virtual image projector |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
| CA3024054C (en) | 2011-11-23 | 2020-12-29 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
| WO2013085193A1 (ko) * | 2011-12-06 | 2013-06-13 | 경북대학교 산학협력단 | 사용자 인지 향상 장치 및 그 인지 향상 방법 |
| US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
| WO2013152205A1 (en) | 2012-04-05 | 2013-10-10 | Augmented Vision Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
| US20130300634A1 (en) | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for determining representations of displayed information based on focus distance |
| CN104395857A (zh) | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
| US9210413B2 (en) | 2012-05-15 | 2015-12-08 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
| US10502876B2 (en) * | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
| CN104737061B (zh) | 2012-06-11 | 2018-01-16 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9219901B2 (en) * | 2012-06-19 | 2015-12-22 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
| EP2895910A4 (en) | 2012-09-11 | 2016-04-20 | Magic Leap Inc | ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM |
| JP6040715B2 (ja) * | 2012-11-06 | 2016-12-07 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| US9247779B1 (en) * | 2012-11-08 | 2016-02-02 | Peter Aloumanis | Enhanced global positioning system (GPS) based functionality for helmets |
| US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| US9812046B2 (en) * | 2013-01-10 | 2017-11-07 | Microsoft Technology Licensing, Llc | Mixed reality display accommodation |
| US9395543B2 (en) * | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
| US10151875B2 (en) | 2013-01-15 | 2018-12-11 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
| JP6375591B2 (ja) | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
| US9699433B2 (en) | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
| GB201301958D0 (en) * | 2013-02-04 | 2013-03-20 | Polyphotonix Ltd | Medical apparatus,system and method |
| US9030103B2 (en) | 2013-02-08 | 2015-05-12 | Cree, Inc. | Solid state light emitting devices including adjustable scotopic / photopic ratio |
| KR102387314B1 (ko) | 2013-03-11 | 2022-04-14 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| NZ751602A (en) | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
| US9596508B2 (en) * | 2013-03-15 | 2017-03-14 | Sony Corporation | Device for acquisition of viewer interest when viewing content |
| US10109075B2 (en) * | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
| US9245388B2 (en) | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
| US9965062B2 (en) | 2013-06-06 | 2018-05-08 | Microsoft Technology Licensing, Llc | Visual enhancements based on eye tracking |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| KR102165444B1 (ko) | 2013-08-28 | 2020-10-14 | 엘지전자 주식회사 | 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 |
| EP3058418B1 (en) | 2013-10-16 | 2023-10-04 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| WO2015077766A1 (en) * | 2013-11-25 | 2015-05-28 | Pcms Holdings, Inc. | Systems and methods for providing augmenting reality information associated with signage |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| KR102268462B1 (ko) | 2013-11-27 | 2021-06-22 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| TWI516804B (zh) * | 2014-01-02 | 2016-01-11 | 廣達電腦股份有限公司 | 頭戴式顯示裝置及其背光調整方法 |
| US9766463B2 (en) * | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9651784B2 (en) * | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| EP3100098B8 (en) | 2014-01-31 | 2022-10-05 | Magic Leap, Inc. | Multi-focal display system and method |
| EP4071537A1 (en) | 2014-01-31 | 2022-10-12 | Magic Leap, Inc. | Multi-focal display system |
| US9639968B2 (en) | 2014-02-18 | 2017-05-02 | Harman International Industries, Inc. | Generating an augmented view of a location of interest |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| WO2015161307A1 (en) | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US20150317956A1 (en) * | 2014-04-30 | 2015-11-05 | International Business Machines Corporation | Head mounted display utilizing compressed imagery in the visual periphery |
| US20150324568A1 (en) * | 2014-05-09 | 2015-11-12 | Eyefluence, Inc. | Systems and methods for using eye signals with secure mobile communications |
| KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
| US9472023B2 (en) * | 2014-10-06 | 2016-10-18 | Toyota Jidosha Kabushiki Kaisha | Safety system for augmenting roadway objects on a heads-up display |
| JP6277933B2 (ja) * | 2014-10-10 | 2018-02-14 | 株式会社デンソー | 表示制御装置、表示システム |
| JP2018504733A (ja) * | 2014-10-21 | 2018-02-15 | フィリップス ライティング ホールディング ビー ヴィ | 発光分布のハンズフリー設定のためのシステム、方法、及びコンピュータプログラム |
| US20160131905A1 (en) | 2014-11-07 | 2016-05-12 | Kabushiki Kaisha Toshiba | Electronic apparatus, method and storage medium |
| US10121063B2 (en) * | 2015-01-12 | 2018-11-06 | BMT Business Meets Technology Holding AG | Wink gesture based control system |
| IL293029B2 (en) | 2015-03-16 | 2023-06-01 | Magic Leap Inc | Augmented reality signal oximeter |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US10241350B1 (en) * | 2015-07-06 | 2019-03-26 | Peter Davis Poulsen | Mapping a central visual field onto a peripheral visual sensor |
| NZ741866A (en) | 2015-10-20 | 2019-07-26 | Magic Leap Inc | Selecting virtual objects in a three-dimensional space |
| CN108605120A (zh) * | 2016-01-29 | 2018-09-28 | 惠普发展公司，有限责任合伙企业 | 基于关于显示器的眼调节的观看设备调整 |
| KR102643105B1 (ko) | 2016-05-09 | 2024-03-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
| US20170353714A1 (en) * | 2016-06-06 | 2017-12-07 | Navid Poulad | Self-calibrating display system |
| EP3472828B1 (en) | 2016-06-20 | 2022-08-10 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| KR20230050479A (ko) | 2016-07-25 | 2023-04-14 | 매직 립, 인코포레이티드 | 광 필드 프로세서 시스템 |
| KR20230133940A (ko) | 2016-07-25 | 2023-09-19 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
-
2017
- 2017-07-24 KR KR1020237030543A patent/KR20230133940A/ko active Application Filing
- 2017-07-24 US US15/657,589 patent/US10838210B2/en active Active
- 2017-07-24 CN CN201780059031.6A patent/CN109791295A/zh active Pending
- 2017-07-24 EP EP24157237.9A patent/EP4345831A3/en active Pending
- 2017-07-24 IL IL292427A patent/IL292427B2/en unknown
- 2017-07-24 JP JP2019503537A patent/JP7182538B2/ja active Active
- 2017-07-24 AU AU2017301435A patent/AU2017301435B2/en active Active
- 2017-07-24 CA CA3031771A patent/CA3031771A1/en active Pending
- 2017-07-24 IL IL298851A patent/IL298851B2/en unknown
- 2017-07-24 WO PCT/US2017/043555 patent/WO2018022523A1/en unknown
- 2017-07-24 KR KR1020197005428A patent/KR102461953B1/ko active IP Right Grant
- 2017-07-24 KR KR1020227037695A patent/KR102577634B1/ko active IP Right Grant
- 2017-07-24 EP EP17835070.8A patent/EP3488283B1/en active Active
-
2019
- 2019-01-20 IL IL264350A patent/IL264350B/en unknown
-
2020
- 2020-02-13 US US16/790,576 patent/US11327312B2/en active Active
-
2021
- 2021-12-16 US US17/644,776 patent/US11808943B2/en active Active
-
2022
- 2022-03-14 JP JP2022039089A patent/JP2022087104A/ja not_active Withdrawn
- 2022-10-11 AU AU2022252723A patent/AU2022252723B2/en active Active
-
2023
- 2023-06-29 IL IL304145A patent/IL304145A/en unknown
- 2023-07-06 JP JP2023111338A patent/JP2023126317A/ja active Pending
- 2023-08-09 AU AU2023214273A patent/AU2023214273A1/en active Pending
- 2023-09-27 US US18/475,688 patent/US20240053612A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11808943B2 (en) | Imaging modification, display and visualization using augmented and virtual reality eyewear | |
| JP7091531B2 (ja) | 身体上ジェスチャ・インターフェース及び投影表示のための方法 | |
| EP3809966B1 (en) | Extended reality visualization of range of motion | |
| CN109788901B (zh) | 光场处理器系统 | |
| JP5887026B2 (ja) | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 | |
| CN116230153A (zh) | 医疗助理 | |
| US20220240779A1 (en) | Telemedicine System With Dynamic Imaging | |
| CN116324610A (zh) | 改善视网膜损伤患者视力的系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |