KR102653388B1 - 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 - Google Patents
디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 Download PDFInfo
- Publication number
- KR102653388B1 KR102653388B1 KR1020237013033A KR20237013033A KR102653388B1 KR 102653388 B1 KR102653388 B1 KR 102653388B1 KR 1020237013033 A KR1020237013033 A KR 1020237013033A KR 20237013033 A KR20237013033 A KR 20237013033A KR 102653388 B1 KR102653388 B1 KR 102653388B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- user
- resolution
- display system
- eye
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims description 407
- 210000001525 retina Anatomy 0.000 claims description 123
- 210000001747 pupil Anatomy 0.000 claims description 49
- 238000005286 illumination Methods 0.000 claims description 44
- 230000007423 decrease Effects 0.000 claims description 41
- 239000003086 colorant Substances 0.000 claims description 37
- 210000003128 head Anatomy 0.000 claims description 33
- 230000002829 reductive effect Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 22
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 230000003247 decreasing effect Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 90
- 230000003190 augmentative effect Effects 0.000 abstract description 35
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000010287 polarization Effects 0.000 description 198
- 238000010168 coupling process Methods 0.000 description 107
- 238000005859 coupling reaction Methods 0.000 description 107
- 238000012545 processing Methods 0.000 description 72
- 230000000875 corresponding effect Effects 0.000 description 58
- 230000008569 process Effects 0.000 description 49
- 230000004438 eyesight Effects 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 33
- 230000004308 accommodation Effects 0.000 description 31
- 230000008859 change Effects 0.000 description 30
- 230000000007 visual effect Effects 0.000 description 30
- 239000000872 buffer Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 28
- 238000002347 injection Methods 0.000 description 26
- 239000007924 injection Substances 0.000 description 26
- 239000000463 material Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 230000009467 reduction Effects 0.000 description 22
- 230000001902 propagating effect Effects 0.000 description 21
- 230000009977 dual effect Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 19
- 230000035945 sensitivity Effects 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 230000008447 perception Effects 0.000 description 16
- 230000003068 static effect Effects 0.000 description 14
- 239000000835 fiber Substances 0.000 description 13
- 108091008695 photoreceptors Proteins 0.000 description 12
- 239000002131 composite material Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 230000004424 eye movement Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 210000004279 orbit Anatomy 0.000 description 8
- 230000004310 photopic vision Effects 0.000 description 8
- 230000004296 scotopic vision Effects 0.000 description 8
- 241000153282 Theope Species 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000004304 visual acuity Effects 0.000 description 6
- 230000002350 accommodative effect Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000005253 cladding Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 210000001328 optic nerve Anatomy 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000004986 Cholesteric liquid crystals (ChLC) Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 208000032369 Primary transmission Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000005262 ferroelectric liquid crystals (FLCs) Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 229920000954 Polyglycolide Polymers 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 230000001886 ciliary effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- GQYHUHYESMUTHG-UHFFFAOYSA-N lithium niobate Chemical compound [Li+].[O-][Nb](=O)=O GQYHUHYESMUTHG-UHFFFAOYSA-N 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 235000010409 propane-1,2-diol alginate Nutrition 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Holo Graphy (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
디스플레이 시스템에서 깊이-기반 포비티드 렌더링을 위한 방법들 및 시스템들이 개시된다. 디스플레이 시스템은 상이한 파면 발산을 사용하여 복수의 깊이 평면들 상의 가상 콘텐츠를 제공하도록 구성된 증강 현실 디스플레이 시스템일 수 있다. 일부 실시예들은 검출된 센서 정보에 기반하여 디스플레이 시스템의 사용자의 눈 배향들을 모니터링하는 것을 포함한다. 응시 포인트는 눈 배향들에 기반하여 결정되며, 응시 포인트는 시야에 대한 3-차원 위치를 표현한다. 제공할 가상 오브젝트들의 위치 정보가 획득되며, 이 위치 정보는 가상 오브젝트들의 3-차원 포지션들을 표시한다. 적어도 하나의 가상 오브젝트의 해상도들은 응시 포인트에 대한 적어도 하나의 가상 오브젝트의 근접도에 기반하여 조정된다. 가상 오브젝트들은 디스플레이 시스템에 의해 사용자에게 제공되며, 적어도 하나의 가상 오브젝트는 조정된 해상도에 따라 렌더링된다.
Description
[0001] 본 출원은, 2018년 3월 16일에 출원된 미국 가출원 번호 제62/644,365호; 2017년 3월 22일에 출원된 미국 가출원 번호 제62/475,012호; 2017년 4월 17일에 출원된 미국 가출원 번호 제62/486,407호; 및 2017년 8월 1일에 출원된 미국 가출원 번호 제62/539,934호를 우선권으로 주장한다. 이로써 위에서 언급된 특허 출원들은 모든 목적들을 위해 전체 내용이 인용에 본원에 포함된다.
[0002] 이 출원은 다음의 특허 출원들 및 공개들: 2014년 11월 27일에 출원되고 미국 공개 번호 제2015/0205126호로서 2015년 7월 23일에 공개된 미국 출원 번호 제14/555,585호; 2015년 4월 18일에 출원되고 미국 공개 번호 제2015/0302652호로서 2015년 10월 22일에 공개된 미국 특허 출원 번호 제14/690,401호; 2014년 3월 14일에 출원된 미국 특허 출원 번호 제14/212,961호(지금, 2016년 8월 16일에 발행된 미국 특허 번호 제9,417,452호); 2014년 7월 14일에 출원되고 미국 공개 번호 제2015/0309263호로서 2015년 10월 29일에 공개된 미국 특허 출원 번호 제14/331,218호; 2018년 2월 22일에 출원된 미국 출원 번호 제15/902,927호; 2017년 3월 22일에 출원된 미국 가출원 번호 제62/475,012호; 및 2017년 8월 1일에 출원된 미국 가출원 번호 제62/539,934호 각각의 전체를 인용으로 포함한다.
[0003] 본 개시내용은 증강 현실 이미징 및 시각화 시스템들을 포함하는 디스플레이 시스템들에 관한 것이다.
[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 했으며, 여기서 디지털방식으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제공된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 전형적으로 사용자 주위 실세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 혼합 현실 또는 "MR" 시나리오는 AR 시나리오의 타입이며, 전형적으로 자연계에 통합되고 그에 응답하는 가상 오브젝트들을 포함한다. 예컨대, MR 시나리오는 실세계의 오브젝트들에 의해 차단된 것으로 나타나거나, 또는 그렇지 않고, 그 오브젝트들과 상호작용하는 것으로 지각되는 AR 이미지 콘텐츠를 포함할 수 있다.
[0005] 도 1을 참조하면, 증강 현실 장면(10)이 묘사된다. AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(30)을 특징으로 하는 실세계 공원형 장소(20)를 본다. 사용자는 또한, 자신이 실세계 플랫폼(30) 위에 서 있는 로봇 동상(40) 및 호박벌의 의인화인 것처럼 보이는 날고 있는 만화형 아바타 캐릭터(50)와 같은 "가상 콘텐츠"를 "본다"고 지각한다. 이들 엘리먼트들(50, 40)은 이들이 실세계에 존재하지 않는다는 점에서 "가상"이다. 인간 시각 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스런 느낌의, 풍부한 프리젠테이션을 가능하게 하는 AR 기술을 생성하는 것은 난제이다.
[0006] 본원에 개시된 시스템들 및 방법들은 AR 및 VR 기술에 관련된 다양한 난제들을 처리한다.
[0007] 일부 실시예들에 따르면, 시스템은 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 동작들은, 하나 이상의 센서들을 통해 검출된 정보에 기반하여, 사용자의 눈 움직임들을 모니터링하는 동작을 포함한다. 사용자의 눈들이 응시하는 응시 포인트는 눈 움직임들에 기반하여 결정되고, 응시 포인트는 사용자의 시야에서 3-차원 위치이다. 동작들은 사용자에게 제공하기 위한 하나 이상의 가상 오브젝트들과 연관된 위치 정보를 획득하는 동작을 포함하고, 위치 정보는 가상 오브젝트들의 3-차원 포지션들을 표시한다. 동작들은 또한, 응시 포인트에 대한 적어도 하나의 가상 오브젝트의 근접도에 적어도 부분적으로 기반하여, 적어도 하나의 가상 오브젝트의 해상도들을 조정하는 동작을 포함한다. 동작들은 또한, 디스플레이를 통해, 가상 오브젝트들의 사용자로의 프리젠테이션을 유발하는 동작을 포함하고, 적어도 하나의 가상 오브젝트는 조정된 해상도에 따라 렌더링된다.
[0008] 일부 실시예들에 따르면, 디스플레이 시스템은, 사용자에게 가상 콘텐츠들을 제공하도록 구성된 디스플레이 디바이스, 하나 이상의 프로세서들, 및 시스템에 의해 실행될 때, 시스템으로 하여금 동작들을 수행하게 하는 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 동작들은 사용자의 눈 움직임들과 연관된 정보를 모니터링하는 동작을 포함한다. 디스플레이 디바이스의 디스플레이 절두체 내의 응시 포인트는 모니터링된 정보에 기반하여 결정되고, 응시 포인트는 사용자의 눈들이 응시하고 있는 3-차원 위치를 표시한다. 동작들은 또한 결정된 응시 포인트에 기반하여 디스플레이 절두체 내의 3 차원 위치들에 가상 콘텐츠를 제공하는 동작을 포함하고, 가상 콘텐츠는 응시 포인트로부터 가상 콘텐츠의 근접도에 기반하여 해상도가 조정된다.
[0009] 일부 다른 실시예들에 따르면, 방법은, 하나 이상의 센서들을 통해 검출된 정보에 기반하여, 디스플레이 디바이스의 사용자의 눈 배향들을 모니터링하는 단계를 포함한다. 사용자의 눈들이 응시하는 응시 포인트는 눈 배향들에 기반하여 결정되고, 응시 포인트는 사용자의 시야에서 3-차원 위치이다. 사용자에게 제공하기 위한 하나 이상의 가상 오브젝트들과 연관된 위치 정보가 획득되고, 위치 정보는 가상 오브젝트들의 3-차원 포지션들을 표시한다. 적어도 하나의 가상 오브젝트의 해상도는 응시 포인트에 대한 적어도 하나의 가상 오브젝트의 근접도에 적어도 부분적으로 기반하여 조정된다. 방법은 또한, 디스플레이를 통해, 가상 오브젝트들의 사용자로의 프리젠테이션을 유발하는 단계를 포함하고, 적어도 하나의 가상 오브젝트는 조정된 해상도에 따라 렌더링된다.
[0010] 일부 실시예들에 따르면, 디스플레이 시스템은 사용자의 머리에 장착하도록 구성된 프레임, 이미지들을 형성하기 위해 광을 출력하도록 구성된 광 변조 시스템, 및 프레임에 부착되고 광 변조 시스템으로부터 광을 수신하고 하나 이상의 도파관들의 표면에 걸쳐 광을 출력하도록 구성된 하나 이상의 도파관들을 포함한다. 시스템은 또한 하나 또는 그 초과의 프로세서들, 및 하나 또는 그 초과의 프로세서들에 의해 실행될 때, 하나 또는 그 초과의 프로세서들로 하여금 다양한 동작들을 수행하게 하는 명령들을 저장하는 하나 또는 그 초과의 컴퓨터 저장 매체를 포함한다. 동작들은 사용자의 눈의 망막에 도달하는 광량을 결정하는 동작; 및 망막에 도달하는 광량에 기반하여 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 동작을 포함한다.
[0011] 일부 다른 실시예들에 따르면, 디스플레이 시스템은 하나 이상의 프로세서들; 및 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 명령들이 하나 이상의 프로세서들에 의해 실행될 때, 명령들은 하나 이상의 프로세서들로 하여금 다양한 동작들을 수행하게 한다. 동작들은 디스플레이 시스템의 사용자의 눈의 망막에 도달하는 광량을 결정하는 동작; 및 망막에 도달하는 광량에 기반하여 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 동작을 포함한다.
[0012] 일부 실시예들에 따르면, 방법은 하나 이상의 프로세서들 및 머리-장착 가능 디스플레이를 포함하는 디스플레이 시스템에 의해 수행된다. 방법은 디스플레이 시스템의 사용자의 눈의 망막에 도달하는 광량을 결정하는 단계; 및 망막에 도달하는 광량에 기반하여 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 단계를 포함한다.
[0013] 일부 다른 실시예들에 따르면, 디스플레이 시스템은 사용자의 머리에 장착하도록 구성된 프레임; 광 변조 시스템; 하나 이상의 도파관들; 하나 이상의 프로세서들; 및 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 광 변조 시스템은 이미지들을 형성하기 위해 광을 출력하도록 구성된다. 하나 이상의 도파관들은 프레임에 부착되고 광 변조 시스템으로부터 광을 수신하고 하나 이상의 도파관들의 표면에 걸쳐 광을 출력하도록 구성된다. 하나 또는 그 초과의 컴퓨터 저장 매체는, 하나 또는 그 초과의 프로세서들에 의해 실행될 때, 하나 또는 그 초과의 프로세서들로 하여금 다양한 동작들을 수행하게 하는 명령들을 저장한다. 동작들은, 사용자 응시 포인트로부터의 가상 콘텐츠의 근접도, 및 컴포넌트 컬러 이미지의 컬러에 기반하여, 가상 콘텐츠를 형성하는 컴포넌트 컬러 이미지들의 해상도를 조정하는 동작을 포함한다. 컴포넌트 컬러 이미지들 중 적어도 하나는 다른 컬러의 컴포넌트 컬러 이미지들과 해상도가 상이하다.
[0014] 또 다른 실시예들에 따르면, 디스플레이 시스템은 하나 이상의 프로세서들; 및 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 명령들이 하나 이상의 프로세서들에 의해 실행될 때, 명령들은 하나 이상의 프로세서들로 하여금 다양한 동작들을 수행하게 한다. 동작들은, 사용자 응시 포인트로부터의 가상 콘텐츠의 근접도, 및 컴포넌트 컬러 이미지의 컬러에 기반하여, 가상 콘텐츠를 형성하는 컴포넌트 컬러 이미지들의 해상도를 조정하는 동작을 포함하고, 컴포넌트 컬러 이미지들 중 적어도 하나는 다른 컬러의 컴포넌트 컬러 이미지들과 해상도가 상이하다.
[0015] 일부 다른 실시예들에 따르면, 방법은 하나 이상의 프로세서들 및 머리-장착 가능 디스플레이를 포함하는 디스플레이 시스템에 의해 수행된다. 방법은, 사용자 응시 포인트로부터의 가상 콘텐츠의 근접도, 및 컴포넌트 컬러 이미지의 컬러에 기반하여, 가상 콘텐츠를 형성하는 컴포넌트 컬러 이미지들의 해상도를 조정하는 단계를 포함하고, 컴포넌트 컬러 이미지들 중 적어도 하나는 다른 컬러의 컴포넌트 컬러 이미지들과 해상도가 상이하다.
[0016] 또 다른 실시예들에 따르면, 디스플레이 시스템은 제1 이미지 스트림 및 제2 이미지 스트림을 제공하기 위한 공간 광 변조기를 포함하는 이미지 소스; 뷰잉 어셈블리; 이미지 소스와 통신하는 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 다양한 동작들을 수행하게 하는 명령들을 저장하는 하나 이상의 컴퓨터 저장 매체를 포함한다. 뷰잉 어셈블리는 이미지 소스로부터 제1 및 제2 이미지 스트림들을 수신하고 제1 및 제2 이미지 스트림들을 사용자에게 출력하기 위한 광 안내 광학기를 포함한다. 하나 이상의 프로세서들에 의해 수행되는 다양한 동작들은 이미지 소스로 하여금 제1 이미지 스트림을 뷰잉 어셈블리에 출력하게 하는 동작 - 제1 이미지 스트림에 의해 형성된 이미지들은 제1 픽셀 밀도를 가짐 - ; 및 이미지 소스로 하여금 제2 이미지 스트림을 뷰잉 어셈블리에 출력하게 하는 동작을 포함한다. 제2 이미지 스트림에 의해 형성된 이미지들은 제1 픽셀 밀도보다 더 큰 제2 픽셀 밀도를 갖고, 제1 이미지 스트림에 의해 제공된 이미지들의 부분들에 대응한다. 제2 이미지 스트림에 의해 형성된 이미지들은 제1 이미지 스트림에 의해 제공된 시야 중 대응하는 일부들 위에 놓인다.
[0017] 일부 실시예들에 따르면, 웨어러블 디스플레이 시스템은 원형 편광 좌우상(handedness) 종속 배율을 갖는 무한 초점 확대경을 포함한다. 무한 초점 확대경은 제1 고정된 초점 길이 렌즈 엘리먼트, 입사 원편광된 광의 제1 좌우상에 대해 포지티브 굴절력을 나타내고 입사 원편광된 광의 제2 좌우상에 대해 네거티브 굴절력을 나타내는 제1 기하학적 위상 렌즈, 및 제2 기하학적 위상 렌즈를 포함할 수 있다.
[0018] 일부 다른 실시예들에 따르면, 웨어러블 이미지 투사기를 위한 광학 서브시스템은 편광 선택 반사기 및 편광 선택 반사기를 중심으로 포지셔닝된 4개의 렌즈 엘리먼트들의 세트를 포함할 수 있다.
[0019] 일부 다른 실시예들에 따르면, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템은 접안렌즈를 포함할 수 있다. 접안렌즈는 도파관, 및 도파관에 광학적으로 커플링된 인-커플링 격자를 포함할 수 있다. 디스플레이 시스템은 제1 이미지 스트림과 연관된 제1 광빔을 투사하도록 구성된 제1 이미지 소스를 더 포함할 수 있다. 제1 이미지 스트림은 제1 시야를 가질 수 있고, 인-커플링 격자의 제1 표면 상에 입사할 수 있다. 제1 광빔 중 일부는 사용자의 눈에 대해 고정된 포지션에 제1 이미지 스트림을 포지셔닝하기 위한 인-커플링 격자에 의해 도파관에 커플링될 수 있다. 디스플레이 시스템은 제2 이미지 스트림과 연관된 제2 광빔을 투사하도록 구성된 제2 이미지 소스를 더 포함할 수 있다. 제2 이미지 스트림은 제1 시야보다 더 좁은 제2 시야를 가질 수 있다. 디스플레이 시스템은, 제2 광빔이 인-커플링 격자의 제1 표면에 대향하는 인-커플링 격자의 제2 표면 상에 입사하도록, 제2 광빔을 수신하고 반사시키도록 구성된 스캐닝 미러를 더 포함할 수 있다. 제2 광빔 중 일부는 인-커플링 격자에 의해 도파관에 커플링될 수 있다. 디스플레이 시스템은 사용자의 눈의 움직임을 검출하도록 구성된 눈-시선 추적기, 및 눈 시선 추적기 및 스캐닝 미러와 통신하는 제어 회로를 더 포함할 수 있다. 제어 회로는, 제2 이미지 스트림의 포지션이 사용자의 눈의 검출된 움직임에 따라 이동되도록, 스캐닝 미러를 포지셔닝하도록 구성될 수 있다.
[0020] 일부 다른 실시예들에 따르면, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템은 접안렌즈를 포함할 수 있다. 접안렌즈는 도파관, 및 도파관에 광학적으로 커플링된 인-커플링 격자를 포함할 수 있다. 디스플레이 시스템은 제1 이미지 스트림과 연관된 제1 광빔을 제1 편광으로 그리고 제2 이미지 스트림과 연관된 제2 광빔을 제1 편광과 상이한 제2 편광으로 투사하도록 구성된 이미지 소스를 더 포함할 수 있다. 제1 이미지 스트림은 제1 시야를 가질 수 있고, 제2 이미지 스트림은 제1 시야보다 더 좁은 제2 시야를 가질 수 있다. 제1 광빔 및 제2 광빔은 다중화될 수 있다. 디스플레이 시스템은 제1 광학 경로를 따라 제1 광빔을 수신 및 반사시키고, 제2 광학 경로를 따라 제2 광빔을 수신 및 송신하도록 구성된 편광 빔 분할기를 더 포함할 수 있다. 디스플레이 시스템은, 제1 광학 경로를 따라 포지셔닝되고, 제1 광빔이 인-커플링 격자의 제1 표면 상에 입사하도록, 제1 광빔을 수신 및 반사시키도록 구성된 제1 광학 반사기를 더 포함할 수 있다. 제1 광빔 중 일부는 사용자의 눈에 대해 고정된 포지션에 제1 이미지 스트림을 포지셔닝하기 위한 인-커플링 격자에 의해 도파관에 커플링될 수 있다. 디스플레이 시스템은 제2 광학 경로를 따라 배치되고 제2 광빔을 수신 및 반사시키도록 구성된 스캐닝 미러, 및 스캐닝 미러로부터 다운스트림에 제2 광학 경로를 따라 포지셔닝된 제2 광학 반사기를 더 포함할 수 있다. 제2 광학 반사기는, 제2 광빔이 인-커플링 격자의 제1 표면에 대향하는 인-커플링 격자의 제2 표면 상에 입사하도록, 제2 광빔을 수신하고 반사시키도록 구성될 수 있다. 제2 광빔 중 일부는 인-커플링 격자에 의해 도파관에 커플링될 수 있다. 디스플레이 시스템은 사용자의 눈의 움직임을 검출하도록 구성된 눈-시선 추적기, 및 눈 시선 추적기 및 스캐닝 미러와 통신하는 제어 회로를 더 포함할 수 있다. 제어 회로는, 제2 이미지 스트림의 포지션이 사용자의 눈의 검출된 움직임에 따라 이동되도록, 스캐닝 미러를 포지셔닝하도록 구성될 수 있다.
[0021] 일부 다른 실시예들에 따르면, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템은 도파관, 제1 이미지 스트림과 연관된 제1 광빔을 제1 편광으로 그리고 제2 이미지 스트림과 연관된 제2 광빔을 제1 편광과 상이한 제2 편광으로 투사하도록 구성된 이미지 소스를 포함할 수 있다. 제1 이미지 스트림은 제1 시야를 가질 수 있고, 제2 이미지 스트림은 제1 시야보다 더 좁은 제2 시야를 갖는다. 제1 광빔 및 제2 광빔은 다중화될 수 있다. 디스플레이 시스템은 제1 광학 경로를 따라 제1 광빔을 수신 및 반사시키고, 제2 광학 경로를 따라 제2 광빔을 수신 및 송신하도록 구성된 편광 빔 분할기를 더 포함할 수 있다. 디스플레이 시스템은 제1 광학 경로를 따라 그리고 도파관의 제1 표면에 인접하게 포지셔닝된 제1 인-커플링 프리즘을 더 포함할 수 있다. 제1 인-커플링 프리즘은, 사용자의 눈에 대해 고정된 포지션에 제1 이미지 스트림을 포지셔닝하기 위해, 제1 광빔 중 일부를 도파관에 커플링하도록 구성될 수 있다. 디스플레이 시스템은 제2 광학 경로를 따라 배치되고 제2 광빔을 수신 및 반사시키도록 구성된 스캐닝 미러를 더 포함할 수 있다. 디스플레이 시스템은 스캐닝 미러로부터 다운스트림에 제2 광학 경로를 따라 그리고 도파관의 제1 표면에 대향하는 도파관의 제2 표면에 인접하게 포지셔닝된 제2 인-커플링 프리즘을 더 포함할 수 있다. 제2 인-커플링 프리즘은 제2 광빔 중 일부를 도파관에 커플링하도록 구성될 수 있다. 디스플레이 시스템은 사용자의 눈의 움직임을 검출하도록 구성된 눈-시선 추적기, 및 눈 시선 추적기 및 스캐닝 미러와 통신하는 제어 회로를 더 포함할 수 있다. 제어 회로는, 제2 이미지 스트림의 포지션이 사용자의 눈의 검출된 움직임에 따라 이동되도록, 스캐닝 미러를 포지셔닝하도록 구성될 수 있다.
[0022] 실시예에 따르면, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템은 이미지 소스를 포함할 수 있다. 이미지 소스는 제1 이미지 스트림과 연관된 제1 광빔을 제1 편광으로 그리고 제2 이미지 스트림과 연관된 제2 광빔을 제1 편광과 상이한 제2 편광으로 투사하도록 구성될 수 있다. 제1 이미지 스트림은 제1 시야를 가질 수 있고, 제2 이미지 스트림은 제1 시야보다 더 좁은 제2 시야를 가질 수 있다. 제1 광빔 및 제2 광빔은 다중화될 수 있다. 디스플레이 시스템은 편광 빔 분할기를 더 포함할 수 있다. 편광 빔 분할기는 제1 광빔을 수신하고 사용자의 눈에 대해 고정된 포지션에 제1 이미지 스트림을 포지셔닝하기 위한 뷰잉 어셈블리를 향해 제1 광학 경로를 따라 반사시키고, 제2 광학 경로를 따라 제2 광빔을 수신 및 송신하도록 구성될 수 있다. 디스플레이 시스템은 제2 광학 경로를 따라 배치되고 제2 광빔을 수신하고 뷰잉 어셈블리를 향해 반사시키도록 구성된 스캐닝 미러를 더 포함할 수 있다. 디스플레이 시스템은 사용자의 눈의 움직임을 검출하도록 구성된 눈-시선 추적기, 및 눈 시선 추적기 및 스캐닝 미러와 통신하는 제어 회로를 더 포함할 수 있다. 제어 회로는, 제2 이미지 스트림의 포지션이 사용자의 눈의 검출된 움직임에 따라 이동되도록, 스캐닝 미러를 포지셔닝하도록 구성될 수 있다.
[0023] 다른 실시예에 따르면, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템은 이미지 소스를 포함할 수 있다. 이미지 소스는 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔을 투사하도록 구성될 수 있다. 제1 이미지 스트림은 제1 시야를 가질 수 있고, 제2 이미지 스트림은 제1 시야보다 더 좁은 제2 시야를 가질 수 있다. 제1 광빔 및 제2 광빔은 다중화될 수 있다. 디스플레이 시스템은 제1 광빔 및 제2 광빔을 수신하고 제1 이미지 스트림 및 제2 이미지 스트림을 투사하기 위한 뷰잉 어셈블리를 향해 반사시키도록 구성된 스캐닝 미러를 더 포함할 수 있다. 디스플레이 시스템은 사용자의 눈의 움직임을 검출하도록 구성된 눈-시선 추적기, 및 눈 시선 추적기 및 스캐닝 미러와 통신하는 제어 회로를 더 포함할 수 있다. 제어 회로는, 제1 이미지 스트림의 포지션 및 제2 이미지 스트림의 포지션이 사용자의 눈의 검출된 움직임에 따라 이동되도록, 스캐닝 미러를 포지셔닝하도록 구성될 수 있다. 디스플레이 시스템은 제1 광빔 및 제2 광빔의 광학 경로에 배치된 스위칭 가능 광학 엘리먼트를 더 포함할 수 있다. 스위칭 가능 광학 엘리먼트는, 제1 광빔이 제1 각도 배율만큼 각을 이루어 확대되도록 제1 광빔에 대한 제1 상태로 스위칭되고, 제2 광빔이 제1 각도 배율 미만인 제2 각도 배율만큼 각을 이루어 증폭되도록 제2 광빔에 대한 제2 상태로 스위칭되도록 구성될 수 있다.
[0024] 도 1은 증강 현실(AR; augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0025] 도 2는 사용자에 대한 3-차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0026] 도 3a-3c는 곡률의 반경과 초점 반경 간의 관계들을 예시한다.
[0027] 도 4a는 인간 시각 시스템의 원근조절-이접운동 응답의 표현을 예시한다.
[0028] 도 4b는 사용자의 한 쌍의 눈들의 상이한 원근조절 상태들 및 이접운동 상태들의 예들을 예시한다.
[0029] 도 4c는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 예를 예시한다.
[0030] 도 4d는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 다른 예를 예시한다.
[0031] 도 5는 파면 발산을 수정함으로써 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0032] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0033] 도 7은 도파관에 의해 출력된 출사 빔들의 예를 예시한다.
[0034] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다.
[0035] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 한 세트의 스택된 도파관들의 예의 측단면도를 예시한다.
[0036] 도 9b는 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다.
[0037] 도 9c는 도 9a 및 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다.
[0038] 도 9d는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0039] 도 10a는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 예를 예시한다.
[0040] 도 10b는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 다른 예를 예시한다.
[0041] 도 10c는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 또 다른 예를 예시한다.
[0042] 도 10d는 예시적인 디스플레이 시스템의 예의 블록 다이어그램이다.
[0043] 도 11aa은 3-차원 응시 포인트 추적에 기반하여 상이한 해상도 조정 존들에서의 해상도의 조정들의 하향식 뷰의 표현의 예를 예시한다.
[0044] 도 11ab는 존들의 사이즈들 및 수들이 변할 때, 상이한 시간들에 해상도 조정 존들의 하향식 뷰들의 표현들의 예들을 예시한다.
[0045] 도 11b는 도 11aa의 해상도 조정 존들 중 일부의 3-차원 표현의 예를 예시한다.
[0046] 도 11c는 해상도 조정 존들을 위한 구성의 다른 예를 예시한다.
[0047] 도 11d는 도 11c의 해상도 조정 존들의 3-차원 표현의 예를 예시한다.
[0048] 도 11e는 도 11c의 해상도 조정 존들의 3-차원 표현의 다른 예를 예시한다.
[0049] 도 12a-12c는 3-차원 응시 포인트에 대한 근접도에 따라 콘텐츠의 해상도들을 조정하기 위한 프로세스들의 예들의 다이어그램들을 도시한다.
[0050] 도 13은 사용자의 시선과 정렬된 다수의 가상 오브젝트들을 보고 있는 사용자의 표현의 예를 예시한다.
[0051] 도 14는 사용자의 시선에 대한 각도 근접도에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이다.
[0052] 도 15는 사용자의 눈의 망막의 표현의 예를 예시한다.
[0053] 도 16은 도 15의 망막에 걸쳐, 해상도, 및 간상체 및 추상체 밀도의 예를 그래프로 예시한다.
[0054] 도 17은 동공 사이즈와 사용자의 눈 상에 입사하는 광량 사이의 관계의 예를 그래프로 예시한다.
[0055] 도 18은 사용자의 눈 상에 입사하는 광량에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이다.
[0056] 도 19는 눈 상에 입사하는 광량이 변할 때, 사용자의 눈에 의해 검출 가능한 해상도의 변화의 예를 그래프로 예시한다.
[0057] 도 20은 상이한 조명 레벨들에서 상이한 컬러들의 광에 대한 눈의 민감도의 차이들의 예를 그래프로 예시한다.
[0058] 도 21은 다수의 컴포넌트 컬러 이미지들을 사용하여 형성된 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이고, 여기서 해상도 조정은 컴포넌트 컬러 이미지의 컬러에 기반하여 이루어진다.
[0059] 도 22a-22c는 사용자의 눈 상에 입사하는 광량이 감소할 때, 변하는 콘트라스트 민감도의 예들을 예시한다.
[0060] 도 23은 사용자의 눈의 시신경 및 주변 블라인드 스폿들의 표현의 예를 예시한다.
[0061] 도 24는 인간 눈에 대한 예시적인 단안 시야를 도시한다.
[0062] 도 25a는 가상 콘텐츠를 사용자에게 제공하도록 구성된 예시적인 웨어러블 디스플레이 디바이스를 도시한다.
[0063] 도 25b는 증강 현실 시스템을 도시하는 블록 다이어그램이다.
[0064] 도 25c는 뷰어에 디지털 또는 가상 이미지를 제공하는 데 사용될 수 있는 VOA(viewing optics assembly)의 광 경로들을 개략적으로 예시한다.
[0065] 도 26a-26d는 2개의 예시적인 눈 배향들 각각에 대해 AR 시스템에서 생성될 광 필드들 및 사용될 예시적인 렌더링 원근감들을 예시한다.
[0066] 도 26e-26f는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다.
[0067] 도 26g-26h는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성들을 개략적으로 예시한다.
[0068] 도 27은 도 25에 도시된 웨어러블 디스플레이 디바이스의 디스플레이들 중 하나 위에 오버레이된, 도 24에 도시된 시야 및 관심 필드를 예시한다.
[0069] 도 28a-28b는 도 26a-26d에 설명된 원리들 중 일부를 예시한다.
[0070] 도 28c-28d는 사용자에게 제공될 수 있는 예시적인 이미지들을 예시한다.
[0071] 도 28e는 예시적인 고-FOV 저해상도 이미지 프레임을 예시한다.
[0072] 도 28f는 예시적인 저-FOV 고해상도 이미지 프레임을 예시한다.
[0073] 도 29a는 디스플레이 시스템의 단순화된 블록 다이어그램을 도시한다.
[0074] 도 29b는 AR(augmented reality) 시스템의 단면도를 개략적으로 예시한다.
[0075] 도 30a-30b는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0076] 도 30c는 AR(augmented reality) 시스템의 단면도를 개략적으로 예시한다.
[0077] 도 30d는 디스플레이 시스템의 단순화된 블록 다이어그램을 도시한다.
[0078] 도 31a는 도 30a-30b에 예시된 디스플레이 시스템의 제1 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다.
[0079] 도 31b는 도 30a-30b에 예시된 디스플레이 시스템의 제2 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다.
[0080] 도 31c-31d는 디스플레이 시스템을 개략적으로 예시한다.
[0081] 도 32a-32c는 디스플레이 시스템을 개략적으로 예시한다.
[0082] 도 33a-33b는 디스플레이 시스템을 개략적으로 예시한다.
[0083] 도 34a-34b는 디스플레이 시스템을 개략적으로 예시한다.
[0084] 도 35는 디스플레이 시스템을 개략적으로 예시한다.
[0085] 도 36a는 증강 현실 근안(near-eye) 디스플레이 시스템을 개략적으로 예시한다.
[0086] 도 36b는 다른 증강 현실 근안 디스플레이 시스템을 개략적으로 예시한다.
[0087] 도 37a는 이중 배율 무한 초점 확대경(dual magnification afocal magnifier)의 개략적인 예시이다.
[0088] 도 37b는 이중 초점 배율 무한 초점 확대경의 개략적인 예시이다.
[0089] 도 38a-38b는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다.
[0090] 도 39a-39b는 사용자에게 제공될 수 있는 일부 예시적인 이미지들을 예시한다.
[0091] 도 40a-40d는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0092] 도 41a-41d는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0093] 도 42는 시분할 다중화된 고 FOV 저해상도 이미지 스트림 및 저 FOV 고해상도 이미지 스트림에 대한 예시적인 프레임 구조를 예시한다.
[0094] 도 43은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0095] 도 44는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0096] 도 45는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0097] 도 46은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0098] 도 47은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0099] 도 48은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0100] 도 49는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0101] 도 50은 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0102] 도 51은 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0103] 도 52a-52b는 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0104] 도 53a-53b는 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0025] 도 2는 사용자에 대한 3-차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0026] 도 3a-3c는 곡률의 반경과 초점 반경 간의 관계들을 예시한다.
[0027] 도 4a는 인간 시각 시스템의 원근조절-이접운동 응답의 표현을 예시한다.
[0028] 도 4b는 사용자의 한 쌍의 눈들의 상이한 원근조절 상태들 및 이접운동 상태들의 예들을 예시한다.
[0029] 도 4c는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 예를 예시한다.
[0030] 도 4d는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 다른 예를 예시한다.
[0031] 도 5는 파면 발산을 수정함으로써 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0032] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0033] 도 7은 도파관에 의해 출력된 출사 빔들의 예를 예시한다.
[0034] 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다.
[0035] 도 9a는 인커플링 광학 엘리먼트를 각각 포함하는 한 세트의 스택된 도파관들의 예의 측단면도를 예시한다.
[0036] 도 9b는 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다.
[0037] 도 9c는 도 9a 및 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다.
[0038] 도 9d는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0039] 도 10a는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 예를 예시한다.
[0040] 도 10b는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 다른 예를 예시한다.
[0041] 도 10c는 디스플레이 시스템을 통해 사용자 뷰잉 콘텐츠의 하향식 뷰의 표현의 또 다른 예를 예시한다.
[0042] 도 10d는 예시적인 디스플레이 시스템의 예의 블록 다이어그램이다.
[0043] 도 11aa은 3-차원 응시 포인트 추적에 기반하여 상이한 해상도 조정 존들에서의 해상도의 조정들의 하향식 뷰의 표현의 예를 예시한다.
[0044] 도 11ab는 존들의 사이즈들 및 수들이 변할 때, 상이한 시간들에 해상도 조정 존들의 하향식 뷰들의 표현들의 예들을 예시한다.
[0045] 도 11b는 도 11aa의 해상도 조정 존들 중 일부의 3-차원 표현의 예를 예시한다.
[0046] 도 11c는 해상도 조정 존들을 위한 구성의 다른 예를 예시한다.
[0047] 도 11d는 도 11c의 해상도 조정 존들의 3-차원 표현의 예를 예시한다.
[0048] 도 11e는 도 11c의 해상도 조정 존들의 3-차원 표현의 다른 예를 예시한다.
[0049] 도 12a-12c는 3-차원 응시 포인트에 대한 근접도에 따라 콘텐츠의 해상도들을 조정하기 위한 프로세스들의 예들의 다이어그램들을 도시한다.
[0050] 도 13은 사용자의 시선과 정렬된 다수의 가상 오브젝트들을 보고 있는 사용자의 표현의 예를 예시한다.
[0051] 도 14는 사용자의 시선에 대한 각도 근접도에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이다.
[0052] 도 15는 사용자의 눈의 망막의 표현의 예를 예시한다.
[0053] 도 16은 도 15의 망막에 걸쳐, 해상도, 및 간상체 및 추상체 밀도의 예를 그래프로 예시한다.
[0054] 도 17은 동공 사이즈와 사용자의 눈 상에 입사하는 광량 사이의 관계의 예를 그래프로 예시한다.
[0055] 도 18은 사용자의 눈 상에 입사하는 광량에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이다.
[0056] 도 19는 눈 상에 입사하는 광량이 변할 때, 사용자의 눈에 의해 검출 가능한 해상도의 변화의 예를 그래프로 예시한다.
[0057] 도 20은 상이한 조명 레벨들에서 상이한 컬러들의 광에 대한 눈의 민감도의 차이들의 예를 그래프로 예시한다.
[0058] 도 21은 다수의 컴포넌트 컬러 이미지들을 사용하여 형성된 가상 콘텐츠를 조정하기 위한 프로세스의 예의 다이어그램이고, 여기서 해상도 조정은 컴포넌트 컬러 이미지의 컬러에 기반하여 이루어진다.
[0059] 도 22a-22c는 사용자의 눈 상에 입사하는 광량이 감소할 때, 변하는 콘트라스트 민감도의 예들을 예시한다.
[0060] 도 23은 사용자의 눈의 시신경 및 주변 블라인드 스폿들의 표현의 예를 예시한다.
[0061] 도 24는 인간 눈에 대한 예시적인 단안 시야를 도시한다.
[0062] 도 25a는 가상 콘텐츠를 사용자에게 제공하도록 구성된 예시적인 웨어러블 디스플레이 디바이스를 도시한다.
[0063] 도 25b는 증강 현실 시스템을 도시하는 블록 다이어그램이다.
[0064] 도 25c는 뷰어에 디지털 또는 가상 이미지를 제공하는 데 사용될 수 있는 VOA(viewing optics assembly)의 광 경로들을 개략적으로 예시한다.
[0065] 도 26a-26d는 2개의 예시적인 눈 배향들 각각에 대해 AR 시스템에서 생성될 광 필드들 및 사용될 예시적인 렌더링 원근감들을 예시한다.
[0066] 도 26e-26f는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다.
[0067] 도 26g-26h는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성들을 개략적으로 예시한다.
[0068] 도 27은 도 25에 도시된 웨어러블 디스플레이 디바이스의 디스플레이들 중 하나 위에 오버레이된, 도 24에 도시된 시야 및 관심 필드를 예시한다.
[0069] 도 28a-28b는 도 26a-26d에 설명된 원리들 중 일부를 예시한다.
[0070] 도 28c-28d는 사용자에게 제공될 수 있는 예시적인 이미지들을 예시한다.
[0071] 도 28e는 예시적인 고-FOV 저해상도 이미지 프레임을 예시한다.
[0072] 도 28f는 예시적인 저-FOV 고해상도 이미지 프레임을 예시한다.
[0073] 도 29a는 디스플레이 시스템의 단순화된 블록 다이어그램을 도시한다.
[0074] 도 29b는 AR(augmented reality) 시스템의 단면도를 개략적으로 예시한다.
[0075] 도 30a-30b는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0076] 도 30c는 AR(augmented reality) 시스템의 단면도를 개략적으로 예시한다.
[0077] 도 30d는 디스플레이 시스템의 단순화된 블록 다이어그램을 도시한다.
[0078] 도 31a는 도 30a-30b에 예시된 디스플레이 시스템의 제1 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다.
[0079] 도 31b는 도 30a-30b에 예시된 디스플레이 시스템의 제2 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다.
[0080] 도 31c-31d는 디스플레이 시스템을 개략적으로 예시한다.
[0081] 도 32a-32c는 디스플레이 시스템을 개략적으로 예시한다.
[0082] 도 33a-33b는 디스플레이 시스템을 개략적으로 예시한다.
[0083] 도 34a-34b는 디스플레이 시스템을 개략적으로 예시한다.
[0084] 도 35는 디스플레이 시스템을 개략적으로 예시한다.
[0085] 도 36a는 증강 현실 근안(near-eye) 디스플레이 시스템을 개략적으로 예시한다.
[0086] 도 36b는 다른 증강 현실 근안 디스플레이 시스템을 개략적으로 예시한다.
[0087] 도 37a는 이중 배율 무한 초점 확대경(dual magnification afocal magnifier)의 개략적인 예시이다.
[0088] 도 37b는 이중 초점 배율 무한 초점 확대경의 개략적인 예시이다.
[0089] 도 38a-38b는 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다.
[0090] 도 39a-39b는 사용자에게 제공될 수 있는 일부 예시적인 이미지들을 예시한다.
[0091] 도 40a-40d는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0092] 도 41a-41d는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0093] 도 42는 시분할 다중화된 고 FOV 저해상도 이미지 스트림 및 저 FOV 고해상도 이미지 스트림에 대한 예시적인 프레임 구조를 예시한다.
[0094] 도 43은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0095] 도 44는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0096] 도 45는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0097] 도 46은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0098] 도 47은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0099] 도 48은 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0100] 도 49는 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0101] 도 50은 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0102] 도 51은 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0103] 도 52a-52b는 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0104] 도 53a-53b는 일부 실시예들에 따른, 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템을 개략적으로 예시한다.
[0105] 증강 및 가상 디스플레이 시스템들에 대한 가상 콘텐츠의 렌더링은 컴퓨테이션 집약적이다. 다른 것들 중에서도, 컴퓨테이션 집약성은 바람직하지 않게 많은 양의 메모리를 사용하고 높은 레이턴시를 유발할 수 있고 그리고/또는 고비용 및/또는 고에너지 소비를 가질 수 있는 강력한 프로세싱 유닛들의 사용을 요구할 수 있다.
[0106] 일부 실시예들에서, 방법들 및 시스템들은, 사용자의 눈들의 응시 포인트로부터 떨어진 위치들에 포지셔닝된 가상 콘텐츠의 해상도를 감소시킴으로써, 컴퓨테이셔널 자원들, 이를테면, 메모리 및 프로세싱 시간을 보존한다. 예컨대, 시스템은, 응시 포인트로부터 떨어진 가상 콘텐츠에 대해 하나 이상의 더 낮은 해상도들을 활용하면서, 사용자의 눈들의 응시 포인트에서 또는 근처에서 비교적 높은(예컨대, 가장 높은) 해상도로 가상 콘텐츠를 렌더링할 수 있다. 가상 콘텐츠는 복수의 상이한 깊이들(예컨대, 복수의 상이한 깊이 평면들, 이를테면, 둘 이상의 깊이 평면들)에서 가상 콘텐츠를 디스플레이할 수 있는 디스플레이 시스템에 의해 제공되고, 해상도의 감소는 바람직하게는 적어도 z 축을 따라 발생하고, 여기서 z-축은 깊이 축(사용자로부터 떨어진 거리에 대응함)이다. 일부 실시예들에서, 해상도 감소는 z-축 및 x 및 y 축들 중 하나 또는 둘 다를 따라 발생하고, 여기서 x-축은 측방 축이고, y-축은 수직 축이다.
[0107] 가상 콘텐츠의 적합한 해상도를 결정하는 것은, 3-차원 공간에서, 사용자의 눈들의 응시 포인트를 결정하는 것을 포함할 수 있다. 예컨대, 응시 포인트는 사용자의 시야의 x, y, z 좌표일 수 있고, 사용자의 눈들은 x, y, z 좌표를 응시한다. 디스플레이 시스템은 해상도의 차이들을 갖는 가상 오브젝트들을 제공하도록 구성되고, 응시 포인트에 대한 가상 오브젝트의 근접도가 감소함에 따라 해상도가 감소하고, 환언하면, 응시 포인트로부터의 거리가 증가함에 따라 해상도가 감소한다.
[0108] 본원에서 논의된 바와 같이, 디스플레이 시스템은 디스플레이 시스템의 디스플레이 절두체 내에서 가상 오브젝트들을 제공할 수 있고, 가상 오브젝트들은 상이한 깊이 평면들 상에 제공될 수 있다. 일부 실시예들에서, 디스플레이 절두체는 디스플레이 시스템에 의해 제공되는 시야이고, 디스플레이 절두체에 걸쳐, 디스플레이 시스템은 가상 콘텐츠를 디스플레이 시스템의 사용자에게 제공하도록 구성된다. 디스플레이 시스템은 가상 콘텐츠(예컨대, 가상 오브젝트들, 그래픽들, 텍스트 등)을 제공할 수 있는 하나 이상의 도파관들을 포함하는 머리-장착 디스플레이 시스템일 수 있고, 하나 이상의 도파관들은 상이한 파면 발산 및/또는 상이한 깊이 평면들(예컨대, 사용자로부터 특정 거리들에 대응함)에 대응하는 상이한 양안 디스패리티(binocular disparity)를 갖는 광을 출력하도록 구성된다. 각각의 눈이 연관된 하나 이상의 도파관들을 가질 수 있다는 것이 인지될 것이다. 상이한 파면 발산 및/또는 상이한 양안 디스패리티를 사용하여, 디스플레이 시스템은 제1 가상 오브젝트가 사용자의 시야에서 제1 깊이에 위치된 것처럼 보이게 하면서, 제2 가상 오브젝트가 사용자의 시야에서 제2 깊이에 위치된 것처럼 보이게 할 수 있다. 일부 실시예들에서, 응시 포인트의 깊이 평면 또는 응시 포인트에 가까운 깊이 평면이 결정될 수 있고, 다른 깊이 평면들 상의 콘텐츠의 해상도는, 응시 포인트가 배치된 깊이 평면에 대한 이러한 깊이 평면들의 거리에 기반하여 감소될 수 있다. 본원에서 가상 콘텐츠의 깊이(z-축 상에서 사용자로부터 가상 콘텐츠의 거리)에 대한 참조들이 사용자가 보도록 의도된 가상 콘텐츠의 겉보기 깊이를 나타내고, 일부 실시예들에서, 가상 오브젝트의 깊이가 가상 오브젝트의 파면 발산 및/또는 양안 디스패리티와 유사한 것을 갖는 실제 오브젝트의 사용자로부터의 거리인 것으로 이해될 수 있다는 것이 인지될 것이다.
[0109] 응시 포인트에 대한 가상 오브젝트의 근접도가 다양한 수단들에 의해 결정될 수 있고, 이의 비-제한적인 예들은 응시 포인트와 가상 오브젝트 간의 거리를 결정하는 것, (사용자의 시야가 아래에 설명되는 바와 같이 해상도 조정 존들로 세분화되는 실시예들에서) 응시 포인트에 의해 점유되는 해상도 조정 존에 대해 가상 오브젝트에 의해 점유되는 해상도 조정 존을 결정하는 것, 및 사용자의 응시 포인트에 대한 가상 오브젝트의 각도 근접도를 결정하는 것을 포함하는 것이 인지되어야 한다. 근접도는 또한 위에 언급된 기법들의 조합을 사용하여 결정될 수 있다. 예컨대, 제2 존(응시 포인트가 위치됨)에 대한 제1 존(가상 오브젝트가 위치됨)의 거리 및/또는 각도 근접도는 근접도를 결정하는 데 사용될 수 있다. 이러한 다양한 수단들이 아래에 추가로 논의된다.
[0110] 일부 실시예들에서, 응시 포인트를 결정하는 것은 사용자의 눈들의 응시 포인트를 예상하는 것 및 가상 콘텐츠의 해상도를 결정하기 위해 응시 포인트로서 예상된 응시 포인트를 활용하는 것을 포함할 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 눈들이 특정 콘텐츠를 응시할 것이라고 예상하고, 특정 콘텐츠를 비교적 높은 해상도로 렌더링할 수 있다. 예로서, 인간 시각 시스템이 장면의 갑작스러운 변화들(예컨대, 갑작스러운 모션, 휘도의 변화들 등)에 민감할 수 있다는 것이 인지될 것이다. 일부 실시예들에서, 디스플레이 시스템은, 사용자의 눈들이 가상 콘텐츠를 응시하게 하는 타입(예컨대, 다른 가상 및 실제 오브젝트들이 정지한 장면에서 모션을 수반함)을 그 가상 콘텐츠가 갖는다고 결정하고, 그런다음 사용자의 눈들이 후속적으로 그 가상 콘텐츠에 초점을 맞춘다는 것을 예상하여, 그 가상 콘텐츠를 고해상도로 렌더링할 수 있다.
[0111] 앞서 주목된 바와 같이, 일부 실시예들에서, 결정된 응시 포인트로부터 가상 오브젝트까지의 거리는 3-차원들로 연장되는 거리에 대응할 수 있다. 예로서, 결정된 응시 포인트로서 사용자로부터 동일한 깊이에(예컨대, 동일한 깊이 평면에) 위치되지만 응시 포인트로부터 수평으로 또는 세로로 위치된 제1 가상 오브젝트는 결정된 응시 포인트로부터 더 먼 깊이(예컨대, 더 먼 깊이 평면)에 위치된 제2 가상 오브젝트와 유사하게 해상도가 감소될 수 있다. 결과적으로, 상이한 해상도들은 응시 포인트로부터의 상이한 거리들과 연관될 수 있다.
[0112] 일부 실시예들에서, 사용자 주변 환경은 공간의 볼륨들(본원에서 해상도 조정 존들로 또한 지칭됨)로 나누어질 수 있고, 동일한 해상도 조정 존에서의 가상 오브젝트들의 해상도는 유사하다. 해상도 조정 존들은, 본원에서 설명된 바와 같이, 임의의 3-차원 형상들, 예컨대, 정육면체들, 또는 다른 3-차원 다각형 형상들, 또는 만곡된 3-차원 형상들을 가질 수 있다. 일부 실시예들에서, 모든 해상도 조정 존들은 유사한 형상들, 예컨대, 직육면체 또는 구면을 가질 수 있다. 일부 다른 실시예들에서, 상이한 해상도 조정 존들은 상이한 형상들 또는 사이즈들을 가질 수 있다(예컨대, 볼륨의 형상들 및/또는 사이즈들은 응시 포인트로부터의 거리에 따라 변할 수 있음).
[0113] 일부 실시예들에서, 해상도 조정 존들은 사용자의 시야 중 일부들이다. 예컨대, 사용자의 시야는 해상도 조정 존들을 형성하는 공간의 볼륨들로 분리될 수 있다. 일부 실시예들에서 각각의 깊이 평면은 공간의 하나 이상의 인접하는 볼륨들, 즉, 하나 이상의 해상도 조정 존들로 세분화될 수 있다. 일부 실시예들에서, 각각의 해상도 조정 존은 사용자로부터 특정 범위의 깊이들(예컨대, 깊이 평면 값 +/- 분산, 여기서 분산들의 예들은 0.66 dpt, 0.50 dpt, 0.33 dpt, 또는 0.25 dpt를 포함함) 및 특정 측방향 및 특정 수직 거리를 포함할 수 있다. 결정된 응시 포인트와 동일한 해상도 조정 존 내에 위치된 가상 오브젝트들은 높은(예컨대, 풀) 해상도로 제공(예컨대, 렌더링)될 수 있는 반면, 응시 포인트의 해상도 조정 존을 벗어난 공간의 볼륨들에 위치된 가상 오브젝트들은 공간의 응시 포인트의 볼륨으로부터 볼륨들의 거리에 따라 더 낮은 해상도들로 렌더링될 수 있다. 일부 실시예들에서, 각각의 해상도 조정 존에는 특정 해상도(예컨대, 풀 해상도에 비해 해상도에서의 특정 감소)가 할당될 수 있고, 정해진 존 내에 있는 가상 콘텐츠는 그 존에 대해 연관된 해상도로 렌더링될 수 있다. 일부 실시예들에서 볼륨과 응시 포인트에 의해 점유된 볼륨 간의 거리가 결정될 수 있고, 해상도는 이러한 거리에 기반하여 세팅될 수 있다.
[0114] 유리하게, 사용자의 시야를 분해하기 위해 활용되는 해상도 조정 존들의 수 및 사이즈들은 사용자의 결정된 응시 포인트에서의 신뢰도에 따라 수정될 수 있다. 예컨대, 공간의 각각의 볼륨과 연관된 사이즈는, 사용자의 시선이 3-차원 공간에서 정확한 포인트 상에 수렴되고 있는 신뢰도에 기반하여 증가 또는 감소될 수 있다. 만약 응시 포인트에서의 신뢰도가 높다면, 디스플레이 시스템은 비교적 고 해상도로 컴팩트한 해상도 조정 존(응시 포인트를 포함하는 컴팩트한 해상도 조정 존) 내의 가상 오브젝트들만을 제공할 수 있지만, 다른 가상 오브젝트들의 해상도들을 감소시키고 따라서 프로세싱 전력을 보존할 수 있다. 그러나, 만약 신뢰도가 낮다면, 디스플레이 시스템은 공간의 각각의 볼륨의 사이즈를 증가시켜서(예컨대, 볼륨들의 전체 수를 감소시켜서), 공간의 각각의 볼륨은 공간의 응시 포인트의 볼륨에서 많은 수의 가상 오브젝트들을 포함할 수 있다. 볼륨들의 사이즈들 및 형상들은, 예컨대, 응시 포인트를 결정하기 위해 시스템들에서 예상되는 허용오차들에 기반하여 디스플레이 시스템의 제작 동안 고정될 수 있고, 그리고/또는 사용자의 특징들, 사용자의 환경, 및/또는 응시 포인트를 결정하기 위해 시스템들에 대한 허용오차들을 변경하는 소프트웨어에서의 변경들에 따라 필드에서 조정 또는 세팅될 수 있음이 인지될 것이다.
[0115] 해상도에 대한 사용자의 민감도는 응시 포인트로부터의 거리에 따라 감소될 수 있음이 인지될 것이다. 결과적으로, 풀 해상도 콘텐츠가 응시 포인트에 제공되는 것을 보장함으로써 그리고 응시 포인트가 어디에 위치되는지에 대한 에러의 마진을 허용함으로써, 해상도에서의 감소들의 지각은 감소 또는 제거될 수 있고, 따라서 이러한 고 해상도 디스플레이에 대한 콘텐츠를 제공하기 위해 전형적으로 요구되는 컴퓨테이셔널 자원들을 활용함이 없이 고-해상도 디스플레이의 인지를 제공할 수 있다.
[0116] 일부 실시예들에서, 응시 포인트에 대한 가상 오브젝트의 근접도는 사용자의 시선에 대한 가상 오브젝트의 각도 근접도에 기반하여 결정될 수 있고, 가상 오브젝트의 해상도는 각도 근접도가 감소함에 따라 감소될 수 있다. 일부 실시예들에서, 이는 사용자로부터 상이한 깊이들에 위치된 가상 오브젝트들이 유사한 해상도에서 제공되는 것을 산출할 수 있다. 예컨대, 사용자의 결정된 응시 포인트에 대응하는 위치의 제 1 가상 오브젝트는 제 2 가상 오브젝트의 앞에(예컨대, 사용자에 대한 깊이에서 더 가깝게) 위치될 수 있다. 제 2 가상 오브젝트는 사용자의 시선을 따르고, 따라서 유사하게 사용자의 중심와 상에 있을 것이고, 사용자의 눈은 해상도에서의 변경들에 가장 민감하기 때문에, 제 2 가상 오브젝트는 선택적으로 제 1 가상 오브젝트와 유사한(예컨대, 동일한) 해상도로 제시될 수 있다. 선택적으로, 제 2 가상 오브젝트는 해상도에서 감소될 수 있고, 블러링 프로세스를 통해(예컨대, 가우시간 블러링 커널이 제 2 가상 오브젝트와 콘볼빙될 수 있음) 추가로 조정될 수 있고, 이는 제 2 가상 오브젝트가 사용자로부터 더 먼(예컨대, 더 먼 깊이 평면 상에 위치된) 것을 표현할 수 있다.
[0117] 해상도에서의 감소들은 가상 콘텐츠가 디스플레이 시스템들에 의해 어떻게 제공되는지에 기반하여 변할 수 있다. 일부 실시예들에서, 본원에서 가변-초점 디스플레이 시스템으로 지칭되는 제 1 예시적인 디스플레이 시스템은 상이한 깊이 평면들 상에서 가상 콘텐츠를 제공할 수 있고, 모든 콘텐츠(예컨대, 가상 오브젝트들)은 예컨대, 사용자에게 제공되는 각각의 프레임에 대해, 동일한 깊이 평면에서 (예컨대, 동일한 도파관을 통해) 한번에 제공된다. 즉, 가변-초점 디스플레이 시스템은 콘텐츠를 제공할 시간에 단일 깊이 평면(예컨대, 사용자의 응시 포인트에 기반하여 다수의 깊이 평면들로부터 선택되거나 또는 특정 제공된 가상 오브젝트의 깊이에 기반하여 선택됨)을 활용할 수 있고, 후속적 프레임들에서 깊이 평면을 변경할 수 있다(예컨대, 상이한 깊이 평면들을 선택할 수 있다). 일부 다른 실시예들에서, 본원에서 다-초점 디스플레이 시스템으로 지칭되는 제 2 예시적인 디스플레이 시스템은 상이한 깊이 평면들 상에서 가상 콘텐츠를 제공할 수 있고, 콘텐츠는 다수의 깊이 평면들 상에서 동시에 디스플레이된다. 본원에서 추가로 설명될 바와 같이, 가변-초점 디스플레이 시스템은 선택적으로 단일 프레임 버퍼를 활용할 수 있고, 제 2 가상 오브젝트를 블러링하는 것에 관한 상기 예에 대해, 제 2 가상 오브젝트는 단일 프레임 버퍼로부터 사용자에게의 프리젠테이션 이전에 블러링될 수 있다. 대조적으로, 다-초점 디스플레이 시스템은 선택적으로 감소된 해상도로 제 1 가상 오브젝트로부터 추가적인 깊이 상에서(예컨대, 추가적인 깊이 평면 상에서) 제 2 가상 오브젝트를 제공할 수 있고, 제 2 가상 오브젝트는 블러링된 것으로 사용자에게 나타날 수 있다(예컨대, 제 2 가상 오브젝트는 추가적인 프로세싱 없이 사용자의 눈들의 자연 물리학에 기반하여 블러링될 수 있다).
[0118] 본원에 개시된 바와 같이, 디스플레이 시스템은 결정된 응시 포인트에서 또는 그 근처에서 비교적 높은(예컨대, 풀) 해상도로 가상 오브젝트들을 제공할 수 있고, 응시 포인트로부터 더 먼 가상 오브젝트들을 감소된 해상도들로 제공할 수 있다. 바람직하게는, 비교적 고 해상도는 사용자의 시야 내의 가상 오브젝트들의 프리젠테이션에 대한 가장 높은 해상도이다. 비교적 고 해상도는 디스플레이 시스템의 최대 해상도, 사용자-선택가능한 해상도, 가상 오브젝트들을 제공하는 특정 컴퓨팅 하드웨어에 기반한 해상도 등일 수 있다.
[0119] 가상 오브젝트의 해상도를 조정하는 것은 가상 오브젝트의 프리젠테이션의 품질을 변경하기 위한 가상 오브젝트에 대한 임의의 수정을 포함할 수 있음이 인지될 것이다. 이러한 수정들은, GPU(graphics processing unit)들의 그래픽 파이프라인 내의 하나 이상의 포인트들에서 품질을 조정하는 것을 포함하여, 가상 오브젝트의 다각형 카운트를 조정하는 것, 가상 오브젝트를 생성하기 위해 활용된 프리미티브들을 조정하는 것(예컨대, 프리미티브들의 형상을 조정하는 것, 예컨대, 프리미티브들을 삼각형 메시로부터 사변형 메시로 조정하는 것 등) 가상 오브젝트에 대해 수행되는 동작들(예컨대, 셰이더 동작들)을 조정하는 것), 텍스처 정보를 조정하는 것, 컬러 해상도 또는 깊이를 조정하는 것, 렌더링 사이클들의 수 또는 프레임 레이트를 조정하는 것 등 중 하나 이상을 포함할 수 있다.
[0120] 일부 실시예들에서, x 및 y-축들 상에서, 응시 포인트로부터 멀어지는 가상 콘텐츠의 해상도에서의 변경들은 일반적으로 사용자의 눈의 망막에서 광수용체들의 분배에서의 변경들을 추적할 수 있다. 예컨대, 세계 및 가상 콘텐츠의 뷰는 망막 상에 이미징될 수 있어서, 망막의 상이한 부분들이 사용자의 시야의 상이한 부분들에 맵핑될 수 있음이 인지될 것이다. 유리하게, 사용자의 시야에 걸쳐 가상 콘텐츠의 해상도는 일반적으로 망막에 걸친 대응하는 광수용체들(간상체들 또는 추상체들)의 밀도를 추적할 수 있다. 일부 실시예들에서, 응시 포인트로부터 멀어지는 해상도 감소는 일반적으로 망막에 걸친 추상체들의 밀도에서의 감소를 추적할 수 있다. 일부 다른 실시예들에서, 응시 포인트로부터 멀어지는 해상도 감소는 일반적으로 망막에 걸친 간상체들의 밀도에서의 감소를 추적할 수 있다. 일부 실시예들에서, 응시 포인트로부터 멀어지는 해상도 감소의 추세는 망막에 걸친 간상체들 및/또는 추상체들의 밀도의 감소에서의 추세의 ± 50%, ± 30%, ± 20%, 또는 ± 10% 이내일 수 있다.
[0121] 간상체들 및 추상체들은 상이한 레벨들의 입사 광에서 활성이다. 예컨대, 추상체들은 비교적 밝은 조건들하에서 활성인 한편, 간상체들은 비교적 낮은 광 조건들하에서 활성이다. 결과적으로, 해상도에서의 감소가 일반적으로 망막에 걸친 간상체들 또는 추상체들의 밀도들을 추적하는 일부 실시예들에서, 디스플레이 시스템은 망막에 입사하는 광량을 결정하도록 구성될 수 있다. 이러한 광량에 기반, 해상도에서의 적절한 조정이 행해질 수 있다. 예컨대, 해상도에서의 감소는 일반적으로 낮은 광 조건들에서 망막에 걸친 간상체들의 밀도에서의 변경들을 추적할 수 있는 한편, 해상도에서의 감소는 일반적으로 밝은 조건들에서 추상체들의 밀도에서의 변경들을 추적할 수 있다. 결과적으로, 일부 실시예들에서, 디스플레이 시스템은 망막에 입사하는 광량에 기반하여 이미지 해상도에서의 감소의 프로파일을 변경하도록 구성될 수 있다.
[0122] 미세한 세부사항들을 리졸빙하는 인간 눈의 능력은 망막에서 간상체들 또는 추상체들의 밀도들에 직접 비례하지 않을 수 있음이 인지될 것이다. 일부 실시예들에서, 사용자의 시야에 걸친 가상 콘텐츠의 해상도에서의 변경들은 일반적으로 미세한 세부사항들을 리졸빙하는 눈의 능력에서의 변경들을 추적한다. 앞서 주목된 바와 같이, 가상 콘텐츠의 해상도에서의 변경들의 진행은 망막에 도달하는 광량에 따라 변할 수 있다.
[0123] 일부 실시예들에서, 망막에 도달하는 광량은 디스플레이 디바이스 상에 장착된 센서에 입사하는 주변 광량을 검출함으로써 결정될 수 있다. 일부 실시예들에서, 망막에 도달하는 광량을 결정하는 것은 또한 디스플레이 디바이스에 의해 사용자에게 출력되는 광량을 결정하는 것을 포함할 수 있다. 또 다른 실시예들에서, 망막에 도달하는 광량은 동공 사이즈를 결정하기 위해 사용자의 눈을 이미징함으로써 결정될 수 있다. 동공 사이즈는 망막에 도달하는 광량과 관련되기 때문에, 동공 사이즈를 결정하는 것은 망막에 도달하는 광량이 추론되게 허용한다.
[0124] 풀 컬러 가상 콘텐츠는 복수의 컴포넌트 컬러 이미지들에 의해 형성될 수 있고, 이는 어그리게이트되어 풀 컬러의 지각을 제공할 수 있음이 인지될 것이다. 인간 눈은 광의 상이한 파장들, 또는 컬러들에 대한 상이한 민감도들을 가질 수 있다. 일부 실시예들에서, 응시 포인트에 대한 근접도에 기반하여 변경하는 것에 부가하여, 가상 콘텐츠의 해상도에서의 변경들은 디스플레이 시스템에 의해 제공되는 컴포넌트 컬러 이미지의 컬러에 기반하여 변할 수 있다. 예컨대, 컬러 이미지들의 컴포넌트가 적색, 녹색 및 청색 이미지들을 포함하면, 녹색 컴포넌트 컬러 이미지들은 적색 컴포넌트 컬러 이미지들보다 높은 해상도를 가질 수 있고, 적색 컴포넌트 컬러 이미지들은 청색 컴포넌트 컬러 이미지들보다 높은 해상도를 가질 수 있다. 일부 실시예들에서, 입사 광의 상이한 레벨들에서 상이한 컬러들에 대한 눈의 민감도들에서의 변화들을 해결하기 위해, 망막에 도달하는 광량이 결정될 수 있고, 정해진 컴포넌트 컬러 이미지에 대한 해상도 조정은 또한 망막에 도달하는 광량의 결정에 기반하여 변할 수 있다.
[0125] 눈의 콘트라스트 민감도는 또한 망막에 입사하는 광량에 기반하여 변할 수 있음이 인지될 것이다. 일부 실시예들에서, 가상 콘텐츠에서 콘트라스트에서의 그러데이션들의 사이즈 또는 총 수는 망막에 도달하는 광량에 기반하여 변할 수 있다. 일부 실시예들에서, 가상 콘텐츠를 형성하는 이미지들의 콘트라스트 비율은 망막에 입사하는 광량에 기반하여 변할 수 있고, 콘트라스트 비율은 광의 감소하는 양들에 따라 감소한다.
[0126] 일부 실시예들에서, 사용자의 시야의 특정 부분들에는 임의의 가상 콘텐츠가 제공되지 않을 수 있다. 예컨대, 디스플레이 시스템은 정해진 눈의 시신경 및/또는 주변 블라인드 스폿에 의해 유발된 블라인드 스폿에서 가상 콘텐츠를 제공하지 않도록 구성될 수 있다.
[0127] 본원에서 논의된 바와 같이, 디스플레이 시스템은 사용자의 시야의 일 부분에서 고 해상도 콘텐츠를 그리고 사용자의 시야의 다른 부분에서 더 낮은 해상도 콘텐츠를 디스플레이하도록 구성될 수 있다. 고 해상도 콘텐츠는 더 낮은 해상도 콘텐츠보다 높은 픽셀 밀도를 가질 수 있음이 인지될 것이다. 일부 환경들에서, 디스플레이 시스템은 고-해상도 및 저 해상도 이미지들을 효과적으로 중첩함으로써 이러한 고 및 저 해상도 콘텐츠를 제공하도록 구성될 수 있다. 예컨대, 시스템은 전체 시야에 걸쳐 있는 저 해상도 이미지를 디스플레이하고, 그런다음 시야의 작은 부분에 걸쳐 있는 고 해상도 이미지를 디스플레이할 수 있고, 고-해상도 이미지는 저 해상도 이미지의 대응하는 부분과 동일한 위치에 위치된다. 고 및 저 해상도 이미지들은 상이한 광학기를 통해 라우팅될 수 있고, 이는 그러한 이미지들이 얼마나 많은 시야를 점유하는지를 결정하기 위해 적절한 각도들로 광을 출력한다.
[0128] 일부 실시예들에서, 이미지 정보를 갖는 광을 인코딩하기 위해 단일 SLM(spatial light modulator)이 사용될 수 있고, 빔 분할기 또는 광학 스위치는 SLM으로부터의 단일 광 스트림을 2개의 스트림들, 즉, 저-해상도 이미지들에 대한 광학기를 통해 전파하는 일 스트림 및 고-해상도 이미지들에 대한 광학기를 통해 전파하는 제 2 스트림으로 분할하기 위해 사용될 수 있다. 일부 다른 실시예들에서, 이미지 정보로 인코딩된 광의 편광은, 상이한 편광들의 광에 대한 상이한 각도 배율들을 효과적으로 제공하는 광학기를 통해 선택적으로 스위칭 및 통과되어, 고 및 저 해상도 이미지들을 제공할 수 있다.
[0129] 유리하게, 본원에 설명된 다양한 실시예들은 디스플레이 시스템들 상에 콘텐츠를 제공하기 위한 프로세싱 전력에 대한 요건들을 감소시킨다. 프로세싱 전력의 더 많은 부분이 사용자의 3-차원 응시 포인트에 근접한 가상 오브젝트들에 충당될 수 있는 한편, 더 멀리 있는 가상 오브젝트들에 대한 프로세싱 전력은 감소될 수 있기 때문에, 디스플레이 시스템에 대해 요구되는 전체 프로세싱 전력은 감소될 수 있고, 따라서 프로세싱 컴포넌트들의 사이즈, 프로세싱 컴포넌트들에 의해 생성되는 열 및 디스플레이 시스템에 대한 에너지 요건들 중 하나 이상을 감소시킬 수 있다(예컨대, 디스플레이 시스템은 선택적으로 배터리로 전력을 공급받고, 더 낮은 용량 배터리들을 요구하고 그리고/또는 정해진 배터리로 더 긴 지속기간 동안 동작할 수 있다). 따라서, 본원에서 설명된 실시예들은 증강 또는 가상 현실 디스플레이 시스템들로부터 발생하는 기술적 문제점들을 처리한다. 추가적으로, 설명된 기법들은, 사용자에게의 프리젠테이션 시에, 그래픽 콘텐츠가 근본적으로 상이하게(예컨대, 해상도들이 수정됨) 제공되는 한편, 그래픽 콘텐츠가 동일한 것으로 사용자에게 나타날 수 있도록 그래픽 콘텐츠를 조작한다. 따라서, 디스플레이 시스템은 그래픽 콘텐츠를 변환하는 한편, 시각 충실도를 보존하고, 사용자가 자신들의 주변 환경 주위를 볼 때 프로세싱 전력을 보존한다.
[0130] 디스플레이 시스템은 증강 현실 디스플레이 시스템 또는 가상 현실 디스플레이 시스템의 일부일 수 있음이 인지될 것이다. 일 예로서, 디스플레이 시스템의 디스플레이는 투과성일 수 있고, 실세계의 시야를 사용자에게 허용하는 한편, 가상 콘텐츠를 이미지들, 비디오, 상호작용 등의 형태로 사용자에게 제공할 수 있다. 다른 예로서, 디스플레이 시스템은 실세계의 사용자의 뷰를 차단할 수 있고, 가상 현실 이미지들, 비디오, 상호작용 등이 사용자에게 제공될 수 있다.
[0131] 이제 유사한 참조 번호들이 전반에 걸쳐 유사한 부분들을 나타내는 도면들이 참조될 것이다.
[0132] 도 2는 사용자에 대한 3-차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 사용자의 눈들이 이격되는 것, 및 공간에서 실제 오브젝트를 볼 때, 각각의 눈이 오브젝트의 약간 상이한 뷰를 가질 것이고, 각각의 눈의 망막 상의 상이한 위치들에 오브젝트의 이미지를 형성할 수 있음이 인지될 것이다. 이는 양안 디스패리티로서 지칭될 수 있고, 깊이의 지각을 제공하기 위해 인간 시각 시스템에 의해 활용될 수 있다. 가상 오브젝트가 원하는 깊이의 실제 오브젝트이면, 종래의 디스플레이 시스템은, 각각의 눈에 의해 보일 가상 오브젝트의 시각에 대응하는 동일한 가상 오브젝트(각각의 눈(210, 220)에 대해 하나)의 약간 다른 뷰들을 갖는 2개의 별개의 이미지들(190, 200)을 제공함으로써 양안 디스패리티를 시뮬레이팅한다. 이러한 이미지들은, 사용자의 시각 시스템이 깊이의 지각을 도출하기 위해 해석할 수 있는 양안 큐들을 제공한다.
[0133] 도 2를 계속해서 참조하면, 이미지들(190, 200)은 z-축 상에서 거리(230)만큼 눈들(210, 220)로부터 이격된다. z-축은 뷰어의 바로 앞의 광학 무한대에 있는 오브젝트 상에 응시된 눈들을 갖는 뷰어의 광학 축에 평행하다. 이미지들(190, 200)은 평탄하고 눈들(210, 220)로부터 고정된 거리에 있다. 눈들(210, 220)에 각각 제공되는 이미지들에서 가상 오브젝트의 약간 상이한 뷰들에 기반하여, 눈들은 자연적으로 회전하여, 오브젝트의 이미지는 단일 양안시를 유지하기 위해 눈들 각각의 망막들 상의 대응하는 포인트들 상에 놓일 수 있다. 이러한 회전은 눈들(210, 220) 각각의 시선들이, 가상 오브젝트가 존재하는 것으로 지각되는 공간의 포인트 상으로 수렴하게 할 수 있다. 결과적으로, 3-차원 이미저리를 제공하는 것은 종래에, 사용자의 눈들(210, 220)의 이점운동을 조작할 수 있고 깊이의 지각을 제공하기 위해 인간 시각 시스템이 해석하는 양안 큐들을 제공하는 것을 수반한다.
[0134] 그러나, 깊이의 실감나는 그리고 편안한 지각을 생성하는 것은 난제시된다. 눈들로부터 상이한 거리들에 있는 오브젝트들로부터의 광은 상이한 발산량들을 갖는 파면들을 가짐이 인지될 것이다. 도 3a-3c는 광선들의 거리와 발산 간의 관계들을 예시한다. 오브젝트와 눈(210) 간의 거리는 감소하는 거리 R1, R2 및 R3의 순서로 표현된다. 도 3a-3c에 도시된 바와 같이, 광선들은 오브젝트까지의 거리가 감소함에 따라 더 발산된다. 역으로, 거리가 증가함에 따라, 광선들은 더 시준된다. 달리 말하면, 포인트(오브젝트 또는 오브젝트의 일부)에 의해 생성된 광 필드는 구면 파면 곡률을 갖고, 이는 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수로 지칭될 수 있다. 곡률은 오브젝트와 눈(210) 간의 거리를 감소시킴에 따라 증가된다. 도 3a-3c 및 본원의 다른 도면들에는 명확성을 위해 오직 단일 눈(210)이 예시되어 있지만, 눈(210)에 관한 논의들은 뷰어의 양쪽 눈들(210 및 220)에 적용될 수 있다.
[0135] 도 3a-3c를 계속해서 참조하면, 뷰어의 눈들이 응시되는 오브젝트로부터의 광은 상이한 정도들의 파면 발산을 가질 수 있다. 파면 발산의 상이한 양들로 인해, 광은 눈의 렌즈에 의해 상이하게 포커싱될 수 있고, 이는 결국 눈의 망막 상에 포커싱된 이미지를 형성하기 위해 상이한 형상들을 취하는 렌즈를 요구할 수 있다. 포커싱된 이미지가 망막 상에 형성되지 않는 경우, 결과적 망막 블러는 포커싱된 이미지가 망막 상에 형성될 때까지 눈의 렌즈의 형상에서의 변경을 유발하는 원근조절에 대한 큐로서 작용한다. 예컨대, 원근조절에 대한 큐는 눈의 렌즈를 둘러싸는 모양체근들을 완화 또는 수축하도록 트리거링하여, 렌즈를 홀딩하는 현수 인대들에 적용된 힘을 변조할 수 있고, 따라서, 응시의 오브젝트의 망막 블러가 제거 또는 최소화될 때까지 눈의 렌즈의 형상이 변하게 하여, 눈의 망막(예컨대, 중심와) 상에 응시의 오브젝트의 포커싱된 이미지를 형성할 수 있다. 눈의 렌즈가 형상을 변경하는 프로세스는 원근조절로 지칭될 수 있고, 눈의 망막(예컨대, 중심와) 상에 응시의 오브젝트의 포커싱된 이미지를 형성하기 위해 요구되는 눈의 렌즈의 형상은 원근조절 상태으로 지칭될 수 있다.
[0136] 이제 도 4a를 참조하면, 인간 시각 시스템의 원근조절-이접운동 응답이 예시된다. 오브젝트 상에 응시하는 눈들의 움직임은 눈들이 오브젝트로부터의 광을 수신하게 하고, 광은 눈들의 망막들 각각 상에 이미지를 형성한다. 망막 상에 형성된 이미지 내의 망막 블러의 존재는 원근조절에 대한 큐를 제공할 수 있고, 망막들 상에서 이미지의 상대적 위치들은 이접운동에 대한 큐를 제공할 수 있다. 원근조절에 대한 큐는 원근조절이 발생하게 하여, 눈들의 렌즈들이 눈의 망막(예컨대, 중심와) 상에 오브젝트의 포커싱된 이미지를 형성하는 특정 원근조절 상태를 각각 취하는 것을 산출한다. 다른 한편으로는, 이접운동에 대한 큐는, 각각의 눈의 각각의 망막 상에 형성된 이미지들이 단일 양안시를 유지하는 대응하는 망막 포인트들에 있도록 이접운동 움직임들(눈들의 회전)이 발생하게 한다. 이러한 포지션들에서, 눈들은 특정 이접운동 상태를 취했다고 지칭될 수 있다. 도 4a를 계속해서 참조하면, 원근조절은 눈이 특정 원근조절 상태를 달성하는 프로세스로 이해될 수 있고, 이접운동은 눈이 특정 이접운동 상태를 달성하는 프로세스로 이해될 수 있다. 도 4a에 표시된 바와 같이, 눈들의 원근조절 및 이접운동 상태들은 사용자가 다른 오브젝트를 응시하면 변할 수 있다. 예컨대, 원근조절된 상태는 사용자가 z-축 상에서 상이한 깊이에 있는 새로운 오브젝트를 응시하면 변할 수 있다.
[0137] 이론에 제한되지 않고, 오브젝트의 뷰어들은 이접운동 및 원근조절의 조합으로 인해 "3-차원"인 것으로 오브젝트를 지각할 수 있는 것으로 여겨진다. 앞서 주목된 바와 같이, 서로에 대한 2개의 눈들의 이접운동 움직임들(예컨대, 오브젝트를 응시하는 눈들의 시선들을 수렴시키기 위해 동공들이 서로를 향해 또는 서로로부터 멀어지게 이동하도록 하는 눈들의 회전)은 눈들의 렌즈들의 원근조절과 근접하게 연관된다. 정상 조건들하에서, 하나의 오브젝트로부터 상이한 거리의 다른 오브젝트로 초점을 변경하기 위해 눈들의 렌즈들의 형상들을 변경하는 것은, "원근조절-이접운동 반사작용"으로 알려진 관계하에서, 이접운동에서의 매칭하는 변경이 자동으로 동일한 거리에 있게 할 것이다. 마찬가지로, 이접운동에서의 변경은 정상 조건들하에서 렌즈 형상에서의 매칭하는 변경을 트리거링할 것이다.
[0138] 이제 도 4b를 참조하면, 눈들의 상이한 원근조절 및 이접운동 상태들의 예들이 예시된다. 눈들(222a)의 쌍은 광학 무한대에 있는 오브젝트에 응시되는 한편, 눈들(222b)의 쌍은 광학 무한대보다 가까이 있는 오브젝트(221)에 응시된다. 특히, 눈들의 각각의 쌍의 이접운동 상태들은 상이하고, 눈들(222a)의 쌍은 직선 앞으로 지향되는 한편, 눈들의 쌍(222)은 오브젝트(221) 상에 수렴된다. 렌즈들(210a, 220a)의 상이한 형상들에 의해 표현되는 바와 같이, 눈들(222a 및 222b)의 각각의 쌍을 형성하는 눈들의 원근조절 상태들은 또한 상이하다.
[0139] 바람직하지 않게, 종래의 "3-D" 디스플레이 시스템들의 많은 사용자들은 이러한 종래의 시스템들이 불편한 것을 발견하거나, 이들 디스플레이들에서 원근조절 상태와 이접운동 상태 간의 미스매치로 인해 깊이의 감지를 결코 지각하지 못할 수 있다. 앞서 주목된 바와 같이, 많은 입체 또는 "3-D" 디스플레이 시스템들은 각각의 눈에 약간 상이한 이미지들을 제공함으로써 장면을 디스플레이한다. 이러한 시스템들은 많은 뷰어들에 대해 불편한데, 이는, 이들이 무엇보다도, 단순히 장면의 상이한 프리젠테이션들을 제공하고 눈들의 이접운동 상태들에서의 변경들을 유발하지만 그러한 눈들의 원근조절 상태들에서의 대응하는 변경이 없기 때문이다. 오히려, 이미지들은 눈들로부터 고정된 거리에서 디스플레이에 의해 나타나서, 눈들은 모든 이미지 정보를 단일 원근조절 상태에서 본다. 이러한 어레인지먼트는 원근조절 상태에서의 매칭하는 변경 없이 이접운동 상태에서의 변경들을 유발함으로써, "원근조절-이접운동 반사작용"에 대해 작용한다. 이러한 미스매치는 뷰어 불편함을 초래하는 것으로 여겨진다. 원근조절과 이접운동 간의 더 양호한 매치를 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 실감나고 편안한 시뮬레이션들을 형성할 수 있다.
[0140] 이론에 제한되지 않고, 인간 눈은 깊이 지각을 제공하기 위해 전형적으로 유한한 수의 깊이 평면들을 해석할 수 있는 것으로 여겨진다. 결과적으로, 이러한 제한된 수들의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 눈에 제공함으로써, 지각된 깊이의 매우 믿을 수 있는 시뮬레이션이 달성될 수 있다. 일부 실시예들에서, 상이한 프리젠테이션들은 이접운동에 대한 큐들 및 원근조절에 대한 매칭하는 큐들 둘 모두를 제공하여, 생리학적으로 정확한 원근조절-이접운동 매칭을 제공할 수 있다.
[0141] 도 4b를 계속해서 참조하면, 눈들(210, 220)로부터의 공간에서 상이한 거리들에 대응하는 2개의 깊이 평면들(240)이 예시된다. 정해진 깊이 평면(240)에 대해, 이접운동 큐들은 각각의 눈(210, 220)에 대해 적절히 상이한 관점들의 디스플레이에 의해 제공될 수 있다. 게다가, 정해진 깊이 평면(240)에 대해, 각각의 눈(210, 220)에 제공되는 이미지들을 형성하는 광은 그 깊이 평면(240)의 거리에 있는 포인트에 의해 생성된 광 필드에 대응하는 파면 발산을 가질 수 있다.
[0142] 예시된 실시예에서, 포인트(221)를 포함하는 깊이 평면(240)의 z-축을 따른 거리는 1 m이다. 본원에서 사용되는 바와 같이, z-축을 따른 거리들 또는 깊이들은 사용자의 눈들의 출사 동공들에 위치하는 제로 포인트로 측정될 수 있다. 따라서, 1 m의 깊이에 위치된 깊이 평면(240)은 그러한 눈들의 광학 축 상에서 사용자의 눈들의 출사 동공들로부터 멀리 1 m의 거리에 대응한다. 근사치로서, z-축을 따른 깊이 또는 거리는, 디바이스와 사용자의 눈들의 출사 동공들 간의 거리에 대한 값 플러스 (예컨대, 도파관의 표면으로부터) 사용자의 눈들의 정면의 디스플레이로부터 측정될 수 있고, 눈들은 광학 무한대를 향해 지향된다. 그 값은 눈 릴리프로 불릴 수 있고, 사용자의 눈의 출사 동공과 눈의 정면의 사용자에 의해 착용된 디스플레이 간의 거리에 대응한다. 실제로, 눈 릴리프에 대한 값은 모든 뷰어들에 대해 일반적으로 사용되는 정규화된 값일 수 있다. 예컨대, 눈 릴리프는 20 mm로 가정될 수 있고, 1 m의 깊이에 있는 깊이 평면은 디스플레이의 앞에 980 mm의 거리에 있을 수 있다.
[0143] 이제 도 4c 및 4d를 참조하면, 매칭된 원근조절-이접운동 거리들 및 미스매칭된 원근조절-이접운동 거리들의 예들이 각각 예시된다. 도 4c에 예시된 바와 같이, 디스플레이 시스템은 각각의 눈(210, 220)에 가상 오브젝트의 이미지들을 제공할 수 있다. 이미지들은 눈들(210, 220)로 하여금 깊이 평면(240) 상의 포인트(15)에 눈이 수렴하는 이미지 상태를 취하게 할 수 있다. 게다가, 이미지들은 그 깊이 평면(240)에서 실제 오브젝트들에 대응하는 파면 곡률을 갖는 광에 의해 형성될 수 있다. 결과적으로, 눈들(210, 220)은 이미지들이 그러한 눈들의 망막들 상에 초점을 맞추는 원근조절 상태를 취한다. 따라서, 사용자는 가상 오브젝트가 깊이 평면(240) 상의 포인트(15)에 있는 것으로 지각할 수 있다.
[0144] 눈들(210, 220)의 원근조절 및 이접운동 상태들 각각은 z-축 상의 특정 거리와 연관된 것으로 인지될 것이다. 예컨대, 눈들(210, 220)로부터 특정 거리에 있는 오브젝트는 그러한 눈들로 하여금 오브젝트의 거리들에 기반하여 특정 원근조절 상태들을 취하게 한다. 특정 원근조절 상태와 연관된 거리는 원 거리 Ad로 지칭될 수 있다. 유사하게, 특정 이접운동 상태들 또는 서로에 대한 포지션들에서 눈들과 연관된 특정 이접운동 거리들 Vd가 존재한다. 원근조절 거리 및 이접운동 거리가 매칭하는 경우, 원근조절과 이접운동 간의 관계는 생리학적으로 정확한 것으로 지칭될 수 있다. 이는 뷰어에 대해 가장 편안한 시나리오인 것으로 고려된다.
[0145] 그러나, 입체 디스플레이들에서, 원근조절 거리 및 이접운동 거리는 항상 매칭하는 것은 아니다. 예컨대, 도 4d에 예시된 바와 같이, 눈들(210, 220)에 디스플레이되는 이미지들은 깊이 평면(240)에 대응하는 파면 발산으로 디스플레이될 수 있고, 눈들(210, 220)은 그 깊이 평면 상의 포인트들(15a, 15b)이 초점을 맞추는 특정 원근조절 상태를 취할 수 있다. 그러나, 눈들(210, 220)에 디스플레이되는 이미지들은 눈들(210, 220)로 하여금 깊이 평면(240) 상에 위치되지 않은 포인트(15) 상에 수렴하게 하는 이미지에 대한 큐들을 제공할 수 있다. 결과적으로, 원근조절 거리는 사용자의 특정 참조 포인트(예컨대, 눈들(210, 220)의 출사 동공들)로부터 깊이 평면(240)까지의 거리에 대응하는 한편, 이접운동 거리는 일부 실시예들에서 참조 포인트로부터 포인트(15)까지의 더 큰 거리에 대응한다. 따라서, 원근조절 거리는 이접운동 거리와 상이하고, 원근조절-이접운동 미스매치가 존재한다. 이러한 미스매치는 원하지 않는 것으로 고려되고 사용자에게 불편함을 유발할 수 있다. 미스매치는 거리(예컨대, Vd - Ad)에 대응하고 디옵터(길이의 역의 단위들, 1/m)를 사용하여 특성화될 수 있음이 인지될 것이다. 예컨대, 1.75 디옵터의 Vd 및 1.25 디옵터의 Ad, 또는 1.25 디옵터의 Vd 및 1.75 디옵터의 Ad가 0.5 디옵터의 원근조절-이접운동 미스매치를 제공할 것이다.
[0146] 일부 실시예들에서, 원근조절 거리 및 이접운동 거리에 대해 동일한 참조 포인트가 활용되는 한, 눈들(210, 220)의 출사 동공들 이외의 참조 포인트가 원근조절-이접운동 미스매치를 결정하기 위한 거리를 결정하기 위해 활용될 수 있음이 인지될 것이다. 예컨대, 각막부터 깊이 평면까지, 망막부터 깊이 평면까지, 접안렌즈(예컨대, 디스플레이 디바이스의 도파관)부터 깊이 평면까지 등의 거리들이 측정될 수 있다.
[0147] 이론 이론에 제한되지 않고, 사용자들은 약 0.25 디옵터까지, 약 0.33 디옵터까지 그리고 약 0.5 디옵터까지의 원근조절-이접운동 미스매치들을, 미스매치 자체가 상당한 불편함을 유발함이 없이, 여전히 생리학적으로 정확한 것으로 지각할 수 있는 것으로 여겨진다. 일부 실시예들에서, 본원에 개시된 디스플레이 시스템들(예컨대, 디스플레이 시스템(250), 도 6)은 약 0.5 디옵터 이하의 원근조절-이미지 미스매치를 갖는 이미지들을 뷰어에게 제공한다. 일부 다른 실시예들에서, 디스플레이 시스템에 의해 제공되는 이미지들의 원근조절-이접운동 미스매치는 약 0.33 디옵터 이하이다. 또 다른 실시예들에서, 디스플레이 시스템에 의해 제공되는 이미지들의 원근조절-이접운동 미스매치는 약 0.1 디옵터 이하를 포함하여 약 0.25 디옵터 이하다.
[0148] 도 5는 파면 발산을 수정함으로써 3차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 디스플레이 시스템은 이미지 정보와 인코딩된 광(770)을 수신하고 그 광을 사용자의 눈(210)에 출력하도록 구성되는 도파관(270)을 포함한다. 도파관(270)은 원하는 깊이 평면(240) 상의 포인트에 의해 생성되는 광 필드의 파면 발산에 대응하는 파면 발산의 정의된 양을 갖는 광(650)을 출력할 수 있다. 일부 실시예들에서, 그 깊이 평면 상에 제시되는 모든 오브젝트들에 대해 동일한 양의 파면 발산이 제공된다. 게다가, 사용자의 다른 눈에는 유사한 도파관으로부터의 이미지 정보가 제공될 수 있는 것이 예시될 것이다.
[0149] 일부 실시예들에서, 단일 도파관은 단일의 또는 제한된 수의 깊이 평면들에 대응하는 세팅된 양의 파면 발산으로 광을 출력하도록 구성될 수 있고 그리고/또는 도파관은 제한된 범위의 파장들의 광을 출력하도록 구성될 수 있다. 결과적으로, 일부 실시예들에서, 도파관들의 복수의 스택은 상이한 깊이 평면들에 대해 상이한 양들의 파면 발산을 제공하고 그리고/또는 상이한 범위의 파장들의 광을 출력하는데 활용될 수 있다. 본원에서 사용된 바와 같이, 깊이 평면이 평탄하거나 곡면 표면의 윤곽들을 따를 수 있다는 것이 인지될 것이다. 일부 실시예들에서, 간략화를 위해, 깊이 평면들은 평탄한 표면들의 윤곽들을 따를 수 있다.
[0150] 도 6은 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(250)은 복수의 도파관들(270, 280, 290, 300, 310)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(260)를 포함한다. 디스플레이 시스템(250)은 일부 실시예들에서 광 필드(light field) 디스플레이로서 간주될 수 있다는 것이 인지될 것이다. 게다가, 도파관 어셈블리(260)는 또한 접안렌즈로서 지칭될 수 있다.
[0151] 일부 실시예들에서, 디스플레이 시스템(250)은 실질적으로 연속적인 큐를 이접운동에 제공하고 다수의 이산 큐들을 원근조절에 제공하도록 구성될 수 있다. 이접운동에 대한 단서들은 상이한 이미지들을 사용자의 눈들의 각각에 디스플레이함으로써 제공될 수 있고, 그리고 원근조절에 대한 단서들은 선택적인 이산 파면 발산량들을 가진 이미지들을 형성하는 광을 출력함으로써 제공될 수 있다. 다른 말로 하면, 디스플레이 시스템(250)은 가변적인 레벨들의 파면 발산으로 광을 출력하도록 구성 될 수 있다. 일부 실시예들에서, 각각의 이산 레벨의 파면 발산은 특정 깊이 평면에 대응하고 도파관들(270, 280, 290, 300, 310) 중 특정 하나에 의해 제공될 수 있다.
[0152] 도 6을 계속해서 참조하면, 도파관 어셈블리(260)는 또한 도파관들 사이에 복수의 피처들(320, 330, 340, 350)을 포함할 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 하나 이상의 렌즈들일 수 있다. 도파관들(270, 280, 290, 300, 310) 및/또는 복수의 렌즈들(320, 330, 340, 350)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 도파관들에 대한 광의 소스로서 기능할 수 있고, 이미지 정보를 도파관들(270, 280, 290, 300, 310)에 주입하기 위하여 활용될 수 있으며, 도파관들 각각은, 본원에 설명된 바와 같이, 눈(210)을 향하여 출력하기 위해 각각의 개개의 도파관에 걸쳐 인입 광을 분배시키도록 구성될 수 있다. 광은 이미지 주입 디바이스들(360, 370, 380, 390, 400)의 출력 표면(410, 420, 430, 440, 450)을 나가고 도파관들(270, 280, 290, 300, 310)의 대응하는 입력 표면(460, 470, 480, 490, 500)에 주입된다. 일부 실시예들에서, 입력 표면들(460, 470, 480, 490, 500) 각각은 대응하는 도파관의 에지일 수 있거나, 또는 대응하는 도파관의 주 표면의 일부일 수 있다(즉, 도파관 표면들 중 하나는 직접적으로 세계(510) 또는 뷰어의 눈(210)을 향함). 일부 실시예들에서, 단일 광빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산량들)로 눈(210)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다. 일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 단 하나의 이미지 주입 디바이스가 복수(예컨대, 3개)의 도파관들(270, 280, 290, 300, 310)과 연관되고 그에 광을 주입할 수 있다.
[0153] 일부 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 각각 대응하는 도파관(270, 280, 290, 300, 310)에 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(360, 370, 380, 390, 400) 각각에 파이핑(pipe)할 수 있는 단일 다중화된 디스플레이의 출력 단부들이다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)에 의해 제공되는 이미지 정보는 상이한 파장들 또는 컬러들(예컨대, 본원에서 논의된 바와 같이 상이한 컴포넌트 컬러들)의 광을 포함할 수 있다는 것이 인지될 것이다.
[0154] 일부 실시예들에서, 도파관들(270, 280, 290, 300, 310)로 주입된 광은 LED(light emitting diode)와 같은 광 방출기를 포함할 수 있는 광 모듈(530)을 포함하는 광 투사기 시스템(520)에 의해 제공된다. 광 모듈(530)로부터의 광은 빔 분할기(550)를 통해 광 변조기(540), 예컨대, 공간 광 변조기에 지향되고 그에 의해 수정될 수 있다. 광 변조기(540)는 이미지 정보로 광을 인코딩하기 위해 도파관들(270, 280, 290, 300, 310)에 주입되는 광의 지각된 세기를 변화시키도록 구성될 수 있다. 공간 광 변조기들의 예들은, LCOS(liquid crystal on silicon) 디스플레이들을 포함하는 LCD(liquid crystal display)들을 포함한다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)이 개략적으로 예시되고, 일부 실시예들에서, 이들 이미지 주입 디바이스들은 도파관들(270, 280, 290, 300, 310) 중 연관된 도파관 내로 광을 출력하도록 구성된 공통 투사 시스템에서 상이한 광 경로들 및 위치들을 표현할 수 있다는 것이 인지될 것이다. 일부 실시예들에서, 도파관 어셈블리(260)의 도파관들은 도파관에 주입된 광을 사용자의 눈들로 밖으로 중계하는 동안 이상적인 렌즈로서 기능할 수 있다. 이러한 개념에서, 오브젝트는 공간 광 변조기(540)일 수 있고 이미지는 깊이 평면 상의 이미지일 수 있다.
[0155] 일부 실시예들에서, 디스플레이 시스템(250)은 광을 다양한 패턴들(예컨대, 래스터 스캔, 나선형 스캔, 리사주(Lissajous) 패턴 등)로 하나 이상의 도파관들(270, 280, 290, 300, 310) 내로 그리고 궁극적으로 뷰어의 눈(210)으로 투사하도록 구성된 하나 이상의 스캐닝 섬유들을 포함하는 스캐닝 섬유 디스플레이일 수 있다. 일부 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 하나 또는 복수의 도파관들(270, 280, 290, 300, 310) 내로 광을 주입하도록 구성된 단일 스캐닝 섬유 또는 스캐닝 섬유들의 번들(bundle)을 개략적으로 표현할 수 있다. 일부 다른 실시예들에서, 예시된 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 복수의 스캐닝 섬유들 또는 스캐닝 섬유들의 복수의 번들들을 개략적으로 표현할 수 있으며, 이들 각각은 도파관들(270, 280, 290, 300, 310) 중 연관된 하나 내로 광을 주입하도록 구성된다. 하나 이상의 광섬유들이 광 모듈(530)로부터 하나 이상의 도파관들(270, 280, 290, 300, 310)로 광을 송신하도록 구성될 수 있다는 것이 인지될 것이다. 예컨대, 스캐닝 섬유를 빠져나가는 광을 하나 이상의 도파관들(270, 280, 290, 300, 310)로 재지향시키도록, 스캐닝 섬유 또는 섬유들과 하나 이상의 도파관들(270, 280, 290, 300, 310) 사이에 하나 이상의 개재된 광학 구조들이 제공될 수 있다는 것이 인지될 것이다.
[0156] 제어기(560)는 이미지 주입 디바이스들(360, 370, 380, 390, 400), 광원(530) 및 광 변조기(540)의 동작을 포함한, 스택된 도파관 어셈블리(260)의 하나 이상의 도파관들의 동작을 제어한다. 일부 실시예들에서, 제어기(560)는 로컬 데이터 프로세싱 모듈(140)의 부분이다. 제어기(560)는 예컨대, 본원에 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(270, 280, 290, 300, 310)에 대한 이미지 정보의 타이밍 및 프로비전을 조절하는 프로그래밍(예컨대, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분배 시스템일 수 있다. 제어기(560)는 일부 실시예들에서, 프로세싱 모듈들(140 또는 150)(도 9d)의 부분일 수 있다.
[0157] 도 6을 계속해서 참조하면, 도파관들(270, 280, 290, 300, 310)은 TIR(total internal reflection)에 의해 각각의 개개의 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(270, 280, 290, 300, 310)은 각각 평면형이거나 다른 형상(예컨대, 곡면)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(270, 280, 290, 300, 310)은 이미지 정보를 눈(210)에 출력하기 위해 각각의 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관 밖으로 광을 추출하도록 구성된 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 각각 포함할 수 있다. 추출된 광은 아웃-커플링된 광으로서 또한 지칭될 수 있고, 아웃-커플링 광학 엘리먼트들은 또한 광 추출 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광빔은, 도파관 내에서 전파되는 광이 광 추출 광학 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력될 수 있다. 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 예컨대, 본원에서 추가로 논의되는 바와 같이, 회절성 광학 피처들을 포함하는 격자들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(270, 280, 290, 300, 310)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 본원에서 추가로 논의되는 바와 같이, 최상부 및/또는 최하부 주 표면들에 배치될 수 있고, 그리고/또는 도파관들(270, 280, 290, 300, 310)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 도파관들(270, 280, 290, 300, 310)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(270, 280, 290, 300, 310)은 재료의 모놀리식 피스(piece)일 수 있고 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0158] 도 6을 계속해서 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(270, 280, 290, 300, 310)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(270)은, (그러한 도파관(270)에 주입된) 시준된 광을 눈(210)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 위의 다음 도파관(280)은, 시준된 광이 눈(210)에 도달할 수 있기 전에 제1 렌즈(350)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그러한 제1 렌즈(350)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위의 다음 도파관(280)에서 나오는 광을, 광학적 무한대로부터 눈(210)을 향하여 안쪽으로 더 근접한 제1 초점 평면에서 나오는 것으로 해석한다. 유사하게, 위의 제3 도파관(290)은 자신의 출력 광을 눈(210)에 도달하기 전에 제1 (350) 및 제2 (340) 렌즈들 둘 모두를 통과시키고; 제1 (350) 및 제2 (340) 렌즈들의 조합된 광 파워(optical power)는 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(290)에서 나오는 광을, 위의 다음 도파관(280)으로부터의 광보다는 광학적 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면에서 나오는 것으로 해석한다.
[0159] 다른 도파관 층들(300, 310) 및 렌즈들(330, 320)은 유사하게 구성되는데, 스택에서 가장 높은 도파관(310)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 어그리게이트 초점 전력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(260)의 다른 측 상에서 세계(510)에서 나오는 광을 보거나/해석할 때 렌즈들(320, 330, 340, 350)의 스택을 보상하기 위하여, 보상 렌즈 층(620)은 아래의 렌즈 스택(320, 330, 340, 350)의 어그리게이트 전력을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 아웃-커플링 광학 엘리먼트들 및 렌즈들의 초점 양상들 둘 모두는 정적(즉, 동적이거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0160] 일부 실시예들에서, 도파관들(270, 280, 290, 300, 310) 중 둘 또는 그 초과는 동일한 연관된 깊이 평면을 가질 수 있다. 예컨대, 다수의 도파관들(270, 280, 290, 300, 310)은 동일한 깊이 평면으로 세팅된 이미지들을 출력하도록 구성될 수 있거나, 또는 도파관들(270, 280, 290, 300, 310)의 다수의 서브세트들은 동일한 복수의 깊이 평면들로 세팅된 이미지들(각각의 깊이 평면에 대해 하나의 이미지가 세팅됨)을 출력하도록 구성될 수 있다. 이는 그러한 깊이 평면들에서 확장된 시야를 제공하기 위해 타일 이미지(tiled image)를 형성하는 장점들을 제공할 수 있다.
[0161] 도 6을 계속해서 참조하면, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 자신의 개개의 도파관들 밖으로 광을 재지향시키고 그리고 또한 도파관과 연관된 특정 깊이 평면에 대해 적합한 발산량 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)을 가질 수 있고, 이러한 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 연관된 깊이 평면에 따라 상이한 발산량으로 광을 출력한다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(570, 580, 590, 600, 610)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 일부 실시예들에서, 피처들(320, 330, 340, 350)은 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0162] 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(570, 580, 590, 600, 610)은 회절 패턴을 형성하는 회절 피처들 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)이다. 바람직하게는, DOE들은 충분히 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차로 인해 눈(210)을 향하여 편향되지만, 나머지는 TIR을 통하여 도파관을 통해 계속해서 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할되고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(210)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0163] 일부 실시예들에서, 하나 이상의 DOE들은, 그것들을 활성적으로 회절시키는 "온" 상태들과 그것들을 크게 회절시키지 않는 "오프" 상태들 간에 스위칭 가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 마이크로액적들이 호스트 재료에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 재료의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사광을 활성적으로 회절시킴).
[0164] 일부 실시예들에서, 예컨대, 사용자 입력들을 검출하고 그리고/또는 사용자의 생리적 상태를 모니터링하기 위해 눈(210) 및/또는 눈(210) 주위 조직의 이미지들을 캡처하도록 카메라 어셈블리(630)(예컨대, 가시 광 및 적외선 광 카메라들을 포함하는 디지털 카메라)가 제공될 수 있다. 본원에서 사용된 바와 같이, 카메라는 임의의 이미지 캡처 디바이스일 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 이미지 캡처 디바이스 및 눈에 광(예컨대, 적외선 광)을 투사하기 위한 광원을 포함할 수 있으며, 이 광은 그런다음 눈에 의해 반사되고 이미지 캡처 디바이스에 의해 검출될 수 있다. 일부 실시예들에서, 카메라 어셈블리(630)는 프레임(80)(도 9d)에 부착될 수 있고, 카메라 어셈블리(630)로부터의 이미지 정보를 프로세싱할 수 있는 프로세싱 모듈들(140 및/또는 150)과 전기 통신할 수 있다. 일부 실시예들에서, 하나의 카메라 어셈블리(630)가 각각의 눈을 별개로 모니터링하기 위해 각각의 눈에 대해 활용될 수 있다.
[0165] 이제 도 7을 참조하면, 도파관에 의해 출력된 출사 빔들의 예가 도시된다. 하나의 도파관이 예시되지만, 도파관 어셈블리(260)(도 6) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(260)는 다수의 도파관들을 포함한다. 광(640)은 도파관(270)의 입력 표면(460)에서 도파관(270)으로 주입되고 TIR에 의해 도파관(270) 내에서 전파된다. 광(640)이 DOE(570)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(650)로서 도파관을 나간다. 출사 빔들(650)은 실질적으로 평행한 것으로 예시되지만, 본원에 논의된 바와 같이, 이들 출사 빔들은 또한 도파관(270)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(210)으로 전파되도록 재지향될 수 있다(예컨대, 발산하는 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(210)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것처럼 보이는 이미지들을 형성하도록 광을 아웃커플링하는 아웃-커플링 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 아웃-커플링 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있고, 이는 눈(210)이 망막 상에 초점을 맞추게 하기 위해 더 근접한 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(210)에 더 근접한 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0166] 일부 실시예들에서, 풀(full) 컬러 이미지는 컴포넌트 컬러들, 예컨대, 3개 또는 그 초과의 컴포넌트 컬러들 각각에 이미지들을 오버레이시킴으로써 각각의 깊이 평면에 형성될 수 있다. 도 8은 각각의 깊이 평면이 다수의 상이한 컴포넌트 컬러들을 사용하여 형성된 이미지들을 포함하는 스택된 도파관 어셈블리의 예를 예시한다. 예시된 실시예는 깊이 평면들(240a-240f)을 도시하지만, 더 많거나 더 적은 깊이들이 또한 고려될 수 있다. 각각의 깊이 평면은, 제1 컬러(G)의 제1 이미지; 제2 컬러(R)의 제2 이미지; 및 제3 컬러(B)의 제3 이미지를 포함해서, 자신과 연관된 3개 또는 그 초과의 컴포넌트 컬러 이미지들을 가질 수 있다. 상이한 깊이 평면들은 G, R 및 B 글자들 다음에 오는 디옵터들(dpt)에 대한 상이한 숫자들에 의해 도면에 표시된다. 단지 예들로서, 이들 글자들 각각 다음에 오는 숫자들은 디옵터들(1/m) 또는 뷰어로부터의 깊이 평면의 역 거리(inverse distance)를 표시하며, 도면들에서 각각의 박스는 개별 컴포넌트 컬러 이미지를 나타낸다. 일부 실시예들에서, 상이한 파장들의 광의 눈의 초점에서의 차이를 참작하기 위해, 상이한 컴포넌트 컬러들에 대한 깊이 평면들의 정확한 배치는 변동될 수 있다. 예컨대, 정해진 깊이 평면에 대한 상이한 컴포넌트 컬러 이미지들은 사용자로부터의 상이한 거리들에 대응하는 깊이 평면들 상에 배치될 수 있다. 이러한 어레인지먼트는 시력 및 사용자의 편안함을 증가시킬 수 있고 그리고/또는 색수차들을 감소시킬 수 있다.
[0167] 일부 실시예들에서, 각각의 컴포넌트 컬러의 광은 하나의 전용 도파관에 의해 출력될 수 있고, 결과적으로, 각각의 깊이 평면은 그것과 연관된 다수의 도파관들을 가질 수 있다. 이러한 실시예들에서, 글자들 G, R 또는 B를 포함하는 도면들 내의 각각의 박스는 개별 도파관을 나타내는 것으로 이해될 수 있고, 3개의 도파관들이 깊이 평면 당 제공될 수 있으며, 여기서 3개의 컴포넌트 컬러 이미지들이 깊이 평면 당 제공된다. 각각의 깊이 평면과 연관된 도파관들이 설명의 용이함을 위해 이 도면에서 서로 인접한 것으로 도시되지만, 물리적 디바이스에서, 도파관들은 모두 레벨 당 하나의 도파관을 갖는 스택으로 배열될 수 있다는 것이 인지될 것이다. 일부 다른 실시예들에서, 다수의 컴포넌트 컬러들이 동일한 도파관에 의해 출력될 수 있어서, 예컨대, 단지 단일 도파관이 깊이 평면 당 제공될 수 있다.
[0168] 도 8을 계속해서 참조하면, 일부 실시예들에서, G는 녹색 컬러이고, R은 적색 컬러이고, B는 청색 컬러이다. 일부 다른 실시예들에서, 자홍색 및 청록색을 포함하는, 다른 광의 파장들과 연관되는 다른 컬러들이 적색, 녹색 또는 청색 중 하나 이상을 대체할 수 있거나, 또는 이에 추가로 사용될 수 있다.
[0169] 본 개시내용 전반에 걸쳐 정해진 컬러의 광에 대한 참조는 그 정해진 컬러인 것으로서 뷰어에 의해 지각되는 광의 파장들의 범위 내의 하나 이상의 파장들의 광을 포함하는 것으로 이해될 것이란 점이 인지될 것이다. 예컨대, 적색 광은 약 620-780nm 범위의 하나 이상의 파장들의 광을 포함할 수 있고, 녹색 광은 약 492-577nm 범위의 하나 이상의 파장들의 광을 포함할 수 있으며, 청색 광은 약 435-493nm 범위의 하나 이상의 파장들의 광을 포함할 수 있다.
[0170] 일부 실시예들에서, 광원(530)(도 6)은 뷰어의 시각적 지각 범위 밖의 하나 이상의 파장들, 예컨대, 적외선 및/또는 자외선 파장들의 광을 방출하도록 구성될 수 있다. 게다가, 디스플레이(250)의 도파관들의 인-커플링, 아웃-커플링 및 다른 광 재지향 구조들은 예컨대, 이미징 및/또는 사용자 자극 애플리케이션들을 위해 사용자의 눈(210)을 향하여 디스플레이 밖으로 이 광을 지향 및 방출하도록 구성될 수 있다.
[0171] 이제 도 9a를 참조하면, 일부 실시예들에서, 도파관에 충돌하는 광은 도파관 내로 그 광을 인-커플링하기 위해 재지향될 필요가 있을 수 있다. 인-커플링 광학 엘리먼트는 광을 그의 대응하는 도파관으로 재지향 및 인-커플링하는 데 사용될 수 있다. 도 9a는 인-커플링 광학 엘리먼트를 각각 포함하는 복수의 스택된 도파관들 또는 스택된 도파관들의 세트(660)의 예의 측 단면도를 예시한다. 도파관들은 각각 하나 이상의 상이한 파장들, 또는 하나 이상의 상이한 파장들의 범위들의 광을 출력하도록 구성될 수 있다. 스택(660)은 스택(260)(도 6)에 대응할 수 있고, 스택(660)의 예시된 도파관들은, 이미지 주입 디바이스들(360, 370, 380, 390, 400) 중 하나 이상으로부터의 광이 인-커플링을 위해 광이 재지향되도록 요구하는 포지션으로부터 도파관들로 주입되는 것을 제외하면, 복수의 도파관들(270, 280, 290, 300, 310)의 부분에 대응할 수 있다는 것이 인지될 것이다.
[0172] 스택된 도파관들의 예시된 세트(660)는 도파관들(670, 680, 및 690)을 포함한다. 각각의 도파관은, (도파관 상의 광 입력 영역으로서 또한 지칭될 수 있는) 연관된 인-커플링 광학 엘리먼트를 포함하며, 예컨대, 인-커플링 광학 엘리먼트(700)는 도파관(670)의 주 표면(예컨대, 상부 주 표면) 상에 배치되고, 인-커플링 광학 엘리먼트(710)는 도파관(680)의 주 표면(예컨대, 상부 주 표면) 상에 배치되며, 인-커플링 광학 엘리먼트(720)는 도파관(690)의 주 표면(예컨대, 상부 주 표면) 상에 배치된다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720) 중 하나 이상은 개개의 도파관(670, 680, 690)의 최하부 주 표면 상에 배치될 수 있다(특히, 여기서 하나 이상의 인-커플링 광학 엘리먼트들은 반사 편향 광학 엘리먼트들임). 예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은, 특히 이러한 인-커플링 광학 엘리먼트들이 투과성 편향 광학 엘리먼트들인 경우, 그의 개개의 도파관(670, 680, 690)의 상부 주 표면(또는 다음 하위 도파관의 최상부) 상에 배치될 수 있다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 개개의 도파관(670, 680, 690)의 바디에 배치될 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 파장 선택적이어서, 이들은 하나 이상의 광 파장들을 선택적으로 재지향시키면서 다른 광 파장들을 투과시킨다. 그의 개개의 도파관(670, 680, 690)의 한 측 또는 코너 상에서 예시되지만, 인-커플링 광학 엘리먼트들(700, 710, 720)은 일부 실시예들에서, 그의 개개의 도파관(670, 680, 690)의 다른 영역들에 배치될 수 있다는 것이 인지될 것이다.
[0173] 예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 서로 측방으로 오프셋될 수 있다. 일부 실시예들에서, 각각의 인-커플링 광학 엘리먼트는, 광이 다른 인-커플링 광학 엘리먼트를 통과하지 않고 자신이 그 광을 수신하도록 오프셋될 수 있다. 예컨대, 각각의 인-커플링 광학 엘리먼트(700, 710, 720)는 도 6에 도시된 바와 같이 상이한 이미지 주입 디바이스(360, 370, 380, 390, 및 400)로부터 광을 수신하도록 구성될 수 있고, 다른 인-커플링 광학 엘리먼트들(700, 710, 720)로부터 분리(예컨대, 측방으로 이격)될 수 있어서, 그것은 인-커플링 광학 엘리먼트들(700, 710, 720) 중 다른 것들로부터의 광을 실질적으로 수신하지 않는다.
[0174] 각각의 도파관은 또한 연관된 광 분배 엘리먼트들을 포함하며, 예컨대, 광 분배 엘리먼트들(730)은 도파관(670)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되고, 광 분배 엘리먼트들(740)은 도파관(680)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되며, 광 분배 엘리먼트들(750)은 도파관(690)의 주 표면(예컨대, 최상부 주 표면) 상에 배치된다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최하부 주 표면 상에 각각 배치될 수 있다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면 둘 모두 상에 각각 배치될 수 있거나; 또는 광 분배 엘리먼트들(730, 740, 750)은 상이한 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면들 중 상이한 것들 상에 각각 배치될 수 있다.
[0175] 도파관들(670, 680, 690)은 예컨대, 기체, 액체 및/또는 고체 재료 층들에 의해 이격되고 분리될 수 있다. 예컨대, 예시된 바와 같이, 층(760a)은 도파관들(670, 680)을 분리할 수 있고; 층(760b)은 도파관(680 및 690)을 분리할 수 있다. 일부 실시예들에서, 층들(760a 및 760b)은 저 굴절률 재료들(즉, 도파관들(670, 680, 690) 중 바로 인접한 하나를 형성하는 재료보다 낮은 굴절률을 갖는 재료들)로 형성된다. 바람직하게는, 층들(760a, 760b)을 형성하는 재료의 굴절률은 도파관들(670, 680, 690)을 형성하는 재료의 굴절률보다 0.05 이상으로 크거나 또는 0.10 이하로 작다. 유리하게, 더 낮은 굴절률 층들(760a, 760b)은 도파관들(670, 680, 690)을 통한 광의 TIR(total internal reflection)(예컨대, 각각의 도파관의 최상부 및 최하부 주 표면들 사이의 TIR)을 가능하게 하는 클래딩 층들로서 기능할 수 있다. 일부 실시예들에서, 층들(760a, 760b)은 공기로 형성된다. 예시되지는 않았지만, 예시된 도파관들의 세트(660)의 최상부 및 최하부는 바로 이웃한 클래딩 층들을 포함할 수 있다는 것이 인지될 것이다.
[0176] 바람직하게는, 제조의 용이함 및 다른 고려사항들을 위해, 도파관들(670, 680, 690)을 형성하는 재료는 유사하거나 동일하며, 층들(760a, 760b)을 형성하는 재료는 유사하거나 동일하다. 일부 실시예들에서, 도파관들(670, 680, 690)을 형성하는 재료는 하나 이상의 도파관들 간에 상이할 수 있고, 그리고/또는 층들(760a, 760b)을 형성하는 재료는 여전히 위에서 언급된 다양한 굴절률 관계들을 유지하면서 상이할 수 있다.
[0177] 도 9a를 계속해서 참조하여, 광선들(770, 780, 790)이 도파관들의 세트(660) 상에 입사된다. 광선들(770, 780, 790)은 하나 이상의 이미지 주입 디바이스들(360, 370, 380, 390, 400)(도 6)에 의해 도파관들(670, 680, 690)에 주입될 수 있다는 것이 인지될 것이다.
[0178] 일부 실시예들에서, 광선들(770, 780, 790)은 상이한 성질들, 예컨대, 상이한 파장들 또는 상이한 파장들의 범위들을 가지며, 이는 상이한 컬러들에 대응할 수 있다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 각각, 입사광이 TIR에 의해 도파관들(670, 680, 690) 중 개개의 도파관을 통해 전파되도록 광을 편향시킨다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 각각, 하나 이상의 특정 광 파장들을 선택적으로 편향시키면서, 다른 파장들을 하부 도파관 및 연관된 인커플링 광학 엘리먼트로 투과시킨다.
[0179] 예컨대, 인-커플링 광학 엘리먼트(700)는, 상이한 제2 및 제3 파장들 또는 파장들의 범위들을 각각 갖는 광선들(780 및 790)을 투과시키면서 제1 파장 또는 파장들의 범위를 갖는 광선(770)을 편향시키도록 구성될 수 있다. 유사하게, 투과된 광선(780)은 제2 파장 또는 파장들의 범위의 광을 편향시키도록 구성된 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 광선(790)은 제3 파장 또는 파장들의 범위의 광을 선택적으로 편향시키도록 구성된 인-커플링 광학 엘리먼트(720)에 의해 편향된다.
[0180] 도 9a를 계속해서 참조하면, 편향된 광선들(770, 780, 790)은, 이들이 대응하는 도파관(670, 680, 690)을 통해 전파되도록 편향되는데; 즉, 각각의 도파관의 인-커플링 광학 엘리먼트들(700, 710, 720)은 해당 대응하는 도파관(670, 680, 690) 내로 광을 인-커플링하도록 해당 대응하는 도파관 내로 광을 편향시킨다. 광선들(770, 780, 790)은 광이 TIR에 의해 개개의 도파관(670, 680, 690)을 통해 전파되게 하는 각도들로 편향된다. 광선들(770, 780, 790)은, 도파관의 대응하는 광 분배 엘리먼트들(730, 740, 750)에 충돌할 때까지 TIR에 의해 각각의 도파관(670, 680, 690)을 통해 전파된다.
[0181] 이제 도 9b를 참조하면, 도 9a의 복수의 스택된 도파관들의 예의 사시도를 예시한다. 앞서 주목된 바와 같이, 인-커플링된 광선들(770, 780, 790)은 인-커플링 광학 엘리먼트들(700, 710, 720)에 의해 각각 편향되고, 그런다음 도파관들(670, 680, 690) 내에서 TIR에 의해 각각 전파된다. 그런다음, 광선들(770, 780, 790)은 광 분배 엘리먼트들(730, 740, 750)에 각각 충돌한다. 광 분배 엘리먼트들(730, 740, 750)은, 광선들(770, 780, 790)이 아웃-커플링 광학 엘리먼트(800, 810, 820)를 향해 각각 전파되도록 이들을 편향시킨다.
[0182] 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 OPE(orthogonal pupil expander)들이다. 일부 실시예들에서, OPE들은 아웃-커플링 광학 엘리먼트들(800, 810, 820)로 광을 편향시키거나 분배하고, 일부 실시예들에서, 광이 아웃-커플링 광학 엘리먼트들로 전파될 때 이 광의 빔 또는 스폿 크기를 또한 증가시킬 수 있다. 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 생략될 수 있고, 인-커플링 광학 엘리먼트들(700, 710, 720)은 아웃-커플링 광학 엘리먼트들(800, 810, 820)에 광을 직접 편향시키도록 구성될 수 있다. 예컨대, 도 9a를 참조하면, 광 분배 엘리먼트들(730, 740, 750)은 아웃-커플링 광학 엘리먼트(800, 810, 820)로 각각 대체될 수 있다. 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(800, 810, 820)은 뷰어의 눈(210)(도 7)에 광을 지향시키는 EP(exit pupil)들 또는 EPE(exit pupil expander)들이다. OPE들은 적어도 하나의 축에서 아이 박스(eye box)의 치수들을 증가시키도록 구성될 수 있고, EPE들은 OPE들의 축과 교차하는, 예컨대, 직교하는 축에서 아이 박스를 증가시키는 것일 수 있다는 것이 인지될 것이다. 예컨대, 각각의 OPE는 OPE에 부딪치는 광의 일부를 동일한 도파관의 EPE로 재지향시키면서 광의 잔여 부분이 도파관을 따라 계속 전파되게 허용하게 구성될 수 있다. OPE에 다시 충돌할 시에, 잔여 광의 다른 부분은 EPE로 재지향되고, 그 부분의 잔여 부분은 도파관을 따라 추가로 계속해서 전파되는 식이다. 유사하게, EPE에 부딪칠 시에, 충돌하는 광의 일부는 사용자를 향하여 도파관 밖으로 지향되고, 그 광의 잔여 부분은 그것이 EP에 다시 부딪칠 때까지 도파관을 통해 계속해서 전파되며, 이 때 충돌하는 광의 다른 부분은 도파관 밖으로 지향되는 식이다. 결과적으로, 인커플링된 단일 광빔은 그 광의 일부가 OPE 또는 EPE에 의해 재지향될 때마다 "복제"될 수 있으며, 그리하여 도 6에 도시된 바와 같이 클론 광빔들의 필드를 형성한다. 일부 실시예들에서, OPE 및/또는 EPE는 광빔들의 크기를 수정하도록 구성될 수 있다.
[0183] 그에 따라서,도 9a 및 도 9b를 참조하면, 일부 실시예들에서, 도파관들의 세트(660)는 각각의 컴포넌트 컬러에 대해 도파관들(670, 680, 690; 인-커플링 광학 엘리먼트들(700, 710, 720); 광 분배 엘리먼트(예컨대, OPE들)(730, 740, 750); 및 아웃-커플링 광학 엘리먼트들(예컨대, EP들)(800, 810, 820)을 포함한다. 도파관들(670, 680, 690)은 각각의 도파관 사이에 에어 갭/클래딩 층을 갖도록 스택될 수 있다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 (상이한 인-커플링 광학 엘리먼트들이 상이한 파장들의 광을 수신함에 따라) 입사 광을 자신의 도파관으로 재지향 또는 편향시킨다. 그런다음, 광은 각각의 도파관(670, 680, 690) 내에서 TIR을 산출할 각도로 전파된다. 도시된 예에서, 광선(770)(예컨대, 청색 광)은 제1 인-커플링 광학 엘리먼트(700)에 의해 편향되고, 그런다음 도파관을 따라 계속해서 바운싱(bounce)하여, 앞서 설명된 방식으로, 광 분배 엘리먼트(예컨대, OPE들)(730) 및 그런다음 아웃-커플링 광학 엘리먼트(예컨대, EP들)(800)와 상호작용한다. 광선들(780 및 790)(예컨대, 각각 녹색 및 적색 광)은 도파관(670)을 통과할 것이고, 광선(780)은 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 그런다음, 광선(780)은 TIR을 통해 도파관(680)을 따라 바운싱되어, 자신의 광 분배 엘리먼트(예컨대, OPE들)(740)로 그리고 그런다음 아웃-커플링 광학 엘리먼트(예컨대, EP들)(810)로 진행된다. 마지막으로, 광선(790)(예컨대, 적색 광)은 도파관(690)을 통과하여 도파관(690)의 광 인-커플링 광학 엘리먼트들(720)에 충돌한다. 광 인-커플링 광학 엘리먼트들(720)은, 광선(790)이 TIR에 의해 광 분배 엘리먼트(예컨대, OPE들)(750)로, 그리고 그런다음 TIR에 의해 아웃-커플링 광학 엘리먼트(예컨대, EP들)(820)로 전파되도록 그 광선을 편향시킨다. 그런다음, 아웃-커플링 광학 엘리먼트(820)는 최종적으로 광선(790)을 뷰어에 아웃-커플링하며, 이 뷰어는 또한 다른 도파관들(670, 680)로부터 아웃-커플링된 광을 수신한다.
[0184] 도 9c는 도 9a 및 도 9b의 복수의 스택된 도파관들의 예의 하향식 평면도를 예시한다. 예시된 바와 같이, 각각의 도파관의 연관된 광 분배 엘리먼트(730, 740, 750) 및 연관된 아웃-커플링 광학 엘리먼트(800, 810, 820)와 함께, 도파관들(670, 680, 690)은 수직으로 정렬될 수 있다. 그러나, 본원에서 논의된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 수직으로 정렬되지 않고; 오히려, 인-커플링 광학 엘리먼트들은 바람직하게는, 오버랩핑되지 않는다(예컨대, 하향식 도면에서 보여지는 바와 같이 측방으로 이격됨). 본원에서 추가로 논의되는 바와 같이, 이러한 오버랩핑되지 않는 공간적 어레인지먼트는 일대일 기반으로 상이한 자원들로부터 상이한 도파관으로의 광의 주입을 가능하게 하고, 그리하여 특정 광원이 특정 도파관에 고유하게 커플링되게 허용한다. 일부 실시예들에서, 오버랩핑되지 않는 공간적으로-분리된 인커플링 광학 엘리먼트들을 포함하는 어레인지먼트들은 시프트된 동공 시스템으로서 지칭될 수 있고, 이러한 어레인지먼트들의 인커플링 광학 엘리먼트들은 서브 동공들에 대응할 수 있다.
[0185] 도 9d는 본원에서 개시된 다양한 도파관들 및 관련된 시스템들이 통합될 수 있는 웨어러블 디스플레이 시스템(60)의 예를 예시한다. 일부 실시예들에서, 디스플레이 시스템(60)은 도 6의 시스템(250)이고, 도 6은 그 시스템(60)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 도 6의 도파관 어셈블리(260)는 디스플레이(70)의 부분일 수 있다.
[0186] 도 9d를 계속해서 참조하면, 디스플레이 시스템(60)은 디스플레이(70), 및 그 디스플레이(70)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(70)는, 디스플레이 시스템 사용자 또는 뷰어(90)에 의해 착용 가능하고 사용자(90)의 눈들의 앞에 디스플레이(70)를 포지셔닝하도록 구성된 프레임(80)에 커플링될 수 있다. 디스플레이(70)는 일부 실시예들에서, 안경류(eyewear)로 고려될 수 있다. 일부 실시예들에서, 스피커(100)는 프레임(80)에 커플링되고 사용자(90)의 외이도에 인접하게 포지셔닝되도록 구성된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 선택적으로, 사용자의 다른 외이도에 인접하게 포지셔닝되어 입체/성형 가능 사운드 제어를 제공할 수 있음). 디스플레이 시스템(60)은 또한 하나 이상의 마이크로폰들(110) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(60)에 입력들 또는 커맨드들(예컨대, 음성 메뉴 커맨드들의 선택, 자연어 질문 등)을 제공할 수 있도록 구성되고, 그리고/또는 다른 사람들(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들)과의 오디오 통신을 허용할 수 있다. 마이크로폰은 또한, 오디오 데이터(예컨대, 사용자 및/또는 환경으로부터의 사운드들)를 수집하기 위한 주변 센서로서 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템(60)은 광, 오브젝트들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위의 세계의 다른 양상들을 검출하도록 구성되는 하나 이상의 외향 환경 센서들(112)을 더 포함할 수 있다. 예컨대, 환경 센서들(112)은 예컨대, 사용자(90)의 통상 시야의 적어도 일부와 유사한 이미지들을 캡처하도록 바깥쪽을 향하게 로케이팅될 수 있는 하나 이상의 카메라들을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 또한, 프레임(80)과 별개이고 사용자(90)의 신체(예컨대, 사용자(90)의 머리, 몸통, 손발(extremity) 등)에 부착될 수 있는 주변 센서(120a)를 포함할 수 있다. 주변 센서(120a)는 일부 실시예들에서, 사용자(90)의 생리적 상태를 특징화하는 데이터를 취득하도록 구성될 수 있다. 예컨대, 센서(120a)는 전극일 수 있다.
[0187] 도 9d를 계속해서 참조하면, 디스플레이(70)는, 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(80)에 고정적으로 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(90)에게 제거 가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(140)에 통신 링크(130)에 의해, 예컨대, 유선 리드 또는 무선 연결성에 의해, 동작 가능하게 커플링된다. 유사하게, 센서(120a)는 통신 링크(120b), 예컨대, 유선 리드 또는 무선 연결성에 의해 로컬 프로세서 및 데이터 모듈(140)에 동작 가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 하드웨어 프로세서뿐 아니라, 디지털 메모리 예컨대, 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 선택적으로, 로컬 프로세서 및 데이터 모듈(140)은 하나 이상의 CPU(central processing unit)들, GPU(graphics processing unit)들, 전용 프로세싱 하드웨어 등을 포함할 수 있다. 데이터는 a) 센서들(예컨대 프레임(80)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(90)에게 부착될 수 있음), 예컨대, (이를테면, 카메라들) 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 자이로(gyro)들 및/또는 본원에서 개시된 다른 센서들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(150) 및/또는 원격 데이터 저장소(160)(가상 콘텐츠에 관련된 데이터를 포함함)를 사용하여 취득 및/또는 프로세싱되는 (어쩌면, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(70)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 통신 링크들(170, 180)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(150, 160)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(140)에 대한 자원들로서 이용 가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(140)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 이상을 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 이상은 프레임(80)에 부착될 수 있거나, 또는 유선 또는 무선 통신 통로들에 의해 로컬 프로세싱 및 데이터 모듈(140)과 통신하는 자립형 구조들일 수 있다.
[0188] 도 9d를 계속해서 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(150)은, 예컨대, 하나 이상의 CPU(central processing unit)들, GPU(graphic processing unit)들, 전용 프로세싱 하드웨어 등을 포함해서, 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 정보, 예컨대, 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(140) 및/또는 원격 프로세싱 모듈(150)에 제공하는 하나 이상의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다. 선택적으로, CPU들, GPU들 등을 포함하는 외부 시스템(예컨대, 하나 이상의 프로세서들의 시스템, 하나 이상의 컴퓨터들)은 프로세싱(예컨대, 이미지 정보 생성, 데이터 프로세싱)의 적어도 일부를 수행 하고 예컨대, 무선 또는 유선 연결들을 통해 모듈들(140, 150, 160)에 정보를 제공하고 이로부터 정보를 수신할 수 있다.
I. 깊이 정보에 기반한 품질 조정
[0189] 본원에서 설명된 바와 같이, 다양한 실시예들에 따른 디스플레이 시스템들(예컨대, 증강 현실 디스플레이 시스템들, 이를테면, 디스플레이 시스템(60), 도 9d)은 예컨대 사용자의 눈들을 모니터링함으로써 사용자의 3-차원 응시 포인트를 결정할 수 있다. 응시 포인트는 (1) x-축(예컨대, 가로 축), (2) y-축(예컨대, 수직 축) 및 (3) z-축(예컨대, 포인트의 깊이, 예컨대, 사용자로부터의 깊이)을 따른 공간에서의 포인트의 위치를 표시할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 각각의 눈의 시선을 결정하기 위해 사용자의 눈들(예컨대, 각각의 눈의 동공, 각막 등)을 모니터링하는 데 카메라들, 센서들 등을 활용할 수 있다. 각각의 눈의 시선은, 일반적으로 그 눈의 망막의 중심으로부터 눈의 렌즈를 통해 연장하는 벡터인 것으로 이해될 수 있다. 예컨대, 벡터는 일반적으로 황반의 중심(예컨대, 중심와)으로부터 눈의 렌즈를 통해 연장할 수 있다. 디스플레이 시스템은 눈들과 연관된 벡터들이 교차하는 곳을 결정하도록 구성될 수 있으며, 이 교차는 눈들의 응시 포인트인 것으로 이해될 수 있다. 다른 방식으로 말하면, 응시 포인트는 사용자의 눈들이 향하고 있는 3-차원 공간에서의 위치일 수 있다. 일부 실시예들에서, 디스플레이 시스템은 예컨대 신속한 움직임들(예컨대, 단속성 안운동(saccades), 미소안운동) 동안 사용자의 눈들의 작은 움직임들을 필터링할 수 있고, 눈들이 3-차원 공간에서의 위치를 응시하고 있음을 결정할 시에 응시 포인트를 업데이트할 수 있다. 예컨대, 디스플레이 시스템은 임계 지속기간 미만 동안 포인트를 응시하는 눈의 움직임들을 무시하도록 구성될 수 있다.
[0190] 디스플레이 시스템에 의해 제공되는 콘텐츠, 이를테면, 가상 오브젝트들 또는 콘텐츠의 해상도는 본원에서 논의된 바와 같이 응시 포인트에 대한 근접도에 기반하여 조정될 수 있다. 디스플레이 시스템은 가상 오브젝트들의 3-차원 공간에서의 위치들에 관한 정보를 이 디스플레이 시스템 내에 저장했을 수 있거나 또는 이 정보에 액세스할 수 있다는 것이 인지될 것이다. 가상 오브젝트들의 알려진 위치들에 기반하여, 응시 포인트에 대한 주어진 가상 오브젝트의 근접도가 결정될 수 있다. 예컨대, 응시 포인트에 대한 가상 오브젝트의 근접도는 (1) 사용자의 응시 포인트로부터 가상 오브젝트의 3-차원 거리; (2) 디스플레이 시스템의 디스플레이 절두체가 해상도 조정 존들로 분할되는 경우들에서, 응시 포인트가 위치되는 해상도 조정 존에 대해 가상 오브젝트가 위치되는 해상도 조정 존; 및 (3) 가상 오브젝트와 사용자의 시선 간의 각도 분리 중 하나 이상을 결정함으로써 결정될 수 있다. 응시 포인트에 대한 근접도가 더 근접한 가상 콘텐츠는 응시 포인트로부터 더 먼 콘텐츠보다 더 큰 해상도로 제공될 수 있다. 일부 실시예들에서, 가상 콘텐츠의 해상도는 가상 콘텐츠가 응시 포인트에 대해 배치되는 깊이 평면 또는 응시 포인트가 배치되는 깊이 평면의 근접도에 따라 변한다. 일부 실시예들에서, 해상도에 대한 조정들은 하나 이상의 그래픽 프로세싱 유닛들, 예컨대, 모듈들(140, 150)(도 9d) 중 하나 이상에 포함된 렌더링 엔진들과 같은 렌더링 엔진에 의해 이루어질 수 있다.
[0191] 도 10a는 사용자가 디스플레이 시스템(예컨대, 디스플레이 시스템(60), 도 9d)에 의해 제공되는 콘텐츠(예컨대, 디스플레이 절두체(1004)에 포함된 콘텐츠)를 보는 하향식 뷰의 표현의 예를 예시한다. 표현은 사용자의 눈들(210, 220), 및 눈들(210, 220)의 응시 포인트(1006)의 결정을 포함한다. 예시된 바와 같이, 각각의 눈의 시선은 벡터(예컨대, 벡터들(1003A, 1003B))로서 표현되고, 디스플레이 시스템은 예컨대 그러한 벡터들이 눈들(210, 22)의 앞에 수렴하는 곳을 결정함으로써 응시 포인트(1006)를 검출했다. 예시된 예에서, 응시 포인트(1006)는 디스플레이 시스템에 의해 제공되는 제1 가상 오브젝트(1008A)의 위치와 일치한다. 눈-추적용 시스템들 및 방법들의 예들은 2015년 4월 18일에 출원된 미국 출원 번호 14/690,401 ―이 출원은 목적들 전부를 위해 참조에 의해 통합됨― 에서; 그리고 부착된 부록에서 발견될 수 있다. 예컨대, 눈-추적 시스템들 및 방법들은 적어도 부록의 도 25-27에서 설명되며, 적어도 부분적으로, 눈-추적을 위해 그리고/또는 본원에서 설명된 바와 같이 응시 포인트들을 결정하는 데 활용될 수 있다.
[0192] 도 10a를 계속해서 참조하면, 제2 가상 오브젝트(1008B)가 또한, 디스플레이 시스템에 의해 디스플레이 절두체(1004)에 제공된다. 뷰어가 보는 이들 가상 오브젝트들(1008A, 1008B)의 뷰가, 렌더링된 프레임(1010)에 도시된다. 렌더링된 프레임(1010)은 제1 해상도로 렌더링된 제1 가상 오브젝트(1008A)를 포함할 수 있는 한편, 응시 포인트(1006)로부터 멀리 위치된 제2 가상 오브젝트(1008B)는 더 낮은 제2 해상도로 렌더링된다. 구체적으로, 제2 가상 오브젝트(1008B)는 제1 가상 오브젝트(1008A)보다 더 큰 깊이에, 그리고 제1 가상 오브젝트(1008A)의 측면을 향해 위치되는 것으로 결정될 수 있다. 예컨대, 디스플레이 시스템은 본원에서 논의된 바와 같이 제2 가상 오브젝트(1008B)의 깊이를 결정할 수 있거나, 또는 선택적으로, 가상 콘텐츠와 연관된 콘텐츠 제공자는, 디스플레이 시스템이 가상 오브젝트를 렌더링하기 위해 활용할 수 있는, 그 가상 오브젝트들의 깊이들을 표시할 수 있다. 따라서, 앞서 설명된 바와 같이, 응시 포인트(1006)는 사용자가 보고 있는 공간에서의 3-차원 위치를 설명하고, 제2 가상 오브젝트(1008B)는 응시 포인트(1006)로부터 측방으로 변위됨과 함께 사용자로부터 깊이가 더 멀리 위치되는 것으로 결정될 수 있다.
[0193] 이론에 제한되지 않고, 사용자의 눈들(210, 220)이 제1 가상 오브젝트(1008A)를 봄에 따라, 제1 가상 오브젝트(1008A)의 이미지가 사용자의 중심와에 떨어질 수 있는 한편, 제2 가상 오브젝트(1008B)의 이미지는 중심와에 떨어지지 않는 것으로 여겨진다. 결과적으로, 제2 가상 오브젝트(1008B)에 대한 인간 시각 시스템의 더 낮은 민감도로 인해, 디스플레이 시스템의 지각되는 이미지 품질에 상당한 영향을 미치지 않고, 그 제2 가상 오브젝트(1008B)는 해상도가 감소될 수 있다. 게다가, 더 낮은 해상도는 유리하게, 이미지들을 제공하는 데 요구되는 컴퓨테이셔널 로드를 감소시킨다. 본원에서 논의된 바와 같이, 제2 가상 오브젝트(1008B)가 렌더링되는 해상도는 응시 포인트(1006)에 대한 근접도에 기반할 수 있고, (예컨대, 제1 가상 오브젝트(1008A)의 해상도에 대한) 해상도의 감소는, 응시 포인트(1006)와 가상 오브젝트(1008A) 사이의 근접도가 감소함(또는 거리가 증가함)에 따라 증가할 수 있다. 일부 실시예들에서, 해상도의 감소 레이트는 인간의 눈에서의 추상체들의 밀도의 감소 레이트를 따르거나, 또는 중심와로부터 멀어지는 시력 드롭-오프를 따를 수 있다.
[0194] 디스플레이 시스템에 의해 제공되는 다양한 가상 오브젝트들의 해상도들이 응시 포인트가 위치를 변경함에 따라 동적으로 변할 수 있다는 것이 인지될 것이다. 예컨대, 도 10b는 사용자가 디스플레이 시스템에 의해 제공되는 콘텐츠를 보는 하향식 뷰의 표현의 다른 예를 예시한다. 도 10b에 예시된 바와 같이, 사용자가 제1 가상 오브젝트(1008A)에 초점을 맞추었던 도 10a와 비교할 때, 사용자는 이제, 제2 가상 오브젝트(1008B)에 초점을 맞추고 있다. 사용자의 시선(1003A, 1003B)을 모니터링함으로써, 디스플레이 시스템은, 눈들(210, 220)이 제2 가상 오브젝트(1008B)를 향하고 있다고 결정하고, 그 위치를 새로운 응시 포인트(1006)로서 세팅한다.
[0195] 응시 포인트(1006)의 위치의 이러한 변경을 검출할 시에, 디스플레이 시스템은 이제, 렌더링된 프레임(1010)에 도시된 바와 같이 제1 가상 오브젝트(1008A)보다 더 큰 해상도로 제2 가상 오브젝트(1008B)를 렌더링한다. 바람직하게는, 디스플레이 시스템은 충분히 높은 주파수로 사용자의 시선(1003A, 1003B)을 모니터링하고, 충분히 신속하게 가상 오브젝트들의 해상도를 변경하여서, 제1 가상 오브젝트(1008A)와 제2 가상 오브젝트(1008B)의 해상도의 전환은 사용자에게 실질적으로 지각가능하지 않다.
[0196] 도 10c는 사용자가 디스플레이 시스템(예컨대, 디스플레이 시스템(60), 도 9d)을 통해 콘텐츠를 보는 하향식 뷰의 표현의 다른 예를 예시한다. 이 예에서, 사용자의 시야(1004)는 응시 포인트(1006)와 함께 예시된다. 3 개의 가상 오브젝트들이 예시되는데, 제1 가상 오브젝트(1012A)는 제2 가상 오브젝트(1012B) 또는 제3 가상 오브젝트(1012C)보다 응시 포인트(1006)에 대한 근접도가 더 근접하다. 유사하게, 제2 가상 오브젝트(1012B)는 제3 가상 오브젝트(1012C)보다 응시 포인트(1006)에 대한 근접도가 더 근접한 것으로서 예시된다. 따라서, 가상 오브젝트들(1012A-1012C)이 사용자에게 제공될 때, 제1 가상 오브젝트(1012A)를 렌더링하는 것에 제2 가상 오브젝트(1012B)보다 더 큰 자원 배정이 부여되고(예컨대, 오브젝트(1012A)가 더 큰 해상도로 렌더링됨) 제2 가상 오브젝트(1012B)가 제3 가상 오브젝트(1012C)보다 더 큰 자원 배정을 받도록, 디스플레이 시스템은 자원들을 배정할 수 있다. 선택적으로, 제3 가상 오브젝트(1012C)가 시야(1004)의 외부에 있기 때문에, 제3 가상 오브젝트(1012C)는 전혀 렌더링되지 않을 수 있다.
[0197] 해상도 조정 존들이 도 10c의 예에서 예시되는데, 존들은 깊이 축 및 가로 축을 따라 설명되는 타원들(예컨대, 원들)이다. 예시된 바와 같이, 응시 포인트(1006)는 중심 존(1014A) 내부에 있는데, 제1 가상 오브젝트(1012A)는 존들(1014B, 1014C) 사이에서 그리고 중심와 비전의 사용자의 추상체(1004a) 내에서 확장한다. 따라서, 제1 가상 오브젝트(1012A)는 존(1014B 또는 1014C)과 연관된 해상도로 사용자에게 제공될 수 있거나, 또는 선택적으로, 존(1014B) 내의 오브젝트(1012A) 중 일부는 존(1014B)의 해상도에 따라 제공될 수 있고 존(1014C) 내의 나머지 부분은 존(1014C)의 해상도에 따라 제공될 수 있다. 예컨대, 최대(예컨대, 최고) 해상도로부터 감소된 해상도들이 존들에 할당되는 실시예에서, 제1 가상 오브젝트(1012A)는 할당된 해상도들로 제공될 수 있다. 선택적으로, 제1 가상 오브젝트(1012A)는 해상도들 중 하나로 제공될 수 있거나(예컨대, 디스플레이 시스템은 제1 가상 오브젝트(1012A)가 확장하는 임의의 존들과 연관된 최고 해상도로 디스플레이하도록 프로그래밍될 수 있음), 또는 해상도들의 중앙 경향의 측정으로 제공될 수 있다(예컨대, 측정은 오브젝트(1012A)가 존들(1014B, 1014C) 내에 위치되는 정도에 따라 가중될 수 있음). 도 10c를 계속해서 참조하면, 응시 포인트(1006)로부터 상이한 거리들에서의 해상도 조정 존들이 상이한 형상들을 가질 수 있다는 것이 인지될 것이다. 예컨대, 존(1014C)은 존들(1014A-1014C)과는 상이한 형상을 갖고, 시야(1004)의 윤곽들을 따를 수 있다. 일부 다른 실시예들에서, 존들(1014A-1014C) 중 하나 이상의 존들은 존들(1014A-1014C) 중 하나 이상의 다른 존들과는 상이한 형상들을 가질 수 있다.
[0198] 도 10d는 예시적인 디스플레이 시스템의 블록 다이어그램이다. 예시적인 디스플레이 시스템(예컨대, 디스플레이 시스템(60), 도 9d)은 본원에서 설명된 바와 같이 사용자의 응시 포인트에 따라 렌더링 하드웨어 자원들의 사용을 조정할 수 있는 증강 현실 디스플레이 시스템 및/또는 혼합 현실 디스플레이 시스템일 수 있다. 예컨대, 도 10c와 관련하여 앞서 설명된 바와 같이, 렌더링 하드웨어 자원들(1021)은 사용자의 응시 포인트에 따라 조정될 수 있다. 자원 아비터(1020)는 그러한 자원들(1021)의 사용을 조절하도록 구현될 수 있는데, 예컨대, 아비터(1020)는 가상 오브젝트들을 사용자에게 제공하는 것과 연관된 특정 애플리케이션 프로세스들(1022)에 자원들(1021)을 배정할 수 있다. 자원 아비터(1020) 및/또는 렌더링 하드웨어 자원들(1021)은 선택적으로, 디스플레이 시스템(60)의 로컬 프로세싱 및 데이터 모듈(140)(예컨대, 도 9d에 예시됨) 및/또는 원격 프로세싱 모듈(150)에 포함될 수 있다. 예컨대, 렌더링 하드웨어 자원들(1021)은 GPU(graphics processing unit)들을 포함할 수 있으며, 이 GPU들은 도 9d와 관련하여 앞서 설명된 모듈(140) 및/또는 모듈(150)에 포함될 수 있다.
[0199] 자원들(1021)을 조정하는 예로서 그리고 도 10c와 관련하여, 제1 애플리케이션 프로세스와 연관된 제1 가상 오브젝트(1012A)에는 제2 애플리케이션 프로세스와 연관된 제2 가상 오브젝트(1012B)보다 자원들(1021)의 더 큰 몫이 배정될 수 있다. 애플리케이션 프로세스들(1022)과 연관된 가상 오브젝트들은 배정된 자원들(1021)에 기반하여 렌더링되며, (예컨대, 합성기(1026)에 의해) 최종 프레임 버퍼(1028)에 합성되도록 프레임 버퍼들(1024)에 포함될 수 있다. 그런다음, 최종 프레임 버퍼(1028)는 디스플레이 하드웨어(1030), 예컨대, 도 9d에 예시된 디스플레이(70)에 의해 제공될 수 있는데, 렌더링된 가상 오브젝트들은 해상도가 조정된다.
[0200] 본원에서 개시된 바와 같이, 가상 오브젝트의 해상도는 응시 포인트에 대한 가상 오브젝트의 근접도에 기반하여 결정될 수 있다. 일부 실시예들에서, 해상도는 가상 오브젝트와 응시 포인트 사이의 거리의 함수로써 수정될 수 있다. 일부 실시예들에서, 수정들은 이산 스텝들에서 발생할 수 있는데; 즉, 특정 볼륨 또는 존에 배치된 모든 가상 오브젝트들에 유사한 수정이 적용될 수 있다. 도 11aa은 3-차원 응시 포인트 추적에 기반하여 상이한 해상도 조정 존들에서의 해상도의 조정들의 하향식 뷰의 표현의 예를 예시한다. 디스플레이 시스템은 디스플레이 절두체를 다수의 볼륨들 또는 해상도 조정 존들로 분할하고, 이들 존들에 대응하는 이산 스텝들에서 해상도를 수정할 수 있다. 따라서, 일부 실시예들에서, 가상 콘텐츠의 해상도의 조정을 결정하기 위해, 디스플레이 시스템은 공간의 볼륨들(이후로, 해상도 조정 존들로 지칭됨)을 설명하는 정보, 및 공간의 각각의 볼륨에 대한 해상도 조정들의 할당들을 활용할 수 있다. 예시된 바와 같이, 디스플레이 시스템에 의해 제공되는 시야(예컨대, 디스플레이의 디스플레이 절두체)는 복수의 상이한 존들로 분리되고, 이 복수의 상이한 존들 각각은 사용자로부터의 깊이들의 범위(예컨대, 깊이 범위들(1102A-1102E))를 포함한다. 일부 실시예들에서, 각각의 깊이 범위(1102A-1102E)는 디스플레이 시스템에 의해 제공될 수 있는 단일의 연관된 깊이 평면을 갖는다. 도 11aa을 계속해서 참조하면, 5 개의 존들은 사용자로부터의 깊이들의 각각의 식별된 범위를 포함하고, 측방향을 따라 인접한다. 예시된 예시적인 하향식 뷰에서, 시야는 25 개의 존들의 그리드(1100)로 분할된다. 각각의 존은 사용자를 위해 가상 콘텐츠가 배치될 수 있는 실세계 공간의 볼륨을 표현한다.
[0201] 존들이 또한 수직 방향으로(예컨대, y-축(미도시)을 따라) 확장될 수 있다는 것이 인지될 것이며, 따라서, 예시된 그리드(1100)는 이 수직 방향을 따른 하나의 단면을 표현하는 것으로 이해될 수 있다. 일부 실시예들에서, 다수의 존들이 또한 수직 방향으로 제공된다. 예컨대, 총 125 개의 해상도 조정 존들의 경우, 깊이 범위당 5 개의 수직 존들이 있을 수 있다. 3-차원으로 확장하는 그러한 존들의 예가 도 11b에 예시되고, 아래에서 설명된다.
[0202] 도 11aa를 계속해서 참조하면, 사용자의 눈들(210, 220)은 그리드(1100) 내의 특정 응시 포인트(1006)를 응시한다. 디스플레이 시스템은 응시 포인트(1006)의 위치, 및 응시 포인트(1006)가 위치되는 존을 결정할 수 있다. 디스플레이 시스템은 응시 포인트(1006)에 대한 가상 콘텐츠의 근접도에 기반하여 콘텐츠의 해상도들을 조정할 수 있으며, 이는 응시 포인트(1006)가 위치되는 존에 대한 가상 콘텐츠의 근접도를 결정하는 것을 포함할 수 있다. 예로서, 응시 포인트(1006)가 위치되는 존에 포함된 콘텐츠의 경우, 해상도는 특정 다각형 카운트로 세팅될 수 있고, 이 특정 다각형 카운트는 이 예에서 10,000 개의 다각형들이다. 응시 포인트(1006)로부터의 거리에 기반하여, 나머지 존들에 포함된 콘텐츠가 그에 따라서 조정될 수 있다. 예컨대, 응시 포인트(1006)를 포함하는 존에 인접한 존에 포함된 콘텐츠는 더 낮은 해상도(예컨대, 1,000 개의 다각형들)로 렌더링될 수 있다. 본원에서 설명된 바와 같이, 도 11aa의 예가 예로서 다각형 카운트를 조정하는 것을 예시하지만, 해상도를 조정하는 것은 제공되는 콘텐츠의 해상도에 다른 수정들을 하는 것을 포함할 수 있다. 예컨대, 해상도의 조정은 다각형 카운트를 조정하는 것, 가상 오브젝트를 생성하기 위해 활용되는 프리미티브들을 조정하는 것(예컨대, 프리미티브들의 형상을 조정하는 것, 예컨대, 삼각형 메시로부터 사각형 메시로 프리미티브들을 조정하는 것 등), 가상 오브젝트에 수행되는 동작들(예컨대, 셰이더(shader) 동작들)을 조정하는 것, 텍스처 정보를 조정하는 것, 컬러 해상도 또는 깊이를 조정하는 것, 렌더링 사이클들의 수 또는 프레임 레이트를 조정하는 것, 그리고 GPU(graphics processing unit)들의 그래픽 파이프라인 내의 하나 이상의 포인트들에서의 품질을 조정하는 것 중 하나 이상을 포함할 수 있다.
[0203] 게다가, 도 11aa의 예가 상이한 해상도 조정 존들에서의 다각형 카운트의 차이들의 특정 예들을 제공하지만, 다각형들의 다른 절대 수들, 그리고 응시 포인트(1006)로부터의 거리에 따른 해상도의 다른 변경 레이트들이 고려된다. 예컨대, 응시 포인트(1006)로부터의 해상도의 드롭-오프가 응시 포인트(1006)로부터의 깊이 및 가로 거리에 대해 대칭적인 드롭-오프 레이트에 기반할 수 있지만, 다른 드롭-오프 관계들이 또한 활용될 수 있다. 예컨대, 응시 포인트(1006)로부터의 가로 거리는 응시 포인트(1006)로부터의 깊이 거리에 대해 해상도의 더 큰 드롭-오프와 연관될 수 있다. 또한, 그리드에 포함된 각각의 존의 사이즈(예컨대, 존의 공간의 볼륨의 사이즈)는 선택적으로 상이할 수 있다(예컨대, 존들은 중심와 축으로부터 방사상으로 변할 수 있음). 일부 실시예들에서, 드롭-오프가 응시 포인트(1006)로부터 연속적이어서, 응시 포인트(1006)를 포함하는 존과의 해상도 관계들 또는 해상도들이 할당된 이산 존들은 활용되지 않을 수 있다. 예컨대, 응시 포인트(1006)로부터 특정 존(1108)(예컨대, 콘텐츠가 100 개의 다각형들의 해상도로 렌더링되는 존)으로의 드롭-오프는 응시 포인트(1006)로부터 그리드의 에지(예컨대, 특정 존(1108)의 에지)로의 연속적인 드롭-오프가 되도록 수정될 수 있다. 위의 고려사항들 각각이 또한, 수직 방향으로 확장하는 존들에 적용된다는 것이 인지될 것이다.
[0204] 일부 실시예들에서, 그리드에 포함된 존들의 수 및 사이즈들은 사용자의 응시 포인트(1006)의 결정과 연관된 신뢰도에 기반할 수 있다. 예컨대, 신뢰도는, 사용자의 눈들이 응시 포인트(1006)를 응시했던 시간의 양에 기반할 수 있는데, 더 적은 시간의 양은 더 낮은 신뢰도와 연관된다. 예컨대, 디스플레이 시스템은 특정 샘플링 레이트(예컨대, 30 Hz, 60 Hz, 120 Hz, 1 kHz)로 사용자의 눈을 모니터링할 수 있고, 연속적인 샘플들이 사용자가 일반적으로 응시 포인트(1006)를 유지하고 있음을 표시함에 따라, 응시 포인트(1006)에서의 신뢰도를 증가시킬 수 있다. 선택적으로, 응시의 특정 임계치들이 활용될 수 있는데, 예컨대, 동일한 또는 유사한 응시 포인트에 대한 특정 지속기간(예컨대, 100-300 밀리초) 동안의 응시가 높은 신뢰도와 연관될 수 있는 한편, 특정 지속기간 미만의 응시는 더 낮은 신뢰도와 연관될 수 있다. 유사하게, 사용자의 응시 포인트의 결정에 영향을 줄 수 있는, 동공 확장 등과 같은 눈들에서의 변동들은 디스플레이 시스템으로 하여금 신뢰도를 감소시키게 할 수 있다. 디스플레이 시스템이 센서들, 이를테면, 카메라 이미징 디바이스들(예컨대, 카메라 어셈블리(630), 도 6)을 이용하여 눈을 모니터링할 수 있다는 것이 인지될 것이다. 선택적으로, 디스플레이 시스템은 사용자의 눈 시선을 결정하기 위해 센서들의 조합을 활용할 수 있다(예컨대, 눈으로부터의 적외선 반사들을 검출하고 동공을 식별하기 위해 활용되는 적외선 센서, 눈의 홍채를 검출하기 위해 활용되는 가시광 이미징 디바이스 둥과 같은 상이한 눈 시선 결정 프로세스들이 활용될 수 있음). 디스플레이 시스템은 다수의 눈 시선 결정 프로세스들이 일치할 때 신뢰도를 증가시킬 수 있고, 그들이 일치하지 않으면, 신뢰도 레벨을 감소시킬 수 있다. 유사하게, 눈 시선 결정 프로세스들 중 단 하나만을 수행하는 디스플레이 시스템들의 경우, 각각의 눈 시선 결정 프로세스는 특정 신뢰도 레벨과 연관될 수 있고(예컨대, 하나의 결정 프로세스가 다른 결정 프로세스들보다 더 정확한 것으로 간주될 수 있음), 해상도 조정 존들의 사이즈들은 구현되는 프로세스 상에 적어도 부분적으로 선택될 수 있다.
[0205] 일부 실시예들에서, 디스플레이 시스템은 응시 포인트(1006)의 각각의 업데이트를 위해 존들의 수를 증가시키거나 또는 감소시킬 수 있다. 예컨대, 응시 포인트(1006)와 연관된 신뢰도가 증가함에 따라 더 많은 존들이 활용될 수 있고, 신뢰도가 감소함에 따라 더 적은 존들이 활용될 수 있다. 도 11ab는 존들의 사이즈들 및 수들이 변함에 따라 상이한 시간들에서의 해상도 조정 존들의 하향식 뷰들의 표현들의 예들을 예시한다. 하향식 뷰에서 보이는 바와 같이, 시간 t = 1에서, 사용자의 시야는 초기 세트의 존들로 분할될 수 있다. 시간 t = 2에서, 응시 포인트(1006)의 위치에서의 신뢰도가 증가하며, 디스플레이 시스템은 또한, 응시 포인트(1006)에 의해 점유되고 고해상도로 렌더링되는 존의 사이즈를 감소시킬 수 있다. 선택적으로, 예시된 바와 같이, 다른 존들의 사이즈들이 또한 감소할 수 있다. 시간 t = 3에서, 응시 포인트(1006)의 위치에서의 신뢰도가 감소하며, 디스플레이 시스템은 또한, 응시 포인트(1006)에 의해 점유되고 고해상도로 렌더링되는 존의 사이즈를 증가시킬 수 있다. 선택적으로, 예시된 바와 같이, 다른 존들의 사이즈들이 또한 증가할 수 있다. 복수의 존들이 또한 y-축으로 확장할 수 있고, 존들의 사이즈들 및 수들의 유사한 증가 또는 감소들이 또한 그 축 상에 실시될 수 있다는 것이 인지될 것이다. 예컨대, y-축 상에서 수직으로 확장하는 존들의 사이즈들은 신뢰도가 증가함에 따라 감소할 수 있는 한편, 사이즈들은 신뢰도가 감소함에 따라 증가할 수 있다. 선택적으로, 디스플레이 시스템은 디스플레이 시스템에 의해 사용자에게 제공되는 각각의 프레임에 대한 응시 포인트(1006)의 신뢰도를 결정할 수 있고, t = 1, t = 2 및 t = 3은 상이한 프레임들을 표현할 수 있다. 더 많은 존들을 할당하는 것이 컴퓨테이셔널 파워의 증가를 요구할 수 있기 때문에(예컨대, 디스플레이 시스템은 더 많은 콘텐츠의 해상도들을 조정하는 것, 콘텐츠가 어느 존들에 포함되는지를 식별하는 것 등을 해야 할 수 있음), 디스플레이 시스템은, 콘텐츠의 해상도의 잠재적인 감소에 의해 제공되는 컴퓨테이셔널 파워의 절감과, 존들의 수의 증가에 의해 제공되는 요구된 컴퓨테이셔널 파워의 증가를 밸런싱할 수 있다.
[0206] 도 11aa을 다시 참조하면, 응시 포인트(1006)가 그리드의 중심(예컨대, 센트로이드)에 위치되어 있는 것으로서 세팅될 수 있다는 의미에서, 그리드는 동적으로 변할 수 있다. 따라서, 디스플레이 시스템은 응시 포인트(1006)가 그리드의 버텍스들 상에 위치되는 것으로 결정되는 에지 경우들을 회피할 수 있다. 예컨대, 사용자의 눈들이 회전하고 그런다음 공간에서의 상이한 3-차원 위치들을 응시함에 따라, 그리드는 사용자의 시선과 유사하게 이동될 수 있다.
[0207] 도 11b-11e는 다양한 해상도 조정 존 구성들의 예들을 예시한다. 예시되지 않은 해상도 조정 존들의 추가적인 형상들 및 구성들이 활용될 수 있으며, 예들이 완전한 것으로 고려되어서는 안된다. 게다가, 일부 도면들에서, 사용자의 눈들(210, 220)은 예시의 용이성과 명확성을 위해 다양한 해상도 조정 존들로부터 이격된 상태로 예시될 수 있다. 이들 모든 도면들에 대해, 눈들(210, 220)은 존의 경계에 또는 존에 배치될 수 있다는 것이 인지될 것이다(예컨대, 도 11aa 참조).
[0208] 도 11b는 도 11aa의 해상도 조정 존들 중 일부의 3-차원 표현의 예를 예시한다. 도 11aa이 도 11b의 3-차원 표현의 평면(11A1-11A1)을 따라 절취된 단면도를 예시하는 것으로 이해될 수 있는데, 도 11b는 예시의 명확성을 위해 도 11aa의 해상도 조정 존들 중 일부를 생략한다는 것이 인지될 것이다. 도 11aa을 계속해서 참조하면, 디스플레이 시스템에 의해 제공되는 시야는 27 개의 존들로 분리된다. 즉, 시야는 3 개의 깊이 범위들(1102B-1102D)로 분리되고, 각각의 깊이 범위에서, 존들의 3x3 그리드가 포함되며, 이 그리드는 각각의 깊이 범위에서 수직으로 그리고 측방으로 확장한다.
[0209] 결정된 응시 포인트(1006)는 시야의 중심에 위치된 존 내에 있는 것으로서 예시된다. 응시 포인트(1006)를 포함하는 존 외부의 존들 내에 위치된 가상 오브젝트들은 본원에서 논의된 바와 같이 응시 포인트(1006)의 존으로부터의 거리에 따라 해상도가 감소될 수 있다. 존들이 수직으로 뿐만 아니라 측방으로 확장하기 때문에, 응시 포인트의 해상도 조정 존으로부터 가로 축, 수직 축 및 깊이 축(각각 x-축, y-축 및 z-축) 상에서의 거리에 기반하여 해상도의 감소가 발생할 수 있다. 예컨대, 일부 실시예들에서, 존(1108)에 위치된 가상 오브젝트들은 도 11aa에 도시된 바와 같이 가로 거리에 따라 해상도가 감소될 수 있다(예컨대, 존(1108)은 응시 포인트(1006)를 포함하는 존과 동일한, 사용자의 시야의 수직 부분을 포함하며, 동일한 깊이 평면 상에 있을 수 있음).
[0210] 위와 유사하게, 그리고 아래의 도 11c-11e에 설명된 존들과 유사하게, 사용자의 응시 포인트는 선택적으로, 존들의 중심(예컨대, 센트로이드)에 위치된 상태로 유지될 수 있거나, 또는 존들이 사용자의 시야에 대하여 고정될 수 있고 사용자의 응시 포인트가 존들 중 임의의 존 내에 위치될 수 있다.
[0211] 도 11c는 해상도 조정 존들의 구성의 다른 예를 예시한다. 이 예에서, 디스플레이 시스템에 의해 제공되는 시야는, 각각이 공간의 특정 3-차원 볼륨을 포함하는 타원들의 존들로 분리되는 것으로서 예시된다. 도 11aa과 유사하게, 각각의 존(예컨대, 존(1112A-112D))은 가로 치수 및 깊이 치수를 따라 확장한다. 일부 실시예들에서, 각각의 존은 또한, 사용자의 수직 시야 중 적어도 일부를 포함하도록 확장한다. 응시 포인트(1006)는 존들의 중심에(예컨대, 존(1112A) 내에) 있는 것으로서 예시된다. 존(1112A) 외부의 존들 내에 위치된 가상 오브젝트들은 예컨대 본원에서 설명된 기법들에 따라 존(1112A)으로부터의 거리에 따라 해상도가 감소될 수 있다. 예컨대, 존(1112A) 외부의 각각의 존에는 특정 해상도가 할당될 수 있거나, 또는 해상도의 감소를 결정하기 위해 드롭-오프가 활용될 수 있다. 존(1112D)은 존(1110A)으로부터 가장 먼 존인 것으로서 예시되며, 해상도의 감소는 존(1112D)에서 최대일 수 있다.
[0212] 도 11d는 도 11c의 해상도 조정 존들의 3-차원 표현의 예를 예시하는데, 도 11c는 평면(11C-11C)을 따라 절취된 단면도를 도시한다. 이 예에서, 디스플레이 시스템에 의해 제공되는 시야는, 각각이 공간의 3-차원 볼륨을 포함하는 타원체들의 존들로 분리되는 것으로서 예시된다. 사용자의 응시 포인트(1006)는 사용자의 시야의 센트로이드에 예시되고, 존(1112A) 내에 위치된다. 선택적으로, 도 11d는 타원체로 변환되는, 도 11c의 각각의 타원을 표현할 수 있다. 일부 실시예들에서, 깊이 방향 및 측방향을 따른 도 11c의 존(1112A)의 사이즈는 X 축 및 Z 축을 따른 도 11d의 존(1112A)의 주축들의 사이즈를 정의할 수 있다. 다양한 존들은 동심의 구체들 또는 타원체들을 형성할 수 있다.
[0213] 도 11e는 도 11c의 해상도 조정 존들의 3-차원 표현의 예를 예시하는데, 도 11c는 평면(11C-11C)을 따라 절취된 단면도를 도시한다. 디스플레이 시스템에 의해 제공되는 시야는 유사한 동심 존들의 스택된 레벨들로 분리되는 것으로서 예시된다. 예컨대, 도 11e는 실린더들을 생성하기 위해 수직 방향을 따라 확장하는, 도 11c의 타원들을 표현할 수 있다. 그런다음, 실린더들은 수직 방향으로 분리되어서, 각각의 실린더는 사용자의 수직 시야 중 일부를 포함할 수 있다. 따라서, 도 11e는 실린더들의 9 개의 존들을 예시한다. 추가적으로, 각각의 존은 임의의 내부 존들을 배제한다(예컨대, 타원체(1112B)는 타원체(1112A)에 의해 포함되는 공간의 볼륨을 배제하는 공간의 볼륨을 포함할 것임). 이 예에서, 응시 포인트(1006)는 중심 존(1110A) 내에 있는 것으로서 예시되며, 중심 존(1110A) 외부에 위치된 가상 오브젝트들은 본원에서 설명된 기법들에 따라 해상도가 감소될 수 있다.
[0214] 도 12a는 3-차원 응시 포인트에 대한 근접도에 따라 콘텐츠의 해상도들을 조정하기 위한 예시적인 프로세스(1200)의 흐름도를 예시한다. 편의상, 프로세스(1200)는 디스플레이 시스템(예컨대, 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있으며, 선택적으로, 예컨대 프로세싱을, 하나 이상의 컴퓨터들 또는 다른 프로세싱의 외부 시스템에 오프로딩하고 외부 시스템으로부터 정보를 수신하기 위해, 외부 시스템에 정보를 제공할 수 있는 웨어러블 디스플레이 시스템(60))에 의해 수행되는 것으로서 설명될 수 있다.
[0215] 블록(1202)에서, 디스플레이 시스템은 사용자의 3-차원 응시 포인트를 결정한다. 앞서 설명된 바와 같이, 디스플레이 시스템은 사용자의 눈들과 연관된 정보(예컨대, 눈들의 배향)를 모니터링하기 위한 센서들을 포함할 수 있다. 센서들의 비-완전 리스트는 적외선 센서들, 자외선 센서들, 가시적인 파장 광 센서들을 포함한다. 센서들은 선택적으로, 적외선 광, 자외선 광 및/또는 가시광을 사용자의 눈들에 출력하고, 사용자의 눈들로부터 출력된 광의 반사들을 결정할 수 있다. 예로서, 적외선 광은 적외선 광 방출기 및 적외선 광 센서에 의해 출력될 수 있다. 광 방출기를 포함할 수 있는 센서가 도 6의 이미징 디바이스(630)에 대응할 수 있다는 것이 인지될 것이다.
[0216] 디스플레이 시스템은 센서들을 활용하여, 각각의 눈과 연관된 시선(예컨대, 사용자의 눈으로부터 연장하는, 이를테면, 중심와로부터 눈의 렌즈를 통해 연장하는 벡터), 및 각각의 눈의 시선들의 교차를 결정할 수 있다. 예컨대, 디스플레이 시스템은 사용자의 눈들 상에 적외선 광을 출력할 수 있고, 눈으로부터의 반사들(예컨대, 각막 반사들)이 모니터링될 수 있다. 눈의 동공 중심(예컨대, 디스플레이 시스템은 예컨대 적외선 이미징을 통해 동공의 센트로이드를 결정할 수 있음) 간의 벡터, 그리고 눈으로부터의 반사들이 눈의 시선을 결정하는데 사용될 수 있다. 시선들의 교차가 결정되고 3-차원 응시 포인트로서 할당될 수 있다. 따라서, 응시 포인트는, 콘텐츠가 전체 또는 최대 해상도로 렌더링되어야 할 위치를 표시할 수 있다. 예컨대, 결정된 시선들에 기반하여, 디스플레이 시스템은 사용자가 응시하고 있는 공간에서 3-차원 위치를 삼각측량할 수 있다. 선택적으로, 디스플레이 시스템은 응시 포인트를 결정할 때 디스플레이 시스템과 연관된 배향 정보(예컨대, 3-차원 공간에서 디스플레이 시스템의 배향을 설명하는 정보)를 활용할 수 있다.
[0217] 블록(1204)에서, 디스플레이 시스템은, 디스플레이 시스템에 의해 사용자에게 제공되는 콘텐츠의 존재와 연관되거나 또는 콘텐츠가 존재해야 할 것과 연관된 위치 정보를 획득한다. (예컨대, 앞서 설명된 바와 같이, 도파관들의 출력들을 통해) 사용자에 대한 프리젠테이션을 위해 콘텐츠를 렌더링하기 전에, 디스플레이 시스템은 사용자에게 제공되어야 할 콘텐츠와 연관된 위치 정보를 획득할 수 있다. 예컨대, 앞서 설명된 바와 같이, 가상 콘텐츠는, 콘텐츠가 실세계에 위치되는 것처럼 나타나도록 사용자에게 제공될 수 있다(예컨대, 콘텐츠는 사용자의 시야 내에서 상이한 깊이들에 위치될 수 있음). 디스플레이 시스템이 주변 환경의 3-차원 맵을 포함하거나 또는 이 3-차원 맵에 액세스할 수 있으며, 이 3-차원 맵은 이 주변 환경에서의 임의의 가상 콘텐츠의 위치들을 알릴 수 있다는 것이 인지될 것이다. 이 맵을 참조하면, 디스플레이 시스템은, 사용자의 시야 내에서의 가상 콘텐츠의 3-차원 위치들(예컨대, 도 10a-10b에 예시된 바와 같이 디스플레이 절두체 내에서의 위치들)을 특정하는 정보에 액세스하고 이 정보를 제공할 수 있다.
[0218] 블록(1206)에서, 디스플레이 시스템은 사용자에게 디스플레이될 가상 콘텐츠의 해상도를 조정한다. 디스플레이 시스템은 3-차원 응시 포인트에 대한 자신의 근접도에 기반하여 콘텐츠의 해상도를 조정한다. 예컨대, 렌더링 엔진, 이를테면, 사용자에 대한 프리젠테이션을 위해 콘텐츠를 렌더링하는 프로세싱 디바이스들(예컨대, 중앙 프로세싱 유닛들, 그래픽 프로세싱 유닛들)에 의해 구현된 렌더링 엔진은 콘텐츠를 렌더링하는데 투자되는 자원들을 조정할 수 있다(예컨대, 렌더링 엔진은 콘텐츠의 해상도를 조정할 수 있음).
[0219] 디스플레이 시스템은, 사용자에게 제공될 콘텐츠와 사용자의 응시 포인트 사이의 3-차원 공간에서의 거리를 결정할 수 있고, 결정된 거리에 기반하여 콘텐츠의 해상도를 감소시킬 수 있다. 감소는 드롭-오프 레이트, 예컨대, 콘텐츠의 해상도와 거리를 상관시키는 연속 함수에 따라 결정될 수 있고, 디스플레이 시스템은 연속 함수에 기반하여 콘텐츠를 렌더링하기 위한 해상도를 획득할 수 있다. 선택적으로, 디스플레이 시스템은 콘텐츠의 센트로이드로부터 응시 포인트까지의 거리를 결정할 수 있고, 거리에 기반한 해상도로 콘텐츠를 렌더링할 수 있다. 선택적으로, 디스플레이 시스템은 응시 포인트까지의 다양한 부분들의 거리에 따라 동일한 콘텐츠 중 일부들을 상이한 해상도들로 렌더링할 수 있다(예컨대, 디스플레이 시스템은 콘텐츠를 부분들로 분리할 수 있고, 추가적인 부분들을, 더 근접한 부분들과 비교할 때 감소된 해상도들로 렌더링할 수 있음).
[0220] 일부 실시예들에서, 디스플레이 시스템은 사용자의 시야(예컨대, 디스플레이 절두체에 대응함)를 존들로 분리하기 위해 사용가능한 정보에 액세스할 수 있는데, 각각의 존은 콘텐츠가 포함될 수 있는 공간의 볼륨을 표현한다. 액세스되는 정보, 예컨대, 도 11aa에 예시된 그리드는 각각의 존에 포함될 콘텐츠를 렌더링할 때 활용하기 위한 특정 해상도를 표시할 수 있는데, 3-차원 응시 포인트는 그리드의 중심에 세팅된다. 추가적으로, 그리드는 콘텐츠를 렌더링할 때 활용하기 위한 해상도의 드롭-오프들을 표시할 수 있다. 다수의 존들에 포함되는 콘텐츠(예컨대, 2 개의 존들에 의해 청구된 3-차원 공간에 위치된 콘텐츠)의 경우, 디스플레이 시스템은 선택적으로, 단일 존에 대응하도록 콘텐츠의 해상도를 조정하거나, 또는 선택적으로, 부분들이 위치되는 대응하는 존들에 따라 콘텐츠 중 일부들을 조정할 수 있다.
[0221] 콘텐츠의 해상도를 세팅할 때, 디스플레이 시스템은 응시 포인트에 위치된 콘텐츠를 (예컨대, 응시 포인트와 동일한 존에) 전체 또는 최대 해상도로 렌더링하다. 최대 해상도는, 콘텐츠가 임계 리프레시 레이트(예컨대, 60 Hz, 120 Hz)를 초과하여 사용자에게 제공되는 것을 보장하면서, 그리고 선택적으로, 해상도의 변경들의 지각을 감소시키기 위해 콘텐츠가 이접운동 레이트들을 초과하는(예컨대, 60 ms를 초과하는) 그리고 원근조절 시간들(예컨대, 20ms 내지 100ms)을 초과하는 스피드들로 업데이트되는 것을 보장하면서, 디스플레이 시스템의 하드웨어 및/또는 소프트웨어가 렌더링할 수 있는 최대 값에 기반할 수 있다. 디스플레이 시스템은, 디스플레이 시스템의 이용가능한 자원들에 기반하여, 예컨대 디스플레이 시스템이 각각의 프레임을 렌더링하기 이전에, 최대 해상도를 동적으로 수정할 수 있다. 예컨대, 더 많은 콘텐츠가 사용자에게 제공될 때, 콘텐츠의 최대 해상도가 감소되어서, 디스플레이 시스템이 렌더링된 콘텐츠의 프레임들을, 해상도의 변경들의 지각을 감소시키기 위해 원하는 임계 레이트들을 초과하여 제공할 수 있음이 보장될 수 있다. 디스플레이 시스템은 선택적으로, 콘텐츠가 제공되고 있는 초당 프레임들을 모니터링할 수 있으며, 초당 제공되는 프레임들이 임계 레이트 미만으로 떨어지지 않음을 보장하기 위해, 응시 포인트로부터의 거리에 기반하여 해상도 드롭-오프 레이트들을 조정하고 그리고/또는 최대 해상도를 조정할 수 있다. 예로서, 디스플레이 시스템은 응시 포인트의 존에 위치된 제1 가상 오브젝트와 같은 콘텐츠를 최대 해상도로 렌더링할 수 있다. 제1 가상 오브젝트의 최대 해상도를 감소시키는 대신에, 초당 프레임들이 특정 임계치를 초과하여 유지되는 것을 보장하기 위해, 디스플레이 시스템은 거리에 기반하여 해상도의 드롭-오프 레이트들을 동적으로 증가시킬 수 있다. 이런 식으로, 디스플레이 시스템은 응시 포인트의 존 외부의 각각의 존에 할당된 해상도들을 조정할 수 있다. 선택적으로, 디스플레이 시스템은 응시 포인트의 존 외부의 각각의 존에서 사용될 수 있는 최소 해상도를 세팅할 수 있고, 만약 최소 해상도를 초과하면 최대 해상도를 조정할 수 있다(예컨대, 만약 디스플레이 시스템이 임계 레이트를 유지하기 위해 콘텐츠의 해상도를 최소치 미만으로 감소시킬 필요가 있으면, 디스플레이 시스템은 최대 해상도를 감소시킬 수 있음). 유사하게, 디스플레이 시스템은, 응시 포인트의 존 외부의 존들에서 콘텐츠의 해상도들을 감소시키지 않으면서 최대 해상도를 감소시킬 수 있다. 선택적으로, 디스플레이 시스템의 사용자는, 응시 포인트에 근접하게 위치된 콘텐츠에는 다른 콘텐츠보다 선호가 주어질 것을 그/그녀가 선호하는지 여부를 표시할 수 있다.
[0222] 일부 실시예들에서 그리고 도 13-14와 관련하여 아래에서 보다 상세히 설명될 바와 같이, 디스플레이 시스템은 선택적으로, 콘텐츠의 해상도를 조정하기 위해 사용자의 시선에 대한 콘텐츠의 각도 근접도를 활용할 수 있다. 예컨대, 만약 특정 콘텐츠가, 응시 포인트가 위치되는 존 외부에 위치되지만, 특정 콘텐츠가 사용자의 눈의 중심와에 떨어지도록 사용자의 시선의 임계 근접도 내에 있으면, 디스플레이 시스템은 특정 콘텐츠가 더 큰 해상도(예컨대, 최대 해상도, 또는 도 11aa에 예시된 그리드에 표시된 것보다 더 큰 해상도)로 렌더링되게 할 수 있다. 선택적으로, 디스플레이 시스템은 특정 콘텐츠의 해상도를 감소시키고, 특정 콘텐츠에 블러링 프로세스(예컨대, 가우시안 블러)를 적용할 수 있다. 이런 식으로, 특정 콘텐츠는, 특정 콘텐츠가 예컨대 응시 포인트보다 사용자로부터 더 멀리 있다는 것을 표현하기 위해 블러링되면서, 더 낮은 해상도로 렌더링될 수 있다. 게다가, 블러링은 더 낮은 해상도의 지각을 감소시킬 수 있다(예컨대, 블러링은 더 낮은 해상도로 인해 픽셀 사이즈의 증가들의 지각을 감소시킬 수 있음).
[0223] 가상 콘텐츠를 제공하는 것과 연관된 예시적인 동작들은 도 12b-12c(예컨대, 렌더링 파이프라인)에 예시된다. 도 12b의 예에서, 본원에서 설명된 바와 같이 이루어지는 해상도에 대한 조정들 없이, 3-차원 장면이 사용자에게 제공된다. 도 12c에서, 해상도에 대한 조정들은 본원에서 설명된 바와 같이 응시 포인트 정보에 따라 수행된다. 예컨대, 버텍스 연산 복잡도를 감소시키는 것, 세부사항의 테셀레이션 레벨을 감소시키는 것, 기하학적 구조 생성을 감소시키는 것, 픽셀 연산 복잡도/다수의 픽셀들의 애그리게이션을 감소시키는 것 등의 조정들 중 하나 이상이 수행될 수 있다. 예시된 바와 같은 조정들은 유리하게, 가상 콘텐츠를 제공하기 위해 파이프라인 내에서 상이한 스텝들로 수행될 수 있고, 가상 콘텐츠를 제공하는데 활용되는 특정 소프트웨어 및/또는 하드웨어에 따라 최적화될 수 있다. 도 12c에서 주목된 충실도 존들이 해상도 조정 존들임이 인지될 것이다.
[0224] 다시 도 12a를 참조로, 블록(1208)에서, 디스플레이 시스템은 조정된 콘텐츠를 사용자에게 제공한다. 앞서 설명된 바와 같이, 디스플레이 시스템은 3-차원 응시 포인트에 대한 근접도에 기반하여 콘텐츠의 해상도들을 조정했다. 후속적으로, 디스플레이 시스템은 연관된 위치들에서 렌더링된 콘텐츠를 사용자에게 제공한다. 일부 실시예들에서, 디스플레이 시스템은 렌더링될 콘텐츠의 각각의 프레임에 대해 프로세스(1200)를 수행할 수 있거나, 또는 사용자가 자신의 응시 포인트를 조정할 때 콘텐츠의 해상도들을 조정할 수 있다.
[0225] 앞서 주목된 바와 같이, 일부 실시예들에서, 가상 오브젝트들은, 사용자의 시선 내에 있으면서, 상이한 깊이들로 또한 제공될 수 있다. 도 13은 사용자가 사용자의 시선과 정렬된 다수의 가상 오브젝트들을 보고 있는 표현의 예를 예시한다. 예시적인 표현은, 제1 가상 오브젝트(1008A) 상의 응시 포인트에 응시되는 사용자의 눈들(210, 220)의 시선(1003A, 1003B)과 함께, 사용자의 시야(예컨대, 디스플레이 시스템의 디스플레이 절두체(1004))를 포함한다.
[0226] 예시된 바와 같이, 제2 가상 오브젝트(1008B)가 사용자의 시선(예컨대, 시선 벡터들(1003A, 1003B) 중 하나 또는 둘 다)의 각도 근접도 내에 있어서, 제2 가상 오브젝트(1008B)는 사용자의 중심와에 떨어질 것이다(예컨대, 어느 한 눈의 적어도 하나의 중심와에 떨어질 것임). 예컨대, 프레임(1110)을 렌더링할 시에, 제2 가상 오브젝트(1008B)는 제1 가상 오브젝트(1008A) 뒤에(예컨대, 제1 가상 오브젝트(1008A)로부터 더 큰 지각 깊이에) 위치된다. 중심와가 가장 높은 시력을 갖는 망막의 부분이라는 것이 인지될 것이다. 제2 가상 오브젝트(1008B)가 사용자의 중심와에 떨어질 것이기 때문에, 만약 제2 가상 오브젝트(1008B)의 해상도가 감소되면(예컨대, 적어도 도 11aa과 관련하여 앞서 설명된 바와 같이 감소되면), 사용자는 해상도의 감소를 지각할 수 있다. 해상도의 지각가능한 감소를 회피하기 위해, 디스플레이 시스템은 (1) 제2 가상 오브젝트(1008B)가 제1 가상 오브젝트(1008A)와 동일한 해상도로 또는 제1 가상 오브젝트(1008A)의 임계 해상도 내에서 렌더링되게 할 수 있고, 그리고/또는 (2) 제2 가상 오브젝트(1008B)가 (예컨대, 도 11aa에 표시된 바와 같이) 감소된 해상도로 렌더링되게 하고 사용자에 대한 프리젠테이션 이전에 제2 가상 오브젝트에 블러를 적용할 수 있다. 이론에 제한되지 않고, 블러는 깊이 큐를 제공하면서 해상도의 감소를 마스킹할 수 있다.
[0227] 도 14는 사용자의 시선으로부터의 각도 거리에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스(1400)의 예의 흐름도이다. 편의상, 프로세스(1400)는 디스플레이 시스템(예컨대, 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있으며, 선택적으로, 예컨대 프로세싱을, 하나 이상의 컴퓨터들 또는 다른 프로세싱 유닛들의 외부 시스템에 오프로딩하고 외부 시스템으로부터 정보를 수신하기 위해, 외부 시스템에 정보를 제공할 수 있는 웨어러블 디스플레이 시스템(60))에 의해 수행되는 것으로서 설명될 것이다. 예시적인 프로세스(1400)에서, 디스플레이 시스템은 가변 초점 디스플레이 시스템이며, 여기서, 각각의 프레임은 동일한 깊이 평면 상에 제공되고, 선택적으로, 제공될 모든 콘텐츠가 단일 프레임 버퍼로 축소되는데; 즉, 가변 초점 디스플레이 시스템은 한 번에 하나의 깊이 평면 상에 가상 콘텐츠를 제공한다.
[0228] 디스플레이 시스템은 사용자의 3-차원 응시 포인트를 결정하고(블록(1402)), 제공되는 콘텐츠와 연관된 위치 정보를 획득한다(블록(1404)). 블록들(1402 및 1404)은, 각각, 도 12a의 블록들(1202 및 1204)에 대응할 수 있다. 도 12a를 참조하여 앞서 설명된 바와 같이, 디스플레이 시스템은 사용자의 눈 움직임들(예컨대, 눈 배향)을 모니터링하고, 사용자의 응시 포인트들을 결정한다. 디스플레이 시스템은 (예컨대, 다음 프레임에서) 제공될 콘텐츠의 위치 정보를 획득할 수 있고, 후속적으로, 콘텐츠의 해상도들을 조정할 수 있다.
[0229] 도 14를 계속 참조하면, 디스플레이 시스템은 해상도가 감소되고 사용자의 시선으로부터 임계 각도 거리 내에 위치한 콘텐츠를 결정한다(블록 1406). 디스플레이 시스템은 고정 포인트으로부터의 콘텐츠의 근접도로 인해(예컨대, 콘텐츠가 고정 포인트보다 더 큰 깊이에 위치 함) 해상도가 감소될 것이지만, 사용자의 중심와에 떨어질(예컨대, 사용자의 시선으로부터 임계 각도 내에 떨어질) 콘텐츠를 식별한다. 콘텐츠가 사용자의 중심와에 떨어질 것이기 때문에, 사용자는 본원에서 설명된 3차원 고정 포인트 포비티드 렌더링에 의해 해상도의 감소를 지각할 수 있다. 콘텐츠 블록(1406)은 도 12c에 예시된 블록들, 특히 "GPU" 섹션에서 식별된 블록들을 수행하는 것을 포함할 수 있다.
[0230] 결과적으로, 블록(1408)에서, 디스플레이 시스템은 선택적으로 결정된 콘텐츠가 더 높은 해상도로 렌더링되게 할 수 있다. 디스플레이 시스템은 결정된 콘텐츠의 해상도를 최고 해상도(예컨대, 고정 포인트에 위치된, 또는 고정 포인트와 동일한 존 또는 공간의 볼륨 내의 콘텐츠와 동일한 해상도)가 되도록 조정하거나, 그렇지 않으면(예컨대, 블록(1406)에서 설명된 바와 같이) 콘텐츠에 할당될 감소된 해상도보다 크게 되도록 조정할 수 있다.
[0231] 블록(1410)에서, 디스플레이 시스템은 콘텐츠의 해상도를 선택적으로 감소시킬 수 있고, 사용자에게 프리젠테이션하기 이전에 콘텐츠를 블러링할 수 있다. 앞서 설명된 바와 같이, 가변-초점 디스플레이 시스템은 단일 디스플레이 버퍼를 이용하여 콘텐츠를 사용자에게 제공할 수 있다. 가변-초점 디스플레이 시스템은 모든 콘텐츠를 동일한 깊이 평면에 제공하기 때문에, 가변-초점 디스플레이 시스템은 예컨대 렌더링 엔진으로부터 콘텐츠를 출력하기 위해 동일한 디스플레이 버퍼를 활용할 수 있다.
[0232] 선택적으로, 디스플레이 시스템은 각각의 깊이 버퍼에 하나 이상의 깊이 평면들이 할당된 초기 깊이 버퍼들을 이용할 수 있고, 초기 깊이 버퍼들을 조합하여 디스플레이 버퍼를 획득할 수 있다. 도 13의 예시를 참조하면, 제1 깊이 버퍼는 제1 가상 오브젝트(1306)를 포함할 수 있는 반면, 제2 깊이 버퍼는 제2 가상 오브젝트(1308)를 포함할 수 있다. 그런 다음, 디스플레이 시스템은 블러링 프로세서를 제2 깊이 버퍼 또는 제2 깊이 버퍼에 포함된 특정 콘텐츠에 적용할 수 있다(예컨대, 디스플레이 시스템은, 동일한 깊이 평면 상에 위치하지만 사용자의 시선으로부터 더 먼 각도 거리에 있는 다른 콘텐츠가 아니라 제2 가상 콘텐츠(1308)에 블러링 프로세스를 적용할 수 있다). 블러링 프로세스를 수행한 후, 디스플레이 시스템은 디스플레이 버퍼를 획득하기 위해, 제1 깊이 버퍼 및 제2 깊이 버퍼를 조합할 수 있다(예컨대, 디스플레이 시스템은 폐색, 예컨대, 제1 가상 오브젝트(1306)에 의한 폐색으로 인해 가시적이지 않은 제2 가상 오브젝트(1308)의 일부를 제거하는 것을 추가할 수 있다).
[0233] 예시적인 블러링 프로세스는 콘텐츠에 블러링(예컨대, 가우시안 커널, 이를테면 보케 효과를 재생하기 위한 원형 커널, 박스 블러 등)과 연관된 커널의 컨볼루션을 수행하는 디스플레이 시스템을 포함할 수 있다. 이런 식으로, 해상도의 감소가 마스킹될 수 있는 한편, 해상도의 감소로 인한 프로세싱 절감은 유지될 수 있다. 선택적으로, 블러링 프로세스와 관련된 강도(예컨대, 콘텐츠가 블러링되는 정도)는 사용자의 고정 포인트와 콘텐츠 사이의 깊이 차이, 및/또는 사용자의 시선에 대한 콘텐츠의 각도 근접도에 기반할 수 있다. 예컨대, 사용자의 시선에 가까워 질수록 블러링 정도가 증가할 수 있다.
[0234] 일부 실시예들에서, 디스플레이 시스템은 디스플레이 시스템의 하드웨어 및/또는 소프트웨어에 따라 블록(1408 또는 1410)의 피처들을 활용할 수 있다. 예컨대, 특정 하드웨어(예컨대, 그래픽 프로세싱 유닛들)는 하드웨어의 성능에 대한 임계치 히트 없이 하드웨어에서 블러링 프로세스를 수행할 수 있다. 이 특정 하드웨어에 대해, 디스플레이 시스템은 콘텐츠의 해상도를 감소시킨 다음 콘텐츠를 블러링하도록 구성될 수 있다. 그러나 다른 하드웨어가 블러링 프로세스를 수행하는 데 있어서 느리고, 콘텐츠를 더 높은 해상도로 렌더링하는 것은 성능을 더 높게 향상시킬 수 있다. 이 다른 하드웨어의 경우, 디스플레이 시스템은 콘텐츠를 더 높은 해상도로 렌더링하도록 구성될 수 있다. 또한, 콘텐츠를 더 높은 해상도로 렌더링할지 또는 블러링이 있는 더 낮은 해상도로 렌더링할지의 결정은 표시될 콘텐츠의 타입에 의존할 수 있다. 예컨대, 디스플레이 시스템은, 더 낮은 해상도 및 블러링으로 형상들을 렌더링하면서, 텍스트를 더 높은 해상도로 렌더링하도록 구성될 수 있다.
[0235] 도 14를 계속 참조하면, 블록(1412)에서 디스플레이 시스템은 콘텐츠를 사용자에게 제시한다. 디스플레이 시스템은 예컨대, 앞서 설명된 바와 같이, 동일한 디스플레이 버퍼로부터 조정된 콘텐츠를 사용자에게 제공할 수 있다.
II. 주변 조명 레벨들에 기반한 해상도 조정
[0236] z-축을 따른 해상도의 감소에 부가하여 또는 대안으로서, 일부 실시예들에서, 해상도의 감소를 갖는 가상 콘텐츠를 제공하기 위한 다양한 다른 방식들이 구현될 수 있다. 유리하게, 본원에서 언급된 바와 같이, 가상 콘텐츠의 일부 양상들은 비교적 고해상도로 제공될 수 있고, 일부 다른 양상들은 비교적 저해상도로 제공될 수 있으며, 이는 바람직하게는 가상 콘텐츠의 지각된 이미지 품질에 적은 영향을 미치면서 디스플레이 시스템에 의한 컴퓨테이셔널 및 에너지 자원들의 사용을 감소시킬 수 있다.
[0237] 이제 도 15를 참조하면, 사용자의 눈의 망막의 표현의 예가 예시된다. 예시된 뷰는 망막의 시각적 축을 따라 정면에서 볼 때 보여지는 망막(1500)을 도시한다. 망막(1500)은 주변 영역(1530)으로 둘러싸인 중심와(1510)를 포함한다. 중심와(1510) 내에는 시각적 축과 교차하는 중심소와(foveola)(1520)가 있다.
[0238] 망막은 두 가지 타입의 광 수용체들: 간상체들 및 추상체들을 포함한다는 것이 인지될 것이다. 게다가, 망막에 걸친 이들 광 수용체의 분포들은 변해서, 망막에 걸쳐 상이한 간상체 및 추상체 밀도를 제공한다.
[0239] 이제 도 16을 참조하면, 도 15의 망막(1500)에 걸친 간상체 및 추상체 밀도, 및 해상도의 예가 그래프로 예시되어 있다. x-축은 시각적 축이 망막과 교차하는 포인트에 대한 편심도를 표시한다. 페이지의 오른쪽 방향은 나잘 방향이고 페이지의 왼쪽 방향은 시간 방향이다. 예시된 바와 같이, 인간 눈의 해상도는 대략 망막에서의 광 수용체들(간상체들 및 추상체들)의 밀도와 대략 상관된다. 결과적으로, 일부 실시예들에서, x 및 y-축들(예컨대, 주어진 깊이 평면) 상의 가상 콘텐츠의 해상도(예컨대, 공간 해상도)의 감소 또는 테이퍼는 추상체 밀도, 간상체 밀도, 또는 간상체 및 추상체 밀도의 합계의 망막에 걸친 감소를 실질적으로 따를 수 있다. 예컨대, 사용자의 시야를 가로 질러 고정 포인트로부터 멀어진 해상도 감소의 추세는 대응하는 망막의 부분들에 걸쳐 광 수용체 밀도(예컨대, 추상체 밀도, 간상체 밀도 또는 간상체 및 추상체 밀도의 합계)의 변화에서 추세의 ± 50 %, ± 30 %, ± 20 % 또는 ± 10 % 이내 일 수 있다. 일부 실시예들에서, 고정 포인트로부터 멀어진 해상도의 감소는 점진적이고, 실질적으로 밀도 변화들에 따른다. 일부 다른 실시예들에서, 해상도의 감소는 단계들(예컨대, 한 단계, 두 단계 등)로 발생할 수 있다. 예컨대, 2 개의 단계들이 있을 수 있다: 시야의 최고 해상도 영역은 중심소와와 상관되고, 중간 해상도 영역은 중심와와 상관되고, 저해상도 영역은 주변 구역과 상관된다.
[0240] 도 16을 계속 참조하면, 상이한 광 수용체들은 상이한 광 조건들 하에서, 예컨대 상이한 주변 조명 레벨들에서 상이한 레벨의 활동을 하는 것으로 인지될 것이다. 결과적으로, 광 수용체들의 밀도를 따르는 해상도의 감소들은, 일부 조명 레벨들에서 사용자에게 의식적으로 인식되지 않을 수 있지만, 다른 조명 레벨에서는 인식될 수 있는 것이 가능하다. 결과적으로, 일부 실시예들에서, x, y 또는 z-축들을 따라 가상 콘텐츠의 해상도의 감소들은 외부 광 조건들을 참조하여 세팅될 수 있다.
[0241] 예컨대, 눈의 비전 거동은 광 조건들에 기반하여 3 가지 모드들로 분할될 수 있다. 3 가지 모드들은 명소시, 박명시 및 암소시이다. 명소시는 전형적으로 약 10 내지 108 cd/m²를 포함하는 밝은 조건들, 예컨대 약 3 cd/m² 이상의 주변 광 또는 조명 레벨들에서 발생한다. 명소시에서는 추상체들이 주로 활성이다. 암소시에서는 간상체들이 주로 활성이다. 박명시에서 간상체들과 추상체들 모두 활성일 수 있다. 본원에서 사용되는 바와 같이, 주변 광 조건들 또는 조명 레벨들은 사용자의 눈 및/또는 그의 망막이 노출되는 광량을 지칭한다.
[0242] 박명시는 낮은 조명 조건들 하에서, 예컨대 약 10-3 내지 100.5 cd/m²의 조명 레벨들 하에서 전형적으로 발생합니다. 추상체들 및 간상체들 둘 모두는 박명시 내의 적어도 일부 조명 레벨들에서 활성이며, 간상체들 또는 추상체들의 우세는 주변 조명 레벨들이 증가하는지 또는 감소하는지에 따라 시간이 지남에 따라 변한다. 눈이 더 밝은 환경에 적응함에 따라, 간상체들에 비해 더 많은 추상체들이 활성화되며; 다른 한편으로는, 눈이 어두운 환경에 적응함에 따라, 추상체들에 비해 더 많은 간상체들이 활성화된다.
[0243] 암소시는 전형적으로, 조명 레벨들이 명소시를 위한 조명 레벨들보다 낮은 광 조건들에서 발생한다. 예컨대, 암소시는 약 10-3 내지 10-6 cd/m²를 포함하는, 약 10-2 cd/㎡ 이하, 또는 약 10-3 cd/㎡ 이하의 조명 레벨들에서 발생할 수 있다. 간상체들은 주로 암소시에서 활성이다. 명소시, 박명시 및 암소시에 대해 본원에서 언급된 조명 레벨들이 예들이라는 것이 이해될 것이다. 일부 실시예들에서, 각각의 타입의 비전과 연관된 조명 레벨들은, 사용자 선호도들 및/또는 사용자가 속한 그룹에 대한 맞춤화에 기반하여(예컨대, 성별, 나이, 민족성, 시각적 이상들의 존재 등에 기반하여) 임의로 할당될 수 있다.
[0244] 일부 실시예들에서, 사용자에 활성인 비전의 타입(명소시, 박명시, 암소시)은 주변 조명 레벨들의 측정에 기반하여 결정될 수 있다. 예컨대, 디스플레이 시스템은 외향 카메라(112)(도 9d)와 같은 광 센서를 사용하여 주변 조명 레벨들을 측정하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 주변 조명 레벨들에 관한 정보를 제공하는 다른 센서 또는 디바이스와 통신할 수 있다.
[0245] 헤드-장착 디스플레이 시스템들은 주변 광의 일부를 블록 또는 감쇠시킬 수 있어서, 외향 카메라는 눈에 충돌하는 광량을 정확하게 반영하는 휘도 레벨들을 제공하지 않을 수 있음을 인지할 것이다. 게다가, 디스플레이 시스템은 또한, 가상 콘텐츠를 제공하기 위해 눈에 빛을 투사할 때, 눈이 노출되는 조명 레벨들을 변경할 수 있는 광의 소스이다. 일부 다른 실시예들에서, 내향 카메라는 휘도 레벨들을 결정하는 데 활용될 수 있다. 예컨대, 휘도 레벨들은 동공의 크기와 대략적으로 상관된다. 도 17은 동공 크기와 사용자의 눈에 입사하는 광량 사이의 관계의 예를 그래프로 예시한다. x-축은 휘도에 대한 값을 나타내고, y-축은 동공 영역에 대한 값을 나타낸다. 결과적으로, 디스플레이 시스템은 사용자의 동공 영역을 결정하고, 그런 다음 이 동공 영역에 기반하여 휘도를 추론하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 눈(210)의 이미지를 캡처하기 위해 내향 카메라(500)(도 6)를 사용하고, 그런 다음 동공 영역 또는 동공 영역을 나타내는 다른 메트릭(예컨대, 동공 직경 또는 폭)을 결정하기 위해 이미지를 분석하도록 구성될 수 있다. 예컨대, 카메라에 의해 캡쳐된 이미지에서 눈(210)의 동공에 의해 점유되는 영역이 결정되고, 그런 다음 카메라의 광학기에 의해 유발된 임의의 스케일링 팩터에 대해 보정될 수 있다. 유리하게, 동공 영역을 사용하여 휘도 레벨들을 결정하는 것은 디스플레이가 일부 주변 광을 차단함으로써 유발되는 주변 휘도 레벨들의 감소들 그리고 또한 디스플레이 자체의 광 출력에 의한 휘도 레벨에 대한 기여들을 효과적으로 고려할 수 있다.
[0246] 도 17을 계속 참조하면, 디스플레이 시스템은 결정된 동공 영역에 기반하여 사용자의 눈들이 명소시, 박명시, 암소시 모드에 있는지를 결정하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 특정 동공 영역에 대해 예상되는 비전 모드를 특정하는 테이블 또는 다른 저장된 정보를 메모리에 상주시킬 수 있다. 예로서, 도 17에 도시된 그래프에 따라, 디스플레이 시스템은 약 3 mm² 이하의 동공 영역들이 명소시를 표시하는 것으로 카테고리화하고, 3 mm² 또는 최대 약 38 mm²의 동공 영역들이 박명시를 표시하는 것으로 카테고리화하고, 38 mm² 초과의 동공 영역들이 암소시를 표시하는 것으로 카테고리화할 수 있다. 이들 휘도 값들 및 관련 비전 모드들은 예들이며 다른 값들이 대체될 수 있음을 인지할 것이다. 예컨대, 사용자들로부터의 입력에 대한 응답으로 상이한 값들이 상이한 사용자들에게 적용될 수 있거나, 사용자가 속할 수 있는 특정 카테고리(예컨대, 성별, 나이, 민족성, 시각 이상들의 존재 등)에 기반하여 상이한 값들이 적용될 수 있다. 게다가, 디스플레이 시스템이 특정 비전 모드를 반드시 식별하는 것은 아니라는 것이 인지될 것이다. 오히려, 디스플레이 시스템은 특정한 측정된 동공 영역들을 특정한 해상도 레벨들 또는 조정들과 간단히 연관시키도록 구성될 수 있다.
[0247] 일부 실시예들에서, 내향 카메라(510)(도 6) 및 외향 카메라(112)(도 9d) 둘 모두로부터의 입력은 휘도 레벨들을 결정하는 데 활용될 수 있다. 예컨대, 디스플레이 시스템은 카메라들(510 및 112)을 사용하여 결정된 휘도 레벨들의 평균(가중 평균 포함)을 취하도록 구성될 수 있다. 앞서 언급한 바와 같이, 카메라(510)를 사용하여 결정된 휘도 레벨은, 그 카메라(510)를 사용하여 사용자의 눈을 이미징하는 것에 기반하여 사용자의 눈의 동공 영역의 크기로부터 추론될 수 있다.
[0248] 간상체들 및 추상체들은 컬러 및 콘트라스트에 대한 상이한 민감도들 및 상이한 레벨들의 시력을 갖는다는 것이 인지될 것이다. 결과적으로, 주변 휘도 레벨들은, 간상체들 및/또는 추상체들이 활성인지 여부에 영향을 주기 때문에, 상이한 주변 휘도 레벨들에서 컬러 및 콘트라스트에 대한 민감도들 및 시력에서 차이들이 존재한다. 유리하게, 컬러 및 콘트라스트에 대한 민감도들 및 시력에서의 광-레벨 차이들은 해상도를 감소시키기 위한 추가적인 기초를 제공하기 위해 적용될 수 있으며, 이는 앞서 설명된 바와 같이(예컨대, 도 12a 및 14와 관련하여) 고정 포인트에 기반하여 해상도의 변경들과 연동하여 활용될 수 있거나, 고정 포인트에 기반하여 심지어 해상도를 구체적으로 변경하지 않고 별개로 활용될 수 있다.
[0249] 이제 도 18을 참조하면, 사용자의 눈에 입사되는 광량에 기반하여 가상 콘텐츠를 조정하기 위한 프로세스(1800)의 예의 다이어그램이 도시된다. 편의상, 프로세스는 디스플레이 시스템(예컨대, 프로세싱 하드웨어 및 소프트웨어를 포함 할 수 있고, 선택적으로 예컨대 프로세싱을 외부 시스템으로 오프로드하기 위해 하나 이상의 컴퓨터들 또는 다른 프로세싱 유닛들의 외부 시스템에 정보를 제공할 수 있고, 외부 시스템으로부터 정보를 수신할 수 있는 웨어러블 디스플레이 시스템(60)(도 9d))에 의해 수행되는 것으로 설명될 수 있다.
[0250] 블록(1810)에서, 디스플레이 시스템은 망막에 도달하는 광량을 결정한다. 바람직하게, 이 결정은 망막에 충돌하는 광의 직접적인 측정보다는 망막에 도달하는 광량의 추정이다. 이 추정은 휘도 레벨들을 결정하기 위해 개시된 방법들을 사용하여 본원에서 논의된 바와 같이 행해질 수 있다. 예컨대, 휘도 레벨들은 망막에 도달하는 광량에 대응하는 것으로 가정될 수 있다. 결과적으로, 망막에 도달하는 광량을 결정하는 것은 디스플레이 디바이스상의 외향 카메라와 같은 광을 검출하도록 구성된 센서를 사용하여 사용자의 동공의 크기를 결정하고 및/또는 주변 휘도 레벨들을 결정하는 것을 포함할 수 있다.
[0251] 블록(1820)에서, 디스플레이 시스템은 블록(1810)에서 망막에 도달하는 것으로 밝혀진 광량에 기반하여 사용자에게 제공될 가상 콘텐츠의 해상도를 조정한다. 일부 실시예들에서, 가상 콘텐츠의 해상도를 조정하는 것은 가상 콘텐츠의 공간 해상도, 컬러 깊이 및 광 세기 해상도 중 하나 이상을 조정하는 것을 포함한다. 인간 시각 시스템은 명소시 조명 레벨들 하에서 공간 해상도, 컬러 및 광 세기에 대한 최대의 예리함 및 민감도를 갖는다는 것이 인지될 것이다. 공간 해상도, 컬러 및 광 세기의 차이들을 지각하기 위한 능력은 박명시 조명 레벨들 하에서 감소되고, 암소시 조명 레벨들 하에서 추가로 감소된다.
[0252] 결과적으로, 일부 실시예들에서, 존재하는 광량이 명소시에 대한 레벨들에 대응하는 것으로 밝혀지면, 가상 오브젝트들은 (박명시 또는 암소시에 대해 활용될 공간 해상도에 비해) 최대 또는 높은 공간 해상도로 렌더링될 수 있다. 존재하는 광량이 박명시 레벨에 대응하는 것으로 밝혀지면, 가상 오브젝트들은 명소시 조명 레벨들 하에서 가상 오브젝트들에 대해 활용되는 공간 해상도에 비해 감소된 공간 해상도로 렌더링될 수 있다. 광량이 암소시 레벨들에 대응하는 것으로 밝혀지면, 가상 오브젝트들은 박명시 또는 명소시 조명 레벨들 하에서 사용되는 것보다 낮은 공간 해상도로 렌더링될 수 있다. 공간 해상도는 예컨대 다각형의 수 등을 감소시킴으로써 본원에서 설명된 바와 같이 조정될 수 있다.
[0253] 조명 레벨들에 의존하여 컬러 깊이 또는 비트 깊이가 유사하게 조정될 수 있으며, 가장 높은 컬러 깊이는 명소시 조명 레벨들 하에서 사용되고, 중간 컬러 깊이는 박명시 조명 레벨들 하에서 사용되고, 가장 낮은 컬러 깊이는 암소시 조명 레벨들 하에서 사용된다. 컬러 깊이는 픽셀의 각 컬러 컴포넌트에 사용되는 비트 수를 변경함으로써 조정될 수 있는데, 더 낮은 비트는 더 낮은 컬러 깊이와 동등하게 다뤄진다.
[0254] 마찬가지로, 이론에 제한되지 않고, 조명 레벨들이 명소시로부터 박명시로 그리고 암소시 조명 레벨들로 진행함에 따라 광 세기의 그러데이션들이 더 커지는 것으로 여겨진다. 달리 말하면, 인간 시각 시스템은 주변 조명 레벨이 감소함에 따라 광 세기의 더 적은 차이들을 식별할 수 있는 것으로 여겨진다. 일부 실시예들에서, 디스플레이 시스템은 조명 레벨들이 명소시로부터 박명시로 그리고 암소시 조명 레벨들로 진행함에 따라 광 세기의 더 적은 그러데이션들을 디스플레이하도록 구성될 수 있다. 결과적으로, 광 세기 레벨들에서 가장 많은 수의 그러데이션들이 명소시 조명 레벨들 하에서 제공되고, 박명시 조명 레벨들 하에서 더 적은 그러데이션들이 제공되지만, 암소시 조명 레벨들 하에서는 훨씬 더 적은 그러데이션들이 제공된다.
[0255] 게다가, 일부 실시예들에서, 디스플레이 시스템은 사용자가 지각할 수 있는 것보다 더 많은 수의 광 세기의 그러데이션들을 제공할 수 있다. 도 22a-22c에 예시된 이에 대한 예는 아래에서 추가로 논의된다. 예컨대, 디스플레이 시스템은 주어진 이미지 픽셀에 대해 256 개의 상이한 레벨들의 세기를 디스플레이할 수 있지만, 사용자는 더 적은 수의 레벨들, 예컨대 64개의 레벨들만을 지각할 수 있다. 이 예에서, 다수의 가능한 광 세기 레벨들이 지각 가능한 광 세기 레벨들 중 단일한 하나 내에 포함된다. 예컨대, 디스플레이 시스템은 4 개의 상이한 광 세기 레벨들을 디스플레이할 수 있지만, 사용자는 4 개 모두가 유사한 것으로 지각할 수 있다. 그러한 상황들에서, 다수의 가능한 광 세기들이 사용자에 의해 동일하다고 지각되는 경우, 디스플레이 시스템은 디스플레이를 위해 유사하다고 지각되는 이들 값들 중에서 가장 낮은 세기 값을 선택하도록 구성될 수 있다. 결과적으로, 디스플레이 시스템은 더 낮은 강도들을 활용할 수 있어서, 원하는 광 세기들을 달성하기 위해 디스플레이를 조명하는 데 사용되는 전력의 양을 감소시킬 수 있다. 이것은 공간 광 변조기의 개별 픽셀들 자체가 유기 및 무기 LED와 같은 광 방출기인 디스플레이 시스템에서 특정한 장점들을 가질 수 있다. 일부 실시예들에서, 그러데이션들의 수는 주변 조명 레벨들의 감소에 따라 감소하고, 디스플레이 시스템은 그룹의 가장 낮은 광 세기를 디스플레이하기 위해 더 많은 수의 가능한 광 세기 레벨들을 함께 그룹화하도록 구성된다.
[0256] 디스플레이될 가상 콘텐츠에 대해, 공간 해상도, 컬러 깊이 및 광 세기 해상도 중 하나, 둘 또는 3 개 모두는, 사용자가 겪는 광 조건들(사용자의 망막에 도달하는 광량)에 기반하여 변경될 수 있다는 것이 인지될 것이다. 본원에서 개시된 바와 같이, 광 조건들에 기반한 공간 해상도, 컬러 깊이 및/또는 광 세기 해상도에 대한 이러한 조정들은 사용자의 눈들의 고정 포인트로부터의 거리에 기반한 해상도에 대한 조정 없이, 전체 가상 콘텐츠에 대해 행해질 수 있다. 일부 다른 실시예들에서, 광 조건들에 기반한 공간 해상도, 컬러 깊이 및/또는 광 세기 해상도에 대한 조정들은 고정 포인트로부터의 거리에 기반한 해상도에 대한 조정과 연동하여 행해질 수 있다(예컨대, 도 12a 및 14 참조). 일부 실시예들에서, 해상도가 고정 포인트로부터의 거리에 따라 감소하면, 주어진 평면 상에서(x 및 y-축들 상에서)의 감소 프로파일은 바람직하게는 망막의 대응 부분들에 걸친 추상체 밀도의 변경들의 프로파일과 매칭된다.
[0257] 일부 실시예들에서, 본원에서 언급된 바와 같이, 공간 해상도, 컬러 깊이 및/또는 광 세기 해상도에 대한 조정들은 바람직하게는 정해진 시간에 활성인 비전 모드(명소시, 박명시 또는 암소시)와 관련된다. 비전 모드가 변경되면 이러한 조정들이 동적으로 변할 수 있다. 예컨대, 사용자가 명소시로부터 암소시로 진행할 때, 본원에서 논의된 바와 같이 해상도가 감소할 수 있다. 역으로, 사용자가 암소시로부터 박명시로 진행하면, 가상 콘텐츠의 해상도는 높아질 수 있다. 특정 비전 모드로의 해상도 조정들을 시도하는 것은 사용자가 해당 특정 모드에 있다는 특정한 결정을 필요로 하지 않으며; 오히려 디스플레이 시스템은 특정 범위의 주변 조명 레벨들 또는 동공 크기를, 공간 해상도, 컬러 깊이 또는 광 세기 해상도에 관계 없이 특정 해상도들과 간단히 연관시키도록 구성될 수 있다는 것이 인지될 것이다. 게다가, 해상도 조정들이 바람직하게는 본원에서 논의된 바와 같이 (3 개의 비전 모드들에 대응하는) 3 개의 광 조건 레벨에 관련될 수 있지만, 일부 실시들예에서, 해상도 조정들은 2 개의 광 조건 레벨들 또는 3 개 초과의 광 조건 레벨들에 관련될 수 있다.
[0258] 해상도 조정은 실시간으로(예컨대, 주변 광 조건들이 변함에 따라) 발생할 수 있거나, 가상 콘텐츠에 대한 해상도 조정이 행해지기 전에 인간 시각 시스템이 기존의 광 조건들에 적응할 수 있도록 세팅된 지속기간 동안 지연될 수 있다는 것이 또한 인지될 것이다. 이론에 제한되지 않고, 인간 시각 시스템은 상이한 조명 레벨들에 적응하기 위한 시간 기간을 필요로 하고, 이 시간 기간은 조명 레벨들이 감소함에 따라 증가한다고 여겨진다. 결과적으로, 일부 실시예들에서, 조명 레벨들의 변경으로 인한 해상도의 조정들은, 사용자가 세팅된 시간의 양 동안 특정 조명 레벨에 노출(예컨대, 실질적으로 연속하여 노출)될 때까지 행해지지 않는다. 예컨대, 세팅된 시간의 양은 5 분, 10 분, 15 분 또는 20 분일 수 있다.
[0259] 도 18을 계속 참조하면, 블록(1830)에서, 가상 콘텐츠가 사용자에게 제공된다. 이 가상 콘텐츠의 프리젠테이션은 예컨대, 도 12a의 블록(1208) 또는 도 14의 블록(1412)에서와 같이 본원에서 논의된 바와 같이 수행될 수 있다.
[0260] 이제 도 19를 참조하면, 눈에 입사하는 광량이 변함에 따라 사용자의 눈에 의해 검출될 수 있는 해상도의 변화를 그래픽으로 나타낸 예가 예시된다. 이 도면은 상이한 비전 모드들 하에서 공간 해상도에 대한 인간 시각 시스템의 민감도 예를 예시한다. 암소시는 낮은 광 구역(1910)에서 발생하고, 박명시는 중간 광 구역(1920)에서 발생하고, 명소시는 밝은 광 구역(1930)에서 발생한다. 도시된 바와 같이, 주변 조명 레벨들이 감소함에 따라, 공간 해상도에 대한 민감도가 실질적으로 감소한다. 일부 실시예들에서, 도 18과 관련하여 앞서 논의된 공간 해상도에 대한 조정들은 예시된 커브의 윤곽에 대응한다. 예컨대, 명소시 또는 암소시 모드에서 정해진 광 레벨에 대해, 가상 콘텐츠는 y-축에 도시된 해상도 값들을 충족시키거나 초과하기에 충분한 공간 해상도로 렌더링된다.
[0261] 이제 도 20을 참조하면, 상이한 광 수용체들이 상이한 파장들 또는 컬러들의 광을 지각하는 데 사용될 수 있음이 인지될 것이다. 도 20은 상이한 레벨의 조명에서 상이한 컬러들의 광에 대한 눈의 민감도 차이들의 예를 그래프로 예시한다. x-축에서의 시간 지속 기간의 차이는, 인간 시각 시스템이 특정 주변 조명 레벨에 적응하여 특정 비전 모드가 활성화되기 위해 전형적으로 필요한 시간의 양을 반영한다. 특히 암소시와 박명시의 일부에 대응하는 주변 조명 레벨들에서, 적색 광에 대한 광 수용체들이 더 이상 활성이지 않을 수 있지만, 청색 광에 대한 광 수용체들은 가장 낮은 광 조건들 하에서 활성이다. 적색, 녹색 및 청색 광은 (예컨대, 도 8-9b에 관해 본원에서 논의된 바와 같이) 풀 컬러 이미지를 형성하기 위해, 디스플레이 시스템에서 컴포넌트 컬러들로서 가장 전형적으로 사용되는 컬러들에 대응하는 것으로 이해될 것이다. 일부 실시예들에서, 디스플레이 시스템은 주변 조명 레벨들에 따라 상이한 컬러들의 이미지들의 렌더링을 변화시키도록 구성될 수 있다.
[0262] 이제 도 21을 참조하면, 다수의 컴포넌트 컬러 이미지들을 사용하여 형성된 가상 콘텐츠를 조정하기 위한 프로세스(2100)의 예의 다이어그램이 도시되며, 여기서 해상도 조정은 컴포넌트 컬러 이미지의 컬러에 기반하여 행해진다. 블록(2110)에서, 디스플레이 시스템은 다수의 컴포넌트 이미지들을 사용하여 제공될 가상 콘텐츠를 제공한다. 이들은 도 8-9b에 관해 논의된 바와 같이, 상이한 도파관들로 지향될 상이한 컴포넌트 컬러들의 상이한 이미지들일 수 있다. 결과적으로, 일부 실시예들에서, 상이한 컴포넌트 컬러들의 이미지들의 스트림들 각각은 별개로 렌더링될 수 있다. 다수의 컴포넌트 이미지들을 사용하여 제공될 가상 콘텐츠를 제공하는 것은, 풀 컬러 이미지를 형성하기 위해 상이한 컴포넌트 컬러들의 이미지 스트림들을 출력하는 디스플레이 시스템을 활용하는 것을 포함할 수 있다.
[0263] 블록(2120)에서, 디스플레이 시스템은 그들의 컬러에 기반하여 컴포넌트 컬러 이미지들의 해상도들을 조정할 수 있다. 예컨대, 디스플레이 시스템은 해상도 조정을 위해 이들 컴포넌트 컬러들 중 하나의 컬러 이미지를 선택할 수 있다. 예컨대, 선택은 도 18의 블록(1810)에 관해 앞서 논의된 바와 같이, 조명 레벨들의 결정에 기반하여 행해질 수 있다. 도 19에 도시된 바와 같이, 일부 컴포넌트 컬러들은 일부 조명 레벨들에서 사용자에 의해 지각되지 않을 수 있다. 디스플레이 시스템은 그 레벨들에서 가시적이지 않은 조명 레벨들 및 컴포넌트 컬러들에 관한 정보를 그 안에 저장했을 수 있다. 조명 레벨과 해당 레벨들에서 가시적이지 않은 컴포넌트 컬러 사이에 매칭이 존재하면, 해당 컴포넌트 컬러의 이미지들이 조정을 위해 선택될 수 있다. 일부 환경들에서, 주변 조명 레벨들이 사용자가 그 컬러를 지각할 것으로 예상되지 않을 정도이면, 하나의 조정은 그 컴포넌트 컬러 이미지를 단순히 렌더링하거나 디스플레이하지 않는 것일 수 있다. 예컨대, 암소시 조명 레벨들 하에서, 디스플레이 시스템은 컴포넌트 컬러 적색의 이미지들을 렌더링하거나 디스플레이하지 않도록 구성될 수 있다.
[0264] 도 21을 계속 참조하면, 블록(2130)에서, 가상 콘텐츠가 사용자에게 제공된다. 이 가상 콘텐츠의 프리젠테이션은 예컨대, 도 12a의 블록(1208) 또는 도 14의 블록(1412)에서와 같이 본원에서 논의된 바와 같이 수행될 수 있다.
[0265] 앞서 논의된 바와 같이 이론에 제한되지 않고 도 22a-22c를 이제 참조하면, 광 세기의 그러데이션들을 지각하기 위한 인간 시각 시스템의 능력은 주변 조명 레벨들에 따라 변하는 것으로 여겨진다. 도 22a-22c는 사용자의 눈에 입사되는 광량이 감소함에 따라 변하는 콘트라스트 민감도의 예들을 도시한다. 예컨대, 도 22a는 명소시 광 조건들 하에서 콘트라스트 민감도를 도시하는 것으로 이해될 수 있고, 도 22b는 박명시 광 조건들 하에서 콘트라스트 민감도를 도시하는 것으로 이해될 수 있고, 도 22c는 암소시 조건들 하에서 콘트라스트 민감도를 도시하는 것으로 이해될 수 있다. 도 22a는 최상부에서의 높은 광 세기에서 최하부에서의 낮은 광 세기로 진행하는 그러데이션들(21101 내지 2110i)의 진행(2100)을 도시한다. 유사하게, 도 22b는 높은 광 세기에서 낮은 광 세기로 진행하는 그러데이션들(21101 내지 2110i)의 진행(2102)을 도시한다. 마찬가지로, 도 22c는 높은 광 세기에서 낮은 광 세기로 진행하는 그러데이션들(21101 내지 2110i)의 진행(2104)을 도시한다. 박스들(2120, 2130, 2140)은 사용자에 의해 지각되는 세기 그러데이션들의 그룹들이 동일하다는 것을 표시한다. 이 그룹들의 사이즈들은 예시된 바와 같이 주변 조명 레벨들이 감소함에 따라 증가할 것으로 예상된다. 결과적으로, 도 18과 관하여 앞서 논의된 바와 같이, 일부 실시예들에서, 디스플레이 시스템은 각 그룹 내에서(예컨대, 각각의 박스(2120, 2130, 2140) 내에서) 가장 낮은 세기 값을 사용하도록 구성될 수 있다.
[0266] 이제 도 23을 참조하면, 사용자의 눈들의 시신경 및 주변 블라인드 스폿들의 표현의 예가 도시된다. 일부 실시예들에서, 본원에서 개시된 해상도 조정들 중 임의의 것에 추가하여 또는 대안으로서, 디스플레이 시스템은 콘텐츠가 사용자에 의해 인식될 것으로 예상되지 않는 다양한 위치들에 콘텐츠를 렌더링하는 것을 억제하도록 구성될 수 있다. 도 23은 각각 왼쪽 및 오른쪽 눈들(210L 및 210R)을 예시한다. 각각의 눈은 개개의 광학 축(1003A 및 1003B) 및 광학 신경(2300L 및 2300R)을 갖는다. 각각의 광학 신경(2300L 및 2300R)이 이들 개개의 눈들(210L 및 210R)과 접촉하는 포인트의 블라인드 스폿이 존재한다. 이러한 블라인드 스폿들은 뷰어가 광선들(3022L 및 2302R)의 방향에서 콘텐츠를 보지 못하게 한다. 게다가, 각 눈의 주변에는 반대 눈으로는 콘텐츠를 볼 수 없는 구역이 존재한다. 예컨대, 왼쪽 주변 구역(PL)의 콘텐츠는 왼쪽 눈(210L)으로 볼 수 있지만 오른쪽 눈(210R)으로는 볼 수 없다. 다른 한편으로는, 오른쪽 주변 구역(PR)의 콘텐츠는 오른쪽 눈(210R)으로 볼 수 있지만, 왼쪽 눈(210L)으로는 볼 수 없다. 결과적으로, 일부 실시예들에서, 디스플레이 시스템은 각각의 눈(210L 및 210R)의 블라인드 스폿들에 매핑될 렌더링 콘텐츠, 예컨대 광선들(3022L 및 2302R)에 떨어지는 콘텐츠를 생략하도록 구성될 수 있다. 게다가 또는 대안적으로, 일부 실시예들에서, 디스플레이 시스템은 콘텐츠가 오른쪽 주변 구역(PL) 내에 속하면, 콘텐츠를 왼쪽 눈(210L)에 랜더링하는 것을 생략하고; 그리고/또는 디스플레이 시스템은 콘텐츠가 왼쪽 주변 구역(PL) 내에 속하면, 콘텐츠를 오른쪽 눈(210R)에 렌더링하는 것을 생략하도록 구성될 수 있다. 블라인드 스폿들 및/또는 주변 구역들의 위치들은 예컨대 사용자들의 집단에 대한 평균에 기반하여 미리 설정될 수 있고 그리고/또는 가상 오브젝트가 가시적인지 여부를 표시하는 사용자로부터의 입력 및 다양한 위치들에 디스플레이된 콘텐츠를 사용하는 테스트에 의해 특정 사용자에 대해 맞춤화 및 교정될 수 있다는 것이 인지될 것이다.
III. 상이한 해상도들을 갖는 콘텐츠를 제공하기 위한 다수의 이미지 스트림들
[0267] 일부 실시예들에서, 높은 그리고 낮은 공간 해상도 구역들을 갖는 포비티드 이미지는, 각각 상이한 해상도(예컨대, 상이하게 지각되는 픽셀 밀도)를 갖는 2 개 이상의 이미지 스트림들을 공간적으로 오버랩핑함으로써 형성될 수 있다. 예컨대, 이미지 스트림들 중 하나, 예컨대, 저해상도 이미지 스트림은 큰 시야를 갖는 이미지들을 형성할 수 있고, 이미지 스트림들 중 다른 하나, 예컨대, 고해상도 이미지 스트림은 좁은 시야를 갖는 이미지들을 형성할 수 있다. 좁은 시야 이미지 및 높은 시야 이미지는, 사용자가 볼 때 상이한 해상도들 또는 픽셀 밀도들이지만, 유사한 콘텐츠를 포함할 수 있다. 이들 이미지들은 서로 오버레이될 수 있다(예컨대, 동시에 또는 가까운 시간적 근접도로 공간에서 동일한 위치를 점유하여서 이미지가 동시에 존재한다는 것으로 뷰어가 지각한다). 따라서, 뷰어는 그 시야의 한정된 부분에서 고해상도 및 그 시야의 큰 부분에 걸쳐 저해상도를 갖는 어그리게이트 이미지를 수신할 수 있다. 바람직하게는, 본원에서 논의된 바와 같이, 고해상도 부분은 사용자 눈의 중심와 비전 구역에 맵핑되는 반면, 저해상도 부분은 사용자 눈들의 주변 비전 구역에 맵핑된다. 이로써, 이미지의 고해상도 부분과 저해상도 부분 사이의 해상도 차이들은 바람직하게 사용자에게 쉽게 인식되지 않는다.
[0268] 일부 환경들에서, 고해상도 및 저해상도 이미지들을 디스플레이하기 위한 디스플레이 시스템은 동일한 공간 광 변조기를 활용하여 두 이미지들을 형성한다. 따라서, 공간 광 변조기는 고정된 사이즈 및 픽셀들의 밀도를 갖는다. 고정된 사이즈 및 픽셀들의 밀도를 갖는 디스플레이 시스템에서, 각도 FOV의 증가는 예컨대 라그랑주 불변성에 의해 좌우되는 바와 같이 공간 또는 각도 해상도를 희생시킨다. 예컨대, 고정된 수의 픽셀들을 갖는 SLM이 고해상도 및 저해상도 이미지들 둘 모두를 형성하는 데 사용되는 경우, 전체 시야에 걸쳐 그러한 픽셀들을 분산키는 것은 전체 시야의 작은 부분에 해당 픽셀을 제한하는 것보다 낮은 명확한 해상도를 갖는 이미지를 제공할 것이며; 고해상도 이미지의들 픽셀 밀도는 저해상도 이미지들의 픽셀 밀도보다 크다. 결과적으로, FOV와 각도 해상도 사이에는 일반적으로 반비례 관계가 있다. FOV 및 각도 해상도가 이미지 가시성 및 품질에 영향을 주기 때문에, 이 절충은 사용자 경험 및 AR 또는 VR 시스템들에서 궁극적인 달성 가능한 FOV 및 각도 해상도에 제약을 가한다. 본원에서의 논의로부터 자명하듯이, 일부 실시예들에서, "해상도"라는 용어는 "각도 해상도"를 지칭하기 위해 사용될 수 있다.
[0269] 머리-장착 디스플레이 디바이스 또는 웨어러블 디스플레이 디바이스들은 가상 콘텐츠를 사용자의 눈들에 직접 투사함으로써 몰입적인 사용자 경험을 제공하도록 구성될 수 있다. FOV에 걸쳐 균일한 고해상도로 넓은 FOV 이미지를 제공하는 것이 유리할 수 있지만, 인간 시각 시스템의 생리적 제한은 사용자 시야의 주변 구역들에 포지셔닝된 고해상도 이미지를 사용자가 인지하거나 심지어 인식하지 못하게 할 수 있다. 주변 구역들 내에서 고해상도 이미저리를 지각할 수 없는 것은 두 가지 유형의 광 수용체들, 즉 간상체 셀들 및 추상체 셀들을 포함하는, 인간 눈의 망막의 특징들에 의해 유발된다. 추상체들은 예리한(상세한) 버전을 더 담당한다. 간상체들 및 추상체들은 인간 눈에 다르게 분산된다. 추상체 셀들의 가장 높은 집중은 중심와(즉, 망막의 중심) 내에서 발견되는 반면, 간상체 셀들의 가장 높은 집중은 중심와를 바로 둘러싸는 구역(즉, 망막의 주변)에서 발견된다. 간상체 셀들과 추상체 셀들의 이러한 비균일한 분포로 인해, 중심와는 선명한 중앙 비전(중심와 비전이라고도 함)을 담당한다. 중심와로부터의 거리가 증가할수록 시력은 감소한다.
[0270] AR 또는 VR 애플리케이션들의 경우, 헤드셋은 일반적으로 한 번에 한 명의 사용자에 의해 착용된다. 고해상도 콘텐츠의 디스플레이를 사용자에 의해 현재 포커스되고 있는 넓은 시야 내의 영역들로 제한함으로써, 사용자가 넓은 시야의 이미지들의 스트림에 대한 모든 세부 사항들을 한 번에 지각할 수 없는 능력을 이용하도록 헤드셋이 구성될 수 있다. 이러한 식으로, 헤드셋은 이런 식이 아니었다면 전체 시야에 걸쳐 고해상도 콘텐츠를 생성하는 데 필요했을 프로세싱 전력을 필요로 하지 않고 고해상도의 넓은 FOV 이미지들의 스트림의 외관을 사용자에게 제공할 수 있다. 사용자에게 제공된 이미지들의 스트림은 많은 형태를 취할 수 있으며 일반적으로 이미지 스트림으로 지칭될 것이다. 예컨대, 이미지 스트림은 동일한 이미지를 사용자에게 계속해서 디스플레이함으로써 정적 이미지를 보여줄 수 있거나, 상이한 이미지들의 스트림을 디스플레이함으로써 모션을 보여줄 수 있다. 일부 실시예들에서, 헤드셋은 동시에 하나보다 많은 이미지 스트림을 디스플레이하도록 구성될 수 있으며; 다른 이미지 스트림들은 상이한 각도 해상도들을 가질 수 있으며, 사용자 FOV의 다른 구역들에 걸쳐 확장될 수 있다. AR 시스템들은 가상 콘텐츠와 실세계 콘텐츠를 혼합하도록 설계되었으므로, AR 시스템과 연관된 이미지 스트림은 콘텐츠가 할당된 특정 구역에 걸쳐 콘텐츠를 완전히 디스플레이하지 않을 수 있다는 것이 주목되어야 한다.
[0271] 일부 실시예들에 따르면, 제1 이미지 스트림 및 제2 이미지 스트림은 사용자에게 동시에 제공될 수 있거나, 두 이미지 스트림들이 동시에 디스플레이되는 것처럼 보이도록 연속적으로 제공될 수 있다. 제1 이미지 스트림은 사용자에 대해 몰입 경험을 소환하는 사용자의 비전을 포함할 수 있는 넓은 FOV와 저해상도를 가질 수 있다. 일부 실시예들에서, 제2 이미지 스트림에 의해 커버되는 FOV의 순간 부분에 대응하는 제1 이미지 스트림의 일부가 턴오프될 수 있다. 제2 이미지 스트림은 시선 추적 기법들을 사용하여 실시간으로 결정되는 사용자의 현재 고정 포인트에 따라 제1 이미지 스트림의 경계들 내에 동적으로 디스플레이될 수 있는 좁은 FOV 및 고해상도를 가질 수 있다. 다른 말로, 제2 이미지 스트림은 사용자의 시선이 변함에 따라 이리저리 시프팅될 수 있어서, 제2 이미지 스트림은 사용자의 중심와 비전을 지속적으로 커버한다. 일부 실시예들에서, 제2 이미지 스트림이 제1 이미지 스트림에 대해 이리저리 시프팅될 때, 제1 이미지 스트림은 고정된 포지션에서 사용자에게 제시된다. 일부 다른 실시예들에서, 제1 이미지 스트림 및 제2 이미지 스트림 둘 모두는 사용자의 현재 고정 포인트에 따라 시프팅된다.
[0272] 제2 이미지 스트림의 콘텐츠는 제1 이미지 스트림보다 높은 해상도를 갖는 제1 이미지 스트림의 콘텐츠의 서브 세트를 포함할 수 있고, 제1 이미지 스트림에 대해 오버레이되고 적절히 정렬될 수 있다. 더 높은 해상도의 제2 이미지 스트림이 사용자의 중심와 비전 내에서 제1 이미지 스트림의 부분을 오버레이하기 때문에, 더 높은 해상도의 이미지 스트림을 포함하는 영역에서의 MTF(modulation transfer function)가 증가된다. 일부 실시예들에서, 제2 이미지 스트림에 의해 오버레이된 제1 이미지 스트림의 콘텐츠의 서브 세트는 턴오프되거나 더 낮은 세기로 제공될 수 있다. 이러한 식으로, 사용자는 제1 이미지 스트림과 제2 이미지 스트림의 조합이 넓은 FOV 및 고해상도 둘 모두를 갖는 것으로 지각할 수 있다. 이러한 디스플레이 시스템은 몇 가지 장점을 제공할 수 있다. 예컨대, 디스플레이 시스템은 비교적 작은 폼 팩터를 가지며 컴퓨팅 자원 및 컴퓨팅 전력을 절약하면서 우수한 사용자 경험을 제공할 수 있다.
[0273] 특정 실시예들에서, 제1 이미지 스트림 및 제2 이미지 스트림의 경계 구역들에서의 광 세기는 의도된 이미지 밝기 미만의 값으로 테이퍼지고, 제1 이미지 스트림 및 제2 이미지 스트림의 경계 구역들이 중첩된다. 오버랩핑 영역에서, 2 개의 이미지 스트림들에 기인한 광 세기들의 합은 비교적 일정하고 의도된 이미지 밝기와 동일할 수 있다. 제1 이미지 스트림 측으로부터 제2 이미지 스트림 측으로 오버랩핑 구역을 가로지르면, MTF는 제1 이미지 스트림의 MTF와 같거나 근접한 제1 값에서 제2 이미지 스트림의 MTF와 같거나 근접한 제2 값으로 변경된다. 이러한 방식으로, 특정 상황에서 사용자에게 인식될 수 있는 2 개의 이미지 스트림들에 의해 서비스되는 구역들 사이에 선명한 경계를 생성하는 것을 피할 수 있다.
[0274] 일부 실시예들에 따르면, 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔은 특정 멀티플렉싱 방법들을 사용하여 합성 광빔으로 다중화될 수 있다. 예컨대, 시분할 다중화, 편광 분할 다중화, 파장 분할 다중화 등이 다양한 실시예들에 따라 사용될 수 있다. 합성 광빔은 합성 광빔을 2 개의 별개의 광 경로들로 역 다중화하는 역할을 하는 하나 이상의 광학 엘리먼트들로 지향될 수 있다. 예컨대, PBS(polarization beam splitter) 또는 이색 성 빔 스플리터(dichroic beam splitter)와 같은 빔 분할기, 또는 광학 스위칭 엘리먼트들이 사용된 다중화 방법에 따라 합성 광빔을 분리하기 위해 사용될 수 있다. 일단 분리되면, 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔은 이들 개개의 광 경로들을 통해 라우팅되어 궁극적으로 사용자에게 출력으로서 제공될 수 있다.
[0275] 일부 실시예들에 따르면, 제1 이미지 스트림과 연관된 제1 광빔이 제1 광학 경로에서 광학 엘리먼트들에 의해 각을 이루어 확대될 수 있어서, 상기 제1 이미지 스트림은 더 넓은 FOV 및 더 낮은 각도 분해능(Lagrange 불변량에 의해 좌우될 때)으로 제공될 수 있고; 반면에 제2 이미지 스트림과 연관된 제2 광빔은 상기 제1 이미지 스트림과 연관된 제1 광빔에 적용된 배율 크기 미만의 크기만큼 각을 이루어 확대되거나, 역확대되거나 또는 확대되지 않는다. 이런 식으로, 제2 이미지 스트림은 제1 이미지 스트림보다 더 좁은 FOV 및 더 높은 각도 분해능(Lagrange 불변량에 의해 좌우될 때)으로 제공될 수 있다.
[0276] 도 24는 2-차원 각도 공간으로 인간 눈에 대한 예시적인 단안 시야(3002)의 외부 주변을 묘사하는 시야 다이어그램을 도시한다. 도 24에 도시된 바와 같이, 시야 다이어그램의 텔포럴-나잘 및 인페리어-슈페리어 축들은 단안 시야(3002)의 외부 주변이 맵핑되는 2-차원 각도 공간을 정의하는 기능을 한다. 이런 식으로, 도 24의 시야 다이어그램은 인간 눈에 대한 "Goldmann" 시야 맵 또는 플롯과 등가이거나 유사한 것으로 확인될 수 있다. 템포럴-나잘 및 인페리어-슈페리어 축들의 묘사된 어레인지먼트에 의해 표시된 바와 같이, 도 24에 도시된 시야 다이어그램은 인간의 왼쪽 눈에 대한 시야 다이어그램을 표현한다. 시야는 사람마다 약간 다를 수 있지만, 묘사된 시야는 많은 인간들이 그들의 왼쪽 눈으로 볼 수 있는 것에 가깝다. 결국, 오른쪽 눈의 예시적인 단안 시야의 외부 주변을 묘사하는 시야 다이어그램은 템포럴-나잘 축 및 단안 시야(3002)의 외부 주변 인페리어-슈페리어 축에 대해 미러링된 도 24의 시야 다이어그램의 버전의 것과 닮을 수 있다.
[0277] 도 24의 시야 다이어그램은 인간 눈에 대한 예시적인 관심 필드(3004)의 외부 주변을 추가로 묘사하는데, 그 예시적인 관심 필드(3004)는 사람이 응시할 수 있는 각도 공간의 단안 시야(3002) 중 일부를 표현한다. 게다가, 도 24의 시야 다이어그램은 또한 인간 눈의 예시적인 중심와 필드(3006)의 외부 주변을 묘사하는데, 그 예시적인 중심와 필드(3006)는 정해진 시점에 인간 눈의 중심와의 직시에서 각도 공간의 단안 시야(3002) 중 일부를 표현한다. 묘사된 바와 같이, 사람의 중심와 필드(3006)는 관심 필드(3004) 내의 어디든 이동할 수 있다. 각도 공간에서 중심와 필드(3006) 외부의 단안 시야(3002) 중 일부들은 사람의 시야의 주변 구역으로서 본원에서 지칭될 수 있다. 중심와 필드(3006) 외부의 고레벨의 상세사항을 구별하기 위한 인간 눈들의 능력은 매우 제한되기 때문에, 중심와 필드(3006) 외부의 감소된 해상도 이미저리를 디스플레이하는 것은 알아차리기 쉽지 않고, 디스플레이를 위한 콘텐츠를 생성하는 것을 담당하는 프로세싱 컴포넌트들에 대한 전력 소비의 상당한 절감들을 허용할 수 있다.
[0278] 도 25a는 일부 실시예들에 따른, 가상 콘텐츠를 사용자에게 제공하도록 구성된 예시적인 웨어러블 디스플레이 디바이스(4050)를 도시한다. 웨어러블 디스플레이 디바이스(4050)는 프레임(4054)에 의해서 지지되는 메인 디스플레이들(4052)을 포함한다. 프레임(4054)은 템플 암들(4006)의 형상을 취하는 어태치먼트 멤버를 사용하여 사용자의 머리에 부착될 수 있다.
[0279] 이제 도 25b를 참조하면, 가상 콘텐츠를 사용자에게 제공하도록 구성된 AR 시스템의 예시적인 실시예가 이제 설명될 것이다. 일부 실시예들에서, 도 25b의 AR 시스템은 도 25a의 웨어러블 디스플레이 디바이스(4050)가 속하는 시스템을 표현할 수 있다. 도 25b의 AR 시스템은 스택된 광-안내 광학 엘리먼트 어셈블리들(4000)을 사용하고, 일반적으로 이미지 생성 프로세서(4010), 광원(4020), 제어기(4030), SLM(spatial light modulator)(4040), 주입 광학 시스템(4060), 및 다중 평면 초점 시스템으로서 기능하는 스택된 접안렌즈 계층들 또는 LOE들(light guiding optical elements)(예컨대, 평면형 도파관)(4000)의 적어도 하나의 세트를 포함한다. 시스템은 눈-추적 서브시스템(4070)을 또한 포함할 수 있다. 다른 실시예들은 다수의 세트들의 스택된 LOE(4000)들을 가질 수 있지만, 아래의 개시내용은 도 25b의 예시적인 실시예에 초점을 둔다는 것이 인지되어야 한다.
[0280] 이미지 생성 프로세서(4010)는 사용자에게 디스플레이될 가상 콘텐츠를 생성하도록 구성된다. 이미지 생성 프로세서는 가상 콘텐츠와 연관된 이미지 또는 비디오를 사용자에게 3-D로 투사될 수 있는 포맷으로 변환할 수 있다. 예컨대, 3-D 콘텐츠를 생성하는데 있어서, 가상 콘텐츠는, 특정 이미지 중 일부들이 특정 깊이 평면에 디스플레이되는데 반해 다른 일부들은 다른 깊이 평면들에 디스플레이되도록, 포맷될 필요가 있을 수 있다. 일 실시예에서, 이미지 모두는 특정 깊이 평면에 생성될 수 있다. 다른 실시예에서, 이미지 생성 프로세서는, 가상 콘텐츠가 함께 보일 때 사용자의 눈들에 코히어런트하면서 편안하게 나타나도록, 오른쪽 및 왼쪽 눈들(210)에 약간 상이한 이미지들을 제공하도록 프로그래밍될 수 있다.
[0281] 이미지 생성 프로세서(4010)는 메모리(4012), GPU(4014), CPU(4016), 및 이미지 생성 및 프로세싱을 위한 다른 회로를 추가로 포함할 수 있다. 이미지 생성 프로세서(4010)는 도 25b의 AR 시스템의 사용자에게 제공될 원하는 가상 콘텐츠로 프로그래밍될 수 있다. 일부 실시예들에서는 이미지 생성 프로세서(4010)가 웨어러블 AR 시스템에 하우징될 수 있다는 것이 인지되어야 한다. 다른 실시예들에서, 이미지 생성 프로세서(4010) 및 다른 회로는 웨어러블 광학기에 커플링되는 벨트 팩에 하우징될 수 있다. 이미지 생성 프로세서(4010)는 원하는 가상 콘텐츠와 연관된 광을 투사하는 광원(4020), 및 하나 이상의 공간 광 변조기들(아래에서 설명됨)에 동작가능하게 커플링된다.
[0282] 광원(4020)은 컴팩트하고, 고해상도를 갖는다. 광원(4020)은 제어기(4030)(아래에서 설명됨)에 동작가능하게 커플링되는 복수의 공간적으로 분리된 서브-광원들(4022)을 포함한다. 예컨대, 광원(4020)은 다양한 기하학적 구성들로 배치되는 컬러 특정 LED들 및 레이저들을 포함할 수 있다. 대안적으로, 광원(4020)은 유사한 컬러의 LED들 또는 레이저들을 포함할 수 있는데, 각각의 LED 또는 레이저는 디스플레이의 시야의 특정한 구역에 링크된다. 다른 실시예에서, 광원(4020)은 방출 영역들 및 포지션들의 세그먼트화를 위한 마스크 오버레이를 갖는 백열 램프 또는 형광 램프와 같은 광영역 방출기를 포함할 수 있다. 비록 서브-광원들(4022)은 도 2b의 AR 시스템에 직접 연결되지만, 서브-광원들(4022)은 (서브-광원들(4022)로부터 멀리 있는) 광섬유들의 원단부들이 공간적으로 서로 분리되는 한은 광섬유들(미도시)을 통해 시스템에 연결될 수 있다. 시스템은 또한 광원(4020)으로부터의 광을 시준하도록 구성된 콘텐서(미도시)를 포함할 수 있다.
[0283] SLM(4040)은 다양한 예시적인 실시예들에서 반사성(예컨대, DLP DMD, MEMS 미러 시스템, LCOS, 또는 FLLCOS), 투과성(예컨대, LCD) 또는 발광성(예컨대, FSD 또는 OLED)일 수 있다. 공간 광 변조기의 타입(예컨대, 스피드, 사이즈 등)은 3-D 지각의 생성을 개선하도록 선택될 수 있다. 더 높은 리프레시 레이트들로 동작하는 DLP DMD들은 고정 AR 시스템들에 쉽게 통합될 수 있지만, 웨어러블 AR 시스템들은 전형적으로 더 작은 사이즈 및 전력의 DLP들을 사용한다. DLP의 전력은 3-D 깊이 평면들/초점 평면들이 생성되는 방법을 변경한다. 이미지 생성 프로세서(4010)는 SLM(4040)에 동작가능하게 커플링되고, 상기 SLM(4040)은 광원(4020)으로부터의 광을 원하는 가상 콘텐츠로 인코딩한다. 광원(4020)으로부터의 광은, 그 광이 SLM(4040)으로부터 반사하거나, 그것으로부터 방출하거나, 또는 그것을 통과할 때, 이미지 정보로 인코딩될 수 있다.
[0284] 도 25b를 다시 참조하면, AR 시스템은 또한 광원(4020)(즉, 복수의 공간적으로 분리된 서브-광원들(4022) 및 SLM(4040)으로부터의 광을 LOE 어셈블리(4000)로 지향시키도록 구성된 주입 광학 시스템(4060)을 포함한다. 주입 광학 시스템(4060)은 광을 LOE 어셈블리(4000)로 지향시키도록 구성된 하나 이상의 렌즈들을 포함할 수 있다. 주입 광학 시스템(4060)은 광원(4020)의 서브-광원들(4022)로부터의 공간적으로 분리된 별개의 빔들에 대응하는 LOE들(4000)에 인접한 공간적으로 분리된 별개의 동공들을 (주입 광학 시스템(4060)에서 나가는 빔들의 개개의 초점 포인트들에) 형성하도록 구성된다. 주입 광학 시스템(4060)은 동공들이 공간적으로 서로 변위되도록 구성된다. 일부 실시예들에서, 주입 광학 시스템(4060)은 X 및 Y 방향들로만 빔을 공간적으로 변위시키도록 구성된다. 이러한 실시예들에서, 동공들은 하나의 X, Y 평면에 형성된다. 다른 실시예들에서, 주입 광학 시스템(4060)은 X, Y 및 Z 방향들로 빔을 공간적으로 변위하도록 구성된다.
[0285] 광빔들의 공간적인 분리는 별개의 빔들 및 동공들을 형성하고, 이는 별개의 빔 경로들에 인-커플링 격자들의 배치를 허용함으로써, 각각의 인-커플링 격자가 단지 하나의 별개의 빔(또는 빔들의 그룹)에 의해서 대부분이 어드레싱(예컨대, 교차 또는 충돌)된다. 이는, 결국, LOE 어셈블리(4000)의 개개의 LOE들(4000)로 공간적으로 분리된 광빔들의 진입을 가능하게 하면서, 복수의 서브-광원들(4022) 중 다른 서브-광원들(4022)로부터의 다른 광빔들의 진입을 최소화한다(즉, 크로스-토크). 특정 서브-광원(4022)으로부터의 광빔은 LOE(4000) 상의 (도 25b에 도시되지 않고 도 24-26으로부터 확인되는) 인-커플링 격자를 통해 개개의 LOE(4000)에 진입한다. 개개의 LOE들(4000)의 인-커플링 격자들이 복수의 서브-광원들(4022)로부터의 공간적으로 분리된 광빔들과 상호작용하도록 구성됨으로써, 각각의 공간적으로 분리된 광빔만이 하나의 LOE(4000)의 인-커플링 격자와 상호작용한다. 따라서, 각각의 공간적으로 분리된 광빔은 하나의 LOE(4000)에 주로 진입한다. 그에 따라서, SLM(4040)에 의해 서브-광원들(4022) 각각으로부터의 광빔들 상에 인코딩되는 이미지 데이터는 사용자의 눈(210)으로부터의 전달을 위해 단일 LOE(4000)를 따라 효과적으로 전파될 수 있다.
[0286] 그런다음, 각각의 LOE(4000)는 원하는 깊이 평면 또는 FOV 각도 포지션으로부터 발생하는 것으로 나타나는 이미지 또는 서브-이미지를 사용자의 망막에 투사하도록 구성된다. 따라서, 개개의 복수의 LOE들(4000) 및 서브-광원들(4022)은 공간의 다양한 깊이 평면들 또는 포지션들로부터 발생하는 것으로 나타나는 이미지를 선택적으로 투사할 수 있다(제어기(4030)의 제어 하에서 SLM(4040)에 의해 동시에 인코딩됨). 개개의 복수의 LOE들(4000) 및 서브-광원들(4022) 각각을 사용하여 충분히 높은 프레임 레이트(예컨대, 60 Hz의 유효 풀-볼륨 프레임 레이트로 6개의 깊이 평면들에 대해 360 Hz)로 이미지들을 순차적으로 투사함으로써, 도 25b의 시스템은 3-D 이미지로 동시적으로 존재하는 것으로 나타나는 다양한 깊이 평면들에 가상 오브젝트들의 3-D 이미지를 생성할 수 있다.
[0287] 제어기(4030)는 이미지 생성 프로세서(4010), 광원(4020)(서브-광원들(4022)) 및 SLM(4040)과 통신하고 그것들에 동작가능하게 커플링됨으로써, 서브-광원들(4022)로부터의 광빔들을 이미지 생성 프로세서(4010)로부터의 적합한 이미지 정보로 인코딩하도록 SLM(4040)에 명령하여 이미지들의 동시적인 디스플레이를 조정한다.
[0288] AR 시스템은 또한, 사용자의 눈들(4002)을 추적하여 사용자의 초점을 결정하도록 구성된 선택적인 눈-추적 서브시스템(4070)을 포함한다. 일 실시예에서, 아래에서 논의되는 바와 같이, LOE들(4000)의 서브세트를 조명하기 위해서, 서브-광원들(4022)의 서브세트만이 눈-추적 서브시스템으로부터의 입력에 기반하여 활성화될 수 있다. 눈-추적 서브시스템(4070)으로부터의 입력에 기반하여, 특정 LOE(4000)에 대응하는 하나 이상의 서브-광원들(4022)은 사용자의 초점/원근조절에 일치하는 원하는 깊이 평면에 이미지가 생성되도록 활성화될 수 있다. 예컨대, 만약 사용자의 눈들(210)이 서로 평행하면, 도 25b의 AR 시스템이 사용자의 눈들에 시준된 광을 전달하도록 구성된 LOE(4000)에 대응하는 서브-광원들(4022)을 활성화할 수 있어서, 이미지는 광학 무한대로부터 발생하는 것으로 나타난다. 다른 예에서, 만약 사용자의 초점이 1 미터 떨어져 있다고 눈-추적 서브-시스템(4070)이 결정하면, 그 범위 내로 대략 초점을 맞추도록 구성된 LOE(4000)에 대응하는 서브-광원들(4022)이 대신 활성화될 수 있다. 이런 특정 실시예에서는, 단지 서브-광원들(4022)의 단지 하나의 그룹이 임의의 정해진 시간에 활성화되는데 반해, 다른 서브-광원들(4020)은 전력을 보존하기 위해 활성화해제되는 것이 인지되어야 한다.
[0289] 도 25c는 일부 실시예들에 따라, 디지털 또는 가상 이미지를 뷰어에게 제공하기 위해 사용될 수 있는 예시적인 VOA(viewing optics assembly)의 광 경로들을 개략적으로 예시한다. 일부 실시예들에서, VOA는 도 25a에 묘사된 웨어러블 디스플레이 디바이스(4050)와 유사한 시스템에 통합될 수 있다. VOA는 뷰어의 눈에 착용될 수 있는 접안렌즈(200) 및 투사기(4001)를 포함한다. 접안렌즈(4000)는, 예컨대, 도 25b를 참조하여 앞서 설명된 LOE들(4000)에 대응할 수 있다. 일부 실시예들에서, 투사기(4001)는 적색 LED들의 그룹, 녹색 LED들의 그룹, 및 청색 LED들의 그룹을 포함할 수 있다. 예컨대, 실시예에 따라, 투사기(201)는 2개의 적색 LED들, 2개의 녹색 LED들, 및 2개의 청색 LED들을 포함할 수 있다. 일부 예들에서, 도 25b를 참조하여 앞서 설명된 바와 같이, 도 25c에 묘사된 투사기(4001) 및 그것의 컴포넌트들(예컨대, LED 광원, 반사 시준기, LCoS SLM, 및 투사기 릴레이)은 광원(4020), 서브-광원들(4022), SLM(4040), 주입 광학 시스템(4060) 중 하나 이상의 기능성을 표현하거나 제공할 수 있다. 접안렌즈(4000)는 하나 이상의 접안렌즈 계층들을 포함할 수 있고, 이들 각각은 도 25b를 참조하여 앞서 설명된 LOE들(4000) 중 하나를 표현할 수 있다. 접안렌즈(4000)의 각각의 접안렌즈 계층은 개개의 원하는 깊이 평면 또는 FOV 각도 포지션으로부터 발생하는 것으로 나타나는 이미지 또는 서브-이미지를 뷰어의 눈의 망막에 투사하도록 구성될 수 있다.
[0290] 일 실시예에서, 접안렌즈(4000)는 3개의 접안렌즈 계층들을 포함하는데, 하나의 접안렌즈 계층은 삼원색들, 즉, 적색, 녹색 및 청색 각각에 대한 것이다. 예컨대, 이 실시예에서, 접안렌즈(4000)의 각각의 접안렌즈 계층은 광학 무한 깊이 평면(0 디옵터)으로부터 발생하는 것으로 나타나는 시준된 광을 눈에 전달하도록 구성될 수 있다. 다른 실시예에서, 접안렌즈(4000)는 6개의 접안렌즈 계층들을 포함할 수 있는데, 즉, 접안렌즈 계층들의 하나의 세트는 하나의 깊이 평면에 가상 이미지를 형성하도록 구성된 삼원색들 각각에 대한 것이고, 접안렌즈 계층들의 다른 세트는 다른 깊이 평면에 가상 이미지를 형성하도록 구성된 삼원색들 각각에 대한 것이다. 예컨대, 이 실시예에서, 접안렌즈(4000)의 접안렌즈 계층들의 하나의 세트의 각각의 접안렌즈 계층은 광학 무한 깊이 평면(0 디옵터)으로부터 발생하는 것으로 나타나는 시준된 광을 눈에 전달하도록 구성될 수 있는데 반해, 접안렌즈(4000)의 접안렌즈 계층들의 다른 세트의 각각의 접안렌즈 계층은 2 미터의 거리(0.5 디옵터)로부터 발생하는 것으로 나타나는 시준된 광을 눈에 전달하도록 구성될 수 있다. 다른 실시예들에서, 접안렌즈(4000)는 3개 이상의 상이한 깊이 평면들에 대한 삼원색들 각각을 위해 3개 이상의 접안렌즈 계층들을 포함할 수 있다. 예컨대, 이러한 실시예들에서, 접안렌즈 계층들의 또 다른 세트는 1 미터의 거리(1 디옵터)로부터 발생하는 것으로 나타나는 시준된 광을 전달하도록 각각 구성될 수 있다.
[0291] 각각의 접안렌즈 계층은 평면형 도파관을 포함하고, 인커플링 격자(4007), OPE(orthogonal pupil expander) 구역(4008), 및 EPE(exit pupil expander) 구역(4009)을 포함할 수 있다. 인커플링 격자, 직교 동공 확장, 출사 동공 확장에 대한 더 많은 세부사항들은 미국 특허 출원 번호 제 14/555,585호 및 미국 특허 출원 번호 제 14/726,424호에 설명되어 있고, 이로써 그 미국 특허 출원들의 내용들 전체는 마치 빠짐없이 기술된 것처럼 인용에 의해 명확히 그리고 충분히 포함된다. 도 25c를 계속해서 참조하면, 투사기(4001)는 접안렌즈 계층(4000)의 인커플링 격자(4007)로 이미지 광을 투사한다. 인커플링 격자(4007)는 투사기(4001)로부터의 이미지 광을 OPE 구역(4008)을 향한 방향으로 전파하는 도파관에 커플링한다. 도파관은 TIR(total internal reflection)에 의해 수평 방향으로 이미지 광을 전파한다. 접안렌즈 계층(4000)의 OPE 구역(4008)은 회절 엘리먼트를 또한 포함하고, 그 회절 엘리먼트는 도파관에서 전파되는 이미지 광 중 일부에 커플링되어 그 이미지 광 중 일부를 EPE 구역(4009)을 향해 재지향시킨다. 더 구체적으로, 시준된 광은 TIR에 의해서 도파관을 따라 수평으로(도 25c의 도면에 대해) 전파되고, 그렇게 하는데 있어서, OPE 구역(4008)의 회절 엘리먼트와 반복적으로 교차한다. 일부 예들에서, OPE 구역(4008)의 회절 엘리먼트는 비교적 낮은 회절 효율성을 갖는다. 이는, 광의 프랙션(예컨대, 1%)으로 하여금 OPE 구역(4008)의 회절 엘리먼트와의 각각의 교차점에서 EPE 구역(4009)을 향해 수직 아래로 회절되게 하고, 광의 프랙션으로 하여금 TIR을 통해 도파관을 따라 수평으로 그것의 오리지널 궤적 상에 계속 있게 한다. 이런 식으로, OPE 구역(4008)의 회절 엘리먼트와의 각각의 교차점에서, 추가적인 광은 EPE 구역(4009)을 향해 아래로 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사 동공은 OPE 구역(4008)의 회절 엘리먼트에 의해 수평으로 확장된다. OPE 구역(4008)의 커플링 아웃되는 확장된 광은 EPE 구역(4009)에 진입한다.
[0292] 접안렌즈 계층(4000)의 EPE 구역(4009)은 회절 엘리먼트를 또한 포함하고, 그 회절 엘리먼트는 도파관에서 전파되는 이미지 광 중 일부에 커플링되어 그 이미지 광 중 일부를 뷰어의 눈(210)을 향해 재지향시킨다. EPE 구역(4009)에 진입하는 광은 TIR에 의해서 도파관을 따라 수직으로(즉, 도 25c의 도면에 대해) 전파된다. EPE 구역(4009)의 회절 엘리먼트와 전파 광 간의 각각의 교차점에서, 광의 프랙션은, 그 광으로 하여금 TIR을 빠져 나오게 하고 도파관의 면으로부터 나오고 뷰어의 눈(210)을 향해 전파되게 허용하는 도파관의 인접한 면을 향해 회절된다. 이런 형태로, 투사기(4001)에 의해 투사되는 이미지는 뷰어의 눈(210)에 의해 보일 수 있다. 일부 실시예들에서, EPE 구역(4009)의 회절 엘리먼트는 선형 회절 격자와 방사상 대칭적 회절 렌즈의 총체인 위상 프로파일을 갖도록 설계되거나 구성될 수 있다. EPE 구역(4009)의 회절 엘리먼트의 방사상 대칭적 렌즈 양상은 추가적으로 초점 레벨을 회절된 공에 부여하고, 둘 모두는 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여)할 뿐만 아니라 설계된 초점 레벨에 매칭하는 각도로 빔을 조종한다. EPE 구역(4009)의 회절 엘리먼트에 의해 아웃커플링된 각각의 광빔은 뷰어의 앞에 포지셔닝된 개개의 초점 포인트로 기하학적으로 확장할 수 있고, 정해진 초점 평면에 이미지 또는 가상 오브젝트를 생성하기 위해서 개개의 초점 포인트에 반경의 중심을 갖는 볼록한 파면 프로파일이 부여될 수 있다.
[0293] 이러한 뷰잉 광학기 어셈블리 및 다른 유사한 셋업들에 대한 설명들이 미국 특허 출원 번호 제 14/331,218호, 미국 특허 출원 번호 제 15/146,296호, 및 미국 특허 출원 번호 제 14/555,585호에 추가로 제공되고, 이로써 그 미국 특허 출원들 모두는 그 전체 내용들이 인용에 의해 본원에 포함된다. 결국, 일부 실시예들에서, 예시적인 VOA는, 도 25c를 참조하여 앞서 언급되고 인용에 의해 본원에 포함된 특허 출원들 중 임의의 특허 출원에 설명된 하나 이상의 컴포넌트들을 포함하고 그리고/또는 그것들의 형상을 취할 수 있다.
IV. 다수의 광학 경로들을 사용하는 높은 시야 및 고해상도 포비티드 디스플레이
[0294] 도 26a-26d는 사용될 예시적인 렌더 원근감들, 및 2개의 예시적인 눈 배향들 각각에 대해 AR 시스템에서 생성될 광 필드들을 예시한다. 도 26a에서, 뷰어의 눈(210)은 접안렌즈(5000)에 대해 제1 방식으로 배향된다. 일부 실시예들에서, 접안렌즈(5000)는 도 25b 및 25c를 참조하여 앞서 설명된 접안렌즈(4000) 또는 LOE들의 스택과 유사할 수 있다. 더 구체적으로, 이 예에서, 뷰어의 눈(210)은 뷰어가 비교적 직접적인 방향으로 접안렌즈(5000)를 볼 수 있게 할 수 있도록 배향된다. 전압렌즈(5000)가 속하는 AR 시스템(일부 예들에서는, 도 25b를 참조하여 앞서 설명된 AR 시스템과 유사할 수 있음)은 뷰어의 눈(210) 앞의 하나 이상의 거리들에서 뷰어의 FOV 내에 포지셔닝되는 하나 이상의 깊이 평면들 상에 가상 콘텐츠를 제공하도록 하나 이상의 동작들을 수행할 수 있다.
[0295] AR 시스템은 뷰어의 머리의 포지션 및 배향에 기반하여, 뷰어가 렌더 공간의 3-D 가상 콘텐츠들, 이를테면 가상 오브젝트들을 보는 렌더 공간 내의 원근감을 결정할 수 있다. 도 29a를 참조하여 아래에서 추가로 상세히 설명되는 바와 같이, 일부 실시예들에서, 이러한 AR 시스템은 하나 이상의 센서들을 포함하고, 뷰어의 머리의 포지션 및/또는 배향을 결정하기 위해 이들 하나 이상의 센서들로부터의 데이터를 레버리지할 수 있다. AR 시스템은 하나 이상의 눈-추적 컴포넌트들, 이를테면 도 25b를 참조하여 앞서 설명된 눈-추적 서브-시스템(4070)의 하나 이상의 컴포넌트들 외에도 이러한 하나 이상의 센서들을 포함할 수 있다. 이러한 데이터를 통해, AR 시스템은 효과적으로, 실세계 내의 뷰어의 머리의 포지션 및 배향을 3D 가상 환경 내의 특정 위치 및 특정 각도 포지션에 맵핑하고, 3D 가상 환경 내의 특정 위치에 포지셔닝되고 그리고 3D 가상 환경 내의 특정 위치에 대해 3D 가상 환경 내의 특정 각도 포지션으로 배항되는 가상 카메라를 생성하며, 뷰어에 대한 가상 콘텐츠가 가상 카메라에 의해서 캡처될 때 그 가상 콘텐츠를 렌더링할 수 있다. 실세계-가상 세계 맵핑 프로세스들을 논의하는 추가적인 세부사항들이 “SELECTING VIRTUAL OBJECTS IN A THREE DIMENSIONAL SPACE"란 명칭의 미국 특허 출원 번호 제 15/296,869호에서 제공되고, 그 미국 특허 출원은 그 전체가 모든 목적들을 위해 본원에서 인용에 의해 명백히 포함된다.
[0296] 일부 예들에서, AR 시스템은, 뷰어의 눈들 및/또는 안와들이 물리적으로 서로 분리되어서 상이한 위치들에 일관적으로 포지셔닝될 때, 뷰어의 왼쪽 눈 또는 안와에 대한 하나의 이러한 머리-추적 가상 카메라 및 뷰어의 오른쪽 눈 또는 안와에 대한 다른 이러한 머리-추적 가상 카메라를 생성하거나 동적으로 리포지셔닝하고 그리고/또는 재배향할 수 있다. 결국, 뷰어의 왼쪽 눈 또는 안와와 연관된 머리-추적 가상 카메라의 원근감으로부터 렌더링되는 가상 콘텐츠가 도 25a-25c를 참조하여 앞서 설명된 것과 같이 웨어러블 디스플레이 디바이스의 왼쪽 상의 접안렌즈를 통해 뷰어에게 제공될 수 있고, 뷰어의 오른쪽 눈 또는 안와와 연관된 머리-추적 가상 카메라의 원근감으로부터 렌더링되는 가상 콘텐츠가 웨어러블 디스플레이 디바이스의 오른쪽 상의 접안렌즈를 통해 뷰어에게 제공될 수 있다. 비록 머리-추적 가상 카메라가 뷰어의 머리의 현재 포지션 및 배향에 관한 정보에 기반하여 각각의 눈 또는 안와에 대해 생성되고 그리고/또는 동적으로 리포지셔닝될 수 있지만, 이러한 머리-추적 가상 카메라의 포지션 및 배향은 뷰어의 개개의 안와 또는 뷰어의 머리에 대해 뷰어의 각각의 눈의 포지션뿐만 아니라 배향에도 의존하지 않을 수 있다. 렌더링 프로세스들에서 가상 카메라들의 생성, 조정, 및 사용을 논의하는 추가적인 세부사항들이 “METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION"란 명칭의 미국 특허 출원 번호 제 15/274,823호에서 제공되고, 그 미국 특허 출원은 그 전체가 모든 목적들을 위해 본원에서 인용에 의해 명백히 포함된다.
[0297] 도 26a의 AR 시스템은 이러한 머리-추적 가상 카메라를 생성하거나 동적으로 리포지셔닝하고 그리고/또는 재배향하고, 머리-추적 가상 카메라의 원근감(원근감(5010))으로부터 가상 콘텐츠를 렌더링하며, 가상 콘텐츠의 렌더링들을 표현하는 광을 접안렌즈(5000)를 통해 뷰어의 눈(210)의 망막으로 투사할 수 있다. 도 26a에 도시된 바와 같이, 머리-추적 렌더 원근감(5010)은 각도 유닛들의 구역에 대각으로, 수평으로, 그리고/또는 수직으로 걸쳐 있는 FOV를 제공할 수 있다. 아래에서 추가적으로 상세히 설명되는 바와 같이, 일부 실시예들에서, 머리-추적 렌더 원근감(5010)은 비교적 넓은 FOV를 제공할 수 있다. 이러한 실시예들에서, AR 시스템은 또한 머리-추적 가상 카메라와 상이한 그리고 그것에 부가하여 각각의 눈 또는 안와에 대한 다른 가상 카메라를 생성하거나 동적으로 리포지셔닝하고 그리고/또는 재배향할 수 있다. 도 26a의 예에서, AR 시스템은 렌더 공간의 다른 가상 카메라의 원근감으로부터의 가상 콘텐츠와 함께 머리-추적 가상 카메라(5010)의 원근감으로부터의 가상 콘텐츠를 렌더링하고 제공할 수 있다.
[0298] 예컨대, 이러한 실시예들에서, 도 26a의 AR 시스템은 뷰어의 눈(210)의 현재 시선에 기반하여, 이러한 중심와-추적 가상 카메라를 생성하거나 동적으로 리포지셔닝하고 그리고/또는 재배향할 수 있다. 도 29a를 참조하여 아래에서 추가로 상세히 설명되는 바와 같이, 일부 실시예들에서, 이러한 AR 시스템은 하나 이상의 눈-추적 컴포넌트들, 이를테면 도 25b를 참조하여 앞서 설명된 눈-추적 서브-시스템(4070)의 하나 이상의 컴포넌트들을 포함함으로써, 뷰어의 현재 시선, 뷰어의 머리에 대해 뷰어의 눈(210)의 현재 포지션 및/또는 배향 등을 결정할 수 있다. 이러한 데이터를 통해, 도 26a의 AR 시스템은 이러한 중심와-추적 가상 카메라를 생성하거나 동적으로 리포지셔닝하고 그리고/또는 재배향하고, 중심와-추적 가상 카메라의 원근감(원근감(5020A)으로부터의 가상 콘텐츠를 렌더링하며, 원근감(5020A)으로부터 렌더링되는 가상 콘텐츠를 표현하는 광을 접안렌즈(5000)를 통해 뷰어의 눈(210)의 중심와로 투사할 수 있다.
[0299] 도 26a에 도시된 바와 같이, 중심와-추적 렌더링 원근감(5020A)은 머리-추적 렌더 원근감(5010)의 FOV보다 더 좁은 FOV를 제공할 수 있다. 이런 식으로, 중심와-추적 렌더 원근감(5020A)의 FOV는 머리-추적 렌더 원근감(5010)의 FOV의 원뿔 서브공간을 점유하는 것으로 확인될 수 있다. 즉, 중심와-추적 렌더 원근감(5020A)의 FOV는 머리-추적 렌더 원근감(5010)의 FOV의 서브필드일 수 있다. 예컨대, 도 26a에 도시된 바와 같이, 중심와-추적 렌더 원근감(320A)은, 머리-추적 렌더 원근감(5010)의 FOV와 중심와-추적 렌더 원근감(5020A) 간의 관계가 에 의해 제공되도록, 각도 유닛들의 구역에 대각으로, 수평으로, 그리고/또는 수직으로 걸쳐 있는 FOV를 제공할 수 있다. 일부 예들에서, 머리-추적 렌더 원근감(5010)의 FOV는 적어도 뷰어의 관심 필드만큼 넓을 수 있고, 그 관심 필드는 이 예에서 뷰어의 머리가 정해진 포지션 및 배향으로 유지될 때 뷰어의 눈(210)이 응시할 수 있는 총 원뿔 공간일 것이다. 이로써, 이 예들에서, 머리-추적 가상 카메라 및 중심와-추적 가상 카메라가 렌더 공간 내의 실질적으로 동일한 위치에 포지셔닝될 수 있거나 또는 서로로부터 멀어지게 고정된 거리인 렌더 공간 내의 위치들에 포지셔닝될 수 있음으로써, 가상 카메라들 둘 모두는 뷰어의 머리의 포지션 및/또는 배향이 변할 때 렌더 공간 내에서 선형적으로 및/또는 각을 이루어 일제히 변환될 수 있다. 예컨대, 머리-추적 가상 카메라는 뷰어의 눈(210)의 회전 중심에 대응하는 렌더 공간의 위치에 포지셔닝될 수 있는데 반해, 중심와-추적 가상 카메라는 회전 중심과 각막 사이의 뷰어의 눈(210)의 구역에 대응하는 렌더 공간의 위치에 포지셔닝될 수 있다. 실제로, 두 가상 카메라들 간의 Euclidean 거리는, 뷰어의 눈(210) 또는 다른 강체의 2개의 특정한 구역들 간의 Euclidean 거리가 항상 실질적으로 일정하게 유지될 수 있는 것과 매우 동일한 방식으로 렌더 공간에서 변환될 때 실질적으로 일정하게 유지될 수 있다.
[0300] 비록 그러한 한 쌍의 가상 카메라들의 각각의 가상 카메라 간의 공간 관계가 이 예들에서 AR 시스템의 사용 전반에 걸쳐 렌더 공간 내에 실질적으로 고정되어 유지될 수 있지만, 중심와-추적 가상 카메라의 배향은 뷰어가 자신의 눈(210)을 회전시킬 때 머리-추적 가상 카메라에 대해 변할 수 있다. 이런 식으로, 중심와-추적 가상 카메라의 FOV에 의해서 점유되는 머리-추적 가상 카메라의 FOV의 원뿔 서브공간은 뷰어가 자신의 눈(210)을 회전시킬 때 동적으로 변할 수 있다.
[0301] 또한, 중심와-추적 렌더 원근감(5020A) 내에 있는 가상 오브젝트들 및 다른 콘텐츠는 비교적 높은 해상도로 AR 시스템에 의해서 렌더링 및 제공될 수 있다. 더 구체적으로, 중심와-추적 가상 카메라의 FOV 내의 가상 콘텐츠가 렌더링 및 제공되는 해상도는 머리-추적 가상 카메라의 FOV 내의 가상 콘텐츠가 렌더링 및 제공되는 해상도보다 더 높을 수 있다. 이런 식으로, 접안렌즈(5000)에 의해서 아웃커플링되고 뷰어의 눈(210)의 망막에 투사되는 정해진 광 필드의 최고-해상도 서브필드는 뷰어의 눈(210)의 중심와에 도달하는 것일 수 있다.
[0302] 도 3b는 뷰어의 눈(210)이 도 26a에 묘사되고 이를 참조하여 앞서 설명된 제1 방식으로 배향되는 동안에 접안렌즈(5000)에 의해 아웃커플링되고 뷰어의 눈(210)의 망막에 투사되는 예시적인 광 필드(5030A)를 예시한다. 광 필드(5030A)는 앞서 언급된 쌍의 가상 카메라들에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠를 나타내는 다양한 각도 광 컴포넌트들을 포함할 수 있다. 도 26A를 참조하여 앞으로 아래에서 추가로 상세히 설명되는 바와 같이, 머리-추적 가상 카메라에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠를 나타내는 광 및 중심와-추적 가상 카메라에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠를 나타내는 광이 다양한 상이한 다중화 방식들 중 임의의 다중화 방식에 따라 AR 시스템에 의해서 다중화될 수 있다. 이러한 다중화 방식들의 이용은, 적어도 일부 예시들에서, AR 시스템이 더 큰 효율성으로 동작하고 그리고/또는 물리적 공간을 덜 점유하도록 허용할 수 있다.
[0303] 도 26b를 계속 참조하면, 머리-추적 가상 카메라에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠(예컨대, 머리-추적 렌더 원근감(5010) 내에 있는 가상 오브젝트들 및 다른 콘텐츠)를 나타내는 광 필드(5030A)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다. 유사하게, 중심와-추적 가상 카메라에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠(예컨대, 중심와-추적 렌더 원근감(5020A) 내에 있는 가상 오브젝트들 및 다른 콘텐츠)를 나타내는 광 필드(5030A)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다. 중심와-추적 렌더 원근감(5020A)과 연관된 이러한 각도 광 컴포넌트들이 광 필드(5030A) 내에서 발생하는 및 각도 유닛들 간의 인터벌들은 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들이 광 필드(5030A) 내에서 발생하는 및 각도 유닛들 간의 인터벌들보다 규칙적으로 더 높을 수 있다. 이런 식으로, 중심와-추적 렌더 원근감(5020A)과 연관된 가상 콘텐츠가 뷰어에게 렌더링 및 제공되는 해상도는 머리-추적 렌더 원근감(5010)과 연관된 가상 콘텐츠가 뷰어에게 랜더링 및 제공되는 해상도보다 더 높을 수 있다.
[0304] 일부 실시예들에서, 광 필드(5030A) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 추가로 포함할 수 있다. 이러한 실시예들에서, 머리-추적 렌더 원근감(5010)과 연관된 이러한 각도 광 컴포넌트들이 광 필드(5030A) 내에서 발생하는 및 각도 유닛들 간의 인터벌들은 중심와-추적 렌더 원근감(5020A)과 연관된 각도 광 컴포넌트들이 광 필드(5030A) 내에서 발생하는 및 각도 유닛들 간의 인터벌들보다 규칙적으로 더 낮을 수 있다. 다른 실시예들에서, 광 필드(5030A) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다. 이로써, 이런 다른 실시예들에서, 광 필드(5030A) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 및 각도 유닛들 사이의 각도들 또는 및 간의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들일 수 있다.
[0305] 도 26c에서, 뷰어의 눈(210)은, 그 뷰어의 눈(210)이 도 26a 및 26b에서 접안렌즈(5000)에 대해 배향되는 제1 방식과 상이하게, 접안렌즈(5000)에 대해 제 2 방식으로 배향된다. 예를 목적으로, 도 26c-26d에서 뷰어의 머리의 포지션 및 배향은 도 26a-26b를 참조하여 앞서 설명된 뷰어의 머리의 포지션 및 배향과 동일한 것으로 처리될 수 있다. 이로써, 도 26a-26b 및 도 26c-26d는 1 및 제2 시간-순차적 스테이지들에서 앞서 언급된 뷰어 및 AR 시스템을 각각 표현할 수 있다. 더 구체적으로, 이 예에서, 뷰어의 눈(210)은 도 26a-26b에서 묘사된 바와 같이 비교적 직접적인 배향으로부터 중심에서 벗어나 회전하였다.
[0306] 제1 스테이지로부터 제2 스테이지로의 전환 시에, 도 26c의 AR 시스템은, 예컨대, 뷰어의 머리 포즈(예컨대, 포지션 및 배향)이 변하지 않았기 때문에, 도 26a-26b를 참조하여 앞서 설명된 바와 동일한 포지션 및 배향으로 머리-추적 가상 카메라를 유지하도록 기능할 수 있다. 이로써, 도 26c-26d에서 묘사된 제2 스테이지에서, AR 시스템은 머리-추적 가상 카메라의 원근감(즉, 머리-추적 렌더 원근감(5010))으로부터의 가상 콘텐츠를 렌더링하고, 가상 콘텐츠의 렌더링들을 표현하는 광을 접안렌즈(5000)를 통해 뷰어의 눈(210)의 망막으로 투사할 수 있다. 비록 머리-추적 렌더 원근감(5010)이 제1 스테이지로부터 제2 스테이지로의 전환 시에 도 26a-26d의 제1 및 제2 시간-순차적 스테이지들 전반에 걸쳐 정적으로 또는 비교적 정적으로 유지될 수 있는 동안에, AR 시스템은 제1 스테이지로부터 제2 스테이지로의 뷰어의 눈(210)의 시선의 변화에 기반하여 렌더 공간에서 중심와-추적 가상 카메라의 배향을 조정하도록 기능할 수 있다. 즉, AR 시스템이 중심와-추적 렌더 원근감(5020A)을 제공하기 위해 제1 스테이지에서 중심와-추적 가상 카메라를 대체하거나 재배향할 수 있음으로써, 제2 스테이지에서 이용되는 중심와-추적 가상 카메라는 중심와-추적 렌더 원근감(5020A)과 상이한 중심와-추적 렌더 원근감(5020C)을 제공한다. 결국, 제2 스테이지에서, AR 시스템은 또한 중심와-추적 가상 카메라 원근감(5020C)의 원근감으로부터의 가상 콘텐츠를 렌더링하고, 가상 콘텐츠의 렌더링들을 표현하는 광을 접안렌즈(5000)를 통해 뷰어의 눈(201)의 중심와로 투사한다.
[0307] 도 26c-26d의 예에서, 중심와-추적 렌더 원근감(5020C)은 중심와-추적 렌더 원근감(5020A)과는 상이한 머리-추적 렌더 원근감(5010)의 원뿔 서브공간을 점유할 수 있다. 예컨대, 도 26c에 도시된 바와 같이, 중심와-추적 렌더 원근감(5020C)은, 중심와-추적 렌더 원근감(5020A)의 FOV로부터 각도 유닛들으로 변위되고 각도 유닛들로의 구역에 대각으로, 수평으로, 그리고/또는 수직으로 걸쳐 있는 FOV를 제공할 수 있다. 즉, 중심와-추적 렌더 원근감(5020C)은 각도 유닛들의 구역에 대각으로, 수평으로, 그리고/또는 수직으로 걸쳐 있는 FOV를 제공할 수 있다.
[0308] 도 26d는 뷰어의 눈(201)이 도 26c에 묘사되고 이를 참조하여 앞서 설명된 제2 방식으로 배향되는 동안에 접안렌즈(5000)에 의해 아웃커플링되고 뷰어의 눈(201)의 망막에 투사되는 예시적인 광 필드(5030C)를 예시한다. 광 필드(5030C)는 헤더-추적 렌더 원근감(5010) 및 중심와-추적 렌더 원근감(5020C)으로부터 렌더 공간에서 캡처될 때의 가상 콘텐츠를 나타내는 다양한 각도 광 컴포넌트들을 포함할 수 있다. 머리-추적 렌더 원근감(5010)으로부터 렌더 공간에서 캡처될 때의 가상 콘텐츠를 나타내는 광 필드(5030C)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다. 그러나, 도 26a-26b를 참조하여 앞서 설명된 바와 같이 제1 스테이지로부터 벗어나는데 있어서, 중심와-추적 가상 카메라에 의해 렌더 공간에서 캡처될 때의 가상 콘텐츠(예컨대, 중심와-추적 렌더 원근감(5020C) 내에 있는 가상 오브젝트들 및 다른 콘텐츠)를 나타내는 광 필드(5030C)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 각도 유닛들 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다.
[0309] 중심와-추적 렌더 원근감(320C)과 연관된 이러한 각도 광 컴포넌트들이 광 필드(5030C) 내에서 발생하는 각도 유닛들과 각도 유닛들 간의 인터벌들은 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들이 광 필드(5030C) 내에서 발생하는 및 각도 유닛들 간의 인터벌들보다 더 높을 수 있다. 이런 식으로, 중심와-추적 렌더 원근감(5020C)과 연관된 가상 콘텐츠가 뷰어에게 렌더링 및 제공되는 해상도는 머리-추적 렌더 원근감(5010)과 연관된 가상 콘텐츠가 뷰어에게 랜더링 및 제공되는 해상도보다 더 높을 수 있고, 이는 특히 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들에 의해 표현되는 가상 콘텐츠를 포함한다.
[0310] 일부 실시예들에서, 광 필드(5030C) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 각도 유닛들 및 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 추가로 포함할 수 있다. 이러한 실시예들에서, 머리-추적 렌더 원근감(310)과 연관된 이러한 각도 광 컴포넌트들이 광 필드(5030C) 내에서 발생하는 각도 유닛들 및 각도 유닛들 간의 인터벌들은 중심와-추적 렌더 원근감(5020C)과 연관된 각도 광 컴포넌트들이 광 필드(5030C) 내에서 발생하는 각도 유닛들 및 각도 유닛들 간의 인터벌들보다 규칙적으로 더 낮을 수 있다. 다른 실시예들에서, 광 필드(5030C) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 각도 유닛들 및 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들을 포함할 수 있다. 이로써, 이런 다른 실시예들에서, 광 필드(5030C) 내에서 발생하는 머리-추적 렌더 원근감(5010)과 연관된 각도 광 컴포넌트들은 및 각도 유닛들 간의 각도들 또는 및 각도 유닛들 간의 각도들로 뷰어의 눈(210)의 망막에 투사될 각도 광 컴포넌트들일 수 있다.
[0311] 도 26e-26f는 일부 실시예들에 따라 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다. 도 26e-26f의 그리드 정사각형들은, 도 24를 참조하여 앞서 설명된 많은 유사한 필드들(3002, 3004 및 3006)이 2-차원 각도 공간에서 정의되는 이미지 포인트들을 개략적으로 표현한다는 것이 주목되어야 한다. 넓은 FOV를 갖는 저-해상도 제1 이미지 스트림(5010E)은 정적인 위치에 디스플레이될 수 있다. 넓은 FOV를 갖는 저-해상도 제1 이미지 스트림(5010E)은 렌더 공간에서 정적 포지션 및 배향을 갖는 제1 가상 카메라에 의해 캡처될 때의 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 예컨대, 저-해상도 제1 이미지 스트림(5010E)은 도 26a-26d를 참조하여 앞서 설명된 머리-추적 가상 카메라와 같은 머리-추적 가상 카메라에 의해 캡처될 때의 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 제1 이미지 스트림(5010E)은 사용자에게 몰입 경험을 재현하기 위해서 사용자의 시력을 포함할 수 있다.
[0312] 비교적 좁은 FOV를 갖는 고-해상도 제2 이미지 스트림(5020E)은 제1 이미지 스트림(5010E)의 경계들 내에 디스플레이될 수 있다. 일부 예들에서, 제2 이미지 스트림(5020E)은 사용자의 현재 응시 포인트와 일치하는 각도 포지션들에 대해 시선 추적 기법들을 사용하여 획득되는 데이터에 기반하여 실시간으로 동적으로 조정될 수 있는 렌더 공간 내에서의 배향을 갖는 제2의 상이한 가상 카메라에 의해서 갭처될 때의 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 이 예들에서, 고-해상도 제2 이미지 스트림(5020E)은 도 26a-26d를 참조하여 앞서 설명된 중심와-추적 가상 카메라와 같은 중심와-추적 가상 카메라에 의해서 캡처될 때의 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 다른 말로, 제2 이미지 스트림(5020E)에 의해서 표현되는 가상 콘텐츠의 하나 이상의 이미지들이 캡처되는 렌더 공간에서의 원근감이 사용자의 시선이 변함에 따라 재배향될 수 있음으로써, 제2 이미지 스트림(5020E)과 연관된 원근감이 사용자의 중심와 시력과 지속적으로 정렬된다.
[0313] 예컨대, 제2 이미지 스트림(5020E)은 도 26e에 예시된 바와 같이, 사용자의 눈 시선이 제1 포지션에 고정될 때 렌더 공간의 제1 구역 내에 위치된 가상 콘텐츠를 포함한다. 도 26f에 예시된 바와 같이, 사용자의 눈 시선이 제1 포지션과 상이한 제2 포지션으로 이동함에 따라, 제2 이미지 스트림(5020E)과 연관된 관점은, 제2 이미지 스트림(5020E)이 렌더 공간의 제2 구역 내에 위치된 가상 콘텐츠를 포함할 수 있도록 조정될 수 있다. 일부 실시예들에서, 제1 이미지 스트림(5010E)은 넓은 FOV를 갖지만, 개략적인 그리드에 의해 표시된 바와 같이 낮은 각도 해상도를 갖는다. 제2 이미지 스트림(5020E)은 좁은 FOV를 갖지만, 정밀한 그리드에 의해 표시된 바와 같이 높은 각도 해상도를 갖는다.
[0314] 도 26g는 일부 다른 실시예들에 따른, 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다. 도 26e-26f와 유사하게, 도 26g의 그리드 정방형 그리드들은 2-차원 각도 공간에서 정의되는 이미지 포인트들을 개략적으로 표현한다. 도 26e-26f에 예시된 구성과 유사하게, 넓은 FOV를 갖는 저해상도 제1 이미지 스트림(5010G)은 머리-추적된 렌더 관점으로부터 보이는 바와 같은 가상 콘텐츠를 포함하는 반면, 좁은 FOV를 갖는 고해상도 제2 이미지 스트림(5020G)은, 사용자의 현재 응시 포인트와 일치시키기 위해 동적으로 재배향될 수 있는 중심와-추적된 렌더 관점으로부터 보이는 바와 같은 가상 콘텐츠를 포함한다. 여기서, 제1 이미지 스트림(5010G)과 연관된 FOV의 외주변은 둥근 코너들을 갖는 직사각형 경계를 형성할 수 있고, 제2 이미지 스트림(5020G)과 연관된 FOV의 외주변은 원형 경계를 형성할 수 있다.
[0315] 도 26h는 일부 또 다른 실시예들에 따른, 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다. 도 26e-26g와 유사하게, 도 26h의 그리드 정방형 그리드들은 2-차원 각도 공간에서 정의되는 이미지 포인트들을 개략적으로 표현한다. 여기서, 제1 이미지 스트림(5010H)과 연관된 FOV의 외주변 및 제2 이미지 스트림(5020H)과 연관된 FOV의 외주변 둘 모두는 원형 경계들을 형성할 수 있다. 일부 다른 실시예들에서, 제1 이미지 스트림(5010H)과 연관된 FOV의 외주변 및 제2 이미지 스트림(5020H)과 연관된 FOV의 외주변 중 어느 하나 또는 둘 모두는 타원형 경계 또는 다른 형상들을 형성할 수 있다. 일부 실시예들에서, 도 26h의 AR 시스템의 이미지 소스는 원하는 경계 형상들을 갖는 제1 이미지 스트림(5010H) 및 제2 이미지 스트림(5020H)에 대한 광빔들을 제공하기 위해, 미리결정된 패턴으로 스캔될 수 있는 스캐닝 섬유를 포함할 수 있다.
[0316] 도 27은, 도 25a에 도시된 바와 같이 웨어러블 디스플레이 디바이스(4050)에서 디스플레이들(4052) 중 하나 위에 오버레이된, 도 24에 도시된 바와 같은 시야(3002) 및 관심 필드(3004)를 예시한다. 일부 실시예들에 따르면, 도 26e-26f에 예시된 넓은 FOV 및 저해상도 제1 이미지 스트림(5010E)은 디스플레이(4052)의 전체 영역에 걸쳐 디스플레이될 수 있는 반면(비교적 저해상도의 제1 이미지 스트림(5010E)이 개략적인 그리드로 예시됨), 좁은 FOV 및 고해상도 제2 이미지 스트림(5020E)은 사용자의 현재 포비티드 구역(3006)에 디스플레이될 수 있다(비교적 고해상도의 제2 이미지 스트림(5020E)이 정밀한 그리드로 예시됨). 도 27에서, 제1 이미지 스트림(5010E) 및 제2 이미지 스트림(5020E)이 디스플레이들(4052)의 "평면"에 디스플레이되는 것으로 예시되지만, 시스루 증강 현실(AR) 디스플레이 시스템에서, 제1 이미지 스트림(5010E) 및 제2 이미지 스트림(5020E)은 또한 특정 각도 시야들 내의 광 필드들로서 사용자에게 제공될 수 있다. 그러한 AR 디스플레이 시스템은 사용자의 앞에 일부 거리(예컨대, 2미터)에서 플로팅(floating)하는 것으로 나타나는 디스플레이 평면들을 생성할 수 있다. 디스플레이 평면은 안경보다 훨씬 더 큰 것으로 나타날 수 있다. 이러한 플로팅 거리의 디스플레이는 실세계 상에 정보를 오버레이하기 위해 사용된다.
[0317] 도 28a-28b는 일부 실시예들에 따른, 사용자에게 제공될 수 있는 예시적인 가상 콘텐츠를 사용하여 도 26a-26d에 설명된 원리들 중 일부를 예시한다. 이로써, 도 28a-28b는 제1 및 제2 시간-순차적 스테이지들에서 뷰어 및 AR 시스템을 각각 표현할 수 있다. 또한, 도 28a-28b에 도시된 컴포넌트들 중 일부 또는 전부는 도 26a-26d를 참조하여 앞서 설명된 바와 같은 컴포넌트들과 동일하거나 또는 적어도 유사할 수 있다.
[0318] 도 28a-28b의 AR 시스템은, 도 26a-26d를 참조하여 위에서 설명된 머리-추적된 가상 카메라와 유사하게 머리-추적된 가상 카메라를 생성하거나 또는 동적으로 리포지셔닝 및/또는 재배향시키고, 머리-추적된 가상 카메라의 관점으로부터 가상 콘텐츠를 렌더링하며, 접안렌즈(6000)를 통해 그리고 뷰어의 눈(210)의 망막 상으로 가상 콘텐츠의 렌더링들을 표현하는 광을 투사할 수 있다. 도 28a-28b의 AR 시스템은 또한, 도 26a-26d를 참조하여 위에서 설명된 중심와-추적된 가상 카메라와 유사하게 중심와-추적된 가상 카메라를 생성하거나 또는 동적으로 리포지셔닝 및/또는 재배향시키고, 중심와-추적된 가상 카메라의 관점으로부터 가상 콘텐츠를 렌더링하며, 접안렌즈(400)를 통해 그리고 뷰어의 눈(210)의 중심와 상으로 가상 콘텐츠의 렌더링들을 표현하는 광을 투사할 수 있다. 도 28a-28b에 도시된 바와 같이, 그러한 가상 콘텐츠는 3-D 가상 오브젝트들(6011, 6012, 및 6013)을 포함할 수 있다. 일부 예들에서, 도 28a-28b의 AR 시스템은 머리-추적된 렌더 관점에 관해 바로 위에서 설명된 동작들 중 하나 이상 및 중심와-추적된 렌더 관점에 관해 바로 위에서 설명된 동작들 중 하나 이상을 동시적으로 수행할 수 있다. 다른 예들에서, 도 28a-28b의 AR 시스템은 신속하게 연속적으로 그러한 동작들을 수행할 수 있다.
[0319] 이 예에서, 도 28a-28b에서 AR 시스템에 의해 이용되는 머리-추적된 렌더 관점의 FOV는 가상 오브젝트들(6011, 6012, 및 6013) 각각을 포함하도록 각도 공간에서 대각으로, 수평으로, 그리고/또는 수직으로 충분히 넓을 수 있다. 예의 목적으로, 뷰어의 머리의 포지션 및 배향은 도 28a 및 28b에 묘사된 바와 같이 제1 및 제2 스테이지들 전반에 걸쳐 정적인 것으로 각각 처리될 수 있어서, 머리-추적된 렌더 관점의 포지션 및 배향은 2개의 스테이지들 전반에 걸쳐 동일하게 유지된다. AR 시스템에 의해 이용되는 머리-추적된 렌더 관점의 FOV가 가상 오브젝트들(6011-6013)을 포함하기에 충분히 크기 위해, 그 FOV는 대각으로, 수평으로, 그리고/또는 수직으로 적어도 각도 유닛들의 구역에 걸쳐 있어야 한다. 더 구체적으로, 도 28a-28b의 예에서, 가상 오브젝트들(6011, 6012, 및 6013)이 , , 및 각도 유닛들의 구역들에 각각 걸쳐 있을 수 있다는 것이 관측될 수 있다.
[0320] 도 28a에서, 뷰어의 눈(210)은 접안렌즈(6000)에 대하여 제1 방식으로 배향되어, 뷰어는 비교적 직선 방향으로 접안렌즈(6000)를 볼 수 있다. 예컨대, 도 28a의 뷰어의 눈(210)의 배향은 도 26a-26b를 참조하여 앞서 설명된 바와 같이 뷰어의 눈(210)의 배향과 동일하거나 또는 유사할 수 있으며, 본원에서 설명된 감지 컴포넌트들 및/또는 기법들 중 하나 이상을 사용하여 AR 시스템에 의해 결정될 수 있다. 이로써, 도 28a에 묘사된 스테이지에서, AR 시스템은 머리-추적된 및 중심와-추적된 렌더 관점들(5010 및 5020A)의 상대적인 포지션들 및 배향들과 각각 유사한 상대적인 포지션들 및 배향들에서 머리-추적된 및 중심와-추적된 렌더 관점들을 이용할 수 있다. 도 28a의 특정 예에서, AR 시스템에 의해 이용되는 중심와-추적된 렌더 관점의 FOV는, 예컨대 가상 오브젝트(6012)를 포함할 수 있지만, 가상 오브젝트들(6011 및 6013) 중 어느 하나를 포함하지 않을 수 있다. 결과적으로, 도 28a에서, AR 시스템은, 가상 오브젝트(6012)가 고화질로 중심와-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6012)를 렌더링할 수 있고, 가상 오브젝트들(6011 및 6013)이 더 낮은 화질로 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트들(6011 및 6013)을 렌더링할 수 있다. 게다가, AR 시스템은 접안렌즈(6000)를 통한 그리고 뷰어의 눈(210)의 망막 상으로의 가상 오브젝트들(6011, 6012, 및 6013)의 그러한 렌더링들을 표현하는 광을 투사할 수 있다. 일부 실시예들에서, AR 시스템은 또한, 가상 오브젝트(6012)가 더 낮은 화질로 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6012)를 렌더링할 수 있다.
[0321] 도 28a는 또한, 접안렌즈(6000)에 의해 아웃커플링되고 뷰어의 눈 (210)의 망막 상으로 투사되는 예시적인 광 필드(6030A)를 예시한다. 광 필드(6030A)는 가상 오브젝트들(6011, 6012, 및 6013)의 앞서 언급된 렌더링들 중 하나 이상을 나타내는 다양한 각도 광 컴포넌트들을 포함할 수 있다. 예컨대, 가상 오브젝트(6011)가 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6011)를 나타내는 광 필드(6030A)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막 상으로 투사될 컴포넌트들을 포함할 수 있고, 가상 오브젝트(6013)가 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6013)를 나타내는 광 필드(6030A)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 의 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막 상으로 투사될 컴포넌트들을 포함할 수 있다. 유사하게, 가상 오브젝트(6012)가 중심와-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6012)를 나타내는 광 필드(6030A)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 의 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 중심와 상으로 투사될 컴포넌트들을 포함할 수 있다. 이로써, 가상 오브젝트(6012)를 나타내는 광 필드(6030A)의 컴포넌트들(즉, 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 투사될 컴포넌트들)은 가상 오브젝트(6011 또는 6013)를 나타내는 광 필드(6030A)의 컴포넌트들(즉, 뷰어의 눈(210)에 대해 내지 또는 내지 각도 유닛들의 범위의 각도들로 투사될 컴포넌트들)보다 각도 공간에서 더 조밀하게 분배될 수 있다. 이런 식으로, 가상 오브젝트(6012)가 렌더링되고 뷰어에게 제공될 수 있는 해상도는 가상 오브젝트(6011 또는 6013)가 렌더링되고 뷰어에게 제공될 수 있는 해상도보다 높을 수 있다.
[0322] 도 28b에서, 뷰어의 눈(210)은, 뷰어의 눈(210)이 도 28a의 접안렌즈(6000)에 대하여 배향되는 제1 방식과 상이한, 접안렌즈(6000)에 대하여 제2 방식으로 배향된다. 예컨대, 도 28b의 뷰어의 눈(210)의 배향은 도 26c-26d를 참조하여 앞서 설명된 바와 같이 뷰어의 눈(210)의 배향과 동일하거나 또는 유사할 수 있으며, 본원에서 설명된 감지 컴포넌트들 및/또는 기법들 중 하나 이상을 사용하여 AR 시스템에 의해 결정될 수 있다. 이로써, 도 28b에 묘사된 스테이지에서, AR 시스템은 머리-추적된 및 중심와-추적된 렌더 관점들(5010 및 5020C)의 상대적인 포지션들 및 배향들과 각각 유사한 상대적인 포지션들 및 배향들에서 머리-추적된 및 중심와-추적된 렌더 관점들을 이용할 수 있다. 도 28b의 특정 예에서, AR 시스템에 의해 이용되는 중심와-추적된 렌더 관점의 FOV는, 예컨대 가상 오브젝트(6013)를 포함할 수 있지만, 가상 오브젝트들(6011 및 6012) 중 어느 하나를 포함하지 않을 수 있다. 결과적으로, 도 28b에서, AR 시스템은, 가상 오브젝트(6013)가 고화질로 중심와-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6013)를 렌더링할 수 있고, 가상 오브젝트들(6011 및 6012)이 더 낮은 화질로 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트들(6011 및 6012)을 렌더링할 수 있다. 게다가, AR 시스템은 접안렌즈(6000)를 통한 그리고 뷰어의 눈(210)의 망막 상으로의 가상 오브젝트들(6011, 6012, 및 6013)의 그러한 렌더링들을 표현하는 광을 투사할 수 있다. 일부 실시예들에서, AR 시스템은 또한, 가상 오브젝트(6013)가 더 낮은 화질로 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6013)를 렌더링할 수 있다.
[0323] 도 28b는 또한, 접안렌즈(6000)에 의해 아웃커플링되고 뷰어의 눈 (210)의 망막 상으로 투사되는 예시적인 광 필드(6030B)를 예시한다. 광 필드(6030B)는 가상 오브젝트들(6011, 6012, 및 6013)의 앞서 언급된 렌더링들 중 하나 이상을 나타내는 다양한 각도 광 컴포넌트들을 포함할 수 있다. 예컨대, 가상 오브젝트(6011)가 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6011)를 나타내는 광 필드(6030B)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막 상으로 투사될 컴포넌트들을 포함할 수 있고, 가상 오브젝트(6012)가 머리-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6012)를 나타내는 광 필드(6030B)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 의 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 망막 상으로 투사될 컴포넌트들을 포함할 수 있다. 유사하게, 가상 오브젝트(6013)가 중심와-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 오브젝트(6013)를 나타내는 광 필드(6030B)의 각도 광 컴포넌트들은 뷰어의 눈(210)에 대해 내지 의 각도 유닛들의 범위의 각도들로 뷰어의 눈(210)의 중심와 상으로 투사될 컴포넌트들을 포함할 수 있다. 이로써, 가상 오브젝트(6013)를 나타내는 광 필드(6030B)의 컴포넌트들(즉, 뷰어의 눈(210)에 대해 내지 각도 유닛들의 범위의 각도들로 투사될 컴포넌트들)은 가상 오브젝트(6011 또는 6012)를 나타내는 광 필드(6030A)의 컴포넌트들(즉, 뷰어의 눈(210)에 대해 내지 또는 내지 각도 유닛들의 범위의 각도들로 투사될 컴포넌트들)보다 각도 공간에서 더 조밀하게 분배될 수 있다. 이런 식으로, 가상 오브젝트(6013)가 렌더링되고 뷰어에게 제공될 수 있는 해상도는 가상 오브젝트(6011 또는 6012)가 렌더링되고 뷰어에게 제공될 수 있는 해상도보다 높을 수 있다. 실제로, 도 28a의 스테이지로부터 도 28b의 스테이지까지, 그 도면들을 참조하여 본원에서 설명된 AR 시스템은, 가상 콘텐츠가 스테이지들 간의 뷰어의 눈(402)의 시선의 변화에 따라 고해상도로 보일 수 있는 관점을 효과적으로 재배향시킨다.
[0324] 도 28c-28f는 일부 실시예들에 따른, 사용자에게 제공될 수 있는 일부 예시적인 이미지들을 사용하여 도 3e-3f에 설명된 원리들 중 일부를 예시한다. 일부 예들에서, 도 28c-28f에 묘사된 이미지들 및/또는 이미지 스트림들 중 하나 이상은 특정 깊이 평면, 이를테면 도 25b를 참조하여 위에서 설명된 깊이 평면들 중 하나 이상에 디스플레이될 2-차원 이미지들 또는 이들의 일부들을 표현할 수 있다. 즉, 그러한 이미지들 및/또는 이미지 스트림들은 사용자로부터 고정된 거리만큼 떨어진 적어도 하나의 2-차원 표면 상으로 투사되었던 3-D 가상 콘텐츠를 표현할 수 있다. 그러한 예들에서, 그러한 이미지들 및/또는 이미지 스트림들이 도 26a-26d 및 28a-28b를 참조하여 위에서 설명된 것들과 유사한 특정 각도 시야들을 갖는 하나 이상의 광 필드들로서 사용자에게 제공될 수 있다는 것이 이해될 것이다.
[0325] 묘사된 바와 같이, 제1 이미지 스트림(6010)은 트리를 포함한다. 도 28c에 의해 표현된 제1 시간 기간 동안, 눈-추적 센서들은, 사용자의 눈 시선(즉, 중심와 비전)이 트리의 트렁크(trunk)를 포함하는 트리의 제1 구역(6010-1) 내에 포커싱된다고 결정할 수 있다. 사용자의 눈 시선이 제1 구역(6010-1) 내에 포커싱된다고 결정하는 것에 대한 응답으로, 제1 이미지 스트림(6010)의 제1 구역(6010-1)과 연관된 고해상도 이미저리를 포함하는 제2 이미지 스트림(6020)은 제1 이미지 스트림(6010)의 디스플레이와 동시에 제1 구역(410-1) 내에 포지셔닝될 수 있다. 도 28c에 예시된 바와 같이, 제1 이미지 스트림(410)은 제2 이미지 스트림(6020)보다 더 낮은 해상도를 가질 수 있다.
[0326] 도 28d에 의해 표현된 제2 시간 기간 동안, 눈-추적 센서들은, 사용자의 눈 시선이 도 28d에 예시된 바와 같이 트리의 브랜치를 포함하는 트리의 제2 구역(6010-2)으로 이동했다고 결정할 수 있다. 그에 따라서, 제2 이미지 스트림(420)은 제2 구역(6010-2)으로 시프팅되며, 제1 이미지 스트림(6010)의 제2 구역(6010-2) 내의 콘텐츠에 대응하도록 자신의 콘텐츠를 변경시킬 수 있다. 더 높은 해상도의 제2 이미지 스트림(6020)이 사용자의 중심와 비전 내에서 제1 이미지 스트림(6010)의 부분을 오버레이하기 때문에, 제2 이미지 스트림(6020)을 둘러싸는 제1 이미지 스트림(6010)의 더 낮은 해상도의 부분은 사용자에 의해 지각 또는 인지되지 않을 수 있다. 이런 식으로, 사용자는 제1 이미지 스트림(6010) 및 제2 이미지 스트림(6020)의 조합을 넓은 FOV 및 고해상도 둘 모두를 갖는 것으로 지각할 수 있다. 그러한 디스플레이 시스템은 몇몇의 장점들을 제공할 수 있다. 예컨대, 디스플레이 시스템은 비교적 작은 폼 팩터를 유지하고 컴퓨테이션 자원 요건을 비교적 낮게 유지하면서 우수한 사용자 경험을 제공할 수 있다. 작은 폼 팩터 및 낮은 컴퓨테이션 자원 요건은, 디바이스가 단지 디스플레이의 제한된 구역에서 고해상도 이미저리를 생성하기만 되기 때문일 수 있다.
[0327] 제2 이미지 스트림(6020)은 제1 이미지 스트림(6010) 상에 동시적으로 또는 신속하게 연속적으로 오버레이될 수 있다. 앞서 논의된 바와 같이, 일부 실시예들에서, 제2 이미지 스트림(6020)에 의해 오버레이된 제1 이미지 스트림(6010)의 콘텐츠의 서브세트는 더 균일한 밝기를 위해 또는 더 나은 해상도 지각을 위해 턴 오프되거나 또는 더 낮은 세기로 제공될 수 있다. 일부 실시예들에서, 제2 이미지 스트림(6020)과 연관된 제2 이미지 스트림이 다른 방식들로 제1 이미지 스트림(6010)와 연관된 제1 이미지 스트림과 상이할 수 있다는 것이 또한 주목되어야 한다. 예컨대, 제2 이미지 스트림의 컬러 해상도는 제1 이미지 스트림의 컬러 해상도보다 더 높을 수 있다. 제2 이미지 스트림의 리프레시 레이트는 또한 제1 이미지 스트림의 리프레시 레이트보다 더 높을 수 있다.
[0328] 일부 실시예들에 따르면, 도 28e는 예시적인 높은-FOV 저해상도 이미지 프레임(즉, 제1 이미지 스트림)을 예시하고, 도 28f는 예시적인 낮은-FOV 고해상도 이미지 프레임(즉, 제2 이미지 스트림)을 예시한다. 도 28e에 예시된 바와 같이, 낮은-FOV 고해상도 이미지 프레임에 의해 오버레이될 높은-FOV 저해상도 이미지 프레임의 구역(6030)에는 가상 콘텐츠가 없을 수 있다. 구역(6030)에 대응하는 높은-FOV 이미지의 부분을 생략함으로써, 2개의 이미지들의 약간의 차이들로부터 기인하는 임의의 이미지 블러링 또는 스미어링이 회피될 수 있다. (예컨대, 도 28f에 예시된 바와 같은) 낮은-FOV 고해상도 이미지 프레임의 콘텐츠는 구역(6030)에 대응하는 콘텐츠의 고해상도 버전을 포함할 수 있다.
[0329] 도 29a는 일부 실시예들에 따른 디스플레이 시스템(7000A)의 단순화된 블록 다이어그램을 도시한다. 디스플레이 시스템(7000A)은 사용자의 머리의 포지션 및 움직임 뿐만 아니라 사용자의 눈 포지션 및 안구간 거리를 검출하기 위한 하나 이상의 센서들(7002)을 포함할 수 있다. 그러한 센서들은 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들, 자이로스코프들 등을 포함할 수 있다. 증강 현실 시스템에서, 하나 이상의 센서들(7002)은 머리-착용 프레임 상에 장착될 수 있다.
[0330] 예컨대, 일부 구현들에서, 디스플레이 시스템(7000A)의 하나 이상의 센서들(7002)은 머리 착용 트랜스듀서 시스템의 부분이며, 사용자의 머리의 움직임을 표시하는 관성 측정들을 캡처하기 위한 하나 이상의 관성 트랜스듀서들을 포함할 수 있다. 이로써, 이들 구현들에서, 하나 이상의 센서들(7002)은 사용자의 머리 움직임들에 관한 정보를 감지, 측정, 또는 수집하는 데 사용될 수 있다. 예컨대, 그것은 사용자의 머리의 측정 움직임들, 스피드들, 가속도, 및/또는 포지션들을 검출하는 데 사용될 수 있다.
[0331] 일부 실시예들에서, 하나 이상의 센서들(7002)은, 사용자가 위치된 환경에 관한 정보를 캡처하는 데 사용될 수 있는 하나 이상의 전면 카메라들을 포함할 수 있다. 전면 카메라들은 그 환경 및 그 환경 내의 특정한 오브젝트들에 대한 사용자의 거리 및 배향을 표시하는 정보를 캡처하는 데 사용될 수 있다. 머리 착용될 때, 전면 카메라들은, 사용자가 위치된 환경 및 그 환경 내의 특정한 오브젝트들에 대한 사용자의 머리의 거리 및 배향을 표시하는 정보를 캡처하는 데 특히 적합하다. 전면 카메라들은 머리 움직임, 머리 움직임들의 스피드 및 가속도를 검출하는 데 이용될 수 있다. 전면 카메라들은 또한, 예컨대 사용자의 머리의 배향에 적어도 부분적으로 기반하여 사용자의 주의 중심을 검출 또는 추론하는 데 이용될 수 있다. 배향은 임의의 방향(예컨대, 사용자의 기준 프레임에 대하여 위쪽 및 아래쪽, 왼쪽 및 오른쪽))으로 검출될 수 있다.
[0332] 하나 이상의 센서들(7002)은 또한, 사용자의 눈들의 움직임, 깜박임, 및 포커스 깊이를 추적하기 위한 한 쌍의 후면 카메라들을 포함할 수 있다. 그러한 눈-추적 정보는, 예컨대 사용자의 눈들에 광을 투사하고 그 투사된 광의 적어도 일부의 리턴 또는 반사를 검출함으로써 구별될 수 있다. 눈-추적 디바이스들을 논의하는 추가적인 세부사항들은, 명칭이 "DISPLAY SYSTEM AND METHOD"인 미국 가특허 출원 제 61/801,219호, 명칭이 "METHODS AND SYSTEM FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY"인 미국 가특허 출원 제 62/005,834호, 명칭이 "SYSTEM AND METHOD FOR AUGMENTED AND VIRTUAL REALITY"인 미국 가특허 출원 제 61/776,771호, 및 명칭이 "METHOD AND SYSTEM FOR EYE TRACKING USING SPECKLE PATTERNS"인 미국 가특허 출원 제 62/420,292호에서 제공되며, 이들 가특허 출원들은 본원에서 인용에 의해 명백히 통합된다.
[0333] 디스플레이 시스템(7000A)은 하나 이상의 센서들(7002)에 통신가능하게 커플링된 사용자 배향 결정 모듈(7004)을 더 포함할 수 있다. 사용자 배향 결정 모듈(7004)은 하나 이상의 센서들(7002)로부터 데이터를 수신하고, 그러한 데이터를 사용하여 사용자의 머리 포즈, 각막 포지션들, 동공간 거리 등을 결정한다. 사용자 배향 결정 모듈(7004)은 사용자의 머리의 순시 포지션을 검출하며, 하나 이상의 센서들(7002)로부터 수신된 포지션 데이터에 기반하여 사용자의 머리의 포지션을 예측할 수 있다. 사용자 배향 결정 모듈(7004)은 또한, 하나 이상의 센서들(7002)로부터 수신된 추적 데이터에 기반하여 사용자의 눈들을 추적한다.
[0334] 디스플레이 시스템(7000A)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함할 수 있다. 제어 서브시스템은 다수의 제어기들, 예컨대 하나 이상의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.
[0335] 도 29a에 묘사된 예에서, 디스플레이 시스템(7000A)은 CPU(central processing unit)(7010), GPU(graphics processing unit)(7020), 및 프레임 버퍼들(7042 및 7044)을 포함한다. 간단히 그리고 아래에 더 상세히 설명되는 바와 같이, CPU(7010)는 전체 동작을 제어하는 반면, GPU(7020)는 데이터베이스(7030)에 저장된 3-차원 데이터로부터 프레임들을 렌더링(즉, 3-차원 장면을 2-차원 이미지로 변환)하고, 이들 프레임들을 프레임 버퍼들(7042 및 7044)에 저장한다. 예시되지는 않았지만, 하나 이상의 추가적인 집적 회로들은, 프레임 버퍼들(7042 및 7044)로부터 프레임들로의 판독 및/또는 프레임들 밖으로의 판독 그리고 디스플레이 시스템(7000A)의 하나 이상의 다른 컴포넌트들, 이를테면 이미지 다중화 서브시스템(7060)의 컴포넌트들, 중심와-추적 빔-스티어링 컴포넌트들(7080) 등의 동작을 제어할 수 있다. 프레임 버퍼들(542 및 544)로의 그리고/또는 그 밖으로의 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 디스플레이 시스템(7000A)은 판독 전용 메모리(ROM) 및 랜덤 액세스 메모리(RAM)를 더 포함한다. 디스플레이 시스템(7000A)은 3-차원 데이터 베이스(7030)를 더 포함하며, 그 데이터 베이스로부터 GPU(7020)는 프레임들을 렌더링하기 위해 하나 이상의 장면들의 3-차원 데이터에 액세스할 수 있다.
[0336] CPU(7010)는 높은-FOV 저해상도 렌더 관점 결정 모듈(7012) 및 낮은-FOV 고해상도 렌더 관점 결정 모듈(7014)을 포함할 수 있다. 일부 실시예들에서, 사용자 배향 결정 모듈(7004)은 CPU(7010)의 부분일 수 있다.
[0337] 높은-FOV 저해상도 렌더 관점 결정 모듈(7012)은, 사용자 배향 결정 모듈에 의해 출력된 데이터를, 높은-FOV 저해상도 이미지들이 지각될 각도 및 3D 공간 내의 위치에 맵핑시키기 위한 로직을 포함할 수 있다. 즉, CPU(7010)는 사용자 배향 결정 모듈(7004)로부터 수신된 데이터에 기반하여 임의의 정해진 시간에 사용자의 머리에 대하여 고정된 가상 카메라의 관점을 결정한다. 도 26a-26d 및 도 28a-28b를 참조하여 위에서 설명된 예들의 맥락에서, 높은-FOV 저해상도 렌더 관점 결정 모듈(7012)은, 사용자 배향 결정 모듈(7004)에 의해 표시된 바와 같이, 머리 포지션 및 배향을 모니터링하고, 그에 따라서 렌더 공간 내에서 적어도 머리-추적된 가상 카메라의 포지션 및 배향을 제어하도록 기능할 수 있다.
[0338] 낮은-FOV 고해상도 렌더 관점 결정 모듈(7014)은, 사용자 배향 결정 모듈에 의해 출력된 데이터(예컨대, 사용자의 시선 및 중심와 포지셔닝을 표시하는 데이터)를, 낮은-FOV 고해상도 이미지들이 지각될 각도 및 3D 공간 내의 위치에 맵핑시키기 위한 로직을 포함할 수 있다. 즉, CPU(7010)는 사용자 배향 결정 모듈(7004)로부터 수신된 데이터에 기반하여 임의의 정해진 시간에 사용자의 중심와에 대하여 고정된 가상 카메라의 관점을 결정한다. 도 26a-26d 및 도 28a-28b를 참조하여 위에서 설명된 예들의 맥락에서, 낮은-FOV 저해상도 렌더 관점 결정 모듈(7014)은, 사용자 배향 결정 모듈(7004)에 의해 표시된 바와 같이, 눈 시선을 모니터링하고, 그에 따라서 렌더 공간 내에서 적어도 중심와-추적된 가상 카메라의 포지션 및 배향을 제어하도록 기능할 수 있다.
[0339] 디스플레이 시스템(7000A)은 GPU(graphics processing unit)(7020) 및 데이터베이스(7030)를 더 포함할 수 있다. 데이터베이스(7030)는 3D 가상 콘텐츠를 저장할 수 있다. GPU(7020)는 프레임들을 렌더링하기 위해 데이터베이스(7030)에 저장된 3D 가상 콘텐츠에 액세스할 수 있다. GPU(7020)는, CPU(7010)에 의해 출력되는 것으로 결정 및 제공되는 바와 같이, 사용자의 중심와에 대하여 고정된 가상 카메라의 관점(예컨대, 중심와-추적된 렌더 관점)으로부터 낮은 FOV 및 고해상도로 가상 콘텐츠의 프레임들을 렌더링할 수 있다. GPU(7020)는 또한, CPU(7010)에 의해 출력되는 것으로 결정 및 제공되는 바와 같이, 사용자의 머리에 대하여 고정된 가상 카메라의 관점(예컨대, 머리-추적된/비-중심와된 관점)으로부터 높은 FOV 및 저해상도로 가상 콘텐츠의 프레임들을 렌더링할 수 있다. 렌더링 프로세스들에서의 가상 카메라들의 생성, 조정, 및 사용을 논의하는 추가적인 세부사항들은, 명칭이 "METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION"인 미국 특허 출원 제 15/274,823호에서 제공되며, 그 특허 출원은 모든 목적들을 위해 그 전체가 본원에서 인용에 의해 명백히 통합된다.
[0340] 가상 콘텐츠의 높은-FOV 저해상도 렌더링된 프레임들은 높은-FOV 저해상도 렌더링된 프레임 버퍼(7042)에 저장될 수 있다. 유사하게, 가상 콘텐츠의 낮은-FOV 고해상도 렌더링된 프레임들은 낮은-FOV 고해상도 렌더링된 프레임 버퍼(7044)에 저장될 수 있다. 일부 실시예들에서, 높은-FOV 저해상도 렌더링된 프레임 버퍼(7042) 및 낮은-FOV 고해상도 렌더링된 프레임 버퍼(7044)는 GPU(7020)의 부분일 수 있다.
[0341] 디스플레이 시스템(7000A)은 이미지 다중화 서브시스템(7060) 및 이미지 다중화 서브시스템(7060)에 통신가능하게 커플링된 이미지 다중화 서브시스템 제어기(7050)를 더 포함할 수 있다. 이미지 다중화 서브시스템(7060)은 도 30a-30b를 참조하여 실질적으로 아래에서 더 상세히 설명되는 바와 같이, 이미지 소스(7062), 및 높은-FOV 저해상도 이미지 프레임들 및 낮은-FOV 고해상도 이미지 프레임들을 다중화하기 위한 다중화 컴포넌트들(7064)을 포함할 수 있다. 이미지 소스(7062)는, 예컨대 섬유 스캐닝 컴포넌트들, LCoS(liquid crystal on silicon), MEMs 스캐닝 미러 등과 조합된 광원을 포함할 수 있다. 다중화 컴포넌트들(7064)은 광학 엘리먼트들, 이를테면 편광 회전자들, 스위칭가능 광학기, 액정 어레이들, 가변초점 렌즈들 등을 포함할 수 있다. 다중화 컴포넌트들(7064)은 이미지 소스(7062) 내부 또는 외부에 있을 수 있다.
[0342] 이미지 다중화 서브시스템 제어기(7050)는 이미지 다중화 서브시스템(7060), 높은-FOV 저해상도 렌더링된 프레임 버퍼(7042), 및 낮은-FOV 고해상도 렌더링된 프레임 버퍼(7044)에 통신가능하게 커플링된다. 앞서 논의된 바와 같이, 제어 회로는 제어 신호들을 이미지 소스(562)에 전송할 수 있으므로, 적합한 이미지 콘텐츠가 각각의 렌더 관점으로부터 제공된다. 이미지 다중화 서브시스템 제어기(7050)는 또한, 다중화된 이미지 스트림을 산출하기 위한 방식으로 이미지 소스(7062)와 함께 다중화 컴포넌트들(7064)을 제어할 수 있다.
[0343] 디스플레이 시스템(7000A)은 중심와-추적 빔-스티어링 컴포넌트들(7080) 및 중심와-추적 빔-스티어링 컴포넌트들(7080)에 통신가능하게 그리고/또는 동작가능하게 커플링된 중심와-추적 제어기(7070)를 더 포함할 수 있다. 중심와-추적 제어기(7070)는 (예컨대, 낮은-FOV 고해상도 렌더 관점 결정 모듈(7014) 및/또는 사용자 배향 결정 모듈(7004)에 의해 결정된 바와 같이) 사용자의 중심와의 포지션에 관한 출력 데이터를 CPU(7010)로부터 수신하고, 그러한 데이터를 사용하여 중심와-추적 빔-스티어링 컴포넌트들(7080)의 포지션을 제어할 수 있다. 중심와-추적 빔-스티어링 컴포넌트들(7080)은 (이미지 소스(7062) 및 다중화 컴포넌트들(7064)에 의해 생성된) 다중화된 이미지 스트림의 낮은-FOV 고해상도 부분들을 사용자의 중심와를 향해 동적으로 스티어링하거나 또는 그렇지 않으면 지향시키도록 기능할 수 있다. 이미지 스트림의 그러한 낮은-FOV 고해상도 부분들은, 예컨대 중심와-추적된 가상 카메라의 관점으로부터 캡처될 것처럼 가상 콘텐츠를 표현할 수 있다.
[0344] 디스플레이 시스템(7000A)은 또한, 디스플레이 시스템(7000A)의 CPU(7010), GPU(7020), 및/또는 하나 이상의 모듈들 또는 제어기들에 의해 사용가능한 컴퓨터-판독가능 명령들, 데이터베이스들, 및 다른 정보를 저장하기 위한 스토리지 매체를 포함할 수 있다. 디스플레이 시스템(7000A)은, 사용자가 디스플레이 시스템과의 상호작용을 위해 사용할 수 있는 입력-출력(I/O) 인터페이스들, 이를테면 버튼들을 더 포함할 수 있다. 디스플레이 시스템(7000A)은 또한 디스플레이 시스템(7000A)의 다른 부분 또는 인터넷과의 무선 통신을 위한 무선 안테나를 포함할 수 있다.
[0345] 도 29b는 일부 실시예들에 따른, AR 시스템(7000B)의 단면도를 개략적으로 예시한다. AR 시스템(7000B)은 도 29a를 참조하여 앞서 설명된 바와 같이 디스플레이 시스템(7000A)의 컴포넌트들 중 적어도 일부를 통합할 수 있고, 일부 실시예들에 따라 도 25a에 도시된 바와 같이 웨어러블 디스플레이 디바이스(4050) 내의 디스플레이들(4052) 중 하나로 맞춰질 수 있다. 예컨대, AR 시스템(7000B)은, 이미지 소스(7062) 및 하나 이상의 다중화 컴포넌트들을 포함할 수 있는 이미지 다중화 서브시스템(560)을 포함할 수 있다. 게다가, AR 시스템(7000B)은 또한, 이러한 예에서는 전기기계 광학 디바이스, 이를테면 MEMs 스캐닝 미러일 수 있는 중심와-추적 빔-스티어링 컴포넌트들(7080)을 포함할 수 있다. 디스플레이 시스템(7000A)과 아주 유사하게, 이미지 다중화 서브시스템(7060)은 이미지 다중화 서브시스템 제어기에 통신가능하게 그리고/또는 동작가능하게 커플링될 수 있고, 중심와-추적 빔-스티어링 컴포넌트들(7080)은 중심와-추적 제어기에 통신가능하게 그리고/또는 동작가능하게 커플링될 수 있다. AR 시스템(7000B)은 하나 이상의 ICG(incoupling grating)들(7007) 및 하나 이상의 접안렌즈들(7008)을 더 포함할 수 있다. 각각의 인커플링 격자(7007)는 제1 광빔 및 제2 광빔을 개개의 접안렌즈(7008)로 커플링하도록 구성될 수 있다. 각각의 접안렌즈(7008)는 제1 광빔 및 제2 광빔을 사용자의 눈으로 아웃커플링하기 위한 아웃커플링 격자들을 포함할 수 있다. 인커플링 격자들(7007) 및 접안렌즈들(7008)은 본원에서 "뷰잉 어셈블리"로서 지칭될 수 있다. 본원에서 개시된 다양한 ICG(incoupling grating)들이 도 9a-9c의 인-커플링 광학 엘리먼트들(700, 710, 720)에 대응할 수 있다는 것이 인지될 것이다.
[0346] 도 30a-30b는 일부 실시예들에 따른, 이미지들을 사용자의 눈에 투사하기 위한 디스플레이 시스템(8000)을 개략적으로 예시한다. 디스플레이 시스템(8000)은 이미지 소스(8010)를 포함한다. 이미지 소스(8010)는, 도 30a에 도시된 바와 같이 제1 이미지 스트림과 연관된 제1 광빔(8052)을 투사하고, 도 30b에 도시된 바와 같이 제2 이미지 스트림과 연관된 제2 광빔(8054)을 투사하도록 구성될 수 있다. 정확한 광선-추적 광선들을 표현하도록 의도되지 않은 개략적인 광선들로서 제1 광빔(8052) 및 제2 광빔(8054)이 도 30a-30b에 묘사된다는 것이 주목되어야 한다. 제1 광빔(8052)은 더 넓은 FOV를 커버하도록 각을 이루어 확대될 수 있으며, 더 낮은 각도 해상도 이미지 스트림을 산출한다. 제2 광빔(8054)은 도 26a-26f 및 28a-28d를 참조하여 앞서 논의된 바와 같이 더 높은 각도 해상도를 갖는 더 좁은 FOV를 가질 수 있다.
[0347] 이미지 소스(8010)는 다양한 실시예들에 따르면, LCoS 또는 LCOS(liquid crystal on silicon) 디스플레이(또한, 공간 광 변조기로서 지칭될 수 있음), 스캐닝 섬유, 또는 스캐닝 미러를 포함할 수 있다. 예컨대, 이미지 소스(8010)는 제어 신호들에 대한 응답으로 미리결정된 패턴으로 광섬유를 스캔하는 스캐닝 디바이스를 포함할 수 있다. 미리결정된 패턴은 특정 원하는 이미지 형상, 이를테면 직사각형 또는 원형 형상들에 대응할 수 있다.
[0348] 일부 실시예들에 따르면, 제1 이미지 스트림과 연관된 제1 광빔(8052) 및 제2 이미지 스트림과 연관된 제2 광빔(8054)은 합성 광빔들로서 이미지 소스(8010)에 의해 다중화 및 출력될 수 있다. 예컨대, 편광-분할 다중화, 시분할 다중화, 파장-분할 다중화 등이 제1 이미지 스트림과 연관된 광빔들 및 제2 이미지 스트림과 연관된 광빔들을 다중화하기 위해 사용될 수 있다.
[0349] 편광-분할 다중화가 사용되는 실시예들에서, 제1 광빔(8052)은 제1 편광 상태에 있을 수 있고, 제2 광빔(8054)은 제1 편광 상태와 상이한 제2 편광 상태에 있을 수 있다. 예컨대, 제1 편광 상태는 제1 방향으로 배향된 선형 편광일 수 있고, 제2 편광 상태는 제1 방향에 직교하는 제2 방향으로 배향된 선형 편광일 수 있다. 일부 다른 실시예들에서, 제1 편광 상태는 좌향(left-handed) 원형 편광일 수 있고, 제2 편광 상태는 우향(right-handed) 원형 편광일 수 있거나 또는 그 반대의 경우도 마찬가지이다. 제1 광빔(8052) 및 제2 광빔(8054)은 이미지 소스(8010)에 의해 동시적으로 또는 순차적으로 투사될 수 있다.
[0350] 디스플레이 시스템(8000)은 일부 실시예들에 따라, 제2 광빔(8054)으로부터 제1 광빔(8052)을 역-다중화하도록 구성된 PBS(polarization beam splitter)(8030)를 더 포함할 수 있다. 편광 빔 분할기(8030)는, 도 30a에 예시된 바와 같이 뷰잉 어셈블리를 향해 제1 광학 경로를 따라 제1 광빔(8052)을 반사시키고, 도 30b에 예시된 바와 같이 제2 광학 경로를 따라 제2 광빔(8054)을 투과시키도록 구성될 수 있다.
[0351] 편광 빔 분할기(8030)에 대한 대안들이 또한 광빔들을 역-다중화하기 위해 사용될 수 있다. 예로서, 도 30a 및 30b의 편광 빔 분할기(8030)를 포함(그러나 이에 제한되지 않음)하는 본원에서 설명된 빔 분할기들은 스위칭가능 반사기, 이를테면 액정 스위칭가능 반사기로 대체되거나 또는 이를 이용하여 구현될 수 있다. 그러한 스위칭가능 반사기를 갖는 실시예들에서, 본원에서 개시된 모든 다른 양상들이 적용되며, 편광 빔 분할기가 스위칭가능 반사기에 의해 대체된다는 점을 제외하고 유사할 수 있다. 예로서, 스위칭가능 반사기, 이를테면 도 53a의 스위칭가능 반사기(50042)는 제어 신호들에 대한 응답으로 반사 상태와 투명 상태 간에 스위칭할 수 있다. 스위칭가능 반사기의 스위칭을 조정함으로써, 스위칭가능 반사기는 광빔들을 역-다중화하도록 동작할 수 있다. 예로서, 스위칭가능 반사기는, 제1 광빔이 스위칭가능 반사기 상에 입사할 때 반사형이 될 수 있고, 제2 광빔이 스위칭가능 반사기 상에 입사할 때 투명하게 될 수 있으며, 따라서 제1 및 제2 광빔들의 역-다중화를 허가한다. 일부 실시예들에서, 스위칭가능 반사기는 광빔들(8052, 8054)에 대해 일정 각도(예컨대, 45° 각도)로 포지셔닝될 수 있다. 결과적으로, 투과 상태에서, 광빔들(8052, 8054) 중 하나는 스위칭가능 반사기를 통해 투과되고; 반사 상태에서, 광빔들(8054, 8052) 중 다른 하나는, 그것이 반사기를 통해 투과되었던 광빔과는 상이한 방향으로 스위칭가능 반사기로부터 멀어지게 이동하도록 반사된다.
[0352] 도 30b를 참조하면, 디스플레이 시스템(8000)은 제2 광학 경로를 따라 편광 빔 분할기(8030)로부터 다운스트림에 포지셔닝된 스캐닝 미러(8060)를 더 포함할 수 있다. 스캐닝 미러(8060)는 사용자의 눈으로 투사되기 위해 제2 광빔(8054)을 뷰잉 어셈블리를 향해 반사시키도록 구성된다. 일부 실시예들에 따르면, 스캐닝 미러(8060)는 제2 이미지 스트림을 동적으로 투사하기 위해 사용자의 눈의 응시 포지션에 기반하여 제어될 수 있다. 예컨대, 스캐닝 미러(8060)는 사용자의 눈 움직임을 추적하는 눈-시선 추적기와 제어 회로를 통해 전기 통신할 수 있다. 제어 회로는 사용자의 현재 응시 포인트에 기반하여 스캐닝 미러(8060)를 기울이고 그리고/또는 전환하기 위해 제어 신호를 전송할 수 있어서, 제2 광빔(8054)은 사용자의 중심와 비전을 커버하도록 결정된 구역으로 제2 이미지 스트림을 투사한다. 일부 실시예들에서, 스캐닝 미러(8060)는 2의 자유도를 갖는(즉, 2개의 독립적인 각도들로 스캔할 수 있는) MEMS(microelectromechanical systems) 스캐너일 수 있다.
[0353] 일부 다른 실시예들에서, 스캐닝 미러(8060)를 사용하는 대신, 디스플레이 시스템(8000)은 고정된 미러를 사용할 수 있다. 제2 이미지 스트림의 포지션을 제어하는 것은 제3 광학 렌즈(8046)를 횡방향으로 변위시킴으로써 달성될 수 있다(아래의 제3 광학 렌즈(8046)의 설명 참조). 예컨대, 제3 광학 렌즈(8046)는 제2 이미지 스트림의 포지션을 2개의 치수들로 시프팅하기 위해 화살표에 의해 표시된 바와 같이 위 아래로 뿐만 아니라 안팎으로 변위될 수 있다.
[0354] 일부 실시예들에서, 디스플레이 시스템(8000)은 편광 빔 분할기(8030)와 스캐닝 미러(8060) 간에 포지셔닝된 편광 회전자(8022)를 더 포함할 수 있다. 편광 회전자(8022)는 제2 광빔(8054)의 편광을 회전시키도록 구성될 수 있으므로, 제2 광빔은 제1 광빔(8052)의 편광과 대략 동일한 편광을 가질 수 있는데, 그 이유는 그들이 뷰잉 어셈블리에 들어가기 때문이다. 편광 회전자(8022)는, 예컨대 반파 플레이트를 포함할 수 있다.
[0355] 일부 실시예들에서, 디스플레이 시스템(8000)은 제1 광학 경로에 대한 제1 중계 렌즈 어셈블리 및 제2 광학 경로에 대한 제2 중계 렌즈 어셈블리를 더 포함할 수 있다. 제1 중계 렌즈 어셈블리는 이미지 소스(8010)와 편광 빔 분할기(8030) 간에 배치된 제1 광학 렌즈(8042) 및 제1 광학 경로를 따라 편광 빔 분할기(8030)로부터 다운스트림에 배치된 제2 광학 렌즈(8044)를 포함할 수 있다. 제2 중계 렌즈 어셈블리는 제1 광학 렌즈(8042), 및 제2 광학 경로를 따라 편광 빔 분할기(8030)로부터 다운스트림에 배치된 제3 광학 렌즈(8046)를 포함할 수 있다.
[0356] 도 30c는 일부 실시예들에 따른 증강 현실(AR) 시스템의 단면도를 개략적으로 예시한다. AR 시스템은 일부 실시예들에 따라 도 25a에 도시된 바와 같이 웨어러블 디스플레이 디바이스(4050) 내의 디스플레이들(4052) 중 하나에 맞춰질 수 있다. AR 시스템은 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔을 투사하기 위한 광 투사기(8000)를 포함할 수 있다. 광 투사기(8000)는 도 30a-30b에 예시된 디스플레이 시스템과 유사할 수 있다. AR 시스템은 하나 이상의 ICG(incoupling grating)들(8070) 및 하나 이상의 접안렌즈들(8080)을 더 포함할 수 있다. 각각의 인커플링 격자(8070)는 제1 광빔 및 제2 광빔을 개개의 접안렌즈(8080)로 커플링하도록 구성될 수 있다. 각각의 접안렌즈(8080)는 제1 광빔 및 제2 광빔을 사용자의 눈으로 아웃커플링하기 위한 아웃커플링 격자들을 포함할 수 있다. 인커플링 격자들(8070) 및 접안렌즈들(8080)은 본원에서 "뷰잉 어셈블리"로서 지칭될 수 있다.
[0357] 도 30d는 일부 실시예들에 따른 디스플레이 시스템의 단순화된 블록 다이어그램을 도시한다. 디스플레이 시스템은 도 30a-30c를 참조하여 앞서 설명된 바와 같이 실질적으로, 이미지 소스(8010) 및 스캐닝 미러(8060)를 포함할 수 있다. 디스플레이 시스템은 또한 눈-시선 추적기(8071) 및 제어 회로(8081)를 포함할 수 있다. 제어 회로(8081)는 이미지 소스(8010), 스캐닝 미러(8060), 및 눈-시선 추적기(8071)에 통신가능하게 커플링될 수 있다. 제어 회로(8081)는 눈-시선 추적기(8071)에 의해 결정된 바와 같이 사용자의 현재 응시 포인트에 기반하여 스캐닝 미러(8060)를 기울이고 그리고/또는 전환하기 위해 제어 신호를 전송할 수 있으므로, 제2 광빔(8054)은 사용자의 중심와 비전을 커버하도록 결정된 구역으로 제2 이미지 스트림을 투사한다. 앞서 논의된 바와 같이, 제어 회로(8081)는 또한 제어 신호들을 이미지 소스(8010)에 전송할 수 있으므로, 적합한 이미지 콘텐츠가 제1 이미지 스트림 및 제2 이미지 스트림에서 제공된다. 디스플레이 시스템은 또한, CPU(central processing unit)(8096), GPU(graphics processing unit)(8098), 제어 회로(8081), CPU(8096), 및 GPU(8098)에 의해 사용가능한 컴퓨터-판독가능 명령들, 데이터베이스들, 및 다른 정보를 저장하기 위한 스토리지 매체(8090)를 포함할 수 있다. 디스플레이 시스템은, 사용자가 디스플레이 시스템과의 상호작용을 위해 사용할 수 있는 입력-출력(I/O) 인터페이스들(8092), 이를테면 버튼들을 더 포함할 수 있다. 디스플레이 시스템은 또한 디스플레이 시스템의 다른 부분 또는 인터넷과의 무선 통신을 위한 무선 안테나(8094)를 포함할 수 있다. 디스플레이 시스템은 또한 다른 센서들, 이를테면 카메라들을 포함할 수 있다.
[0358] 도 31a는 일부 실시예들에 따른 제1 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다. 제1 릴레이 렌즈 어셈블리는 텔레스코프와 유사한 방식으로 동작할 수 있다. 제1 이미지 스트림과 연관된 시준된 제1 광빔(8052)은 입사각()으로 제1 광학 렌즈(8042) 상에 입사되고, 제1 광학 렌즈(8042)에 의해, 제1 광학 렌즈(8042)의 초점 평면에 대략 위치된 실제 이미지 포인트(P0)에 포커싱된다. 실제 이미지 포인트(P0)는 또한, 제2 광학 렌즈(8044)의 초점 평면에 대략 위치된다. 따라서, 실제 이미지 포인트(P0)로부터 방출되는 제1 광빔(8052)은 제2 광학 렌즈(80044)에 의해 시준되고, 투과각()으로 제2 광학 렌즈(8044)로부터 출사한다.
[0359] 과 의 비율은 제1 각도 배율(M1)을 발생시킬 수 있으며, 여기서 이다. 제1 각도 배율(M1)의 크기는 제1 광학 렌즈(8042)의 초점 길이()와 제2 광학 렌즈(8044)의 초점 길이()의 비율과 대략 동일할 수 있다. 따라서, 이다. 일부 실시예들에서, 제1 릴레이 렌즈 어셈블리는, 예컨대 를 가짐으로써, 제1 각도 배율(M1)의 크기가 1보다 더 높도록 구성된다. 따라서, 도 30a를 다시 참조하면, 제1 이미지 스트림과 연관된 시준된 제1 광빔(8052)은, 그 제1 광빔(8052)이 제2 광학 렌즈(8044)를 출사할 때, 제1 릴레이 렌즈 어셈블리에 의해 각을 이루어 확대될 수 있고, 그런다음, 이는, 비교적 넓은 제1 시야(FOV1)로 제1 이미지 스트림을 제공하기 위해 뷰잉 어셈블리에 투사된다.
[0360] 도 31b는 일부 실시예들에 따른 제2 릴레이 렌즈 어셈블리의 동작 원리들을 개략적으로 예시한다. 제2 릴레이 렌즈 어셈블리는 또한, 텔레스코프와 유사한 방식으로 동작할 수 있다. 제2 이미지 스트림과 연관된 시준된 제2 광빔(8054)은 입사각()으로 제1 광학 렌즈(8042) 상에 입사되고, 제1 광학 렌즈(8042)에 의해, 제1 광학 렌즈(8042)의 초점 평면에 대략 위치된 실제 이미지 포인트(P0)에 포커싱된다. 실제 이미지 포인트(P0)는 또한, 제3 광학 렌즈(8046)의 초점 평면에 대략 위치된다. 따라서, 실제 이미지 포인트(P0)로부터 방출되는 제2 광빔(8054)은 제3 광학 렌즈(8046)에 의해 시준되고, 투과각()으로 제3 광학 렌즈(8046)로부터 출사한다.
[0361] 와 의 비율은 제2 각도 배율(M2)을 발생시킬 수 있으며, 여기서 이다. 제2 각도 배율(M2)의 크기는 제1 광학 렌즈(8042)의 초점 길이()와 제3 광학 렌즈(644)의 초점 길이()의 비율과 대략 동일할 수 있다. 따라서, 이다. 제2 렌즈 어셈블리는, 제2 각도 배율(M2)의 크기가 제1 각도 배율(M1) 미만이도록 구성될 수 있다. 일부 실시예들에서, 제2 각도 배율(M2)은, 예컨대 를 가짐으로써, 1의 값(즉, 어떤 확대도 없음) 또는 1 미만의 값(즉, 역확대)을 가질 수 있다. 따라서, 도 30b를 다시 참조하면, 제2 이미지 스트림과 연관된 시준된 제2 광빔(8054)은, 그 제2 광빔(8054)이 제3 광학 렌즈(8046)를 출사할 때, 제2 시야(FOV2)를 가질 수 있고, 제2 시야(FOV2)는 제1 이미지 스트림과 연관된 제1 광빔(8052)의 제1 시야(FOV1) 미만이다.
[0362] 도 31a에서, 시준된 제1 광빔(8052)은, 그 제1 광빔(8052)이 제1 광학 렌즈(8042) 상에 입사할 때의 초기 빔 폭(wA), 및 그 제1 광빔(8052)이 제2 광학 렌즈(8044)를 출사할 때의 최종 빔 폭(wB)을 가지며, 최종 빔 폭(wB)은 초기 빔 폭(wA)보다 더 좁다는 것을 주목한다. 또한 도 31b에서, 시준된 제2 광빔(8054)은, 그 제2 광빔(8054)이 제1 광학 렌즈(8042) 상에 입사할 때의 초기 빔 폭(wA), 및 그 제2 광빔(8054)이 제3 광학 렌즈(8046)를 출사할 때의 최종 빔 폭(wC)을 가지며, 최종 빔 폭(wC)은 초기 빔 폭(wA)과 거의 동일하다는 것을 주목한다. 다른 말로, 제2 광빔(8054)의 최종 빔 폭(wC)은 제1 광빔(8052)의 최종 빔 폭(wB)보다 더 넓다. 더 넓은 빔 폭은 눈에 의해 지각되는 더 선명한 각도 해상도를 산출할 것이다. 이는 가우스 빔 물리학에 의해 설명될 수 있는데, 여기서 더 넓은 빔 웨이스트(waist)를 갖는 시준된 빔은 무한대로의 전파에 걸쳐 각도 발산이 더 낮다. 따라서, FOV를 증가시키는 것은 빔 폭을 감소시킬 수 있고, 그러므로, 각도 해상도를 감소시킬 수 있으며, 이는 라그랑주 불변식과 일치한다.
[0363] 일부 실시예들에서, 제1 각도 배율(M1)은 약 3의 크기를 가질 수 있고, 제2 각도 배율(M2)은 약 1의 크기를 가질 수 있다. 도 30a-도 30b를 참조하면, 제1 이미지 스트림과 연관된 시준된 제1 광빔(8052) 및 제2 이미지 스트림과 연관된 시준된 제2 광빔(8054)이, 이미지 소스(8010)에 의해 투사된 것과 동일한 약 20도의 초기 FOV를 갖는다고 가정한다. 제2 광학 렌즈(644)를 출사한 시준된 제1 광빔(8052)은 약 60도의 제1 시야(FOV1)를 가질 수 있는 반면, 제3 광학 렌즈(8046)를 출사한 시준된 제2 광빔(654)은 약 20도의 제2 시야(FOV2)를 가질 수 있다. 일부 실시예들에서, 제1 FOV는 약 30도 내지 약 90도의 범위일 수 있고; 제2 FOV는 약 10도 내지 약 30도의 범위일 수 있다.
[0364] 도 28c-도 28d에 예시된 바와 같이, 제2 이미지 스트림(6020)은 제1 이미지 스트림(6010) 중 일부의 고해상도 버전일 수 있고, 넓은 FOV 및 저해상도 제1 이미지 스트림(6010)에 대해 적절히 정렬되고 오버레이된다. 제2 이미지 스트림(6020)의 콘텐츠는, 제2 이미지 스트림이 제1 이미지 스트림(6010)에 대해 시프팅됨에 따라 변하여서, 제2 이미지 스트림(6020)의 콘텐츠는 제2 이미지 스트림(6020)에 의해 오버레이된 제1 이미지 스트림(6010) 중 일부에 대응한다. 제2 이미지 스트림(6020)이 사용자의 중심와 시력을 지속적으로 커버하기 때문에, 사용자는 제1 이미지 스트림(6010)과 제2 이미지 스트림(6020)의 조합을, 넓은 FOV 및 고해상도 둘 모두를 갖는 합성 이미지 스트림으로 지각할 수 있다.
[0365] 도 31c-도 31d는 일부 실시예에 따른 디스플레이 시스템(10000)을 개략적으로 예시한다. 디스플레이 시스템(10000)은 이미지 소스(9010) 및 빔 분할기(9030)를 포함한다. 이미지 소스(9010)는 제1 이미지 스트림과 연관된 제1 광빔(8052) 및 제2 이미지 스트림과 연관된 제2 광빔(8054)을 제공할 수 있다. 제1 광빔(8052) 및 제2 광빔(8054)은 시분할 다중화, 편광-분할 다중화, 파장-분할 다중화 등이 될 수 있다. 빔 분할기(9030)는, 도 31c 및 도 31d에 각각 묘사된 바와 같이, 제1 광빔(8052) 및 제2 광빔(8054)을 제1 광학 경로 및 제2 광학 경로를 향해 분리하기 위한 디-멀티플렉서로서의 역할을 할 수 있다.
[0366] 디스플레이 시스템(10000)은 또한, 제1 광학 경로를 따라 빔 분할기(9030)의 다운스트림에 배치된 제1 광학 렌즈(9042) 및 제2 광학 렌즈(9044)를 포함할 수 있다. 제1 광학 렌즈(9042)와 제2 광학 렌즈(9044)의 조합은 제1 광빔(8052)을 위한 제1 릴레이 렌즈 어셈블리로서의 역할을 할 수 있다. 일부 실시예들에서, 제1 릴레이 렌즈 어셈블리는, 도 31a와 관련하여 앞서 설명된 바와 같이, 1보다 더 높은, 제1 광빔(8052)에 대한 각도 배율을 제공할 수 있다.
[0367] 디스플레이 시스템(10000)은 또한, 제2 광학 경로를 따라 빔 분할기(9030)의 다운스트림에 배치된 제3 광학 렌즈(9045) 및 제4 광학 렌즈(9046)를 포함할 수 있다. 제3 광학 렌즈(9045)와 제4 광학 렌즈(9046)의 조합은 제2 광빔(8054)을 위한 제2 릴레이 렌즈 어셈블리로서의 역할을 할 수 있다. 일부 실시예들에서, 제2 릴레이 렌즈 어셈블리는, 도 31b와 관련하여 앞서 설명된 바와 같이, 실질적으로 1이거나 또는 1 미만인, 제2 광빔(8054)에 대한 각도 배율을 제공할 수 있다.
[0368] 디스플레이 시스템(10000)은 또한, 제2 광학 경로를 따라 제2 릴레이 렌즈 어셈블리로부터 다운스트림에 포지셔닝된 스캐닝 미러(9060)를 포함할 수 있다. 스캐닝 미러(9060)는 사용자의 눈에 투사되도록 뷰잉 어셈블리를 향해 제2 광빔(8054)을 반사하도록 구성된다. 일부 실시예들에 따르면, 스캐닝 미러(9060)는 제2 이미지 스트림을 동적으로 투사하기 위해 사용자의 눈의 고정 포지션에 기반하여 제어될 수 있다.
[0369] 디스플레이 시스템(10000)은 또한, 제2 광학 경로를 따라 스캐닝 미러(9060)의 다운스트림에 배치된 제5 광학 렌즈(9047) 및 제6 광학 렌즈(9048)를 포함할 수 있다. 제5 광학 렌즈(9047)와 제6 광학 렌즈(9048)의 조합은 제2 광빔(8054)을 위한 제3 릴레이 렌즈 어셈블리로서의 역할을 할 수 있다. 일부 실시예들에서, 제3 릴레이 렌즈 어셈블리는, 도 31b와 관련하여 앞서 설명된 바와 같이, 실질적으로 1이거나 또는 1 미만인, 제2 광빔(8054)에 대한 각도 배율을 제공할 수 있다.
[0370] 일부 실시예들에서, 디스플레이 시스템(10000)은 또한, 편광기(9080) 및 스위칭 편광 회전자(9090)를 포함할 수 있다. 이미지 소스(9010)는 편광되지 않은 제1 광빔(8052) 및 편광되지 않은 제2 광빔(8054)을 제공할 수 있으며, 이들은 시분할 다중화된다. 제1 광빔(652) 및 제2 광빔(654)은 편광기(9080)를 통과한 후에 편광될 수 있다. 스위칭 편광 회전자(9090)는 제1 광빔(8052) 및 제2 광빔(8054)의 시분할 다중화와 동기화되어 동작될 수 있다. 예컨대, 스위칭 편광 회전자(9090)는, 스위칭 회전자(9090)를 통과한 후에 제1 광빔(8052)의 편광이 변하지 않는 반면 스위칭 편광 회전자(9090)를 통과한 후에 제2 광빔(8054)의 편광이 90도만큼 회전되도록(또는 그 반대의 경우도 마찬가지임) 동작될 수 있다. 따라서, 제1 광빔(8052)은 도 31c에 예시된 바와 같이, 제1 광학 경로를 따라 편광 빔 분할기(9030)에 의해 반사될 수 있고, 제2 광빔(8054)은 도 31d에 예시된 바와 같이, 제2 광학 경로를 따라 편광 빔 분할기(9030)에 의해 투과될 수 있다.
[0371] 도 32a-도 32c는 일부 실시예에 따른 디스플레이 시스템(10000)을 개략적으로 예시한다. 일부 예들에서, 디스플레이 시스템(10000)의 하나 이상의 컴포넌트들은, 도 31c-도 31d를 참조하여 앞서 설명된 바와 같은 디스플레이 시스템의 하나 이상의 컴포넌트들과 동일하거나 유사할 수 있다. 디스플레이 시스템(10000)은, 일부 예들에서, 도 31c-도 31d를 참조하여 앞서 설명된 바와 같은 디스플레이 시스템의 엘리먼트들(9010, 9030, 9042, 9044, 9045, 9046, 9047, 9048, 9060, 9080, 및 9090)과 각각 동일하거나 유사할 수 있는, 이미지 소스(10010), 빔 분할기(10030), 제1 광학 렌즈(10042), 제2 광학 렌즈(10044), 제3 광학 렌즈(10045), 제4 광학 렌즈(10046), 제5 광학 렌즈(10047), 제6 광학 렌즈(10048), 스캐닝 미러(10060), 편광기(10080), 스위칭 편광 회전자(10090)를 포함한다.
[0372] 더 구체적으로, 도 32a-도 32c는 디스플레이 시스템(10000)을 3개의 상이한 스테이지들 각각에서 예시한다. 3개의 스테이지들 각각에서, 이미지 소스(10010)는, 머리-추적되는 가상 카메라의 관점에서 캡처될 가상 콘텐츠를 나타내는 다양한 각도 광 필드 컴포넌트들 및 중심와-추적되는 가상 카메라의 관점에서 캡처될 가상 콘텐츠를 나타내는 다양한 각도 광 필드 컴포넌트들을 출력할 수 있다. 각도 광 필드 컴포넌트들의 2개의 세트들은, 예컨대 시분할 다중화, 편광-분할 다중화, 파장-분할 다중화 등이 될 수 있다. 이로써, 머리-추적되는 가상 카메라와 연관된 각도 광 필드 컴포넌트들은 제1 및 제2 광학 렌즈들(10042 및 10044)을 통한 제1 광학 경로를 따라 편광 빔 분할기(10030)에 의해 상향으로 전환될 수 있고, 중심와-추적되는 가상 카메라와 연관된 각도 광 필드 컴포넌트들은 제3 및 제4 광학 렌즈들(10045 및 10046)을 통한 제2 광학 경로를 따라 스캐닝 미러(10060)를 향해 편광 빔 분할기(10030)를 통과하고 제5 및 제6 광학 렌즈들(10047 및 10048)을 통해 상향으로 반사될 수 있다.
[0373] 머리-추적되는 가상 카메라와 연관된 각도 광 필드 컴포넌트들에 의해 표현되는 가상 콘텐츠는 비교적 낮은 해상도로 이미지 소스(10010)로부터 업스트림으로 렌더링될 수 있는 반면, 중심와-추적되는 가상 카메라와 연관된 각도 광 필드 컴포넌트들에 의해 표현되는 가상 콘텐츠는 비교적 높은 해상도로 이미지 소스(10010)로부터 업스트림으로 렌더링될 수 있다. 그리고, 도 32a-도 32c에 도시된 바와 같이, 디스플레이 시스템(10000)은 높은 FOV 및 낮은 FOV 광 필드들로서 각각, 머리-추적되는 렌더링 관점과 연관된 각도 광 필드 컴포넌트들 및 중심와-추적되는 렌더링 관점과 연관된 각도 광 필드 컴포넌트들을 출력하도록 구성될 수 있다. 도 32a-도 32c 각각에서, 제1 광학 경로를 따라 전파되는 광 필드 컴포넌트들은 비교적 넓은 광 원뿔(10052)로서 디스플레이 시스템(10000)에 의해 출력된다.
[0374] 도 32a에 묘사된 스테이지에서, 스캐닝 미러(10060)는 제1 포지션에 있다. 이로써, 편광 빔 분할기(10030)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각도 공간의 실질적으로 중앙 구역에 걸쳐 있는 비교적 좁은 광 원뿔(10054A)로서 디스플레이 시스템(10000)에 의해 출력된다는 것이 확인될 수 있다. 도 28a-도 28b를 참조하여 위에서 설명된 예들의 맥락에서, 디스플레이 시스템(10000)은 예컨대, 사용자의 눈이 도 28a의 뷰어의 눈(210)의 것과 유사한 방식으로 배향될 때, 도 32a에 도시된 제1 포지션에 스캐닝 미러(10060)를 배치할 수 있다. 이런 식으로, 광 컴포넌트들(10054A)은 렌더링 공간의 비교적 중앙집중형 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6012)를 표현할 수 있다. 도 28a-도 28b의 예들에 추가하여, 비교적 넓은 광 원뿔(10052)은, 예컨대, 렌더링 공간의 중앙-외 구역들의 가상 콘텐츠, 이를테면, 가상 오브젝트들(6011 및 6013)을 포함할 수 있다. 일부 예들에서, 비교적 넓은 광 원뿔(10052)은 광 컴포넌트들(10054A)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0375] 도 32b에 묘사된 스테이지에서, 스캐닝 미러(10060)는 제1 포지션과 상이한 제2 포지션에 있다. 이로써, 편광 빔 분할기(10030)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각도 공간의 하나의 실질적으로 중앙-외 구역에 걸쳐 있는 비교적 좁은 광 원뿔(10054B)로서 디스플레이 시스템(10000)에 의해 출력된다는 것이 확인될 수 있다. 도 28a-도 28b를 참조하여 위에서 설명된 예들의 맥락에서, 디스플레이 시스템(10000)은 예컨대, 뷰어가 가상 오브젝트(6011)를 바라보는 동안 뷰어의 눈(210)의 것과 유사한 방식으로 사용자의 눈이 배향될 때, 도 32b에 도시된 제2 포지션에 스캐닝 미러(10060)를 배치할 수 있다. 이런 식으로, 광 컴포넌트들(10054B)은 렌더링 공간의 하나의 비교적 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6011)를 표현할 수 있다. 도 28a-도28b의 예들에 추가하여, 비교적 넓은 광 원뿔(10052)은, 예컨대, 렌더링 공간의 다른 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6013)뿐만 아니라, 렌더링 공간의 중앙집중형 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6012)를 포함할 수 있다. 일부 예들에서, 비교적 넓은 광 원뿔(10052)은 광 컴포넌트들(10054B)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0376] 도 32c에 묘사된 스테이지에서, 스캐닝 미러(10060)는 제1 및 제2 포지션들과 상이한 제3 포지션에 있다. 이로써, 편광 빔 분할기(10030)를 통과하고 제2 광학 경로를 따라 전파되는 광 필드 컴포넌트들은, 각도 공간의 다른, 상이한 실질적으로 중앙-외 구역에 걸쳐 있는 비교적 좁은 광 원뿔(10054C)로서 디스플레이 시스템(10000)에 의해 출력된다는 것이 확인될 수 있다. 도 28a-28b를 참조하여 위에서 설명된 예들의 맥락에서, 디스플레이 시스템(10000)은 예컨대, 사용자의 눈이 도 28b의 뷰어의 눈(210)의 것과 유사한 방식으로 배향될 때, 도 32c에 도시된 제2 포지션에 스캐닝 미러(10060)를 배치할 수 있다. 이런 식으로, 광 컴포넌트들(10054C)은 렌더링 공간의 다른 비교적 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6013)를 표현할 수 있다. 도 28a-도28b의 예들에 추가하여, 비교적 넓은 광 원뿔(10052)은, 예컨대, 도 32b를 참조하여 위에서 설명된 렌더링 공간의 중앙-외 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6011)뿐만 아니라, 렌더링 공간의 중앙집중형 구역의 가상 콘텐츠, 이를테면, 가상 오브젝트(6012)를 포함할 수 있다. 일부 예들에서, 비교적 넓은 광 원뿔(10052)은 광 컴포넌트들(10054C)에 의해 표현되는 것과 동일하지만 해상도가 더 낮은 가상 콘텐츠를 표현하는 광 컴포넌트들을 더 포함할 수 있다.
[0377] 도 33a-도 33b는 일부 실시예들에 따른, 제1 이미지 스트림 및 제2 이미지 스트림을 제공하기 위한 디스플레이 시스템(11000)을 개략적으로 예시하며, 여기서 제1 이미지 스트림과 연관된 제1 광빔(8052) 및 제2 이미지 스트림과 연관된 제2 광빔(8054)을 다중화하기 위해 시분할 다중화가 사용된다. 디스플레이 시스템(11000)은 디스플레이 시스템(8000)과 유사하다. 이미지 소스(11010)는 시분할 다중화된 제1 광빔(8052) 및 제2 광빔(8054)을 제공하도록 구성될 수 있다. 제1 광빔(8052) 및 제2 광빔(8054)은 이미지 소스(8010)로부터 출력된 것과 동일한 편광 상태에 있을 수 있다. 제1 광빔(8052) 및 제2 광빔(8054)은, 정확한 광선-추적 광선들을 표현하도록 의도되지 않은 개략적 광선들로서 도 33a-도33b에 묘사된다는 것이 주목되어야 한다.
[0378] 디스플레이 시스템(11000)은 스위칭 편광 회전자(11020)를 더 포함할 수 있으며, 스위칭 편광 회전자(11020)의 동작은 제1 광빔(8052) 및 제2 광빔(8054)의 시분할 다중화와 동기화될 수 있다. 예컨대, 스위칭 편광 회전자(11020)는, 스위칭 회전자(11020)를 통과한 후에 제1 광빔(8052)의 편광이 변하지 않는 반면 스위칭 편광 회전자(11020)를 통과한 후에 제2 광빔(8054)의 편광은 90도만큼 회전되도록(또는 그 반대의 경우도 마찬가지임) 동작될 수 있다. 따라서, 제1 광빔(8052)은 도 33a에 예시된 바와 같이, 제1 광학 경로를 따라 편광 빔 분할기(8030)에 의해 반사될 수 있고, 제2 광빔(8054)은 도 33b에 예시된 바와 같이, 제2 광학 경로를 따라 편광 빔 분할기(8030)에 의해 투과될 수 있다.
[0379] 일부 다른 실시예들에서, 스위칭 편광 회전자(11020)는 이미지 소스(11010)의 부분일 수 있다. 그러한 경우들에서, 제1 광빔(8052) 및 제2 광빔(8054)은 순차적으로 방출될 것이고, 이미지 소스(8010)로부터 투사된 제1 광빔(8052)은 제1 방향으로 편광될 것이고, 이미지 소스(8010)로부터 투사된 제2 광빔(8054)은 제2 방향으로 편광될 것이다.
[0380] 일부 실시예들에 따르면, 제1 이미지 스트림과 연관된 제1 광빔(8052) 및 제2 이미지 스트림과 연관된 제2 광빔(8054)이 시분할 다중화되는 경우들에서, 스위칭가능 미러는 도 30a-도 30b, 도 31c-도 31d, 및 도 33a-도 33b에 도시된 편광 빔 분할기(8030) 대신에 사용될 수 있다. 스위칭가능 미러의 스위칭은 제1 광빔(8052) 및 제2 광빔(8054)의 시분할 다중화와 동기화될 수 있다. 예컨대, 스위칭가능 미러는, 스위칭가능 미러가 도 30a, 도 31c, 및 도 33a에 예시된 바와 같이 제1 광학 경로를 따라 제1 광빔(8052)을 반사하는 미러로서 동작하도록 제1 광빔(8052)에 대한 제1 상태로 스위칭될 수 있고, 스위칭가능 미러가 도 30b, 도 31d, 및 도 33b에 예시된 바와 같이 제2 광학 경로를 따라 제2 광빔(8054)을 투과하는 투명한 광학 엘리먼트로서 동작하도록 제2 광빔(8054)에 대한 제2 상태로 스위칭될 수 있다.
[0381] 일부 실시예들에 따르면, 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔을 다중화하기 위해 파장-분할 다중화가 사용될 수 있다. 예컨대, 제1 광빔은 적색, 녹색, 및 청색의 제1 세트의 파장 범위들의 광으로 구성될 수 있고, 제2 광빔은 적색, 녹색, 및 청색 광의 제2 세트의 파장 범위들의 광으로 구성될 수 있다. 두 세트들의 파장 범위들은 서로에 대해 시프팅될 수 있지만, 제2 세트의 파장 범위들의 합성은 제1 세트의 파장 범위들의 합성에 의해 생성된 백색 광과 실질적으로 동일한 백색 광을 생성한다.
[0382] 파장-분할 다중화가 사용되는 경우들에서, 디스플레이 시스템은, 제1 이미지 스트림과 연관된 제1 광빔 및 제2 이미지 스트림과 연관된 제2 광빔을 분리하기 위해 편광 빔 분할기를 대신하는 이색성 빔 분할기를 포함할 수 있다. 예컨대, 이색성 빔 분할기는 제1 세트의 파장 범위들에 대한 높은 반사율 값 및 낮은 투과율 값, 및 제2 세트의 파장 범위들에 대한 낮은 반사율 값 및 높은 투과율 값을 갖도록 구성될 수 있다. 일부 실시예들에서, 제1 광빔 및 제2 광빔은 스위칭가능 편광 회전자에 대한 필요성 없이 동시에 투사될 수 있다.
[0383] 도 34a-도 34b는 일부 실시예에 따른 디스플레이 시스템(12000)을 개략적으로 예시한다. 디스플레이 시스템(12000)은 이미지 소스(12010)를 포함한다. 이미지 소스(12010)는 도 34a에 예시된 바와 같은 제1 이미지 스트림과 연관된 제1 광빔(12052) 및 도 34b에 예시된 바와 같은 제2 이미지 스트림과 연관된 제2 광빔(12054)을 투사하도록 구성될 수 있다. 도 26e-도 26f를 참조하여 앞서 논의된 바와 같이, 제1 이미지 스트림은 넓은 FOV 및 저해상도 이미지 스트림일 수 있고, 제2 이미지 스트림은 좁은 FOV 및 고해상도 이미지 스트림일 수 있다. 제1 광빔(12052) 및 제2 광빔(12054)은, 예컨대 편광-분할 다중화, 시분할 다중화, 파장-분할 다중화 등을 사용하여 다중화될 수 있다. 도 34a-도 34b에서, 제1 광빔(12052) 및 제2 광빔(12054)은 정확한 광선-추적 광선들을 표현하도록 의도되지 않은 개략적 광선들로서 묘사된다.
[0384] 디스플레이 시스템(12000)은, 일부 실시예들에 따라 제1 광빔(12052) 및 제2 광빔(12054)을 역-다중화하도록 구성된 빔 분할기(12030)를 더 포함할 수 있다. 예컨대, 빔 분할기(12030)는 PBS(polarization beam splitter) 또는 이색성 빔 분할기일 수 있다. 빔 분할기(12030)는, 도 34a에 예시된 바와 같이 제1 광학 경로를 따라 제1 광빔(12052)을 반사하고, 도 34B에 예시된 바와 같이 제2 광학 경로를 따라 제2 광빔(12054)을 투과하도록 구성될 수 있다.
[0385] 디스플레이 시스템(12000)은 스위칭가능 광학 엘리먼트(12040)를 더 포함할 수 있다. 스위칭가능 광학 엘리먼트(12040)가 단일 엘리먼트로서 예시되지만, 스위칭가능 광학 엘리먼트(12040)는 스위칭가능 릴레이 렌즈 어셈블리로서 기능하는 한 쌍의 서브 스위칭가능 광학 엘리먼트들을 포함할 수 있다. 각각의 서브 스위칭가능 광학 엘리먼트는, 각각의 서브 스위칭가능 광학 엘리먼트가 제1 광 파워를 갖는 광학 렌즈로서 동작하도록 제1 상태로 스위칭될 수 있거나 또는 각각의 서브 스위칭가능 광학 엘리먼트가 제1 광 파워와 상이한 제2 광 파워를 갖는 광학 렌즈로서 동작하도록 제2 상태로 스위칭될 수 있다. 이로써, 스위칭가능 광학 엘리먼트(12040)는, 도 34a에 예시된 바와 같이 서브 스위칭가능 광학 엘리먼트들이 제1 상태로 스위칭될 때 제1 각도 배율을 제공할 수 있고, 도 34b에 예시된 바와 같이 서브 스위칭가능 광학 엘리먼트들이 제1 상태로 스위칭될 때 제1 각도 배율과 상이한 제2 각도 배율을 제공할 수 있다.
[0386] 각각의 서브 스위칭가능 광학 엘리먼트는, 예컨대 액정 가변초점 렌즈들, 튜닝가능 회절 렌즈들, 또는 변형가능 렌즈들을 포함하는 많은 형태들을 취할 수 있다. 일반적으로, 자신의 광 파워를 조정하기 위해 형상 또는 구성을 변경하도록 구성될 수 있는 임의의 렌즈가 적용될 수 있다. 일부 실시예들에서, 각각의 서브 스위칭가능 광학 엘리먼트는 제1 편광을 갖는 광에 대한 제1 광 파워 및 제2 편광을 갖는 광에 대한, 제1 광 파워와 실질적으로 상이한 제2 광 파워를 갖는 다초점 복굴절 렌즈일 수 있다. 예컨대, 다초점 복굴절 렌즈들은, 정의된 조건들 하에서 중합체를 신장시킴으로써 배향 프로세스에 의해 복굴절이 이루어진 중합체를 포함할 수 있어서, 중합체는 보통의 굴절률(no) 및 특별한 굴절률(ne)을 나타낸다.
[0387] 제1 광빔(12052) 및 제2 광빔(12054)이 시분할 다중화되는 경우들에서, 스위칭가능 광학 엘리먼트(12040)의 스위칭은 제1 광빔(12052) 및 제2 광빔(12054)의 시분할 다중화와 동기화될 수 있어서, 각각의 서브 스위칭가능 광학 엘리먼트는 도 34a에 예시된 바와 같이 제1 광빔(12052)에 대한 제1 광 파워를 갖는 광학 렌즈로서 동작하고 그리고 도 34b에 예시된 바와 같이 제2 광빔(12054)에 대한 제2 광 파워를 갖는 광학 렌즈로서 동작한다. 따라서, 제1 이미지 스트림과 연관된 제1 광빔(12052)은, 그들이 스위칭가능 광학 엘리먼트(12040)를 출사할 때 스위칭가능 광학 엘리먼트(12040)에 의해 각을 이루어 확대될 수 있고, 후속적으로, 비교적 넓은 제1 시야(FOV1)로 제1 이미지 스트림을 제공하기 위한 뷰잉 어셈블리에 투사될 수 있다.
[0388] 디스플레이 시스템(12000)은 도 34b에 예시된 바와 같이 제2 광학 경로를 따라 빔 분할기(12030)의 다운스트림에 포지셔닝된 제1 미러(12060)를 더 포함할 수 있다. 제1 미러(12060)는 제2 광빔(12054)을 빔 분할기(12030)를 향해 다시 반사할 수 있고, 이는 후속적으로, 빔 분할기(12030)에 의해 제2 미러(12070)를 향해 반사될 수 있다.
[0389] 제2 미러(12070)는 도 34b에 예시된 바와 같이 빔 분할기(12030) 아래에 포지셔닝된다. 제2 미러(12070)는 제2 광빔(12054)을 빔 분할기(12030)를 향해 다시 반사할 수 있고, 이는 후속적으로, 빔 분할기(12030)에 의해 스위칭가능 광학 엘리먼트(12040)를 향해 투과될 수 있다. 앞서 설명된 바와 같이, 각각의 서브 스위칭가능 광학 엘리먼트는, 그 각각의 서브 스위칭가능 광학 엘리먼트가 제2 광빔(12054)에 대한 제2 광 파워를 갖는 광학 렌즈로서 동작할 수 있도록, 제2 상태로 스위칭될 수 있다. 제2 광 파워는 제1 상태와 연관된 제1 광 파워 미만이거나, 또는 실질적으로 제로 또는 네거티브일 수 있다. 따라서, 제2 광빔(12054)은 제1 광빔(12052) 미만의 양만큼 각을 이루어 확대될 수 있거나, 또는 이들이 스위칭가능 광학 엘리먼트(12040)를 출사할 때, 확대되지 않거나 또는 역확대될 수 있다. 따라서, 제2 광빔(12054)은 후속적으로, 비교적 좁은 제2 시야(FOV2)로 제2 이미지 스트림을 제공하기 위해 뷰잉 어셈블리에 투사될 수 있다.
[0390] 일부 실시예들에서, 제2 미러(12070)는 도 34b에 예시된 바와 같이 2개 방향들로 기울어질 수 있는 2차원(2D) 스캐닝 미러(즉, 2개의 회전 자유도들을 갖는 스캐닝 미러), 이를테면, 2D MEMS 스캐너로서 구성될 수 있다. 제2 미러(12070)의 기울어짐은 사용자의 눈의 고정 포지션에 기반하여 제어될 수 있어서, 제2 광빔(12054)은 제2 이미지 스트림을 사용자의 중심와 비전에서 투사할 수 있다. 일부 다른 실시예들에서, 제2 미러(12070)는 고정된 미러일 수 있고, 제1 미러(12060)는 2D 스캐닝 미러일 수 있다. 일부 추가적인 실시예들에서, 제1 미러는, 제1 방향으로 기울어질 수 있는 1차원(1D) 스캐닝 미러(즉, 1개의 회전 자유도를 갖는 스캐닝 미러)일 수 있고, 제2 미러는 제2 방향으로 기울어질 수 있는 1D 스캐닝 미러일 수 있다.
[0391] 도 35는 일부 다른 실시예에 따른 디스플레이 시스템(13000)을 개략적으로 예시한다. 디스플레이 시스템(13000)은 이미지 소스(13010)를 포함한다. 이미지 소스(13010)는 RHCP(right-handed circular polarization)에서 제1 이미지 스트림과 연관된 제1 광빔을 제공하고 그리고 LHCP(left-handed circular polarization)에서 제2 이미지 스트림과 연관된 제2 광빔을 제공하도록(또는 그 반대의 경우도 마찬가지임) 구성될 수 있다.
[0392] 디스플레이 시스템(13000)은, 제1 광빔 및 제2 광빔을 역-다중화하도록 구성된 빔 분할기(13030)를 더 포함할 수 있다. 예컨대, 빔 분할기(13030)는, 우향 원편광된 제1 광빔을 반사하고 좌향 원편광된 제2 광빔을 투과하는 액정 재료를 포함할 수 있다.
[0393] 디스플레이 시스템(13000)은 제1 스위칭가능 광학 엘리먼트(13042) 및 제2 스위칭가능 광학 엘리먼트(13044)를 더 포함할 수 있으며, 제1 스위칭가능 광학 엘리먼트(13042)와 제2 스위칭가능 광학 엘리먼트(13044)의 조합은 릴레이 렌즈 어셈블리로서의 역할을 할 수 있다. 제1 스위칭가능 광학 엘리먼트(13042) 및 제2 스위칭가능 광학 엘리먼트(13044) 각각은, 제1 스위칭가능 광학 엘리먼트(13042) 및 제2 스위칭가능 광학 엘리먼트(13044) 각각이 우향 원편광된 광을 위한 제1 초점 길이(fRHCP) 및 좌향 원편광된 광을 위한 제2 초점 길이(fLHCP)를 갖도록, 액정 재료를 포함할 수 있다. 따라서, 제1 스위칭가능 광학 엘리먼트(13042)와 제2 스위칭가능 광학 엘리먼트(13044)의 조합은 제1 각도 배율을 제1 광빔에 제공할 수 있고, 제1 각도 배율과 상이한 제2 각도 배율을 제2 광빔에 제공할 수 있다. 예컨대, 제1 각도 배율은 1보다 더 높을 수 있고, 제2 각도 배율은 1과 동일하거나 또는 1 미만일 수 있다.
[0394] 도 36a는 일부 실시예들에 따른 증강 현실 눈-인근 디스플레이 시스템(14000)을 개략적으로 예시한다. 도 36a는 한쪽 눈(210)에 대한 디스플레이 시스템들(14000) 중 일부를 도시한다. 실제로, 제2의 그러한 시스템은 사용자의 다른 눈에 제공될 것이다. 2개의 그러한 시스템들은 실시예들에 따른 증강 현실 안경에 통합된다. 도 36a를 참조하면, 적색 레이저 다이오드(14002)는, 적색 레이저 시준 렌즈(14004)를 통해 RGB(Red-Green-Blue) 이색성 결합기 큐브(14008)의 적색 광 입력면)(14006)에 광학적으로 커플링된다. 녹색 레이저 다이오드(14010)는, 녹색 레이저 시준 렌즈(14012)를 통해 RGB 이색성 결합기 큐브(14008)의 녹색 광 입력면(14014)에 광학적으로 커플링된다. 유사하게, 청색 레이저 다이오드(14016)는, 청색 레이저 시준 렌즈(14018)를 통해 RGB 이색성 결합기 큐브(14008)의 청색 광 입력면(14020)에 광학적으로 커플링된다. RGB 이색성 결합기 큐브(14008)는 출력면(14022)을 갖는다. RGB 이색성 결합기 큐브(14008)는, 적색 레이저 다이오드(14002)로부터의 광을 출력면(14022)을 통해 반사시키기 위해, 45도로 세팅된 적색 반사 이색성 미러(단파장 통과 미러)(14024)를 포함한다. RGB 이색성 결합기 큐브(14008)는 또한, 청색 레이저 다이오드(14016)로부터의 광을 출력면(14022)에 반사시키기 위해, 135도(적색 반사 이색성 미러(14024)에 수직임)로 세팅된 청색 반사 이색성 미러(장파장 통과)(14026)를 포함한다. 녹색 레이저 다이오드(14010)로부터의 광은 적색 반사 이색성 미러(14024) 및 청색 반사 이색성 미러(14026)를 통과해(이들에 의해 투과됨) 출력면(14022)으로 전달된다. 적색 반사 이색성 미러(14024) 및 청색 반사 이색성 미러(14026)는 박막 광학 간섭 필름들로서 구현될 수 있다.
[0395] 적색, 녹색, 및 청색 레이저 다이오드들(14002, 14010, 14016)은 적색, 청색 및 녹색 컬러 채널 이미지 정보로 별개로 변조된다. 사이클은, 사용자의 망막의 중심와로 지향될 이미지 정보가 출력되는 제1 기간 및 사용자의 망막의 더 큰 부분으로 지향될 이미지 정보가 순차적으로 반복되는 후속적 기간을 포함한다. 제1 기간에서 사용자의 망막으로 지향된 이미지 정보와 사이클의 후속적 기간 동안에 사용자의 망막으로 지향된 이미지 정보 사이에는 일부 각도 오버랩이 있을 수 있다. 다른 말로, 사용자의 눈의 특정 부분들은 기간들 둘 모두 동안 광을 수신할 수 있다. 선명한 경계를 달성하려고 시도하기보다는, 테이퍼링 세기를 특징으로 하는 오버랩핑 경계들이 사용될 수 있다. 앞서 언급된 기능성을 달성하기 위한 광학 어레인지먼트가 아래에서 설명될 것이다.
[0396] 이색성 결합기 큐브(14008)는, 적색, 청색 및 녹색 컴포넌트들을 포함하는 시준된 빔(14028)을 출력한다. 시준된 빔(14028)은 제1의 2개의 자유도의 이미지 스캐닝 미러(14030) 상에 입사된다. 이미지 스캐닝 미러(14030)는 2개의 회전 자유도들을 가지며, 미리 결정된 각도 범위 내의 각도들로 배향될 수 있다. 이미지 스캐닝 미러(14030)의 각각의 배향은 이미지 공간에서의 각도 좌표들에 효과적으로 대응한다. 이미지 스캐닝 미러(14030)의 배향은, 이미지를 궁극적으로 사용자의 눈에 제공하기 위해, 이미지 정보에 기반하여 적색, 녹색 및 청색 레이저 다이오드들(14002, 14010, 14016)의 변조에 따른 조정으로 스캐닝된다.
[0397] 이미지 스캐닝 미러(14030)에 의해 편향된 광은 제1 릴레이 렌즈 엘리먼트(14032)를 통해 편광 회전 스위치(14034)에 커플링된다. 대안적으로, 편광 회전 스위치는 레이저 다이오드들(14002, 14010, 14016)에 더 근접하게 위치될 수 있다. 편광 회전 스위치(14034)는 전자장치(도 36a에 미도시)에 의해 전기적으로 제어된다. 편광 회전 스위치(14034)는 액정 편광 회전 스위치로서 구현될 수 있다. 편광 회전 스위치(14034)는, 레이저 다이오드들(14002, 14010, 14016)에 의해 출력되고, 편광을 변경함이 없이 시준 렌즈들(14004, 14012, 14018) 및 RGB 이색성 결합기 큐브(14008)를 통해 전달되는 특정 선형 편광의 광을 수신한다. 외부 전기 신호들의 제어 하의 편광 회전 스위치(14034)는 인입 광의 편광을 변경함이 없이 인입 광을 통과시키거나 또는 그 광의 편광을 90도만큼 회전시킨다.
[0398] 편광 회전 스위치(14034)를 출사하는 광은 PBS(polarization beam splitter)(14036)에 커플링된다. PBS(14036)에는 PBS(14036)에 걸쳐 대각선으로 배열된 편광 선택 반사기(14038)가 내부에 임베딩되어 있다. 편광 선택 반사기(14038)는 평행한 금속 전도성 라인들의 어레이(도 36a에서 보이지 않음)를 포함하는 타입일 수 있다. 금속 전도성 라인들에 평행한 편광된 광(즉, 전계 방향을 가짐)은 반사되고, 전도성 금속 라인들에 수직인 편광된 광은 투과된다. 도 36a에 도시된 실시예의 경우, 전도성 금속 라인들이 도면 시트의 평면에 수직으로 배향되는 것으로 가정된다. 그러한 배향으로, 편광 선택 반사기(14038)는 S-편광된 광을 반사하고, P-편광된 광을 투과할 것이다.
[0399] 편광 회전 스위치(14034)가 P-편광된 광을 출력하는 상태에 있는 경우를 먼저 고려하면, 그러한 P-편광된 광은 편광 선택 반사기(14038)를 통과하고 그리고 PBS(14036)를 완전히 통과하여 제1 QWP(quarter wave plate)(14040)에 도달할 것이다. 제1 QWP(14040)는 P-편광된 광을 RHCP(right hand circularly polarized) 광으로 변환하도록 배향된다. (대안적으로, 제1 QWP는 P-편광된 광을 LHCP로 변환하도록 배향될 수 있으며, 여기서 도 36a의 나머지 설명을 고려한 후에 자명해질 바와 같이, 아래에서 설명되는 다른 컴포넌트들에 대한 변경들이 또한 이루어질 것이다.) 제1 QWP(14040)를 통과한 후에 광은 제2 릴레이 렌즈 엘리먼트(14042)에 도달할 것이다. 제1 릴레이 렌즈 엘리먼트(14032) 및 제2 릴레이 렌즈 엘리먼트(14042)는 1 배율 무한 초점 복합 렌즈에 대한 것이다. 이미지 스캐닝 미러(14030)는, 제1 릴레이 렌즈 엘리먼트(14032)의 초점 길이와 동일한 거리만큼 제1 릴레이 렌즈 엘리먼트(14032)로부터 이격됨이 주목된다. 제2 릴레이 렌즈 엘리먼트(14032)는 광을 재시준할 것이다(광은 시준 렌즈들(14004, 14012, 14018)에 의해 초기에 시준되었음). 또한, 제2 릴레이 렌즈 엘리먼트(14042)로부터 전파되는 광은 제2 릴레이 렌즈 엘리먼트(14042)의 초점 길이만큼 제2 릴레이 렌즈 엘리먼트(14042)로부터 이격된 포인트(P1) 인근에서 광학 축(OA)을 가로지를 것임이 주목된다. 도 36a에 도시된 실시예에서, 제1 릴레이 렌즈 엘리먼트(14032) 및 제2 릴레이 렌즈 엘리먼트(14042)는 동일한 초점 길이를 갖는다.
[0400] 제2 릴레이 렌즈 엘리먼트(14042)를 출사한 후에, 광은 듀얼 배율 무한 초점 확대경(14048)의 제1 그룹(14046)의 제1 그룹 포지티브 굴절 렌즈(14044) 상에 입사될 것이다. 제1 그룹 포지티브 굴절 렌즈(14044)에 부가하여, 제1 그룹(14046)은 또한, 제1 그룹 기하학적 위상 렌즈(14050)를 포함한다. 제1 그룹 기하학적 위상 렌즈(14050)를 통과한 후에, 광은 제2 그룹 포지티브 굴절 렌즈(14054) 및 제2 그룹 기하학적 위상 렌즈(14056)를 포함하는 제2 그룹(14052)을 통과한다. 기하학적 위상 렌즈들(14050, 14056)은 패턴방식으로 정렬된 액정 재료를 포함한다. 기하학적 위상 렌즈들("편광 지향 평탄 렌즈들"로 또한 알려짐)은 뉴저지, 배링턴의 Edmund Optics로부터 입수가능하다. 기하학적 위상 렌즈들(14050, 14056)은, 기하학적 위상 렌즈들(14050, 14056)이, 기하학적 위상 렌즈들(14050, 14056)의 좌우상과 매칭되는 좌우상(RH 또는 LH)을 갖는 원편광된 광에 대한 포지티브 렌즈들, 및 대향 좌우상의 원편광된 광에 대한 네거티브 렌즈들이라는 특성을 갖는다. 기하학적 위상 렌즈들은 또한, 광을 투과하는 데 있어서, 기하학적 위상 렌즈들이, 원편광된 광의 좌우상을 반전시키는 특성을 갖는다. 도 36a에 도시된 실시예에서, 기하학적 위상 렌즈들(14050, 14056)은 우향이다. 이 시스템은 좌향 기하학적 위상 렌즈들의 사용을 수용하도록 수정될 수 있다는 것이 주목되어야 한다.
[0401] RHCP 광이 제1 그룹(14046)을 통과할 때의 동작에서, 제1 그룹 기하학적 위상 렌즈(14050)는 네거티브 렌즈로서의 역할을 할 것이어서, 제1 그룹(14046)의 포지티브 광 파워는 제1 그룹 굴절 렌즈(14044) 단독의 포지티브 광 파워 미만일 것이고, 제1 그룹(14046)은 제1 그룹(14046)의 주요 평면으로부터 도 36a에 표시된 포인트(FRHCP)까지의 거리와 대략 동일한 초점 길이를 가질 것이다. 제1 그룹 기하학적 위상 렌즈(14050)를 통해 전파되는 것은 광을 LHCP(left handed circularly polarized) 상태로 변환할 것이다. LHCP 상태의 광의 경우, 제2 그룹 기하학적 위상 렌즈(14056)는 포지티브 굴절력을 가질 것이며, 따라서, 제2 그룹(14052)의 포지티브 굴절력은 제2 그룹 포지티브 굴절 렌즈(14054) 단독의 포지티브 굴절력보다 더 높을 것이다. 이 경우, 제2 그룹(14052)의 초점 길이는 또한, 제2 그룹(14052)의 주요 평면으로부터 포인트(FRHCP)까지의 거리와 동일할 것이고, 아래첨자 "RHCP"는 확대경(14048)에 들어가는 광의 편광 상태를 지칭한다. 포인트(FRHCP)가 제1 그룹(14046)보다 제2 그룹(14052)에 더 근접하기 때문에, 듀얼 확대 무한 초점 확대경(14048)은 제2 릴레이 렌즈 엘리먼트(14042)로부터 수신된 RHCP 광에 대한 확대경(1보다 더 높은 배율을 가짐)이 될 것이다.
[0402] 이제, 편광 회전 스위치(14034)가, S-편광된 광을 출력하는 상태에 있는 제2 경우를 고려하면, 그러한 S-편광된 광은 편광 선택 반사기(14038)에 의해 공칭적으로 90도 반사되고, 그런다음, 제2 QWP(14058)를 통과한 후에, 제3 릴레이 렌즈 엘리먼트(14060)를 통과하며, 제3 릴레이 렌즈 엘리먼트(14060)는 광을 고정된 미러(14062)를 향해 편향시킨다. S-편광된 광에 대해, 제1 릴레이 렌즈 엘리먼트(14032)는 제3 릴레이 렌즈 엘리먼트(14060)와 조합하여, 1 배율 무한 초점 릴레이를 형성함이 주목된다. 고정된 미러(14062)는 광을 다시 제3 릴레이 렌즈 엘리먼트(14060) 및 제2 QWP(14058)를 통해 반사시켜, 광학 축(OA)에 대해 광빔의 각도의 절대 값이 아니라 부호를 변경한다. 제2 QWP(14058)를 통한 제1 통과 후에, S-편광된 광은 특정 좌우상의 원편광된 광으로 변환된다(이는 제2 QWP(14058)의 고속 및 저속 축들의 배향을 선정함으로써 RHCP 또는 LHCP가 되도록 선택될 수 있음). 고정된 미러(14062)에 의한 반사 시에, 원편광된 광의 좌우상은 반전된다. 제2 QWP를 통한 제2 통과 시에, S-편광되었던 원편광된 광은 (일시적으로) P-편광된 광으로 변환되며, 이는 그런다음, 편광 선택 반사기(14038)를 통과한다.
[0403] 편광 선택 반사기(14038)를 통과한 후에, 광은 제3 QWP(14064) 및 제4 릴레이 렌즈 엘리먼트(14066)를 통과하고, 중심와 추적 미러(14068)로 지향된다. 시스템(14000)에서, 이미지 스캐닝 미러(14030), 고정된 미러(14060), 및 중심와 추적 미러(14068)가 릴레이 렌즈 엘리먼트(14032, 14066, 14060)의 초점 길이만큼 릴레이 렌즈 엘리먼트들(14032, 14066, 14060)로부터 각각 이격되고, QWP들(14040, 14058, 14064)이 릴레이 렌즈 엘리먼트들(14032, 14042, 14060, 14066) 이후에 포지셔닝되기 때문에, QWP들(14040, 14058, 14064) 상의 광 입사의 각도는 비교적 낮으며, 이는 QWP들(14040, 14058, 14064)의 개선된 성능으로 이어진다. 대안적인 실시예에 따르면, 2개의 각도 자유도들의 눈 움직임(예컨대, 방위각 및 고도)을 추적하는 단일 중심와 추적 미러(1268)를 갖기보다는, 고정된 미러(14062)는 제2 중심와 추적 미러(미도시)로 대체될 수 있고, 2개의 중심와 추적 미러들 중 하나는 하나의 자유도의 눈 움직임을 추적하는 데 사용될 수 있고, 제2 중심와 추적 미러는 제2 자유도의 눈 움직임을 추적하는 데 사용될 수 있다. 그러한 대안에서, 단일 자유도 중심와 추적 미러들이 사용될 수 있다. 도 36a를 다시 참조하면, 제3 릴레이 렌즈 엘리먼트(14060)는 제4 릴레이 렌즈 엘리먼트(14066)와 조합하여, 1 배율 무한 초점 릴레이를 형성한다. 중심와 추적 미러(14068)는 이미지 스캐닝 미러(14030)에 의해 생성된 광빔(14028)의 편향에 추가할 수 있고, 이로써, 사용자의 눈(210)의 중심와(미도시)를 추적하기 위해, 이미지 스캐닝 미러(14030) 오프 축에 의해 생성된 빔 각도들의 전체 입체각 범위의 평균 각도를 편향시킨다. 눈-추적 카메라(14098)는 사용자의 눈(210)의 시선을 추적한다. 눈-추적 카메라(14098)는 중심와 추적 제어 시스템(14097)에 커플링된다. 눈-추적 카메라(14098)는, 중심와 추적 제어 시스템(14097)에 입력되는 시선을 표시하는 정보를 출력한다. 중심와 추적 제어 시스템(14097)은 중심와 추적 미러(14068)에 구동가능하게 커플링된다. 눈-추적 카메라(14098)로부터 수신된 시선 정보에 기반하여, 중심와 추적 제어 시스템(14097)은 사용자의 눈(14099)의 중심와를 추적하도록 중심와 추적 미러(14068)를 배향시키기 위해 중심와 추적 미러(14068)에 신호를 출력한다. 중심와 추적 제어 시스템(14097)은, 사용자의 시선을 결정하고 사용자 시선에 기반하여 중심와 추적 미러를 제어하기 위한 신호를 생성하기 위해, 이미지 프로세싱을 사용할 수 있다.
[0404] 중심와 추적 미러(14068)에 의해 반사된 후, 광은 제4 중계 렌즈 엘리먼트(14066) 및 제3 QWP(14064)를 통해 다시 통과한다. 제3 QWP(14064)를 통한 광의 제1 통과는 광을 원편광된 광으로 변환하고, 중심와 추적 미러(14068)에 의한 반사는 원편광된 광의 좌우상을 반전시키며, 제3 QWP(14064)를 통한 제2 통과는 광을 다시 S-편광된 상태로 변환한다. 광은 이제 S-편광된 상태이기 때문에, 이는 편광 선택 반사기(14038)에 의해 반사되고 제1 QWP(14040)를 향해 공칭 90도 편향된다. 제1 QWP(14040)는 S-편광된 광을 LHCP(left hand circularly polarized) 광으로 변환한다. 그런다음, 광은 제2 중계 렌즈 엘리먼트(14042)를 통과한다. 제4 중계 렌즈 엘리먼트(14066)는 제2 중계 렌즈 엘리먼트(14042)와 조합하여 단일 배율 무한 초점 복합 렌즈를 형성한다. 중계 렌즈 엘리먼트들(14032, 14042, 14060, 14066)은 편광 선택 미러(14038)의 중심을 중심으로 90도 인터벌들로 대칭적으로 배치된다. 일반적으로, (광 전파 순서에 있어서) 연속적인 중계 렌즈 엘리먼트들(14032, 14042, 14060, 14066)은 단일 배율 무한 초점 중계들을 형성한다. 공초점이 되도록 포지셔닝된 연속적인 중계 렌즈 엘리먼트들은 PBS(14036)의 절반에 걸쳐 공통 초점을 공유한다. 중계 렌즈 엘리먼트들(14032, 14042, 14060, 14066)은, 비-제한적인 예들로, 비구면 렌즈들, 무수차 렌즈들, 하이브리드 굴절 및 회절 렌즈들 및 무색성 렌즈들, 예컨대, 회절 렌즈들과 함께 굴절 렌즈들을 포함하는 복합 렌즈들을 포함할 수 있다. 본 설명에서 사용되는 바와 같이, "중계 렌즈 엘리먼트"는 단일 렌즈 또는 복합 렌즈를 포함한다.
[0405] LHCP 광의 경우, 제1 그룹 기하학적 위상 렌즈(14050)는 제1 그룹(14046)의 굴절력을 증가시키는 포지티브 굴절력을 갖는다. LHCP의 경우, 제1 그룹(14044)의 초점 길이는 제1 그룹(14044)의 주 평면으로부터 포인트(FLHCP)까지의 거리와 같다. 제1 그룹 기하학적 위상 렌즈(14050)를 통과할 시에, LHCP 광은 RHCP 광으로 변환된다. 후속적으로, 광은 제2 그룹(14052)을 통과한다. RHCP 광의 경우, 제2 그룹 기하학적 위상 렌즈(14056)는 네거티브 굴절력을 가지며, 그에 따라, 제2 그룹(14052)의 포지티브 굴절력은 제2 그룹 포지티브 굴절 렌즈(14054) 단독의 굴절률보다 낮을 것이다. RHCP 광의 경우, 제2 그룹(14052)은, 제2 그룹(14052)의 주 평면으로부터 포인트(FLHCP)까지의 거리와 같은 초점 길이를 갖는다. 그에 따라서, 이중 배율 무한 초점 확대경(14048)에 들어가는 LHCP 광의 경우, 이중 배율 무한 초점 확대경(14048)은 1보다 작은 배율을 갖는 역확대경으로서 기능한다. 따라서, 중심와 추적 미러(14068)에 의해 편향된 이미지 스캐닝 미러(14030)에 의해 생성되는 광빔 방향들의 고체 각도 범위는, 사용자의 시선이 시프팅됨에 따라 사용자의 중심와를 추적하는 감소된 각도 범위를 커버하도록 역확대된다. 인입 RHCP의 경우, 이중 배율 무한 초점 확대경(14048)은 1보다 더 큰 배율을 갖는다는 것을 리콜한다. 1보다 더 큰 배율은 중심와 외부의 사용자의 망막의 일부에 대응하는 더 넓은 시야를 제공하는 데 사용된다.
[0406] 특정 실시예들에서, 제2 그룹(14052)은 제1 그룹(14046)의 미러 이미지이며, 이 경우, 제1 그룹 기하학적 위상 렌즈(14050) 및 제2 그룹 기하학적 위상 렌즈(14056)는 동일하고, 제1 그룹 포지티브 굴절 렌즈(14044) 및 제2 그룹 포지티브 굴절 렌즈(14054)는 동일하다. 만약 굴절 렌즈들(14044, 14054)이 상이한 굴절력의 표면들을 갖는다면, 이들은, 이중 배율 무한 초점 확대경(14048)의 미러 이미지 대칭성을 유지하기 위해, 동일한 굴절력의 표면들이 서로 향하도록 포지셔닝될 수 있다. 이러한 경우, 각각의 그룹(14046, 14052)은, 기하학적 위상 렌즈들(14050, 14056)이 포지티브 렌즈로서의 역할을 하는지 또는 네거티브 렌즈로서의 역할을 하는지에 의존하여, 2개의 상이한 주 평면들을 가질 수 있기는 하지만, 그렇더라도, 2개의 그룹들(14046, 14052)은, 확대경(14048)에 LHCP 광이 들어가든지 또는 RHCP 광이 들어가든지에 관계없이, 확대경(14048)의 무한 초점 배율을 유지하기 위해 2개의 그룹들(14046, 14052)의 공초점 관계를 유지하는 고정된 거리에 서로로부터 이격될 수 있다.
[0407] 제1 접안렌즈 도파관(14070), 제2 접안렌즈 도파관(14072) 및 제3 접안렌즈 도파관(14074)을 포함하는 3개의 증강 현실 안경 접안렌즈 도파관들의 세트는, 이중 배율 무한 초점 확대경(14048)의 제2 그룹(14052)을 넘어서 포지셔닝되며 그리고 (도시된 바와 같이, 자유 공간을 통해) 이중 배율 무한 초점 확대경(14048)의 제2 그룹(14052)에 광학적으로 커플링된다. 중첩 관계로 배치된 3개의 접안렌즈 도파관들(14070, 14072, 14074)이 도시되어 있지만, 대안적으로, 상이한 수의 접안렌즈 도파관들이 제공된다. 예컨대, 3개의 접안렌즈 도파관들의 다수의 세트들이 제공될 수 있으며, 각각의 세트는 출사 광에 상이한 파면 곡률(상이한 가상 이미지 거리에 대응함)을 부여하도록 구성된다. 3개의 접안렌즈 도파관들(14070, 14072, 14074)에는, 제1 광 인커플링 엘리먼트(14076), 제2 광 인커플링 엘리먼트(14078) 및 제3 광 인커플링 엘리먼트(14080)를 포함하는 3개의 인커플링 엘리먼트들(14076, 14078, 14080)이 각각 제공된다. 3개의 접안렌즈 도파관들(14070, 14072, 14074) 각각은, 특정 컬러 채널의 광, 예컨대, 적색, 녹색 또는 청색 광을 전달하도록 구성될 수 있다. 추가적으로, 각각의 인커플링 엘리먼트들(14076, 14078, 14080)은, 하나의 컬러 채널의 광 만을 그것의 연관된 접안렌즈 도파관(14070, 14072, 14074)에 커플링하도록 파장 선택적일 수 있다. 인커플링 엘리먼트들(14076, 14078, 14080)은, 예컨대, 스펙트럼 선택적 반사 회절 격자들, 이를테면, 예컨대 콜레스테릭 액정 재료로 만들어진 회절 격자들을 포함할 수 있다. 그러한 콜레스테릭 액정 재료는 스펙트럼 반사율 대역을 결정하는 나선형 피치를 갖는다. 각각의 인커플링 엘리먼트들은, 예컨대, 콜레스테릭 액정 재료의 2개의 중첩된 층들(하나는 LHCP 광을 반사하고 다른 하나는 RHCP 광을 반사함)을 포함할 수 있다. 회절 격자들은 일반적으로 광 편향 각도들을 결정하는 프로파일 피치를 갖는다. 인커플링 엘리먼트들(14076, 14078, 14080)이 회절 격자들로서 구현되는 경우, 각각의 격자의 격자 프로파일 피치는 인커플링될 광의 연관된 파장을 고려하여 적절하게 선택되어, 광은 연관된 접안렌즈 도파관(14070, 14072, 14074)에 대한 내부 전반사를 위해 임계 각도 이상의 각도들로 회절된다. 제1, 제2 및 제3 접안렌즈 도파관들(14070, 14072, 14074)은, 각각, 제1 EPE(exit pupil expander)(14082), 제2 EPE(14084) 및 제3 EPE(14086)를 포함한다. EPE들(14082, 14084, 14086)은 투과성 및/또는 반사 회절 격자들로서 구현될 수 있다. EPE들(14082, 14084, 14086)은 도파관들(14070, 14072, 14074) 내에서 도파관들(14070, 14072, 14074) 밖으로 전파되는 광을 점진적으로 커플링하여, 광은 인커플링 엘리먼트들(14076, 14078, 14080)의 횡방향 범위와 비교하여 비교적 넓은 영역에 걸쳐 도파관들(14070, 14072, 14074)을 출사한다. 도 36a에서는 가시적이지 않은 직교 동공 확장기(OPE)들이 또한, 접안렌즈 도파관들(14070, 14072, 14074) 상에 제공될 수 있고 그리고 EPE들(14082, 14084, 14086) 뒤에 위치될 수 있다. OPE들은, 접안렌즈 도파관들(14070, 14072, 14074) 내에서 전파되고 있는, 인커플링 엘리먼트들(14076, 14078, 14080)로부터의 광을 EPE들(14082, 14084, 14086)를 향해 편향시키는 역할을 한다. OPE들은 인커플링 엘리먼트들(14076, 14078, 14080)로부터 나오는 광의 경로에 위치될 수 있으며, 그리고 EPE들(14082, 14084, 14086)은 인커플링 엘리먼트들(14076, 14078, 14080)로부터 나오는 광의 경로 외부에 있을 수 있지만, OPE들은 인커플링 엘리먼트들(14076, 14078, 14080)로부터의 광을 EPE들(14082, 14084)을 향해 편향시킬 수 있다.
[0408] 대안적인 실시예에 따르면, 제1 중계 렌즈 엘리먼트(14032)는 제2 중계 렌즈 엘리먼트(14042), 제3 중계 렌즈 엘리먼트(14060) 및 제4 중계 렌즈 엘리먼트(14066)보다 더 긴 초점 길이를 가지며, 그리고 PBS(14036)의 중심으로부터 (PBS(14036)의 굴절률을 고려하여) 더 긴 초점 길이와 동일한 거리만큼 이격된다. 이 경우, 더 긴 초점 길이의 제1 중계 렌즈 엘리먼트(14032)는 제2 중계 렌즈(14042)와 조합하여, 비-중심와 추적되는 광에 1:1보다 더 큰 각도 배율을 부여하며; 그리고 더 긴 초점 길이의 제1 중계 렌즈 엘리먼트(14032)는 제3 중계 렌즈 엘리먼트(14060)와 조합하여, 중심와 추적되는 광에 1:1보다 더 큰 각도 배율을 부여한다. 이중 배율 무한 초점 확대경(14048)은 중심와 추적되는 광을 역확대(demagnify)시키고 그리고 비-중심와 추적되는 광을 확대할 것임을 리콜한다. 따라서, 제1 중계 렌즈 엘리먼트(14032)의 초점 길이를 변경하게 되면, 이중 배율 무한 초점 확대경(14048)의 설계의 대칭성을 방해하지 않으면서 시스템(14000)에서 달성되는 배율들을 세팅하는 데 사용될 수 있는 다른 설계 자유도를 제공한다. 이중 배율 무한 초점 확대경(14048)의 설계에 비대칭을 도입하는 것은 다른 가능한 대안이다.
[0409] 대안적인 실시예에 따르면, 기하학적 위상 렌즈들(14050, 14056) 대신에, 다른 타입들의 이중 상태 렌즈들이 사용된다. 하나의 대안에 따르면, 활성적으로 구동되는 전기습윤 액체 렌즈들이 사용될 수 있다. 다른 대안에 따르면, 특별한 축에 평행하게 편광된 광에 대해 렌즈 파워를 나타내며 그리고 자신의 보통의 축과 매칭되는 재료로 만들어진 회절 옵틱(diffractive optic) 위에 특정한 방향으로 정렬되는 그러한 보통의 축을 갖는 액정을 포함하는 렌즈들이 사용될 수 있다. 후자의 경우, 제1 QWP(14040)는 제거될 수 있는데, 왜냐하면 렌즈들의 이방성 성능은 중심와 추적되는 광과 비-중심와 추적되는 광 간의 선형 편광 차이들에 의존할 것이기 때문이다.
[0410] 이미지 스캐닝 미러(14030)의 각각의 배향은, 편광 회전 스위치(14034)가 비-중심와 추적되는 P-편광된 광을 송신하도록 구성될 때 이미지 공간에서의 특정 각도 좌표들에 대응한다. 편광 회전 스위치(14034)가 중심와-추적되는 S-편광된 광을 출력하도록 구성될 때, 이미지 스캐닝 미러(14030)의 배향은 중심와 추적 미러(14068)의 배향과 조합하여 이미지 공간에서의 각도 좌표들을 결정한다. 이미지 스캐닝 미러 및 중심와 추적 미러(14068)의 배향에 의해 결정되는 광빔 전파의 각도들은, 이중 배율 무한 초점 확대경(14048)의 배율들 및 선택적으로 중계 렌즈들(14032, 14042, 14060, 14066)의 상대 초점 길이들에 의해 결정되는 배율들과 곱해진다. 각도 이미지 공간에서 정의된 픽셀의 유효 사이즈는 이미지 스캐닝 미러(14030)의 모션의 각도 레이트 및 레이저 다이오드들(14002, 14010, 14016)의 변조 레이트들의 역수와 관련된다. 이미지 스캐닝 미러(14030)의 모션이 사인파(sinusoidal)일 수 있는 한, 레이저 다이오드들(14002, 14010, 14016)의 변조 레이트는 픽셀 사이즈 변동을 감소 또는 제거하기 위해 이미지 스캐닝 미러(14030)의 각도 레이트와 역으로 관련될 수 있다. 레이저 다이오드들(14002, 14010, 14016)에 의해 중심와 추적 및 비-중심와 추적 둘 모두가 생성되고 있을 때, 레이저 다이오드들(14002, 14010, 14010)의 전체 가능한 변조 레이트(이용가능한 레이저들의 특징들에 의해 제한됨)가 (적어도 시야 내의 특정 포인트들에 대해) 사용될 수 있으며, 그리고 이미지 스캐닝 미러의 전체 각도 범위는, 비교적 작은 고체 각도 범위에 속하는 중심와 추적되는 구역에 대해 생성된 이미저리의 해상도 이미저리가 더 넓은 시야에 대해 생성된 이미저리의 해상도보다 더 클 수 있도록(더 작은 픽셀 사이즈) 사용될 수 있다.
[0411] 특정 실시예들에 따르면, 시스템(14000)이 사용되는 증강 현실 시스템에서, 가상 콘텐츠는 접안렌즈 도파관들(14070, 14072, 14074)을 통해 사용자에게 가시적인 현실 세계에 중첩된다. 가상 콘텐츠는 (예컨대, 무생물들, 사람들, 동물들, 로봇들 등의) 3D 모델들로서 정의된다. 3D 모델들은 3D 좌표계에 포지셔닝 및 배향된다. 증강 현실 시스템에서, 예컨대, IMU(inertial measurement unit) 및/또는 시각 주행거리측정의 프로비전을 통해, 앞서 언급된 3D 좌표계는 증강 현실 시스템의 사용자의 실세계 환경(관성 기준 프레임)에 등록되어 유지된다. 게임 엔진은, 시스템(14000)(및 사용자의 다른 눈을 위한 유사한 시스템)을 통해 사용자에게 출력하기 위하여 3D 모델들의 왼쪽 눈 이미지 및 오른쪽 눈 이미지를 렌더링하기 위해 자신들의 위치 및 배향을 고려하여 3D 모델을 프로세싱한다. 3D 모델들이, 사용자의 환경에 고정된 좌표계에서 3D 모델들이 정의되는 정도까지 그리고 사용자가 환경 내에서 (증강 현실 안경들을 가지고 있는) 자신의 머리를 움직이고 회전시킬 수 있는 정도까지, 왼쪽 눈 이미지 및 오른쪽 눈 이미지의 렌더링은 사용자의 머리 움직임 및 회전을 고려하여 업데이트된다. 따라서, 예컨대, 만약 가상 책이 실제 테이블 위에 놓여져 디스플레이되고 그리고 사용자가 시각 주행거리측정 서브시스템(미도시) 또는 IMU로부터의 회전 정보에 응답하여 자신의 머리를 왼쪽으로 10도 회전시킨다면, 게임 엔진은 왼쪽 및 오른쪽 이미지들을 업데이트하여, 시스템(14000)에 의해 출력되고 있는 가상 책의 이미지를 오른쪽으로 10도 시프팅할 것이며, 그에 따라, 그 책은 사용자의 머리 회전에도 불구하고 자신의 포지션을 유지하는 것처럼 나타난다. 본 경우에, 중심와를 넘어 연장되는 망막의 더 넓은 부분에 대한 이미저리 및 중심와를 포함하는 망막의 더 제한된 부분에 대한 이미저리는 편광 회전 스위치(14034)를 사용하여 시스템(14000)을 통해 시간 다중화된다. 이미저리는 편광 회전 스위치(14034)의 동작과 동기하여 게임 엔진에 의해 생성 및 출력된다. 위에서 언급된 바와 같이, 게임 엔진은 왼쪽 눈 이미저리 및 오른쪽 눈 이미저리를 생성한다. 게임 엔진은 또한 더 좁은 FOV 왼쪽 중심와 및 오른쪽 중심와 이미저리를 생성하며, 이러한 더 좁은 FOV 왼쪽 중심와 및 오른쪽 중심와 이미저리는, 편광 회전 스위치(14034)가 중심와 추적 미러(14068)를 사용하여 중심와 추적되는 S-편광 광을 출력하도록 구성될 때 출력된다. 앞서 논의된 바와 같이, 이러한 중심와 추적되는 이미저리는 LHCP 광으로 변환되며 그리고 이중 배율 무한 초점 확대경(14048)에 의해 역확대된다. 이러한 역확대는, 중심와(또는 적어도 그 부분)을 포함하는 좁은 범위로 각도 범위를 제한한다. 역확대는 픽셀 사이즈를 감소시키고, 그에 의해 중심와 추적되는 이미저리에 대한 각도 해상도를 증가시킨다.
[0412] 도 37a는 일 실시 예에 따른, 도 36a에 도시된 증강 현실 근안 디스플레이 시스템에서 이용되는 이중 배율 무한 초점 확대경(14048)의 개략적인 예시이다.
[0413] 도 37b는 다른 실시예들에 따른, 무한 초점 확대경(14048) 대신에, 도 36a에 도시된 증강 현실 근안 디스플레이 시스템(14000)에서 사용될 수 있는 이중 초점 배율 무한 초점 확대경(15000)의 개략적 예시이다. 무한 초점 확대경(15000)은, 포지티브 굴절 렌즈(15004) 및 제1 기하학적 위상 렌즈(15006)를 포함하는 렌즈 그룹(15002)을 포함한다. 무한 초점 확대경(15000)은, 제1 렌즈 그룹(15002)으로부터 일정 거리 이격된 제2 기하학적 위상 렌즈(15008)를 더 포함한다. 제1 기하학적 위상 렌즈(15006) 및 제2 기하학적 위상 렌즈(15008)는 대향 좌우상을 갖는다. 기하학적 위상 렌즈의 좌우상과 매칭하는 좌우상을 갖는 광의 경우, 기하학적 위상 렌즈는 포지티브 렌즈로서의 역할을 하며, 그리고 기하학적 위상 렌즈의 좌우상에 대향하는 좌우상을 갖는 광의 경우, 기하학적 위상 렌즈는 네거티브 렌즈로서의 역할을 한다. 추가적으로, 기하학적 위상 렌즈를 통해 전파할 시에, 광의 좌우상은 반전된다. 그에 따라서, 제1 기하학적 위상 렌즈(15006)가 포지티브 렌즈로서의 역할을 할 때, 제2 기하학적 위상 렌즈(15008) 또한 포지티브 렌즈로서의 역할을 할 것이며, 그리고 제1 기하학적 위상 렌즈(15006)가 네거티브 렌즈로서의 역할을 할 때, 제2 기하학적 위상 렌즈(15008) 또한 네거티브 렌즈로서의 역할을 할 것이다. 제1 기하학적 위상 렌즈(15006)가 네거티브 렌즈로서의 역할을 할 때, 렌즈 그룹(15002)은 포지티브 굴절 렌즈(15004) 단독의 초점 길이보다 더 긴 초점 길이를 가질 것이다. 제1 기하학적 위상 렌즈(15006)가 포지티브 렌즈로서의 역할을 할 때, 렌즈 그룹(15002)은 포지티브 굴절 렌즈(15004) 단독의 초점 길이보다 더 짧은 초점 길이를 가질 것이다.
[0414] 도 36a에 도시된 증강 현실 근안 디스플레이 시스템(14000)에서, 편광 스위치(14034)에 의해 출력되는 P-편광된 광은 PBS(14036)를 직접 통과하고, 중심와 추적되지 않고, 제1 QWP(14040)에 의해 RHCP 광으로 변환되는 한편; 편광 회전 스위치(14034)로부터 출력되는 S-편광된 광은 중심와 추적 미러(14068)에 의해 반사되도록 라우팅되고, 결국 LHCP 광으로 변환된다는 것을 리콜한다.
[0415] 도 37b에 도시된 실시예는, 제1 기하학적 위상 렌즈(15006)가 좌향이고 제2 기하학적 위상 렌즈(15008)가 우향이라고 가정하여 추가로 설명될 것이다. 추가로, 도 36a에 도시된 시스템(14000)의 경우에서와 같이, LHCP 광은 중심와 추적되며, 그리고 RHCP는 중심와 추적되는 광이 아니고 더 넓은 FOV(망막의 더 넓은 부분)를 위해 이미지로(imagewise) 변조된 광을 전달한다고 가정된다. LHCP 광의 경우, 제1 기하학적 위상 렌즈(15006)는 포지티브 렌즈로서의 역할을 하며, 그리고 렌즈 그룹(15002)은, 렌즈 그룹(15002)으로부터 FLHCP의 초점까지의 거리에 대응하는 비교적 짧은 초점 길이를 갖는다. 광을 투과시킴에 있어서, 제1 기하학적 위상 렌즈(15006)는 LHCP 광을 RHCP 광으로 변환하고, 여기서, 제2 기하학적 위상 렌즈(15008)는 포지티브 굴절력, 및 제2 기하학적 위상 렌즈(15008)로부터 포인트 FLHCP까지의 거리와 동일한 초점 길이를 갖는다. 이 경우, 무한 초점 확대경(15000)은 Keplerian 무한 초점 확대경을 형성한다. (아래에서 추가로 설명될 바와 같이) 포지티브 굴절 렌즈(15004), 제1 기하학적 위상 렌즈(15006) 및 제2 기하학적 위상 렌즈(15008)의 초점 길이들의 적절한 선택에 의해, Keplerian 구성에서 무한 초점 확대경(15000)의 배율은 약 1:1 또는 다른 원하는 값이 되도록 선택될 수 있다. 예컨대, 이미지 스캐닝 미러(14030)가 +/- 10 도의 광학 각도 스캔 범위를 갖는다고 가정하면, 이러한 각도 범위는 망막의 중심와 구역을 실질적으로 커버할 수 있다.
[0416] 무한 초점 확대경(15000)에 들어가는 RHCP 광의 경우, 제1 기하학적 위상 렌즈(15006)는 네거티브 광 파워를 가지며, 그리고 렌즈 그룹(15002)은, 렌즈 그룹(15002)으로부터 포인트 FRHCP까지의 거리에 대응하는 비교적 더 긴 초점 길이를 갖는다. 제1 기하학적 위상 렌즈(15006)는 RHCP 광을 LHCP 광으로 변환하고, 여기서, 제2 기하학적 위상 렌즈(15008)는, 제2 기하학적 위상 렌즈(15008)로부터 포인트 FRHCP까지의 거리에 대응하는 네거티브 초점 길이를 갖는다. 이 경우, 무한 초점 확대경(15000)은 Galilean 무한 초점 확대경으로서 구성되며, 그리고 실질적으로 1:1보다 더 높은, 예컨대 3:1의 배율을 가질 수 있다. 따라서, (중심와 추적되지 않는) 무한 초점 확대경에 들어가는 RHCP 광은 (LHCP 광에 의해 조명되는 부분과 비교하여) 중심와를 넘어 망막의 더 큰 부분에 이미지로 변조된 광을 제공할 수 있다. 시스템들(14000, 15000)은 RHCP 및 LHCP 광의 역할들을 반전시키도록 재구성될 수 있다는 것이 주목되어야 한다.
[0417] 포지티브 굴절 렌즈(15004)의 정해진 초점 길이 및 제1 기하학적 위상 렌즈(15004)의 정해진 크기의 초점 길이에 대해, 렌즈 그룹(15002)은, (앞서 설명된 바와 같이) 인입 광의 좌우상에 의존하여, 렌즈 그룹(15002)으로부터 포인트들 FLHCP 및 FRHCP까지의 거리들과 동일한 2개의 초점 길이들 중 하나를 가질 것이다. 제2 기하학적 위상 렌즈(15008)는 포인트들 FLHCP 및 FRHCP 간의 대략 절반에 포지셔닝되어야 하며, 그리고 제2 기하학적 위상 렌즈(15008)의 초점 길이는 FLHCP와 FRHCP 간의 거리의 약 1/2로 세팅되어야 한다. Keplerian 구성의 배율은 렌즈 그룹(15002)으로부터 포인트 FLHCP까지의 거리를 포인트 FLHCP로부터 제2 기하학적 위상 렌즈(15008)까지의 거리로 나눈 비율과 거의 같다. Galilean 구성의 배율은, 렌즈 그룹(15002)으로부터 포인트 FRHCP까지의 거리를 제2 기하학적 위상 렌즈(15008)로부터 포인트 FRHCP까지의 거리로 나눈 비율과 거의 같다.
[0418] 이중 배율 무한 초점 확대경들(14048, 15000)은, 비-제한적인 예로서 텔레스코프들, 쌍안경들, 카메라들 및 현미경들을 포함하는 다른 타입들의 광학 디바이스들에서 사용될 수 있다. 실제 이미지가 형성되는 시스템들에서, 무한 초점 확대경들(14048, 15000)은 추가적인 광학 엘리먼트들(예컨대, 렌즈들, 볼록 미러들)과 조합하여 사용될 수 있다.
[0419] 도 36a를 참조하면, 대안적인 실시예에 따르면, 고정된 미러(14062)는 제2 이미지 스캐닝 미러로 대체되며, 그리고 레이저 다이오드들, 시준 렌즈들 및 RGB 이색성 조합 큐브를 포함하는 (도 36a에 도시된 것과 같은) 제2 서브 시스템은 RGB 이미지 변조된 광을 제2 스캐닝 미러에 제공하기 위해 사용될 수 있다. 제2 서브시스템 및 제2 스캐닝 미러는 중심와-추적되는 광을 제공하는 데 전용될 것이다. 이 경우, 편광 회전 스위치(14034) 및 제2 QWP(14058)는 생략될 수 있고, 중심와-추적되는 광 및 비-중심와-추적되는 광 둘 모두는 동시적으로 생성될 수 있다. 그러한 대안에서, 모든 레이저 다이오드들은 P-편광된 광을 PBS(14036)에 주입하도록 배향될 것이다.
[0420] 도 36b는 다른 증강 현실 근안 디스플레이 시스템(14000B)을 개략적으로 예시한다. 시스템(14000B)은 도 36a에 도시된 시스템(14000)과 공통의 특정 양상들을 가지므로, 도 36b에 도시된 실시예의 하기의 설명은 차이들에 초점을 맞출 것이다. 시스템(14000B)에서, 이중 배율 무한 초점 확대경(14048), 제2 QWP(14058) 및 편광 회전 스위치(14034)는 제거된다. 제1 중계 렌즈 엘리먼트(14032B) 및 제2 중계 렌즈 엘리먼트(14042)의 조합이 스캐닝 미러(14030)에 의해 스캔되는 광의 각도 시야를 확대하도록, 더 긴 초점 길이의 제1 중계 렌즈 엘리먼트(14032B)가 사용된다. 스캐닝 미러(14030)는 시스템(14000B)의 전체 시야에서 FOV의 고해상도 중심와 추적되는 부분을 뺀 것을 커버하는 데 사용된다. 제2 스캐닝 미러(14030)는 제1 중계 렌즈 엘리먼트(14032B)로부터 제1 중계 렌즈 엘리먼트(14032B)의 초점 길이와 동일한 거리만큼 떨어져 이격될 수 있다. 제1 RGB 광 엔진(14095)은 P-편광된 광을 출력하도록 구성되며, 그리고 편광 회전 스위치(14034)의 부재시에, 스캐닝 미러(14030)에 의해 스캔되는 광은 제1 중계 렌즈 엘리먼트(14032B) 및 제2 중계 렌즈 엘리먼트(14042)를 통해 커플링될 것이다.
[0421] 시스템(14000)에 의해 사용되는 고정된 미러(14062)(도 36a)는 제2 스캐닝 미러(14030B)로 대체된다. 제2 컴포넌트 컬러(예컨대, 적색-청색-녹색(RGB)) 광 엔진(14096)은 제1 컴포넌트 컬러(예컨대, 적색-청색-녹색(RGB)) 광 엔진(14095)을 보완한다. 제2 RGB 광 엔진(14095)은, 시준 렌즈들(14004B, 14012B, 14018B) 및 제2 RGB 이색성 결합기 큐브(14008B)를 통해 제2 스캐닝 미러(14030B)에 커플링된 제2 적색, 녹색 및 청색 레이저 다이오드들(14002B, 14010B, 14016B)을 포함한다. 제2 RGB 광 엔진(14096)의 추가적인 엘리먼트들은 위에서 설명된 제1 RGB 광 엔진(14095)의 엘리먼트들에 대응하며, 그리고 공통 숫자 부분 및 추가된 접미사 'B'를 갖는 참조 번호들로 라벨링된다. 제2 RGB 광 엔진(14096)에 의해 출력되고 제2 스캐닝 미러(14030)에 의해 각도 스캔되는 P-편광된 광은, 제3 중계 렌즈 엘리먼트(14060) 및 제4 중계 렌즈 엘리먼트(14066)에 의해 형성되는 무한 초점 중계를 통해 중심와 추적 미러(14068)에 광학적으로 커플링되고, 중심와 추적 미러에 도달하면, 제3 QWP(14064)를 통과한다. 중심와 추적 미러(14068)에 의해 각도 시프팅될 시에, 제4 중계 렌즈 엘리먼트(14066) 및 제3 QWP(14068)를 통해 반사되며 이제 S-편광으로 변경된 그 편광 상태를 갖는 광은 편광 선택적 미러에 의해 제1 QWP(14040) 및 제2 중계 렌즈 엘리먼트(14042)를 향해 반사되며, 이후 인커플링 엘리먼트들(14076, 14078, 14080)에 충돌한다. 제1 및 제2 RGB 광 엔진들(14095, 14096)은 적색, 청색 및 녹색에 부가하여, 또는 적색, 청색 및 녹색 이외의 컴포넌트 컬러들의 광을 활용할 수 있음이 인지된다.
[0422] 증강 현실 근안 디스플레이 시스템(14000B)은 중심와 추적되는 고해상도 이미저리 및 비-중심와 추적되는 더 넓은 시야 이미저리를 동시적으로 출력할 수 있다. (도 36a에 도시된 시스템의 경우에서와 같이) 더 넓은 시야 이미저리를 갖는 더 높은 해상도의 중심와 추적되는 이미저리를 시간 다중화해야 하는 필요성을 피함으로써, 시스템(14000B)은 더 높은 프레임 레이트를 보다 쉽게 달성할 수 있다.
V. 눈 시선을 이용한 전체 시야 추적
[0423] 일부 실시예들에 따르면, 도 26e 내지 도 26f에 예시된 바와 같이 제1 이미지 스트림을 정적 위치에 제공하는 대신, 제1 이미지 스트림 및 제2 이미지 스트림 둘 모두는 사용자의 현재 응시 포인트에 따라 동적으로 시프팅될 수 있다. 도 38a-38b는 일부 실시예들에 따라 사용자에게 제공될 수 있는 이미지들의 예시적인 구성을 개략적으로 예시한다. 도 38a는 제2 이미지 스트림(16020)이 제1 이미지 스트림(16010)의 중심에 어떻게 실질적으로 포지셔닝될 수 있는 지를 도시한다. 일부 실시예들에서, 제1 이미지 스트림의 중심으로부터 제2 이미지 스트림(16020)을 오프셋시키는 것이 바람직할 수 있다. 예컨대, 사용자의 시야는 나잘 방향보다 시간 방향으로 더 멀리 연장되기 때문에, 제2 이미지 스트림(16020)이 제1 이미지 스트림의 나잘 측을 향해 오프셋되는 것이 바람직할 수 있다. 동작 동안, 제1 및 제2 이미지 스트림은, 도 38b에 도시된 바와 같이, 눈-시선 추적 기법들을 사용하여 실시간으로 결정되는 사용자의 현재 응시 포인트에 따라 지속적으로 시프팅될 수 있다. 즉, 제1 이미지 스트림(16010) 및 제2 이미지 스트림(16020)은 사용자가 통상적으로 이미지 스트림들 둘 모두의 중심을 직접 바라보도록 함께(in tandem) 시프팅될 수 있다. 도 38a-38b에서의 그리드 정사각형들은 이미지 포인트들을 개략적으로 표현하며, 이러한 이미지 포인트들은, 도 24를 참조하여 앞서 설명된 바와 같은 필드들(3002, 3004 및 3006)과 매우 유사하게 2-차원 각도 공간으로서 정의된다는 것이 주목되어야 한다.
[0424] 도 26a-26b에 묘사된 실시예들과 유사하게, 제2 이미지 스트림(16020)은, 제1 이미지 스트림(16010)의 경계들 내에서 디스플레이될 수 있는 비교적 좁은 FOV를 갖는 고-해상도 이미지 스트림을 표현한다. 일부 실시예들에서, 제2 이미지 스트림(16020)은, 사용자의 현재 응시 포인트와 일치하는 각도 포지션들에 대해 눈-시선 추적 기법들을 사용하여 획득되는 데이터에 기반하여 실시간으로 동적으로 조정될 수 있는 렌더링 공간에서의 배향을 갖는 제2의 상이한 가상 카메라에 의해 캡처될 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 이 예들에서, 고해상도 제2 이미지 스트림(16020)은, 도 26a 내지 도 26d를 참조하여 위에서 설명된 중심와-추적 가상 카메라와 같은 중심와-추적 가상 카메라에 의해 캡처될 가상 콘텐츠의 하나 이상의 이미지들을 표현할 수 있다. 다른 말로, 제2 이미지 스트림(16020)에 의해 표현되는 가상 콘텐츠의 하나 이상의 이미지들이 캡처되는 렌더링 공간에서의 관점은 사용자의 눈 시선이 변함에 따라 재배향될 수 있어서, 제2 이미지 스트림(5020E)과 연관된 관점은 사용자의 중심와 비전과 지속적으로 정렬된다.
[0425] 예컨대, 제2 이미지 스트림(16020)은, 사용자의 눈 시선이 도 38a에 예시된 바와 같이 제1 포지션에 고정될 때 렌더링 공간의 제1 구역 내에 위치되는 가상 콘텐츠를 포함할 수 있다. 사용자의 눈 시선이 제1 포지션과 상이한 제2 포지션으로 이동함에 따라, 제2 이미지 스트림(16020)과 연관된 관점은, 도 38b에 예시된 바와 같이, 제2 이미지 스트림(16020)이 렌더링 공간의 제2 구역 내에 위치된 가상 콘텐츠를 포함할 수 있도록 조정될 수 있다. 일부 실시예들에서, 제1 이미지 스트림(16010)은 넓은 FOV를 갖지만, 개략적인 그리드에 의해 표시된 바와 같이 낮은 각 해상도를 갖는다. 제2 이미지 스트림(16020)은 좁은 FOV를 갖지만, 미세한 그리드에 의해 표시된 바와 같이 높은 각 해상도를 갖는다.
[0426] 도 39a-39b는 일부 실시예들에 따른, 사용자에게 제공될 수 있는 일부 예시적인 이미지들을 사용하여 도 38a-38b에서 설명되는 일부 원리들을 예시한다. 일부 예들에서, 도 39a-39b에 묘사된 이미지 스트림들 및/또는 이미지들 중 하나 이상은 특정 깊이 평면, 이를테면, 도 25b를 참조하여 위에서 설명된 깊이 평면들 중 하나 이상에서 디스플레이될 2-차원 이미지들 또는 그 부분들을 표현할 수 있다. 즉, 이러한 이미지들 및/또는 이미지 스트림들은 사용자로부터 고정된 거리만큼 떨어져 있는 적어도 하나의 2-차원 표면 상으로 투사된 3-D 가상 콘텐츠를 표현할 수 있다. 이러한 예들에서, 이러한 이미지들 및/또는 이미지 스트림들은, 도 26a 내지 26d 및 도 28a-28b를 참조하여 위에서 설명된 것들과 유사한 특정 각도 시야들을 갖는 하나 이상의 광 필드들로서 사용자에게 제공될 수 있음을 이해해야 한다.
[0427] 묘사된 바와 같이, 제1 이미지 스트림(17010)의 콘텐츠는 트리의 일부를 포함한다. 도 39a에 의해 표현되는 제1 시간 기간 동안, 눈-추적 센서들은 사용자의 눈 시선(즉, 중심와 비전)이 볼 수 있는 구역(17000) 내의 제1 구역(17010-1)에 포커싱되어 있음을 결정할 수 있다. 이 예에서, 제1 구역(17010-1)은 트리의 하부 브랜치들을 포함한다. 제2 이미지 스트림(17020)은 제1 구역(17010-1) 내에 포지셔닝될 수 있으며, 제1 이미지 스트림보다 더 높은 해상도를 가질 수 있다. 제1 및 제2 이미지 스트림들은 사용자의 현재 눈 시선에 대응하여 결정된 포지션에 동시에 또는 신속하게 연속적으로 디스플레이될 수 있다.
[0428] 도 39b에 의해 표현되는 제2 시간 기간 동안, 트리의 상부 브랜치들에 대응하는 볼 수 있는 구역(1500) 내의 제2 구역(17010-2)으로 시프팅하는 사용자의 눈 시선이 검출될 수 있다. 묘사된 바와 같이, 제2 시간 기간 동안, 제1 및 제2 이미지 스트림들의 포지션 및 콘텐츠는 제2 구역(17010-2)에 대응하도록 변한다. 제1 이미지 스트림(17010) 및 제2 이미지 스트림(17020) 둘 모두의 콘텐츠는 트리의 제2 구역(17010-2)을 포함할 수 있다. 제1 및 제2 이미지 스트림들은 동시에 또는 신속하게 연속적으로 디스플레이될 수 있다. 사용자의 눈 시선의 추가적으로 검출되는 움직임들은, 제1 및 제2 이미지 스트림들 둘 모두가 사용자의 현재 눈 시선과 정렬되도록 유지하는 것과 동일한 방식으로 적응될 수 있다.
[0429] 도 28c-28d에 예시된 실시예들과 유사하게, 더 높은 해상도의 제2 이미지 스트림(17020)은 사용자의 중심와 비전 내에서 제1 이미지 스트림(17010)의 부분을 오버레이하기 때문에, 제1 이미지 스트림(17010)의 더 낮은 해상도는 사용자에 의해 지각되거나 인식되지 않을 수 있다. 또한, 넓은 시야를 갖는 제1 이미지 스트림(17010)은 사용자의 시력의 상당 부분을 포함할 수 있기 때문에, 사용자는 광 필드 디스플레이의 경계들을 완전히 지각하는 것이 방지될 수 있다. 따라서, 이러한 기법은 사용자에게 훨씬 더 몰입적인 경험을 제공할 수 있다.
[0430] 도 40a 내지 40d는 일부 실시예들에 따른, 사용자의 눈에 이미지들을 투사하기 위한 디스플레이 시스템(18000)을 개략적으로 예시한다. 디스플레이 시스템(18000)은 이미지 소스(18010)를 포함한다. 이미지 소스(18010)는 제1 이미지 스트림과 연관된 제1 광빔(18052) 및 제2 이미지 스트림과 연관된 제2 광빔(18054)을 투사시키도록 구성될 수 있다. 도 38a-38b와 관련하여 앞서 논의된 바와 같이, 제1 이미지 스트림은 넓은 FOV 및 저해상도 이미지 스트림일 수 있고, 제2 이미지 스트림은 좁은 FOV 및 고해상도 이미지 스트림일 수 있다. 일부 실시예들에서, 제1 광빔(18052) 및 제2 광빔(18054)은 시분할 다중화, 편광-분할 다중화, 파장-분할 다중화 등이 될 수 있다.
[0431] 디스플레이 시스템(18000)은, 제1 광빔(18052) 및 제2 광빔(18054)을 반사시키도록 구성된 2D 스캐닝 미러(18020)를 더 포함할 수 있다. 일부 실시예들에서, 2D 스캐닝 미러(18020)는 사용자의 눈의 응시 포지션에 기반하여 2개의 방향들로 기울어질 수 있어서, 제1 광빔(18052) 및 제2 광빔(18054) 둘 모두는 사용자의 중심와 비전에서, 각각, 제1 이미지 스트림 및 제2 이미지 스트림을 투사시킬 수 있다.
[0432] 디스플레이 시스템(18000)은 스위칭가능한 광학 엘리먼트(18040)를 더 포함할 수 있다. 스위칭가능한 광학 엘리먼트(18040)가 단일 엘리먼트로서 예시되어 있지만, 이는 스위칭가능한 중계 렌즈 어셈블리로서 기능하는 한 쌍의 서브 스위칭가능한 광학 엘리먼트들을 포함할 수 있다. 각각의 서브 스위칭가능한 광학 엘리먼트는, 도 40a 및 40c에 예시된 바와 같이, 제1 광학 파워를 갖는 광학 렌즈로서 동작하도록 제1 상태로 스위칭될 수 있거나, 또는 도 40b 및 40d에 예시된 바와 같이, 제1 광 파워와 상이한 제2 광 파워를 갖는 광학 렌즈로서 동작하도록 제2 상태로 스위칭될 수 있다. 각각의 서브 스위칭가능한 광학 엘리먼트는, 다양한 실시예들에 따라, 예컨대, 액정 가변초점 렌즈, 튜닝가능 회절 렌즈, 변형 가능 렌즈 또는 다초점 복굴절 렌즈일 수 있다.
[0433] 제1 광빔(18052) 및 제2 광빔(18054)이 시분할 다중화되는 경우들에서, 스위칭가능한 광학 엘리먼트(18040) 및 스캐닝 미러(18020)는 다음과 같이 동작할 수 있다. 사용자의 눈 시선은 제1 시간 기간 동안 제1 포지션에 고정된다고 가정한다. 스캐닝 미러(18020)는, 도 40a 및 도 40b에 예시된 바와 같이, 제1 광빔(18052) 및 제2 광빔(18054)이 제1 포지션 쪽으로 지향되도록 제1 시간 기간 동안 제1 배향에 있을 수 있다. 이미지 소스(18010)가 제1 광빔(18052)을 출력하는 제1 시간 기간의 제1 시간 슬롯(스테이지 A1) 동안, 스위칭가능한 광학 엘리먼트(18040)는, 도 40a에 예시된 바와 같이 제1 광 파워를 갖는 광학 렌즈로서 동작하는 제1 상태로 스위칭될 수 있다. 이미지 소스(18010)가 제2 광빔(18054)을 출력하는 제1 시간 기간의 제2 시간 슬롯(스테이지 A2) 동안, 스위칭가능한 광학 엘리먼트(18040)는, 도 40b에 예시된 바와 같이 제2 광 파워를 갖는 광학 렌즈로서 동작하는 제2 상태로 스위칭될 수 있다. 따라서, 제1 광빔(18052)은 제2 광빔(18054)보다 더 많이 각을 이루어 확대되어서, 제1 광빔(18052)은 제2 광빔(18054)에 의해 제공되는 제2 이미지 스트림의 FOV보다 더 넓은 FOV를 갖는 제1 이미지 스트림을 제공할 수 있다.
[0434] 이제, 사용자의 눈 시선이 제2 시간 기간 동안 제1 포지션으로부터 제2 포지션으로 움직이는 것으로 가정한다. 스캐닝 미러(18020)는, 도 40c 및 40d에 예시된 바와 같이, 제1 광빔(18052) 및 제2 광빔(18054)이 제2 포지션 쪽으로 지향되도록 제2 시간 기간 동안 제2 배향에 있을 수 있다. 이미지 소스(18010)가 제1 광빔(18052)을 출력하는 제2 시간 기간의 제1 시간 슬롯(스테이지 B1) 동안, 스위칭가능한 광학 엘리먼트(18040)는 도 40c에 예시된 바와 같이 제1 광 파워를 갖는 광학 렌즈로서 동작하는 제1 상태로 스위칭될 수 있다. 이미지 소스(18010)가 제2 광빔(18054)을 출력하는 제2 시간 기간의 제2 시간 슬롯(스테이지 B2) 동안, 스위칭가능한 광학 엘리먼트(18040)는 도 40d에 예시된 바와 같이 제2 광 파워를 갖는 광학 렌즈로서 동작하는 제2 상태로 스위칭될 수 있다.
[0435] 제1 광빔(18052) 및 제2 광빔(18054)이 편광-분할 다중화되는 경우들에서, 스위칭가능한 광학 엘리먼트(18040)는 다초점 복굴절 렌즈를 포함할 수 있어서, 도 40a 및 도 40c에 예시된 바와 같이 제1 광빔(18052)에 대해서는 제1 광 파워를 갖는 광학 렌즈로서 동작하며, 그리고 도 40b 및 도 40d에 예시된 바와 같이 제2 광빔(18054)에 대해서는 제2 광 파워를 갖는 광학 렌즈로서 동작한다.
[0436] 제1 광빔(18052) 및 제2 광빔(18054)이 파장-분할 다중화되는 경우들에서, 스위칭가능한 광학 엘리먼트(18040)는 파장-의존 다초점 렌즈를 포함할 수 있어서, 도 40a 및 도 40c에 예시된 바와 같이 제1 광빔(18052)에 대해서는 제1 광 파워를 갖는 광학 렌즈로서 동작하며, 그리고 도 40b 및 도 40d에 예시된 바와 같이 제2 광빔(18054)에 대해서는 제2 광 파워를 갖는 광학 렌즈로서 동작한다.
[0437] 도 41a 내지 도 41d는 일부 다른 실시예들에 따른, 사용자의 눈에 이미지들을 투사하기 위한 디스플레이 시스템(19000)을 개략적으로 예시한다. 디스플레이 시스템(19000)은, 스위칭가능한 광학 엘리먼트(18040)가 스캐닝 미러(18020)의 표면 상에 배치될 수 있다는 점을 제외하고, 디스플레이 시스템(18000)과 유사할 수 있다. 예컨대, 스위칭가능한 광학 엘리먼트(18040)는 스캐닝 미러(18020)의 표면 상에 레이어링된 하나 이상의 기판들일 수 있다.
[0438] 일부 추가적인 실시예들에서, 스위칭가능한 광학 엘리먼트(18040)는 디스플레이 시스템(19000) 내의 다른 곳에 포지셔닝될 수 있다. 예컨대, 스위칭가능한 광학 엘리먼트(18040)는 이미지 소스(18010)와 스캐닝 미러(18020) 사이에 포지셔닝될 수 있다.
[0439] 일부 다른 실시예들에서, 편광 빔 분할기 또는 이색성 빔 분할기는 제1 광빔(18052) 및 제2 광빔(18054)을 2개의 별개의 광학 경로들로 디멀티플렉싱하기 위해 사용될 수 있지만, 광학 경로들 둘 모두는 스캐닝 미러(18020)의 반사 표면과 교차한다.
[0440] 다른 실시예들에서, 사용자의 응시 포인트로부터 사용자의 주변 비전으로의 해상도 전환이 외관상 보다 점진적으로 보이도록 2개 초과의 이미지 스트림들이 사용자에게 제공될 수 있다. 예컨대, 중간 FOV 및 중간 해상도를 갖는 제3 이미지 스트림이 제1 이미지 스트림 및 제2 이미지 스트림에 부가하여 제공될 수 있다. 이러한 경우들에서, 추가적인 이미지 스트림들을 위한 추가적인 광학 경로들을 제공하기 위해, 추가적인 중계 렌즈 어셈블리 및/또는 스캐닝 미러들이 활용될 수 있다.
VI. 시간 다중화 방식
[0441] 일부 실시예들에서, 고-FOV 저-해상도 이미지 스트림(즉, 제1 이미지 스트림) 및 저-FOV 고-해상도 이미지 스트림(즉, 제2 이미지 스트림)은 시분할 다중화될 수 있다.
[0442] 도 42는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림에 대해 사용하기에 적절한 예시적인 시분할 다중화 패턴을 예시하는 그래프를 도시한다. 예시된 바와 같이, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 교번하는 시간 슬롯들에 배정된다. 예컨대, 각각의 시간 슬롯은 지속기간의 약 1/85 초일 수 있다. 따라서, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림 각각은 약 42.5 Hz의 리프레시 레이트를 가질 수 있다. 일부 실시예들에서, 저-FOV 고-해상도 이미지 스트림의 광 필드들에 대응하는 각도 구역은 고-FOV 저-해상도 이미지 스트림에 대응하는 광 필드들의 각도 구역의 일부와 오버랩하여, 오버랩된 각도 구역에서의 유효 리프레시 레이트가 약 85 Hz(즉, 각각의 개별 이미지 스트림의 리프레시 레이트의 두 배)가 되게 한다.
[0443] 일부 다른 실시예들에서, 고-FOV 저-해상도 이미지 스트림에 대한 시간 슬롯들 및 저-FOV 고-해상도 이미지 스트림에 대한 시간 슬롯들은 상이한 지속기간들을 가질 수 있다. 예컨대, 고-FOV 저-해상도 이미지 스트림에 대한 각각의 시간 슬롯은 1/85 초보다 더 긴 지속기간을 가질 수 있고 그리고 저-FOV 고-해상도 이미지 스트림에 대한 각각의 시간 슬롯은 1/85 초보다 더 짧은 지속기간을 가질 수 있으며, 그 반대의 경우도 마찬가지다.
[0444] 도 43은 일부 실시예들에 따른, 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(21000)을 개략적으로 예시한다. 디스플레이 시스템(21000)은 도 30a-30b에 예시된 디스플레이 시스템(8000)과 공통인 일부 엘리먼트들을 공유할 수 있으며; 이러한 이유로, 도 30a-30b에 관련한 그러한 공통 엘리먼트들에 대한 설명이 또한 여기에서 적용가능하다. 이미지 소스(21002)는 제1 편광 상태의 고-FOV 저-해상도 이미지 스트림 및 제2 편광 상태의 저-FOV 고-해상도 이미지 스트림을 동시에 제공하도록 구성될 수 있다. 예컨대, 제1 편광 상태는 제1 방향의 선형 편광일 수 있고, 제2 편광 상태는 제1 방향에 직교하는 제2 방향의 선형 편광일 수 있거나; 또는 대안적으로, 제1 편광 상태는 좌향 원형 편광일 수 있고, 제2 편광 상태는 우향 원형 편광일 수 있다. 도 30a-30b에 예시된 디스플레이 시스템(8000)과 유사하게, 디스플레이 시스템(21000)은, 이미지 소스(예컨대, 이미지 소스(21002))에 의해 투사되는 광빔들을, 제1 광학 경로를 따라 전파되는 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔 및 제2 광학 경로를 따라 전파되는 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔으로 분리하기 위한 편광 빔 분할기(21004)를 포함한다.
[0445] 도 30a-30b에 예시된 디스플레이 시스템과 유사하게, 디스플레이 시스템(21000)은, 이미지 소스(21002)와 빔 분할기(21004) 사이에 포지셔닝된 제1 광학 렌즈(렌즈 A), 제1 광학 경로를 따라 빔 분할기(21004)로부터 다운스트림에 포지셔닝된 제2 광학 렌즈(렌즈 B), 및 제2 광학 경로를 따라 빔 분할기(21004)로부터 다운스트림에 포지셔닝된 제3 광학 렌즈(렌즈 C)를 포함할 수 있다. 일부 실시예들에서, 도 30a-30b 및 도 31a-31b에 관하여 앞서 설명된 바와 같이, 제1 광학 렌즈(렌즈 A)와 제2 광학 렌즈(렌즈 B)의 조합은 1보다 더 큰, 제1 광빔에 대한 각도 배율을 제공할 수 있으며, 그리고 제1 광학 렌즈(렌즈 A)와 제3 광학 렌즈(렌즈 C)의 조합은 실질적으로 1과 같거나 1보다 작은, 제2 광빔에 대한 각도 배율을 제공할 수 있다. 따라서, 제1 광빔은, 제2 광빔에 의해 투사되는 것보다 더 넓은 FOV를 갖는 이미지 스트림을 투사할 수 있다.
[0446] 도 30a-30b에 예시된 디스플레이 시스템(8000)과 유사하게, 디스플레이 시스템(21000)은 또한 스캐닝 미러(예컨대, MEMs 미러)의 형태를 취할 수 있는 중심와 추적기(21006)를 포함하며, 이는 저-FOV, 고-해상도 이미지 스트림과 연관된 제2 광빔을 동적으로 투사하기 위해 사용자의 눈의 응시 포지션에 기반하여 제어될 수 있다.
[0447] 디스플레이 시스템(21000)은 또한 접안렌즈(21008)에 커플링된 제1 ICG(in-coupling grating)(21010) 및 제2 ICG(21020)를 포함할 수 있다. 접안렌즈(21008)는 내부에서 광을 전파하도록 구성된 도파관 플레이트일 수 있다. 제1 ICG(21010) 및 제2 ICG(21020) 각각은 그 위에 입사되는 광 중 일부를 접안렌즈(21008)로 회절시키도록 구성된 DOE(diffractive optical element)일 수 있다. 제1 ICG(21010)는 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔 중 일부를 접안렌즈(21008)에 커플링하기 위해 제1 광학 경로를 따라 포지셔닝될 수 있다. 제2 ICG(21020)는 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔 중 일부를 접안렌즈(21008)에 커플링하기 위해 제2 광학 경로를 따라 포지셔닝될 수 있다.
[0448] 디스플레이 시스템(21000)은 또한 제1 스위칭 가능 셔터(21030) 및 제2 스위칭 가능 셔터(21040)를 포함할 수 있다. 제1 스위칭 가능 셔터(21030)는 제2 광학 렌즈(렌즈 B)와 제1 ICG(21010) 간의 제1 광학 경로를 따라 포지셔닝된다. 제2 스위칭 가능 셔터(21040)는 중심와 추적기와 제2 ICG(21020) 간의 제2 광학 경로를 따라 포지셔닝된다. 제1 스위칭 가능 셔터(21030) 및 제2 스위칭 가능 셔터(21040)의 동작은 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 (예컨대, 도 42에 예시된 바와 같이) 시분할 다중화 시퀀스에 따라 시분할 다중화되도록 서로 동기화될 수 있다. 제1 스위칭 가능 셔터(21030)는 고-FOV 저-해상도 이미지와 연관된 제1 타임 슬롯에 대응하는 시간 기간 동안 개방될 수 있고, 저-FOV 고-해상도 이미지 스트림과 연관된 제2 타임 슬롯 동안 폐쇄될 수 있다. 유사하게, 제2 스위칭 가능 셔터(21040)는 제2 타임 슬롯 동안 개방되고 제1 타임 슬롯 동안 폐쇄된다.
[0449] 이로써, 고-FOV 저-해상도 이미지 스트림은 제1 타임 슬롯 동안(예컨대, 제1 스위칭 가능 셔터(21030)가 개방될 때) 제1 ICG(21010)를 통해 접안렌즈(21008)에 커플링되고, 저-FOV 고-해상도 이미지 스트림은 제2 타임 슬롯 동안(예컨대, 제2 스위칭 가능 셔터(21040)가 개방될 때) 제2 ICG(21020)를 통해 접안렌즈(21008)에 커플링된다. 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 접안렌즈(21008)에 커플링되면, 그 스트림들은 (예컨대, 아웃-커플링 격자들에 의해) 사용자의 눈으로 안내 및 아웃-커플링될 수 있다.
[0450] 도 44는 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(22000)을 개략적으로 예시한다. 디스플레이 시스템(22000)은 도 30a - 도 30b에 예시된 디스플레이 시스템(8000)과 공통인 일부 엘리먼트들을 공유할 수 있으며; 도 30a - 도 30b에 관하여 그러한 엘리먼트들에 관한 설명은 여기에도 적용 가능하다. 이미지 소스(22002)에 의해 제공되는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 시분할 다중화될 수 있고 정해진 편광된 상태에 있을 수 있다.
[0451] 디스플레이 시스템(22000)은 스위칭 가능 편광 회전자(22010)(예컨대, 반파장의 지연을 갖는 FLC(ferroelectric liquid-crystal) 셀)를 포함할 수 있다. 스위칭 가능 편광 회전자(22010)의 동작은 (예컨대, 도 42에 예시된 바와 같이) 시분할 다중화에서 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림의 프레임 레이트들로 동기화되도록 전자적으로 프로그래밍될 수 있어, 스위칭 가능 편광 회전자(22010)가 고-FOV 저-해상도 이미지 스트림의 편광을 회전시키지 않고(또는 매우 소량 회전시키고), 저-FOV 고-해상도 이미지의 편광을 약 90도(즉, 위상 시프트를 도입함)만큼 회전시키며, 또는 그 반대의 경우도 마찬가지다. 따라서 스위칭 가능 편광 회전자(22010)를 통과한 후, 고-FOV 저-해상도 이미지 스트림의 편광은 저-FOV 고-해상도 이미지 스트림의 편광에 직교할 수 있다. 예컨대, 고-FOV 저-해상도 이미지 스트림은 s-편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 p-편광될 수 있으며, 또는 그 반대의 경우도 마찬가지다. 다른 실시예들에서, 고-FOV 저-해상도 이미지 스트림은 왼쪽 원편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 오른쪽 원편광될 수 있으며, 또는 그 반대의 경우도 마찬가지다.
[0452] 디스플레이 시스템(22000)은 제1 광학 경로를 따라 제1 ICG(21010)를 향해 전파하는 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔, 및 제2 광학 경로를 따라 제2 ICG(21020)를 향해 전파하는 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔으로 광빔들을 분리하기 위한 편광 빔 분할기(22004)를 포함할 수 있다.
[0453] 디스플레이 시스템(22000)은 또한 2개의 광학 경로들 중 하나를 따라, 예컨대 도 44에 예시된 바와 같이 제2 광학 경로를 따라 포지셔닝된 정적 편광 회전자(22020)를 포함할 수 있다. 정적 편광 회전자(22020)는 저-FOV 고-해상도 이미지 스트림 및 고-FOV 저-해상도 이미지 스트림 중 하나의 편광을 회전시키도록 구성될 수 있어, 2개의 이미지 스트림들이 제1 ICG(21010) 및 제2 ICG(21020)에 각각 들어갈 때 이러한 이미지 스트림들이 실질적으로 동일한 편광을 가질 수 있다. 이는 제1 ICG(21010) 및 제2 ICG(21020)가 특정 편광에 대해 더 높은 회절 효율성을 갖도록 설계되는 경우들에 유리할 수 있다. 정적 편광 회전자(22020)는 예컨대, 반-파장판일 수 있다.
[0454] 도 45는 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(23000)을 개략적으로 예시한다. 디스플레이 시스템(23000)은 도 30a - 도 30b에 예시된 디스플레이 시스템(8000)과 공통인 일부 엘리먼트들을 공유할 수 있으며; 도 30a - 도 30b에 관하여 그러한 엘리먼트들에 관한 설명은 여기에도 적용 가능하다. 이미지 소스(23002)는 시분할 다중화되는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 및 고-해상도 이미지 스트림을 제공하도록 구성될 수 있다.
[0455] 여기서는, 빔 분할기 대신, 디스플레이 시스템(23000)은 스위칭 가능 반사기(23004)를 포함한다. 스위칭 가능 반사기(23004)는 입사 광빔이 반사되는 반사 모드 및 입사 광빔이 송신되는 송신 모드로 스위칭될 수 있다. 스위칭 가능 반사기는 기판 호스트 매체, 이를테면 유리 또는 플라스틱에 임베딩된 액정을 포함하는 전기-활성 반사기를 포함할 수 있다. 인가된 전류의 함수로써 굴절률을 변화시키는 액정이 또한 사용될 수 있다. 대안적으로, 리튬 니오베이트가 액정 대신에 전기-활성 반사 재료로서 활용될 수 있다. 스위칭 가능 반사기(23004)의 동작은 (예컨대, 도 42에 예시된 바와 같이) 시분할 다중화에서 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림의 프레임 레이트들로 동기화되도록 전자적으로 프로그래밍될 수 있어, 스위칭 가능 반사기(23004)는 고-FOV 저-해상도 이미지 스트림이 도달할 때는 반사 모드에 있고, 저-FOV 고-해상도 이미지 스트림이 도달할 때는 송신 모드에 있다. 따라서 고-FOV 저-해상도 이미지 스트림은 제1 광학 경로를 따라 제1 ICG(21010)를 향해 스위칭 가능 반사기(23004)에 의해 반사될 수 있고; 저-FOV 고-해상도 이미지 스트림은 제2 광학 경로를 따라 제2 ICG(21020)를 향해 스위칭 가능 반사기(23004)에 의해 송신될 수 있다.
[0456] 대안적으로, 스위칭 가능 반사기(23004)는 제1 세트의 파장 범위들에서 광을 반사하도록, 그리고 제2 세트의 파장 범위들에서 광을 송신하도록 구성된 이색성 미러로 대체될 수 있다. 이미지 소스(23002)는 제1 세트의 파장 범위들에서 고-FOV 저-해상도 이미지 스트림을, 그리고 제2 세트의 파장 범위들에서 저-FOV 고-해상도 이미지 스트림을 제공하도록 구성될 수 있다. 예컨대, 제1 세트의 파장 범위들은 RGB(red, green, and blue) 컬러들에 대응할 수 있고, 제2 세트의 파장 범위들은 제1 세트의 파장 범위들의 색조와 상이한 색조의 RGB 컬러들에 대응할 수 있다. 일부 실시예들에서, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 예컨대, 도 42에 예시된 바와 같이 시분할 다중화된다. 일부 다른 실시예들에서, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 동시적으로 제공된다.
VII. 편광 다중화 방식
[0457] 일부 실시예들에서, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 편광-분할 다중화될 수 있다. 이미지 소스는 제1 편광으로 고-FOV 저-해상도 이미지 스트림을 제공하기 위한 제1 세트의 RGB 레이저들 및 제1 편광과는 상이한 제2 편광으로 저-FOV 고-해상도 이미지 스트림을 제공하기 위한 제2 세트의 RGB 레이저들을 포함할 수 있다. 예컨대, 고-FOV 저-해상도 이미지 스트림은 s-편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 p-편광될 수 있으며, 또는 그 반대의 경우도 마찬가지다. 대안적으로, 고-FOV 저-해상도 이미지 스트림은 왼쪽 원형 편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 오른쪽 원형 편광될 수 있으며, 또는 그 반대의 경우도 마찬가지다.
[0458] 도 46은 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(25000)을 개략적으로 예시한다. 디스플레이 시스템(25000)은 도 30a - 도 30b에 예시된 디스플레이 시스템(8000)과 공통인 일부 엘리먼트들을 공유할 수 있으며; 도 30a - 도 30b에 관하여 그러한 엘리먼트들에 관한 설명은 여기에도 적용 가능하다. 이미지 소스(25002)는 앞서 논의된 바와 같이, 편광-분할 다중화되는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 및 고-해상도 이미지 스트림을 제공하도록 구성될 수 있다.
[0459] 디스플레이 시스템(25000)은 제1 광학 경로를 따라 제1 ICG(21010)를 향해 전파하는 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔, 및 제2 광학 경로를 따라 제2 ICG(21020)를 향해 전파하는 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔으로 광빔들을 분리하기 위한 편광 빔 분할기(25004)를 포함할 수 있다.
[0460] 디스플레이 시스템(25000)은 또한 2개의 광학 경로들 중 하나를 따라, 예컨대 도 46에 예시된 바와 같이 제2 광학 경로를 따라 포지셔닝된 정적 편광 회전자(25020)를 포함할 수 있다. 정적 편광 회전자(25020)는 저-FOV 고-해상도 이미지 스트림 및 고-FOV 저-해상도 이미지 스트림 중 하나의 편광을 회전시키도록 구성될 수 있어, 2개의 이미지 스트림들이 제1 ICG(21010) 및 제2 ICG(21020)에 각각 들어갈 때 이러한 이미지 스트림들이 실질적으로 동일한 편광을 가질 수 있다. 이는 제1 ICG(21010) 및 제2 ICG(21020)가 특정 편광에 대해 더 높은 회절 효율성을 갖도록 설계되는 경우들에 유리할 수 있다. 정적 편광 회전자(25020)는 예컨대, 반-파장판일 수 있다.
VIII. 접안렌즈의 대향 면들로 투사된 이미지들을 인커플링하기 위한 광학 아키텍처들
[0461] 일부 실시예들에서, 디스플레이 시스템은 서로 측방으로 분리된(즉, 별개의 동공들을 갖는) 2개의 ICG들을 갖는 대신에, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 동일한 ICG(즉, 단일 동공을 가짐)의 대향 면들 상에 입사되도록 구성될 수 있다.
[0462] 도 47은 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(26000)을 개략적으로 예시한다. 디스플레이 시스템(26000)은 고-FOV 저-해상도 이미지 스트림을 제공하도록 구성된 제1 이미지 소스(26002) 및 저-FOV 고-해상도 이미지 스트림을 제공하도록 구성된 제2 이미지 소스(26004)를 포함할 수 있다.
[0463] 디스플레이 시스템(26000)은 또한 고-FOV 저-해상도 이미지 스트림의 제1 광학 경로를 따라 포지셔닝된 제1 광학 렌즈(렌즈 A) 및 제2 광학 렌즈(렌즈 B)를 포함할 수 있다. 일부 실시예들에서, 제1 광학 렌즈와 제2 광학 렌즈의 조합은 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔에 대해 1보다 더 높은 각도 배율을 제공할 수 있으며, 이로써 제1 광빔에 대해 더 넓은 FOV를 산출할 수 있다.
[0464] 디스플레이 시스템(26000)은 또한 접안렌즈(26008) 및 접안렌즈(26008)에 커플링된 ICG(in-coupling grating)(26010)를 포함한다. 접안렌즈(26008)는 내부에서 광을 전파하도록 구성된 도파관 플레이트일 수 있다. ICG(26010)는 위에 입사되는 광 중 일부를 접안렌즈(26008)로 회절시키도록 구성된 회절 광학 엘리먼트일 수 있다. 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔이 ICG(26010)의 제1 표면(26010-1) 상에 입사될 때, 제1 광빔 중 일부는 반사 모드에서 접안렌즈(26008)로 회절되고(예컨대, 1차 반사), 그런다음 이는 접안렌즈(26008)를 통해 후속적으로 전파되어 사용자의 눈을 향해 아웃-커플링될 수 있다.
[0465] 디스플레이 시스템(26000)은 또한 저-FOV 고-해상도 이미지 스트림의 제2 광학 경로를 따라 포지셔닝된 제3 광학 렌즈(렌즈 C) 및 제4 광학 렌즈(렌즈 D)를 포함할 수 있다. 일부 실시예들에서, 제3 광학 렌즈와 제4 광학 렌즈의 조합은 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔에 대해 실질적으로 1과 같은 또는 1 미만인 각도 배율을 제공할 수 있다. 따라서 제2 광빔은 제1 광빔의 FOV보다 더 좁은 FOV를 가질 수 있다.
[0466] 디스플레이 시스템(26000)은 중심와 추적기(26006), 이를테면 스캐닝 미러(예컨대, MEMs 미러)를 더 포함할 수 있는데, 이는 저-FOV 및 고-해상도 이미지 스트림과 연관된 제2 광빔을 동적으로 투사하기 위해 사용자의 눈의 고정 포지션에 기반하여 제어될 수 있다.
[0467] 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔은 제1 표면(26010-2)에 대향하는 ICG(26010)의 제2 표면(26010-1) 상에 입사될 수 있다. 제2 광빔 중 일부는 송신 모드(예컨대, 1차 송신)에서 접안렌즈(2408)로 회절될 수 있고, 그런다음 이는 접안렌즈(26008)를 통해 후속적으로 전파되어 사용자의 눈을 향해 아웃-커플링될 수 있다.
[0468] 앞서 설명된 바와 같이, 디스플레이 시스템(26000)은 도 43 - 도 46에 예시된 바와 같이 2개의 별개의 ICG들 대신에 단일 ICG(26010)를 사용한다. 이는 접안렌즈의 설계를 단순화할 수 있다.
[0469] 도 48은 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(27000)을 개략적으로 예시한다. 디스플레이 시스템(27000)은 도 30a - 도 30b에 예시된 디스플레이 시스템(8000)과 공통인 일부 엘리먼트들을 공유할 수 있으며; 도 30a - 도 30b에 관하여 그러한 엘리먼트들에 관한 설명은 여기에도 적용 가능하다. 디스플레이 시스템(27000)은 시분할 다중화되는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 및 고-해상도 이미지 스트림을 제공하도록 구성된 이미지 소스(27002)를 포함할 수 있다. 일부 실시예들에서, 이미지 소스(27002)는 피코 투사기의 형태를 취할 수 있다.
[0470] 디스플레이 시스템(27000)은 이미지 소스(27002)로부터 다운스트림에 포지셔닝되고 고-FOV 저-해상도 이미지 스트림 및 저-FOV 및 고-해상도 이미지 스트림을 편광되지 않은 상태로부터 편광된 상태로, 이를테면 S-편광 및 P-편광, 또는 RHCP 및 LHCP 편광된 상태로 변환하도록 구성된 편광기(27010)를 포함할 수 있다.
[0471] 디스플레이 시스템(27000)은 편광기(27010)로부터의 다운스트림에 포지셔닝된 스위칭 가능 편광 회전자(27020)를 추가로 포함할 수 있다. 스위칭 가능 편광 회전자(27020)의 동작은 시분할 다중화에서 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림의 프레임 레이트들로 동기화되도록 전자적으로 프로그래밍될 수 있어, 스위칭 가능 편광 회전자(27020)가 고-FOV 저-해상도 이미지 스트림의 편광을 회전시키지 않고(또는 매우 소량 회전시키고), 저-FOV 고-해상도 이미지의 편광을 약 90도(즉, 위상 시프트를 도입함)만큼 회전시키며, 또는 그 반대의 경우도 마찬가지다. 따라서 스위칭 가능 편광 회전자(27020)를 통과한 후, 고-FOV 저-해상도 이미지 스트림의 편광은 저-FOV 고-해상도 이미지 스트림의 편광에 직교할 수 있다. 예컨대, 고-FOV 저-해상도 이미지 스트림은 s-편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 p-편광될 수 있으며, 또는 그 반대의 경우도 마찬가지다. 다른 실시예들에서, 고-FOV 저-해상도 이미지 스트림은 왼쪽 원형 편광될 수 있고, 저-FOV 고-해상도 이미지 스트림은 오른쪽 원형 편광일 수 있으며, 또는 그 반대의 경우도 마찬가지다.
[0472] 디스플레이 시스템(27000)은 제1 광학 경로를 따라 고-FOV 저-해상도 이미지 스트림을 반사하도록, 그리고 제2 광학 경로를 따라 저-FOV 고-해상도 이미지 스트림을 송신하도록 구성된 편광 빔 분할기(27004)를 추가로 포함한다.
[0473] 디스플레이 시스템(27000)은 편광 빔 분할기(27004)의 앞에 포지셔닝된 제1 광학 렌즈(렌즈 A), 제1 광학 경로를 따라 편광 빔 분할기(27004)의 다운스트림에 포지셔닝된 제2 광학 렌즈(렌즈 B), 및 제2 광학 경로를 따라 빔 분할기(27004)로부터의 다운스트림에 포지셔닝된 제3 광학 렌즈(렌즈 C)를 추가로 포함할 수 있다. 일부 실시예들에서, 도 30a - 도 30b 및 도 31a - 도 31c에 관하여 앞서 설명된 바와 같이, 제1 광학 렌즈(렌즈 A)와 제2 광학 렌즈(렌즈 B)의 조합은 고-FOV 저-해상도 이미지 스트림에 대해 1보다 더 높은 각도 배율을 제공할 수 있고; 제1 광학 렌즈(렌즈 A)와 제3 광학 렌즈(렌즈 C)의 조합은 저-FOV 고-해상도 이미지 스트림에 대해 실질적으로 1과 동일한 또는 1 미만인 각도 배율을 제공할 수 있다. 따라서 고-FOV 저-해상도 이미지 스트림은 저-FOV 고-해상도 이미지 스트림에 의해 투사된 FOV보다 더 넓은 FOV를 갖는 사용자의 눈에 투사될 수 있다.
[0474] 디스플레이 시스템(27000)은 중심와 추적기(27006), 이를테면 스캐닝 미러(예컨대, MEMs 미러)를 더 포함할 수 있는데, 이는 저-FOV 및 고-해상도 이미지 스트림과 연관된 제2 광빔을 동적으로 투사하기 위해 사용자의 눈의 고정 포지션에 기반하여 제어될 수 있다.
[0475] 디스플레이 시스템(27000)은 접안렌즈(27008) 및 접안렌즈(27008)에 커플링된 ICG(in-coupling grating)(27050)를 추가로 포함할 수 있다. 접안렌즈(27008)는 내부에서 광을 전파하도록 구성된 도파관 플레이트일 수 있다. ICG(27050)는 위에 입사되는 광 중 일부를 접안렌즈(27008)로 회절시키도록 구성된 회절 광학 엘리먼트일 수 있다.
[0476] 디스플레이 시스템(27000)은 제1 광학 경로를 따라 제2 광학 렌즈(렌즈 B)로부터의 다운스트림에 포지셔닝된 제1 반사기(27030)를 추가로 포함할 수 있다. 제1 반사기(27030)는 고-FOV 저-해상도 이미지 스트림을 ICG(27050)를 향해 반사하도록 구성될 수 있다. 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔이 ICG(27050)의 제1 표면(27050-1) 상에 입사될 때, 제1 광빔 중 일부는 송신 모드에서 접안렌즈(27008)로 회절되고(예컨대, 1차 송신), 이는 접안렌즈(27008)를 통해 후속적으로 전파하여 사용자의 눈을 향해 아웃-커플링될 수 있다.
[0477] 디스플레이 시스템(27000)은 제2 광학 경로를 따라 중심와 추적기(27006)로부터의 다운스트림에 포지셔닝된 제2 반사기(27040)를 추가로 포함할 수 있다. 제2 반사기(27040)는 저-FOV 고-해상도 이미지 스트림을 ICG(27050)를 향해 반사하도록 구성될 수 있다. 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔이 제1 표면(27050-1)에 대향하는 ICG(27050)의 제2 표면(27050-2) 상에 입사될 때, 제2 광빔 중 일부는 반사 모드에서 접안렌즈(27008)로 회절되고(예컨대, 1차 반사), 이는 접안렌즈(27008)를 통해 후속적으로 전파하여 사용자의 눈을 향해 아웃-커플링될 수 있다.
[0478] 도 49는 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(28000)을 개략적으로 예시한다. 디스플레이 시스템(28000)이 ICG를 포함하지 않는다는 점을 제외하면, 이는 디스플레이 시스템(27000)과 유사하다. 대신에, 디스플레이 시스템(28000)은 고-FOV 저-해상도 이미지 스트림을 접안렌즈(27008)에 커플링하기 위한 (디스플레이 시스템(27000)에서 제1 반사기(27030) 대신) 제1 인-커플링 프리즘(28030) 및 저-FOV 고-해상도 이미지 스트림을 접안렌즈(27008)에 커플링하기 위한 (디스플레이 시스템(27000)에서 제2 반사기(27040) 대신) 제2 인-커플링 프리즘(28040)을 포함한다. 제1 인-커플링 프리즘(28030)의 굴절률 및 제2 인-커플링 프리즘(28040)의 굴절률은 접안렌즈(27008)의 굴절률에 대하여 적절히 선택될 수 있어, 고-FOV 저-해상도 이미지 스트림과 연관된 제1 광빔에 포함된 전력의 프랙션 및 저-FOV 고-해상도 이미지 스트림과 연관된 제2 광빔에 포함된 전력의 프랙션은 제1 인-커플링 프리즘(28030) 및 제2 인-커플링 프리즘(28040)에 의해 각각 접안렌즈(27008)에 커플링된다.
IX. 오버랩핑 광학 경로들을 사용하는 높은 시야 및 고해상도 포비티드 디스플레이
[0479] 일부 실시예들에서, 디스플레이 시스템은 합성 이미지 스트림을 상이한 방향들로 전파하는 2개의 이미지 스트림들로 아웃-커플링하기 위해 PBS를 활용하지 않고 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 접안렌즈에 제공되도록 구성될 수 있다. 오히려, 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림은 이미지 소스로부터 접안렌즈까지 실질적으로 동일한 경로를 취할 수 있으며, 이는 PBS를 방지할 수 있다. 이는 디스플레이 시스템에 컴팩트한 폼 팩터를 제공하는 장점들을 가질 수 있다.
[0480] 도 50은 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(50000)을 개략적으로 예시한다. 디스플레이 시스템(50000)은 이미지 정보를 포함하는 변조된 광을 제공하도록 구성된 이미지 소스(50002)를 포함할 수 있다. 일부 실시예들에서, 이미지 소스(50002)는 고-FOV 저-해상도 이미저리를 제공하는데 사용되는 제1 이미지 스트림 및 시간-다중화 방식으로, 이를테면 제1 이미지 스트림으로부터의 프레임들을 제2 스트림의 프레임들과 인터리빙함으로써 저-FOV 고-해상도 이미지 스트림을 제공하는데 사용되는 제2 이미지 스트림을 제공할 수 있다.
[0481] 디스플레이 시스템(50000)은 또한 가변적인 광학기(50004)를 포함할 수 있다. 일부 실시예들에서, 가변적인 광학기(50004)는 고-FOV 저-해상도 이미지 스트림과 연관된 광선들(50030)에 대해, 저-FOV 고-해상도 이미지 스트림과 연관된 광선들(50020)에 대해서와는 상이한 각도 배율을 제공할 수 있으며, 이로써 도파관(50010)으로부터의 고-FOV 저-해상도 이미지 스트림의 투사가 저-FOV 고-해상도 이미지 스트림에 의해 투사된 FOV보다 더 넓은 FOV를 제공할 수 있게 한다. 인-커플링된 광이 ICG(50006) 상에 입사되는 각도들의 범위는 도파관(50010)으로부터의 해당 광의 아웃-커플링 시에 바람직하게 유지된다고 인지될 것이다. 따라서 넓은 범위의 각도들에서 ICG(50006) 상에 입사하는 인-커플링된 광은 또한 아웃-커플링될 시에 넓은 범위의 각도들로 도파관(50010)으로부터 멀리 전파되며, 이로써 높은 FOV 및 더 큰 각도 배율을 제공한다. 역으로, 비교적 좁은 범위의 각도들에서 ICG(50006) 상에 입사되는 광은 또한 아웃-커플링될 시에 좁은 범위의 각도들에서 도파관(50010)으로부터 멀리 전파되어, 이로써 낮은 FOV 및 낮은 각도 배율을 제공한다.
[0482] 추가적으로, 적절한 레벨의 각도 배율을 선택하기 위해, 가변적인 광학기(50004)는 저-FOV 고-해상도 이미지 스트림과 연관된 광과 상이한 광학 특성을 갖도록 고-FOV 저-해상도 이미지 스트림과 연관된 광을 변경할 수 있다. 바람직하게는, 가변적인 광학기(50004)의 기능 및 각각의 이미지 스트림의 광의 특성들은 광의 관련 특성을 변화시키는 것이 가변적인 광학기(50004)에 의해 제공되는 광 파워 및 초점 길이를 변경하도록 매칭된다. 예컨대, 고-FOV 저-해상도 이미지 스트림은 제1 편광을 가질 수 있고, 저-FOV 저-해상도 이미지 스트림은 제2 편광을 가질 수 있다. 바람직하게는, 가변적인 광학기(50004)는 그것을 통해 전파되는 광의 상이한 편광들에 대해 상이한 광 파워 및 상이한 초점 길이들을 제공하도록 구성되어, 특정 연관된 편광의 광을 제공함으로써 원하는 광 파워가 선택될 수 있다. 제1 편광은 RHCP(right hand circular polarization), LFCP(left hand circular polarization), S-편광, P-편광, 다른 편광 타입, 또는 비-편광일 수 있다. 제2 편광은 이것이 제1 편광과 상이한 한, RHCP(right hand circular polarization), LFCP(left hand circular polarization), S-편광, P-편광, 다른 편광 타입, 또는 비-편광일 수 있다. 일부 바람직한 실시예들에서, 제1 편광은 RHCP(right hand circular polarization) 및 LFCP(left hand circular polarization) 중 하나이고, 제2 편광은 LFCP(left hand circular polarization) 및 RHCP(right hand circular polarization) 중 다른 하나이다.
[0483] 일부 실시예들에서, 가변적인 광학기(50004)의 동작은 시분할 다중화에서 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림의 프레임 레이트들과 동기화되도록 전자적으로 프로그래밍될 수 있다. 일부 실시예들에서, 고-FOV 스트림의 이미지 프레임들에는 ICG(50006)를 통해 도파관(50010)에 커플링하기 위해 이들의 원하는 편광 및 각도 배율이 정해지는 한편, 저-FOV 스트림의 인터리빙된 프레임들에는 초기에 ICG(50006)를 통과하기 위해 이들의 원하는 배율 및 편광이 정해지고, 이들은 미러(50008)로 전달되며, 사용자의 고정 포인트로 타겟팅되고, 그런다음 ICG(50006)를 통해 도파관(50010)에 커플링된다.
[0484] 디스플레이 시스템(50000)은 또한 접안렌즈(50010) 및 접안렌즈(50010)에 커플링된 편광-민감 ICG(in-coupling grating)(50006)를 포함한다. 접안렌즈(50010)는 예컨대, 전반사에 의해 내부에서 광을 전파하도록 구성된 도파관, 예컨대 플레이트일 수 있다. 편광-민감 ICG(50006)는 위에 입사되는 광 중 일부를 접안렌즈(50010)로 회절시키도록 구성된 편광-민감 회절 광학 엘리먼트일 수 있다. 일부 실시예들에서, ICG(50006)는 특정 편광을 갖는 입사 광이 접안렌즈(50010)로 우선적으로 회절되는 한편, 적어도 하나의 다른 편광의 입사 광은 ICG(50006)를 통과한다는 점에서 편광-민감할 수 있다. 접안렌즈(50010)로 커플링하지 않고 ICG(50006)를 통과하는 광은, MEMS 미러일 수 있는 그리고 입사광의 편광을 스위칭하도록 구성될 수 있는 미러(50008) 쪽으로 지향될 수 있다. 제1 예로서, 편광-민감 ICG(50006)는 우측 RHCP(right-hand circular polarization)을 갖는 광을 도파관에 커플링하면서 LHCP(left-hand circular polarization)를 갖는 광을 미러(50008)를 향해 통과시킬 수 있다. 제2 예로서, 편광-민감 ICG(50006)는 LHCP를 갖는 광을 도파관에 커플링하면서, RHCP를 갖는 광을 미러(50008)를 향해 통과시킬 수 있다.
[0485] 적어도 일부 실시예들에서, 미러(50008)로부터 반사된 광은 ICG(50006) 쪽으로 지향될 수 있다. 추가적으로, 미러(50008)로부터의 광의 반사는 반사된 광이 ICG(50006)에 의해 회절되고 접안렌즈(50010)에 커플링될 원하는 편광을 갖도록 광의 편광을 변경할(예컨대, 광의 편광을 RHCP에서 LHCP로 그리고 그 반대의 경우도 마찬가지로 뒤집을) 수 있다. 예로서, 만약 ICG(50006)가 RHCP를 갖는 광을 접안렌즈(50010)에 커플링하도록 구성된다면, 고 FOV 스트림과 연관된 광에는 가변적인 광학기(50004)에 의해 RHCP가 정해진 다음, 그 광은 접안렌즈(50010)에 커플링될 수 있다. 이러한 예에서, 저 FOV 스트림과 연관된 광에는 가변적인 광학기(50004)에 의해 LHCP가 정해질 수 있어, LHCP 광은 그런다음 접안렌즈(50001)에 커플링하지 않고 ICG(50006)를 통과할 수 있고 대신 미러(50008) 쪽으로 지향될 수 있다. 미러(50008)로부터의 LHCP 광의 반사는 광의 편광을 RHCP로 뒤집을 수 있다. 그런다음, 현재-RHCP 광이 ICG(50006)를 히트할 때, 이는 ICG(50006)에 의해 접안렌즈(50010)에 커플링될 수 있다. ICG(50006)가 LHCP를 접안렌즈(50010)에 커플링하도록 구성될 때 유사한 예들이 적용된다.
[0486] 본원에서 개시된 바와 같이, 미러(50008)는 이동 가능한 미러, 예컨대 스캐닝 미러일 수 있고, 중심와 추적기로서 기능할 수 있다. 본원에서 또한 논의되는 바와 같이, 미러(50008)는 사용자의 눈의 결정된 고정 포지션에 기반하여 제어되고 이동/기울어질 수 있다. 미러(50008)의 기울어짐은 반사된 광으로 하여금 상이한 위치들에서 도파관(500010)으로 인-커플링하게 할 수 있으며, 이로써 광으로 하여금 또한 사용자의 눈의 중심와의 위치에 대응하는 상이한 위치들에서 아웃-커플링하게 할 수 있다.
[0487] 계속해서 도 50을 참조하면, 광원(50002)은 시간-다중화 방식으로 고-FOV 저-해상도(HFLR) 이미지 스트림 및 저-FOV 고-해상도(LFHR) 이미지 스트림을 생성할 수 있다. 추가적으로, 가변적인 광학기(50004)는 HFLR 이미지 스트림이 편광-민감 ICG(50006)에 의해 도파관(50010)에 커플링되도록 특정 편광(이를테면, RHCP)(그리고 연관된 각도 배율)을 갖도록 HFLR 이미지 스트림을 변경할 수 있다. 가변적인 광학기는 상이한 편광(이를테면, LHCP) 및 연관된 각도 배율을 갖도록 LFHR 이미지 스트림을 변경할 수 있다. 결과적으로, LFHR 이미지 스트림은 편광-민감 ICG(50006)를 통과하고, 미러(50008)로부터 반사(편광을 RHCP로 뒤집고 LFHR 이미지들을 사용자의 고정 포지션으로 타겟팅)하고, 그런다음 ICG(50006)에 의해 도파관(50010)에 커플링된다.
[0488] 선택적으로, 광의 편광 상태를 스위칭하기 위한 적어도 하나의 디바이스가 이미지 소스(50002)와 ICG(50006) 사이의 광학 경로에 삽입될 수 있다.
[0489] 도 51은 가변적인 광학기(50004)의 구현의 일례를 예시한다. 도 51에 도시된 바와 같이, 가변적인 광학기(50004)는 편광기(50012), 스위칭 가능 QWP(quarter wave plate)(50013), 렌즈(50014), 회절 파장판 렌즈(50015), 회절 파장판 렌즈(50016) 및 렌즈(500017)로 형성될 수 있다. 이는 단지 가변적인 광학기(50004)의 하나의 가능한 구현일 뿐이다.
[0490] 편광기(50012)는 광원(50002)으로부터의 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림을 편광되지 않은 상태로부터 편광된 상태로, 이를테면 S-편광 및 P-편광, 또는 RHCP 및 LHCP 편광된 상태로 변환하도록 구성될 수 있다.
[0491] 스위칭 가능 QWP(50013)는 편광기(50012)로부터의 편광된 광을 (1) RHCP(right-hand circular polarization) 또는 (2) LHCP(left-hand circular polarization)로 변환하도록 구성될 수 있다.
[0492] QWP(50013)를 빠져나간 후, 광은 렌즈(50014) 및 회절 파장판 렌즈(50015) 상에 입사될 수 있다. 회절 파장판 렌즈(50015)는 패턴 단위로 정렬된 액정 재료를 포함하는 기하학적 위상 렌즈일 수 있다. 회절 파장판 렌즈(50015)는 이들의 좌우상과 매칭하는 좌우상(RH 또는 LH)을 갖는 원편광된 광에 대한 포지티브 광 파워를 가질 수 있고(예컨대, 포지티브 렌즈일 수 있고), 대향 좌우상의 원편광된 광에 대한 네거티브 광 파워를 가질 수 있다(예컨대, 네거티브 렌즈일 수 있다). 회절 파장판 렌즈(50015)는 또한 원편광된 광의 좌우상을 반전시키는 특성을 가질 수 있다. 따라서 만약 회절 파장판 렌즈(50015)가 오른쪽이고 렌즈(500014)로부터 RHCP 광을 수신한다면, 회절 파장판 렌즈(50015)는 포지티브 렌즈로서의 역할을 하고, 광은 회절 파장판 렌즈(50015)를 통과한 후에 왼쪽이 될 것이다.
[0493] 회절 파장판 렌즈(50015)를 빠져나간 후, 광은 회절 파장판 렌즈(50016) 및 이어서 렌즈(50017) 상에 입사될 것이다. 회절 파장판 렌즈(50016)는 회절 파장판 렌즈(50015)와 유사한 방식으로 동작할 수 있다. 추가적으로, 회절 파장판 렌즈(50016)의 좌우상은 적어도 일부 실시예들에서, 회절 파장판 렌즈(50015)의 좌우상과 매칭할 수 있다. 이러한 어레인지먼트로, 회절 파장판 렌즈(50016)의 광 파워는 회절 파장판 렌즈(50015)의 광 파워와 대향할 것이다. 따라서 스위칭 가능 QWP(50013)가 편광 매칭 회절 파장판 렌즈(50015)로 광을 제공하는 예에서, 렌즈(50015)는 포지티브 광 파워를 가질 것이고 또한 광의 좌우상을 반전시킬 것이다. 그런다음, 후속적 회절 파장판 렌즈(50016)가 광을 수신할 때, 렌즈(50015)는 그 좌우상이 반전된 후에 광을 수신하기 때문에 이는 네거티브 광 파워를 가질 것이다.
[0494] 도 51에 도시된 타입의 어레인지먼트로, 가변적인 광학기(50004)는 (예컨대, 렌즈(50015)가 포지티브 광 파워를 제공하도록) 스위칭 가능 QWP(50013)가 회절 파장판 렌즈(50015)의 좌우상과 매칭하는 광을 제공할 때 제1 각도 배율을 제공할 수 있는 한편, 렌즈(50016)는 네거티브 광 파워를 제공하고, (예컨대, 렌즈(50015)는 네거티브 광 파워를 제공하는 한편, 렌즈(50016)는 포지티브 광 파워를 제공하도록) 스위칭 가능 QWP(50013)가 대향 좌우상의 광을 제공할 때 제2 각도 배율을 제공할 수 있다. 다른 실시예들에서, 2개의 회절 파장판 렌즈(50015, 50016)의 좌우상은 상이할 수 있다.
[0495] 이제 도 52a - 도 52b를 참조하면, 예시적인 ICG 구성들에 관한 추가적인 세부사항들이 제공된다. 예컨대, 편광 민감 ICG들은 ICG의 어느 쪽에 광이 입사되는지에 따라 특정 측방향으로 우선적으로 광을 지향시킬 수 있다고 인지될 것이다. 예컨대, 도 52a를 참조하면, 아래로부터 ICG(50006)에 입사하는 광은 페이지의 왼쪽으로 재지향된다. 그러나 위로부터 ICG(50006)에 입사하는 광은 광이 뷰어에 아웃커플링되는 도파관의 영역으로부터 멀어지게, 페이지의 오른쪽으로 바람직하지 않게 지향될 것이다. 일부 실시예들에서, 광이 원하는 방향으로 전파하도록 광을 인-커플링하기 위해, 도파관(50010)의 상이한 방향들 또는 측면들로부터 입사되는 광에 대해 상이한 ICG들이 사용될 수 있다.
[0496] 예컨대, 일부 실시예들에서, 디스플레이 시스템은 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 한 쌍의 편광-민감 ICG(in-coupling grating)들(50006, 50040)을 사용하여 (접안렌즈일 수 있는) 도파관(50010)에 커플링되도록 구성될 수 있다. 그러한 어레인지먼트는 예컨대, (도 50 - 도 53b의 관점에서) 아래로부터 ICG를 타격하는 광이 원하는 측방향으로(왼쪽으로) 도파관(50010)에 커플링되는 한편, 위에서부터 ICG를 타격하는 광이 대향 방향으로(오른쪽으로) 도파관(50010)에 커플링되는 경우에 유리할 수 있다. ICG(in-coupling gratings) 격자들에 관한 보다 세부사항들은 미국 특허출원 제15/902,927호에 기술되어 있으며, 이 출원의 내용은 이로써 그 전체가 마치 빠짐없이 기술된 것처럼 인용에 의해 명백히 그리고 완전히 통합된다.
[0497] 도 52a - 도 52b는 2개의 ICG들(50006, 50040)을 포함할 수 있는 본 발명의 일부 실시예들에 따라 이미지 스트림들을 사용자의 눈에 투사하기 위한 디스플레이 시스템(52000)을 개략적으로 예시한다. 일부 실시예들에서, ICG들(50006, 50040)은 둘 다 동일한 편광-타입의 광을 도파관(50010)에 커플링하도록 구성될 수 있다. 예로서, ICG들(50006, 50040)은 각각, LHCP(left-hand circular polarization)를 갖는 광을 도파관(50010)에 커플링하면서, RHCP(right-hand circular polarization)를 갖는 광을 통과시킬 수 있다. 대안적으로, 편광들은 교환될 수 있다.
[0498] 도 52a에 도시된 바와 같이, 광학 엘리먼트들, 이를테면 도 50 - 도 51에 도시된 것들은 LHCP(left-handed circular polarization)를 갖는 고 FOV 저 해상도 이미지 스트림(50030)을 제공할 수 있다. 광(50030)은 ICG(50006) 상에 입사될 수 있다. 광(50030)은 LHCP이고 ICG(50006)는 LHCP 광을 도파관(50010)에 커플링하도록 구성되므로, 광은 ICG(50006)에 의해 도파관(50010)에 커플링된다.
[0499] 도 52b에 도시된 바와 같이, 광학 엘리먼트들, 이를테면 도 50 - 도 51에 도시된 것들은 RHCP(right-handed circular polarization)를 갖는 (시간-다중화 방식으로 도 52a의 이미지 스트림과 인터리빙될 수 있는) 저 FOV 고 해상도 이미지 스트림(50020)을 제공할 수 있다. 광(50020)은 ICG(50006) 상에 입사될 수 있다. 그러나 광(50020)은 RHCP이고 ICG(50006)는 LHCP 광만을 도파관(50010)에 커플링하도록 구성되므로, 광(50020)은 ICG(50006)를 통과한다. ICG(50040)는 유사하게 LHCP 광만을 도파관(50010)에 커플링하도록 구성될 수 있고, 따라서 광은 또한 ICG(50040)를 통과할 수 있다. ICG들 둘 모두를 통과한 후, 광(50020)은 (다양한 섹션들에서 논의된 바와 같이) 사용자의 고정 포인트에 기반하여 특정 배향일 수 있는 이동 가능한 미러(50008) 상에 입사될 수 있다. 미러(50008)로부터 반사된 후에, 광(50020)의 편광은 뒤집어질 수 있어, 광은 이제 LHCP이다. 그런다음, 광(50020)은 ICG(50040) 상에 입사될 수 있으며, 이는 현재-LHCP 광(50020)을 도파관(50010)에 커플링할 수 있다.
[0500] 일부 실시예들에서, 디스플레이 시스템은 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림이 동일한 편광을 갖는 광에 의해 형성되도록 구성될 수 있다. 결과적으로, 이미지 스트림 둘 모두가 동일한 ICG의 동일한 면에 입사될 시에, 그 ICG에 의해 인커플링될 수 있다.
[0501] 도 53a - 도 53b는 본 발명의 일부 실시예들에 따라 사용자의 눈에 이미지 스트림들을 투사하기 위한 디스플레이 시스템(53000)을 개략적으로 예시하는데, 이는 단일 ICG(50006) 및 스위칭 가능 반사기(50042)를 포함한다. 스위칭 가능 반사기(50042)는 실질적으로 투명한 상태와 실질적으로 반사적인 상태 간에 충분히 높은 레이트로 스위칭하는 액정 기반 평면 디바이스일 수 있는데; 즉, 스위칭 가능 반사기(50042)의 스위칭 레이트는 바람직하게는 고-FOV 저-해상도 이미지 스트림 및 저-FOV 고-해상도 이미지 스트림의 인터리빙된 프레임들과의 조정을 허용하기에 바람직하게 충분히 높다. 예컨대, 스위칭 가능 반사기(50042)는 바람직하게는 고 및 저-FOV 해상도 이미지 스트림들이 스위칭되는 것과 적어도 동일한 레이트로 반사 상태와 투과성 상태 간에 스위칭할 수 있다.
[0502] 도 53a에 도시된 바와 같이, ICG(50006)는 광학 엘리먼트들, 이를테면 도 50 - 도 51에 도시된 것들로부터 고 FOV 저-해상도 이미지 스트림(50030)을 수신할 수 있다. 예로서, 이미지 스트림은 LHCP(left-handed circular polarization)을 가질 수 있다. 이미지 스트림(50030)의 광은 ICG(50006) 상에 입사될 수 있다. 그러나 ICG(50006)는 RHCP 광을 커플링하고 LHCP 광을 통과시키도록 구성될 수 있다. 따라서 LHCP 광(50030)은 ICG(50006)를 통과할 수 있다. 그런다음, 광은 스위칭 가능 반사기(50042) 상에 입사될 수 있으며, 이는 (시스템이 고 FOV 저 해상도 이미지 스트림(50030)을 투사하고 있는 동안) 반사 상태로 구성될 수 있다. 따라서 이미지 스트림(50030)의 광은 스위칭 가능 반사기(50042)로부터 반사될 수 있으며, 이로써 그 편광의 좌우상을 반전시킬 수 있다. 스위칭 가능 반사기(50042)로부터 반사한 후에, 50030 광은 ICG(50006) 상에 다시 입사될 수 있고, ICG(50006)는 현재-RHCP 광(50030)을 도파관(50010)에 커플링할 수 있다.
[0503] 도 53b에 도시된 바와 같이, 도 50 및 도 51에 도시된 것들과 같은 광학 엘리먼트들은 LHCP(left-handed circular polarization)을 갖는 저 FOV 고해상도 이미지 스트림(50020)을 제공할 수 있다. 이 어레인지먼트는 저 FOV 이미지 스트림(50020)의 편광이 고 FOV 이미지 스트림(50030)의 편광과 매칭한다는 점에서 약간 상이하다. 이러한 어레인지먼트는 도 50 및 도 51에 도시된 가변적인 광학기(50004)의 수정을 사용하여 달성될 수 있다. 예로서, 추가적인 편광기, 예컨대, 스위칭 가능한 편광기가 렌즈(50017)와 ICG(50006) 사이에 제공될 수 있다.
[0504] 도 53b의 저 FOV 고해상도 LHCP 광(50020)으로 리턴하면, 광(50020)은 ICG(50006) 상에 입사된다. 그러나 ICG(50006)는 RHCP를 도파관(50010)에 커플링하도록 구성된다. 따라서, 광(50020)은 ICG(50006)를 통과한다. 다음으로, 광(50020)은 스위칭 가능한 반사기(50042) 상에 입사되며, 이는 (시스템이 저 FOV 고해상도 광(50020)를 투사하는 동안) 그의 투명 상태에 있도록 구성될 수 있다. 따라서, 광은 스위칭 가능한 반사기(50042)를 통과하고 미러(50008) 상에 입사될 수 있고, 선택적으로, (본원의 다양한 섹션에서 논의되는 바와 같이) 사용자의 응시 포인트 상에서 미러(50008)에 의해 타겟팅될 수 있다. 미러(50008)로부터 반사된 후에, 광(50020)의 편광이 뒤집힐 수 있고, 따라서 광은 이제 RHCP이다. 그런다음, 광(50020)은 ICG(50006) 상에 입사될 수 있으며, 이는 현재-RHCP 광(50020)을 도파관(50010)에 커플링할 수 있다. 미러(50008)는 중심화 추적을 제공하도록 구성될 수 있고 그리고/또는 초점을 맞춘 이미지를 제공하기 위해 웨어러블 광학기(50004)의 상이한 초점 길이(도면들 50 내지 51)를 참작하도록 ICG(50006)로부터 충분히 이격될 수 있다는 것이 인지될 것이다.
[0505] 설명된 실시예들의 다양한 양상들, 실시예들, 구현들 또는 특징들은 개별적으로 또는 임의의 조합으로 사용될 수 있다. 설명된 실시예들의 다양한 양상들은 소프트웨어, 하드웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 설명된 실시예들은 또한 제조 동작들을 제어하기 위한 컴퓨터 판독가능한 매체 상의 컴퓨터 판독가능한 코드로서 또는 제조 라인을 제어하기 위한 컴퓨터 판독가능한 매체 상의 컴퓨터 판독가능한 코드로서 구체화될 수 있다. 컴퓨터 판독가능한 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 이는 이후에 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독가능한 매체의 예들은 판독-전용 메모리, 랜덤-액세스 메모리, CD-ROM들, HDD들, DVD들, 자기 테이프 및 광학 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독가능한 매체는 또한 네트워크-커플링된 컴퓨터 시스템들에 걸쳐 분배될 수 있어서, 컴퓨터 판독가능한 코드는 분배된 방식으로 저장 및 실행될 수 있다.
[0506] 위의 설명은 설명 목적으로, 설명된 실시예들의 완전한 이해를 제공하기 위해 특정 명칭을 사용하였다. 그러나, 특정한 세부사항들이 설명된 실시예들을 실시하기 위해 요구되는 것은 아니라는 것이 당업자에게 자명할 것이다. 따라서, 특정 실시예들의 위의 설명은 예시 및 설명 목적으로 제공된다. 이들은 설명된 실시예들을 개시된 그 형태들로 제한하거나 총망라하려는 것으로 의도되지 않는다. 위의 교시들을 고려하여 다수의 수정들 및 변동들이 가능하다는 것이 당업자에게 자명할 것이다.
[0507] 본원에서 설명되고 그리고/또는 도면들에 묘사되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특유 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 또한 인지될 것이다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정한 동작들 및 방법들은, 정해진 기능에 특정한 회로에 의해 수행될 수 있다.
[0508] 추가로, 본 개시내용의 기능성의 소정의 실시예들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적합한 전문화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 다수의 프레임들(각각의 프레임은 수백만 개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0509] 코드 모듈들 또는 임의의 타입의 데이터는, 임의의 타입의 비-일시적인 컴퓨터-판독가능한 매체, 이를테면, 하드 드라이브들, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 스토리지, 이들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지 상에 저장될 수 있다. 일부 실시예들에서, 비-일시적 컴퓨터-판독가능한 매체는 로컬 프로세싱 및 데이터 모듈(140), 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160) 중 하나 이상의 일부일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능한 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 다중화된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 스텝들의 결과들은 임의의 타입의 비-일시적인 유형의(tangible) 컴퓨터 스토리지에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독가능한 송신 매체를 통해 통신될 수 있다.
[0510] 본원에서 설명되고 그리고/또는 첨부된 도면들에 묘사되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 스텝들 또는 기능성들은 프로세스의 스텝들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 스텝들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 스텝들 또는 상태들은 적합한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
[0511] 위의 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 발명에 대해 행해질 수 있다는 것은 명백할 것이다. 그에 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.
[0512] 실제로, 본 개시내용의 시스템들 및 방법들 각각은 몇몇의 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 원하는 속성들을 단독으로 담당하지 않거나, 이 속성들을 위해 요구되진 않는다는 것이 인지될 것이다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다.
[0513] 별개의 실시예들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 실시예의 결합으로 구현될 수 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 실시예들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이로써 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0514] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건부 언어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들은 소정의 특징들, 엘리먼트들, 및/또는 스텝들을, 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 운반하도록 의도된다는 것이 인지될 것이다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 스텝들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 스텝들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 추가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 게다가, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다. 유사하게, 동작들이 특정한 순서로 도면들에 묘사될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 추가로, 도면들은 흐름도의 형태로 둘 이상의 예시적인 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 추가적인 동작들은, 예시된 동작들 중 임의의 동작 이전에, 이후에, 동시에, 또는 그 중간에 수행될 수 있다. 추가적으로, 동작들은 다른 실시예들에서 재배열되거나 재순서화될 수 있다. 소정의 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있음 이해되어야 한다. 추가적으로, 다른 실시예들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
[0515] 그에 따라서, 청구항들은 본 명세서에 도시된 실시예들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
Claims (22)
- 디스플레이 시스템으로서,
사용자의 머리에 장착되도록 구성된 프레임;
디스플레이 디바이스 ― 상기 디스플레이 디바이스는,
이미지들을 형성하기 위해 광을 출력하도록 구성된 광 변조 시스템; 및
하나 이상의 도파관들을 포함하고, 상기 하나 이상의 도파관들은 상기 프레임에 부착되며, 상기 광 변조 시스템으로부터 상기 광을 수신하고 그리고 상기 하나 이상의 도파관들의 표면을 가로 질러 상기 광을 출력하도록 구성됨 ―;
하나 이상의 프로세서들; 및
명령들을 저장한 하나 이상의 컴퓨터 저장 매체를 포함하고,
상기 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 디스플레이 시스템의 상기 사용자의 눈의 망막에 도달하는 광량을 결정하는 동작;
상기 망막에 도달하는 광량에 기반하여 상기 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 동작; 및
상기 디스플레이 디바이스를 통해, 상기 사용자로의 상기 가상 콘텐츠의 프리젠테이션을 유발하는 동작 ― 상기 가상 콘텐츠는 조정된 해상도에 따라 제공됨 ―
을 포함하는 동작들을 수행하게 하고,
상기 하나 이상의 도파관들은,
하나 이상의 인커플링 회절 광학 엘리먼트들;
하나 이상의 아웃커플링 회절 광학 엘리먼트들; 및
상기 하나 이상의 인커플링 회절 광학 엘리먼트들로부터 상기 하나 이상의 아웃커플링 회절 광학 엘리먼트들로 광을 지향시키도록 구성된 하나 이상의 광 분배 엘리먼트들을 포함하는,
디스플레이 시스템. - 삭제
- 삭제
- 제1 항에 있어서,
상기 하나 이상의 도파관들은 도파관들의 스택을 포함하고, 상기 도파관들의 스택 중 적어도 일부의 도파관들은 상기 도파관들의 스택 중 다른 도파관들과 상이한 파면 발산량을 제공하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 망막에 도달하는 광량을 결정하는 동작은 상기 하나 이상의 도파관들에 의해 상기 사용자의 눈으로 출력되는 광량을 결정하는 동작을 더 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
주변 조명 레벨을 측정하도록 구성된 외향 카메라를 더 포함하며, 상기 망막에 도달하는 광량을 결정하는 동작은 상기 외향 카메라를 사용하여 상기 주변 조명 레벨을 측정하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 망막에 도달하는 광량을 결정하는 동작은 상기 사용자의 눈의 동공의 사이즈를 결정하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은,
사용자 응시 포인트를 결정하는 동작; 및
상기 가상 콘텐츠의 위치 정보를 획득하는 동작을 더 포함하고,
상기 위치 정보는 상기 가상 콘텐츠의 3-차원 포지션들을 표시하며,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 사용자 응시 포인트에 대한 상기 가상 콘텐츠의 근접도에 기반하여 상기 가상 콘텐츠의 해상도들을 변경하는 동작을 포함하는,
디스플레이 시스템. - 제8 항에 있어서,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 사용자 응시 포인트로부터 상기 가상 콘텐츠의 거리가 증가함에 따라 상기 가상 콘텐츠의 해상도를 감소시키는 동작을 포함하는,
디스플레이 시스템. - 제9 항에 있어서,
감소하는 해상도의 추세(trend)는 상기 사용자의 망막에서의 감소하는 추상체 밀도의 추세와 실질적으로 유사한,
디스플레이 시스템. - 제10 항에 있어서,
사용자 시야 내의 최대 해상도의 존(zone)은 상기 사용자의 눈의 중심소와(foveola)에 대응하는 포인트 중심에 위치되며,
사용자 시야 내의 상기 가상 콘텐츠의 해상도는 상기 포인트의 +/-20° 외부에 배치된 가상 콘텐츠에 비해 감소되는,
디스플레이 시스템. - 제9 항에 있어서,
상기 해상도를 감소시키는 동작은 상기 망막에 도달하는 광의 모든 레벨들에서 다각형 카운트를 감소시키는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 해상도를 조정하는 동작은 적어도 2개의 해상도 레벨들 중 하나로 상기 해상도를 세팅하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 망막에 도달하는 광량의 감소에 따라 컬러 깊이 및 콘트라스트 비율 중 하나 또는 둘 모두를 감소시키는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은 상기 광량이 명소시, 박명시 또는 암소시 조명 레벨들에 대응하는지 여부를 결정하는 동작을 더 포함하며,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 조명 레벨이 명소시, 박명시 또는 암소시 조명 레벨에 대응하는지 여부에 기반하여 상기 해상도들을 세팅하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 가상 콘텐츠의 해상도를 조정하는 동작은, 암소시 조명 레벨에서, 단일 컬러를 사용하여 상기 가상 콘텐츠를 디스플레이하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 눈의 망막에 도달하는 상기 광량이 감소함에 따라 상기 가상 콘텐츠를 형성하는 이미지들의 콘트라스트 비율을 감소시키는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은 복수의 컴포넌트 컬러들로 가상 콘텐츠를 제공하는 동작을 더 포함하며,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상이한 컴포넌트 컬러들에 대해 상이한 해상도들을 제공하는 동작을 포함하는,
디스플레이 시스템. - 제1 항에 있어서,
상기 가상 콘텐츠의 해상도를 조정하는 동작은 상기 사용자의 각각의 눈의 대향 주변 구역 내에 위치된 가상 콘텐츠의 렌더링을 방지하는 동작을 포함하며, 왼쪽 눈의 상기 대향 주변 구역은 오른쪽 눈으로 볼 수 있지만 상기 왼쪽 눈으로 볼 수 없는 상기 오른쪽 눈의 주변의 적어도 일부이고, 상기 오른쪽 눈의 상기 대향 주변 구역은 상기 왼쪽 눈으로 볼 수 있지만 상기 오른쪽 눈으로 볼 수 없는 상기 왼쪽 눈의 주변의 적어도 일부인,
디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은 상기 눈의 시신경 블라인드 스폿(optic nerve blind spot)에 대응하는 가상 콘텐츠의 렌더링을 방지하는 동작을 더 포함하는,
디스플레이 시스템. - 디스플레이 시스템으로서,
사용자의 머리에 장착되도록 구성된 프레임;
디스플레이 디바이스 ― 상기 디스플레이 디바이스는,
이미지들을 형성하기 위해 광을 출력하도록 구성된 광 변조 시스템; 및
하나 이상의 도파관들을 포함하고, 상기 하나 이상의 도파관들은 상기 프레임에 부착되며, 상기 광 변조 시스템으로부터 상기 광을 수신하고 그리고 상기 하나 이상의 도파관들의 표면을 가로 질러 상기 광을 출력하도록 구성됨 ―;
하나 이상의 프로세서들; 및
명령들을 저장한 하나 이상의 컴퓨터 저장 매체를 포함하고,
상기 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 디스플레이 시스템의 상기 사용자의 눈의 망막에 도달하는 광량을 결정하는 동작;
상기 망막에 도달하는 광량에 기반하여 상기 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 동작; 및
상기 디스플레이 디바이스를 통해, 상기 사용자로의 상기 가상 콘텐츠의 프리젠테이션을 유발하는 동작 ― 상기 가상 콘텐츠는 조정된 해상도에 따라 제공됨 ―
을 포함하는 동작들을 수행하게 하고,
상기 망막에 도달하는 광량을 결정하는 동작은 상기 하나 이상의 도파관들에 의해 상기 사용자의 눈으로 출력되는 광량을 결정하는 동작을 더 포함하는,
디스플레이 시스템. - 명령들을 저장한 하나 이상의 컴퓨터 저장 매체 및 하나 이상의 프로세서들을 포함하는 디스플레이 시스템으로서,
상기 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
상기 디스플레이 시스템의 사용자의 눈의 망막에 도달하는 광량을 결정하는 동작;
상기 망막에 도달하는 광량에 기반하여 상기 사용자에게 제공될 가상 콘텐츠의 해상도를 조정하는 동작;
디스플레이 디바이스를 통해, 상기 사용자로의 상기 가상 콘텐츠의 프리젠테이션을 유발하는 동작 ― 상기 가상 콘텐츠는 조정된 해상도에 따라 제공됨 ―; 및
상기 눈의 시신경 블라인드 스폿에 대응하는 가상 콘텐츠의 렌더링을 방지하는 동작
을 포함하는 동작들을 수행하게 하는,
디스플레이 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247010343A KR20240046291A (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762475012P | 2017-03-22 | 2017-03-22 | |
| US62/475,012 | 2017-03-22 | ||
| US201762486407P | 2017-04-17 | 2017-04-17 | |
| US62/486,407 | 2017-04-17 | ||
| US201762539934P | 2017-08-01 | 2017-08-01 | |
| US62/539,934 | 2017-08-01 | ||
| US201862644365P | 2018-03-16 | 2018-03-16 | |
| US62/644,365 | 2018-03-16 | ||
| KR1020197031052A KR102524006B1 (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
| PCT/US2018/023619 WO2018175625A1 (en) | 2017-03-22 | 2018-03-21 | Depth based foveated rendering for display systems |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197031052A Division KR102524006B1 (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247010343A Division KR20240046291A (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230056067A KR20230056067A (ko) | 2023-04-26 |
| KR102653388B1 true KR102653388B1 (ko) | 2024-04-01 |
Family
ID=63582451
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197031052A KR102524006B1 (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
| KR1020247010343A KR20240046291A (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
| KR1020237013033A KR102653388B1 (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197031052A KR102524006B1 (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
| KR1020247010343A KR20240046291A (ko) | 2017-03-22 | 2018-03-21 | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11644669B2 (ko) |
| EP (1) | EP3603058A4 (ko) |
| JP (3) | JP7096836B2 (ko) |
| KR (3) | KR102524006B1 (ko) |
| CN (2) | CN114578562A (ko) |
| AU (1) | AU2018239511A1 (ko) |
| CA (1) | CA3057109A1 (ko) |
| IL (2) | IL300511A (ko) |
| WO (1) | WO2018175625A1 (ko) |
Families Citing this family (127)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US9933684B2 (en) * | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
| WO2016113534A1 (en) | 2015-01-12 | 2016-07-21 | Milan Momcilo Popovich | Environmentally isolated waveguide display |
| US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
| WO2016154537A1 (en) * | 2015-03-26 | 2016-09-29 | Kent State University | Compact non-mechanical zoom lens |
| EP3359999A1 (en) | 2015-10-05 | 2018-08-15 | Popovich, Milan Momcilo | Waveguide display |
| GB2553744B (en) | 2016-04-29 | 2018-09-05 | Advanced Risc Mach Ltd | Graphics processing systems |
| US10268268B1 (en) | 2016-09-02 | 2019-04-23 | Facebook Technologies, Llc | Waveguide integrated eye tracking |
| KR20230144116A (ko) | 2016-11-18 | 2023-10-13 | 매직 립, 인코포레이티드 | 교차 격자를 이용한 도파관 광 멀티플렉서 |
| US10168531B1 (en) * | 2017-01-04 | 2019-01-01 | Facebook Technologies, Llc | Lightfield waveguide integrated eye tracking |
| WO2018129398A1 (en) | 2017-01-05 | 2018-07-12 | Digilens, Inc. | Wearable heads up displays |
| US10904514B2 (en) | 2017-02-09 | 2021-01-26 | Facebook Technologies, Llc | Polarization illumination using acousto-optic structured light in 3D depth sensing |
| WO2018175625A1 (en) | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| JP2020515895A (ja) * | 2017-03-27 | 2020-05-28 | エイヴギャント コーポレイション | 操作可能な中心窩ディスプレイ |
| US10685430B2 (en) * | 2017-05-10 | 2020-06-16 | Babylon VR Inc. | System and methods for generating an optimized 3D model |
| US10914957B1 (en) | 2017-05-30 | 2021-02-09 | Apple Inc. | Video compression methods and apparatus |
| US10613413B1 (en) | 2017-05-31 | 2020-04-07 | Facebook Technologies, Llc | Ultra-wide field-of-view scanning devices for depth sensing |
| US10181200B1 (en) | 2017-06-28 | 2019-01-15 | Facebook Technologies, Llc | Circularly polarized illumination and detection for depth sensing |
| US10574973B2 (en) | 2017-09-06 | 2020-02-25 | Facebook Technologies, Llc | Non-mechanical beam steering for depth sensing |
| CN109511004B (zh) * | 2017-09-14 | 2023-09-01 | 中兴通讯股份有限公司 | 一种视频处理方法及装置 |
| WO2019082510A1 (ja) | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム |
| US10650579B2 (en) * | 2017-11-30 | 2020-05-12 | Microsoft Technology Licensing, Llc | Systems and methods of distance-based shaders for procedurally generated graphics |
| US10401657B2 (en) * | 2018-01-05 | 2019-09-03 | Intel Corporation | Head mount displays for mixed reality |
| WO2019173390A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display |
| US11175508B2 (en) | 2018-03-15 | 2021-11-16 | Facebook Technologies, Llc | Display device with varifocal optical assembly |
| US11846779B2 (en) | 2018-03-15 | 2023-12-19 | Meta Platforms Technologies, Llc | Display device with varifocal optical assembly |
| US20190285891A1 (en) | 2018-03-15 | 2019-09-19 | Oculus Vr, Llc | Image quality of pancharatnam berry phase components using polarizers |
| US11175507B2 (en) | 2018-03-15 | 2021-11-16 | Facebook Technologies, Llc | Polarization-sensitive components in optical systems for large pupil acceptance angles |
| CN112136094A (zh) | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| US10714050B2 (en) * | 2018-03-21 | 2020-07-14 | Daqri, Llc | Reducing latency in augmented reality (AR) displays |
| WO2019191778A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Photonic beam steering and applications for optical communications |
| US10642049B2 (en) * | 2018-04-25 | 2020-05-05 | Apple Inc. | Head-mounted device with active optical foveation |
| DE102018110644B4 (de) * | 2018-05-03 | 2024-02-15 | Carl Zeiss Meditec Ag | Digitales Mikroskop und digitales Mikroskopieverfahren |
| GB2573543B (en) | 2018-05-09 | 2021-10-27 | Advanced Risc Mach Ltd | Graphics Processing |
| WO2019226688A1 (en) * | 2018-05-22 | 2019-11-28 | Agilent Technologies, Inc. | Method and system for implementing augmented reality (ar)-based assistance within work environment |
| US10419738B1 (en) | 2018-06-14 | 2019-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for providing 360° immersive video based on gaze vector information |
| US10527854B1 (en) * | 2018-06-18 | 2020-01-07 | Facebook Technologies, Llc | Illumination source for a waveguide display |
| US10841662B2 (en) | 2018-07-27 | 2020-11-17 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for inserting advertisement content in 360° immersive video |
| US10712837B1 (en) * | 2018-07-30 | 2020-07-14 | David Douglas | Using geo-registered tools to manipulate three-dimensional medical images |
| KR102546321B1 (ko) * | 2018-07-30 | 2023-06-21 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 방법 |
| KR20200021670A (ko) * | 2018-08-21 | 2020-03-02 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
| US10757389B2 (en) | 2018-10-01 | 2020-08-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Client optimization for providing quality control in 360° immersive video during pause |
| WO2020082002A1 (en) | 2018-10-19 | 2020-04-23 | Magic Leap, Inc. | Method and system for reducing line separation artifacts in interlaced image projection |
| US10775617B2 (en) * | 2018-10-24 | 2020-09-15 | Google Llc | Eye tracked lens for increased screen resolution |
| US11721307B1 (en) | 2018-11-02 | 2023-08-08 | Meta Platforms Technologies, Llc | Beam-racing pixel generation in a display engine |
| WO2020115815A1 (ja) * | 2018-12-04 | 2020-06-11 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
| CA3122089A1 (en) | 2018-12-07 | 2020-06-11 | Avegant Corp. | Steerable positioning element |
| US20200183163A1 (en) | 2018-12-11 | 2020-06-11 | Digilens Inc. | Methods and Apparatuses for Providing a Single Grating Layer Color Holographic Waveguide Display |
| US10634907B1 (en) * | 2018-12-19 | 2020-04-28 | Facebook Technologies, Llc | Eye tracking based on polarization volume grating |
| CN113544560A (zh) | 2018-12-28 | 2021-10-22 | 奇跃公司 | 具有发光微显示器的虚拟和增强现实显示系统 |
| US11126261B2 (en) | 2019-01-07 | 2021-09-21 | Avegant Corp. | Display control system and rendering pipeline |
| CN109767466B (zh) * | 2019-01-10 | 2021-07-13 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
| US11175513B2 (en) * | 2019-01-22 | 2021-11-16 | Varjo Technologies Oy | Display apparatuses and methods employing waveguides and opacity masks |
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| US11302248B2 (en) | 2019-01-29 | 2022-04-12 | Osram Opto Semiconductors Gmbh | U-led, u-led device, display and method for the same |
| US11610868B2 (en) | 2019-01-29 | 2023-03-21 | Osram Opto Semiconductors Gmbh | μ-LED, μ-LED device, display and method for the same |
| US11156759B2 (en) * | 2019-01-29 | 2021-10-26 | Osram Opto Semiconductors Gmbh | μ-LED, μ-LED device, display and method for the same |
| US11271143B2 (en) | 2019-01-29 | 2022-03-08 | Osram Opto Semiconductors Gmbh | μ-LED, μ-LED device, display and method for the same |
| DE102019201766A1 (de) * | 2019-02-12 | 2020-08-13 | Robert Bosch Gmbh | Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät |
| GB201903708D0 (en) * | 2019-03-19 | 2019-05-01 | Wave Optics Ltd | Improved angular uniformity waveguide for augmented or virtual reality |
| CN110139028B (zh) * | 2019-03-25 | 2020-07-07 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
| US10725304B1 (en) * | 2019-03-28 | 2020-07-28 | Facebook Technologies, Llc | Compensatory image during swift-eye movement |
| US11284053B2 (en) | 2019-03-29 | 2022-03-22 | Razmik Ghazaryan | Head-mounted display and projection screen |
| WO2020205784A1 (en) | 2019-03-29 | 2020-10-08 | Avegant Corp. | Steerable hybrid display using a waveguide |
| US10466489B1 (en) | 2019-03-29 | 2019-11-05 | Razmik Ghazaryan | Methods and apparatus for a variable-resolution screen |
| US10554940B1 (en) * | 2019-03-29 | 2020-02-04 | Razmik Ghazaryan | Method and apparatus for a variable-resolution screen |
| US11538852B2 (en) | 2019-04-23 | 2022-12-27 | Osram Opto Semiconductors Gmbh | μ-LED, μ-LED device, display and method for the same |
| CN110244839B (zh) * | 2019-05-20 | 2022-11-18 | 联想（上海）信息技术有限公司 | 控制方法、电子设备和存储介质 |
| JP7423659B2 (ja) | 2019-05-20 | 2024-01-29 | マジック リープ， インコーポレイテッド | 眼姿勢を推定するためのシステムおよび技法 |
| US11383731B2 (en) * | 2019-06-04 | 2022-07-12 | Lg Electronics Inc. | Image output device |
| US11650423B2 (en) * | 2019-06-20 | 2023-05-16 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| US20200413032A1 (en) * | 2019-06-27 | 2020-12-31 | Texas Instruments Incorporated | Methods and apparatus to render 3d content within a moveable region of display screen |
| US11009766B2 (en) * | 2019-06-28 | 2021-05-18 | Intel Corporation | Foveated virtual reality near eye displays |
| CN114341705A (zh) * | 2019-07-18 | 2022-04-12 | 三星电子株式会社 | 能够表达多个深度的图像显示设备 |
| CN112241068A (zh) | 2019-07-18 | 2021-01-19 | 三星电子株式会社 | 能够多深度表达的图像显示装置 |
| US11113880B1 (en) * | 2019-07-22 | 2021-09-07 | Facebook Technologies, Llc | System and method for optimizing the rendering of dynamically generated geometry |
| EP3917377A4 (en) * | 2019-07-26 | 2022-11-02 | Google LLC | METHOD AND SYSTEM FOR AUTOMATIC PUPIL DETECTION |
| US11106912B1 (en) | 2019-08-05 | 2021-08-31 | Genetec Inc. | Method and system for video content analysis |
| WO2021035482A1 (zh) * | 2019-08-26 | 2021-03-04 | 京东方科技集团股份有限公司 | 光学显示系统和方法、显示装置 |
| US11442222B2 (en) | 2019-08-29 | 2022-09-13 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
| US11029755B2 (en) | 2019-08-30 | 2021-06-08 | Shopify Inc. | Using prediction information with light fields |
| US11430175B2 (en) | 2019-08-30 | 2022-08-30 | Shopify Inc. | Virtual object areas using light fields |
| TWI723938B (zh) | 2019-09-12 | 2021-04-01 | 英錡科技股份有限公司 | 雷射投影裝置及合光透鏡 |
| KR20220013396A (ko) * | 2019-09-23 | 2022-02-04 | 애플 인크. | 컴퓨터 생성 현실 텍스트의 렌더링 |
| US11240488B2 (en) * | 2019-09-24 | 2022-02-01 | Facebook Technologies, Llc | Volumetric display including liquid crystal-based lenses |
| CN114746792A (zh) * | 2019-11-26 | 2022-07-12 | 瑞典爱立信有限公司 | 向用户供应多层扩展现实图像 |
| CN114830011A (zh) * | 2019-12-06 | 2022-07-29 | 奇跃公司 | 虚拟、增强和混合现实系统和方法 |
| CN110927973A (zh) * | 2019-12-16 | 2020-03-27 | Oppo广东移动通信有限公司 | 显示装置 |
| WO2021138607A1 (en) * | 2020-01-03 | 2021-07-08 | Digilens Inc. | Modular waveguide displays and related applications |
| EP4062225A4 (en) * | 2020-01-06 | 2023-12-27 | Avegant Corp. | HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION |
| EP4088140A4 (en) * | 2020-01-07 | 2024-01-31 | Baraja Pty Ltd | ADAPTIVE SPATIAL ESTIMATION SYSTEM |
| CN111309144B (zh) * | 2020-01-20 | 2022-02-01 | 北京津发科技股份有限公司 | 三维空间内注视行为的识别方法、装置及存储介质 |
| US11625848B2 (en) * | 2020-01-30 | 2023-04-11 | Unity Technologies Sf | Apparatus for multi-angle screen coverage analysis |
| CN111338591B (zh) * | 2020-02-25 | 2022-04-12 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| CN113325947A (zh) * | 2020-02-28 | 2021-08-31 | 北京七鑫易维信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
| US11823343B1 (en) * | 2020-03-26 | 2023-11-21 | Apple Inc. | Method and device for modifying content according to various simulation characteristics |
| WO2021214745A1 (en) * | 2020-04-20 | 2021-10-28 | Lumus Ltd. | Near-eye display with enhanced laser efficiency and eye safety |
| CN111553972B (zh) * | 2020-04-27 | 2023-06-30 | 北京百度网讯科技有限公司 | 用于渲染增强现实数据的方法、装置、设备及存储介质 |
| CN115668033A (zh) * | 2020-05-22 | 2023-01-31 | 奇跃公司 | 用于具有宽视场的双投射器波导显示器的方法和系统 |
| KR20210156613A (ko) | 2020-06-18 | 2021-12-27 | 삼성전자주식회사 | 증강 현실 글라스 및 그 동작 방법 |
| WO2022015647A2 (en) * | 2020-07-13 | 2022-01-20 | Perdix Systems Llc | Optical systems with multiple light engines for foveation |
| WO2022020262A1 (en) * | 2020-07-24 | 2022-01-27 | Perdix Systems Llc | Optical system having light sources with a power-saving mode |
| CN111929893B (zh) * | 2020-07-24 | 2022-11-04 | 闪耀现实(无锡)科技有限公司 | 一种增强现实显示装置及其设备 |
| TWI779336B (zh) * | 2020-08-24 | 2022-10-01 | 宏碁股份有限公司 | 顯示系統及裸視立體影像之播放方法 |
| CN116490840A (zh) * | 2020-09-22 | 2023-07-25 | 苹果公司 | 用于计算机生成的对象的注意力驱动渲染 |
| CN112285915B (zh) * | 2020-10-26 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 增强现实组件以及显微镜 |
| US11297332B1 (en) | 2020-10-30 | 2022-04-05 | Capital One Services, Llc | Gaze-tracking-based image downscaling for multi-party video communication |
| CN116670562A (zh) * | 2020-11-30 | 2023-08-29 | 苹果公司 | 具有成像能力的显示系统 |
| US11523095B2 (en) * | 2020-12-21 | 2022-12-06 | Infineon Technologies Ag | Mems mirror-based extended reality projection with eye-tracking |
| US20220210905A1 (en) * | 2020-12-30 | 2022-06-30 | Samsung Electronics Co., Ltd. | Electronic device including heat dissipation structure |
| KR20220126584A (ko) * | 2021-03-09 | 2022-09-16 | 삼성전자주식회사 | 모바일 장치의 카메라 시스템 |
| CN113177434A (zh) * | 2021-03-30 | 2021-07-27 | 青岛小鸟看看科技有限公司 | 基于单眼球追踪的虚拟现实系统注视渲染方法、系统 |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
| FR3121505B1 (fr) * | 2021-04-01 | 2023-03-31 | Thales Sa | Systéme d'observation á grossissement ajustable |
| US20220334392A1 (en) * | 2021-04-16 | 2022-10-20 | Nvidia Corporation | Holographic virtual reality display |
| US20220345678A1 (en) * | 2021-04-21 | 2022-10-27 | Microsoft Technology Licensing, Llc | Distributed Virtual Reality |
| JP7011746B1 (ja) | 2021-05-31 | 2022-01-27 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
| DE102021205700B4 (de) * | 2021-06-07 | 2023-07-06 | Siemens Healthcare Gmbh | Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität |
| CN113393516B (zh) * | 2021-06-17 | 2022-05-24 | 贝壳找房(北京)科技有限公司 | 用于打散ar场景中的虚拟物体的方法和装置 |
| CN113467619B (zh) * | 2021-07-21 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 画面显示方法、装置和存储介质及电子设备 |
| CN113599818B (zh) * | 2021-08-16 | 2023-07-21 | 北京字跳网络技术有限公司 | 植被渲染方法、装置、电子设备及可读存储介质 |
| EP4374572A1 (en) * | 2021-08-23 | 2024-05-29 | Vuzix Corporation | Double-sided waveguide |
| WO2023060414A1 (en) * | 2021-10-12 | 2023-04-20 | Citrix Systems, Inc. | Adjustable magnifier for virtual desktop |
| KR20230060315A (ko) * | 2021-10-27 | 2023-05-04 | 삼성전자주식회사 | 전자 장치 및 이를 이용한 공간 매핑 방법 |
| US11501410B1 (en) * | 2022-03-22 | 2022-11-15 | Illuscio, Inc. | Systems and methods for dynamically rendering three-dimensional images with varying detail to emulate human vision |
| WO2023195596A1 (ko) * | 2022-04-08 | 2023-10-12 | 엘지전자 주식회사 | 실감형 컨텐츠 제공 장치 및 실감형 컨텐츠 제공 방법 |
| CN116528065B (zh) * | 2023-06-30 | 2023-09-26 | 深圳臻像科技有限公司 | 一种高效虚拟场景内容光场获取与生成方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016191845A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2017500605A (ja) * | 2013-11-27 | 2017-01-05 | マジック リープ， インコーポレイテッド | 仮想現実および拡張現実のシステムおよび方法 |
Family Cites Families (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| WO2000062543A1 (en) | 1999-04-08 | 2000-10-19 | New York University | Extremely high resolution foveated display |
| US9781408B1 (en) | 2001-01-23 | 2017-10-03 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US10742965B2 (en) | 2001-01-23 | 2020-08-11 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US20030067476A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
| US7499594B2 (en) | 2002-04-15 | 2009-03-03 | At&T Intellectual Property 1, L.P. | Multi-resolution predictive foveation for bandwidth reduction of moving images |
| US7872635B2 (en) | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
| US20050232530A1 (en) | 2004-04-01 | 2005-10-20 | Jason Kekas | Electronically controlled volume phase grating devices, systems and fabrication methods |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| US7173619B2 (en) | 2004-07-08 | 2007-02-06 | Microsoft Corporation | Matching digital information flow to a human perception system |
| JP2006337997A (ja) | 2005-05-02 | 2006-12-14 | Semiconductor Energy Lab Co Ltd | 表示装置 |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US7850306B2 (en) | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| US11320571B2 (en) | 2012-11-16 | 2022-05-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view with uniform light extraction |
| JP2011085829A (ja) | 2009-10-19 | 2011-04-28 | Nikon Corp | ヘッドマウントディスプレイ |
| US9304319B2 (en) * | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| EP2656135B1 (en) | 2010-12-24 | 2022-05-04 | Magic Leap, Inc. | Freeform waveguide prism |
| JP6316186B2 (ja) | 2011-05-06 | 2018-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 広範囲同時遠隔ディジタル提示世界 |
| JP2012252091A (ja) | 2011-06-01 | 2012-12-20 | Sony Corp | 表示装置 |
| EP2754028A4 (en) | 2011-09-08 | 2015-08-12 | Intel Corp | VISUALIZATION OF INTERACTIVE SCREEN |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| KR101917630B1 (ko) | 2011-10-28 | 2018-11-13 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
| KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US20130300635A1 (en) | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for providing focus correction of displayed information |
| KR102217788B1 (ko) | 2012-06-11 | 2021-02-18 | 매직 립, 인코포레이티드 | 도파관 리플렉터 어레이 프로젝터를 이용한 다중 깊이면 3차원 디스플레이 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| CN104813218A (zh) | 2012-09-11 | 2015-07-29 | 奇跃公司 | 人机工程学的头戴显示设备和光学系统 |
| US20140092006A1 (en) | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
| IL301489B1 (en) | 2013-01-15 | 2024-04-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
| KR102270699B1 (ko) | 2013-03-11 | 2021-06-28 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| NZ735751A (en) | 2013-03-15 | 2019-10-25 | Magic Leap Inc | Display system and method |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| WO2015057994A1 (en) | 2013-10-16 | 2015-04-23 | Kaji Masamune | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US11402629B2 (en) | 2013-11-27 | 2022-08-02 | Magic Leap, Inc. | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
| EP3100099B1 (en) | 2014-01-31 | 2020-07-01 | Magic Leap, Inc. | Multi-focal display system and method |
| CN106233189B (zh) | 2014-01-31 | 2020-06-26 | 奇跃公司 | 多焦点显示系统和方法 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN107087431B (zh) | 2014-05-09 | 2021-02-05 | 谷歌有限责任公司 | 用于辨别眼睛信号和连续生物识别的系统和方法 |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| JP6704353B2 (ja) | 2014-05-30 | 2020-06-03 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想および拡張現実における焦点面を作成する方法およびシステム |
| CN106662754B (zh) | 2014-05-30 | 2021-05-25 | 奇跃公司 | 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统 |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| US10859740B2 (en) | 2014-07-31 | 2020-12-08 | Imagineoptix Corporation | Bragg liquid crystal polarization gratings |
| US9552062B2 (en) * | 2014-09-05 | 2017-01-24 | Echostar Uk Holdings Limited | Gaze-based security |
| WO2016073986A1 (en) | 2014-11-07 | 2016-05-12 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| US10176639B2 (en) | 2014-11-27 | 2019-01-08 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
| US10154194B2 (en) * | 2014-12-31 | 2018-12-11 | Logan Gilpin | Video capturing and formatting system |
| JP6819031B2 (ja) | 2015-01-23 | 2021-01-27 | 株式会社リコー | 頭部装着型表示装置、表示方法 |
| EP3271776B1 (en) | 2015-03-16 | 2022-11-30 | Magic Leap, Inc. | Methods and systems for diagnosing and treating health ailments |
| JP2016202716A (ja) | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| CN104935909B (zh) * | 2015-05-14 | 2017-02-22 | 清华大学深圳研究生院 | 一种基于深度信息的多幅图超分辨方法 |
| US10043281B2 (en) | 2015-06-14 | 2018-08-07 | Sony Interactive Entertainment Inc. | Apparatus and method for estimating eye gaze location |
| US10210844B2 (en) * | 2015-06-29 | 2019-02-19 | Microsoft Technology Licensing, Llc | Holographic near-eye display |
| WO2017025487A1 (en) | 2015-08-07 | 2017-02-16 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | System and method for displaying a stream of images |
| IL305152A (en) * | 2015-08-18 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| CN108027984B (zh) | 2015-09-25 | 2022-05-13 | 奇跃公司 | 用于在3d重建中检测和组合结构特征的方法和系统 |
| EP3365724B1 (en) | 2015-10-20 | 2021-05-05 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
| US20190088015A1 (en) | 2016-03-31 | 2019-03-21 | Umbra Software Oy | Virtual reality streaming |
| US9721393B1 (en) | 2016-04-29 | 2017-08-01 | Immersive Enterprises, LLC | Method for processing and delivering virtual reality content to a user |
| US20170373459A1 (en) | 2016-06-27 | 2017-12-28 | University Of Central Florida Research Foundation, Inc. | Volume polarization grating, methods of making, and applications |
| US11551602B2 (en) | 2016-09-01 | 2023-01-10 | Innovega Inc. | Non-uniform resolution, large field-of-view headworn display |
| WO2018057660A2 (en) | 2016-09-20 | 2018-03-29 | Apple Inc. | Augmented reality system |
| AU2017356886A1 (en) | 2016-11-10 | 2019-05-02 | Magic Leap, Inc. | Method and system for eye tracking using speckle patterns |
| CA3042554C (en) | 2016-11-16 | 2023-07-18 | Magic Leap, Inc. | Multi-resolution display assembly for head-mounted display systems |
| WO2018175625A1 (en) | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| JP2020515895A (ja) | 2017-03-27 | 2020-05-28 | エイヴギャント コーポレイション | 操作可能な中心窩ディスプレイ |
| US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
| CN112136094A (zh) | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| WO2020033875A1 (en) | 2018-08-10 | 2020-02-13 | Compound Photonics Limited | Apparatus, systems, and methods for foveated display |
-
2018
- 2018-03-21 WO PCT/US2018/023619 patent/WO2018175625A1/en unknown
- 2018-03-21 EP EP18770261.8A patent/EP3603058A4/en active Pending
- 2018-03-21 JP JP2019552200A patent/JP7096836B2/ja active Active
- 2018-03-21 IL IL300511A patent/IL300511A/en unknown
- 2018-03-21 US US15/927,808 patent/US11644669B2/en active Active
- 2018-03-21 CA CA3057109A patent/CA3057109A1/en active Pending
- 2018-03-21 KR KR1020197031052A patent/KR102524006B1/ko active IP Right Grant
- 2018-03-21 AU AU2018239511A patent/AU2018239511A1/en not_active Abandoned
- 2018-03-21 KR KR1020247010343A patent/KR20240046291A/ko active Application Filing
- 2018-03-21 CN CN202210150664.0A patent/CN114578562A/zh active Pending
- 2018-03-21 KR KR1020237013033A patent/KR102653388B1/ko active IP Right Grant
- 2018-03-21 CN CN201880033609.5A patent/CN110679147B/zh active Active
-
2019
- 2019-09-16 IL IL269386A patent/IL269386B2/en unknown
-
2022
- 2022-05-30 JP JP2022087594A patent/JP7329105B2/ja active Active
-
2023
- 2023-04-07 US US18/297,191 patent/US20230251492A1/en active Pending
- 2023-07-20 JP JP2023118193A patent/JP2023126616A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017500605A (ja) * | 2013-11-27 | 2017-01-05 | マジック リープ， インコーポレイテッド | 仮想現実および拡張現実のシステムおよび方法 |
| JP2016191845A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3057109A1 (en) | 2018-09-27 |
| US11644669B2 (en) | 2023-05-09 |
| IL300511A (en) | 2023-04-01 |
| CN114578562A (zh) | 2022-06-03 |
| JP2023126616A (ja) | 2023-09-07 |
| KR102524006B1 (ko) | 2023-04-20 |
| JP2022118025A (ja) | 2022-08-12 |
| KR20190130147A (ko) | 2019-11-21 |
| JP7329105B2 (ja) | 2023-08-17 |
| CN110679147A (zh) | 2020-01-10 |
| CN110679147B (zh) | 2022-03-08 |
| EP3603058A1 (en) | 2020-02-05 |
| IL269386B1 (en) | 2023-03-01 |
| IL269386B2 (en) | 2023-07-01 |
| US20180275410A1 (en) | 2018-09-27 |
| KR20230056067A (ko) | 2023-04-26 |
| IL269386A (en) | 2019-11-28 |
| WO2018175625A1 (en) | 2018-09-27 |
| EP3603058A4 (en) | 2020-12-30 |
| JP7096836B2 (ja) | 2022-07-06 |
| JP2020514926A (ja) | 2020-05-21 |
| KR20240046291A (ko) | 2024-04-08 |
| AU2018239511A1 (en) | 2019-10-17 |
| US20230251492A1 (en) | 2023-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102653388B1 (ko) | 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링 | |
| US11710469B2 (en) | Depth based foveated rendering for display systems | |
| JP7228581B2 (ja) | 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ | |
| KR102636903B1 (ko) | 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이 | |
| CN113163180B (zh) | 使用声光控制装置的光投影仪 | |
| CN113490873A (zh) | 带有机械致动图像投影仪的可变像素密度显示系统 | |
| WO2020159883A1 (en) | Display system having 1-dimensional pixel array with scanning mirror |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |