KR102318391B1 - 디스플레이 시스템 및 방법 - Google Patents
디스플레이 시스템 및 방법 Download PDFInfo
- Publication number
- KR102318391B1 KR102318391B1 KR1020217019505A KR20217019505A KR102318391B1 KR 102318391 B1 KR102318391 B1 KR 102318391B1 KR 1020217019505 A KR1020217019505 A KR 1020217019505A KR 20217019505 A KR20217019505 A KR 20217019505A KR 102318391 B1 KR102318391 B1 KR 102318391B1
- Authority
- KR
- South Korea
- Prior art keywords
- end user
- head
- frame
- head movement
- virtual object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 191
- 230000004886 head movement Effects 0.000 claims abstract description 256
- 230000003190 augmentative effect Effects 0.000 claims description 265
- 230000033001 locomotion Effects 0.000 claims description 65
- 230000001133 acceleration Effects 0.000 claims description 38
- 230000004424 eye movement Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 124
- 239000000872 buffer Substances 0.000 description 46
- 239000013307 optical fiber Substances 0.000 description 36
- 238000009877 rendering Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 14
- 238000013459 approach Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000012528 membrane Substances 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 230000005374 Kerr effect Effects 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 240000007320 Pinus strobus Species 0.000 description 1
- 208000012886 Vertigo Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0266—Reduction of sub-frame artefacts
Abstract
일 실시예는 사용자 디스플레이 디바이스에 관한 것이고, 그 사용자 디스플레이 디바이스는 사용자의 머리 상에 장착가능한 하우징 프레임, 하우징 프레임 상에 장착가능한 렌즈, 및 사용자의 머리 움직임의 검출 및 사용자의 머리 움직임의 예측 중 적어도 하나에 적어도 부분적으로 기초하여 사용자의 시야의 디스플레이 오브젝트의 출현 위치를 결정하고, 디스플레이 오브젝트의 결정된 출현 위치에 기초하여 사용자에게 디스플레이 오브젝트를 프로젝팅하도록 하우징 프레임에 커플링되는 프로젝션 서브시스템을 포함한다.
Description
[0001] 본 발명은 일반적으로 하나 또는 그 초과의 사용자들에 대한 상호작용 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0002] 다수의 디스플레이 시스템들은 시청자 또는 사용자의 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)에 관한 정보로부터 이익을 얻을 수 있다.
[0003] 예를 들면, 머리-착용 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)은 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 이동할 때 이동한다. 사용자의 머리 움직임들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈의 변화를 고려하도록 업데이트될 수 있다.
[0004] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상에서 3D 오브젝트의 가상 표현을 보고, 3D 오브젝트가 출현하는 영역 주위를 걷는다면, 그 3D 오브젝트는 각각의 시점에 대해 렌더링되어, 사용자가 실제 공간을 차지하는 오브젝트 주위를 걷는다는 지각을 사용자에게 제공할 수 있다. 머리-착용 디스플레이가 다수의 오브젝트들을 가상 공간(예를 들면, 풍부한 가상 세계)을 제시하는데 사용되면, 머리 포즈의 측정들은 사용자의 동적으로 변하는 머리 위치 및 배향을 매칭시키기 위해 장면을 재렌더링하고, 가상 공간에서 증가된 몰입감(sense of immersion)을 제공하는데 사용될 수 있다.
[0005] 특히, 사용자의 시각 필드의 상당한 부분을 가상 엘리먼트들로 채우는 디스플레이 시스템들에 대해, 머리-추적의 정확성이 높은 것 및 머리 움직임의 제 1 검출로부터 사용자의 시각 시스템으로 디스플레이에 의해 전달되는 광의 업데이팅까지 전체 시스템 지연이 매우 낮다는 것은 중요하다. 지연이 높다면, 시스템은 사용자의 전정(vestibular)과 시감각(visual sensory) 시스템들 사이의 미스매치를 생성하고, 멀미(motion sickness) 또는 시뮬레이터 멀미(simulator sickness)를 생성할 수 있다.
[0006] 일부 머리-착용 디스플레이들은 현실 및 가상 엘리먼트들의 동시 시청 ― 증강 현실 또는 혼합된 현실로서 종종 설명되는 접근법 ― 을 가능하게 한다. "비디오 시-스루" 디스플레이로 종종 지칭되는 하나의 그러한 구성에서, 카메라는 현실 장면의 엘리먼트들을 캡쳐하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡쳐된 현실 장면 상으로 겹쳐 놓고, 불투명한 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 "광학 시-스루" 디스플레이로 종종 지칭되고, 여기서 사용자는 환경 내의 현실 오브젝트들로부터 광을 직접적으로 보기 위해 디스플레이 시스템 내의 투명한(또는 반투명한) 엘리먼트들을 시 스루할 수 있다. "결합기"로 종종 지칭되는 투명한 엘리먼트는 디스플레이로부터의 광을 현실 세계의 사용자의 뷰 위에 겹쳐 놓는다.
[0007] 비디오 및 광학 시-스루 디스플레이들 둘 모두에서, 머리 포즈의 검출은, 가상 오브젝트들이 현실 세계에서 공간을 차지하는 것처럼 보이도록 디스플레이 시스템이 가상 오브젝트들을 렌더링하는 것을 가능하게 할 수 있다. 사용자의 머리가 현실 세계 주위에서 움직일 때, 가상 오브젝트들은 머리 포즈의 함수로서 재렌더링되어, 가상 오브젝트들이 현실 세계에 대해 안정된 상태에 있는 것처럼 보인다. 광학 시-스루 디스플레이의 경우에, 현실 세계의 사용자의 뷰는, 가상 오브젝트들의 사용자의 뷰가 머리-추적 레이트, 프로세싱 시간, 렌더링 시간 및 디스플레이 프레임 레이트에 의존하는 지연을 갖는 동안에 근본적으로 제로 지연을 갖는다. 시스템 지연이 높다면, 가상 오브젝트들의 분명한 위치는 빠른 머리 움직임들 동안에 불안정한 것처럼 보일 것이다.
[0008] 머리-착용 디스플레이 시스템들에 부가하여, 다른 디스플레이 시스템들은 정확하고 낮은 지연 머리 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 신체 상에 착용되지 않지만, 예를 들면, 벽 또는 다른 표면 상에 장착되는 머리-추적 디스플레이 시스템들을 포함한다. 머리-추적 디스플레이는 장면 위의 윈도우처럼 동작하고, 사용자가 "윈도우"에 대해 자신의 머리를 움직일 때, 장면은 사용자의 변하는 시점과 매칭하도록 재렌더링된다. 다른 시스템들은 머리-착용 프로젝션 시스템을 포함하고, 여기서 머리-착용 디스플레이는 광을 현실 세계로 프로젝팅한다.
[0009] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대해 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0010] 하나의 실시예는 가상 이미지 시스템 또는 증강 현실 시스템에서의 동작 방법에 관한 것이며, 상기 방법은, 최종 사용자에게 제시되는 복수의 프레임들 중 적어도 일부의 각각에 대해, 최종 사용자의 시야의 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정하는 단계; 및 최종 사용자의 시야의 가상 오브젝트의 결정된 출현 위치에 적어도 부분적으로 기초하여 적어도 하나의 후속 프레임의 제시를 조정하는 단계를 포함한다. 가상 오브젝트는 최종 사용자에게 제시되는 이전 프레임들에 관련해 일시적으로 최종 사용자의 시야에 새롭게 유입될 수 있다. 새롭게 유입되는 가상 오브젝트는 최종 사용자의 관심을 적절히 끌도록 결정될 수 있다. 가상 오브젝트는 적어도 하나의 이전 프레임에서의 위치에 관련해 프레임에서의 새로운 위치에 있을 수 있다. 또는, 가상 오브젝트는 최종 사용자에게 이전에 제시되었을 때 가상 오브젝트의 이전 위치에 관련해 최종 사용자에게 제시될 때 새로운 위치에 있을 수 있다.
[0011] 상기 방법은 가상 오브젝트에 대한 최종 사용자의 관심을 표시하는 입력에 기초하여 가상 오브젝트를 선택하는 단계를 더 포함할 수 있다. 가상 오브젝트에 대한 최종 사용자의 관심을 표시하는 입력은 최종 사용자에게 이전에 제시되었을 때 가상 오브젝트의 위치에 관련해 최종 사용자에게 제시될 때 새로운 위치에서 가상 오브젝트의 출현에 적어도 부분적으로 기초할 수 있다. 또는, 가상 오브젝트에 대한 최종 사용자의 관심을 표시하는 입력은 최종 사용자에게 제시될 때 가상 오브젝트의 위치가 최종 사용자에게 이전에 제시되었을 때 가상 오브젝트의 위치에 관련해 얼마나 신속하게 변경하는지에 적어도 부분적으로 기초할 수 있다.
[0012] 적어도 하나의 후속 프레임의 제시를 조정하는 단계는 최종 사용자의 시야의 가상 오브젝트의 결정된 출현 위치 쪽으로 시프팅되는 적어도 하나의 후속 프레임의 중심을 갖는 적어도 하나의 후속 프레임을 제시하는 단계를 포함할 수 있다. 또는, 적어도 하나의 후속 프레임의 제시를 조정하는 단계는 최종 사용자의 시야의 가상 오브젝트의 결정된 출현 위치로 시프팅되는 적어도 하나의 후속 프레임의 중심을 갖는 적어도 하나의 후속 프레임을 제시하는 단계를 포함할 수 있다.
[0013] 상기 방법은 최종 사용자의 시야의 가상 오브젝트의 결정된 출현 위치에 적어도 부분적으로 기초하여 최종 사용자의 머리 움직임의 발생을 예측하는 단계를 더 포함할 수 있다. 상기 방법은 최종 사용자의 예측된 머리 움직임의 추정된 속도를 표시하는 적어도 하나의 값을 추정하는 단계; 최종 사용자의 예측된 머리 움직임의 추정된 속도를 적어도 부분적으로 보상하는 적어도 하나의 값을 결정하는 단계; 및 결정된 값에 적어도 부분적으로 기초하여 적어도 하나의 후속 프레임을 렌더링하는 단계를 더 포함할 수 있다.
[0014] 상기 방법은 최종 사용자의 예측된 머리 움직임의 속도에 있어서의 적어도 하나의 변화를 추정하는 단계를 더 포함할 수 있고, 속도에 있어서의 적어도 하나의 변화는 예측된 머리 움직임의 시작과 예측된 머리 움직임의 종료 사이에서 발생하고, 예측된 머리 움직임의 추정된 속도를 표시하는 적어도 하나의 값을 추정하는 단계는 최종 사용자의 예측된 머리 움직임의 속도에 있어서의 추정된 변화들을 적어도 부분적으로 수용하는 추정된 속도를 표시하는 적어도 하나의 값을 추정하는 단계를 포함한다.
[0015] 최종 사용자의 예측된 머리 움직임의 속도에 있어서의 적어도 하나의 변화를 추정하는 단계는 예측된 머리 움직임의 시작 이후의 제 1 정의된 시간과 예측된 머리 움직임의 종료 이전의 제 2 정의된 시간 사이에서 적어도 하나의 변화를 추정하는 단계를 포함할 수 있다.
[0016] 상기 방법은 최종 사용자의 예측된 머리 움직임의 추정된 가속을 표시하는 적어도 하나의 값을 추정하는 단계; 최종 사용자의 예측된 머리 움직임의 추정된 가속을 적어도 부분적으로 보상하는 적어도 하나의 값을 결정하는 단계; 및 결정된 값에 적어도 부분적으로 기초하여 적어도 하나의 후속 프레임을 렌더링하는 단계를 더 포함할 수 있다.
[0017] 상기 방법은 최종 사용자의 신원을 표시하는 정보를 수신하는 단계; 최종 사용자의 신원을 표시하는 수신된 정보에 기초하여 최종 사용자에 대한 적어도 하나의 사용자 특정 이력 속성을 리트리빙(retrieve)하는 단계를 더 포함할 수 있고, 사용자 특정 이력 속성은 최종 사용자에 대한 이전 머리 움직임 속도, 최종 사용자에 대한 이전 머리 움직임 가속, 및 최종 사용자에 대한 이전 눈 움직임과 머리 움직임의 관계 중 적어도 하나를 표시한다.
[0018] 가상 오브젝트는 가상 텍스트 오브젝트, 가상 숫자형 오브젝트, 가상 영숫자 오브젝트, 가상 태그 오브젝트, 가상 필드 오브젝트, 가상 챠트 오브젝트, 가상 맵 오브젝트, 가상 기기 오브젝트, 또는 물리적 오브젝트의 가상 시각 표현 중 적어도 하나일 수 있다.
[0019] 다른 실시예는 증강 현실 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 최종 사용자의 신원을 표시하는 정보를 수신하는 단계; 최종 사용자의 신원을 표시하는 수신된 정보에 적어도 부분적으로 기초하여 최종 사용자에 대한 적어도 하나의 사용자 특정 이력 속성을 리트리빙하는 단계; 및 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성에 적어도 부분적으로 기초하여 최종 사용자에게 프레임들을 제공하는 단계를 포함한다. 수신된 정보는 최종 사용자의 눈의 적어도 일부의 이미지를 표시하는 이미지 정보일 수 있다.
[0020] 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 대한 적어도 하나의 머리 움직임 속성의 표시를 제공하는 적어도 하나의 속성일 수 있고, 머리 움직임 속성은 최종 사용자의 적어도 하나의 이전 머리 움직임을 표시한다. 또는, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 대한 적어도 하나의 이전 머리 움직임에 대한 적어도 하나의 이전 머리 움직임 속도의 표시를 제공하는 적어도 하나의 속성일 수 있다. 또는, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 의한 적어도 하나의 이전 머리 움직임의 범위의 적어도 일부에 걸친 머리 움직임 속도의 변동의 표시를 제공하는 적어도 하나의 속성일 수 있다. 또는, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 의한 적어도 하나의 이전 머리 움직임에 대한 적어도 하나의 이전 머리 움직임 가속의 표시를 제공하는 적어도 하나의 속성일 수 있다. 또는, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 의한 적어도 하나의 이전 머리 움직임과 적어도 하나의 이전 눈 움직임 간의 관계의 표시를 제공하는 적어도 하나의 속성일 수 있다. 또는, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성은 최종 사용자에 의한 적어도 하나의 이전 머리 움직임과 적어도 하나의 이전 눈 움직임 간의 비율의 표시를 제공하는 적어도 하나의 속성
[0021] 상기 방법은 최종 사용자의 머리 움직임의 적어도 최종 포인트를 예측하는 단계를 더 포함할 수 있고, 최종 사용자에 대한 리트리빙된 적어도 하나의 사용자 특정 이력 속성에 적어도 부분적으로 기초하여 최종 사용자에게 프레임들을 제공하는 단계는 적어도 하나의 후속 프레임을 적어도 하나의 이미지 버퍼에 렌더링하는 단계를 포함하고, 적어도 하나의 후속 프레임은 머리 움직임의 예측된 최종 포인트 쪽으로 시프팅된다.
[0022] 상기 방법은 최종 사용자에 대한 적어도 하나의 머리 움직임 속성의 적어도 부분적인 수용에 있어 머리 움직임의 예측된 최종 포인트 쪽으로 시프팅하는 복수의 후속 프레임들을 렌더링하는 단계를 더 포함할 수 있고, 머리 움직임 속성은 최종 사용자의 적어도 하나의 이전 머리 움직임을 표시한다.
[0023] 최종 사용자의 적어도 하나의 이전 머리 움직임을 표시하는 머리 움직임 속성은 최종 사용자에 대한 이력 머리 움직임 속도, 최종 사용자에 대한 이력 머리 움직임 가속 또는 최종 사용자에 대한 머리 움직임과 눈 움직임 간의 이력 비율일 수 있다.
[0024] 상기 방법은 최종 사용자의 시야의 가상 오브젝트의 출현 위치에 적어도 부분적으로 기초하여 최종 사용자의 머리 움직임의 발생을 예측하는 단계를 더 포함할 수 있다. 가상 오브젝트의 출현 위치는 앞서 설명된 동일한 방식으로 결정될 수 있다.
[0025] 다른 실시예는 최종 사용자에게 제시될 때의 프레임의 일부 픽셀들 간의 간격은 프레임의 다른 픽셀들 간의 간격과 상이할 것이란 표시를 검출하는 단계; 검출된 표시에 기초하여 픽셀들의 제 1 세트를 조정하는 단계; 및 최종 사용자에게 제시될 때 간격의 차이를 적어도 부분적으로 보상하기 위해서 적어도 하나의 후속 프레임의 적어도 일부에 조정된 픽셀들의 제 1 세트를 제공하는 단계에 관한 것이다. 픽셀 특성들(예를 들면, 사이즈, 강도 등)이 최종 사용자에게 인지가능할 수 있다.
[0026] 상기 방법은 검출된 머리 움직임의 방향에 기초하여 프레임의 픽셀들의 제 1 세트를 선택하는 단계 ― 픽셀들의 제 1 세트의 방향은 검출된 머리 움직임의 방향과 동일함 ―, 및 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 사이즈를 증가시키는 단계를 더 포함할 수 있다. 상기 방법은 검출된 머리 움직임의 방향에 기초하여 프레임의 픽셀들의 제 1 세트를 선택하는 단계 ― 픽셀들의 제 1 세트의 방향은 검출된 머리 움직임의 방향과 동일함 ―; 및 검출된 머리 움직임에 응답하여 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 강도를 증가시키는 단계를 더 포함할 수 있다.
[0027] 상기 방법은 검출된 머리 움직임의 방향에 기초하여 프레임의 픽셀들의 제 1 세트를 선택하는 단계 ― 픽셀들의 제 1 세트의 방향은 검출된 머리 움직임의 방향과 정반대임 ―; 및 검출된 머리 움직임에 응답하여 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 사이즈를 감소시키는 단계를 더 포함할 수 있다.
[0028] 상기 방법은 검출된 머리 움직임의 방향에 기초하여 프레임의 픽셀들의 제 1 세트를 선택하는 단계 ― 픽셀들의 제 1 세트의 방향은 검출된 머리 움직임의 방향과 정반대임 ―; 및 검출된 머리 움직임에 응답하여 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 강도를 감소시키는 단계를 더 포함할 수 있다.
[0029] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 제 1 완료 프레임을 이미지 버퍼에 렌더링하는 단계 ― 제 1 완료 프레임은 가상 오브젝트의 이미지를 형성하기 위해서 픽셀들의 순차적인 제시에 대한 픽셀 정보를 포함함 ―; 제 1 완료 프레임의 제시를 시작하는 단계; 및 제 1 완료 프레임에 대한 업데이트의 제시에 의해서 제 1 완료 프레임의 제시의 완료 이전에 제 1 완료 프레임의 제시를 동적으로 인터럽트하는 단계를 포함하고, 픽셀 정보의 부분은 제 1 완료 프레임으로부터 변경한다.
[0030] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 제 1 필드 및 제 2 필드를 갖는 제 1 완료 프레임을 이미지 버퍼에 렌더링하는 단계 ― 제 1 필드는 적어도 제 1 나선형 스캔 라인을 포함하고, 제 2 필드는 제 2 나선형 스캔 라인을 포함하며, 제 2 나선형 스캔 라인은 적어도 제 1 나선형 스캔 라인과 인터레이싱됨 ―; 제 1 완료 프레임을 저장하는 프레임 버퍼로부터 판독하는 단계; 및 제 1 완료 프레임에 대한 업데이트로부터의 판독에 의해서 제 1 완료 프레임의 판독의 완료 이전에 제 1 완료 프레임으로부터의 판독을 동적으로 인터럽트하는 단계를 포함하고, 픽셀 정보의 부분이 제 1 완료 프레임으로부터 변경한다. 판독의 동적인 인터럽션은 최종 사용자의 검출된 머리 움직임에 기초할 수 있고, 검출된 머리 움직임은 공칭 머리 움직임 값을 초과한다.
[0031] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 제 1 필드 및 제 2 필드를 갖는 제 1 완료 프레임을 이미지 버퍼에 렌더링하는 단계 ― 제 1 필드는 적어도 제 1 리사주(Lissajous) 스캔 라인을 포함하고, 제 2 필드는 적어도 제 2 리사주 스캔 라인을 포함하며, 제 2 리사주 스캔 라인은 적어도 제 1 리사주 스캔 라인과 인터레이싱됨 ―; 제 1 완료 프레임을 저장하는 프레임 버퍼로부터 판독하는 단계; 및 공칭 머리 움직임 값을 초과하는 최종 사용자의 검출된 머리 움직임에 기초하여, 제 1 완료 프레임에 대한 업데이트로부터의 판독에 의해서 제 1 완료 프레임의 판독의 완료 이전에 제 1 완료 프레임으로부터의 판독을 동적으로 인터럽트하는 단계를 포함하고, 픽셀 정보의 부분이 제 1 완료 프레임으로부터 변경하였다. 상기 방법은 리사주 스캔 라인들을 인터레이싱하기 위해서 리사주 스캔 라인들을 위상 시프팅하는 단계를 더 포함할 수 있다.
[0032] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은, 복수의 프레임들 각각에 대해서, 최종 사용자의 검출된 머리 움직임에 응답하여 개별 프레임의 적어도 두 부분들 각각에 대한 개별 해상도를 결정하는 단계; 및 개별 프레임의 적어도 두 부분들의 결정된 개별 해상도들에 기초하여 가상 오브젝트들을 제시하는 단계를 포함한다. 개별 프레임의 부분은 프레임의 필드, 프레임의 라인 및 프레임이 픽셀 중 적어도 하나일 수 있다. 상기 방법은 가상 오브젝트의 이미지에서 가변 해상도를 생성하기 위해서 프레임의 제 1 부분 및 프레임의 제 2 부분을 제시하는 것 사이에 구동 신호의 특성을 조정하는 단계를 더 포함할 수 있다. 구동 신호의 특성은 구동 신호의 진폭 및 구동 신호의 기울기 중 적어도 하나일 수 있다.
[0033] 상기 방법은 프로세싱된 눈 추적 데이터, 최종 사용자 기준 프레임에 관련해 최종 사용자의 시야의 가상 오브젝트의 결정된 출현 위치, 최종 사용자의 시야에 새롭게 유입될 때 가상 오브젝트의 결정된 출현 위치, 및 적어도 하나의 이전 이미지에서 가상 오브젝트의 포지션에 관련해 이미지의 새로운 포지션에서 가상 오브젝트의 결정된 출현 위치 중 적어도 하나에 기초하여, 최종 사용자의 적어도 제 1 이미지에서의 관심 포인트를 평가하는 단계를 더 포함할 수 있다.
[0034] 상기 방법은 적어도 평가된 관심 포인트 부근에 있는 적어도 하나의 후속 이미지의 부분에서 적어도 하나의 후속 이미지의 해상도를 적어도 하나의 후속 이미지의 다른 부분들에 관련해 증가시키는 단계를 더 포함할 수 있다. 상기 방법은 평가된 관심 포인트로부터 멀리 있는 적어도 하나의 후속 이미지의 부분에서 적어도 하나의 후속 이미지의 해상도를 적어도 하나의 후속 이미지의 다른 부분에 관련해 감소시키는 단계를 더 포함할 수 있다.
[0035] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 적어도 하나의 가상 오브젝트를 최종 사용자에게 디스플레이하는 단계; 및 검출된 머리 움직임 중 적어도 하나가 공칭 머리 움직임 값을 초과하는 것 및 예측된 머리 움직임이 머리 움직임 값을 초과할 것으로 예측되는 것 중 적어도 하나일 때, 적어도 하나의 가상 오브젝트의 디스플레이의 부분을 일시적으로 블랭킹(blanking)하는 단계를 포함할 수 있다. 상기 방법은 검출된 머리 움직임 및 예측된 머리 움직임 중 적어도 하나를 결정하기 위해서 적어도 하나의 트랜스듀서를 통해 공급되는 머리 추적 데이터를 프로세싱하는 단계를 더 포함할 수 있고, 머리 추적 데이터는 적어도 최종 사용자의 머리의 배향을 표시한다.
[0036] 다른 실시예는 증강 현실 시스템에서 적어도 가상 이미지들을 프로젝팅하기 위한 프로젝터 장치에 관한 것이며, 프로젝터 장치는 프로젝터 엘리먼트; 적어도 하나의 자유 축에서 이동가능한 프로젝터 엘리먼트를 갖는 프로젝터 엘리먼트를 지지하는 지지부; 프로젝터 엘리먼트를 선택적으로 이동시키도록 커플링된 적어도 하나의 실행기; 및 공칭 머리 움직임 값을 초과하는 최종 사용자의 머리 움직임의 검출 및 공칭 머리 움직임 값을 초과할 것으로 예측되는 최종 사용자의 머리 움직임의 예측 중 적어도 하나에 응답하여 프로젝터 엘리먼트가 이동되도록 하기 위해서 실행기를 제어하도록 통신가능하게 커플링된 제어 서브시스템을 포함한다. 프로젝터 엘리먼트는 적어도 제 1 광섬유를 더 포함할 수 있고, 제 1 광섬유는 백 엔드 및 프론트 엔드를 갖고, 백 엔드는 이미지들을 수신하도록 커플링되며, 프론트 엔드는 그로부터 이미지들을 전송하도록 포지셔닝된다.
[0037] 지지 엘리먼트는 제 1 광섬유의 프론트 엔드에 근접하지만 후방으로(rear-wardly) 이격되는, 적어도 제 1 광섬유를 수용하는 압전 칼라(piezoelectric collar)를 포함할 수 있고, 그로 인해서 자신의 프론트 엔드에 근접한 제 1 광섬유의 부분이 압전 칼라로부터 연장하고 정의된 공진 주파수로 자유롭게 발진한다.
[0038] 제 87 항의 프로젝터 장치에 있어서, 적어도 하나의 제어 서브시스템은 적어도 하나의 트랜스듀서를 통해 공급되는 머리 추적 데이터를 수신하도록 통신가능하게 커플링되고, 머리 추적 데이터는 적어도 최종 사용자의 머리의 배향을 표시한다. 제어 서브시스템은, 최종 사용자에게 제시되는 복수의 이미지들 중 적어도 일부의 각각에 대해, 최종 사용자의 시야의 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정하고; 결정된 위치는 최종 사용자가 최종 사용자의 머리를 돌리는 것으로 필요로 하는지 여부를 평가하며; 그리고 평가에 기초하여 머리 움직임의 발생을 예측한다.
[0039] 다른 실시예는 가상 이미지 제시 시스템에서의 동작 방법에 관한 것이며, 상기 방법은 정의된 시야에 대한 프레임의 픽셀들의 세트에 대한 픽셀 정보가 최대 해상도에서의 최대 디스플레이 영역을 초과하도록 프레임을 오버-렌더링하는 단계; 검출된 머리 움직임 및 예측된 머리 움직임 중 적어도 하나에 기초하여, 최종 사용자에게 제시할 프레임의 부분을 결정하는 단계; 및 프레임의 결정된 부분만을 선택적으로 판독하는 단계를 포함한다.
[0040] 다른 실시예는 사용자 디스플레이 디바이스에 관한 것이며, 사용자 디스플레이 디바이스는 사용자의 머리 상에 장착가능한 하우징 프레임; 하우징 프레임 상에 장착가능한 렌즈; 및 사용자의 머리 움직임의 검출 및 사용자의 머리 움직임의 예측 중 적어도 하나에 적어도 부분적으로 기초하여 사용자의 시야의 디스플레이 오브젝트의 출현 위치를 결정하고, 디스플레이 오브젝트의 결정된 출현 위치에 기초하여 사용자에게 디스플레이 오브젝트를 프로젝팅하도록 하우징 프레임에 커플링되는 프로젝션 서브시스템을 포함한다. 디스플레이 오브젝트의 출현 위치는 공칭 머리 움직임 값을 초과하거나 초과할 것으로 예측되는, 사용자의 머리 움직임의 검출 또는 사용자의 머리 움직임의 예측 중 적어도 하나에 응답하여 이동될 수 있다. 사용자의 머리 움직임의 예측은 포커스에 있어 사용자의 시프트의 예측 또는 사용자의 설정된 이력 속성들에 기초할 수 있다.
[0041] 사용자 디스플레이 디바이스는 사용자의 눈들의 움직임을 추적하고 추적된 눈 움직임들에 기초하여 사용자의 눈들의 포커스의 깊이를 추정하기 위해서 하우징 프레임 상에 장착가능한 제 1 쌍의 카메라들을 더 포함할 수 있다. 프로젝션 서브시스템은 추정된 포커스의 깊이에 기초하여 디스플레이 오브젝트를 프로젝팅할 수 있다.
[0042] 사용자 디스플레이 디바이스는 사용자의 눈들에 의해 보여질 때 시야 이미지를 캡쳐하기 위해서 하우징 프레임 상에 장착가능한 제 2 쌍의 카메라들을 더 포함할 수 있고, 시야 이미지는 적어도 하나의 물리적 오브젝트를 포함한다. 프로젝션 서브시스템은 제 2 쌍의 카메라들을 통해 캡쳐된 물리적 오브젝트와 디스플레이 오브젝트가 상호-혼합되고 동일 프레임에서 함께 출현하도록 하는 방식으로 디스플레이 오브젝트를 프로젝팅할 수 있다. 출현 위치는 물리적 오브젝트에 적어도 부분적으로 기초할 수 있다. 디스플레이 오브젝트 및 물리적 오브젝트는 미리 결정된 관계를 가질 수 있다. 캡쳐된 시야 이미지가 사용자의 머리의 움직임들에 관한 정보를 수집하는데 사용될 수 있고, 사용자의 머리의 움직임들에 관한 정보는 사용자의 관심의 중심, 사용자의 머리의 배향, 사용자의 머리의 방향, 사용자의 머리의 움직임의 속도, 사용자의 머리의 가속, 및 사용자의 로컬 환경에 관해 사기 사용자의 머리의 거리를 포함한다.
[0043] 렌즈는 사용자가 로컬 환경을 볼 수 있도록 투과 광을 선택적으로 허용하기 위해서 적어도 하나의 투명 표면을 포함할 수 있다. 프로젝션 서브시스템은 사용자가 렌즈의 투명 표면을 통해 보여질 때 디스플레이 오브젝트 및 로컬 환경 둘 모두를 보도록 하는 방식으로 디스플레이 오브젝트를 프로젝팅할 수 있다.
[0044] 사용자 디스플레이 디바이스는 사용자의 머리의 움직임을 표시하는 관성 측정들의 세트를 캡쳐하기 위해 적어도 하나의 관성 트랜스듀서를 더 포함할 수 있고, 관성 측정들의 세트는 사용자의 머리의 움직임의 속도, 사용자의 머리의 움직임의 가속, 사용자의 머리의 움직임의 방향, 사용자의 머리의 포지션 및 사용자의 머리의 배향을 포함한다.
[0045] 사용자 디스플레이 디바이스는 사용자의 머리 및 사용자의 로컬 환경 중 적어도 하나를 조명하기 위해 적어도 하나의 광 소스를 더 포함할 수 있다.
[0046] 프로젝션 서브시스템은 검출된 머리 움직임 및 예측된 머리 움직임 중 적어도 하나를 보상하기 위해서 디스플레이 오브젝트와 연관된 픽셀들의 세트의 인지되는 사이즈, 강도 및 해상도 중 적어도 하나를 조정할 수 있다. 디스플레이 오브젝트는 가상 오브젝트 및 증강 가상 오브젝트 중 하나일 수 있다.
[0047] 본 발명의 추가의 그리고 다른 목적들, 피처들 및 장점들은 상세한 설명, 도면들 및 청구항들에 설명된다.
[0048] 도 1은 프레임들을 최종 사용자에게 렌더링하기 위한 예측 머리 추적을 사용하는 것의 예를 예시한다.
[0049] 도 2는 최종 사용자에게 제시된 가상 오브젝트들의 특성들에 기초하여 머리 움직임을 예측하는 기술의 예를 예시한다.
[0050] 도 3은 프레임의 중심이 시프팅되는 예를 예시한다.
[0051] 도 4는 최종 사용자의 이력 속성들의 세트에 기초하여 머리 움직임을 예측하는 기술의 예를 예시한다.
[0052] 도 5는 이력 속성들에 기초하여 머리 움직임을 예측하는 기술의 다른 예를 예시한다.
[0053] 도 6은 사용자의 다양한 이력 속성들을 리트리빙하는 것의 예를 예시한다.
[0054] 도 7은 예측된 종점에 기초하여 후속 프레임을 렌더링하는 것의 예를 예시한다.
[0055] 도 8은 후속 프레임을 렌더링하는 것의 다른 예를 예시한다.
[0056] 도 9는 머리 움직임의 발생을 예측하는 것의 예를 예시한다.
[0057] 도 10은 머리 움직임에 기초하여 픽셀들을 조정하는 것의 예를 예시한다.
[0058] 도 11은 조정된 픽셀들을 갖는 프레임들을 렌더링하는 것의 예를 예시한다.
[0059] 도 12는 픽셀들의 사이즈 및/또는 강도를 증가시키는 것의 예를 예시한다.
[0060] 도 13은 프레임의 프리젠테이션을 동적으로 인터럽트하는 것의 예를 예시한다.
[0061] 도 14는 업데이트된 프레임의 부분을 제시하는 것의 예를 예시한다.
[0062] 도 15는 업데이트 프레임을 판독하는 것의 예를 예시한다.
[0063] 도 16은 위상 시프팅의 예를 예시한다.
[0064] 도 17은 이미지 내의 가변 해상도를 발생시키는 것의 예를 예시한다.
[0065] 도 18은 구동 신호의 진폭을 조정하는 것의 예를 예시한다.
[0066] 도 19는 최종 사용자의 관심 포인트에 기초하여 후속 이미지의 해상도를 조정하는 것의 예를 예시한다.
[0067] 도 20은 해상도를 조정하는 것의 다른 예를 예시한다.
[0068] 도 21은 가상 오브젝트의 출현 위치를 결정하는 것의 예를 예시한다.
[0069] 도 22는 가상 오브젝트를 디스플레이하는 것의 부분을 블랭크하는 것의 예를 예시한다.
[0070] 도 23은 가상 오브젝트의 매력에 기초하여 머리 움직임을 예측하는 것의 예를 예시한다.
[0071] 도 24는 스트로빙의 예를 예시한다.
[0072] 도 25는 프로젝터 엘리먼트를 이동시키기 위해 실행기를 선택적으로 활성화하는 것의 예를 예시한다.
[0073] 도 26은 프레임의 부분들을 선택적으로 판독하는 것의 예를 예시한다.
[0074] 도 27은 가상 오브젝트의 결정된 위치에 기초하여 부분들을 선택적으로 판독하는 것의 예를 예시한다.
[0075] 도 28은 부분들을 선택적으로 판독하는 것의 다른 예를 예시한다.
[0076] 도 29는 최종 사용자에게 제시하기 위한 이미지의 부분을 결정하는 것의 예를 예시한다.
[0077] 도 30은 오버-렌더링된 프레임의 부분을 동적으로 어드레싱하는 것의 예를 예시한다.
[0078] 도 31은 픽셀 정보를 갖는 프레임의 예를 예시한다.
[0079] 도 32는 래스터 스캔 패턴의 예를 예시한다.
[0080] 도 33은 나선형 스캔 패턴의 예를 예시한다.
[0081] 도 34는 리사주 스캔 패턴의 예를 예시한다.
[0082] 도 35는 다중-필드 나선형 스캔 패턴의 예를 예시한다.
[0083] 도 36a는 최종 사용자의 머리의 빠른 측면 움직임 동안에 래스터 스캔 패턴의 왜곡의 예를 예시한다.
[0084] 도 36b는 최종 사용자의 머리의 수직 상향 움직임 동안에 래스터 스캔 패턴의 왜곡의 예를 예시한다.
[0085] 도 37a는 최종 사용자의 머리의 좌측으로의 빠른 측면 움직임 동안에 나선형 스캔 라인의 왜곡의 예를 예시한다.
[0086] 도 37b는 최종 사용자의 머리의 좌측으로의 매우 빠른 측면 움직임 동안에 나선형 스캔 라인의 왜곡의 예를 예시한다.
[0087] 도 38은 가상 이미지 생성 시스템의 개관을 예시한다.
[0049] 도 2는 최종 사용자에게 제시된 가상 오브젝트들의 특성들에 기초하여 머리 움직임을 예측하는 기술의 예를 예시한다.
[0050] 도 3은 프레임의 중심이 시프팅되는 예를 예시한다.
[0051] 도 4는 최종 사용자의 이력 속성들의 세트에 기초하여 머리 움직임을 예측하는 기술의 예를 예시한다.
[0052] 도 5는 이력 속성들에 기초하여 머리 움직임을 예측하는 기술의 다른 예를 예시한다.
[0053] 도 6은 사용자의 다양한 이력 속성들을 리트리빙하는 것의 예를 예시한다.
[0054] 도 7은 예측된 종점에 기초하여 후속 프레임을 렌더링하는 것의 예를 예시한다.
[0055] 도 8은 후속 프레임을 렌더링하는 것의 다른 예를 예시한다.
[0056] 도 9는 머리 움직임의 발생을 예측하는 것의 예를 예시한다.
[0057] 도 10은 머리 움직임에 기초하여 픽셀들을 조정하는 것의 예를 예시한다.
[0058] 도 11은 조정된 픽셀들을 갖는 프레임들을 렌더링하는 것의 예를 예시한다.
[0059] 도 12는 픽셀들의 사이즈 및/또는 강도를 증가시키는 것의 예를 예시한다.
[0060] 도 13은 프레임의 프리젠테이션을 동적으로 인터럽트하는 것의 예를 예시한다.
[0061] 도 14는 업데이트된 프레임의 부분을 제시하는 것의 예를 예시한다.
[0062] 도 15는 업데이트 프레임을 판독하는 것의 예를 예시한다.
[0063] 도 16은 위상 시프팅의 예를 예시한다.
[0064] 도 17은 이미지 내의 가변 해상도를 발생시키는 것의 예를 예시한다.
[0065] 도 18은 구동 신호의 진폭을 조정하는 것의 예를 예시한다.
[0066] 도 19는 최종 사용자의 관심 포인트에 기초하여 후속 이미지의 해상도를 조정하는 것의 예를 예시한다.
[0067] 도 20은 해상도를 조정하는 것의 다른 예를 예시한다.
[0068] 도 21은 가상 오브젝트의 출현 위치를 결정하는 것의 예를 예시한다.
[0069] 도 22는 가상 오브젝트를 디스플레이하는 것의 부분을 블랭크하는 것의 예를 예시한다.
[0070] 도 23은 가상 오브젝트의 매력에 기초하여 머리 움직임을 예측하는 것의 예를 예시한다.
[0071] 도 24는 스트로빙의 예를 예시한다.
[0072] 도 25는 프로젝터 엘리먼트를 이동시키기 위해 실행기를 선택적으로 활성화하는 것의 예를 예시한다.
[0073] 도 26은 프레임의 부분들을 선택적으로 판독하는 것의 예를 예시한다.
[0074] 도 27은 가상 오브젝트의 결정된 위치에 기초하여 부분들을 선택적으로 판독하는 것의 예를 예시한다.
[0075] 도 28은 부분들을 선택적으로 판독하는 것의 다른 예를 예시한다.
[0076] 도 29는 최종 사용자에게 제시하기 위한 이미지의 부분을 결정하는 것의 예를 예시한다.
[0077] 도 30은 오버-렌더링된 프레임의 부분을 동적으로 어드레싱하는 것의 예를 예시한다.
[0078] 도 31은 픽셀 정보를 갖는 프레임의 예를 예시한다.
[0079] 도 32는 래스터 스캔 패턴의 예를 예시한다.
[0080] 도 33은 나선형 스캔 패턴의 예를 예시한다.
[0081] 도 34는 리사주 스캔 패턴의 예를 예시한다.
[0082] 도 35는 다중-필드 나선형 스캔 패턴의 예를 예시한다.
[0083] 도 36a는 최종 사용자의 머리의 빠른 측면 움직임 동안에 래스터 스캔 패턴의 왜곡의 예를 예시한다.
[0084] 도 36b는 최종 사용자의 머리의 수직 상향 움직임 동안에 래스터 스캔 패턴의 왜곡의 예를 예시한다.
[0085] 도 37a는 최종 사용자의 머리의 좌측으로의 빠른 측면 움직임 동안에 나선형 스캔 라인의 왜곡의 예를 예시한다.
[0086] 도 37b는 최종 사용자의 머리의 좌측으로의 매우 빠른 측면 움직임 동안에 나선형 스캔 라인의 왜곡의 예를 예시한다.
[0087] 도 38은 가상 이미지 생성 시스템의 개관을 예시한다.
[0088] 다음의 설명은 가상 현실 및/또는 증강 현실 시스템들에서 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 가상 현실의 애플리케이션들에 매우 적합하지만, 본 발명이, 자신의 가장 폭넓은 양상들에서, 이에 제한되지 않을 수 있다는 것이 이해된다.
[0089] 먼저 도 38을 참조하면, 도 38은, 하나의 예시적인 실시예에 따른, 가상 이미지들을 최종 사용자(3802)에 제공하도록 동작할 수 있는 가상 이미지 생성 시스템(3800)을 도시한다.
[0090] 가상 이미지 생성 시스템(3800)은 증강 현실 시스템으로서 동작되어, 최종 사용자의 시야 내의 물리적 오브젝트들과 상호혼합된 가상 오브젝트들의 이미지들을 제공할 수 있다. 증강 현실 시스템으로서 가상 이미지 생성 시스템(3800)을 동작시킬 때, 2 개의 기본적인 접근법들이 존재한다. 제 1 접근법은 주변 환경의 이미지들을 캡쳐하기 위해 하나 또는 그 초과의 이미저들(예를 들면, 카메라들)을 사용한다. 가상 이미지 생성 시스템(3800)은 가상 이미지들을 주변 환경의 이미지들을 나타내는 데이터로 상호-혼합할 수 있다. 제 2 접근법은 하나 또는 그 초과의 적어도 부분적으로 투명한 표면들을 사용하는데, 주변 환경은 투명한 표면들을 통해 보여질 수 있고, 가상 이미지 생성 시스템(3800)은 가상 오브젝트들의 이미지들을 투명한 표면들 상에 생성한다. 당업자들에게 명백할 바와 같이, 본원에 설명되는 양상들 중 적어도 일부는 증강 현실 시스템들에 특히 적합하다.
[0091] 가상 이미지 생성 시스템(3800)은 가상 현실 시스템으로서 동작되어, 가상 환경 내의 가상 오브젝트들의 이미지들을 제공할 수 있다.
[0092] 가상 이미지 생성 시스템(3800) 및 본원에 교시된 다양한 기술들은 증강 현실 및 가상 현실 시스템들 이외의 애플리케이션들에서 사용될 수 있다. 예를 들면, 다양한 기술들은 임의의 프로젝션 또는 디스플레이 시스템에 적용될 수 있다. 예를 들면, 본원에 설명된 다양한 기술들은, 움직임이 머리 움직임보다는 최종 사용자의 손의 움직임일 수 있는 피코 프로젝터들에 적용될 수 있다. 따라서, 증강 현실 시스템에 관련하여 본원에 종종 설명되지만, 교시들은 그러한 시스템들 또는 그러한 사용들로 제한되지 않아야 한다.
[0093] 적어도 증강 현실 애플리케이션들에 대해, 최종 사용자(3802)의 시야 내의 개별 물리적 오브젝트들에 대해 다양한 가상 오브젝트들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그들 또는 태그 또는 발호들(call outs)로 지칭되는 가상 오브젝트들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 이미지로서 표현될 수 있는 개념 또는 논리적 구조 중 임의의 것을 취할 수 있다. 가상 오브젝트들의 비제한적인 예들은 가상 텍스트 오브젝트, 가상 숫자형 오프젝트, 가상 영숫자 오브젝트, 가상 태그 오브젝트, 가상 필드 오브젝트, 가상 챠트 오브젝트, 가상 맵 오브젝트, 가상 기기 오브젝트 또는 물리적 오브젝트의 가상 시각적 표현을 포함할 수 있다.
[0094] 머리 추적 정확성 및 지연은 가상 현실 및 증강 현실 시스템들에서 문제들이었다. 추적 부정확성들 및 지연은 최종 사용자의 시각 시스템과 전정 시스템 사이의 불일치성을 생성한다. 그것은 매스꺼움 및 불편함을 유도할 수 있다. 그것은, 최종 사용자의 시야의 큰 부분을 채우는 디스플레이 시스템들에서 특히 문제가 된다. 그러한 것을 해결하기 위한 접근법들은, 예를 들면, 스트로빙 또는 플래싱을 통해 또는 다른 기술들을 통해 프레임 레이트 또는 유효 프레임 레이트를 증가시키는 것을 포함할 수 있다. 본원에 설명된 바와 같이, 예측 머리 추적은, 가령, 예를 들면, 지연을 감소시킴으로써 그러한 것을 해결하도록 사용될 수 있다. 예측 머리 추적은, 특정 최종 사용자에 대한 이력 데이터 또는 속성들을 비롯하여, 매우 다양한 요인들 또는 접근법들 중 임의의 것에 의존할 수 있다. 또한, 본원에 설명된 바와 같이, 디스플레이 또는 프리젠테이션의 블랭킹, 예를 들면, 빠른 머리 움직임들 동안의 블랭킹이 효과적으로 사용될 수 있다.
[0095] 적어도 증강 현실 애플리케이션들에 대해, 물리적 오브젝트들에 공간적으로 관련한 가상 오브젝트들의 배치(예를 들면, 2 또는 3 차원들에서 물리적 오브젝트에 공간적으로 가장 가까운 것처럼 보이도록 제시됨)는 사소하지 않은 문제일 수 있다. 예를 들면, 머리 움직임은 주변 환경의 관점에서 가상 오브젝트들의 배치들을 상당히 복잡하게 만들 수 있다. 뷰가 주변 환경의 이미지로서 캡쳐되고, 이어서 최종 사용자(3802)로 프로젝팅 또는 디스플레이되든지, 또는 최종 사용자(3802)가 주변 환경의 뷰를 직접적으로 지각하든지 간에 그것은 사실이다. 예를 들면, 머리 움직임은 최종 아마도 사용자(3802)의 시야가 변하게 할 것이고, 이것은 아마도 다양한 가상 오브젝트들이 최종 사용자(3802)의 시야에서 디스플레이되는 곳에 대한 업데이트를 요구할 것이다. 부가적으로, 머리 움직임들은 매우 다양한 범위들 및 속도들 내에서 발생할 수 있다. 머리 움직임 속도는 상이한 머리 움직임들 사이에서뿐만 아니라, 단일 머리 움직임의 범위 내에서 또는 범위에 걸쳐 변동할 수 있다. 예를 들면, 머리 움직임 속도는 시작점으로부터 초기에 증가(예를 들면, 선형적으로 또는 비선형적으로) 증가할 수 있고, 종점에 도달될 때, 감소할 수 있어서, 머리 움직임의 시작 및 종점들 사이의 어딘가에서 최대 속도를 획득한다. 빠른 머리 움직임들은, 최종 사용자(3802)에게 균일하고 및/또는 평활한 움직임처럼 보이는 이미지들을 렌더링하기 위한 특정 디스플레이 또는 프로젝션 기술의 능력을 심지어 초과할 수 있다.
[0096] 도 38에 예시된 실시예에서, 가상 이미지 생성 시스템(3800)은, 최종 사용자(3802)의 눈들(3808)과 주변 환경 사이의 최종 사용자(3802)의 시야에 포지셔닝된 부분적으로 투명한 디스플레이 표면(3806) 상에 이미지들을 프로젝팅하도록 동작 가능한 프로젝션 서브시스템(3804)을 포함한다. 가상 이미지 생성 시스템(3800)은 최종 사용자(3802)의 머리(3810) 상에 착용 또는 장착될 수 있고, 예를 들면, 한 쌍의 안경 또는 바이저(visor)에 통합된다.
[0097] 예시된 실시예에서, 프로젝션 서브시스템(3804)은, 광이 수신되는 후방 또는 원위 단부(3812a) 및 광이 부분적으로 투명한 디스플레이 표면(3806)에 제공되거나 최종 사용자(3802)의 눈들(3808)에 직접적으로 프로젝팅되는 전방 또는 근위 단부(3812b)를 갖는 하나 또는 그 초과의 광섬유들(3812)(예를 들면, 단일 모드 광섬유)을 포함한다. 프로젝션 서브시스템(3804)은 또한, 광을 생성하고(예를 들면, 상이한 컬러들의 광을 정의된 패턴들로 방출), 하나 또는 그 초과의 광섬유들(3812)의 후방 또는 윈위 단부(3812a)에 광을 통신 가능하게 커플링하는 하나 또는 그 초과의 광원들(3815)을 포함할 수 있다. 광원(들)(3815)은 매우 다양한 형태들 중 임의의 것, 예를 들면, 픽셀 정보 또는 데이터의 개별 프레임들에 지정된 정의된 픽셀 패턴들에 따라 적색, 녹색 및 청색 코히어런트 시준된 광을 각각 생성하도록 동작 가능한 RGB 레이저들의 세트(예를 들면, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고, 매우 에너지 효율적이다.
[0098] 도 38이 단일 광섬유(3812)를 도시하지만, 몇몇 구현들은 2개 또는 그 초과의 광섬유들(3812)을 이용할 수 있어서, 광을 다수의 채널들로 분할할 수 있다. 이러한 구현들에서, 광섬유들(3812)은 채널들 간의 광학 간격을 감소시키기 위해 광이 구부러지도록 스태거링된 팁들 또는 비스듬하고 폴리싱된 팁들을 가질 수 있다. 광섬유들(3812)은 리본 케이블로서 편리하게 패키징될 수 있다. 적합한 광학들은 채널들 각각에 의해 생성된 각각의 이미지들의 켤레를 생성할 수 있다.
[0099] 하나 또는 그 초과의 광섬유들(3812)은 요크(3814)에 의해 지지되며, 앞 또는 근단(3812b)의 부분은 이로부터 연장한다. 요크(3814)는 왕복 운동으로 앞 또는 근단(3812b)을 세팅하도록 동작 가능할 수 있다. 예를 들어, 요크(3814)는 피에조일렉트릭 트랜스듀서(3814a)의 튜브(도 38에서 단지 하나만 도시됨)를 포함할 수 있다. 다수의 전극들(3813)(예를 들어, 4개가 예시되고, 단지 하나만 콜 아웃됨)이 피에조일렉트릭 트랜스듀서(3814a)를 중심으로 방사상으로 배열된다. 예를 들어, 프레임 버퍼(3828)를 통해 제어 신호들을, 피에조일렉트릭 트랜스듀서(3814a)와 연관된 각각의 전극들(3813)에 인가하는 것은 광섬유(들)(3812)의 앞 또는 근단(3812b)이 제 1 공진 모드에서 진동을 발진시키게 할 수 있다. 진동들의 사이즈 또는 중심을 벗어난 이동의 양은 적어도 다양한 쌍-축 패턴들 중 임의의 것을 획득하기 위해 인가된 구동 신호들을 통해 제어 가능하다. 패턴들은 예를 들어, 래스터 스캔 패턴, 나선형 또는 블루우트 스캔 패턴들, 또는 리사주 또는 도 8 스캔 패턴을 포함할 수 있다.
[00100] 도 31은 일 예시된 실시예에 따라, 이미지, 예를 들어, 하나 또는 그 초과의 가상 오브젝트들의 이미지를 제시하기 위해 픽셀 정보 또는 데이터를 특정하는 픽셀 정보 또는 데이터의 프레임(3100)을 도시한다. 프레임(3100)은 각각의 픽셀의 셀(3100a-3100n)(단자 2개만 콜 아웃됨, 집합적으로 3102)과 함께 개략적으로 예시된다. 행들 또는 라인들(3104a, 3104b-3100n)(3개가 콜 아웃됨, 집합적으로 3104)에 배열되는 셀들의 시퀀스는 도 31의 도면에 걸쳐서 수평으로 연장하는 것으로서 예시된다. 프레임(3100)은 복수의 라인들(3104)을 포함한다. 도 31은 예시의 명확성을 위해 생략된 셀들 또는 라인들과 같은 누락 정보를 나타내기 위해 생략부호들을 이용한다.
[00101] 프레임(3100)의 각각의 셀(3102)은 세기들 및/또는 셀들이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들(집합적으로 3106)을 특정할 수 있다. 예를 들어, 프레임(3100)은 각각의 픽셀에 대해, 적색(3106a)에 대한 하나 또는 그 초과의 값들, 녹색(3106b)에 대한 하나 또는 그 초과의 값들 및 청색(3106c)에 대한 하나 또는 그 초과의 값들을 특정할 수 있다. 값들(3106)은 컬러들 각각에 대한 이진 표현들, 예를 들어, 각각의 컬러에 대해 각각 4 비트 수로서 특정될 수 있다. 프레임(3100)의 각각의 셀(3102)은 부가적으로, 예를 들어, 각각의 픽셀의 폭 또는 방사상 치수를 특정하는 폭 또는 방사상 값(#P06d)을 포함할 수 있으며, 여기서 프레임(3100)은 나선형 스캔 라인 패턴 기반 시스템 또는 리사주 스캔 라인 패턴 기반 시스템에서 이용될 수 있다.
[00102] 프레임(3100)은 하나 또는 그 초과의 필드들(집합적으로 3110)을 포함할 수 있다. 프레임(3100)은 단일 필드로 구성될 수 있다. 대안적으로, 프레임(3100)은 2개 또는 훨씬 더 많은 필드들(3110a-3110b)을 포함할 수 있다. 도 31에서 예시된 프레임(3100)은 2개의 필드들(3110a-3110b)을 도시한다. 프레임(3100)의 완전한 제 1 필드(3110a)에 대한 픽셀 정보는 어레이, 순서화된 리스트 또는 다른 데이터 구조(예를 들어, 레코드, 링크된 리스트)로, 완전한 제 2 필드(3110b)에 대한 픽셀 정보 이전에 특정될 수 있는데, 예를 들어, 제 2 필드(3110b)에 대한 픽셀 정보 이전에 발생한다. 제 3 또는 심지어 제 4 필드는, 프리젠테이션 시스템이 2개 초과의 필드들(3110a-3110b)을 핸들링하도록 구성된다고 가정하면, 제 2 필드(3110b)를 뒤따를 수 있다.
[00103] 도 32는 래스터 스캔 패턴(3200)을 개략적으로 나타낸다. 래스터 스캔 패턴(3200)에서, 픽셀들(3202)(단지 하나만 콜 아웃됨)이 순차적으로 제시된다. 래스터 스캔 패턴(3200)은 통상적으로 좌측에서 우측(화살표들(3204a, 3204b)에 의해 표시됨)으로, 그 후 위에서 아래로(화살표(3206)에 의해 표시됨) 픽셀들을 제시한다. 따라서, 프리젠테이션은 상위 우측 코너에서 시작하고, 라인의 끝이 도달될 때까지 제 1 라인(3208a)을 걸쳐 좌측으로 횡단한다. 래스터 스캔 패턴(3200)은 통상적으로 그 후 다음 라인으로 내려가서 좌측으로부터 시작한다. 프리젠테이션은 한 라인의 단부로부터 다음 라인의 시작으로 리턴하는 동안 일시적으로 블랙 아웃 또는 블랭크될 수 있다. 이 프로세스는 하단 라인(3208n)이 예를 들어, 하단 최우측 픽셀에서 완료될 때까지 라인별로 반복된다. 프레임(3100)이 완료되면, 새로운 프레임이 시작되고, 재차 다음 프레임의 최상단 라인의 우측으로 리턴한다. 재차, 프리젠테이션은 다음 프레임을 제시하기 위해 하단 좌측으로부터 상단 우측으로 리턴하는 동안 블랭크될 수 있다.
[00104] 래스터 스캐닝의 다수의 구현들은 인터레이싱된 스캔 패턴으로 칭하는 것을 이용한다. 인터레이싱된 래스터 스캔 패턴들에서, 제 1 및 제 2 필드들(3210a, 3210b)로부터의 라인들이 인터레이싱된다. 예를 들어, 제 1 필드(3210a)의 라인들을 제시할 때, 제 1 필드(3210a)에 대한 픽셀 정보는 단지 홀수 라인들에 대해 이용될 수 있는 반면에, 제 2 필드(3210b)에 대한 픽셀 정보는 단지 짝수 라인들에 대해 이용될 수 있다. 따라서, 프레임(3100)(도 31)의 제 1 필드(3210a)의 라인들 모두는 통상적으로 제 2 필드(3210b)의 라인들 이전에 제시된다. 제 1 필드(3210a)는 라인 1, 라인 3, 라인 5 식으로 순차적으로 프리젠팅하기 위해 제 1 필드(3210a)의 픽셀 정보를 이용하여 프리젠팅될 수 있다. 그 후, 프레임(3100)(도 31)의 제 2 필드(3210b)는 라인 2, 라인 4, 라인 6 식으로 순차적으로 프리젠팅하기 위해 제 2 필드(3210b)의 픽셀 정보를 이용함으로써 제 1 필드(3210a)에 뒤이어 프리젠팅될 수 있다.
[00105] 도 33은 일 예시적인 실시예에 따라 나선형 스캔 패턴(3300)을 개략적으로 나타낸다. 나선형 스캔 패턴(3300)은 코일들 또는 루프들로서 표시될 수 있는 하나 또는 그 초과의 완전한 각 사이클들(예를 들어, 360도)을 포함할 수 있는 단일 나선형 스캔 라인(3302)으로 구성될 수 있다. 픽셀 정보는 각도 증분들로서 각각의 순차적인 픽셀의 세기 및/또는 컬러를 특정하는데 이용된다. 폭 또는 방사상 값(3208)(도 31)은 나선형 스캔 라인(3302)의 시작 지점(3308)으로부터 방사상 치수(#R06)를 특정한다.
[00106] 도 34는 일 예시된 실시예에 따라 리사주 스캔 패턴(3400)을 개략적으로 나타낸다. 리사주 스캔 패턴(3400)은 코일들 또는 루프들로서 표시될 수 있는 하나 또는 그 초과의 완전한 각 사이클들(예를 들어, 360도)을 포함할 수 있는 단일 리사주 스캔 라인(3402)으로 구성될 수 있다. 대안적으로, 리사주 스캔 패턴(3400)은 2개 또는 그 초과의 리사주 스캔 라인들(3402)을 포함할 수 있으며, 각각의 위상은 리사주 스캔 라인들(3402)을 네스팅하기 위해 다른 하나에 대해 시프트된다. 픽셀 정보는 각도 증분들로서 각각의 순차적인 픽셀들의 세기 및/또는 컬러를 특정하는데 이용된다. 진폭 또는 방사상 값(3208)(도 31)은 리사주 스캔 라인(3402)의 시작 지점으로부터 방사상 치수를 특정한다.
[00107] 도 35는 일 예시된 실시예에 따라 다중-필드 나선형 스캔 패턴(3500)을 개략적으로 나타낸다. 다중-필드 나선형 스캔 패턴(3500)은 2개 또는 그 초과의 별개의 나선형 스캔 라인들(집합적으로 3502)을 포함하며, 도 35는 4개의 나선형 스캔 라인들(3502a-3502d)을 예시한다. 각각의 나선형 스캔 라인(3502)의 픽셀 정보는 프레임(3100)(도 31)의 각각의 필드(예를 들어, 3210a, 3210b)에 의해 특정될 수 있다. 유리하게는, 다수의 나선형 스캔 라인들(3502)은 단순히 나선형 스캔 라인들(3502)의 각각의 연속적인 것들 간의 위상을 시프팅함으로써 네스팅될 수 있다. 나선형 스캔 라인들(3502) 간의 위상 차이는 이용될 나선형 스캔 라인들(3502)의 총 수의 함수이어야 한다. 예를 들어, 4개의 나선형 스캔 라인들(3502a-3502d)은 90도의 위상 시프트에 의해 분리될 수 있다. 예시적인 실시예는 10개의 별개의 나선형 스캔 라인들(즉, 서브나선들)로 100Hz 리프레시 레이트에서 동작할 수 있다. 도 33의 실시예와 유사하게, 하나 또는 그 초과의 진폭 또는 방사상 값들(3208)(도 31)은 나선형 스캔 라인들(3502)의 시작 지점(3508)으로부터 방사상 치수(3506)를 특정한다.
[00108] 도 34 및 도 35로부터 자명한 바와 같이, 인접한 픽셀들 간의 상대적 간격은 이미지 전체에 걸쳐서 변동될 수 있다. 이러한 비-균일도를 적어도 부분적으로 수용하거나 보상하는 것이 유리할 수 있다. 예를 들어, 픽셀 사이즈를 조정하는 것, 예를 들어, 다른 픽셀들보다 더 멀리 이격된 픽셀들에 대한 지각되는 픽셀 사이즈를 증가시키는 것이 유리할 수 있다. 이러한 것은 예를 들어, 가우시안 스팟 사이즈를 증가시키기 위해 선택적 블루어링(예를 들어, 가변 포커스 렌즈, 가변 산광기, 지터)를 통해 구현될 수 있다. 부가적으로 또는 대안적으로, 다른 픽셀들보다 더 멀리 이격된 픽셀들에 대한 세기를 조정하는 것이 유리할 수 있다.
[00109] 도 38로 리턴해서, 제 1 축을 중심으로 한 공진 주파수에서 그리고 제 1 축과 수직인 제 2 축을 중심으로 한 공진 주파수에서 사인파 구동 신호들로 피에조일렉트릭 트랜스듀서(3814a)를 구동하는 것은 나선형 스캔 패턴을 생성한다. 나선형 스캔 패턴은 각 치수가 변동할 때 변동되는 방사상 치수를 특징으로 할 수 있다. 예를 들어, 방사상 치수가 선형으로, 또는 비선형으로 변동될 수 있는 반면에, 방사상 치수는 0도에서 그 중간을 거쳐, 또는 360도까지 변동된다. 출현 시에, 나선형 스캔 라인은, 시작 지점에서 시작하고, 한 평면에서 회전하면서 방사상 바깥쪽으로 스위핑하는 연속적인 나선형으로서 출현할 수 있다. 각각의 완전한 각 사이클은 코일 또는 루프를 구성하는 바와 같이 설명될 수 있다. 나선형 스캔 라인들은 시작 지점에서 시작하기 이전에 임의의 원하는 수의 코일들 또는 루프들을 갖도록 정의될 수 있다. 디스플레이 또는 프리젠테이션이 블랭크되는 리프레시 기간은 일시적인 제 1 나선형 스캔 패턴의 종료와 다음 일시적인 연속적 나선 스캔 패턴의 시작 간에 발생할 수 있다. 나선형 스캔 패턴의 최외곽 방사상 치수는 사인파 구동 신호의 진폭 변조에 의해 세팅될 수 있다. 나선형 스캔 라인 패턴의 진폭 변조는 각 치수에 영향을 미치지 않고 방사상 치수를 조정한다. 따라서, 각 변조는 주어진 스캔 라인에 대해 주어진 시간에 사이클들의 수 또는 사이클들의 주파수(예를 들어, 코일들 또는 루프들의 수)에 영향을 미치지 않을 것이다. 패턴에서 앞 또는 근단(3812b)의 포지션은 2- 또는 3-차원 이미지들을 형성하도록 광 소스(들)(3815)의 출력과 동기화된다.
[00110] 예시되지 않았지만, 프로젝션 서브시스템(3804)은 예를 들어, 부분적으로 투명한 디스플레이 표면(3806)을 통해 하나 또는 그 초과의 광섬유들(3812)의 앞 또는 근단(3812b)으로부터의 출력을 최종 사용자(3802)의 눈들(3808) 쪽으로 간접적으로 또는 직접적으로 지향하는 하나 또는 그 초과의 광학 컴포넌트들(예를 들어, 렌즈들, 필터들, 격자들, 프리즘들, 반사기들, 이색성 반사기들, 리프렉터들)을 포함할 수 있다. 예시되지 않았지만, 프로젝션 서브시스템(3804)은 픽셀 데이터의 Z-축 포지션의 깊이를 변조하는 하나 또는 그 초과의 광학 컴포넌트들을 포함할 수 있다. 이러한 것은 예를 들어, 플렉서블 반사(예를 들어, 알루미늄으로 코팅된 질화물 스퍼터) 멤브레인 및 플랙서블 반사 멤브레인의 반사를 야기하도록 동작되는 하나 또는 그 초과의 전극들의 형태를 취할 수 있다. 플렉서블 반사 멤브레인은 하나 또는 그 초과의 광섬유들(3812)의 앞 또는 근단(3812b)으로부터 방출된 광을 반사 및 포커싱하도록 포지셔닝된다. 플렉서블 반사 멤브레인은 Z-차원 또는 축에서 광을 포커싱하기 위해 픽셀 데이터 또는 정보에 대한 깊이 맵에 기초하여 선택적으로 동작 가능하다. 플렉서블 반사 멤브레인은 깊이의 출현을 생성하도록 가우시안 스팟들을 이용할 수 있으며, 이미지의 특정한 가상 오브젝트들은 포커스 내에서 출현하는 반면에 다른 것들을 포커스 외부에서 출현한다. 부가적으로 또는 대안적으로, 시스템은 하나 또는 그 초과의 커어 효과 렌즈를 이용할 수 있다.
[00111] 머리 착용 실시예에 대해 필수적이지 않지만, 광섬유들(3812) 및 선택적으로 요크(3814)는 하나 또는 그 초과의 방향들의 움직임을 위해 지원될 수 있다. 예를 들어, 광섬유들(3812) 및 선택적으로 요크(3814)는 움직임의 2, 3 또는 그 초과의 자유도를 위해 짐벌들(3816)을 통해 지원될 수 있다. 짐벌들(3816)은 턴테이블(3816a), 제 1 축(3820a)을 중심으로 회전하거나 피벗하도록 동작 가능한 제 1 엑추에이터(3818a)(예를 들어, 전기 모터, 솔레노이드, 피에조일렉트릭 트랜스듀서)를 포함할 수 있다. 짐벌들(3816)은 턴테이블(3816a) 상에서 프레임(3816c)에 의해 지지되는 브라켓(3816b), 제 2 축(3820b)을 중심으로 피벗 또는 회전하도록 동작 가능한 제 2 엑추에이터(3818b)(예를 들어, 전기 모터, 솔레노이드, 피에조일렉트릭 트랜스듀서)를 포함할 수 있다. 짐벌들(3816)은 브라켓(3816b)에 의해 피벗 가능하게 지지되는 샤프트(3816d), 제 3 축(3820c)을 중심으로 피벗하거나 회전하도록 동작 가능한 제 3 엑추에이터(3818c)(예를 들어, 전기 모터, 솔레노이드, 피에조일렉트릭 트랜스듀서)를 포함할 수 있다. 제 1, 제 2 및 제 3 축들(집합적으로 3820)은 직교 축들일 수 있다.
[00112] 도 38에서 예시된 실시예에서, 가상 이미지 생성 시스템(3800)은 제어 서브시스템(3822)을 포함한다. 제어 서브시스템(3822)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있으며, 이들 중 하나가 도 38에서 예시된다.
[00113] 제어 서브시스템(3822)은 다수의 제어기들, 예를 들어, 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU들(central processing units)(3824), DSP들(digital signal processors), GPU들(graphics processing units)(3826), ASIC들(application specific integrated circuits), PGA들(programmable gate arrays), 예를 들어, FPGA들(field PGA)과 같은 다른 집적 회로 제어기들 및/또는 PLU들(programmable logic controllers)을 포함한다. 도 38에서 예시된 실시예에서, 마이크로프로세서(3824)는 전체 동작을 제어하는 반면에, GPU(3826)는 하나 또는 그 초과의 프레임 버퍼들(3828a-3828n)(집합적으로 3828)에 대한 프레임들(예를 들어, 픽셀 데이터의 세트들)을 랜더링한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(3828)로부터의 판독 및/또는 이들로의 판독 및 피에조일렉트릭 트랜스듀서 또는 전극들(3814a)의 동작을 제어하여, 2- 또는 3차원 이미지들을 생성하도록 둘 다를 동기화한다. 프레임 버퍼(들)(3828)로부터의 판독 및/또는 이들로의 판독은 예를 들어, 프레임들이 오버 렌더링되는 동적인 어드레싱을 이용할 수 있다.
[00114] 제어 서브시스템(3822)은 명령들 및 데이터를 저장하기 위해 하나 또는 그 초과의 비일시적인 컴퓨터- 또는 프로세서-판독 가능한 매체들을 포함한다. 비일시적인 컴퓨터- 또는 프로세서-판독 가능한 매체들은 예를 들어, 프레임 버퍼(들)(3828)를 포함할 수 있다. 비일시적인 컴퓨터- 또는 프로세서-판독 가능한 매체들은 예를 들어, 하나 또는 그 초과의 비휘발성 메모리들, 예컨대, 판독 전용 메모리(RAM)(3830) 또는 플래시 메모리를 포함할 수 있다. 비일시적인 컴퓨터- 또는 프로세서-판독 가능한 매체들은 예를 들어, 하나 또는 그 초과의 휘발성 메모리들, 예컨대, 랜덤 액세스 메모리(RAM)(3832)를 포함할 수 있다. 제어 서브시스템(3822)은 고상 저장 디바이스들은 물론 스피닝 미디어 저장소를 포함하는 다른 휘발성 및 비휘발성 메모리를 포함할 수 있다.
[00115] 엑추에이터들(집합적으로 3818)이 이용되는 구현들에서, 제어 서브시스템(3822)은 선택적으로 모터 제어 신호들을 통해 엑추에이터들(3818)을 구동하도록 통신 가능하게 커플링되는 하나 또는 그 초과의 전용 모터 제어기들(3834)을 포함할 수 있다.
[00116] 제어 서브시스템(3822)은 선택적으로 다양한 다른 시스템들, 컴포넌트들 또는 디바이스들과의 통신을 제공하는 하나 또는 그 초과의 통신 포트들(3836a, 3836b)(집합적으로 3836)을 포함할 수 있다. 예를 들어, 제어 서브시스템(3822)은 유선 또는 광학 통신을 제공하는 하나 또는 그 초과의 유선 인터페이스들 또는 포트들(3836a)을 포함할 수 있다. 또한, 예를 들어, 제어 서브시스템(3822)은 무선 통신들을 제공하는 하나 또는 그 초과의 라디오들(즉, 무선 전송기, 수신기, 트랜시버)(3836b)과 같은 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다.
[00117] 예시된 바와 같이, 유선 인터페이스들 또는 포트들(3836a)은 최종 사용자(3802)가 로케이팅되는 환경의 이미지를 캡처하도록 포지셔닝되고 배향되는 하나 또는 그 초과의 카메라들(3838a)을 포함하는 환경 이미징 시스템(3838)과의 유선 또는 광학 통신들을 제공한다. 이러한 것은 환경 및/또는 최종 사용자(3802)에 관한 정보를 감지, 측정 또는 수집하는데 이용될 수 있다. 예를 들어, 이러한 것은 머리(3810)와 같은 최종 사용자(3802)의 몸의 일부들 또는 최종 사용자(3802)의 움직임들 및/또는 포지션들을 검출하거나 측정하는데 이용될 수 있다. 예시된 바와 같이, 유선 인터페이스 또는 포트들(3836a)은 선택적으로, 최종 사용자(3802), 머리(3810)와 같은 최종 사용자(3802)의 부분, 및/또는 최종 사용자(3802)가 로케이팅되는 환경을 조명하기 위해 포지셔닝되고 배향되는 하나 또는 그 초과의 광 소스들(3840a)을 포함하는 구조물 조명 시스템(3840)과의 유선 또는 광학 통신들을 제공할 수 있다.
[00118] 예시된 바와 같이, 무선 인터페이스들 또는 포트들(3836b)은 최종 사용자(3802)의 머리(3810)의 움직임을 나타내는 관성 측정들을 캡처하기 위해 하나 또는 그 초과의 관성 트랜스듀서들(3842a)을 포함하는 하나 또는 그 초과의 머리 착용 트랜스듀서 시스템(3842)과의 무선(예를 들어, RF, 마이크로파, IR) 통신들을 제공한다. 이러한 것은 최종 사용자(3802)의 머리 움직임들에 관한 정보를 감지, 측정 또는 수집하는데 이용될 수 있다. 예를 들어, 이러한 것은 최종 사용자(3802)의 머리(3810)의 움직임들, 속도들, 가속 및/또는 포지션들을 검출 또는 측정하는데 이용될 수 있다. 예시된 바와 같이, 무선 인터페이스들 또는 포트들(3836a)은 선택적으로, 예를 들어, 하나 또는 그 초과의 전방을 향하는 이미저들 또는 카메라들(3842a)을 포함하는 이미징 시스템(3842)과의 유선 또는 광학 통신을 제공할 수 있다. 이러한 것은 최종 사용자(3802)가 로케이팅되는 환경에 관한 정보를 캡처하는데 이용될 수 있다. 이러한 것은 그 환경 내의 특정한 오브젝트들 및 그 환경에 대한 최종 사용자(3802)의 거리 및 배향을 나타내는 정보를 캡처하는데 이용될 수 있다. 머리에 착용될 때, 전방을 향하는 이미저들 또는 카메라들(3842a)은 특히, 최종 사용자(3802)가 로케이팅되는 환경에 관한 최종 사용자의 머리(3810) 및 그 환경 내의 특정한 오브젝트들의 거리 및 배향을 나타내는 정보를 캡처하는데 알맞게 된다. 이러한 것은 예를 들어, 머리 움직임, 속도 및/또는 머리 움직임들의 가속을 검출하는데 이용될 수 있다. 이러한 것은 예를 들어, 최종 사용자의 머리(3810)의 배향에 적어도 부분적으로 기초하여, 예컨대, 최종 사용자(3802)의 관심의 중심을 검출하거나 추론하는데 이용될 수 있다. 배향은 임의의 방향(예를 들어, 최종 사용자의 기준 프레임에 관하여 위/아래, 좌/우)으로 검출될 수 있다.
[00119] 몇몇 구현들에서, 모든 통신들은 유선일 수 있는 반면에, 다른 구현들에서, 모든 통신들은 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선택은 도 38에서 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신의 특정한 선택은 제한으로 고려되어선 안 된다.
[00120] 제어 서브시스템(3822)의 다양한 컴포넌트들, 예를 들어, 마이크로프로세서(3824), GPU(3826), 프레임 버퍼(들)(3828), ROM(3830), RAM(3832), 및/또는 선택적으로 전용 모터 제어기(들)(3834)는 하나 또는 그 초과의 통신 채널들, 예를 들어, 하나 또는 그 초과의 버스들(3846)(단지 하나만 예시됨)을 통해 통신 가능하게 커플링될 수 있다. 버스들(3846)은 명령 버스, 데이터 버스들, 어드레스 버스들, 다른 통신 버스 및/또는 전력 버스들을 포함하는 다양한 형태들을 취할 수 있다.
[00121] 머리 움직임들을 예측하기 위한 능력은 가상 이미지 생성 시스템(3800)(도 38), 예컨대, 증강 현실 시스템이 이미지들의 프리젠테이션을 빠르게 업데이트하고 및/또는 머리 움직임을 수용 또는 보상하도록 허용한다. 예를 들어, 후속 프레임들은 감지된 머리 움직임들만이 이용되는 경우 가능했었을 것보다 더 먼저 랜더링되거나 판독될 수 있다. 여기서의 논의들로부터 자명한 바와 같이, 수용 또는 보상은 다양한 형태들을 취할 수 있다. 예를 들어, 후속 프레임들은 최종 사용자의 포커스 또는 관심의 영역에 대해 또는 그 쪽으로 시프팅되는 중심 또는 시프팅된 시야로 랜더링되거나 판독될 수 있다. 또한, 예를 들어, 후속 프레임들은 머리 움직임으로부터 발생하는 변동들을 수용 또는 보상하도록 랜더링 또는 판독될 수 있다. 예를 들어, 특정한 디스플레이 또는 프로젝션 기술들(예를 들어, 픽셀들이 순차적으로, 예컨대, 래스터 스캔, 나선형 스캔, 리사주 스캔으로 디스플레이되는 "플라잉 픽셀" 기술들)에서, 빠른 머리 움직임은 프레임이 최종 사용자에게 제시될 때 픽셀들 간의 간격의 변화를 야기할 수 있다. 수용 또는 보상은 픽셀 간격의 이러한 변동의 수용 또는 보상을 포함할 수 있다. 예를 들어, 몇몇 픽셀들의 사이즈 또는 지각되는 사이즈는 다른 픽셀들에 대해 조정될 수 있다. 또한, 예를 들어, 몇몇 픽셀들의 세기 또는 지각되는 밝기는 다른 픽셀들에 대해 조정될 수 있다. 추가의 예로서, 후속 프레임들은 결과적인 이미지의 상이한 부분들 간의 가변 해상도로 랜더링 또는 판독될 수 있다. 다른 수용 또는 보상 기법들은 이 논의로부터 자명하게 될 것이다. 다른 양상들에서, 이들 동일한 기술들 중 대부분은 수용 또는 보상 이외의 다른 제안들에 대해 이용될 수 있고, 예측 머리 추적, 감지된 머리 추적에 독립적으로 및/또는 "플라잉 픽셀" 기반이 아닌 디스플레이 또는 프로젝션 기술들과 함께 이용될 수 있다
[00122] 최종 사용자 움직임, 예를 들어, 머리 움직임들은 이미지들이 상당한 효과를 미칠 수 있다. 증강 현실 시스템이 머리 움직임에 부합하게 프레임들을 순차적으로 랜더링하도록 시도할 때, 가상 오브젝트의 결과적인 이미지들은 압축되고, 팽창되거나, 또는 그렇지 않으면 왜곡될 수 있다. 이는 적어도 부분적으로, 다수의 디스플레이 또는 프리젠테이션 기술들(즉, "플라잉 픽셀" 기술들)에 대해, 임의의 주어진 프레임에 대한 완전한 이미지들이 동시에 제시되거나 디스플레이하는 것이 아니라, 픽셀별로 제시되거나 디스플레이된다는 사실의 결과이다. 따라서, 이들 디스플레이 또는 프리젠테이션 기술들에 대해 진정한 순간의 시야는 존재하지 않는다. 이러한 것은, 다수의 상이한 타입들의 이미지 생성 기술들, 예를 들어, 래스터 스캔, 나선형 스캔 또는 리사주 스캔 접근법들에 걸쳐서 상이한 형태들로 발생할 수 있다. 하나 또는 그 초과의 "백색" 또는 블랭크 프레임들 또는 이미지들은 빠른 머리 움직임의 효과들 중 일부를 완화할 수 있다.
[00123] 예를 들어, 도 36a는 최종 사용자의 머리의 매우 빠른 측방향 움직임 동안 생성되는 래스터 스캔(3600a)의 예시적인 왜곡들 도시한다. 왜곡은 비선형일 가능성이 높은데, 그 이유는 머리 움직임이 시작 이후에 가속하고 종료 이전에 감속할 수 있기 때문이다. 왜곡은 머리 움직임의 방향, 속도 및 가속 및 래스터 스캔 픽셀 생성의 방향(예를 들어, 우측에서 좌측, 위에서 아래)의 함수이다.
[00124] 또한, 예를 들어, 도 36b는 최종 사용자의 머리의 수직 상향 움직임 동안 생성되는 래스터 스캔(3600)의 예시적인 왜곡들 도시한다. 왜곡은 비선형일 가능성이 높은데, 그 이유는 머리 움직임이 시작 이후에 가속하고 종료 이전에 감속할 수 있기 때문이다. 왜곡은 머리 움직임의 방향, 속도 및 가속 및 래스터 스캔 픽셀 생성의 방향(예를 들어, 우측에서 좌측, 위에서 아래)의 함수이다.
[00125] 또 다른 예로서, 도 37a는 좌측으로의 최종 사용자의 머리의 빠른 측방향 움직임 동안 생성되는 나선형 스캔 라인(3700a)의 예시적인 왜곡을 도시한다. 왜곡은 비선형일 가능성이 높은데, 그 이유는 머리 움직임이 시작 이후에 가속하고 종료 이전에 감속할 수 있기 때문이다. 왜곡은 머리 움직임의 방향, 속도 및 가속 및 나선형 스캔 픽셀 생성의 방향(예를 들어, 시계방향, 증가하는 반경)의 함수이다. 예시된 바와 같이, 나선형 스캔 라인(3700a)의 연속적인 루프들 또는 코일들의 간격은 머리 움직임의 방향(예를 들어, 도면에서 좌측으로)에서 증가하고 180도 반대 방향(예를 들어, 도면에서 우측으로)에서 감소한다.
[00126] 또 다른 예로서, 도 37b는 좌측으로 최종 사용자의 머리의 빠른 측방향 움직임 동안 생성되는 나선형 스캔 라인(3700b)의 예시적인 왜곡을 도시한다. 왜곡은 비선형일 가능성이 높은데, 그 이유는 머리 움직임이 시작 이후에 가속하고 종료 이전에 감속할 수 있기 때문이다. 사실상, 왜곡은 도 37b에서 예시된 바와 같이 고도로 타원형이고 디-센터(de-center)링될 수 있다. 왜곡은 머리 움직임의 방향, 속도 및 가속 및 나선형 스캔 픽셀 생성의 방향(예를 들어, 시계방향, 증가하는 반경)의 함수이다. 예시된 바와 같이, 나선형 스캔 라인(3700b)의 연속적인 루프들 또는 코일들 간의 간격은 머리 움직임의 방향(예를 들어, 도면에서 좌측으로)에서 증가한다. 머리 움직임이 시스템에 대해 너무 빠른 경우, 각각의 루프 또는 코일의 최좌측 부분은 도 37b에서 예시된 바와 같이 나선형 스캔 라인(3700b)의 시작 지점에 대해 머리 움직임과 동일한 방향으로 로케이팅될 수 있다.
[00127] 나선형 스캔 패턴들을 이용하는 하나의 이점은, 이미지 버퍼로 어드레싱하기 위한 변환이 움직임(예를 들어, 머리의 움직임, 핸드헬드 피코 프로젝터에 대한 손의 움직임)의 방향에 독립적이란 것이다.
[00128] 위의 시스템은 아래에서 설명되는 모든 실시예들에서 이용된다. 일 실시예에서, 시스템은 포커스에서 사용자의 시프트의 예측에 기초하여 예측성 머리 추적을 위해 이용될 수 있다. 도 1은 일 예시된 실시예에 따라, 예측성 머리 추적을 이용하는 증강 현실 시스템의 동작의 방법(100)을 도시한다.
[00129] 102에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 증강 현실 시스템의 최종 사용자에 대한 이미지들로서 복수의 프레임들을 제시한다. 프레임들은 통상적으로 시야에서 하나 또는 그 초과의 가상 오브젝트들을 생성하기 위한 정보를 특정하는 픽셀 정보를 포함한다. 앞서 언급된 바와 같이, 가상 오브젝트들은, 물리적 오브젝트들을 시각적으로 나타내거나 정보, 데이터 또는 논리적 구조들을 나타낼 수 있는 매우 다양한 가상 오브젝트 형태들 또는 포맷들 중 임의의 것을 취할 수 있다. 가상 오브젝트들의 비-제한적인 예들은: 가상 텍스트 오브젝트, 가상 숫자 오브젝트, 가상 알파벳숫자 오브젝트, 가상 태그 오브젝트, 가상 필드 오브젝트, 가상 차트 오브젝트, 가상 맵 오브젝트, 가상 기구 오브젝트 또는 물리적 오브젝트의 가상 시각적 표현을 포함할 수 있다.
[00130] 104에서, 증강 현실 시스템은 최종 사용자의 관심을 나타내는 적어도 하나의 입력에 기초하여 하나 또는 그 초과의 가상 오브젝트들을 선택한다.
[00131] 입력은 최종 사용자에 의한 실제 선택일 수 있다. 선택은 실시간으로 이루어질 수 있거나, 또는 최종 사용자에 의해 이전에 지정되었을 수 있다. 따라서, 최종 사용자는 최종 사용자가 통상적으로 다른 오브젝트들보다 더 관심을 보이거나 포커싱하는 가상 오브젝트의 타입으로서 가상 기구들의 특정한 세트를 선택할 수 있다.
[00132] 입력은 다양한 소스들로부터 추론될 수 있다. 입력은 가상 오브젝트 그 자체들에 관련될 수 있다. 입력은 부가적으로 또는 대안적으로, 최종 사용자의 시야 내의 또는 디스플레이 또는 프로젝터의 시야 내의 물리적 오브젝트들에 관련될 수 있다. 입력은 부가적으로 또는 대안적으로, 최종 사용자 그 자체들, 예를 들어, 최종 사용자의 포지션 및/또는 배향 및/또는 최종 사용자의 일부(예를 들어, 머리, 눈들), 또는 이력적 속성들에 관련될 수 있다. 이력적 속성들은 최종 사용자 특정적이거나, 또는 보다 일반화되거나 일반적일 수 있다. 이력적 속성들은 정의된 최종 사용자 특성들의 세트를 나타낼 수 있다. 최종 사용자 특성들은 예를 들어, 머리 움직임 속도, 머리 움직임 가속 및/또는 머리 움직임과 눈 움직임 간의 관계(예를 들어, 하나 대 다른 하나의 비)를 포함할 수 있다. 이력적 속성들에 의해 추적되는 최종 사용자 특성들은 심지어 특정한 가상 오브젝트들에 관심을 보이는 주어진 최종 사용자의 경향의 표시들을 포함할 수 있다. 이러한 것은 오브젝트 타입(예를 들어, 텍스트, 차트들)에 의해, 가상 오브젝트의 최근성(예를 들어, 새롭게 출현하는 오브젝트들), 가상 오브젝트의 움직임(예를 들어, 이미지 마다의 큰 시프트들, 고속 또는 빠른 움직임, 움직임의 방향), 및/또는 가상 오브젝트의 특성들(예를 들어, 컬러, 밝기, 사이즈)에 의해 특정될 수 있다.
[00133] 106에서, 최종 사용자에게 제시되는 복수의 프레임들 중 적어도 일부 각각에 대해, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 최종 사용자 기준 프레임에 대해 최종 사용자의 시야에서 가상 오브젝트의 출현의 위치를 결정한다. 예를 들어, 증강 현실 시스템은 새롭게 유입된 가상 오브젝트의 위치, 정의된 타입의 가상 오브젝트, 큰 거리에 걸쳐 또는 빠르게 이동하는 가상 오브젝트 또는 이력적으로 최종 사용자에 대한 관심의 포인트였던 가상 오브젝트를 결정할 수 있다.
[00134] 108에서, 증강 현실 시스템은 최종 사용자의 시야에서 가상 오브젝트의 출현의 결정된 위치에 적어도 부분적으로 기초하여 적어도 하나의 후속 프레임의 프리젠테이션을 조정한다. 비-전면 수용 또는 보상, 픽셀 사이즈의 조정, 픽셀 세기의 조정, 해상도의 조정, 윈도우잉 및/또는 블랭킹 또는 스트로빙을 포함하는 시야에서 가상 오브젝트의 출현을 조정하는 다수의 방식들이 여기서 논의된다.
[00135] 도 2는 일 예시된 실시예에 따라 증강 현실 시스템에서 동작의 다른 방법(200)을 도시한다. 방법(200)은 도 1의 방법(100)의 동작들(104 및/또는 106)을 실행하는데 있어 이용될 수 있다.
[00136] 방법(200)은 최종 사용자에게 제시되는 또는 제시될 가상 오브젝트들의 특성들에 기초하여 머리 움직임을 예측하는 기술들을 이용한다. 예를 들어, 새롭게 유입된 가상 오브젝트 또는 가상 오브젝트의 어떤 움직임(예를 들어, 돌연함, 속도 및/또는 거리)을 예측하는 것은 최종 사용자의 관심을 끌 가능성이 높을 것이어서, 머리 움직임을 특정한 가상 오브젝트가 최종 사용자의 시야의 중심에 또는 그 근처로 유도하게 한다. 부가적으로 또는 대안적으로, 증강 현실 시스템은 어느 것이 관심을 끌 가능성이 가장 높은지 평가하는데 있어 가상 오브젝트들의 다른 특성들에 의존할 수 있다. 예를 들어, 매우 매력적(예를 들어, 번쩍이거나 희미하게 빛남)인, 큰, 빠르게 이동하는, 또는 밝은 가상 오브젝트들은 다른 가상 오브젝트들보다 관심을 끌 가능성이 더 높을 것이다.
[00137] 새롭게 유입된 가상 오브젝트의 경우에 포커싱하면, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 #AB02에서 최종 사용자의 시야에 새롭게 유입될 때 가상 오브젝트의 출현의 위치를 선택 및/또는 결정한다. 가상 오브젝트는 최종 사용자에게 제시되는, 이전에 (일시적으로) 관련된 프레임들에서 출현하지 않을 때 새롭게 유입된 것으로 고려된다. 특히, 증강 현실 시스템은 바로 앞의 프레임들에서 출현하는 가상 오브젝트에 비해 새롭게 유입된 가상 오브젝트들이 최종 사용자의 관심을 끌 가능성이 높다는 사실에 의존한다. 부가적으로 또는 대안적으로, 증강 현실 시스템은 예를 들어, 다수의 새롭게 유입된 가상 오브젝트들 중에서 선택하거나 우선시하기 위해 어느 것이 관심을 끌 가능성이 가장 높은지를 평가하는데 있어 가상 오브젝트의 다른 특성들에 의존할 수 있다. 예를 들어, 매우 매력적(예를 들어, 번쩍이거나 희미하게 빛남)인, 큰, 빠르게 이동하는, 또는 밝은 가상 오브젝트들은 다른 가상 오브젝트들보다 관심을 끌 가능성이 더 높을 것이다.
[00138] 이동하는 가상 오브젝트의 경우에 포커싱하면, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 204에서 적어도 하나의 이전의 프레임에서 동일한 가상 오브젝트의 위치에 대해 프레임에서 새로운 위치의 가상 오브젝트의 출현의 위치를 선택 및/또는 결정한다. 따라서, 한 프레임으로부터 하나 또는 그 초과의 후속 프레임들까지 가상 오브젝트의 포지션의 급작스런 시프팅, 빠른 시프팅 및/또는 공간적으로 큰 시프팅은 최종 사용자의 포커스 또는 관심을 끌 가능성이 높을 수 있다. 부가적으로, 또는 대안적으로, 증강 현실 시스템은 예를 들어, 다수의 새롭게 유입된 가상 오브젝트들 중에서 선택하거나 우선시하기 위해 어느 것이 관심을 끌 가능성이 가장 높은지를 평가하는데 있어 가상 오브젝트의 다른 특성들에 의존할 수 있다. 예를 들어, 매우 매력적(예를 들어, 번쩍이거나 희미하게 빛남)인, 큰, 빠르게 이동하는, 또는 밝은 가상 오브젝트들은 다른 가상 오브젝트들보다 관심을 끌 가능성이 더 높을 것이다.
[00139] 도 3은 일 예시된 실시예에 따라 증강 현실 시스템에서의 동작의 방법(300)을 도시한다. 방법(300)은 도 1의 방법(100)의 동작(108)을 실행하는데 있어 이용될 수 있다.
[00140] 302에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 적어도 하나의 후속 프레임을 제시하며, 적어도 하나의 후속 프레임의 중심은, 중심이 아닌 경우, 최종 사용자의 시야에서 가상 오브젝트의 출현의 결정된 위치쪽으로 적어도 시프팅된다. 후속 프레임(들) 또는 이미지(들)의 중심은 최종 사용자의 관심을 끌 것으로 예측되는 선택된 가상 오브젝트의 위치와 코-로케이팅되도록 시프팅될 수 있다. 대안적으로, 후속 프레임(들)의 중심은 최종 사용자의 관심을 끌 것으로 예측되는 선택된 가상 오브젝트의 위치를 근사하도록 시프팅될 수 있다. 이러한 것은 2-차원 또는 3-차원으로 수행될 수 있다. 예를 들어, 가상 오브젝트의 2-차원 또는 3-차원 포지션은 2- 또는 3-차원에서 후속 이미지(들)의 시야를 각각 조정하는데 이용될 수 있다. 시프팅된 후속 프레임(들) 또는 이미지(들)는 바람직하게는, 최종 사용자의 예측된 머리 움직임과 타이밍된다. 따라서, 시프팅된 후속 프레임(들) 또는 이미지(들)는 가능한 실제 머리 움직임과의 타이밍에 근접하게 최종 사용자에게 제시되어야 한다. 여기서 논의되는 바와 같이, 이러한 것은 속도, 가속 및 속도 및 가속의 변동들을 참작할 수 있다.
[00141] 도 4는 일 예시된 실시예에 따라 증강 현실 시스템에서의 동작의 방법(400)을 도시한다. 방법(400)은 도 1의 방법(100)을 수행하는데 있어 이용될 수 있다.
[00142] 선택적으로, 402에서, 증강 현실 시스템은 최종 사용자의 신원을 나타내는 정보를 수신한다. 정보는 매우 다양한 형태들 중 임의의 것을 취할 수 있다. 예를 들어, 정보는 최종 사용자와 연관된 트랜스폰더, 자기 스트립 또는 머신-판독 가능한 심볼로부터 판독되거나, 또는 최종 사용자에 의해 입력된(예를 들어, 키보드로 입력된) 사용자 이름 또는 다른 사용자 식별자일 수 있다. 예를 들어, 정보는 최종 사용자의 하나 또는 그 초과의 물리적 특성들을 나타내는 생체 정보를 포함할 수 있다. 하나의 구체적으로 유리한 구현에서, 증강 현실 시스템은 최종 사용자의 한 또는 양 눈들의 부분(예를 들어, 망막)을 나타내는 이미지 데이터를 수신할 수 있다. 예를 들어, 증강 현실 시스템은 예를 들어, 하나 또는 그 초과의 광섬유들을 통해 최종 사용자의 한 또는 양 눈들로 광을 프로젝팅할 수 있다. 광은 예를 들어, 신호 대 잡음비를 증가시키고 및/또는 눈의 가열을 제한하도록 변조될 수 있다. 이미지 센서는 예를 들어, 광을 프로젝팅하는 하나 또는 그 초과의 광섬유들을 통해 눈의 일부의 이미지를 캡처할 수 있으며, 광섬유(들)는 양방향성 경로를 제공한다. 대안적으로, 전용 광섬유가 이용될 수 있다. 추가의 대안으로서, 이미지 센서는 눈에 가까이 포지셔닝될 수 있어서, 이미지 센서로의 리턴 경로로서 광섬유(들)의 이용을 제거한다. 인간 눈의 특정한 일부(예를 들어, 망막의 맥관 구조)는 고유한 최종 사용자 식별자로서 역할하기에 충분히 독특한 것으로 고려될 수 있다.
[00143] 선택적으로, 404에서, 증강 현실 시스템은 최종 사용자의 신원을 나타내는 수신된 정보에 기초하여 최종 사용자에 대한 적어도 하나의 사용자 특정 이력 속성을 리트리브한다. 사용자 특정 이력 속성(들)은 최종 사용자의 이전의 머리 움직임 속도, 최종 사용자에 대한 이전의 머리 움직임 가속, 최종 사용자에 대한 이전의 눈 움직임 대 머리 움직임의 관계, 특정한 특성을 갖거나 특정한 타입들의 가상 오브젝트들에 대해 관심을 기울이는 최종 사용자의 경향들 중 적어도 하나를 나타낼 수 있다.
[00144] 406에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 최종 사용자의 시야에서 가상 오브젝트의 출현의 결정된 위치에 적어도 부분적으로 기초하여 최종 사용자의 머리 움직임의 발생을 예측한다. 재차, 증강 현실 시스템은 예를 들어, 최종 사용자 별로 머리 움직임들을 예측하는데 있어 가상 오브젝트의 주목도에 의존할 수 있다.
[00145] 증강 현실 시스템은 최종 사용자의 예측된 머리 움직임과 이미지 프리젠테이션을 적어도 부분적으로 동기화하기 위해 추정된 속도 및/또는 속도의 추정된 변화들 또는 추정된 가속을 이용할 수 있다. 예측된 머리 움직임의 속도의 추정된 변화는 예측된 머리 움직임의 시작 이후의 제 1 정의된 시간과 예측된 머리 움직임의 종료 이전의 제 2 정의된 시간 간에 연장하는 범위에 기초할 수 있다.
[00146] 408에서, 증강 현실 시스템은 최종 사용자의 예측된 머리 움직임의 추정된 속도를 나타내는 적어도 하나의 값을 추정한다. 증강 현실 시스템은 하나 또는 그 초과의 값들, 파라미터들 또는 특성들에 기초하여 속도를 추정할 수 있다. 예를 들어, 증강 현실 시스템은 선택되거나 식별된 가상 오브젝트를 관찰하기 위해 새로운 포지션으로 최종 사용자의 머리를 이동시키도록 요구되는 움직임의 범위에 의존할 수 있다. 증강 현실 시스템은 인간들의 샘플링에 대한 평균 속도에 의존할 수 있거나, 또는 특정한 최종 사용자에 대한 이력적 머리 움직임 속도에 의존할 수 있다. 증강 현실 시스템은 특정한 최종 사용자에 대한 이력적 속성들에 의존할 수 있다. 속도들은 각속도를 나타낼 수 있다.
[00147] 410에서, 증강 현실 시스템은 예측된 머리 움직임의 시작과 예측된 머리 움직임의 종료 사이에서, 머리 움직임의 범위에 걸쳐서 발생하는 최종 사용자의 예측된 머리 움직임의 속도의 적어도 하나의 변화를 추정한다. 속도의 변화들은 예측된 움직임의 범위의 적어도 일부에 걸쳐서 상이한 증분들로 발생할 수 있다.
[00148] 412에서, 증강 현실 시스템은 최종 사용자의 예측된 머리 움직임의 추정된 가속을 나타내는 적어도 하나의 값을 추정한다. 추정된 가속은 머리 움직임의 전체 범위 또는 그 일부에 관한 것일 수 있다. 추정된 가속은 머리 움직임의 범위의 이산 간격들에 관한 것일 수 있다. 가속의 추정들은 머리 움직임의 시작 이후 일부 정의된 지속기간에 하나 또는 그 초과의 간격들에 대해 결정될 수 있다. 가속을 위한 추정들은 머리 움직임의 종료 이후 일부 정의된 지속기간에 하나 또는 그 초과의 간격들에 대해 결정될 수 있다. 시작 및/또는 종료 지점들로부터 이격된 추정들은 가속 측정들에서의 큰 변동을 방지할 수 있다.
[00149] 선택적으로, 414에서, 증강 현실 시스템은 최종 사용자의 예측된 머리 움직임의 추정된 속도를 적어도 부분적으로 수용하거나 보상하는 적어도 하나의 값을 결정한다. 예를 들어, 증강 현실 시스템은 랜더링되고 및/또는 제시되는 일련의 이미지들의 장면에 걸쳐 하나 또는 그 초과의 가상 오브젝트들이 얼마나 빨리 그리고 어디로 이동하는지를 특정하는 값들 및/또는 주어진 시간에 제시할 프레임들의 총 수에 관한 값들을 결정할 수 있다. 이러한 것은 후속 프레임들을 랜더링하는데 이용될 수 있다.
[00150] 선택적으로 (416)에서, 증강 현실 시스템은, 최종 사용자의 예측된 머리 움직임의 추정된 속도를 적어도 부분적으로 보상하는 적어도 하나의 값에 적어도 부분적으로 기초하여 적어도 하나의 후속 프레임을 렌더링한다. 예를 들어, 증강 현실 시스템은, 주어진 시간에서 제시할 프레임들의 총 수에 대한 값들 및/또는 렌더링 및/또는 제시될 일련의 이미지들에서 하나 또는 그 초과의 가상 오브젝트들이 장면에 걸쳐 어디로 및/또는 얼마나 신속하게 움직여야 하는지를 특정하는 값들을 결정할 수 있다. 그것은 후속 프레임들을 렌더링하는데 사용될 수 있다.
[00151] 다른 실시예에서, 시스템은 사용자의 이력 속성들에 기초하여 예측적인 머리 추적을 위해 사용될 수 있다. 도 5는 일 도시된 실시예에 따른, 예측적인 머리 추적을 이용하는 증강 현실 시스템에서의 동작 방법(500)을 도시한다.
[00152] 증강 현실 시스템은, 예측적인 머리 추적을 수행할 시에 이력 속성들을 이용할 수 있다. 이력 속성들은 최종 사용자 특정적이거나, 더 일반화되거나 또는 제너릭할 수 있다. 이력 속성들은, 정의된 최종 사용자 특성들의 세트를 표시할 수 있다. 최종 사용자 특성들은, 예를 들어, 머리 움직임 속도, 머리 움직임 가속도, 및/또는 머리 움직임과 눈 움직임 사이의 관계(예를 들어, 머리 움직임 대 눈 움직임의 비율)를 포함할 수 있다. 이력 속성들에 의해 추적되는 최종 사용자 특성들은, 특정한 가상 오브젝트들에 주목하기 위해, 주어진 최종 사용자의 경향의 표시들도 포함할 수 있다.
[00153] (502)에서, 증강 현실 시스템은 최종 사용자의 신원을 표시하는 정보를 수신한다. 정보는 임의의 매우 다양한 형태들, 예를 들어, 최종 사용자에게 활성적으로 제공되거나, 비일시적인 저장 매체들로부터 판독되거나, 사용자로부터 판독되거나(예를 들어, 생체 정보 또는 특성들), 또는 최종 사용자 동작들로부터 추론되는 정보를 취할 수 있다.
[00154] (504)에서, 증강 현실 시스템은, 최종 사용자의 신원을 표시하는 수신된 정보에 적어도 부분적으로 기초하여 최종 사용자에 대한 적어도 하나의 사용자 특정 이력 속성을 리트리브한다. 신원 정보는, 임의의 매우 다양한 방식들로 수신, 생성 또는 결정될 수 있다.
[00155] (506)에서, 증강 현실 시스템은, 최종 사용자에 대한 리트리브된 적어도 하나의 사용자 특정 이력 속성에 적어도 부분적으로 기초하여 프레임들을 최종 사용자에게 제공한다. 예를 들어, 증강 현실 시스템은, 프레임 버퍼로부터 프로젝터 또는 디스플레이 디바이스(예를 들어, 하나 또는 그 초과의 광섬유와 페어링된 광 소스)로 프레임들을 제공할 수 있거나, 프레임들을 프레임 버퍼에 렌더링할 수 있다. 증강 현실 시스템은, 적어도 2축 방향으로 이동가능한 적어도 하나의 광섬유를 통해 광을 제공할 수 있다. 증강 현실 시스템은, 프레임들을 최종 사용자에게 또한 제공하는 적어도 광섬유를 통해 최종 사용자의 눈의 적어도 일부의 이미지를 표시하는 이미지 정보를 수신할 수 있다.
[00156] 도 6은 일 도시된 실시예에 따른, 예측적인 머리 추적을 이용하는 증강 현실 시스템에서의 동작 방법(600)을 도시한다. 방법(600)은 도 5의 방법(500)의 동작(504)을 실행할 시에 이용될 수 있다.
[00157] (602)에서, 증강 현실 시스템은, 최종 사용자에 대한 적어도 하나의 머리 움직임 속성의 표시를 제공하는 적어도 하나의 이력 속성을 리트리브한다. 머리 움직임 속성(들)은, 최종 사용자의 적어도 하나의 이전의 머리 움직임을 표시한다. 이력 속성들은 비일시적인 매체들, 예를 들어, 데이터베이스 또는 다른 로직 구조물에 저장될 수 있다.
[00158] (604)에서, 증강 현실 시스템은, 최종 사용자에 대한 적어도 하나의 이전의 머리 움직임에 대한 머리 움직임 속도의 표시를 제공하는 적어도 하나의 이력 속성을 리트리브한다.
[00159] (606)에서, 증강 현실 시스템은, 최종 사용자에 의한 적어도 하나의 이전의 머리 움직임의 범위의 적어도 일부에 걸친 머리 움직임 속도에서의 변화의 표시를 제공하는 적어도 하나의 이력 속성을 리트리브한다.
[00160] (608)에서, 증강 현실 시스템은, 최종 사용자에 의한 적어도 하나의 이전의 머리 움직임에 대한 머리 움직임 가속도의 표시를 제공하는 적어도 하나의 이력 속성을 리트리브한다.
[00161] (610)에서, 증강 현실 시스템은, 최종 사용자에 의한 적어도 하나의 이전의 머리 움직임과 눈 움직임의 결합에 대한 머리 움직임과 눈 움직임 사이의 관계의 표시를 제공하는 적어도 하나의 이력 속성을 리트리브한다. 관계는, 예를 들어, 최종 사용자에 의한 적어도 하나의 이전의 머리 움직임을 대표하는 머리 움직임 값과 적어도 하나의 이전의 눈 움직임을 대표하는 값의 비율로서 표현될 수 있다. 값들은, 예를 들어, 각도 변화로서 표현되는 머리 및 눈들의 움직임의 양을 대표할 수 있다. 비율은, 최종 사용자에 의한 머리 움직임들의 이력 평균들과 눈 움직임들의 이력 평균들의 비율일 수 있다. 부가적으로 또는 대안적으로, 머리 및 눈 움직임 사이의 다른 관계들, 예를 들어, 속도 또는 가속도가 이용될 수 있다.
[00162] 도 7은 일 도시된 실시예에 따른, 예측적인 머리 추적을 이용하는 증강 현실 시스템에서의 동작 방법(700)을 도시한다. 방법(700)은 도 5의 방법(500)의 동작(506)을 실행할 시에 이용될 수 있다.
[00163] (702)에서, 증강 현실 시스템은 최종 사용자의 머리 움직임의 적어도 최종 포인트를 예측한다. 예를 들어, 가상 오브젝트의 출현이 머리 움직임을 예측하는데 사용되는 경우, 특정한 가상 오브젝트의 상대적인 위치가 최종 포인트로서 사용될 수 있다.
[00164] (704)에서, 증강 현실 시스템은, 적어도 하나의 후속 프레임을 적어도 하나의 이미지 버퍼로 렌더링한다. 적어도 하나의 후속 프레임은 적어도, 머리 움직임의 예측된 최종 포인트를 향해, 또는 심지어 그 포인트까지 막힘없이(all the way) 시프팅된다.
[00165] 도 8은 일 도시된 실시예에 따른, 예측적인 머리 추적을 이용하는 증강 현실 시스템에서의 동작 방법(800)을 도시한다. 방법(800)은 도 7의 방법(700)의 동작(704)을 실행할 시에 이용될 수 있다.
[00166] (802)에서, 증강 현실 시스템은, 최종 사용자에 대한 적어도 하나의 머리 움직임 속성의 적어도 부분적인 수용에서 적어도, 머리 움직임의 예측된 최종 포인트를 향해 시프팅되는 복수의 후속 프레임들을 렌더링한다. 머리 움직임 속성들은, 머리 움직임의 다양한 물리적인 특색들, 특히 최종 사용자의 머리 움직임의 이력의 물리적인 특색들을 표시한다. 머리 움직임 속성(들)은, 예를 들어, 최종 사용자에 대한 이력의 머리 움직임 속도, 최종 사용자에 대한 이력의 머리 움직임 가속도, 및/또는 최종 사용자에 대한 머리 움직임과 눈 움직임 사이의 이력 관계(예를 들어, 비율) 중 하나 또는 그 초과를 포함할 수 있다. 시프팅은, 시프팅된 대응하는 이미지 또는 이전의 프레임에 대응하는 이미지들에 비해 시프팅된 대응하는 이미지의 중심을 갖는 후속 프레임들을 렌더링함으로써 구현될 수 있다.
[00167] 도 9는 일 도시된 실시예에 따른, 예측적인 머리 추적을 이용하는 증강 현실 시스템에서의 동작 방법(900)을 도시한다. 방법(900)은 도 7의 방법(700)의 동작(703)을 실행할 시에 이용될 수 있다.
[00168] (902)에서, 증강 현실 시스템은, 최종 사용자의 시야에서의 가상 오브젝트의 출현에 적어도 부분적으로 기초하여 최종 사용자의 머리 움직임의 출현을 예측한다.
[00169] 최종 사용자에게 이미지들로서 제시되는 이전 프레임들에 비해 일시적으로, 최종 사용자에게 제시된 바와 같이 시야에 새로이 유입되는 경우, 출현은 새로운 가상 오브젝트의 출현일 수 있다. 대안적으로 또는 부가적으로, 출현은, 최종 사용자에게 이전에 제시된 바와 같은 가상 오브젝트의 포지션에 비해, 최종 사용자에게 제시된 바와 같은 시야 내의 새로운 포지션에서의 가상 오브젝트의 출현일 수 있다. 예측은, 예를 들어, 팩터를 고려할 수 있다. 예를 들어, 예측은, 가상 오브젝트의 사이즈 또는 프로미넌스(prominence), 포지션에서의 변화의 양 또는 퍼센티지, 속도, 급가속도 또는 가상 오브젝트의 포지션에서의 다른 변화에 부분적으로 기초할 수 있다.
[00170] 시스템은 또한, 픽셀 특성들의 동적 제어를 위해 사용될 수 있다. 도 10은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1000)을 도시한다.
[00171] (1002)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은, 프레임의 몇몇 픽셀들 사이에서 최종 사용자에게 제시된 바와 같은 간격이 동일한 프레임의 다른 픽셀들 사이의 간격과는 상이할 것이라는 표시를 검출한다. 예를 들어, 증강 현실 시스템은, 프레임의 픽셀들의 제 1 세트의 픽셀들 사이에서 최종 사용자에게 제시된 바와 같은 간격이 프레임의 픽셀들의 적어도 제 2 세트의 픽셀들 사이에서 최종 사용자에게 제시된 바와 같은 간격과 상이할 것이라는 표시를 검출할 수 있다. 예를 들어, 프레임의 픽셀들이 시간 기간에 걸쳐 순차적으로 제시(예를 들어, 프레임 버퍼로부터 판독)되는 경우(예를 들어, 래스터 스캔 패턴, 나선 스캔 패턴, 리사주 스캔 패턴과 같은 "플라잉 픽셀" 패턴들), 급속한 머리 움직임은, 이미지 또는 프레임의 상이한 부분들 사이에서 픽셀 간격에서의 변화를 야기할 수 있다.
[00172] (1004)에서, 프레임의 몇몇 픽셀들 사이의 간격이 최종 사용자에게 제시되는 바와 같이 프레임의 다른 픽셀들의 간격과는 상이할 것이라는 검출에 응답하여, 증강 현실 시스템은, 최종 사용자에 의해 인지가능한 제 1 세트의 픽셀들의 적어도 하나의 픽셀 특성을 적어도 부분적으로 보상하도록 조정되는 픽셀들의 적어도 제 1 세트를 적어도 하나의 후속 프레임의 적어도 일부에 제공한다. 그것은, 최종 사용자에게 제시된 바와 같은 이미지의 상이한 부분들의 픽셀들 사이의 간격에서의 차이를 적어도 부분적으로 보상할 수 있다.
[00173] 도 11은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1100)을 도시한다. 방법(1100)은 도 10의 방법(1000)을 실행할 시에 이용될 수 있다.
[00174] 선택적으로 (1102)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은, 최종 사용자에 의해 착용된 적어도 하나의 머리 착용 관성 센서의 출력을 표시하는 신호들을 수신한다. 관성 센서들은 다양한 형태들, 예를 들어, 자이로스코프 센서들 또는 가속도 센서들을 취할 수 있다. 관성 센서들은 단일 축 또는 멀티-축 디바이스들일 수 있다. 관성 센서들은 MEMS 디바이스들의 형태를 취할 수 있다.
[00175] 선택적으로 (1104)에서, 증강 현실 시스템은, 최종 사용자에 의해 착용된 적어도 하나의 머리 착용 이미저의 출력을 표시하는 신호들을 수신한다. 이미저는, 예를 들어, 디지털 카메라 또는 다른 이미지 캡쳐 디바이스의 형태를 취할 수 있다. 그것은, 최종 사용자의 시야를 적어도 근사시키는 시야를 캡쳐하기 위한 전방-대면 카메라일 수 있다.
[00176] 선택적으로 (1106)에서, 증강 현실 시스템은 공칭 머리 움직임 값을 초과하는 머리 움직임을 검출한다. 예를 들어, 증강 현실 시스템은, 공칭 속도 및/또는 공칭 가속도를 초과하는 머리 움직임을 검출할 수 있다. 증강 현실 시스템은, 움직임을 검출하기 위해 및 특정한 가속도에서의 관성 센서들로부터의 신호들을 이용할 수 있다. 증강 현실 시스템은, 주변 환경에서 물리 오브젝트들, 특히 벽, 플로어들, 천장들과 같은 고정된 물리 오브젝트들의 포지션에서의 변화들을 검출하기 위해 머리 탑재된 카메라로부터의 신호들을 이용할 수 있다. 증강 현실 시스템은 임의의 수의 이미지 프로세싱 기술들을 이용할 수 있다. 포지션에서의 검출된 변화는, 증강 현실 시스템이 머리의 포지션,, 움직임의 속도 및 가속도에서의 변화를 결정하게 한다. 증강 현실 시스템은, 관성 센서 및 머리 착용 이미저 정보에 부가하여 또는 그 대신에 다른 정보를 이용할 수 있다. 예를 들어, 증강 현실 시스템은, 주변 환경을 모니터링하며, 사용자에 의해 착용되는 것이 아니라 사용자를 추적하는 시스템으로부터의 신호들을 이용할 수 있다. 그러한 시스템은, 주변 환경을 모니터링하기 위해 하나 또는 그 초과의 이미저, 예를 들어, 디지털 카메라들을 이용할 수 있다. 이미저(들)은, 최종 사용자 및 머리와 같은 최종 사용자의 일부들의 움직임을 검출한다. 다시, 다양한 이미지 프로세싱 기술들이 이용될 수 있다. 그러한 시스템은, 구조화된 광 시스템과 유리하게 페어링될 수 있다. 대안적으로, 방법(#CB00)은 검출된 또는 심지어 예측된 머리 움직임과는 독립적으로 실행될 수 있다.
[00177] (1108)에서, 증강 현실 시스템은, 예를 들어, 검출된 머리 움직임의 방향에 기초하여 프레임의 픽셀들의 제 1 세트를 선택한다. 증강 현실 시스템은 부가적으로, 다른 기준들, 예를 들어, 검출된 머리 움직임의 속도에 기초하여 프레임의 픽셀들의 제 1 세트를 선택할 수 있다.
[00178] (1110)에서, 증강 현실 시스템은, 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 픽셀들 중 적어도 몇몇의 사이즈 및/또는 강도 중 적어도 하나를 조정한다. 조정은, 머리 움직임으로부터 초래하는 프레임 또는 이미지에서의 원치않는 변화를 적어도 수용하거나 적어도 부분적으로 보상하도록 설계될 수 있다.
[00179] 선택적으로 (1112)에서, 증강 현실 시스템은 적어도 하나의 후속 프레임을 렌더링한다. 렌더링된 후속 프레임은, 머리 움직임으로부터 초래하는 프레임 또는 이미지에서의 원치않는 변화를 적어도 부분적으로 수용하거나 적어도 부분적으로 수용 또는 보상하기 위한 조정된 픽셀 정보를 포함한다.
[00180] 선택적으로 (1114)에서, 증강 현실 시스템은, 하나 또는 그 초과의 후속 프레임들을 저장하는 적어도 하나의 프레임 버퍼로부터 적어도 하나의 후속 프레임을 판독한다. 예를 들어, 증강 현실 시스템은, 적어도 하나의 프레임 버퍼로부터 적어도 하나의 후속 프레임을 선택적으로 판독할 수 있다. 그것은 오버 렌더링을 이용할 수 있으며, 여기서, 프레임들은 이미지 영역 또는 시야의 사이즈에 비해 오버 렌더링된다. 시스템은, 특히 머리 탑재된 경우, 대부분의 예시들에서, 알려진 영역 및 알려진 해상도를 갖는 고정된 디스플레이 표면으로 전용될 것이다. 이것은, 광범위하게 다양한 사이즈들 및 해상도들의 디스플레이들로 신호들을 공급하도록 의도되는 컴퓨터들 및 다른 디바이스들과는 대조적이다. 따라서, 증강 현실 시스템은 선택적으로, 프레임 버퍼로부터 전체 프레임으로 판독하거나 전체 프레임으로부터 판독하기보다는 프레임 버퍼(들)로 또는 프레임 버퍼(들)로부터 판독한다. 오버 렌더링은, 이전 이미지 외부에 있는 그 부분들을 나타내기 위해 후속 이미지들을 생성하도록 새로운 프레임이 렌더링되면 달리 요구될 수 있는 만큼 과도하게 GPU를 구동시키는 것을 방지할 수 있다. 예를 들어, 오버 렌더링이 없다면, 증강 현실 시스템은, 최종 사용자의 머리가 이동되었을 때마다 새로운 프레임을 렌더링할 필요가 있을 것이다. 오버 렌더링을 이용하면, 전용 세트의 전자기기는 오버 렌더링된 프레임들의 원하는 부분들을 선택 또는 판독하기 위해 이용될 수 있으며, 이전의 렌더링된 프레임 내에서 윈도우를 본질적으로 이동시킨다.
[00181] 도 12는 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1200)을 도시한다. 방법(1200)은 도 11의 방법(1100)의 동작들(1108 및 1110)을 실행할 시에 이용될 수 있다.
[00182] (1202)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은, 픽셀들의 제 1 세트가 검출된 머리 움직임의 방향에 대해 주어진 방향(예를 들어, 동일한 방향, 반대 방향)에 있도록 프레임의 픽셀들의 적어도 제 1 세트를 선택한다.
[00183] (1202)에서, 증강 현실 시스템은, 적어도 하나의 후속 프레임의 픽셀들의 제 1 세트의 픽셀들의 사용자에게 제시되는 바와 같은 선택된 세트(들)의 픽셀들의 사이즈를 조정한다.
[00184] 예를 들어, 증강 현실 시스템은, 픽셀들의 제 1 세트가 다른 픽셀들에 비해, 검출된 머리 움직임의 방향과 동일한 방향으로 포지셔닝되도록 프레임의 픽셀들의 제 1 세트를 선택할 수 있다. 예를 들어, 픽셀들의 제 1 세트는, 이미지의 우측으로 일반적으로 배향된 픽셀들의 제 2 세트에 비해 이미지의 좌측을 향해 상대적으로 배향될 수 있다. 예를 들어, 픽셀들의 제 1 세트는, 이미지의 바닥으로 일반적으로 배향된 픽셀들의 제 2 세트에 비해 이미지의 상단을 향해 상대적으로 배향될 수 있다. 증강 현실 시스템은 하나 또는 그 초과의 후속 프레임들 또는 이미지들을 제공할 수 있으며, 여기서, 제 1 세트의 픽셀들은 후속 프레임(들)의 몇몇 다른 픽셀들에 비해 증가된 사이즈를 갖는다. 그것은, 증강 현실 시스템이 따라잡을 수 없는 급속한 머리 움직임으로부터 초래할 수 있는 픽셀들 사이의 확산을 적어도 부분적으로 수용하거나 적어도 부분적으로 보상할 수 있다.
[00185] 예를 들어, 증강 현실 시스템은, 픽셀들의 제 1 세트가 다른 픽셀들에 비해, 검출된 머리 움직임의 방향과 반대 방향으로 포지셔닝되도록 프레임의 픽셀들의 제 1 세트를 선택할 수 있다. 증강 현실 시스템은 하나 또는 그 초과의 후속 프레임들 또는 이미지들을 제공할 수 있으며, 여기서, 제 1 세트의 픽셀들은 후속 프레임(들)의 몇몇 다른 픽셀들에 비해 감소된 사이즈를 갖는다. 그것은, 증강 현실 시스템이 따라잡을 수 없는 급속한 머리 움직임으로부터 초래할 수 있는 픽셀들 사이의 확산을 적어도 부분적으로 수용하거나 적어도 부분적으로 보상할 수 있다.
[00186] 선택된 세트(들)의 픽셀들의 사이즈를 조정(예를 들어, 증가, 감소)하는 것은 가변 포커스 엘리먼트를 조정하는 것을 포함할 수 있다. 선택된 세트(들)의 픽셀들의 사이즈를 조정(예를 들어, 증가, 감소)하는 것은 가변 사이즈 소스를 조정하는 것을 포함할 수 있다. 선택된 세트(들)의 픽셀들의 사이즈를 조정(예를 들어, 증가, 감소)하는 것은 지터를 조정하는 것을 포함할 수 있다.
[00187] 추가적인 예로서, 증강 현실 시스템은, 픽셀들의 제 1 세트가 다른 픽셀들에 비해, 검출된 머리 움직임의 방향과 동일한 방향으로 포지셔닝되도록 프레임의 픽셀들의 제 1 세트를 선택할 수 있다. 증강 현실 시스템은 하나 또는 그 초과의 후속 프레임들 또는 이미지들을 제공할 수 있으며, 여기서, 제 1 세트의 픽셀들은 후속 프레임(들)의 몇몇 다른 픽셀들에 비해 증가된 강도를 갖는다. 그것은, 증강 현실 시스템이 따라잡을 수 없는 급속한 머리 움직임으로부터 초래할 수 있는 픽셀들 사이의 확산을 적어도 부분적으로 수용하거나 적어도 부분적으로 보상할 수 있다.
[00188] 심지어 더 추가적인 예로서, 증강 현실 시스템은, 픽셀들의 제 1 세트가 검출된 머리 움직임의 방향과 반대 방향으로 포지셔닝되도록 프레임의 픽셀들의 제 1 세트를 선택할 수 있다. 증강 현실 시스템은 하나 또는 그 초과의 후속 프레임들 또는 이미지들을 제공할 수 있으며, 여기서, 제 1 세트의 픽셀들은 후속 프레임(들)의 몇몇 다른 픽셀들에 비해 감소된 강도를 갖는다. 그것은, 증강 현실 시스템이 따라잡을 수 없는 급속한 머리 움직임으로부터 초래할 수 있는 픽셀들 사이의 확산을 적어도 부분적으로 수용하거나 적어도 부분적으로 보상할 수 있다.
[00189] 상술된 바와 같이, 증강 현실 시스템은, 선택된 픽셀들의 사이즈만, 선택된 픽셀들의 강도만, 또는 선택된 픽셀들의 사이즈 및 강도 둘 모두를 조정할 수 있다. 추가적으로, 증강 현실 시스템은, 몇몇 픽셀들의 강도, 다른 픽셀들의 사이즈, 심지어 또 다른 픽셀들의 강도 및 사이즈를 조정하고 그리고/또는 더 추가적인 픽셀들의 강도 또는 사이즈 중 어느 하나를 조정하지 않을 수 있다.
[00190] 시스템은 또한, 아래에 도시된 바와 같이, 전체 프레임 기반으로 전체 프레임 미만에 대해 동적으로 업데이트하기 위해 사용될 수 있다. 도 13은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(00)을 도시한다.
[00191] (1302)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 제 1 완료 프레임을 이미지 버퍼에 렌더링한다. 제 1 완료 프레임은, 다수의 가상 오브젝트들의 이미지를 형성하기 위한 픽셀들의 순차적인 제시를 위한 픽셀 정보를 포함한다. 제 1 완료 프레임은, 다양한 디스플레이 기술들에 적절한 다양한 형태들을 취할 수 있다. 예를 들어, 완료 프레임은, 2개의 필드들을 갖는 인터레이스된 래스터 스캔 프레임일 수 있는 완료 래스터 스캔 프레임을 형성하기에 충분한 픽셀 정보를 포함할 수 있다. 인터레이스된 래스터 스캔의 각각의 필드는 복수의 라인들을 포함할 수 있으며, 제 1 필드는 홀수 라인들을 포함하고 제 2 필드는 짝수 라인들을 포함한다. 홀수 및 짝수 라인들은 최종 사용자에게 적어도 디스플레이되는 바와 같이 인터레이스될 수 있다. 특히 유리한 기술은 나선 스캔 라인들을 이용한다. 나선 스캔 접근법은 프레임당 단일 필드를 이용할 수 있으며, 예를 들어, 그 필드는 단일 나선 트레이스로 구성된다. 대안적으로, 나선 스캔 접근법은 프레임 당 2개 또는 그 초과의 필드들을 이용할 수 있으며, 그 필드들은, 예를 들어, 순차적으로 제시되는 2개 또는 그 초과의 나선 트레이스들로 구성된다. 나선 트레이스들은 유리하게, 프레임의 각각의 필드 사이에 위상 시프트를 유입시킴으로써 간단히 인터레이스 또는 네스팅될 수 있다. 다른 기술은 리사주 스캔 접근법을 이용한다. 리사주 스캔 접근법은 프레임 당 단일 필드를 이용할 수 있으며, 예를 들어, 그 필드는 단일 리사주 트레이스로 구성된다. 대안적으로, 리사주 스캔 접근법은 프레임 당 2개 또는 그 초과의 필드들을 이용할 수 있으며, 그 필드들은, 예를 들어, 순차적으로 제시되는 2개 또는 그 초과의 리사주 트레이스들로 구성된다. 리사주 트레이스들은 유리하게, 프레임의 각각의 필드 사이에 위상 시프트를 유입시킴으로써 간단히 인터레이스 또는 네스팅될 수 있다.
[00192] (1304)에서, 증강 현실 시스템은 제 1 완료 프레임의 제시를 시작한다. 그것은, 예를 들어, 광 소스(들) 및 하나 또는 그 초과의 광섬유들의 말단을 구동시키기 위한 프레임 버퍼(들)로부터 판독하는 것을 포함할 수 있다. 판독하는 것은, 프레임 버퍼의 어떤 부분들이 판독되는지를 동적으로 결정하는 것을 포함할 수 있다.
[00193] 선택적으로 (1306)에서, 증강 현실 시스템은 공칭 머리 움직임 값을 초과하는 최종 사용자의 머리 움직임을 검출한다. 그것은 이전에 설명된 다양한 접근법들 중 임의의 접근법을 이용할 수 있다.
[00194] (1308)에서, 증강 현실 시스템은, 전체 제 1 완료 프레임의 제시의 완료 시에 제 1 완료 프레임의 제시를 동적으로 인터럽트한다. 특히, 증강 현실 시스템은 제 1 완료 프레임에 대한 업데이트의 제시를 시작한다. 완료 프레임에 대한 업데이트 내의 픽셀 정보의 적어도 일부는 제 1 완료 프레임으로부터 변한다. 예를 들어, 인터레이스된 래스터 스캔 기반 시스템에서, 증강 현실 시스템은 제 1 필드의 전부 또는 일부를 제시할 수 있으며, 제 2 필드를 업데이트 제 2 필드로 대체한다. 또한, 예를 들어, 인터레이스된 나선 스캔 기반 시스템에서, 증강 현실 시스템은 제 1 필드(예를 들어, 제 1 나선 스캔 라인 또는 트레이스)의 전부 또는 일부를 제시할 수 있으며, 제 2 필드를 업데이트 제 2 필드(예를 들어, 본래의 제 2 나선 스캔 또는 트레이스와는 상이한 업데이트된 제 2 나선 스캔 라인 또는 트레이스)로 대체한다. 유사하게, 인터레이스된 리사주 스캔 기반 시스템에서, 증강 현실 시스템은 제 1 필드(예를 들어, 제 1 리사주 스캔 라인 또는 트레이스, 즉 완료 피규어(figure)의 8사이클)의 전부 또는 일부를 제시할 수 있으며, 제 2 필드를 업데이트 제 2 필드(예를 들어, 본래의 제 2 나선 스캔 또는 트레이스와는 상이한 업데이트된 제 2 리사주 스캔 라인 또는 트레이스)로 대체한다. 예들이 필드들의 관점들에서 제공되지만, 그것은 전체 필드들로 제한되지 않는다. 제시는 필드의 제시 동안, 예를 들어, 제 1 또는 제 2, 또는 심지어 제 3 필드의 제시 동안 해석될 수 있다. 제시는, 임의의 주어진 라인의 제시 (예를 들어, 래스터 스캔의 행, 나선 또는 리사주 스캔의 완료 사이클) 동안 해석될 수 있다.
[00195] 도 14는 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1400)을 도시한다. 방법(1400)은 도 13의 방법(1300)을 실행할 시에 이용될 수 있다.
[00196] (1402)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 업데이트된 제 1 완료 프레임을 렌더링한다. 업데이트된 제 1 완료 프레임은, 제 1 완료 프레임의 픽셀 정보와는 적어도 하나의 사항에서는 상이한 픽셀 정보를 포함한다.
[00197] 업데이트된 제 1 완료 프레임을 렌더링하는 것은, 제 1 필드 및 적어도 제 2 필드를 갖는 업데이트 완료 프레임을 렌더링하는 것을 포함할 수 있다. 제 2 필드는 제 1 필드와 인터레이스될 수 있으며, 통상적으로 제 1 필드의 순차적으로 후속하는 제시를 제시한다. 예를 들어, 제 1 필드는 래스터 스캔의 짝수 넘버링된 라인들로 구성될 수 있는 반면, 제 2 필드는 홀수의 라인들로 구성된다. 또한, 예를 들어, 제 1 필드는 제 1 나선 스캔 라인 또는 제 1 리사주 스캔 라인으로 구성될 수 있는 반면, 제 2 필드는 제 2 나선 스캔 라인 또는 제 2 리사주 스캔 라인으로 구성된다. 따라서, 업데이트된 제 1 완료 프레임을 렌더링하는 것은, 제 1 필드 및 적어도 제 2 필드를 갖는 업데이트 완료 프레임을 렌더링하는 것을 포함할 수 있으며, 제 2 필드는 적어도 제 1 필드와 인터레이스된다.
[00198] (1404)에서, 증강 현실 시스템은, 제 1 완료 프레임의 상대적인 부분 대신, 업데이트된 제 1 완료 프레임의 부분을 제시한다. 따라서, 업데이트된 프레임의 부분은, 본래의 업데이트되지 않은 제 1 완료 프레임의 인터럽트에 후속하는 제 1 완료 프레임의 전부 또는 일부에 대한 대체물이다.
[00199] 예를 들어, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 제 2 필드 대신, 업데이트된 제 1 완료 프레임의 제 2 필드를 제시할 수 있다. 또한, 예를 들어, 증강 현실 시스템은, 제 1 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 제 1 필드 및 전체의 제 2 필드의 대응하는 부분 대신, 업데이트된 제 1 완료 프레임의 제 2 필드와 함께 제 1 필드의 제 2 부분을 제시할 수 있다.
[00200] 또한, 예를 들어, 증강 현실 시스템은, 제 1 완료 프레임의 상대적인 필드의 상대적인 부분 대신, 업데이트된 제 1 완료 프레임의 필드의 일부(예를 들어, 라인, 라인의 일부, 픽셀들의 세트, 픽셀)를 제시할 수 있다. 예를 들어, 증강 현실 시스템은, 래스터 스캔 프레임의 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 상대적인 필드의 상대적인 부분 대신, 래스터 스캔 프레임의 업데이트된 제 1 완료 프레임의 필드의 일부를 제시할 수 있다.
[00201] 다른 예로서, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 상대적인 라인 대신, 업데이트된 제 1 완료 프레임의 라인을 제시할 수 있다. 또 다른 예로서, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 상대적인 나선 라인 대신, 업데이트된 제 1 완료 프레임의 나선 라인을 제시할 수 있다. 추가적인 예로서, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 상대적인 라인의 상대적인 부분 대신, 업데이트된 제 1 완료 프레임의 라인의 일부를 제시할 수 있다. 더 추가적인 예로서, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 상대적인 적어도 하나의 픽셀 대신, 업데이트된 제 1 완료 프레임의 적어도 하나의 픽셀을 제시할 수 있다. 더 부가적인 예로서, 증강 현실 시스템은, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 리사주 패턴 스캔의 상대적인 부분의 하나의 완전한 사이클 대신, 업데이트된 제 1 완료 프레임의 리사주 패턴 스캔의 하나의 완전한 사이클을 제시할 수 있다.
[00202] 도 15는 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1500)을 도시한다. 방법(1500)은 도 13의 방법(1300)을 실행할 시에 이용될 수 있다.
[00203] (1502)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 제 1 완료 프레임을 프레임 버퍼에 렌더링한다. 제 1 완료 프레임은, 예를 들어, 제 1 필드 및 적어도 제 2 필드를 포함할 수 있다. 제 1 필드는, 예를 들어, 적어도 제 1 나선 스캔 라인에 대한 픽셀 정보를 포함할 수 있고, 제 2 필드는 적어도 제 2 나선 스캔 라인에 대한 픽셀 정보를 포함할 수 있다. 제 2 필드의 스캔 라인(들)은 제 1 필드의 스캔 라인(들)과 인터레이스될 수 있다. 제 1 필드는, 예를 들어, 적어도 제 1 리사주 스캔 라인에 대한 픽셀 정보를 포함할 수 있고, 제 2 필드는 적어도 제 2 리사주 스캔 라인에 대한 픽셀 정보를 포함할 수 있다. 제 2 필드의 스캔 라인(들)은 제 1 필드의 스캔 라인(들)과 인터레이스될 수 있다. 나선 및 리사주 스캔 패턴들 둘 모두에 대한 스캔 라인들의 인터레이싱은 위상 시프트들을 이용하여 효율적으로 달성될 수 있다. 필드들 또는 스캔 라인들의 수는 2, 예를 들어, 3, 4, 8, 16 또는 그 초과보다 클 수 있다.
[00204] (1504)에서, 증강 현실 시스템은, 제 1 완료 프레임을 저장하는 프레임 버퍼로부터 판독하기를 시작한다. 증강 현실 시스템은, 이미지 버퍼로부터의 프레임에서 특정된 픽셀 데이터에 기초하여 이미지를 생성하기 위해 광 소스들 및 요크 또는 다른 디바이스 또는 구조물을 구동시킬 수 있다.
[00205] (1506)에서, 증강 현실 시스템은, 업데이트된 제 1 완료 프레임을 프레임 버퍼에 렌더링한다. 업데이트된 제 1 완료 프레임은 프레임을 특정하는 픽셀 정보를 포함하며, 그 프레임의 일부는 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임에 의해 특정된 정보로부터 변한다.
[00206] (1508)에서, 증강 현실 시스템은, 프레임 버퍼로부터의 제 1 완료 프레임의 판독의 완료 전에 데이트된 제 1 완료 프레임을 판독하기를 시작하며, 그에 의해, 본래의(즉, 업데이트되지 않은) 제 1 완료 프레임의 제시를 인터럽트한다. 몇몇 구현들은 2개 또는 그 초과의 프레임 버퍼들을 갖는다는 것을 이용할 수 있으며, 프레임이 다른 프레임 버퍼로부터 판독되고 있는 동안 하나의 프레임 버퍼로의 렌더링을 허용한다. 그것은, 증강 현실 시스템들의 다양한 구현들에서 제한하는 것으로 고려되지 않아야 하며, 1개, 2개, 3개 또는 훨씬 더 많은 프레임 버퍼들을 이용할 수 있다.
[00207] 도 16은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1600)을 도시한다. 방법(1600)은 도 13의 방법(1300)을 실행할 시에 이용될 수 있다.
[00208] (1602)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 제 1 스캔 라인(예를 들어, 나선, 리사주)에 대한 픽셀 정보를 생성한다.
[00209] 선택적으로 (1604)에서, 증강 현실 시스템은, 제 1 스캔 라인(예를 들어, 나선, 리사주)에 대해 위상 시프팅된 제 2 스캔 라인(예를 들어, 나선, 리사주)에 대한 픽셀 정보를 생성한다. 위상 시프팅은 유리하게, 나선 및 리사주 스캔 라인들에 대해 제 1 스캔 라인과 제 2 스캔 라인을 인터페이싱 또는 네스팅한다.
[00210] 선택적으로 (1606)에서, 증강 현실 시스템은, 제 2 스캔 라인(예를 들어, 나선, 리사주)에 대해 위상 시프팅된 제 3 스캔 라인(예를 들어, 나선, 리사주)에 대한 픽셀 정보를 생성한다. 위상 시프팅은 유리하게, 나선 및 리사주 스캔 라인들에 대해 제 1 및 제 2 스캔 라인들과 제 3 스캔 라인을 인터페이싱 또는 네스팅한다.
[00211] 선택적으로 (1608)에서, 증강 현실 시스템은, 제 3 스캔 라인(예를 들어, 나선, 리사주)에 대해 위상 시프팅된 제 4 스캔 라인(예를 들어, 나선, 리사주)에 대한 픽셀 정보를 생성한다. 위상 시프팅은 유리하게, 나선 및 리사주 스캔 라인들에 대해 제 1, 제 2, 및 제 3 스캔 라인들과 제 4 스캔 라인을 인터페이싱 또는 네스팅한다.
*[00212] 도 17은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1700)을 도시한다.
[00213] (1702)에서, 복수의 프레임들 각각에 대해, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 개별 프레임의 적어도 2개의 부분들 각각에 대한 개별 해상도를 결정한다. 부분들은 필드들, 라인들, 다른 세분, 또는 심지어 개별적인 픽셀들일 수 있다.
[00214] (1704)에서, 증강 현실 시스템은 복수의 프레임들에 기초하여 가상 오브젝트들의 이미지들의 제시를 야기하며, 이미지들 중 적어도 몇몇은 최종 사용자에게 제시되는 바와 같이 이미지 내에 가변 해상도를 갖는다. 예를 들어, 인접한 픽셀들 사이의 간격은 부분마다 상이할 수 있다.
[00215] 도 18은 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1800)을 도시한다. 방법(1800)은 도 17의 방법(1700)을 실행할 시에 이용될 수 있다.
[00216] (1802)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 나선 스캔 패턴에 대한 개별 픽셀 데이터로서 프레임들을 렌더링한다.
[00217] (1804)에서, 증강 현실 시스템은, 프레임들 중 제 1 프레임의 제 1 부분을 제시하는 시간과 프레임들 중 제 1 프레임의 제 2 부분을 제시하는 시간 사이에서 구동 신호의 진폭을 조정한다. 진폭에서의 이러한 변화는, 프레임들 중 제 1 프레임에 대응하는 이미지에서의 가변 해상도를 초래한다. 증강 현실 시스템은, 예를 들어, 구동 신호의 슬로프 또는 램프(ramp)를 변경시킬 수 있다. 그것은, 나선 스캔 패턴과 함께 사용되는 경우 특히 유용하다. 예를 들어, 프레임의 제 1 필드는 하나의 슬로프 또는 램프를 가질 수 있는 반면, 프레임의 제 2 필드는 상이한 슬로프 또는 램프를 가지며, 그에 의해, 단일 프레임에 대한 효율적인 해상도를 변경시킨다. 더 높아진 해상도 또는 픽셀 밀도는 최종 사용자의 관심 또는 주목을 갖는 위치들 또는 그에 근접한 위치들에서 이용될 수 있는 반면, 더 낮은 해상도 또는 픽셀 밀도는 그러한 위치들로부터 떨어진 곳에서 사용될 수 있다. 중심 또는 이미지가 최종 사용자의 주목 또는 포커스의 중심을 향해 시프팅되는 경우, 높은 해상도가 이미지의 중심 주변에 나타날 수 있는 반면, 주변 부분들은 더 낮은 해상도로 나타난다. 그것은 본질적으로, 스티어링가능한 픽셀들을 이용하여, 포비에이티드(foviated) 디스플레이로 지칭될 수 있는 것을 구현한다.
[00218] 도 19는 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(1900)을 도시한다. 방법(1800)은 도 17의 방법(1700)과 함께 또는 그 방법의 일부로서 이용될 수 있다.
[00219] (1902)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은 최종 사용자에 대해 적어도 제 1 이미지에서의 주목 포인트를 평가한다. 증강 현실 시스템은, 그것을 평가하기 위해 이전에 설명된 기술들 중 임의의 기술을 사용할 수 있다. 예를 들어, 새로운 가상 오브젝트가 나타나는지 및 어디에 나타나는지, 또는 가상 오브젝트가 최종 사용자의 시야 내에서 어디로 이동할 것인지를 결정한다. 또한, 예를 들어, 증강 현실 시스템은, 가상 오브젝트들(예를 들어, 속도, 컬러, 사이즈, 밝기, 미광(shimmer)의 상대적인 매력(attractiveness)을 평가할 수 있다. 그것은 또한, 최종 사용자의 눈들이 추적하거나 포커싱되는 시야 내의 위치를 표시하는 눈 추적 정보를 이용할 수 있다.
[00220] 눈 추적 정보는, 예를 들어, 하나 또는 그 초과의 머리 착용 트랜스듀서들, 예를 들어, 머리 착용 카메라들을 통해 공급될 수 있다. 그러한 눈 추적 정보는, 예를 들어, 광을 최종 사용자의 눈들로 투영하고 그 투영된 광의 적어도 일부의 리턴 또는 반사를 검출함으로써 판별될 수 있다. 예를 들어, 이미지들을 생성 또는 투영하는 투영 서브시스템은, 글린트 오프(glint off)된 최종 사용자의 각막을 생성하기 위해 적어도 하나의 광섬유로부터 광의 픽셀, 도트 또는 다른 엘리먼트를 투영할 수 있다. 눈 추적은 광의 1개, 2개, 3개 또는 훨씬 더 많은 스팟들 또는 도트들을 이용할 수 있다. 광의 스팟들 또는 도트들이 많아질수록, 더 많은 정보가 판별될 수 있다. 광 소스들(예를 들어, 레이저 다이오드들)은, 예를 들어, 카메라 또는 이미지 센서의 프레임 레이트와 동기적으로 펄싱 또는 변조될 수 있다. 그 경우에서, 스팟들 또는 도트들은 눈들이 이동할 때 라인들로서 나타날 수 있다. 센서에 걸친 라인 트레이스로서의 라인들의 방향은 눈 움직임의 방향을 표시할 수 있다. 라인들의 배향(예를 들어, 수직, 수평, 대각)은 눈 움직임의 배향을 표시한다. 라인의 길이는 눈 움직임의 속도를 표시한다.
[00221] 눈 추적에 대해, 광은 신호 대 잡음비를 증가시키도록 (예를 들어, 일시적으로, 강도) 변조될 수 있다. 부가적으로 또는 대안적으로, 광은 특정한 파장(예를 들어, IR 근방)을 가질 수 있으며, 그것이 배경광 또는 심지어, 최종 사용자가 시청하고 있는 이미지를 형성하는 광으로부터 구별되게 한다. 광은, 증강 현실 시스템이 눈(들)에 제공하고 있는 에너지(예를 들어, 열)의 총량을 감소시키도록 변조될 수 있다. 글린트는 동일한 또는 다른 광섬유를 통해 센서로 리턴될 수 있다. 센서는, 예를 들어, 2차원 이미지 센서, 예를 들어, CCD 센서 또는 CMOS 센서의 형태를 취할 수 있다.
[00222] 따라서, 증강 현실 시스템은 눈들의 상대적인 움직임들을 검출 및 추적할 수 있으며, 최종 사용자의 주목 또는 포커스의 포인트 또는 위치의 표시를 제공한다. 증강 현실 시스템은 논리적으로, 최종 사용자의 주목 또는 포커스의 식별된 포인트 또는 위치와 가상 오브젝트 또는 가상 이벤트(예를 들어, 가상 오브젝트의 출현 또는 움직임)를 연관시킬 수 있다. 예를 들어, 증강 현실 시스템은, 최종 사용자의 주목 또는 포커스의 포인트 또는 위치 또는 적어도 그 근방에서 나타나는 가상 오브젝트를 최종 사용자로의 매력적인 가상 오브젝트로서 지정할 수 있다.
[00223] (1904)에서, 증강 현실 시스템은, 적어도 하나의 후속 이미지의 적어도 하나의 부분에서 해상도를 조정(예를 들어, 증가, 감소)한다. 증강 현실 시스템은, 본 명세서에 설명된 다양한 기술들 중 임의의 기술 뿐만 아니라 동일한 후속 페이지의 다른 부분들이 비해 후속 페이지의 일부의 해상도를 조정하기 위한 다른 기술들을 이용할 수 있다.
[00224] 도 20는 일 도시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2000)을 도시한다. 방법(2000)은 도 19의 방법(1900)의 동작(1904)을 실행할 시에 이용될 수 있다.
[00225] (2002)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 그의 프로세서)은, 적어도 하나의 후속 이미지의 다른 부분들에 비해 주목의 평가된 포인트에 적어도 있는 적어도 하나의 후속 이미지의 일부에서 해상도를 증가시킨다. 상술된 바와 같이, 해상도는, 구동 신호의 크기 또는 진폭(예를 들어, 전류, 전압)을 제어함으로써 나선 스캔 패턴들에 대해 조정될 수 있다. 해상도는, 구동 신호의 슬로프를 조정함으로써 조정될 수 있다. 따라서, 해상도는 구동 신호의 진폭을 증가시킴으로써 증가될 수 있는 반면, 위상은 변경되지 않게 유지된다.
[00226] (2004)에서, 증강 현실 시스템은, 적어도 하나의 후속 이미지의 다른 부분들에 비해 주목의 평가된 포인트에 원거리에 있는 적어도 하나의 후속 이미지의 일부에서 해상도를 감소시킨다. 해상도는 구동 신호의 진폭을 감소킴으로써 감소될 수 있는 반면, 위상은 변경되지 않게 유지된다.
[00227] 몇몇 구현들에서, 해상도만이 증가되며, 몇몇 부분들에서는 증가하는 반면, 다른 부분들에서는 증가 또는 감소 중 어느 것도 행해지지 않는다. 다른 구현들에서, 해상도만이 감소되며, 몇몇 부분들에서는 감소하는 반면, 다른 부분들에서는 증가 또는 감소 중 어느 것도 행해지지 않는다. 또 다른 구현들에서, 해상도는 몇몇 부분들에서는 증가되는 반면, 다른 부분들에서는 감소된다.
[00228] 도 21은 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2100)을 도시한다. 방법(2100)은, 도 17의 방법(1700)과 함께 이용될 수도 있다.
[00229] (2102)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 눈 추적 데이터를 프로세싱한다. 눈 추적 데이터는, 적어도 최종 사용자의 적어도 하나의 눈의 배향을 표시한다. 눈 추적 데이터는 적어도 하나의 트랜스듀서를 통해 공급된다. 예를 들어, 눈 추적 데이터는 머리 착용 트랜스듀서를 통해 공급될 수도 있다. 몇몇 구현들에서, 눈 추적 데이터는, 광섬유의 원단에 포지셔닝되거나 그에 근접하게 포지셔닝된 트랜스듀서를 갖춘 광섬유를 통해 수집된다. 예를 들면, 광섬유는 최종 사용자의 눈(들)의 부분으로부터 반사되는, 글린트일 수도 있는 광을 수집할 수도 있다. 광섬유는 최종 사용자에 대한 디스플레이 또는 프로젝션을 위한 이미지를 생성하기 위해 사용되는 것과 동일한 광섬유일 수도 있다.
[00230] (2104)에서, 증강 현실 시스템은 머리 추적 데이터를 프로세싱한다. 머리 추적 데이터는 적어도 최종 사용자의 머리의 배향을 표시한다. 머리 추적 데이터는 적어도 하나의 트랜스듀서를 통해 공급될 수도 있다.
[00231] 예를 들면, 관성 센서들(예를 들어, 자이로스코프 센서들, 가속도계들)과 같은 하나 또는 그 초과의 머리 착용 또는 장착 트랜스듀서들이다. 머리 움직임 추적은 하나 또는 그 초과의 머리 착용 또는 머리 장착 광 소스들 및 적어도 하나의 센서를 사용하여 구현될 수도 있다. 머리 추적은, 광의 1개, 2개, 3개, 또는 심지어 더 많은 스폿들 또는 도트들을 이용할 수도 있다. 광의 스폿들 또는 도트들이 더 많아질수록 더 많은 정보가 판별될 수도 있다. 광 소스들(예를 들어, 레이저 다이오드들)은, 예를 들어, 카메라 또는 이미지 센서(예를 들어, 전면 카메라)의 프레임 레이트와 동기적으로 펄싱되거나 또는 변조될 수도 있다. 레이저 소스(들)는, 카메라 또는 이미지 센서의 프레임 레이트보다 낮은 주파수에서 변조될 수도 있다. 이러한 경우에서, 스폿들 또는 도트들은 머리가 움직일 때 라인들로서 나타날 수도 있다. 센서에 걸친 라인 트레이스로서의 라인들의 방향은 머리 움직임의 방향을 표시할 수도 있다. 라인들의 배향(예를 들어, 수직, 수평, 대각선)은, 머리 움직임의 배향을 표시한다. 라인의 길이는 머리 움직임의 속도를 표시한다. 또한, 반사된 광은, 거리 및/또는 지오메트리(예를 들어, 평면, 곡면) 및/또는 배향(예를 들어, 각을 이룸 또는 수직)과 같은 주변 환경에서의 오브젝트들에 관한 정보를 제공할 수도 있다. 예를 들면, 하나의 레이저 빔은 방향 및 속도에 관한 정보(예를 들어, 대시 또는 라인의 길이)를 생성할 수도 있다. 제 2 레이저 빔은 깊이 또는 거리에 관한 정보(예를 들어, Z-축)를 부가할 수도 있다. 제 3 레이저 빔은 주변 환경에서의 표면의 배향 및/또는 지오메트리에 대한 정보를 부가할 수도 있다. 레이저들 또는 다른 광 소스들이 머리 움직임 동안 또는 머리 움직임의 일부 동안 펄싱될 수도 있다.
[00232] 부가적으로 또는 대안적으로, 머리 추적 데이터는 머리에 착용되지 않은 트랜스듀서들을 통해 공급될 수도 있다. 예를 들어, 카메라 또는 이미저 시스템은, 최종 사용자의 머리를 포함하는 최종 사용자의 움직임을 추적하여 최종 사용자를 이미징할 수도 있다. 그것은, 예를 들어, 몇몇 외부 기준 프레임, 예컨대 추적 시스템에 의해 정의된 기준 프레임 또는 추적 시스템이 로케이팅된 방에 관하여 움직임을 추적할 수도 있다.
[00233] (2106)에서, 증강 현실 시스템은 최종 사용자의 시야에서의 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정한다. 출현은, 최종 사용자의 시야에 새롭게 유입되는 경우, 새로운 가상 오브젝트의 출현일 수도 있다. 출현은, 적어도 하나의 이전 이미지에서의 가상 오브젝트의 포지션에 관한 이미지 내의 새로운 포지션에서의 가상 오브젝트의 출현일 수도 있다. 증강 현실 시스템은, 가상 오브젝트의 출현 위치를 결정하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다.
[00234] 시스템은 또한, 최종 사용자 인지를 개선하기 위해 블랭킹을 사용할 수도 있다.
[00235] 도 22는 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2200)을 도시한다. 방법(2200)은 최종 사용자 인지 경험을 개선하기 위해 블랭킹을 효과적으로 이용한다.
[00236] (2202)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 적어도 하나의 가상 오브젝트를 최종 사용자에게 디스플레이한다. 증강 현실 시스템은, 프레임들을 프레임 버퍼로 렌더링하고, 프레임들을 판독하여, 하나 또는 그 초과의 광 소스들 및/또는 요크 또는 광의 적어도 2축 움직임 또는 트레이스를 생성하기 위한 다른 시스템을 구동할 수도 있다.
[00237] (2204)에서, 증강 현실 시스템은 최종 사용자의 머리 움직임의 발생을 검출 및/또는 예측한다. 증강 현실 시스템은, 머리 움직임의 발생을 검출 및/또는 예측하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다. 제한 없이, 그 기술들은, 예를 들어, 관성 트랜스듀서들 또는 센서들을 통해, 또는 머리 착용 이미저 또는 최종 사용자가 존재하고 가시적인 영역을 이미징하는 환경 이미저로부터의 이미지들을 통해, 머리 움직임을 직접 감지하는 것을 포함한다. 그 기술들은 또한, 예를 들면, 어디에 새로운 가상 오브젝트가 출현할 것인지, 어디로 기존의 가상 오브젝트가 이동할 것인지, 또는 특정한 매력적인 가상 오브젝트들이 이미지 내의 어디에 포지셔닝되는지를 결정함으로써, 머리 움직임을 간접적으로 예측하는 것을 포함한다.
[00238] (2206)에서, 증강 현실 시스템은, 검출된 그리고/또는 예측된 머리 움직임이 공칭 머리 움직임 값을 초과하거나 초과하는 것으로 예측되는지를 평가한다. 증강 현실 시스템은, 검출된 그리고/또는 예측된 머리 움직임이 공칭 머리 움직임 값을 초과하거나 초과하는 것으로 예측되는지를 평가하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다. 그것은, 검출되거나 예측된 속도 대 공칭 속도의 단순 비교를 포함할 수도 있다. 그것은, 검출되거나 예측된 가속 대 공칭 가속의 단순 비교를 포함할 수도 있다. 그것은, 검출되거나 예측된 범위 대 공칭 범위의 단순 비교를 포함할 수도 있다. 그것은, 움직임 동안, 다수 회에 걸친 속도, 가속, 또는 범위의 평균들 또는 적분들을 포함하는 더 복잡한 비교들을 포함할 수도 있다. 그것은, 심지어 이력 속성들 또는 다른 정보를 이용할 수도 있다.
[00239] (2208)에서, 증강 현실 시스템은, 최종 사용자에 대한 적어도 하나의 가상 오브젝트의 디스플레이의 적어도 부분을 일시적으로 블랭크한다. 예를 들어, 증강 현실 시스템은 프레임 버퍼들로부터 판독하는 것을 중단할 수도 있다. 부가적으로 또는 대안적으로, 증강 현실 시스템은 일루미네이션 또는 광 소스를 턴 오프할 수도 있다. 그것은, LCD 디스플레이의 백 라이트를 일시적으로 턴 오프하는 것을 포함할 수도 있다.
[00240] 도 23은 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2300)을 도시한다. 방법(2300)은, 도 22의 방법(2200)을 수행하는 것에서 이용될 수도 있다.
[00241] (2302)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 머리 추적 데이터를 프로세싱한다. 머리 추적 데이터는 적어도 최종 사용자의 머리의 배향을 표시한다. 머리 추적 데이터는, 최종 사용자에 의해 머리에 착용될 수도 있거나 그렇지 않을 수도 있는 적어도 하나의 트랜스듀서를 통해 공급된다. 증강 현실 시스템은, 머리 추적 데이터를 프로세싱하기 위해 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다.
[00242] (2304)에서, 최종 사용자에게 제시된 이미지들 중 적어도 일부의 각각에 대해, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 최종 사용자 시야에서 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정한다. 가상 오브젝트의 출현 위치의 결정은, 최종 사용자의 시야에 새롭게 유입될 때 이루어진다. 이미지 내의 새로운 포지션에서의 가상 오브젝트의 출현 위치의 결정은, 적어도 하나의 이전 이미지에서의 가상 오브젝트의 포지션에 관해 이루어진다. 증강 현실 시스템은, 가상 오브젝트의 출현 위치를 결정하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다.
[00243] (2306)에서, 증강 현실 시스템은, 가상 오브젝트의 결정된 출현이 충분히 매력적인지 여부를 평가한다. 예를 들어, 증강 현실 시스템은, 가상 오브젝트들의 상대적인 시각적 매력(예를 들어, 속도, 색상, 사이즈, 밝기, 미광, 투명도, 특수 광학 효과들)을 평가할 수도 있다. 또한, 예를 들어, 증강 현실 시스템은, 상대적인 관심 매력(예를 들어, 새로움, 최근성, 이전 관심, 최종 사용자에 의해 이전 식별, 최종 사용자에 의한 이전 상호작용)을 평가할 수도 있다.
[00244] (2308)에서, 증강 현실 시스템은, 결정된 위치가, 최종 사용자의 머리의 현재 포지션에 관해 최종 사용자의 머리를 돌릴 것을 최종 사용자에게 요구하는지 여부를 평가한다. 증강 현실 시스템은, 최종 사용자의 머리의 현재 포지션 및/또는 배향 및 가상 오브젝트의 상대적 포지션 및/또는 배향을 이용할 수도 있다. 증강 현실 시스템은, 거리, 예컨대 최종 사용자의 현재 포커스와 가상 오브젝트의 포지션 및/또는 배향 사이의 각거리를 결정할 수도 있다. 증강 현실 시스템은, 결정된 거리가 눈 움직임의 범위 내에 있는지 여부, 또는 최종 사용자가 또한 자신의 머리를 돌려야 하는지 여부를 결정할 수도 있다. 최종 사용자가 자신의 머리를 돌려야 한다면, 시스템은 최종 사용자가 어디까지 자신의 머리를 돌려야 하는지를 평가할 수도 있다. 예를 들어, 증강 현실 시스템은, 최종 사용자에 대한 눈 움직임과 머리 움직임 사이의 관계를 명시하는 정보를 이용할 수도 있다. 그것은, 최종 사용자가 그들의 머리를 돌리기 전에, 오직 눈 움직임들만을 통해 그들의 시선을 어느 정도 시프트할 것인지를 표시할 수도 있다. 특히, 눈 움직임과 머리 움직임 사이의 관계는, 다양한 상이한 방향들, 예를 들면, a) 위에서 아래, b) 아래에서 위, c) 좌측에서 우측, d) 우측에서 좌측, e) 좌측 하단으로부터 우측 상단으로의 대각선, f) 우측 하단으로부터 좌측 상단으로의 대각선, g) 좌측 상단으로부터 우측 하단으로의 대각선, 또는 h) 우측 상단으로부터 좌측 하단으로의 대각선에 대해 명시될 수도 있다.
[00245] (2310)에서, 증강 현실 시스템은, 평가에 기초하여 머리 움직임의 발생을 예측한다. 증강 현실 시스템은, 머리 움직임이 발생할 것인지 여부, 머리 움직임의 방향 및/또는 배향, 및/또는 머리 움직임의 속도 또는 가속을 예측할 시, 평가로부터의 하나 또는 그 초과의 팩터들을 사용할 수도 있다. 증강 현실 시스템은, 최종 사용자 특정 이력 데이터 또는 최종 사용자들의 그룹에 대해 더 일반적인 이력 데이터 중 어느 하나를 이용할 수도 있다. 증강 현실 시스템은, 머리 움직임 예측의 정확도를 증가시키기 위해, 하나 또는 그 초과의 머신 학습 알고리즘들을 구현할 수도 있다.
[00246] 도 24는 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2400)을 도시한다. 방법(2400)은 도 22의 방법(2200)의 동작(2208)을 수행하는 것에서 이용될 수도 있다.
[00247] (2402)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은, 디스플레이 또는 디스플레이의 백라이트를 스트로빙하거나 플래싱한다. 스트로빙 또는 플래싱은 검출된 머리 움직임 또는 예측된 머리 움직임의 부분 또는 그 전체에 걸쳐 발생한다. 그것은, 유리하게, 가상 오브젝트들의 프레임 또는 프레젠테이션에서의 비일관성들의 인지를 효과적으로 감소시킬 수도 있다. 그것은 또한, 인지되는 프레임 레이트를 효과적으로 증가시킬 수도 있다.
[00248] 도 25는 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2500)을 도시한다.
[00249] (2502)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은, 최종 사용자의 머리 움직임의 발생을 검출 및/또는 예측한다. 예를 들어, 증강 현실 시스템은, 적어도 최종 사용자의 머리의 배향을 표시하는 머리 추적 데이터를 프로세싱할 수도 있다. 부가적으로 또는 대안적으로, 증강 현실 시스템은, 최종 사용자의 시야에서의 가상 오브젝트 출현 위치를 최종 사용자 기준 프레임에 관련해 결정하고, 결정된 위치가 최종 사용자에게 최종 사용자의 머리를 돌릴 것을 요구하는지 여부를 평가하고, 평가에 기초하여 머리 움직임의 발생을 예측할 수도 있다. 증강 현실 시스템은, 머리 움직임의 발생을 검출 및/또는 예측하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다.
[00250] (2504)에서, 증강 현실 시스템은, 검출되거나 예측된 머리 움직임이 공칭 머리 움직임 값을 초과하는지 여부를 결정한다. 증강 현실 시스템은, 검출되거나 예측된 머리 움직임이 공칭 머리 움직임 값을 초과하는지 여부를 결정하기 위해, 본 명세서의 다른 곳에서 설명된 많은 기술들 중 임의의 기술을 이용할 수도 있다.
[00251] (2506)에서, 검출되거나 예측한 머리 움직임이 공칭 머리 움직임 값을 초과한다는 결정에 응답하여, 증강 현실 시스템은, 적어도 하나의 자유도에서 프로젝터를 움직이기 위해, 실행기를 선택적으로 활성화한다. 프로젝터를 움직이는 것은, 적어도 하나의 축을 따라 제 1 광섬유를 병진운동시키는 것을 포함할 수도 있다. 프로젝터를 움직이는 것은, 적어도 하나의 축을 따라 제 1 광섬유를 피벗팅하는 것을 포함할 수도 있다.
[00252] 도 26은 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2600)을 도시한다.
[00253] 증강 현실 시스템은, 프레임들을 오버 렌더링하여, 주어진 디스플레이 기술의 최대 영역 및 최대 해상도에 대해 필요한 것보다 훨씬 더 큰 프레임들을 생성할 수도 있다. 예를 들어, 머리 착용 또는 장착 증강 현실 시스템에서, 디스플레이 또는 프로젝션에 대해 이용가능한 영역은 장비의 다양한 파라미터들에 의해 셋팅될 수도 있다. 유사하게, 증강 현실 시스템은 다수의 별개의 해상도들에서 동작하는 것이 가능할 수도 있지만, 장비는 더 위의 한도 또는 최대 해상도를 셋팅할 것이다. 오버 렌더링된 프레임은, 최대 해상도에서의 디스플레이의 최대 영역을 초과하는 픽셀들의 세트에 대한 픽셀 정보를 포함한다. 그것은, 유리하게, 증강 현실 시스템이 오직 프레임들의 부분들(예를 들어, 인터럽트되지 않으면, 프레임의 각각의 필드의 부분)만을 판독하게 할 수도 있다. 그것은, 증강 현실 시스템이 사용자에게 제시되는 이미지를 시프트하게 할 수도 있다.
[00254] (2602)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 정의된 시야에 대한 복수의 프레임들 각각을 오버 렌더링한다. 그것은, 그렇지 않으면 최대 해상도에서의 최대 영역에 대해 요구될 것인 더 많은 픽셀 정보를 생성하는 것을 요구한다. 예를 들어, 프레임의 영역은 최대 영역의 퍼센티지에 의해 증가될 수도 있는데, 예를 들어, 프레임에 의해 정의된 수평, 수직 또는 대각선 방향 중 어느 하나에서의 픽셀 정보를 증가시킨다. 프레임 사이즈가 클수록, 증가 현실 시스템이 사용자에게 제시되는 이미지들의 경계들을 시프트해야 할 자유도가 더 크다.
[00255] (2604)에서, 증강 현실 시스템은 오버 렌더링된 프레임들을 적어도 하나의 프레임 버퍼에 연속적으로 버퍼링한다. 증강 현실 시스템은, 최대 해상도에서의 최대 디스플레이 사이즈에 대해 요구되는 프레임 사이즈보다 더 큰 프레임 버퍼를 이용할 수도 있다. 몇몇 구현들은 다수의 프레임 버퍼들을 이용한다. 그것은, 본 명세서의 다른 곳에서 설명된 바와 같이, 프레임들에 대한 프레젠테이션의 인터럽션를 용이하게 할 수도 있다.
[00256] (2606)에서, 증강 현실 시스템은 제시할 개별 이미지의 부분을 결정한다. 증강 현실 시스템은 다양한 팩터들 중 임의의 팩터에 기초하여 부분을 결정할 수도 있다. 예를 들어, 팩터들은, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끄는 이미지 또는 장면에서의 위치를 표시하는 것일 수도 있다. 다시, 눈 추적을 포함하지만 이에 제한되지 않는 다양한 기술들이 이용될 수도 있다. 또한, 예를 들면, 팩터들은, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끌 것으로 예측되는 이미지 또는 장면에서의 위치를 표시하는 것일 수도 있다. 다시, 새롭게 출현하는 가상 오브젝트들, 고속으로 또는 신속하게 움직이는 가상 오브젝트들, 시각적으로 매력적인 가상 오브젝트들, 이전에 지정된(예를 들어, 최종 사용자에 의해 지정되거나 또는 최종 사용자의 상호작용을 미리 추적함으로써 지정된) 가상 오브젝트들, 및/또는 수직 오브젝트의 내재하는 속성에 기초한 관심에 매력적인 가상 오브젝트들을 식별하는 것을 포함하지만 이에 제한되지 않는 다양한 기술들이 이용될 수도 있다. 수직 오브젝트의 내재하는 속성에 기초한 관심에 매력적인 가상 오브젝트들은, 예를 들어, 일반적인 최종 사용자들 또는 특정한 최종 사용자들 중 어느 하나에게 우려 또는 긴장감을 주는 오브젝트 또는 아이템을 시각적으로 표현하는 가상 오브젝트(예를 들어, 임박한 위협들)를 포함할 수도 있다.
[00257] (2608)에서, 증강 현실 시스템은, 프레임 버퍼로부터 오버 렌더링된 프레임의 부분을 선택적으로 판독한다. 부분은, 제시할 개별 이미지의 결정된 부분에 적어도 부분적으로 기초한다. 예를 들어, 판독되는 부분은, 식별되는 위치와 근접하게, 또는 심지어 매칭하거나 함께-정렬(co-align)되게 시프팅되는 중심을 가질 수도 있다. 식별된 위치는, 예를 들어, 최종 사용자의 관심을 끌었던 이전 이미지 또는 프레임에서의 위치일 수도 있다. 식별된 위치는, 예를 들어, 최종 사용자의 관심을 끌 것이라고 증강 현실 시스템이 예측한 후속 프레임에서의 위치일 수도 있다.
[00258] 도 27은 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2700)을 도시한다. 방법(2700)은, 도 26의 방법(2600)을 수행하는 것에서 이용될 수도 있다. 예를 들면, 방법(2700)은, 최종 사용자의 관심을 끌 후속 프레임 또는 이미지에서의 위치를 예측하기 위해 사용될 수도 있다.
[00259] (2702)에서, 프레임들 중 적어도 일부의 각각에 대해, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은, 최종 사용자의 시야에서의 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정한다.
[00260] (2704)에서, 증강 현실 시스템은, 시야의 가상 오브젝트의 출현 위치를 결정하는 것에 적어도 부분적으로 기초하여, 프레임 버퍼로부터 선택적으로 판독한다. 예를 들어, 판독되는 부분은, 식별되는 위치와 근접하게, 또는 심지어 매칭하거나 함께-정렬되게 시프팅되는 중심을 가질 수도 있다. 대안으로, 판독되는 부분의 경계들은, 2차원 또는 심지어 3차원으로, 바로 둘러싸는 영역들의 결정된 위치를 포괄하도록 시프팅될 수도 있다. 예를 들어, 증강 현실 시스템은, 최종 사용자로의 프레젠테이션을 위한 프레임 버퍼로부터 판독될 전체 오버 렌더링된 프레임의 부분(예를 들어, 80%)을 선택할 수도 있다. 증강 현실 시스템은, 예를 들어, 최종 사용자에게 현재 제시되고 있는 이미지에서의 최종 사용자 관심의 현재 위치에 관련해 경계들이 시프팅되도록 그 부분을 선택할 수도 있다. 증강 현실 시스템은, 현재 위치와 예측된 위치의 결합에 기초하여 경계들을 선택할 수도 있지만, 위치들 둘 모두가 후속하여 제시되는 이미지(들)에서 최종 사용자에게 제시되도록 경계를 셋팅한다.
[00261] 도 28은 일 예시된 실시예에 따른 증강 현실 시스템에서의 동작 방법(2800)을 도시한다. 방법(2800)은 도 26의 방법(2600)을 수행하는 것에서 이용될 수도 있다. 예를 들어, 방법(2800)은, 최종 사용자의 관심을 끌거나 또는 관심을 끌 것으로 예측되는 이미지에서의 위치를 결정하기 위해 이용될 수도 있다.
[00262] (2802)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은, 최종 사용자의 시야에 새로운 가상이 새롭게 유입되는 경우, 새로운 가상 오브젝트의 출현 위치를 결정한다. 증강 현실 시스템은, 최종 사용자에게 제시된 바로 이전의 프레임들 또는 이미지들에 관해 새로운 가상 오브젝트의 유입을 식별하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 따라서, 가상 오브젝트가 프레젠테이션의 몇몇 다른 부분들에서 최종 사용자에게 이전에 제시되었었다 하더라도, 가상 오브젝트의 재유입이 최종 사용자의 관심을 끌게 하도록 충분한 개수의 중간(intervening) 이미지들이 제시되었으면, 가상 오브젝트는 새롭게 유입된 것으로 식별될 수도 있다.
[00263] (2804)에서, 증강 현실 시스템은, 적어도 하나의 이전 프레임에서의 포지션에 관련한 프레임에서 새로운 포지션의 가상 오브젝트의 출현 위치를 결정한다. 증강 현실 시스템은, 최종 사용자에게 제시된 바로 이전의 프레임들 또는 이미지들에 관하여 이동하는 다수의 이미지들의 새로운 또는 상이한 포지션으로의 가상 오브젝트의 이동을 식별하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 따라서, 가상 오브젝트가 프레젠테이션의 일부 다른 부분에서의 일부 위치에 최종 사용자에게 이전에 제시되었다 하더라도, 가상 오브젝트의 이전 위치에서의 재출현이 최종 사용자의 관심을 끌게 하도록 충분한 개수의 중간 이미지들이 제시되었으면, 가상 오브젝트는 이동되었거나 이동 중인 것으로 식별될 수도 있다.
[00264] (2806)에서, 증강 현실 시스템은, 최종 사용자의 시야에서 적어도 정의된 최소 속도를 갖는 가상 오브젝트의 위치를 결정한다. 증강 현실 시스템은, 이미지로부터 이미지로의 가상 오브젝트의 움직임의 속도를 결정하고, 그 속도를 정의된 속도 또는 공칭 속도에 비교하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 결정된 속도는, 이미지에서의 고정 기준 프레임에 관해서일 수도 있거나, 이미지에 출현한 다른 가상 오브젝트들 및/또는 물리적 오브젝트들에 관해서일 수도 있다.
[00265] (2808)에서, 증강 현실 시스템은, 이미지 내의 가상 오브젝트의 위치에 적어도 부분적으로 기초하여 제시할 개별 이미지의 부분을 결정한다. 증강 현실 시스템은, 제시할 개별 이미지의 부분을 결정하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 결정은, 다양한 팩터들 중 임의의 팩터에 기초할 수도 있다. 팩터들은, 예를 들어, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끄는 이미지 또는 장면에서의 위치를 표시하는 팩터들 또는 데이터를 포함할 수도 있다. 팩터들은, 예를 들어, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끌 것으로 예측되는 이미지 또는 장면에서의 위치를 표시하는 팩터들 또는 데이터를 포함할 수도 있다. 증강 현실 시스템은, 실제의 검출을 통해서이든 또는 예측을 통해서이든, 최종 사용자의 관심을 끄는 위치들을 식별하기 위해, 본 명세서의 다른 곳에서 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다.
[00266] (2810)에서, 증강 현실 시스템은, 적어도 하나의 후속 프레임에 대해 프레임 버퍼의 부분을 판독한다. 판독되는 부분은, 적어도 제시될 개별 이미지의 결정된 부분 쪽으로 이미지의 중심을 시프팅한다. 증강 현실 시스템은, 최종 사용자의 실제의 또는 예측된 관심의 중심의 위치에 기초하여 이미지의 중심 또는 경계들을 시프팅하는 프레임의 부분을 프레임 버퍼로부터 판독하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다.
[00267] 도 29는 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(2900)을 도시한다. 방법(2900)은 도 26의 방법(2600)을 수행하는 것에서 이용될 수도 있다. 특히, 방법(2900)은, 최종 사용자의 예측된 머리 움직임에 기초하여 프레임의 어느 부분이 판독될 것인지를 결정하기 위해 이용될 수도 있다.
[00268] (2902)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은, 최종 사용자의 머리 움직임의 발생을 예측한다. 증강 현실 시스템은, 머리 움직임을 예측하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 그러한 기술들은, 새로운 가상 오브젝트의 이미지들의 출현, 이동하는 가상 오브젝트, 신속하게 이동하는 가상 오브젝트, 이전에 선택된 가상 오브젝트 및/또는 시각적으로 매력적인 가상 오브젝트를 검출하는 것을 포함하지만 이에 제한되지 않는다.
[00269] (2904)에서, 증강 현실 시스템은, 예측된 머리 움직임에 적어도 부분적으로 기초하여 제시할 개별 프레임 또는 이미지의 부분을 결정한다. 증강 현실 시스템은, 사용될 프레임의 부분을 결정하기 위해, 본 명세서에 설명된 다양한 기술들 중 임의의 기술을 이용할 수도 있다. 예를 들어, 증강 현실 시스템은, 경계들이 예측된 머리 움직임의 예측된 최종 포인트의 위치를 포괄하도록 부분을 선택할 수도 있다. 머리 움직임 예측이 (예를 들어, 새롭게 유입되는, 이동하는, 매력적인 외형인, 최종 사용자에 의해 이전에 선택된) 가상 오브젝트의 출현에 근거를 두는 경우, 최종 포인트는 후속 프레임 또는 이미지에서의 그 가상 오브젝트의 위치와 일치할 수도 있다.
[00270] 도 30은 일 예시된 실시예에 따른, 증강 현실 시스템에서의 동작 방법(3000)을 도시한다.
[00271] 증강 현실 시스템은, 프레임들을 오버 렌더링하여, 주어진 디스플레이 기술의 최대 영역 및 최대 해상도에 필요한 것보다 훨씬 더 큰 프레임들을 생성할 수도 있다. 예를 들어, 머리 착용 또는 장착 증강 현실 시스템에서, 디스플레이 또는 프로젝션에 대해 이용가능한 영역은 장비의 다양한 파라미터들에 의해 셋팅될 수도 있다. 유사하게, 증강 현실 시스템은 다수의 별개의 해상도들에서 동작하는 것이 가능할 수도 있지만, 장비는 더 위의 한도 또는 최대 해상도를 셋팅할 것이다. 오버 렌더링된 프레임은, 최대 해상도에서의 디스플레이의 최대 영역을 초과하는 픽셀들의 세트에 대한 픽셀 정보를 포함한다. 그것은, 유리하게, 증강 현실 시스템이 오직 프레임들의 부분들(예를 들어, 인터럽트되지 않으면, 프레임의 각각의 필드의 부분)만을 판독하게 할 수도 있다. 그것은, 증강 현실 시스템이 사용자에게 제시되는 이미지를 시프트하게 할 수도 있다.
[00272] (3002)에서, 증강 현실 시스템(예를 들어, 제어기 서브시스템 및/또는 제어기 서브시스템의 프로세서)은 정의된 시야에 대한 복수의 프레임들 각각을 오버 렌더링한다. 그것은, 그렇지 않으면 최대 해상도에서의 최대 영역에 대해 요구될 것인 더 많은 픽셀 정보를 생성하는 것을 요구한다. 예를 들어, 프레임의 영역은 최대 영역의 퍼센티지에 의해 증가될 수도 있는데, 예를 들어, 프레임에 의해 정의된 수평, 수직 또는 대각선 방향 중 어느 하나에서의 픽셀 정보를 증가시킨다. 프레임 사이즈가 클수록, 증가 현실 시스템이 사용자에게 제시되는 이미지들의 경계들을 시프트해야 할 자유도가 더 많다.
[00273] (3004)에서, 증강 현실 시스템은 제시할 개별 이미지의 부분을 결정한다. 증강 현실 시스템은 다양한 팩터들 중 임의의 팩터에 기초하여 부분을 결정할 수도 있다. 예를 들어, 팩터들은, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끄는 이미지 또는 장면에서의 위치를 표시하는 것일 수도 있다. 다시, 눈 추적을 포함하지만 이에 제한되지 않는 다양한 기술들이 이용될 수도 있다. 또한, 예를 들면, 팩터들은, 최종 사용자가 관심을 기울이거나, 집중하거나 또는 달리 최종 사용자의 관심을 끌 것으로 예측되는 이미지 또는 장면에서의 위치를 표시하는 것일 수도 있다. 다시, 새롭게 출현하는 가상 오브젝트들, 고속으로 또는 신속하게 움직이는 가상 오브젝트들, 시각적으로 매력적인 가상 오브젝트들, 이전에 지정된(예를 들어, 최종 사용자에 의해 지정되거나 또는 최종 사용자의 상호작용을 미리 추적함으로써 지정된) 가상 오브젝트들, 및/또는 수직 오브젝트의 내재하는 속성에 기초한 관심에 매력적인 가상 오브젝트들을 식별하는 것을 포함하지만 이에 제한되지 않는 다양한 기술들이 이용될 수도 있다. 수직 오브젝트의 내재하는 속성에 기초한 관심에 매력적인 가상 오브젝트들은, 예를 들어, 일반적인 최종 사용자들 또는 특정한 최종 사용자들 중 어느 하나에게 우려 또는 긴장감을 주는 오브젝트 또는 아이템을 시각적으로 표현하는 가상 오브젝트(예를 들어, 임박한 위협들)를 포함할 수도 있다.
[00274] (3006)에서, 증강 현실 시스템은 오버 렌더링된 프레임의 하나 또는 그 초과의 결정된 부분들을 버퍼(들)로 동적으로 어드레싱한다. 결정된 부분(들)은, 예를 들어, 최종 사용자의 관심, 흥미 또는 초점의 식별된 위치와 근접하게, 또는 심지어 매칭하거나 함께-정렬되게 시프팅되는 중심을 가질 수도 있다. 식별된 위치는, 예를 들어, 최종 사용자의 관심을 끈 이전 이미지 또는 프레임에서의 위치일 수도 있다. 식별된 위치는, 예를 들어, 최종 사용자의 관심을 끌 것이라고 증강 현실 시스템이 예측한 후속 프레임에서의 위치일 수도 있다. 몇몇 구현들은 다수의 프레임 버퍼들을 이용한다. 그것은, 본 명에서의 다른 곳에서 설명된 바와 같이, 프레임들에 대한 프레젠테이션의 인터럽션을 용이하게 할 수도 있다. (3008)에서, 증강 현실 시스템은, 오버 렌더링된 프레임의 결정된 부분(들)을 프레임 버퍼로부터 판독한다.
[00275] 본 발명의 다양한 예시적인 실시예들이 본 명세서에서 설명된다. 이들 예들에 대한 참조는 비-제한적인 의미로 이루어진다. 이들은 본 발명의 더욱 광범위하게 적용가능한 양상들을 예시하기 위해 제공된다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수도 있고, 동등물들이 대체될 수도 있다. 부가하여, 특정 상황, 재료, 물질의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상, 또는 범위에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 추가로, 당업자들에 의해 인식될 바와 같이, 본 발명들의 범위 또는 사상으로부터 벗어남이 없이, 본 명세서에서 설명 및 예시된 개별적인 변형들 각각은, 다른 여러 실시예들 중 임의의 실시예의 특성들과 용이하게 분리 또는 결합될 수 있는 개별 컴포넌트들 및 특성들을 갖는다. 모든 이러한 수정들은, 본 개시와 연관된 청구항들의 범위 내에 있도록 의도된다.
[00276] 본 발명은 대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적합한 디바이스를 제공하는 동작을 포함할 수도 있다. 이러한 제공은 최종 사용자에 의해 수행될 수도 있다. 다시 말해, 대상 방법에서 필수 디바이스를 제공하기 위해, "제공하는" 동작은 단지, 최종 사용자가 획득, 액세스, 접근, 위치지정, 셋-업, 활성화, 파워-업하거나 또는 다른 방식으로 동작할 것을 요구한다. 본 명세서에서 열거된 방법들은, 열거된 순서의 이벤트들에서뿐만 아니라, 논리적으로 가능한 임의의 순서의 열거된 이벤트들에서 수행될 수 있다.
[00277] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적인 양상들이 위에서 기재되었다. 본 발명의 다른 세부사항들에 대해서와 같이, 이들은 당업자들에 의해 이해되거나 또는 일반적으로 알려져 있을 뿐만 아니라, 위에서-인용된 특허들 및 공보들과 관련하여 인식될 수도 있다. 동일한 내용이, 공통으로 또는 논리적으로 사용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 대해 유효할 수도 있다.
[00278] 부가하여, 본 발명이 다양한 특성들을 선택적으로 포함하는 여러 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 대하여 고려된 바와 같이 설명되거나 또는 표시된 것으로 제한되지 않을 것이다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수 있고, 동등물들(본 명세서에서 열거되든 또는 어떤 간결성을 위해 포함되지 않든)이 대체될 수 있다. 부가하여, 값들의 범위가 제공되는 경우, 그러한 범위 및 임의의 다른 명시된 또는 그러한 명시된 범위의 중간 값의 상한치와 하한치 사이의 모든 각각의 중간 값이 본 발명 내에 포함된다는 것이 이해된다.
[00279] 또한, 설명된 본 발명의 변형들의 임의의 선택적 특성이 본 명세서에서 설명된 특성들 중 임의의 하나 또는 둘 이상과 독립적으로 또는 결합하여 전개 및 청구될 수 있다는 것이 고려된다. 단일 아이템에 대한 참조는 복수의 동일한 아이템들이 존재할 가능성을 포함한다. 더욱 구체적으로, 본 명세서에서 그리고 그에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들("하나의","상기", 및 "그")은 구체적으로 달리 명시되지 않는 한, 복수의 지시 대상들을 포함한다. 다시 말해, 관사들의 사용은 상기 설명뿐만 아니라 본 개시와 연관된 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 이러한 청구항들이 임의의 선택적 엘리먼트를 배제하도록 드래프트될 수 있음이 추가로 유의된다. 그러므로, 이러한 서술은, 청구항 엘리먼트들의 열거 또는 "네거티브" 제한의 사용과 관련하여 "오로지", "단지" 등으로서 이러한 배타적 용어의 사용을 위해 선행하는 기초로서 기능하도록 의도된다.
[00280] 이러한 배타적 용어의 사용 없이, 본 개시와 연관된 청구항들에서 용어 "포함하는"은 임의의 부가의 엘리먼트의 포함 ― 주어진 수의 엘리먼트들이 이러한 청구항들에 열거되는지와 무관하게 ― 을 허용하거나, 또는 특성의 부가는 이러한 청구항들에서 전개되는 엘리먼트의 속성을 전환하는 것으로서 간주될 수 있다. 본 명세서에서 구체적으로 규정되는 바를 제외하고, 본 명세서에 사용된 모든 기술적 및 과학적 용어들은, 청구항 타당성을 유지하면서, 가능한 한 넓은, 공통으로 이해되는 의미로서 주어질 것이다.
[00281] 본 발명의 폭넓음은 제공된 예들 및/또는 대상 명세서로 제한되는 것이 아니라, 오히려 이러한 개시와 연관된 청구항 언어의 범위에 의해서만 제한된다.
Claims (19)
- 가상 또는 증강 이미지 제시(presentation) 시스템을 이용한 가상 컨텐츠를 제시하는 방법으로서,
적어도, 하나 이상의 프로젝터들을 포함하는 프로젝터 서브시스템을 이용하여 최종 사용자의 적어도 하나의 눈에 적어도 하나의 가상 오브젝트에 대응하는 광선들을 프로젝팅함으로써, 상기 최종 사용자에게 상기 적어도 하나의 가상 오브젝트를 디스플레이하는 단계;
복수의 쌍들의 각각의 방향들에서 눈 움직임들 및 머리 움직임들 사이의 복수의 관계들을 식별하는 단계 ― 상기 복수의 관계들의 관계는, 상기 각각의 방향에서의 상기 머리 움직임들의 시작 이전에 상기 복수의 쌍들의 방향들 중 각각의 쌍의 방향들을 따르는 상기 눈 움직임들의 각각의 크기(extent)를 나타냄 ―;
상기 최종 사용자의 현재 포커스와 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 거리를 결정하는 단계 ― 상기 거리는, 상기 최종 사용자의 현재 포커스 및 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 각 거리(angular distance)를 포함함 ―;
상기 최종 사용자의 현재 포커스와 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 거리에 부분적으로 또는 전체적으로 기초하고 그리고 상기 복수의 쌍들의 방향들에서의 상기 눈 움직임들 및 상기 머리 움직임들 사이의 상기 복수의 관계들에 추가로 기초하여, 상기 최종 사용자에 의한 예측된 머리 움직임을 예측하는 단계; 및
상기 예측된 머리 움직임 및 적어도 하나의 트랜스듀서 또는 센서에 의해 캡쳐되는 감지된 머리 움직임에 적어도 부분적으로 기초하여, 디스플레이 디바이스에 리프레시 기간 동안 상기 적어도 하나의 가상 오브젝트의 제시의 적어도 일부를 일시적으로 블랭킹(blanking)하는 단계를 포함하고,
상기 리프레시 기간은, 스캔 라인 또는 스캔 패턴의 제1 종료와 일시적으로 연속적인 스캔 라인 또는 스캔 패턴의 제1 시작 사이, 또는 프레임의 제2 종료와 일시적으로 연속적인 프레임의 제2 시작 사이의 일시적인 기간을 나타내는,
방법. - 제1 항에 있어서,
상기 가상 또는 증강 이미지 제시 시스템의 하나 이상의 이미지 캡쳐 디바이스들의 제2 프레임 레이트보다 낮은 제1 프레임 레이트에서 광의 하나 이상의 스팟들 또는 도트들을 생성하는 하나 이상의 광 소스들을 펄싱하거나 변조하는 단계;
적어도 하나의 센서를 이용하여, 하나 이상의 라인 트레이스들로서 상기 하나 이상의 스팟들 또는 도트들을 캡쳐하는 단계 ― 라인 트레이스는 라인 방향 및 라인 길이를 포함함 ―;
상기 라인 방향에 적어도 부분적으로 기초하여 상기 감지된 머리 움직임의 방향을 결정하는 단계; 및
상기 라인 길이에 적어도 부분적으로 기초하여 상기 감지된 머리 움직임의 속도를 결정하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 예측된 머리 움직임을 결정하기 위해 상기 적어도 하나의 트랜스듀서 또는 센서를 통해 공급된 머리 추적 데이터를 프로세싱하는 단계 ― 상기 머리 추적 데이터는 적어도 상기 최종 사용자의 머리의 배향을 포함함 ―;
상기 최종 사용자에게 제시된 이미지들 중 적어도 일부의 이미지들의 각각의 이미지에 대해, 상기 최종 사용자의 시야에서의 상기 적어도 하나의 가상 오브젝트의 출현 위치를 최종 사용자 기준 프레임에 관련해 결정하는 단계;
적어도, 상기 위치가 상기 최종 사용자에게 상기 최종 사용자의 머리를 돌릴 것을 요구하는지 여부를 평가함으로써, 평가 결과들을 생성하는 단계; 및
상기 평가 결과들에 적어도 부분적으로 기초하여 상기 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 적어도 하나의 가상 오브젝트가 상기 최종 사용자의 시야에 새롭게 유입되는 경우, 상기 적어도 하나의 가상 오브젝트의 출현의 위치를 결정하는 단계;
적어도, 상기 위치가 상기 최종 사용자에게 상기 최종 사용자의 머리를 돌릴 것을 요구하는지 여부를 평가함으로써, 평가 결과들을 생성하는 단계; 및
상기 평가 결과들에 적어도 부분적으로 기초하여 상기 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
이미지에서의 새로운 위치에서 상기 적어도 하나의 가상 오브젝트의 출현 위치를 적어도 하나의 이전 이미지에서의 상기 적어도 하나의 가상 오브젝트의 위치와 관련해 결정하는 단계;
적어도, 상기 위치가 상기 최종 사용자에게 상기 최종 사용자의 머리를 돌릴 것을 요구하는지 여부를 평가함으로써, 평가 결과들을 생성하는 단계; 및
상기 평가 결과들에 적어도 부분적으로 기초하여 상기 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 적어도 하나의 가상 오브젝트의 제시의 적어도 일부를 일시적으로 블랭킹하는 단계는, 상기 예측된 머리 움직임 또는 머리 움직임의 적어도 일부 동안 디스플레이를 스트로빙(strobing)하는 단계를 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 적어도 하나의 가상 오브젝트의 제시의 적어도 일부를 일시적으로 블랭킹하는 단계는, 상기 예측된 머리 움직임 또는 머리 움직임의 적어도 일부 동안 디스플레이의 백라이트를 스트로빙하는 단계를 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 예측된 머리 움직임은, 예측된 머리 움직임 값이 공칭(nominal) 머리 움직임 값을 초과한다는 결정에 적어도 부분적으로 기초하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 예측된 머리 움직임에 적어도 부분적으로 기초하여 조정된 가상 이미지를 디스플레이하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
상기 최종 사용자가 위치한 환경의 적어도 일부의 하나 이상의 이미지들을 획득하는 단계; 및
상기 하나 이상의 이미지들에 부분적으로 또는 전체적으로 기초하여 상기 예측된 머리 움직임을 결정하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
하나 이상의 새로운 가상 오브젝트들이 시야에 나타나는 위치에 대한 제1 결정, 상기 가상 오브젝트가 이동하는 위치에 대한 제2 결정, 또는 시야에서 하나 이상의 해당 매력적인 가상 오브젝트들의 하나 이상의 위치들에 대한 제3 결정 중 적어도 하나에 부분적으로 또는 전체적으로 기초하여 상기 예측된 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
하나 이상의 트랜스듀서들 또는 센서들에서 머리 움직임 데이터를 획득하는 단계;
복수의 시간 포인트들에 걸쳐 상기 최종 사용자의 머리 움직임의 속도, 가속, 또는 범위의 하나 이상의 평균들 또는 적분들을 결정하는 단계; 및
상기 하나 이상의 평균들 또는 적분들에 부분적으로 또는 전체적으로 기초하여 상기 예측된 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제1 항 또는 제2 항에 있어서,
하나 이상의 트랜스듀서들 또는 센서들에서 머리 움직임 데이터를 획득하는 단계; 및
마이크로프로세서 또는 제어기 서브시스템에서, 상기 가상 오브젝트의 위치를 결정하는 단계를 더 포함하는,
방법. - 제13 항에 있어서,
상기 마이크로프로세서 또는 제어기 서브시스템에서, 하나 이상의 팩터들에 부분적으로 또는 전체적으로 기초하여 상기 가상 오브젝트의 상대적인 시작적 매력을 결정하는 단계를 더 포함하고,
상기 하나 이상의 팩터들은 상기 가상 오브젝트의 운동 특징, 상기 가상 오브젝트의 하나 이상의 기하학적 속성들, 또는 상기 가상 오브젝트의 광학 특징들을 포함하는,
방법. - 제13 항에 있어서,
상기 최종 사용자를 포함하는 하나 이상의 사용자들에 대한 눈 움직임의 범위를 결정하는 단계;
상기 최종 사용자의 적어도 하나의 눈의 현재 포커스를 식별하는 단계;
상기 현재 포커스와 상기 적어도 하나의 가상 오브젝트의 위치 사이의 거리를 결정하는 단계;
하나 이상의 방향들에서 상기 최종 사용자를 포함하는 하나 이상의 사용자들의 상기 눈 움직임 및 상기 머리 움직임 사이의 상기 관계를 포함하는 정보를 식별하는 단계; 및
상기 관계에 부분적으로 또는 전체적으로 기초하여 상기 적어도 하나의 가상 오브젝트의 위치가 상기 최종 사용자의 머리의 배향에서의 변화를 초래하는지 여부를 결정함으로써 결정 결과들을 생성하는 단계를 더 포함하는,
방법. - 제15 항에 있어서,
상기 최종 사용자의 머리의 배향에서의 변화의 크기를 결정하는 단계; 및
상기 변화의 크기 및 상기 결정 결과들에 부분적으로 또는 전체적으로 기초하여 상기 예측된 머리 움직임을 예측하는 단계를 더 포함하는,
방법. - 제16 항에 있어서,
상기 최종 사용자에게 프레임에 대한 시퀀스들에서의 복수의 픽셀들로서 상기 적어도 하나의 가상 오브젝트를 제시하는 하나 이상의 스캔 패턴들을 식별하는 단계; 및
적어도, 상기 최종 사용자에게 상기 프레임 대신에 백색 프레임의 적어도 일부를 제시함으로써, 상기 적어도 하나의 가상 오브젝트의 제시의 적어도 일부를 일시적으로 블랭킹하는 단계를 더 포함하는,
방법. - 가상 또는 증강 이미지 제시 시스템으로서,
하나 이상의 프로젝터들을 포함하고, 적어도, 상기 하나 이상의 프로젝터들을 이용하여, 최종 사용자의 적어도 하나의 눈에 적어도 하나의 가상 오브젝트에 대응하는 광선들을 프로젝팅함으로써, 상기 최종 사용자에게 상기 적어도 하나의 가상 오브젝트를 디스플레이하도록 구성된 프로젝터 서브시스템;
복수의 쌍들의 각각의 방향들에서 눈 움직임들 및 머리 움직임들 사이의 복수의 관계들을 식별하도록 구성된 프로세서 ― 상기 복수의 관계들의 관계는, 제1 방향에서의 상기 머리 움직임들의 시작 이전에 상기 복수의 쌍들의 방향들 중 각각의 쌍의 방향들을 따르는 상기 눈 움직임들의 각각의 크기를 나타냄 ―;
비-일시적 프로세서 판독가능 매체 및 하나 이상의 집적 회로들을 포함하고, 예측된 머리 움직임에 적어도 부분적으로 기초하여, 디스플레이 디바이스에 리프레시 기간 동안 상기 적어도 하나의 가상 오브젝트의 제시의 적어도 일부를 일시적으로 블랭킹(blanking)하도록 상기 프로세서 및 상기 프로젝터 서브시스템에 동작가능하게 커플링되는 제어 서브시스템을 포함하고,
상기 리프레시 기간은, 스캔 라인 또는 스캔 패턴의 제1 종료와 일시적으로 연속적인 스캔 라인 또는 스캔 패턴의 제1 시작 사이, 또는 프레임의 제2 종료와 일시적으로 연속적인 프레임의 제2 시작 사이의 일시적인 기간을 나타내고,
상기 프로세서는 추가로, 상기 최종 사용자의 현재 포커스와 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 거리를 결정하도록 구성되며, 상기 거리는, 상기 최종 사용자의 현재 포커스 및 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 각 거리를 포함하고,
상기 프로세서는 추가로, 상기 최종 사용자의 현재 포커스와 상기 적어도 하나의 가상 오브젝트의 결정된 위치 사이의 거리에 부분적으로 또는 전체적으로 기초하고 그리고 상기 복수의 쌍들의 방향들에서의 눈 움직임들 및 상기 머리 움직임들 사이의 상기 복수의 관계들에 추가로 기초하여, 상기 최종 사용자에 의한 예측된 머리 움직임을 예측하도록 구성되는,
가상 또는 증강 이미지 제시 시스템. - 제18 항에 있어서,
상기 프로젝터 서브시스템은 추가로:
적어도 상기 하나 이상의 프로젝터들을 수용하고, 상기 하나 이상의 프로젝터들의 적어도 일부가 하나 이상의 공진 주파수들로 발진하게 하도록 구성되는 압전 칼라(piezoelectric collar)를 포함하는 지지 구조물;
상기 프로젝터 서브시스템에서 상기 하나 이상의 프로젝터들의 상기 적어도 일부를 움직이도록 구성된 하나 이상의 액추에이터(actuator)들; 및
상기 하나 이상의 액추에이터들에 동작가능하게 커플링되고, 상기 가상 또는 증강 이미지 제시 시스템의 하나 이상의 트랜스듀서들 또는 하나 이상의 센서들로부터 수신된 머리 추적 데이터에 부분적으로 또는 전체적으로 기초하여, 상기 적어도 하나의 가상 오브젝트의 출연의 위치를 결정하도록 구성된 제어기를 더 포함하는,
가상 또는 증강 이미지 제시 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217033994A KR102458124B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361801219P | 2013-03-15 | 2013-03-15 | |
| US61/801,219 | 2013-03-15 | ||
| KR1020157029808A KR102271198B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| PCT/US2014/028977 WO2014144526A2 (en) | 2013-03-15 | 2014-03-14 | Display system and method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157029808A Division KR102271198B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217033994A Division KR102458124B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210080615A KR20210080615A (ko) | 2021-06-30 |
| KR102318391B1 true KR102318391B1 (ko) | 2021-10-26 |
Family
ID=51525486
Family Applications (8)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157029808A KR102271198B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020237025030A KR20230113418A (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007532A KR102271719B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007538A KR102271727B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020217019505A KR102318391B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020227036247A KR102560629B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007534A KR102271726B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020217033994A KR102458124B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157029808A KR102271198B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020237025030A KR20230113418A (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007532A KR102271719B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007538A KR102271727B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227036247A KR102560629B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020197007534A KR102271726B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
| KR1020217033994A KR102458124B1 (ko) | 2013-03-15 | 2014-03-14 | 디스플레이 시스템 및 방법 |
Country Status (11)
| Country | Link |
|---|---|
| US (12) | US9417452B2 (ko) |
| EP (2) | EP2973532A4 (ko) |
| JP (10) | JP6326482B2 (ko) |
| KR (8) | KR102271198B1 (ko) |
| CN (9) | CN107577350B (ko) |
| AU (8) | AU2014229004B2 (ko) |
| CA (2) | CA2905506C (ko) |
| HK (1) | HK1248851A1 (ko) |
| IL (8) | IL241657B (ko) |
| NZ (8) | NZ735751A (ko) |
| WO (1) | WO2014144526A2 (ko) |
Families Citing this family (533)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0522968D0 (en) | 2005-11-11 | 2005-12-21 | Popovich Milan M | Holographic illumination device |
| GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
| US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US11204540B2 (en) | 2009-10-09 | 2021-12-21 | Digilens Inc. | Diffractive waveguide providing a retinal image |
| US20200057353A1 (en) | 2009-10-09 | 2020-02-20 | Digilens Inc. | Compact Edge Illuminated Diffractive Display |
| US9274349B2 (en) | 2011-04-07 | 2016-03-01 | Digilens Inc. | Laser despeckler based on angular diversity |
| EP2995986B1 (en) | 2011-08-24 | 2017-04-12 | Rockwell Collins, Inc. | Data display |
| US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
| WO2013102759A2 (en) | 2012-01-06 | 2013-07-11 | Milan Momcilo Popovich | Contact image sensor using switchable bragg gratings |
| EP2842003B1 (en) | 2012-04-25 | 2019-02-27 | Rockwell Collins, Inc. | Holographic wide angle display |
| WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| US20160292924A1 (en) * | 2012-10-31 | 2016-10-06 | Sulon Technologies Inc. | System and method for augmented reality and virtual reality applications |
| US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
| CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| KR102271198B1 (ko) | 2013-03-15 | 2021-06-29 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| CN103353663B (zh) | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | 成像调整装置及方法 |
| CN103353667B (zh) | 2013-06-28 | 2015-10-21 | 北京智谷睿拓技术服务有限公司 | 成像调整设备及方法 |
| CN103353677B (zh) | 2013-06-28 | 2015-03-11 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
| CN103431840B (zh) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
| US9727772B2 (en) | 2013-07-31 | 2017-08-08 | Digilens, Inc. | Method and apparatus for contact image sensing |
| CN103424891B (zh) | 2013-07-31 | 2014-12-17 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
| CN103431980A (zh) | 2013-08-22 | 2013-12-11 | 北京智谷睿拓技术服务有限公司 | 视力保护成像系统及方法 |
| CN103439801B (zh) | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
| CN103500331B (zh) | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
| CN103605208B (zh) | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | 内容投射系统及方法 |
| CN108209857B (zh) | 2013-09-03 | 2020-09-11 | 托比股份公司 | 便携式眼睛追踪设备 |
| US10310597B2 (en) * | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
| US10686972B2 (en) | 2013-09-03 | 2020-06-16 | Tobii Ab | Gaze assisted field of view control |
| CN103558909B (zh) * | 2013-10-10 | 2017-03-29 | 北京智谷睿拓技术服务有限公司 | 交互投射显示方法及交互投射显示系统 |
| US9491365B2 (en) * | 2013-11-18 | 2016-11-08 | Intel Corporation | Viewfinder wearable, at least in part, by human operator |
| CN110376743B (zh) | 2014-01-31 | 2022-03-04 | 奇跃公司 | 多焦点显示系统和方法 |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US9547412B1 (en) * | 2014-03-31 | 2017-01-17 | Amazon Technologies, Inc. | User interface configuration to avoid undesired movement effects |
| US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
| WO2016028864A1 (en) | 2014-08-22 | 2016-02-25 | Intelligent Technologies International, Inc. | Secure testing device, system and method |
| US10540907B2 (en) | 2014-07-31 | 2020-01-21 | Intelligent Technologies International, Inc. | Biometric identification headpiece system for test taking |
| WO2016020632A1 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Method for holographic mastering and replication |
| US10410535B2 (en) | 2014-08-22 | 2019-09-10 | Intelligent Technologies International, Inc. | Secure testing device |
| US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
| KR101728408B1 (ko) * | 2014-09-22 | 2017-04-19 | (주)에프엑스기어 | 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램 |
| WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
| AU2015323940B2 (en) | 2014-09-29 | 2021-05-20 | Magic Leap, Inc. | Architectures and methods for outputting different wavelength light out of waveguides |
| US10438106B2 (en) | 2014-11-04 | 2019-10-08 | Intellignet Technologies International, Inc. | Smartcard |
| US10007333B2 (en) | 2014-11-07 | 2018-06-26 | Eye Labs, LLC | High resolution perception of content in a wide field of view of a head-mounted display |
| JP6501501B2 (ja) * | 2014-11-12 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
| US10176639B2 (en) | 2014-11-27 | 2019-01-08 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
| JP6555279B2 (ja) * | 2014-12-15 | 2019-08-07 | 株式会社島津製作所 | ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム |
| WO2016105521A1 (en) | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US10255713B2 (en) | 2014-12-29 | 2019-04-09 | Google Llc | System and method for dynamically adjusting rendering parameters based on user movements |
| US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
| US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
| CN107873086B (zh) | 2015-01-12 | 2020-03-20 | 迪吉伦斯公司 | 环境隔离的波导显示器 |
| EP3245551B1 (en) | 2015-01-12 | 2019-09-18 | DigiLens Inc. | Waveguide light field displays |
| JP6867947B2 (ja) | 2015-01-20 | 2021-05-12 | ディジレンズ インコーポレイテッド | ホログラフィック導波路ライダー |
| US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
| CN107533233B (zh) | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的系统和方法 |
| US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
| WO2016145348A1 (en) * | 2015-03-12 | 2016-09-15 | LAFORGE Optical, Inc. | Apparatus and method for multi-layered graphical user interface for use in mediated reality |
| US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
| JP6887953B2 (ja) | 2015-03-16 | 2021-06-16 | マジック リープ，インコーポレイティド | 健康を損う疾病を診断して治療する方法及びシステム |
| US10591756B2 (en) | 2015-03-31 | 2020-03-17 | Digilens Inc. | Method and apparatus for contact image sensing |
| US10152906B2 (en) | 2015-04-26 | 2018-12-11 | Mems Start, Llc | Near-eye display system and method |
| KR102359038B1 (ko) | 2015-06-15 | 2022-02-04 | 매직 립, 인코포레이티드 | 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템 |
| KR102601682B1 (ko) * | 2015-06-30 | 2023-11-13 | 매직 립, 인코포레이티드 | 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법 |
| US10685488B1 (en) | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10335572B1 (en) | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10149958B1 (en) | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| CA2991322C (en) * | 2015-07-17 | 2023-07-04 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
| US10492981B1 (en) | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
| US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
| AU2016296723B2 (en) | 2015-07-20 | 2021-03-04 | Magic Leap, Inc. | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system |
| NZ752336A (en) | 2015-08-18 | 2023-06-30 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| CN112836664A (zh) | 2015-08-21 | 2021-05-25 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
| CN108135467A (zh) | 2015-08-21 | 2018-06-08 | 奇跃公司 | 眼睑形状估计 |
| JP6887422B2 (ja) | 2015-09-16 | 2021-06-16 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | オーディオファイルの頭部姿勢ミキシング |
| KR20220116375A (ko) | 2015-09-23 | 2022-08-22 | 매직 립, 인코포레이티드 | 오프-축 영상기를 이용한 눈 영상화 |
| CN108474945B (zh) | 2015-10-05 | 2021-10-01 | 迪吉伦斯公司 | 波导显示器 |
| IL294587A (en) | 2015-10-05 | 2022-09-01 | Magic Leap Inc | Microlens collimator for optical fiber scanning in a virtual/augmented reality system |
| US10338391B2 (en) * | 2015-10-06 | 2019-07-02 | Magic Leap, Inc. | Virtual/augmented reality system having reverse angle diffraction grating |
| US20170103577A1 (en) * | 2015-10-12 | 2017-04-13 | Cinova Media | Method and apparatus for optimizing video streaming for virtual reality |
| CN108369653B (zh) | 2015-10-16 | 2021-12-14 | 奇跃公司 | 使用眼睛特征的眼睛姿态识别 |
| US10088685B1 (en) | 2015-10-19 | 2018-10-02 | Meta Company | Apparatuses, methods and systems for multiple focal distance display |
| JP6831840B2 (ja) | 2015-10-20 | 2021-02-17 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | ３次元空間内の仮想オブジェクトの選択 |
| US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
| US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
| CN106652004A (zh) * | 2015-10-30 | 2017-05-10 | 北京锤子数码科技有限公司 | 基于头戴式可视设备对虚拟现实进行渲染的方法及装置 |
| WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
| US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
| US10043075B2 (en) * | 2015-11-19 | 2018-08-07 | Microsoft Technology Licensing, Llc | Eye feature identification |
| JP6511386B2 (ja) * | 2015-11-20 | 2019-05-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
| WO2017096241A1 (en) * | 2015-12-02 | 2017-06-08 | Augmenteum, Inc. | System for and method of projecting augmentation imagery in a head-mounted display |
| AU2016365422A1 (en) | 2015-12-04 | 2018-06-28 | Magic Leap, Inc. | Relocalization systems and methods |
| WO2017112958A1 (en) * | 2015-12-24 | 2017-06-29 | Meta Company | Optical engine for creating wide-field of view fovea-based display |
| US10678958B2 (en) | 2015-12-28 | 2020-06-09 | Intelligent Technologies International, Inc. | Intrusion-protected memory component |
| WO2017120271A1 (en) | 2016-01-04 | 2017-07-13 | Meta Company | Apparatuses, methods and systems for application of forces within a 3d virtual environment |
| EP3400478B1 (en) | 2016-01-07 | 2023-08-16 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
| JP6845982B2 (ja) * | 2016-01-13 | 2021-03-24 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
| KR102567431B1 (ko) | 2016-01-19 | 2023-08-14 | 매직 립, 인코포레이티드 | 눈 이미지 수집, 선택 및 결합 |
| CN108780228B (zh) | 2016-01-19 | 2021-04-20 | 奇跃公司 | 利用映像的增强现实系统和方法 |
| CA3009365A1 (en) | 2016-01-20 | 2017-07-27 | Magic Leap, Inc. | Polarizing maintaining optical fiber in virtual/augmented reality system |
| JP7012017B2 (ja) | 2016-01-29 | 2022-01-27 | マジック リープ， インコーポレイテッド | ３次元画像のためのディスプレイ |
| US10983340B2 (en) | 2016-02-04 | 2021-04-20 | Digilens Inc. | Holographic waveguide optical tracker |
| WO2017139034A1 (en) * | 2016-02-09 | 2017-08-17 | Google Inc. | Pixel adjusting at display controller for electronic display stabilization |
| WO2017142977A1 (en) | 2016-02-15 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for tethering 3-d virtual elements to digital content |
| AU2017223716B2 (en) | 2016-02-24 | 2021-11-18 | Magic Leap, Inc. | Low profile interconnect for light emitter |
| CN108700697B (zh) | 2016-02-24 | 2021-12-14 | 奇跃公司 | 具有低光泄漏的偏振分束器 |
| IL295839A (en) | 2016-02-26 | 2022-10-01 | Magic Leap Inc | A display system with a large number of light pipes for a large number of light emitters |
| NZ761010A (en) | 2016-02-26 | 2024-02-23 | Magic Leap Inc | Light output system with reflector and lens for highly spatially uniform light output |
| US9939635B2 (en) | 2016-02-29 | 2018-04-10 | Brillio LLC | Method for providing notification in virtual reality device |
| NZ757279A (en) | 2016-03-01 | 2022-10-28 | Magic Leap Inc | Reflective switching device for inputting different wavelengths of light into waveguides |
| KR102556320B1 (ko) | 2016-03-04 | 2023-07-14 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
| US10089453B2 (en) | 2016-03-07 | 2018-10-02 | Magic Leap, Inc. | Blue light adjustment for biometric identification |
| CA3016604A1 (en) | 2016-03-12 | 2017-09-21 | Philipp K. Lang | Devices and methods for surgery |
| CA3016346A1 (en) | 2016-03-21 | 2017-09-28 | Washington University | Virtual reality or augmented reality visualization of 3d medical images |
| WO2017165231A1 (en) | 2016-03-22 | 2017-09-28 | Magic Leap, Inc. | Head mounted display system configured to exchange biometric information |
| JP6895451B2 (ja) | 2016-03-24 | 2021-06-30 | ディジレンズ インコーポレイテッド | 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置 |
| CN113589529A (zh) | 2016-03-25 | 2021-11-02 | 奇跃公司 | 虚拟和增强现实系统和方法 |
| US10359806B2 (en) * | 2016-03-28 | 2019-07-23 | Sony Interactive Entertainment Inc. | Pressure sensing to identify fitness and comfort of virtual reality headset |
| JP2017182247A (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20230098927A (ko) | 2016-03-31 | 2023-07-04 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들 |
| AU2017246901B2 (en) | 2016-04-08 | 2022-06-02 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
| CN109154717B (zh) | 2016-04-11 | 2022-05-13 | 迪吉伦斯公司 | 用于结构光投射的全息波导设备 |
| US10341650B2 (en) | 2016-04-15 | 2019-07-02 | Ati Technologies Ulc | Efficient streaming of virtual reality content |
| US10437326B2 (en) | 2016-04-21 | 2019-10-08 | Facebook Technologies, Llc | Backlight modulation for liquid crystal display with eyetracking for virtual reality |
| KR20230098916A (ko) | 2016-04-21 | 2023-07-04 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
| AU2017257549B2 (en) | 2016-04-26 | 2021-09-09 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
| JP6961619B2 (ja) | 2016-05-06 | 2021-11-05 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 光を再指向させるための非対称格子を有するメタ表面および製造方法 |
| KR102643105B1 (ko) | 2016-05-09 | 2024-03-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
| AU2017264780B2 (en) | 2016-05-12 | 2022-05-12 | Magic Leap, Inc. | Distributed light manipulation over imaging waveguide |
| US10198874B2 (en) | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
| US10365712B2 (en) | 2016-05-17 | 2019-07-30 | Google Llc | Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment |
| KR102560558B1 (ko) | 2016-05-20 | 2023-07-27 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
| IL299710A (en) | 2016-06-03 | 2023-03-01 | Magic Leap Inc | Identity verification in augmented reality |
| AU2017279495B2 (en) | 2016-06-10 | 2022-06-30 | Magic Leap, Inc. | Integrating point source for texture projecting bulb |
| KR102491130B1 (ko) | 2016-06-20 | 2023-01-19 | 매직 립, 인코포레이티드 | 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템 |
| US10366536B2 (en) | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
| WO2018004863A1 (en) | 2016-06-30 | 2018-01-04 | Magic Leap, Inc. | Estimating pose in 3d space |
| WO2018013200A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Deep neural network for iris identification |
| CN114495249A (zh) | 2016-07-14 | 2022-05-13 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
| US20190235624A1 (en) * | 2016-07-19 | 2019-08-01 | Supereye, Inc. | Systems and methods for predictive visual rendering |
| EP3488371A4 (en) | 2016-07-21 | 2019-07-17 | Magic Leap, Inc. | METHOD FOR CONTROLLING A VIRTUAL IMAGE GENERATION SYSTEM WITH EMOTIONAL USER STATES |
| KR102520143B1 (ko) | 2016-07-25 | 2023-04-11 | 매직 립, 인코포레이티드 | 광 필드 프로세서 시스템 |
| CA3031771A1 (en) | 2016-07-25 | 2018-02-01 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
| CA3032282A1 (en) | 2016-07-29 | 2018-02-01 | Magic Leap, Inc. | Secure exchange of cryptographically signed records |
| KR102649197B1 (ko) | 2016-07-29 | 2024-03-20 | 삼성전자주식회사 | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
| CN117741956A (zh) | 2016-08-02 | 2024-03-22 | 奇跃公司 | 固定距离虚拟和增强现实系统及方法 |
| WO2018026893A1 (en) * | 2016-08-03 | 2018-02-08 | Google Llc | Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments |
| CN109804334B (zh) | 2016-08-11 | 2022-07-15 | 奇跃公司 | 用于三维空间中虚拟对象的自动放置的系统和方法 |
| EP3497695A4 (en) | 2016-08-12 | 2019-12-25 | Magic Leap, Inc. | WORD STREAM ANNOTATION |
| EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
| KR102450386B1 (ko) | 2016-08-22 | 2022-09-30 | 매직 립, 인코포레이티드 | 웨어러블 디스플레이 디바이스를 위한 디더링 방법들 및 장치 |
| CN106331689B (zh) * | 2016-08-26 | 2018-09-18 | 杭州智屏电子商务有限公司 | Vr视频播放时定位对象方法及vr视频播放时定位对象装置 |
| AU2017314940B2 (en) | 2016-08-26 | 2021-09-23 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
| CN113467089A (zh) | 2016-09-13 | 2021-10-01 | 奇跃公司 | 感测眼镜 |
| CN109643466A (zh) * | 2016-09-14 | 2019-04-16 | 史克威尔·艾尼克斯有限公司 | 影像显示系统以及影像显示方法、影像显示程序 |
| JP6978493B2 (ja) | 2016-09-21 | 2021-12-08 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 射出瞳エクスパンダを伴う光学システムのためのシステムおよび方法 |
| US20180082482A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Display system having world and user sensors |
| KR20240042181A (ko) | 2016-09-22 | 2024-04-01 | 매직 립, 인코포레이티드 | 증강 현실 분광기 |
| US10380950B2 (en) * | 2016-09-23 | 2019-08-13 | Novatek Microelectronics Corp. | Method for reducing motion blur and head mounted display apparatus |
| AU2017330454B2 (en) | 2016-09-26 | 2022-08-18 | Magic Leap, Inc. | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
| AU2017335736B2 (en) | 2016-09-28 | 2022-08-11 | Magic Leap, Inc. | Face model capture by a wearable device |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| JP6813670B2 (ja) * | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
| WO2018067603A1 (en) | 2016-10-04 | 2018-04-12 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
| WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
| IT201600103076A1 (it) * | 2016-10-13 | 2018-04-13 | Osram Gmbh | Procedimento di rilevazione del c.d. view frustum, sistema e prodotto informatico corrispondenti |
| GB2554914B (en) * | 2016-10-14 | 2022-07-20 | Vr Chitect Ltd | Virtual reality system and method |
| IL302405B1 (en) | 2016-10-21 | 2024-04-01 | Magic Leap Inc | System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view |
| KR102561860B1 (ko) * | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| KR102507383B1 (ko) * | 2016-11-08 | 2023-03-08 | 한국전자통신연구원 | 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템 |
| US10565790B2 (en) | 2016-11-11 | 2020-02-18 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
| IL297846B2 (en) | 2016-11-15 | 2023-12-01 | Magic Leap Inc | A deep learning system for discovering a cube |
| JP7037561B2 (ja) | 2016-11-16 | 2022-03-16 | マジック リープ， インコーポレイテッド | ウェアラブルコンポーネントのための熱管理システム |
| KR102506485B1 (ko) | 2016-11-18 | 2023-03-03 | 매직 립, 인코포레이티드 | 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들 |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| JP7116058B2 (ja) | 2016-11-18 | 2022-08-09 | マジック リープ， インコーポレイテッド | 空間可変液晶回折格子 |
| AU2017363078B2 (en) | 2016-11-18 | 2022-09-29 | Magic Leap, Inc. | Waveguide light multiplexer using crossed gratings |
| CN109416614B (zh) * | 2016-11-30 | 2023-04-04 | 日本聚逸株式会社 | 通过计算机实现的方法以及非易失性计算机可读介质、系统 |
| WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
| KR102413561B1 (ko) | 2016-12-05 | 2022-06-24 | 매직 립, 인코포레이티드 | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 |
| US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
| AU2017371047B2 (en) | 2016-12-08 | 2021-10-14 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| GB2557593A (en) * | 2016-12-09 | 2018-06-27 | Sony Interactive Entertainment Inc | Virtual reality |
| CN111654473B (zh) | 2016-12-13 | 2022-07-19 | 创新先进技术有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
| EP4148402A1 (en) | 2016-12-13 | 2023-03-15 | Magic Leap, Inc. | Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels |
| CA3046399A1 (en) | 2016-12-13 | 2018-06-21 | Magic Leap, Inc. | 3d object rendering using detected features |
| KR102550742B1 (ko) | 2016-12-14 | 2023-06-30 | 매직 립, 인코포레이티드 | 표면 정렬 패턴들의 소프트-임프린트 복제를 이용한 액정들의 패터닝 |
| KR20180071012A (ko) * | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치 제어 방법 |
| US10371896B2 (en) | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
| CA3046662A1 (en) | 2016-12-22 | 2018-06-28 | Magic Leap, Inc. | Systems and methods for manipulating light from ambient light sources |
| GB2558284B (en) * | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
| US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
| EP3563215A4 (en) | 2016-12-29 | 2020-08-05 | Magic Leap, Inc. | AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS |
| US10610775B1 (en) | 2017-01-04 | 2020-04-07 | Facebook Technologies, Llc | Actuation for a focus adjusting head mounted display |
| US10442727B2 (en) | 2017-01-05 | 2019-10-15 | Magic Leap, Inc. | Patterning of high refractive index glasses by plasma etching |
| US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
| US11751944B2 (en) | 2017-01-16 | 2023-09-12 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
| CN108320331B (zh) * | 2017-01-17 | 2021-10-22 | 上海掌门科技有限公司 | 一种生成用户场景的增强现实视频信息的方法与设备 |
| US10824888B1 (en) * | 2017-01-19 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Imaging analysis technology to assess movements of vehicle occupants |
| US20180213202A1 (en) * | 2017-01-23 | 2018-07-26 | Jaunt Inc. | Generating a Video Stream from a 360-Degree Video |
| JP6596452B2 (ja) * | 2017-01-23 | 2019-10-23 | ティフォン インコーポレーテッド | 表示装置、表示方法及びその表示プログラム、並びに、遊興施設 |
| US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| CN110462460B (zh) | 2017-01-23 | 2022-10-14 | 奇跃公司 | 用于虚拟、增强或混合现实系统的目镜 |
| US10841724B1 (en) | 2017-01-24 | 2020-11-17 | Ha Tran | Enhanced hearing system |
| US10242654B2 (en) | 2017-01-25 | 2019-03-26 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations |
| US9978118B1 (en) | 2017-01-25 | 2018-05-22 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations with data compression |
| CA3051414A1 (en) | 2017-01-27 | 2018-08-02 | Magic Leap, Inc. | Diffraction gratings formed by metasurfaces having differently oriented nanobeams |
| JP7155129B2 (ja) | 2017-01-27 | 2022-10-18 | マジック リープ， インコーポレイテッド | メタ表面のための反射防止コーティング |
| US10298840B2 (en) | 2017-01-31 | 2019-05-21 | Microsoft Technology Licensing, Llc | Foveated camera for video augmented reality and head mounted display |
| US10354140B2 (en) | 2017-01-31 | 2019-07-16 | Microsoft Technology Licensing, Llc | Video noise reduction for video augmented reality system |
| US10504397B2 (en) | 2017-01-31 | 2019-12-10 | Microsoft Technology Licensing, Llc | Curved narrowband illuminant display for head mounted display |
| US11187909B2 (en) | 2017-01-31 | 2021-11-30 | Microsoft Technology Licensing, Llc | Text rendering by microshifting the display in a head mounted display |
| US11287292B2 (en) | 2017-02-13 | 2022-03-29 | Lockheed Martin Corporation | Sensor system |
| US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| KR102403719B1 (ko) * | 2017-02-22 | 2022-06-02 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US11436389B2 (en) | 2017-02-22 | 2022-09-06 | Middle Chart, LLC | Artificial intelligence based exchange of geospatial related digital content |
| US11900023B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Agent supportable device for pointing towards an item of interest |
| US11194938B2 (en) | 2020-01-28 | 2021-12-07 | Middle Chart, LLC | Methods and apparatus for persistent location based digital content |
| US10984146B2 (en) | 2017-02-22 | 2021-04-20 | Middle Chart, LLC | Tracking safety conditions of an area |
| US11625510B2 (en) | 2017-02-22 | 2023-04-11 | Middle Chart, LLC | Method and apparatus for presentation of digital content |
| US10949579B2 (en) * | 2017-02-22 | 2021-03-16 | Middle Chart, LLC | Method and apparatus for enhanced position and orientation determination |
| US11481527B2 (en) | 2017-02-22 | 2022-10-25 | Middle Chart, LLC | Apparatus for displaying information about an item of equipment in a direction of interest |
| US11475177B2 (en) | 2017-02-22 | 2022-10-18 | Middle Chart, LLC | Method and apparatus for improved position and orientation based information display |
| US10902160B2 (en) | 2017-02-22 | 2021-01-26 | Middle Chart, LLC | Cold storage environmental control and product tracking |
| US10824774B2 (en) | 2019-01-17 | 2020-11-03 | Middle Chart, LLC | Methods and apparatus for healthcare facility optimization |
| US11900021B2 (en) | 2017-02-22 | 2024-02-13 | Middle Chart, LLC | Provision of digital content via a wearable eye covering |
| US10740503B1 (en) | 2019-01-17 | 2020-08-11 | Middle Chart, LLC | Spatial self-verifying array of nodes |
| US10740502B2 (en) | 2017-02-22 | 2020-08-11 | Middle Chart, LLC | Method and apparatus for position based query with augmented reality headgear |
| US11468209B2 (en) | 2017-02-22 | 2022-10-11 | Middle Chart, LLC | Method and apparatus for display of digital content associated with a location in a wireless communications area |
| WO2018156784A1 (en) | 2017-02-23 | 2018-08-30 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
| EP4235232A3 (en) | 2017-03-14 | 2023-12-27 | Magic Leap, Inc. | Waveguides with light absorbing films and processes for forming the same |
| EP3596659A4 (en) | 2017-03-17 | 2021-01-27 | Magic Leap, Inc. | SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES |
| CA3055218A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Mixed reality system with color virtual content warping and method of generating virtual content using same |
| KR102384232B1 (ko) | 2017-03-17 | 2022-04-06 | 매직 립, 인코포레이티드 | 증강 현실 데이터를 레코딩하기 위한 기술 |
| IL303275B1 (en) | 2017-03-17 | 2024-04-01 | Magic Leap Inc | A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it |
| AU2018236457B2 (en) | 2017-03-17 | 2021-04-29 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
| WO2018175343A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
| CA3056771A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Stacked waveguides having different diffraction gratings for combined field of view |
| EP3602176A4 (en) | 2017-03-21 | 2020-12-02 | Magic Leap, Inc. | LOW-BALLY BEAM DIVIDER |
| KR20190126124A (ko) | 2017-03-21 | 2019-11-08 | 매직 립, 인코포레이티드 | 분할된 동공들을 위한 공간 광 변조기 조명을 갖는 디스플레이 시스템 |
| KR102627846B1 (ko) | 2017-03-21 | 2024-01-22 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
| KR102527329B1 (ko) | 2017-03-21 | 2023-05-02 | 매직 립, 인코포레이티드 | 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술 |
| JP7096836B2 (ja) | 2017-03-22 | 2022-07-06 | マジック リープ， インコーポレイテッド | ディスプレイシステムのための深度ベース中心窩化レンダリング |
| US10417739B2 (en) * | 2017-03-23 | 2019-09-17 | Google Llc | Phase aligned foveated rendering |
| US10514753B2 (en) | 2017-03-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power |
| US10410349B2 (en) | 2017-03-27 | 2019-09-10 | Microsoft Technology Licensing, Llc | Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power |
| US10379606B2 (en) * | 2017-03-30 | 2019-08-13 | Microsoft Technology Licensing, Llc | Hologram anchor prioritization |
| US10424107B2 (en) | 2017-04-01 | 2019-09-24 | Intel Corporation | Hierarchical depth buffer back annotaton |
| US10255891B2 (en) | 2017-04-12 | 2019-04-09 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations with multiple LSR processing engines |
| US20180300951A1 (en) * | 2017-04-17 | 2018-10-18 | Intel Corporation | Adaptive tessellation for foveated rendering |
| US10896657B2 (en) * | 2017-04-17 | 2021-01-19 | Intel Corporation | Graphics with adaptive temporal adjustments |
| IL300685B2 (en) | 2017-04-18 | 2024-04-01 | Magic Leap Inc | Glavo with reflective layers created by flowing reflective materials |
| IL270002B2 (en) | 2017-04-19 | 2023-11-01 | Magic Leap Inc | Multimodal task execution and text editing for a wearable system |
| US11010953B2 (en) | 2017-04-21 | 2021-05-18 | Intel Corporation | Dedicated fixed point blending for energy efficiency |
| US10939038B2 (en) * | 2017-04-24 | 2021-03-02 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
| WO2018201067A1 (en) | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device |
| WO2018203333A1 (en) * | 2017-04-30 | 2018-11-08 | Oron Roi | Virtual reality imaging system |
| KR102555443B1 (ko) | 2017-05-01 | 2023-07-12 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
| JP6509938B2 (ja) * | 2017-05-02 | 2019-05-08 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
| IL308323A (en) | 2017-05-16 | 2024-01-01 | Magic Leap Inc | Systems and methods for mixed reality |
| CN117891335A (zh) | 2017-05-19 | 2024-04-16 | 奇跃公司 | 用于虚拟、增强和混合现实显示系统的键盘 |
| CN117615380A (zh) | 2017-05-22 | 2024-02-27 | 奇跃公司 | 与同伴设备配对 |
| IL303933B1 (en) | 2017-05-30 | 2024-04-01 | Magic Leap Inc | Power supply assembly with fan assembly for an electronic device |
| EP3631567B1 (en) | 2017-05-31 | 2022-09-21 | Magic Leap, Inc. | Eye tracking calibration techniques |
| US10921613B2 (en) * | 2017-06-01 | 2021-02-16 | NewSight Reality, Inc. | Near eye display and related computer-implemented software and firmware |
| EP3639510A4 (en) | 2017-06-12 | 2021-03-24 | Magic Leap, Inc. | AUGMENTED REALITY DISPLAY FEATURING AN ADAPTIVE MULTI-ELEMENT LENS FOR MODIFYING DEPTH PLANS |
| CN107422848B (zh) * | 2017-06-16 | 2020-04-21 | 福建天晴数码有限公司 | 一种测试虚拟角色加速度值的方法及系统 |
| EP3422147A1 (en) | 2017-06-28 | 2019-01-02 | Koninklijke Philips N.V. | Display apparatus for computer-mediated reality |
| US10216333B2 (en) * | 2017-06-30 | 2019-02-26 | Microsoft Technology Licensing, Llc | Phase error compensation in single correlator systems |
| US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
| US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| KR102449200B1 (ko) * | 2017-07-04 | 2022-09-30 | 삼성디스플레이 주식회사 | 클럭 배선을 포함하는 표시 장치 |
| WO2019012522A1 (en) | 2017-07-11 | 2019-01-17 | Elbit Systems Ltd. | SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT |
| IL253432A0 (en) | 2017-07-11 | 2017-09-28 | Elbit Systems Ltd | System and method for correcting a rolling display effect |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| KR20220030315A (ko) | 2017-07-26 | 2022-03-10 | 매직 립, 인코포레이티드 | 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝 |
| US11138915B2 (en) | 2017-07-28 | 2021-10-05 | Magic Leap, Inc. | Fan assembly for displaying an image |
| CN107820593B (zh) * | 2017-07-28 | 2020-04-17 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及系统 |
| US10395418B2 (en) | 2017-08-18 | 2019-08-27 | Microsoft Technology Licensing, Llc | Techniques for predictive prioritization of image portions in processing graphics |
| US10445922B2 (en) * | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| EP4177667A1 (en) | 2017-09-01 | 2023-05-10 | Magic Leap, Inc. | Generating a new frame using rendered content and non-rendered content from a previous perspective |
| US10762691B2 (en) * | 2017-09-08 | 2020-09-01 | Microsoft Technology Licensing, Llc | Techniques for compensating variable display device latency in image display |
| US11801114B2 (en) | 2017-09-11 | 2023-10-31 | Philipp K. Lang | Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion |
| IL294197A (en) | 2017-09-20 | 2022-08-01 | Magic Leap Inc | A personal neural network for eye tracking |
| CA3075096A1 (en) | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | Augmented reality display with waveguide configured to capture images of eye and/or environment |
| GB2566745A (en) * | 2017-09-26 | 2019-03-27 | Sony Interactive Entertainment Inc | Motion signal generation |
| CN111133368A (zh) | 2017-09-27 | 2020-05-08 | 奇跃公司 | 具有分离的相位和幅度调制器的近眼3d显示器 |
| US10178619B1 (en) | 2017-09-29 | 2019-01-08 | Intel Corporation | Advanced graphics power state management |
| WO2019067903A1 (en) * | 2017-09-29 | 2019-04-04 | Tobii Ab | HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION |
| US10818087B2 (en) | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
| US10930709B2 (en) | 2017-10-03 | 2021-02-23 | Lockheed Martin Corporation | Stacked transparent pixel structures for image sensors |
| WO2019069812A1 (ja) * | 2017-10-05 | 2019-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法 |
| CN111465887A (zh) | 2017-10-11 | 2020-07-28 | 奇跃公司 | 包括具有透明发射显示器的目镜的增强现实显示器 |
| WO2019079350A2 (en) | 2017-10-16 | 2019-04-25 | Digilens, Inc. | SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY |
| IL308526A (en) | 2017-10-26 | 2024-01-01 | Magic Leap Inc | Broadband adjustable lens assembly for augmented reality display |
| US10890769B2 (en) | 2017-10-26 | 2021-01-12 | Magic Leap, Inc. | Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same |
| WO2019084189A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR GRADIENT NORMALIZATION FOR ADAPTIVE LOSS BALANCING IN DEEP MULTITASK NETWORKS |
| IL274038B1 (en) | 2017-10-27 | 2024-03-01 | Magic Leap Inc | A virtual network for augmented reality systems |
| CN107783653A (zh) * | 2017-11-06 | 2018-03-09 | 广州新维感信息技术有限公司 | 一种虚拟现实交互方法及系统 |
| US10510812B2 (en) | 2017-11-09 | 2019-12-17 | Lockheed Martin Corporation | Display-integrated infrared emitter and sensor structures |
| IL274424B1 (en) | 2017-11-14 | 2024-03-01 | Magic Leap Inc | Meta-learning for multi-task learning for neural networks |
| US10553016B2 (en) | 2017-11-15 | 2020-02-04 | Google Llc | Phase aligned foveated rendering |
| EP3724712A4 (en) | 2017-12-11 | 2021-08-04 | Magic Leap, Inc. | WAVE GUIDE LIGHTING |
| CN111656406A (zh) | 2017-12-14 | 2020-09-11 | 奇跃公司 | 基于上下文的虚拟化身渲染 |
| WO2019118886A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
| IL274977B2 (en) | 2017-12-15 | 2023-10-01 | Magic Leap Inc | Eyepieces for an augmented reality display system |
| AU2018388581A1 (en) | 2017-12-22 | 2020-07-23 | Magic Leap, Inc. | Methods and system for managing and displaying virtual content in a mixed reality system |
| US10939084B2 (en) | 2017-12-22 | 2021-03-02 | Magic Leap, Inc. | Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment |
| US10360454B1 (en) * | 2017-12-28 | 2019-07-23 | Rovi Guides, Inc. | Systems and methods for presenting supplemental content in augmented reality |
| EP3735601A4 (en) | 2018-01-04 | 2021-09-08 | Magic Leap, Inc. | OPTICAL ELEMENTS BASED ON POLYMERIC STRUCTURES WITH INORGANIC MATERIALS |
| WO2019136476A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Waveguide architectures and related methods of manufacturing |
| CN111566571B (zh) | 2018-01-08 | 2022-05-13 | 迪吉伦斯公司 | 波导单元格中全息光栅高吞吐量记录的系统和方法 |
| AU2019209930B2 (en) | 2018-01-17 | 2023-08-03 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| WO2019143864A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| WO2019148154A1 (en) | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| GB2570708A (en) * | 2018-02-05 | 2019-08-07 | Nokia Technologies Oy | Switching between multidirectional and limited viewport video content |
| EP3750033A4 (en) | 2018-02-06 | 2021-10-13 | Magic Leap, Inc. | SYSTEMS AND PROCEDURES FOR EXTENDED REALITY |
| US10275919B1 (en) | 2018-02-06 | 2019-04-30 | International Business Machines Corporation | Preventing transition shocks during transitions between realities |
| US10652529B2 (en) | 2018-02-07 | 2020-05-12 | Lockheed Martin Corporation | In-layer Signal processing |
| US10129984B1 (en) | 2018-02-07 | 2018-11-13 | Lockheed Martin Corporation | Three-dimensional electronics distribution by geodesic faceting |
| US10838250B2 (en) | 2018-02-07 | 2020-11-17 | Lockheed Martin Corporation | Display assemblies with electronically emulated transparency |
| US11616941B2 (en) | 2018-02-07 | 2023-03-28 | Lockheed Martin Corporation | Direct camera-to-display system |
| US10594951B2 (en) | 2018-02-07 | 2020-03-17 | Lockheed Martin Corporation | Distributed multi-aperture camera array |
| US10951883B2 (en) | 2018-02-07 | 2021-03-16 | Lockheed Martin Corporation | Distributed multi-screen array for high density display |
| US10979699B2 (en) | 2018-02-07 | 2021-04-13 | Lockheed Martin Corporation | Plenoptic cellular imaging system |
| US10690910B2 (en) | 2018-02-07 | 2020-06-23 | Lockheed Martin Corporation | Plenoptic cellular vision correction |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| EP3756079A4 (en) | 2018-02-22 | 2021-04-28 | Magic Leap, Inc. | OBJECT GENERATION WITH PHYSICAL MANIPULATION |
| CA3089316A1 (en) | 2018-02-27 | 2019-09-06 | Magic Leap, Inc. | Matching meshes for virtual avatars |
| WO2019168723A1 (en) | 2018-02-28 | 2019-09-06 | Magic Leap, Inc. | Head scan alignment using ocular registration |
| EP3762765A4 (en) | 2018-03-05 | 2021-12-08 | Magic Leap, Inc. | DISPLAY SYSTEM WITH A LOW-LATENCY PUPIL TRACKER |
| EP3593198B1 (en) | 2018-03-07 | 2023-03-08 | Magic Leap, Inc. | Visual tracking of peripheral devices |
| JP7432515B2 (ja) | 2018-03-07 | 2024-02-16 | マジック リープ， インコーポレイテッド | 拡張現実ディスプレイのための偏光選択的レンズスタックを含む適応レンズアセンブリ |
| US10659815B2 (en) | 2018-03-08 | 2020-05-19 | At&T Intellectual Property I, L.P. | Method of dynamic adaptive streaming for 360-degree videos |
| CN111886533A (zh) | 2018-03-12 | 2020-11-03 | 奇跃公司 | 基于倾斜阵列的显示器 |
| EP3765890A4 (en) | 2018-03-14 | 2022-01-12 | Magic Leap, Inc. | DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT |
| US11430169B2 (en) | 2018-03-15 | 2022-08-30 | Magic Leap, Inc. | Animating virtual avatar facial movements |
| EP3766004A4 (en) | 2018-03-16 | 2021-12-15 | Magic Leap, Inc. | FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS |
| EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
| CN112088332A (zh) | 2018-03-16 | 2020-12-15 | 迪吉伦斯公司 | 包含双折射控制的全息波导及用于它们的制造的方法 |
| US10943402B2 (en) * | 2018-03-20 | 2021-03-09 | Logitech Europe S.A. | Method and system for mixed reality interaction with peripheral device |
| WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
| CN108427199A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 一种增强现实设备、系统及方法 |
| CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
| JP7349445B2 (ja) | 2018-04-02 | 2023-09-22 | マジック リープ， インコーポレイテッド | 統合型光学要素を伴う導波管および同一物を作製する方法 |
| US11886000B2 (en) | 2018-04-02 | 2024-01-30 | Magic Leap, Inc. | Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same |
| CN112041716A (zh) | 2018-04-02 | 2020-12-04 | 奇跃公司 | 混合聚合物波导和用于制造混合聚合物波导的方法 |
| WO2019204164A1 (en) | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
| WO2019204765A1 (en) | 2018-04-19 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| US10916066B2 (en) * | 2018-04-20 | 2021-02-09 | Edx Technologies, Inc. | Methods of virtual model modification |
| WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| WO2019212698A1 (en) | 2018-05-01 | 2019-11-07 | Magic Leap, Inc. | Avatar animation using markov decision process policies |
| WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
| US10922895B2 (en) | 2018-05-04 | 2021-02-16 | Microsoft Technology Licensing, Llc | Projection of content libraries in three-dimensional environment |
| US10721510B2 (en) | 2018-05-17 | 2020-07-21 | At&T Intellectual Property I, L.P. | Directing user focus in 360 video consumption |
| US11282255B2 (en) | 2018-05-21 | 2022-03-22 | Magic Leap, Inc. | Generating textured polygon strip hair from strand-based hair for a virtual character |
| US11210835B2 (en) | 2018-05-22 | 2021-12-28 | Magic Leap, Inc. | Computer generated hair groom transfer tool |
| WO2019226554A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Skeletal systems for animating virtual avatars |
| WO2019226691A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
| US10482653B1 (en) | 2018-05-22 | 2019-11-19 | At&T Intellectual Property I, L.P. | System for active-focus prediction in 360 video |
| WO2019226865A1 (en) | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| US10623791B2 (en) | 2018-06-01 | 2020-04-14 | At&T Intellectual Property I, L.P. | Field of view prediction in live panoramic video streaming |
| US10827225B2 (en) | 2018-06-01 | 2020-11-03 | AT&T Intellectual Propety I, L.P. | Navigation for 360-degree video streaming |
| US10812774B2 (en) * | 2018-06-06 | 2020-10-20 | At&T Intellectual Property I, L.P. | Methods and devices for adapting the rate of video content streaming |
| US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
| DE102018209377A1 (de) * | 2018-06-12 | 2019-12-12 | Volkswagen Aktiengesellschaft | Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden |
| EP3807715A4 (en) | 2018-06-15 | 2022-03-23 | Magic Leap, Inc. | WIDE FIELD OF VIEW POLARIZATION SWITCHES AND LIQUID CRYSTAL OPTICAL ELEMENTS WITH FORWARD TILT |
| US11624909B2 (en) | 2018-06-18 | 2023-04-11 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
| US11694435B2 (en) | 2018-06-18 | 2023-07-04 | Magic Leap, Inc. | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device |
| WO2019246129A2 (en) * | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
| GB2574882B (en) * | 2018-06-22 | 2020-08-12 | Sony Interactive Entertainment Inc | Method and system for displaying a virtual object |
| US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
| EP3818530A4 (en) | 2018-07-02 | 2022-03-30 | Magic Leap, Inc. | METHODS AND SYSTEMS FOR INTERPOLATION OF VARIOUS INPUTS |
| CN112673298A (zh) | 2018-07-05 | 2021-04-16 | 奇跃公司 | 用于头戴式显示系统的基于波导的照明 |
| EP4339899A2 (en) | 2018-07-13 | 2024-03-20 | Magic Leap, Inc. | Systems and methods for display binocular deformation compensation |
| CN109063039A (zh) * | 2018-07-17 | 2018-12-21 | 高新兴科技集团股份有限公司 | 一种基于移动端的视频地图动态标签显示方法及系统 |
| US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| CN117711284A (zh) | 2018-07-23 | 2024-03-15 | 奇跃公司 | 场顺序显示器中的场内子码时序 |
| US11627587B2 (en) | 2018-07-23 | 2023-04-11 | Magic Leap, Inc. | Coexistence interference avoidance between two different radios operating in the same band |
| EP3827299A4 (en) | 2018-07-23 | 2021-10-27 | Magic Leap, Inc. | SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT |
| WO2020023399A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Deep predictor recurrent neural network for head pose prediction |
| EP3827300A4 (en) | 2018-07-23 | 2021-09-15 | Magic Leap, Inc. | METHOD AND SYSTEM FOR RESOLVING A HEMISPHERIC AMBUILITY USING A LOCATION VECTOR |
| WO2020023672A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
| USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
| JP7418400B2 (ja) | 2018-07-24 | 2024-01-19 | マジック リープ， インコーポレイテッド | 再バウンス誘発光損失の軽減を伴う回折光学要素および関連システムおよび方法 |
| USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
| WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| WO2020023779A1 (en) | 2018-07-25 | 2020-01-30 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
| JP7459050B2 (ja) | 2018-07-27 | 2024-04-01 | マジック リープ， インコーポレイテッド | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
| EP3831879B1 (en) | 2018-07-30 | 2023-07-12 | Mitsubishi Chemical Corporation | Material for fused deposition modeling type additive manufacturing |
| CN112805659A (zh) | 2018-08-03 | 2021-05-14 | 奇跃公司 | 通过用户分类为多深度平面显示系统选择深度平面 |
| US10600236B2 (en) * | 2018-08-06 | 2020-03-24 | Valve Corporation | Prediction and throttling adjustments based on application rendering performance |
| US11019361B2 (en) | 2018-08-13 | 2021-05-25 | At&T Intellectual Property I, L.P. | Methods, systems and devices for adjusting panoramic view of a camera for capturing video content |
| EP3846161A4 (en) * | 2018-08-29 | 2021-10-20 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US10826964B2 (en) | 2018-09-05 | 2020-11-03 | At&T Intellectual Property I, L.P. | Priority-based tile transmission system and method for panoramic video streaming |
| GB2576905B (en) * | 2018-09-06 | 2021-10-27 | Sony Interactive Entertainment Inc | Gaze input System and method |
| GB2576904B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | Content modification system and method |
| GB2576910B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | User profile generating system and method |
| GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
| US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
| US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
| USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| WO2020069026A1 (en) | 2018-09-26 | 2020-04-02 | Magic Leap, Inc. | Diffractive optical elements with optical power |
| US10782779B1 (en) * | 2018-09-27 | 2020-09-22 | Apple Inc. | Feedback coordination for a virtual interaction |
| EP3871034A4 (en) | 2018-10-26 | 2022-08-10 | Magic Leap, Inc. | ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING |
| CN111131865A (zh) * | 2018-10-30 | 2020-05-08 | 中国电信股份有限公司 | 提高vr视频播放流畅度的方法、装置、系统和机顶盒 |
| JP6800938B2 (ja) * | 2018-10-30 | 2020-12-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10638165B1 (en) * | 2018-11-08 | 2020-04-28 | At&T Intellectual Property I, L.P. | Adaptive field of view prediction |
| WO2020102554A1 (en) | 2018-11-15 | 2020-05-22 | Magic Leap, Inc. | Deep neural network pose estimation system |
| EP3884337A4 (en) | 2018-11-20 | 2022-08-17 | Magic Leap, Inc. | EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM |
| JP7404271B2 (ja) | 2018-11-28 | 2023-12-25 | ソニーセミコンダクタソリューションズ株式会社 | 表示装置および表示制御装置 |
| WO2020112561A1 (en) | 2018-11-30 | 2020-06-04 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| US10866413B2 (en) | 2018-12-03 | 2020-12-15 | Lockheed Martin Corporation | Eccentric incident luminance pupil tracking |
| US11914150B2 (en) | 2018-12-28 | 2024-02-27 | Magic Leap, Inc. | Augmented and virtual reality display systems with shared display for left and right eyes |
| EP3903135A4 (en) | 2018-12-28 | 2022-10-19 | Magic Leap, Inc. | VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM WITH MICRO-EMISSIVE DISPLAYS |
| EP3915269A1 (en) * | 2019-01-24 | 2021-12-01 | PCMS Holdings, Inc. | System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom |
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| CN109599068B (zh) * | 2019-01-31 | 2021-03-02 | 京东方科技集团股份有限公司 | 一种vr设备及其控制方法 |
| US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
| US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
| EP3924759A4 (en) | 2019-02-15 | 2022-12-28 | Digilens Inc. | METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS |
| WO2020176783A1 (en) | 2019-02-28 | 2020-09-03 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
| JP2022525165A (ja) | 2019-03-12 | 2022-05-11 | ディジレンズ インコーポレイテッド | ホログラフィック導波管バックライトおよび関連する製造方法 |
| EP3942228A4 (en) | 2019-03-20 | 2022-12-21 | Magic Leap, Inc. | EYE ILLUMINATION SUPPLY SYSTEM |
| US10944711B2 (en) * | 2019-03-28 | 2021-03-09 | Microsoft Technology Licensing, Llc | Paginated method to create decision tree conversation |
| US10698201B1 (en) | 2019-04-02 | 2020-06-30 | Lockheed Martin Corporation | Plenoptic cellular axis redirection |
| EP3948747A4 (en) | 2019-04-03 | 2022-07-20 | Magic Leap, Inc. | MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM |
| EP3956717A4 (en) | 2019-04-15 | 2023-01-04 | Magic Leap, Inc. | SENSOR FUSION FOR ELECTROMAGNETIC TRACKING |
| US20220230376A1 (en) * | 2019-05-17 | 2022-07-21 | Nvidia Corporation | Motion prediction using one or more neural networks |
| WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
| US11624919B2 (en) | 2019-05-24 | 2023-04-11 | Magic Leap, Inc. | Variable focus assemblies |
| CN114174463A (zh) | 2019-05-28 | 2022-03-11 | 奇跃公司 | 用于便携式电子设备的热管理系统 |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| DE112020002550T5 (de) * | 2019-05-30 | 2022-02-24 | Nvidia Corporation | Virtual-Reality-Simulationen unter Verwenden von Oberflächen-Tracking |
| EP3980825A4 (en) | 2019-06-07 | 2023-05-03 | Digilens Inc. | WAVEGUIDES INCORPORATING TRANSPARENT AND REFLECTIVE GRATINGS AND METHODS OF MAKING THEREOF |
| CN114286962A (zh) | 2019-06-20 | 2022-04-05 | 奇跃公司 | 用于增强现实显示系统的目镜 |
| US11287655B2 (en) | 2019-06-21 | 2022-03-29 | Samsung Electronics Co.. Ltd. | Holographic display apparatus and method for providing expanded viewing window |
| JP7311643B2 (ja) | 2019-06-21 | 2023-07-19 | マジック リープ， インコーポレイテッド | モード式ウィンドウを介したセキュアな認可 |
| WO2020263866A1 (en) | 2019-06-24 | 2020-12-30 | Magic Leap, Inc. | Waveguides having integral spacers and related systems and methods |
| US11533468B2 (en) | 2019-06-27 | 2022-12-20 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
| US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
| CN114424147A (zh) | 2019-07-16 | 2022-04-29 | 奇跃公司 | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 |
| EP3999884A4 (en) | 2019-07-19 | 2023-08-30 | Magic Leap, Inc. | DISPLAY DEVICE HAVING DIFFRACTION GRATINGS WITH REDUCED POLARIZATION SENSITIVITY |
| WO2021016028A1 (en) | 2019-07-19 | 2021-01-28 | Magic Leap, Inc. | Method of fabricating diffraction gratings |
| JP2022543571A (ja) | 2019-07-29 | 2022-10-13 | ディジレンズ インコーポレイテッド | 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置 |
| US11704874B2 (en) * | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
| CN110460831B (zh) * | 2019-08-22 | 2021-12-03 | 京东方科技集团股份有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
| EP4022370A4 (en) | 2019-08-29 | 2023-08-30 | Digilens Inc. | VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING |
| GB2586838B (en) * | 2019-09-05 | 2022-07-27 | Sony Interactive Entertainment Inc | Free-viewpoint method and system |
| US10943388B1 (en) * | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
| CN114616210A (zh) | 2019-09-11 | 2022-06-10 | 奇跃公司 | 带有具有降低的偏振灵敏度的衍射光栅的显示装置 |
| US11238662B2 (en) * | 2019-09-25 | 2022-02-01 | Apple Inc. | Optimal luminance mapping for augmented reality devices |
| US11276246B2 (en) | 2019-10-02 | 2022-03-15 | Magic Leap, Inc. | Color space mapping for intuitive surface normal visualization |
| US11176757B2 (en) | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
| US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
| US11468627B1 (en) * | 2019-11-08 | 2022-10-11 | Apple Inc. | View dependent content updated rates |
| US11579353B2 (en) | 2019-11-08 | 2023-02-14 | Magic Leap, Inc. | Metasurfaces with light-redirecting structures including multiple materials and methods for fabricating |
| USD982593S1 (en) | 2019-11-08 | 2023-04-04 | Magic Leap, Inc. | Portion of a display screen with animated ray |
| US11493989B2 (en) | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
| JP2023503257A (ja) | 2019-11-18 | 2023-01-27 | マジック リープ， インコーポレイテッド | パス可能世界のマッピングおよび位置特定 |
| EP4062229A4 (en) | 2019-11-22 | 2024-01-03 | Magic Leap Inc | METHOD AND SYSTEM FOR FORMING PATTERNS ON A LIQUID CRYSTAL LAYER |
| WO2021108327A1 (en) | 2019-11-26 | 2021-06-03 | Magic Leap, Inc. | Enhanced eye tracking for augmented or virtual reality display systems |
| US11941408B2 (en) | 2019-12-06 | 2024-03-26 | Magic Leap, Inc. | Encoding stereo splash screen in static image |
| EP4070150A4 (en) | 2019-12-06 | 2023-12-06 | Magic Leap, Inc. | DYNAMIC BROWSER STAGE |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| US11288876B2 (en) | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
| US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
| CN115380236A (zh) | 2020-01-24 | 2022-11-22 | 奇跃公司 | 使用单个控制器的内容移动和交互 |
| USD948574S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| USD936704S1 (en) | 2020-01-27 | 2021-11-23 | Magic Leap, Inc. | Portion of a display screen with avatar |
| JP2023511083A (ja) | 2020-01-27 | 2023-03-16 | マジック リープ， インコーポレイテッド | アンカベースのクロスリアリティアプリケーションのための向上された状態制御 |
| USD948562S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with avatar |
| US11226678B2 (en) | 2020-01-27 | 2022-01-18 | Magic Leap, Inc. | Gaze timer based augmentation of functionality of a user input device |
| EP4097711A4 (en) | 2020-01-27 | 2024-01-24 | Magic Leap Inc | CURATION OF AN AUGMENTED REALITY MAP |
| USD949200S1 (en) | 2020-01-27 | 2022-04-19 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| EP4097685A4 (en) | 2020-01-27 | 2024-02-21 | Magic Leap Inc | NEUTRAL AVATARS |
| US11640486B2 (en) | 2021-03-01 | 2023-05-02 | Middle Chart, LLC | Architectural drawing based exchange of geospatial related digital content |
| US11507714B2 (en) | 2020-01-28 | 2022-11-22 | Middle Chart, LLC | Methods and apparatus for secure persistent location based digital content |
| US20210240257A1 (en) * | 2020-01-31 | 2021-08-05 | Ati Technologies Ulc | Hiding latency in wireless virtual and augmented reality systems |
| JP2023512238A (ja) | 2020-01-31 | 2023-03-24 | マジック リープ， インコーポレイテッド | 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム |
| CN115087905A (zh) | 2020-02-10 | 2022-09-20 | 奇跃公司 | 在混合现实环境中相对于三维容器的以身体为中心的内容定位 |
| US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
| EP4104436A4 (en) | 2020-02-14 | 2024-03-13 | Magic Leap Inc | VIRTUAL OBJECT MOVEMENT SPEED CURVE FOR VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEMS |
| EP4111133A1 (en) | 2020-02-26 | 2023-01-04 | Magic Leap, Inc. | Procedural electron beam lithography |
| US11840034B2 (en) | 2020-02-28 | 2023-12-12 | Magic Leap, Inc. | Method of fabricating molds for forming eyepieces with integrated spacers |
| US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
| JP2023518421A (ja) | 2020-03-20 | 2023-05-01 | マジック リープ， インコーポレイテッド | 網膜結像および追跡のためのシステムおよび方法 |
| CN115698782A (zh) | 2020-03-25 | 2023-02-03 | 奇跃公司 | 具有单路镜的光学设备 |
| EP4127822A1 (en) | 2020-04-03 | 2023-02-08 | Magic Leap, Inc. | Wearable display systems with nanowire led micro-displays |
| WO2021202783A1 (en) | 2020-04-03 | 2021-10-07 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
| US11481965B2 (en) | 2020-04-10 | 2022-10-25 | Samsung Electronics Co., Ltd. | Electronic device for communicating in augmented reality and method thereof |
| US11144117B1 (en) * | 2020-05-18 | 2021-10-12 | Qualcomm Incorporated | Deep learning based head motion prediction for extended reality |
| CN116194821A (zh) | 2020-05-22 | 2023-05-30 | 奇跃公司 | 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统 |
| EP4162343A1 (en) | 2020-06-05 | 2023-04-12 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
| CN111667584B (zh) * | 2020-06-09 | 2024-02-09 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界探索方法及存储介质 |
| GB2596541B (en) * | 2020-06-30 | 2023-09-13 | Sony Interactive Entertainment Inc | Video processing |
| WO2022032198A1 (en) | 2020-08-07 | 2022-02-10 | Magic Leap, Inc. | Tunable cylindrical lenses and head-mounted display including the same |
| KR20220039113A (ko) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 |
| US11860366B2 (en) | 2020-09-29 | 2024-01-02 | Avegant Corp. | Architecture to illuminate a display panel |
| DE102020214824A1 (de) * | 2020-11-25 | 2022-05-25 | Carl Zeiss Meditec Ag | Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung |
| KR102586624B1 (ko) * | 2020-12-07 | 2023-10-10 | 주식회사 테크인모션 | 개인 맞춤 및 영상 보정을 통한 디지털 멀미 감소 장치 및 그 방법 |
| US11630509B2 (en) * | 2020-12-11 | 2023-04-18 | Microsoft Technology Licensing, Llc | Determining user intent based on attention values |
| US11449137B2 (en) | 2021-02-12 | 2022-09-20 | Rockwell Collins, Inc. | Soldier and surface vehicle heads-up display imagery compensation system to align imagery with surroundings |
| US11786206B2 (en) | 2021-03-10 | 2023-10-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems |
| CN113315964B (zh) * | 2021-06-21 | 2023-04-14 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
| JP2023011262A (ja) * | 2021-07-12 | 2023-01-24 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
| US20230068730A1 (en) * | 2021-09-02 | 2023-03-02 | Snap Inc. | Social connection through distributed and connected real-world objects |
| KR20230103379A (ko) | 2021-12-31 | 2023-07-07 | 삼성전자주식회사 | Ar 처리 방법 및 장치 |
| WO2023219916A1 (en) * | 2022-05-10 | 2023-11-16 | Leia Inc. | Predictive head-tracking multiview display and method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002176661A (ja) | 2000-12-08 | 2002-06-21 | Kawasaki Heavy Ind Ltd | 画像表示装置 |
| JP2006318094A (ja) | 2005-05-11 | 2006-11-24 | Canon Inc | 情報処理方法、情報処理装置 |
| US20120105473A1 (en) | 2010-10-27 | 2012-05-03 | Avi Bar-Zeev | Low-latency fusing of virtual and real content |
| WO2012082807A2 (en) | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Optimized focal area for augmented reality displays |
Family Cites Families (277)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3632865A (en) * | 1969-12-23 | 1972-01-04 | Bell Telephone Labor Inc | Predictive video encoding using measured subject velocity |
| DE2737499C3 (de) | 1977-08-19 | 1981-10-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen | Faseroptisches Schaltungselement |
| GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
| FR2647449B1 (fr) * | 1989-05-23 | 1994-03-25 | Rhone Poulenc Sante | Procede de preparation d'ethers aromatiques |
| US5271093A (en) | 1989-10-17 | 1993-12-14 | Mitsubishi Denki Kabushiki Kaisha | Video display apparatus for filling the interior shapes of contour |
| US5138555A (en) * | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
| US8730129B2 (en) | 1990-12-07 | 2014-05-20 | Dennis J Solomon | Advanced immersive visual display system |
| JPH0655203B2 (ja) * | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
| US5311897A (en) | 1992-09-18 | 1994-05-17 | Robert L. Cargill, Jr. | Rotary control valve with offset variable area orifice and bypass |
| US5467104A (en) * | 1992-10-22 | 1995-11-14 | Board Of Regents Of The University Of Washington | Virtual retinal display |
| US5422653A (en) * | 1993-01-07 | 1995-06-06 | Maguire, Jr.; Francis J. | Passive virtual reality |
| US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| DE69434851T2 (de) | 1993-08-12 | 2007-04-19 | Seiko Epson Corp. | Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät |
| DE69423338T2 (de) * | 1993-09-06 | 2001-02-15 | Ouyo Keisoku Kenkyusho Tokio T | Verarbeitungs-und anzeigevorrichtung für zeitlich variable bilder |
| JP3306183B2 (ja) | 1993-09-14 | 2002-07-24 | リーダー電子株式会社 | 信号波形表示装置及び表示方法 |
| JP2952858B2 (ja) | 1994-05-31 | 1999-09-27 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
| US5742264A (en) | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
| GB2301216A (en) | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| US5933125A (en) * | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
| JPH09284676A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
| GB2317086A (en) * | 1996-09-05 | 1998-03-11 | Secr Defence | Virtual reality system |
| US5886822A (en) | 1996-10-08 | 1999-03-23 | The Microoptical Corporation | Image combining system for eyeglasses and face masks |
| US7066956B2 (en) | 1997-02-12 | 2006-06-27 | Arthrex, Inc. | Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft |
| JP2947231B2 (ja) * | 1997-07-10 | 1999-09-13 | 日本電気株式会社 | 画像表示装置 |
| US6151179A (en) | 1997-07-11 | 2000-11-21 | International Business Machines Corporation | Signal processing circuit with feedback extracted from a sampled analog error signal |
| US6441811B1 (en) | 1997-10-29 | 2002-08-27 | Sharp Kabushiki Kaisha | Display control device and reproduction display device for electronic books |
| WO1999023524A1 (en) | 1997-10-30 | 1999-05-14 | The Microoptical Corporation | Eyeglass interface system |
| JP3724157B2 (ja) * | 1997-10-30 | 2005-12-07 | コニカミノルタホールディングス株式会社 | 映像観察装置 |
| US5913591A (en) * | 1998-01-20 | 1999-06-22 | University Of Washington | Augmented imaging using a silhouette to improve contrast |
| US6088744A (en) | 1998-02-13 | 2000-07-11 | Agilent Technologies | Multiport data buffer having multi level caching wherein each data port has a FIFO buffer coupled thereto |
| JP3461117B2 (ja) * | 1998-05-26 | 2003-10-27 | 日本電信電話株式会社 | 立体表示方法及び記録媒体並びに立体表示装置 |
| JP2000350865A (ja) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
| JP2003502711A (ja) | 1999-06-21 | 2003-01-21 | ザ マイクロオプティカル コーポレイション | 軸から外れている光学設計を使用する接眼レンズ・ディスプレイ・レンズ・システム |
| KR100835639B1 (ko) * | 1999-10-29 | 2008-06-09 | 마이크로비젼, 인코퍼레이티드 | 핀치, 타이밍 및 왜곡 보정 기능을 갖는 스캔 디스플레이 |
| JP2001255862A (ja) | 2000-03-10 | 2001-09-21 | Seiko Epson Corp | オーバレイ画像処理装置およびオーバレイ画像表示装置 |
| US7663642B2 (en) | 2000-11-15 | 2010-02-16 | Sony Corporation | Systems and methods for rendering a polygon in an image to be displayed |
| US6654021B2 (en) * | 2001-05-18 | 2003-11-25 | Sun Microsystems, Inc. | Multi-channel, demand-driven display controller |
| DE10131720B4 (de) | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System und Verfahren |
| US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
| US6759979B2 (en) | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
| JP3762309B2 (ja) | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
| US7497574B2 (en) | 2002-02-20 | 2009-03-03 | Brother Kogyo Kabushiki Kaisha | Retinal image display device |
| CN1304958C (zh) * | 2002-04-15 | 2007-03-14 | Kaj株式会社 | 显示虚拟现实空间的方法和显示虚拟现实空间的装置 |
| US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
| JP4170068B2 (ja) | 2002-11-12 | 2008-10-22 | シャープ株式会社 | データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置 |
| US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
| US7385606B2 (en) | 2002-12-18 | 2008-06-10 | Microsoft Corporation | International font measurement system and method |
| US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
| US7515756B2 (en) | 2003-06-23 | 2009-04-07 | Shoestring Research, Llc. | Region segmentation and characterization systems and methods for augmented reality |
| US20050148388A1 (en) | 2003-07-17 | 2005-07-07 | Fabricio Vayra | Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module |
| ITTO20030662A1 (it) * | 2003-08-29 | 2005-02-28 | Fiat Ricerche | Disposizione di visualizzazione virtuale per un quadro |
| US11033821B2 (en) | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| US7110100B2 (en) | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
| KR101026800B1 (ko) | 2003-11-21 | 2011-04-04 | 삼성전자주식회사 | 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법 |
| US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
| US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
| US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
| US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
| US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
| US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
| CN100385937C (zh) * | 2004-03-26 | 2008-04-30 | 瑞昱半导体股份有限公司 | 利用位移向量补偿的影像去交错方法与装置 |
| US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
| JP4373286B2 (ja) | 2004-05-06 | 2009-11-25 | オリンパス株式会社 | 頭部装着型表示装置 |
| US7403337B2 (en) | 2004-05-11 | 2008-07-22 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system and method and device for realizing the system |
| US7442918B2 (en) | 2004-05-14 | 2008-10-28 | Microvision, Inc. | MEMS device having simplified drive |
| JP2005339267A (ja) | 2004-05-27 | 2005-12-08 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
| US6947219B1 (en) | 2004-06-02 | 2005-09-20 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system for displaying digital contents and device for realizing the system |
| US7113270B2 (en) | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
| US20060007056A1 (en) | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
| KR100656342B1 (ko) | 2004-12-16 | 2006-12-11 | 한국전자통신연구원 | 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 |
| CN100341334C (zh) * | 2005-01-14 | 2007-10-03 | 北京航空航天大学 | 基于有效区域的多参考帧快速运动估计方法 |
| WO2006082827A1 (ja) * | 2005-02-02 | 2006-08-10 | Brother Kogyo Kabushiki Kaisha | 光走査型ディスプレイおよびそれの駆動方法 |
| US20060214911A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Pointing device for large field of view displays |
| US20060226231A1 (en) * | 2005-03-29 | 2006-10-12 | University Of Washington | Methods and systems for creating sequential color images |
| JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| US7773098B2 (en) * | 2005-05-11 | 2010-08-10 | Canon Kabushiki Kaisha | Virtual reality presentation apparatus and method |
| US8847861B2 (en) | 2005-05-20 | 2014-09-30 | Semiconductor Energy Laboratory Co., Ltd. | Active matrix display device, method for driving the same, and electronic device |
| JP2006338509A (ja) | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | 状況記憶型コンテンツ管理装置及び方法 |
| US7737965B2 (en) | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
| US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
| IL173361A (en) | 2005-09-12 | 2012-03-29 | Elbit Systems Ltd | Display system near the eye |
| US7480422B2 (en) | 2005-10-14 | 2009-01-20 | Disney Enterprises, Inc. | Systems and methods for information content delivery relating to an object |
| IL172797A (en) | 2005-12-25 | 2012-09-24 | Elbit Systems Ltd | Real-time image scanning and processing |
| CN101356820B (zh) * | 2006-01-05 | 2011-01-26 | 汤姆森许可贸易公司 | 层间运动预测方法 |
| US8730156B2 (en) | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| JP2007286082A (ja) * | 2006-04-12 | 2007-11-01 | Sony Computer Entertainment Inc | 描画処理装置 |
| US9958934B1 (en) | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| SE0601216L (sv) | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
| US7835027B2 (en) * | 2006-06-14 | 2010-11-16 | Kabushiki Kaisha Toshiba | Reducing the resolution of a rendered image for printing |
| KR100809479B1 (ko) | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 |
| US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
| US8743109B2 (en) * | 2006-08-31 | 2014-06-03 | Kent State University | System and methods for multi-dimensional rendering and display of full volumetric data sets |
| US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
| US7889178B2 (en) | 2006-09-08 | 2011-02-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Programmable resolution for optical pointing device |
| US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| JP4936522B2 (ja) * | 2006-09-29 | 2012-05-23 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| US20080186255A1 (en) | 2006-12-07 | 2008-08-07 | Cohen Philip R | Systems and methods for data annotation, recordation, and communication |
| US7903166B2 (en) | 2007-02-21 | 2011-03-08 | Sharp Laboratories Of America, Inc. | Methods and systems for display viewer motion compensation based on user image data |
| US20080215994A1 (en) | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
| CN100478849C (zh) * | 2007-04-10 | 2009-04-15 | 南京航空航天大学 | 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法 |
| CN100468295C (zh) * | 2007-04-10 | 2009-03-11 | 南京航空航天大学 | 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法 |
| US8549415B2 (en) * | 2007-05-04 | 2013-10-01 | Apple Inc. | Automatically adjusting media display in a personal display system |
| US20080303811A1 (en) | 2007-06-07 | 2008-12-11 | Leviathan Entertainment, Llc | Virtual Professional |
| WO2009002567A1 (en) | 2007-06-27 | 2008-12-31 | The University Of Hawaii | Virtual reality overlay |
| US8902227B2 (en) | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
| US20090089685A1 (en) | 2007-09-28 | 2009-04-02 | Mordecai Nicole Y | System and Method of Communicating Between A Virtual World and Real World |
| US8063905B2 (en) | 2007-10-11 | 2011-11-22 | International Business Machines Corporation | Animating speech of an avatar representing a participant in a mobile communication |
| US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
| US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
| KR20090067822A (ko) | 2007-12-21 | 2009-06-25 | 삼성전자주식회사 | 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법 |
| TW200928860A (en) * | 2007-12-31 | 2009-07-01 | Htc Corp | Method and device for adjusting output frame |
| US20090177042A1 (en) | 2008-01-09 | 2009-07-09 | University Of Washington | Color image acquisition with scanning laser beam devices |
| US8624924B2 (en) | 2008-01-18 | 2014-01-07 | Lockheed Martin Corporation | Portable immersive environment using motion capture and head mounted display |
| US8615383B2 (en) | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
| WO2009108790A1 (en) | 2008-02-26 | 2009-09-03 | Ecity, Inc. | Method and apparatus for integrated life through virtual cities |
| US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
| US8757812B2 (en) | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
| US20090322671A1 (en) | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
| US8063968B2 (en) * | 2008-07-23 | 2011-11-22 | Lockheed Martin Corporation | Device for detecting an image of a nonplanar surface |
| US9600067B2 (en) | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
| WO2010062481A1 (en) | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
| CN101739199A (zh) * | 2008-11-05 | 2010-06-16 | 联想(北京)有限公司 | 一种显示图像的移动终端和方法 |
| US20100287500A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
| EP2194418B1 (en) | 2008-12-02 | 2014-07-02 | Saab Ab | Head-up display for night vision goggles |
| US20100137684A1 (en) | 2008-12-03 | 2010-06-03 | Hoya Corporation | Endoscope system with scanning function |
| US8132916B2 (en) | 2008-12-12 | 2012-03-13 | Carl Zeiss Meditec, Inc. | High precision contrast ratio display for visual stimulus |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US8487933B2 (en) | 2009-03-31 | 2013-07-16 | General Electric Company | System and method for multi-segment center point trajectory mapping |
| US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
| JP2011009846A (ja) * | 2009-06-23 | 2011-01-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US9511289B2 (en) | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
| JP2011089874A (ja) * | 2009-10-22 | 2011-05-06 | Toyota Central R&D Labs Inc | 距離画像データ取得装置 |
| JP5553635B2 (ja) | 2009-10-23 | 2014-07-16 | キヤノン株式会社 | 補償光学装置、撮像装置および補償光学方法、撮像方法 |
| US20110107216A1 (en) | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
| WO2011061914A1 (ja) | 2009-11-19 | 2011-05-26 | パナソニック株式会社 | 走査型画像表示装置 |
| KR101652311B1 (ko) | 2010-01-26 | 2016-08-30 | 광주과학기술원 | 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| GB2477787B (en) | 2010-02-15 | 2014-09-24 | Marcus Alexander Mawson Cavalier | Use of portable electonic devices with head-mounted display devices |
| JP5499762B2 (ja) | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
| WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US20120120103A1 (en) * | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
| US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
| US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
| JP5681850B2 (ja) | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド（香港） | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
| US8217997B2 (en) * | 2010-03-16 | 2012-07-10 | Interphase Corporation | Interactive display system |
| JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US8893022B2 (en) | 2010-04-01 | 2014-11-18 | Microsoft Corporation | Interactive and shared viewing experience |
| CN102472892B (zh) | 2010-04-28 | 2014-07-09 | 松下电器产业株式会社 | 扫描型图像显示装置 |
| US8762041B2 (en) | 2010-06-21 | 2014-06-24 | Blackberry Limited | Method, device and system for presenting navigational information |
| US20120200600A1 (en) | 2010-06-23 | 2012-08-09 | Kent Demaine | Head and arm detection for virtual immersion systems and methods |
| JP5652037B2 (ja) * | 2010-07-30 | 2015-01-14 | 富士通株式会社 | 模擬映像生成装置、方法、プログラム |
| KR101420560B1 (ko) | 2010-08-09 | 2014-07-16 | 파나소닉 주식회사 | 광디바이스, 및 이것을 포함한 충전 시스템 |
| US20120127136A1 (en) | 2010-08-18 | 2012-05-24 | Kent Displays Incorporated | Display device including piezoelectric and liquid crystal layers |
| US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
| US20120050140A1 (en) * | 2010-08-25 | 2012-03-01 | Border John N | Head-mounted display control |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US8638364B2 (en) | 2010-09-23 | 2014-01-28 | Sony Computer Entertainment Inc. | User interface system and method using thermal imaging |
| WO2012048252A1 (en) | 2010-10-07 | 2012-04-12 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
| US20120212405A1 (en) | 2010-10-07 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for presenting virtual and augmented reality scenes to a user |
| US8578299B2 (en) | 2010-10-08 | 2013-11-05 | Industrial Technology Research Institute | Method and computing device in a system for motion detection |
| US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US8743464B1 (en) | 2010-11-03 | 2014-06-03 | Google Inc. | Waveguide with embedded mirrors |
| US20120117514A1 (en) | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US8831278B2 (en) * | 2010-11-30 | 2014-09-09 | Eastman Kodak Company | Method of identifying motion sickness |
| CN101996410B (zh) * | 2010-12-07 | 2012-12-12 | 北京交通大学 | 动态背景下的运动目标检测方法及系统 |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| JP5690135B2 (ja) * | 2010-12-29 | 2015-03-25 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
| US9113050B2 (en) | 2011-01-13 | 2015-08-18 | The Boeing Company | Augmented collaboration system |
| US20120182313A1 (en) | 2011-01-13 | 2012-07-19 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality in window form |
| US20120188148A1 (en) * | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
| JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| WO2012105175A1 (ja) | 2011-02-01 | 2012-08-09 | パナソニック株式会社 | 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路 |
| CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
| US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
| JP2012203128A (ja) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| US8401343B2 (en) | 2011-03-27 | 2013-03-19 | Edwin Braun | System and method for defining an augmented reality character in computer generated virtual reality using coded stickers |
| EP3654147A1 (en) | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
| US9071709B2 (en) | 2011-03-31 | 2015-06-30 | Nokia Technologies Oy | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality |
| CN107656615B (zh) | 2011-05-06 | 2021-09-14 | 奇跃公司 | 大量同时远程数字呈现世界 |
| US8508830B1 (en) | 2011-05-13 | 2013-08-13 | Google Inc. | Quantum dot near-to-eye display |
| US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
| US9727132B2 (en) | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| US8832233B1 (en) | 2011-07-20 | 2014-09-09 | Google Inc. | Experience sharing for conveying communication status |
| AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| AU2011205223C1 (en) | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| WO2013032955A1 (en) | 2011-08-26 | 2013-03-07 | Reincloud Corporation | Equipment, systems and methods for navigating through multiple reality models |
| US9191661B2 (en) | 2011-08-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Virtual image display device |
| US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
| JP6144681B2 (ja) * | 2011-08-30 | 2017-06-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US10229482B2 (en) * | 2011-08-31 | 2019-03-12 | North Inc. | Device and method for consecutively projecting different portions of an image |
| US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
| US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
| US20130088413A1 (en) | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
| US9255813B2 (en) | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| EP3666352B1 (en) | 2011-10-28 | 2021-12-01 | Magic Leap, Inc. | Method and device for augmented and virtual reality |
| US8970452B2 (en) | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
| US8879155B1 (en) | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
| US9311883B2 (en) | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
| WO2013076994A1 (ja) | 2011-11-24 | 2013-05-30 | パナソニック株式会社 | 頭部装着型ディスプレイ装置 |
| US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| CN102508363A (zh) * | 2011-12-28 | 2012-06-20 | 王鹏勃 | 一种基于增强现实技术的无线显示眼镜及其实现方法 |
| US8963805B2 (en) | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
| WO2013119221A1 (en) | 2012-02-08 | 2013-08-15 | Intel Corporation | Augmented reality creation using a real scene |
| US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
| JP5958689B2 (ja) | 2012-03-22 | 2016-08-02 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| US8933912B2 (en) | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
| US9183676B2 (en) | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
| US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
| US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
| US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| US9696547B2 (en) | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
| US9035970B2 (en) * | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
| JP6015250B2 (ja) | 2012-08-31 | 2016-10-26 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US20140071163A1 (en) | 2012-09-11 | 2014-03-13 | Peter Tobias Kinnebrew | Augmented reality information detail |
| US8797340B2 (en) * | 2012-10-02 | 2014-08-05 | Nvidia Corporation | System, method, and computer program product for modifying a pixel value as a function of a display duration estimate |
| US10269179B2 (en) * | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
| CN102938145B (zh) * | 2012-10-23 | 2015-07-01 | 深圳大学 | 一种拼接类全景图的一致性调整方法及系统 |
| US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
| US9030495B2 (en) | 2012-11-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Augmented reality help |
| US9582123B2 (en) | 2012-11-26 | 2017-02-28 | Qualcomm Incorporated | Dual-mode capacitance sensing in a touch panel sensor |
| US20140178029A1 (en) | 2012-12-26 | 2014-06-26 | Ali Fazal Raheman | Novel Augmented Reality Kiosks |
| KR102019124B1 (ko) | 2013-01-04 | 2019-09-06 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어 방법 |
| US9202313B2 (en) | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
| US9342929B2 (en) | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
| JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
| KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
| CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
| US9852512B2 (en) | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
| US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
| KR102271198B1 (ko) * | 2013-03-15 | 2021-06-29 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9049469B2 (en) | 2013-04-03 | 2015-06-02 | Roy S. Melzer | Encryption and decryption of visible codes for real time augmented reality views |
| US9685003B2 (en) | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
| US10137361B2 (en) | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10139623B2 (en) | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
| US9911231B2 (en) | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
| US10216996B2 (en) | 2014-09-29 | 2019-02-26 | Sony Interactive Entertainment Inc. | Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition |
| US9778814B2 (en) | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
| WO2016105521A1 (en) | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US20170090194A1 (en) | 2015-09-24 | 2017-03-30 | Halo Augmented Reality Ltd. | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement |
| US10768772B2 (en) | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
| US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
| US9927614B2 (en) | 2015-12-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Augmented reality display system with variable focus |
| KR20230098927A (ko) | 2016-03-31 | 2023-07-04 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들 |
| US10191541B2 (en) | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
| WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
| US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
| US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| CN111542800A (zh) | 2017-11-13 | 2020-08-14 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
| WO2019104413A1 (en) | 2017-12-03 | 2019-06-06 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
| JP7087481B2 (ja) | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
| US10901215B1 (en) | 2018-05-16 | 2021-01-26 | Facebook Technologies, Llc | Systems and methods for providing a mobile artificial reality user with environmental awareness |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| SE1950580A1 (en) | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
| US11537351B2 (en) | 2019-08-12 | 2022-12-27 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| WO2021119171A1 (en) | 2019-12-10 | 2021-06-17 | Magic Leap, Inc. | Increased depth of field for mixed-reality display |
| US11217024B2 (en) | 2019-12-26 | 2022-01-04 | Facebook Technologies, Llc | Artificial reality system with varifocal display of artificial reality content |
| US20210349322A1 (en) | 2020-05-01 | 2021-11-11 | Mark Harris | Wearable near-to-eye vision systems |
-
2014
- 2014-03-14 KR KR1020157029808A patent/KR102271198B1/ko active IP Right Grant
- 2014-03-14 KR KR1020237025030A patent/KR20230113418A/ko active Application Filing
- 2014-03-14 CN CN201710878238.8A patent/CN107577350B/zh active Active
- 2014-03-14 KR KR1020197007532A patent/KR102271719B1/ko active IP Right Grant
- 2014-03-14 CN CN201710878130.9A patent/CN107632709B/zh active Active
- 2014-03-14 NZ NZ73575114A patent/NZ735751A/en unknown
- 2014-03-14 KR KR1020197007538A patent/KR102271727B1/ko active IP Right Grant
- 2014-03-14 NZ NZ73574714A patent/NZ735747A/en unknown
- 2014-03-14 AU AU2014229004A patent/AU2014229004B2/en active Active
- 2014-03-14 CN CN202111204694.7A patent/CN113918018A/zh active Pending
- 2014-03-14 KR KR1020217019505A patent/KR102318391B1/ko active IP Right Grant
- 2014-03-14 KR KR1020227036247A patent/KR102560629B1/ko active IP Right Grant
- 2014-03-14 CN CN201710878246.2A patent/CN107632710B/zh active Active
- 2014-03-14 CN CN201710878155.9A patent/CN107656617B/zh active Active
- 2014-03-14 NZ NZ735754A patent/NZ735754A/en unknown
- 2014-03-14 CA CA2905506A patent/CA2905506C/en active Active
- 2014-03-14 CN CN201480027589.2A patent/CN105229719B/zh active Active
- 2014-03-14 CN CN201810263580.1A patent/CN108427504B/zh active Active
- 2014-03-14 NZ NZ712192A patent/NZ712192A/en unknown
- 2014-03-14 WO PCT/US2014/028977 patent/WO2014144526A2/en active Application Filing
- 2014-03-14 KR KR1020197007534A patent/KR102271726B1/ko active IP Right Grant
- 2014-03-14 JP JP2016502951A patent/JP6326482B2/ja active Active
- 2014-03-14 NZ NZ751593A patent/NZ751593A/en unknown
- 2014-03-14 NZ NZ73575214A patent/NZ735752A/en unknown
- 2014-03-14 NZ NZ735755A patent/NZ735755A/en unknown
- 2014-03-14 CA CA3160567A patent/CA3160567A1/en active Pending
- 2014-03-14 EP EP14764114.6A patent/EP2973532A4/en not_active Ceased
- 2014-03-14 KR KR1020217033994A patent/KR102458124B1/ko active IP Right Grant
- 2014-03-14 EP EP22158760.3A patent/EP4027222A1/en active Pending
- 2014-03-14 CN CN201810264993.1A patent/CN108628446B/zh active Active
- 2014-03-14 US US14/212,961 patent/US9417452B2/en active Active
- 2014-03-14 NZ NZ751602A patent/NZ751602A/en unknown
- 2014-03-14 CN CN201710878226.5A patent/CN107656618B/zh active Active
-
2015
- 2015-05-03 US US14/702,739 patent/US10134186B2/en active Active
- 2015-05-03 US US14/702,736 patent/US10453258B2/en active Active
- 2015-05-03 US US14/702,734 patent/US9429752B2/en active Active
- 2015-05-06 US US14/704,981 patent/US10510188B2/en active Active
- 2015-05-06 US US14/704,976 patent/US10304246B2/en active Active
- 2015-05-06 US US14/704,974 patent/US20150235450A1/en not_active Abandoned
- 2015-05-06 US US14/704,971 patent/US11205303B2/en active Active
- 2015-05-06 US US14/704,975 patent/US10553028B2/en active Active
- 2015-05-06 US US14/704,979 patent/US20150235453A1/en not_active Abandoned
- 2015-09-16 IL IL24165715A patent/IL241657B/en active IP Right Grant
-
2017
- 2017-03-13 JP JP2017047915A patent/JP6353105B2/ja active Active
- 2017-09-22 AU AU2017232181A patent/AU2017232181B2/en active Active
- 2017-09-22 AU AU2017232177A patent/AU2017232177B2/en active Active
- 2017-09-22 AU AU2017232179A patent/AU2017232179B2/en active Active
- 2017-09-22 AU AU2017232176A patent/AU2017232176B2/en active Active
- 2017-09-22 AU AU2017232175A patent/AU2017232175B2/en active Active
- 2017-11-06 IL IL255455A patent/IL255455B/en active IP Right Grant
- 2017-11-06 IL IL255464A patent/IL255464B/en active IP Right Grant
- 2017-11-06 IL IL255454A patent/IL255454B/en active IP Right Grant
- 2017-11-06 IL IL255456A patent/IL255456B/en active IP Right Grant
- 2017-11-07 IL IL255484A patent/IL255484B/en active IP Right Grant
-
2018
- 2018-04-16 JP JP2018078476A patent/JP6542945B2/ja active Active
- 2018-04-16 JP JP2018078478A patent/JP6676095B2/ja active Active
- 2018-04-16 JP JP2018078477A patent/JP6602911B2/ja active Active
- 2018-04-16 JP JP2018078479A patent/JP6542946B2/ja active Active
- 2018-04-16 JP JP2018078475A patent/JP6542944B2/ja active Active
- 2018-06-07 JP JP2018109143A patent/JP6683762B2/ja active Active
- 2018-06-25 HK HK18108141.1A patent/HK1248851A1/zh unknown
-
2019
- 2019-08-12 IL IL268635A patent/IL268635B/en active IP Right Grant
- 2019-08-12 IL IL268637A patent/IL268637B/en active IP Right Grant
- 2019-10-09 JP JP2019185679A patent/JP6826174B2/ja active Active
- 2019-11-29 AU AU2019272052A patent/AU2019272052B2/en active Active
-
2021
- 2021-01-14 JP JP2021003946A patent/JP2021072135A/ja not_active Withdrawn
- 2021-02-12 AU AU2021200916A patent/AU2021200916B2/en active Active
- 2021-11-12 US US17/525,811 patent/US11854150B2/en active Active
-
2023
- 2023-11-10 US US18/506,947 patent/US20240078771A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002176661A (ja) | 2000-12-08 | 2002-06-21 | Kawasaki Heavy Ind Ltd | 画像表示装置 |
| JP2006318094A (ja) | 2005-05-11 | 2006-11-24 | Canon Inc | 情報処理方法、情報処理装置 |
| US20120105473A1 (en) | 2010-10-27 | 2012-05-03 | Avi Bar-Zeev | Low-latency fusing of virtual and real content |
| WO2012082807A2 (en) | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Optimized focal area for augmented reality displays |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021200916B2 (en) | Display system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |