KR102270699B1 - 증강 및 가상 현실을 위한 시스템 및 방법 - Google Patents
증강 및 가상 현실을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR102270699B1 KR102270699B1 KR1020157028273A KR20157028273A KR102270699B1 KR 102270699 B1 KR102270699 B1 KR 102270699B1 KR 1020157028273 A KR1020157028273 A KR 1020157028273A KR 20157028273 A KR20157028273 A KR 20157028273A KR 102270699 B1 KR102270699 B1 KR 102270699B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- delete delete
- virtual
- head
- virtual world
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000003190 augmentative effect Effects 0.000 title claims description 97
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000009877 rendering Methods 0.000 claims description 30
- 210000003128 head Anatomy 0.000 claims description 24
- 238000012800 visualization Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 230000015654 memory Effects 0.000 abstract description 14
- 230000003993 interaction Effects 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 16
- 230000004807 localization Effects 0.000 description 13
- 230000003068 static effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006854 communication Effects 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 8
- 230000004438 eyesight Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000004478 pupil constriction Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 206010012586 Device interaction Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005188 flotation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009046 primary transport Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
Abstract
일 실시예는 둘 이상의 사용자들이 가상 세계 데이터를 포함하는 가상 세계 내에서 상호작용할 수 있게 하기 위한 시스템에 관한 것이고, 그 시스템은 하나 이상의 컴퓨팅 디바이스들을 포함하는 컴퓨터 네트워크를 포함하고, 하나 이상의 컴퓨팅 디바이스들은 메모리, 프로세싱 회로, 및 메모리에 적어도 부분적으로 저장되고 가상 세계 데이터의 적어도 일부를 프로세싱하기 위해 프로세싱 회로에 의해서 실행가능한 소프트웨어를 포함하고, 가상 세계 데이터의 적어도 제 1 부분이 제 1 사용자에 로컬적인 제 1 사용자 가상 세계로부터 기인하고, 컴퓨터 네트워크는 제 2 사용자에게의 제시를 위해서 제 1 부분을 사용자 디바이스에 전송하도록 동작가능하여, 제 2 사용자가 제 2 사용자의 로케이션으로부터 제 1 부분을 경험할 수 있고, 그로 인해서 제 1 사용자 가상 세계의 양상들(aspects)이 제 2 사용자에게 효과적으로 전달된다.
Description
[0001] 본 발명은 일반적으로 하나 또는 그 초과의 사용자들에 대한 상호작용 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0002] 가상 및 증강 현실 환경들은 부분적으로, 환경을 설명하는 데이터를 사용하여 컴퓨터들에 의해 생성된다. 이 데이터는, 예를 들어 사용자가 감지 및 상호작용할 수 있는 다양한 오브젝트들을 설명할 수 있다. 이들 오브젝트들의 예들은 사용자가 보도록 렌더링되고 디스플레이된 오브젝트들, 사용자가 청취하도록 플레이되는 오디오, 및 사용자가 느낄 촉감(또는 촉각(haptic)) 피드백을 포함한다. 사용자들은 다양한 시각적, 청각적 및 촉감적 수단을 통해 가상 및 증강 현실 환경들을 감지하고 상호작용할 수 있다.
[0003] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대해 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0004] 일 실시예는 사용자의 머리에 장착 가능한 하우징 프레임, 사용자의 눈들의 움직임을 추적하고 추적된 눈 움직임들에 기초하여 초점 깊이를 추정하기 위하여 하우징 프레임에 커플링되는 제 1 쌍의 카메라들, 디스플레이 오브젝트가 초점이 맞게 나타나도록 디스플레이 오브젝트와 연관된 프로젝팅된 광을, 추정된 초점 깊이에 기초하여 생성 및 수정하기 위한 광 생성 메커니즘을 갖는 프로젝션 모듈, 하우징 프레임상에 장착된 렌즈, 및 디스플레이 이미지와 연관된 데이터를 프로젝션 모듈에 통신하기 위해서 프로젝션 모듈에 통신 가능하게 커플링되는 프로세서를 포함하는 사용자 디스플레이 디바이스에 관한 것이다. 렌즈는 프로젝팅된 광을 사용자의 눈들로 산란시키기 위하여 사용자 눈들의 앞에 포지셔닝되는 적어도 하나의 투명 거울을 포함할 수 있다. 적어도 하나의 투명 거울은 로컬 환경으로부터의 광의 투과를 선택적으로 허용할 수 있다.
[0005] 사용자 디스플레이 디바이스는 제 2 쌍의 카메라들 각각에 상응하는 눈의 시계 이미지(field-of-view)를 캡처하기 위하여 하우징 프레임 상에 장착가능한 제 2 쌍의 카메라들을 더 포함할 수 있다. 프로세서는 캡처된 시계 이미지들에 기초하여 사용자의 머리 포즈를 계산할 수 있다.
[0006] 프로젝션 모듈은 추정된 초점 깊이에 기초하여 디스플레이 오브젝트와 연관된 프로젝팅된 광 빔을 수정하기 위해 스캐닝된 레이저 어레인지먼트를 포함할 수 있다. 프로젝팅된 광 빔의 직경은 0.7 mm보다 작을 수 있다.
[0007] 일 실시예에서, 제 1 쌍의 카메라들은 사용자의 눈들의 각각의 움직임을 추적하기 위해서 적외선 광 소스들과 쌍을 이루는 적외선 카메라들을 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자의 움직임, 사용자의 로케이션, 사용자의 방향 및 사용자의 지향 중 적어도 하나를 감지하기 위하여 적어도 하나의 센서를 포함하는 센서 어셈블리를 더 포함할 수 있다. 적어도 하나의 센서는 가속도계, 콤파스 또는 자이로스코프일 수 있다. 프로세서는 사용자의 움직임, 사용자의 로케이션, 사용자의 방향, 및 사용자의 지향 중 적어도 하나에 기초하여 사용자의 머리 포즈를 추정할 수 있다. 사용자 디스플레이 디바이스는 GPS 시스템을 포함할 수 있다. 사용자 디스플레이 디바이스는 촉감 피드백(20)을 제공하기 위해서 프로젝션 모듈에 통신 가능하게 커플링되는 촉각 인터페이스 디바이스를 더 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자의 환경을 디지털적으로 재구성하기 위하여 환경 감지 시스템을 더 포함할 수 있다.
[0008] 프로세서는 가상 세계 데이터의 적어도 일부를 전송하고, 가상 세계 데이터의 다른 일부를 수신하기 위해서 컴퓨터 네트워크에 통신 가능하게 커플링될 수 있다.
[0009] 사용자 디스플레이 디바이스는 음향들을 출력하기 위하여 머리 프레임 상에 장착가능한 오디오 스피커 모듈을 포함할 수 있다. 사용자 디스플레이 디바이스는 사용자에게 로컬적인 음향들을 캡처하기 위하여 하우징 프레임 상에 장착 가능한 마이크로폰을 더 포함할 수 있다.
[0010] 프로젝션 모듈은, 다른 오브젝트가 흐릿하게 나타나도록 디스플레이 오브젝트가 아닌 다른 오브젝트와 연관된 다른 프로젝팅된 광을 수정할 수 있다. 프로세서는 적어도 초당 60 프레임들의 레이트로 디스플레이 오브젝트의 프레임들을 렌더링할 수 있다.
[0011] 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나일 수 있다.
[0012] 다른 실시예에서, 방법은 사용자 눈들의 움직임을 추적하는 단계, 추적된 눈 움직임에 기초하여 사용자 눈들의 초점 깊이를 추정하는 단계, 디스플레이 오브젝트가 초점이 맞게 나타나도록, 상기 디스플레이 오브젝트와 연관된 광 빔을 추정된 초점 깊이에 기초하여 수정하는 단계, 및 수정된 광 빔을 사용자 눈들로 프로젝팅하는 단계를 포함한다. 사용자의 눈들로 프로제깅된 프로젝팅된 광 빔의 직경은 0.7 mm 미만일 수 있다.
[0013] 방법은 디스플레이 오브젝트의 가시화 모드에 기초하여 사용자의 로컬 환경으로부터 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다. 가시화 모드는 증강 현실 모드, 가상 현실 모드, 및 증강 및 가상 현실 모드들의 결합 중 하나일 수 있다.
[0014] 방법은 사용자 눈들 각각의 시계 이미지를 캡처하는 단계를 더 포함할 수 있다. 캡처된 시계 이미지는 사용자의 머리 포즈를 추정하기 위하여 사용될 수 있다. 캡처된 시계 이미지는 적어도 하나의 물리적 오브젝트를 물리적으로 렌더링된 가상적 오브젝트로 변환하고, 그리고 물리적으로 렌더링된 가상적 오브젝트를 사용자에게 디스플레이하기 위해 사용될 수 있다.
[0015] 방법은 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계, 및 추출된 포인트들의 세트에 기초하여 상기 캡처된 시계 이미지에서 적어도 하나의 물리적 오브젝트에 대한 기점을 생성하는 단계를 더 포함할 수 있다. 방법은 추출된 포인트들의 세트 및 생성된 기점 중 적어도 하나를 클라우드 컴퓨터에 전송하는 단계, 및 추출된 포인트들의 세트 및 생성된 기점 중 적어도 하나를 오브젝트의 타입에 태깅(tagging)하는 단계를 더 포함할 수 있다. 방법은 오브젝트의 타입과 연관되는 태깅된 포인트들의 세트 및 오브젝트의 타입과 연관되는 태깅된 생성된 기점 중 적어도 하나에 기초하여 상이한 물리적 오브젝트를 상기 오브젝트의 타입에 속하는 것으로 인지하는 단계를 더 포함할 수 있다.
[0016] 방법은 사용자의 움직임, 사용자의 로케이션, 사용자의 방향 및 사용자의 지향 중 적어도 하나를 감지하는 단계, 및 적어도 하나의 감지된 움직임, 감지된 로케이션, 감지된 방향 및 감지된 지향에 기초하여 사용자의 포즈를 계산하는 단계를 더 포함할 수 있다. 센서는 가속도계, 콤파스 및 자이로스코프 중 적어도 하나일 수 있다.
[0017] 방법은 클라우드 네트워크로의 디스플레이 오브젝트와 연관된 가상 세계 데이터를 프로세싱하는 단계 및 제 2 로케이션에 로케이팅된 제 2 사용자가 제 2 로케이션의 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 경험할 수 있도록 하기 위해서, 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 제 2 사용자에게 전송하는 단계를 더 포함할 수 있다.
[0018] 방법은 물리적 오브젝트를 감지하는 단계 및 감지된 물리적 오브젝트와의 미리 결정된 관계에 기초하여, 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 수정하는 단계를 더 포함할 수 있다. 방법은 제 2 사용자에게 수정된 가상 세계 데이터를 제시하는 단계를 더 포함할 수 있다.
[0019] 방법은 디스플레이 오브젝트가 아닌 다른 오브젝트는 흐릿하게 나타나도록 하기 위해서, 다른 오브젝트와 연관된 다른 광을 수정하는 단계를 더 포함할 수 있다.
[0020] 방법은 사용자 인터페이스를 통해 사용자 입력을 수신하는 단계 및 수신된 사용자 입력에 기초하여 디스플레이 오브젝트를 수정하는 단계를 더 포함할 수 있다. 사용자 인터페이스는 촉각 인터페이스 디바이스, 키보드, 마우스, 조이스틱, 모션 캡처 제어기, 광학 추적 디바이스 및 오디오 입력 디바이스 중 적어도 하나일 수 있다. 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나일 수 있다.
[0021] 또 다른 실시예에서, 방법은 가상 세계 데이터를 포함하는 가상 세계와 머리-장착 사용자 디스플레이 디바이스를 통해서 상호작용하는 단계 ― 머리-장착 사용자 디스플레이 디바이스는 사용자 눈들의 추정된 초점 깊이에 기초하여 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 이미지를 사용자에게 렌더링함 ―, 가상 세계와의 머리-장착 사용자 디바이스의 상호작용 및 사용자의 물리적 환경과의 상호작용 중 적어도 하나로부터 기인하는 추가적인 가상 세계 데이터를 생성하는 단계 및 추가적인 가상 세계 데이터를 컴퓨터 네트워크에 전송하는 단계를 포함한다. 가상 세계는 2차원 포맷 또는 3차원 포맷으로 제시될 수 있다.
[0022] 방법은 제 2 로케이션에 있는 제 2 사용자가 제 2 로케이션으로부터 추가적인 가상 세계 데이터를 경험할 수 있도록 하기 위해서, 제시를 위해 추가적인 가상 세계 데이터를 제 2 사용자에게 전송하는 단계를 더 포함할 수 있다. 추가적인 가상 세계 데이터는 머리-장착 사용자 디스플레이 디바이스를 통해 캡처되는 시계 이미지와 연관될 수 있다. 추가적인 가상 세계 데이터는 사용자의 감지된 움직임, 사용자의 감지된 로케이션, 사용자의 감지된 방향 및 사용자의 감지된 지향 중 적어도 하나와 연관될 수 있다. 추가적인 가상 세계 데이터는 머리-장착 사용자 디스플레이 디바이스에 의해 감지되는 물리적 오브젝트와 연관될 수 있다. 추가적인 가상 세계 데이터는 감지된 물리적 오브젝트와의 미리 결정된 관계를 갖는 디스플레이 오브젝트와 연관될 수 있다.
[0023] 방법은 사용자 입력에 기초하여, 사용자와 머리-장착 사용자 디스플레이 디바이스 간의 상호작용을 가능하게 하기 위한 인터페이스를 선택하는 단계 및 선택된 인터페이스에 기초하여 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 오브젝트를 렌더링하는 단계를 더 포함할 수 있다. 선택된 인터페이스는 가상 현실 모드, 증강 현실 모드, 블렌디디(blended) 현실 모드, 및 가상 현실 및 증강 현실 모드들의 결합 중 하나일 수 있다.
[0024] 또 다른 실시예에서, 둘 이상의 사용자들이 가상 세계 데이터를 포함하는 가상 세계와 상호작용할 수 있게 하는 방법은 제 1 사용자의 제 1 가시화 모드에서 제 1 사용자 디스플레이 디바이스를 통해 가상 세계를 디스플레이하는 단계, 컴퓨터 네트워크를 통해 가상 세계 데이터의 적어도 일부를 제 2 사용자 디스플레이에 전송하는 단계 및 제 2 가시화 모드에서의 가상 세계 데이터의 전송된 부분과 연관된 가상 세계를 제 2 사용자의 제 2 사용자 디스플레이 디바이스에서 디스플레이하는 단계를 포함한다. 제 1 가시화 모드는 제 2 가시화 모드와 상이할 수 있다. 제 1 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 가상 현실 및 증강 현실 모드들의 결합 중 적어도 하나일 수 있다.
[0025] 또 다른 실시예에서, 방법은 실제 물리적 오브젝트의 이미지와 연관된 렌더링된 물리적 이미지 데이터 및 가상 디스플레이 오브젝트와 연관된 가상 이미지 데이터 중 적어도 하나를 사용자의 선택에 기초하여 프로세싱하는 단계 및 실시간으로 사용자에 의해 확인되는 실제 물리적 오브젝트, 실시간으로 사용자에 의해 확인되는 실제 물리적 오브젝트에 기초하여 렌더링되는 렌더링된 물리적-가상적 오브젝트, 및 가상 디스플레이 오브젝트의 선택된 결합을 사용자에게 선택적으로 디스플레이하는 단계를 포함한다. 실제 물리적 오브젝트, 렌더링된 물리적-가상적 오브젝트 및 가상 디스플레이 오브젝트 중 적어도 하나가 가시화 모드의 사용자 입력에 기초하여 선택적으로 디스플레이될 수 있다. 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 가상 및 증강 현실 모드들의 결합 중 적어도 하나일 수 있다.
[0026] 방법은 컴퓨터 네트워크를 통해 다른 디스플레이 오브젝트와 연관된 이미지 데이터를 수신하는 단계 및 사용자가 선택된 가시화 모드에서 다른 디스플레이 오브젝트를 볼 수 있도록 하기 위해서 선택된 가시화 모드와 호환가능한 데이터 포맷으로 이미지 데이터를 변환하는 단계를 더 포함할 수 있다.
[0027] 방법은 선택된 가시화 모드에 기초하여, 사용자가 실제 물리적 오브젝트를 볼 수 있도록 하기 위해서 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다.
[0028] 또 다른 실시예에서, 방법은 머리-장착 사용자 디스플레이 디바이스의 렌즈를 통해서, 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 포함하고, 머리-장착 사용자 디스플레이 디바이스는 완전 가상적 오브젝트들, 완전 물리적 오브젝트들 또는 가상적 오브젝트들 및 물리적 오브젝트들의 결합 중 어느 하나를 디스플레이하도록 구성된다.
[0029] 광의 투과의 선택적인 허용은 원하는 가시화 모드에 기초할 수 있고, 원하는 가시화 모드는 증강 현실 모드, 가상 현실 모드, 블렌디드 현실 모드, 및 증강 및 가상 현실 모드들의 결합 중 하나이다.
[0030] 방법은 사용자가 완전 물리적 오브젝트들을 보도록 하기 위해서, 머리-장착 사용자 디스플레이 디바이스가 턴 오프될 때 외부 환경으로부터의 광의 완전한 투과를 허용하는 단계를 더 포함할 수 있다.
[0031] 방법은 특정 형태를 갖는 적어도 하나의 디스플레이 오브젝트와 연관된 광 빔을 사용자 눈들로 프로젝팅하는 단계 및 사용자가 외부 환경의 물리적 오브젝트들과 함께 디스플레이 오브젝트를 보도록 하기 위해서, 적어도 하나의 디스플레이 오브젝트의 특정 형태에 기초하여 외부 환경으로부터의 광의 투과를 선택적으로 허용하는 단계를 더 포함할 수 있다. 방법은 사용자만이 완전 가상적 오브젝트들을 보도록 하기 위해서 외부 환경으로부터의 광의 투과를 방지하는 단계를 더 포함할 수 있다.
[0032] 또 다른 실시예에서, 가상 세계 데이터를 포함하는 가상 세계내에서 둘이상의 사용자들이 상호작용할 수 있게 하는 방법은, 제 1 사용자가 제 1 로케이션에서 제 1 사용자 디바이스를 통해 가상 세계에 액세스하기 위한 원격 아바타(remote avatar)를 생성하는 단계, 제 1 사용자가 제 1 로케이션에서 제 1 사용자 디바이스를 통해 실제 지리적 로케이션(real geographical location)을 경험할 수 있도록 하기 위해, 실제 지리적 로케이션에 제 1 사용자의 원격 아바타를 배치하는 단계, 및 실제 지리적 로케이션에 배치된 원격 아바타를 통해서, 실제 지리적 로케이션에 있는 제 2 사용자 디바이스를 통해 가상 세계에 액세스하는 제 2 사용자와 상호작용하는 단계를 포함한다. 제 1 로케이션은 실제 지리적 로케이션과는 상이할 수도 있으며, 또는 제 1 로케이션은 실제 지리적 로케이션과 실질적으로 동일할 수도 있다.
[0033] 원격 아바타는 실제 지리적 로케이션에서 물리적 오브젝트에 대한 미리결정된 관계를 가질 수 있다. 원격 아바타는 실제 지리적 로케이션에서의 환경 단서(environmental cue)에 응답할 수 있다. 원격 아바타의 움직임(movement)은 제 1 사용자에 의해 제어될 수 있다. 원격 아바타는 실제 지리적 로케이션에서 제 2 사용자와 상호작용할 수 있다.
[0034] 또 다른 실시예에서, 방법은, 머리-장착 사용자 디스플레이 디바이스를 통해, 사용자의 눈들 각각의 시계 이미지(field of view image)를 캡처하는 단계, 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계, 추출된 포인트들의 세트를 특정 오브젝트에 연관시키는 단계, 및 특정 오브젝트의 연관된 포인트들의세트에 기초하여 상이한 오브젝트를 인지하는 단계를 포함한다.
[0035] 또 다른 실시예는 가상 세계 데이터를 포함하는 가상 세계내에서 둘 이상의 사용자들이 상호작용할 수 있게 하기 위한 시스템에 관한 것이며, 이 시스템은, 하나 이상의 컴퓨팅 디바이스들을 포함하는 컴퓨터 네트워크를 포함함고, 하나 이상의 컴퓨팅 디바이스들은 메모리, 프로세싱 회로, 및 메모리에 적어도 부분적으로 저장되고 가상 세계 데이터의 적어도 일부를 프로세싱하기 위해 프로세싱 회로에 의해 실행가능한 소프트웨어를 포함하고, 가상 세계 데이터의 적어도 제 1 부분은 제 1 사용자에 로컬적인 제 1 사용자 가상 세계로부터 기인(originate)하며, 컴퓨터 네트워크는 제 1 부분을 제 2 사용자에게 제시(presentation)하기 위해 사용자 디바이스에 전송하도록 동작가능하여, 제 2 사용자가 제 2 사용자의 로케이션으로부터 제 1 부분을 경험할 수 있고, 그로 인해서 제 1 사용자 가상 세계의 양상들이 제 2 사용자에게 효과적으로 전달될 수 있다. 제 1 사용자 및 제 2 사용자는 상이한 물리적 로케이션들 또는 실질적으로 동일한 물리적 로케이션에 있을 수 있다. 가상 세계의 적어도 일부는 가상 세계 데이터에서의 변화에 응답하여 변하도록 구성될 수 있다. 가상 세계의 적어도 일부는 사용자 디바이스에 의해 감지된 물리적 오브젝트에 응답하여 변하도록 구성될 수 있다. 가상 세계 데이터에서의 변화는 물리적 오브젝트와의 미리결정된 관계를 갖는 가상 오브젝트를 표현할 수 있다. 가상 세계 데이터에서의 변화는 미리결정된 관계에 따른 제 2 사용자에게의 제시를 위해 제 2 사용자 디바이스에 제시될 수 있다. 가상 세계는 컴퓨터 서버 또는 사용자 디바이스 중 적어도 하나에 의해 렌더링되게 동작가능할 수 있다. 가상 세계는 2-차원 포맷으로 제시될 수 있다. 가상 세계는 3-차원 포맷으로 제시될 수 있다. 사용자 디바이스는 증강 현실 모드에서 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 사용자 디바이스는 가상 현실 모드에서 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 사용자 디바이스는 증강 및 가상 현실 모드의 조합으로 사용자와 가상 세계 간의 상호작용을 가능하게 하기 위한 인터페이스를 제공하도록 동작가능할 수 있다. 가상 세계 데이터는 데이터 네트워크를 통해 전송될 수 있다. 컴퓨터 네트워크는 사용자 디바이스로부터 가상 세계 데이터의 적어도 일부를 수신하도록 동작가능할 수 있다. 사용자 디바이스로 송신된 가상 세계 데이터의 적어도 일부는 가상 세계의 적어도 일부를 생성하기 위한 명령들을 포함할 수 있다. 가상 세계 데이터의 적어도 일부는 프로세싱 또는 분배 중 적어도 하나를 위해 게이트웨이로 송신될 수 있다. 하나 이상의 컴퓨터 서버들 중 적어도 하나는 게이트웨이에 의해 분배되는 가상 세계 데이터를 프로세싱하도록 동작가능할 수 있다.
[0036] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 장치에 관한 것이며, 원격 아바타들은 음성변화(voice inflection) 및 안면 인식 소프트웨어로부터의 선택적 입력을 갖는 웨어러블(wearable) 디바이스상의 데이터에 적어도 부분적으로 기초하여 애니메이팅된다.
[0037] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 카메라 포즈 또는 뷰포인트 포지션 및 벡터는 세계 섹터(world sector)의 어디에든 배치될 수 있다.
[0038] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 세계들 또는 이들의 부분들은 다양한 그리고 선택가능한 스케일들에서 사용자들을 관찰하도록 렌더링될 수 있다.
[0039] 또 다른 실시예는 가상 및/또는 증강 사용자 경험을 위한 시스템에 관한 것이며, 태깅된 이미지들을 포즈하는 것 이외에, 포인트들 또는 파라메트릭 라인들(parametric lines)과 같은 피처들(features)은 세계 모델에 대한 베이스 데이터로서 이용될 수 있으며, 이 세계 모델로부터, 소프트웨어 로봇들 또는 오브젝트 인식기(recognizer)들은 실세계 오브젝트들의 파라메트릭 표현들을 생성하는데 이용될 수 있고, 분할된(segmented) 오브젝트들 및 세계 모델의 상호 포함(mutual inclusion)을 위해 소스 피처들을 태깅한다.
[0040] 본 발명의 추가의 그리고 다른 목적들, 피처들 및 장점들은 상세한 설명, 도면들 및 청구항들에 설명된다.
[0041] 도 1은 다수의 사용자들에 대한 상호작용 가상 또는 증강 현실 환경을 가능하게 하기 위해 개시된 시스템의 대표적인 실시예를 예시한다.
[0042] 도 2는 도 1에 예시된 시스템과 상호작용하기 위한 사용자 디바이스의 예를 예시한다.
[0043] 도 3은 모바일, 웨어러블 사용자 디바이스의 예시적 실시예를 예시한다.
[0044] 도 4는, 도 3의 모바일, 웨어러블 사용자 디바이스가 증강 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0045] 도 5는, 도 3의 모바일, 웨어러블 사용자 디바이스가 가상 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0046] 도 6은, 도 3의 모바일, 웨어러블 사용자 디바이스가 블렌딩된 가상 인터페이스 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0047] 도 7은 일 실시예를 예시하며, 여기서 상이한 지리적 로케이션들 각각에 로케이팅되는 2명의 사용자들은 그들 각각의 사용자 디바이스들을 통해 다른 사용자 및 공통 가상 세계와 상호작용한다.
[0048] 도 8은 일 실시예를 예시하며, 도 7의 실시예는 햅틱 디바이스의 사용을 포함하도록 확장된다.
[0049] 도 9a는, 혼합된 모드 인터페이싱의 예를 예시하며, 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계와 상호작용하며 제 2 사용자는 가상 현실 모드에서 동일한 디지털 세계와 상호작용한다.
[0050] 도 9B는 혼합 모드 인터페이싱의 다른 예를 도시하는데, 여기서 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계를 인터페이싱하고 있고 제 2 사용자는 증강 현실 모드에서 동일한 디지털 세계를 인터페이싱하고 있다.
[0051] 도 10은 증강 현실 모드에서 시스템을 인터페이싱할 때 사용자의 뷰의 예시적인 설명을 도시한다.
[0052] 도 11은 사용자가 증강 현실 모드에서 시스템을 인터페이싱하고 있을 때 물리적 오브젝트에 의해 트리거링된 가상 오브젝트를 보여주는 사용자의 뷰의 예시적인 설명을 도시한다.
[0053] 도 12는 증강 및 가상 현실 통합 구성의 일 실시예를 도시하며, 증강 현실 경험 중인 일 사용자는 가상 현실 경험에서 다른 사용자의 존재를 시각화한다.
[0054] 도 13은 시간 및/또는 컨틴전시 이벤트 기반 증강 현실 경험 구성의 일 실시예를 도시한다.
[0055] 도 14는 가상 및/또는 증강 현실 경험들에 적합한 사용자 디스플레이 구성의 일 실시예를 도시한다.
[0056] 도 15는 로컬 및 클라우드 기반 컴퓨팅 코디네이션의 일 실시예를 도시한다.
[0057] 도 16은 등록 구성의 다양한 양상들을 도시한다.
도 17은 일 게이밍 실시예에 따른 가상 및/또는 증강 현실 시스템의 디지털 세계와 가족 상호작용의 예시를 도시한다.
도 18은 도 17의 사용자에 의해 보여지는 디지털 세계의 환경의 사용자 뷰의 예시적인 설명을 도시한다.
도 19는 웨어러블 사용자 디바이스를 통해 동일한 디지털 세계와 상호작용하는 도 17의 사용자들에 의해 보여지는 물리적 환경에서의 사용자 경험을 도시한다.
도 20은 도 19의 사용자의 사용자 뷰의 예시적인 설명을 도시한다.
도 21은, 도 17의 사용자들에 의해 보여지는 물리적 환경에 다른 사용자가 또한 존재하고, 모바일 디바이스를 통해 도 17 및 도 19의 사용자들의 동일한 디지털 세계와 상호작용하는 다른 사용자 뷰의 예시적인 설명을 도시한다.
도 22는 도 17 내지 21의 환경의 사용자의 새의 눈 뷰의 예시적인 설명을 도시한다.
도 23은 가상 및/또는 증강 현실 시스템과 상호작용하는 복수의 사용자들의 예시적인 시나리오를 도시한다.
도 24A는 도 1에 도시된 시스템과 상호작용하기 위한 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 24B는 제거 가능하고 강화 콘솔에 동작 가능하게 커플링된 도 24A의 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 25는 개략적인 로컬화의 일 실시예를 도시한다.
[0042] 도 2는 도 1에 예시된 시스템과 상호작용하기 위한 사용자 디바이스의 예를 예시한다.
[0043] 도 3은 모바일, 웨어러블 사용자 디바이스의 예시적 실시예를 예시한다.
[0044] 도 4는, 도 3의 모바일, 웨어러블 사용자 디바이스가 증강 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0045] 도 5는, 도 3의 모바일, 웨어러블 사용자 디바이스가 가상 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0046] 도 6은, 도 3의 모바일, 웨어러블 사용자 디바이스가 블렌딩된 가상 인터페이스 모델에서 동작할 때 사용자에 의해 보여지는 오브젝트들의 예를 예시한다.
[0047] 도 7은 일 실시예를 예시하며, 여기서 상이한 지리적 로케이션들 각각에 로케이팅되는 2명의 사용자들은 그들 각각의 사용자 디바이스들을 통해 다른 사용자 및 공통 가상 세계와 상호작용한다.
[0048] 도 8은 일 실시예를 예시하며, 도 7의 실시예는 햅틱 디바이스의 사용을 포함하도록 확장된다.
[0049] 도 9a는, 혼합된 모드 인터페이싱의 예를 예시하며, 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계와 상호작용하며 제 2 사용자는 가상 현실 모드에서 동일한 디지털 세계와 상호작용한다.
[0050] 도 9B는 혼합 모드 인터페이싱의 다른 예를 도시하는데, 여기서 제 1 사용자는 블렌딩된 가상 인터페이스 모드에서 디지털 세계를 인터페이싱하고 있고 제 2 사용자는 증강 현실 모드에서 동일한 디지털 세계를 인터페이싱하고 있다.
[0051] 도 10은 증강 현실 모드에서 시스템을 인터페이싱할 때 사용자의 뷰의 예시적인 설명을 도시한다.
[0052] 도 11은 사용자가 증강 현실 모드에서 시스템을 인터페이싱하고 있을 때 물리적 오브젝트에 의해 트리거링된 가상 오브젝트를 보여주는 사용자의 뷰의 예시적인 설명을 도시한다.
[0053] 도 12는 증강 및 가상 현실 통합 구성의 일 실시예를 도시하며, 증강 현실 경험 중인 일 사용자는 가상 현실 경험에서 다른 사용자의 존재를 시각화한다.
[0054] 도 13은 시간 및/또는 컨틴전시 이벤트 기반 증강 현실 경험 구성의 일 실시예를 도시한다.
[0055] 도 14는 가상 및/또는 증강 현실 경험들에 적합한 사용자 디스플레이 구성의 일 실시예를 도시한다.
[0056] 도 15는 로컬 및 클라우드 기반 컴퓨팅 코디네이션의 일 실시예를 도시한다.
[0057] 도 16은 등록 구성의 다양한 양상들을 도시한다.
도 17은 일 게이밍 실시예에 따른 가상 및/또는 증강 현실 시스템의 디지털 세계와 가족 상호작용의 예시를 도시한다.
도 18은 도 17의 사용자에 의해 보여지는 디지털 세계의 환경의 사용자 뷰의 예시적인 설명을 도시한다.
도 19는 웨어러블 사용자 디바이스를 통해 동일한 디지털 세계와 상호작용하는 도 17의 사용자들에 의해 보여지는 물리적 환경에서의 사용자 경험을 도시한다.
도 20은 도 19의 사용자의 사용자 뷰의 예시적인 설명을 도시한다.
도 21은, 도 17의 사용자들에 의해 보여지는 물리적 환경에 다른 사용자가 또한 존재하고, 모바일 디바이스를 통해 도 17 및 도 19의 사용자들의 동일한 디지털 세계와 상호작용하는 다른 사용자 뷰의 예시적인 설명을 도시한다.
도 22는 도 17 내지 21의 환경의 사용자의 새의 눈 뷰의 예시적인 설명을 도시한다.
도 23은 가상 및/또는 증강 현실 시스템과 상호작용하는 복수의 사용자들의 예시적인 시나리오를 도시한다.
도 24A는 도 1에 도시된 시스템과 상호작용하기 위한 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 24B는 제거 가능하고 강화 콘솔에 동작 가능하게 커플링된 도 24A의 모바일 통신 디바이스의 예시적인 실시예를 도시한다.
도 25는 개략적인 로컬화의 일 실시예를 도시한다.
[0058] 도 1을 참조하면, 시스템(100)은 이하에 설명된 프로세스들을 구현하기 위한 전형적인 하드웨어이다. 이 전형적인 시스템은 하나 이상의 고 대역폭 인터페이스들(115)을 통해 연결된 하나 이상의 컴퓨터 서버들(110)로 구성된 컴퓨팅 네트워크(105)를 포함한다. 컴퓨팅 네트워크의 서버들은 콜로케이팅될 필요는 없다. 하나 이상의 서버들(110) 각각은 프로그램 명령들을 실행하기 위한 하나 이상의 프로세서들을 포함한다. 서버들은 또한, 프로그램 명령들의 지시 하에 서버들에 의해 실행되고 있는 프로세스들에 의해 사용 및/또는 생성되는 프로그램 명령들 및 데이터를 저장하기 위한 메모리를 포함한다.
[0059] 컴퓨팅 네트워크(105)는 하나 이상의 데이터 네트워크 연결들(130)을 통해 서버들(110) 사이에서 그리고 서버들과 하나 이상의 사용자 디바이스들(120) 사이에서 데이터를 통신한다. 이러한 데이터 네트워크들의 예들은, 예를 들어, 인터넷으로 흔히 지칭되는 많은 이러한 네트워크들의 상호 접속을 비롯해, 임의의 그리고 모든 타입의 공중 및 개인 데이터 네트워크 ―둘 모두 모바일 및 유선임―를 제한 없이 포함한다. 특정 미디어, 토폴로지 또는 프로토콜이 도면에 의해 암시되는 것으로 의도되지 않는다.
[0060] 사용자 디바이스들은 컴퓨팅 네트워크(105) 또는 서버들(110) 중 임의의 서버와 직접 통신하도록 구성된다. 대안적으로, 사용자 디바이스들(120)은 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 사이에서 데이터를 통신하기 위해 및/또는 데이터를 프로세싱하기 위해 특별하게 프로그래밍된 로컬 게이트웨이(140)를 통해 원격 서버들(110)과 그리고 선택적으로 다른 사용자 디바이스들과 로컬하게 통신한다.
[0061] 도시된 바와 같이, 게이트웨이(140)는 개별 하드웨어 컴포넌트로서 구현되고, 이는 소프트웨어 명령들을 실행하기 위한 프로세서 및 소프트웨어 명령들 및 데이터를 저장하기 위한 메모리를 포함한다. 게이트웨이는 컴퓨팅 네트워크(105)를 포함하는 서버들(110)과 통신하기 위해 데이터 네트워크에 대해 자신 고유의 유선 및/또는 무선 접속을 갖는다. 대안적으로, 게이트웨이(140)는 사용자에 의해 운반되거나 착용되는 사용자 디바이스(120)에 통합될 수 있다. 예를 들어, 게이트웨이(140)는 사용자 디바이스(120)에 포함된 프로세서 상에 장착되고 실행되는 다운로드 가능한 소프트웨어 애플리케이션으로서 구현될 수 있다. 게이트웨이(140)는 일 실시예에서, 데이터 네트워크(130)를 통해 컴퓨팅 네트워크(105)에 하나 이상의 사용자 액세스를 제공한다.
[0062] 서버들(110) 각각은 예를 들어, 데이터 및 소프트웨어 프로그램들을 저장하기 위한 워킹 메모리 및 저장소, 프로그램 명령들을 실행하기 위한 마이크로프로세서들, 그래픽 프로세서들 및 그래픽들, 이미지, 비디오, 오디오 및 멀티미디어 파일들을 렌더링 및 생성하기 위한 다른 특별한 프로세서들을 포함한다. 컴퓨팅 네트워크(105)는 또한 서버들(110)에 의해 액세스되거나, 사용되거나 또는 생성되는 데이터를 저장하기 위한 디바이스들을 포함할 수 있다.
[0063] 서버들 및 선택적으로 사용자 디바이스들(120) 및 게이트웨이들(140) 상에서 실행되는 소프트웨어 프로그램들은 사용자들이 사용자 디바이스들(120)로 상호작용하는 디지털 세계(또한 본 명세서에서 가상 세계로 불림)를 생성하도록 사용된다. 디지털 세계는, 사용자 디바이스(120)를 통해 사용자들이 경험하고 상호작용하도록 사용자에게 제공될 수 있는 가상의, 비 실존 엔티티들, 환경들 및 상황들을 설명 및/또는 정의하는 데이터 및 프로세스들에 의해 표현된다. 예를 들어, 사용자에 의해 뷰잉되거나 경험되는 장면에서 예시될 때 물리적으로 제시되는 것으로 나타날 오브젝트, 엔티티 또는 아이템의 일부 타입은 그 출현, 그 거동, 사용자가 어떻게 그것과 상호작용하도록 허용되는지 그리고 다른 특성들의 설명을 포함할 수 있다. 가상 세계(가상 오브젝트들을 포함)의 환경을 생성하기 위해 사용되는 데이터는, 예를 들어, 대기 데이터, 지형 데이터, 날씨 데이터, 온도 데이터, 로케이션 데이터, 및 가상 환경을 정의 및/또는 설명하기 위해 사용되는 다른 데이터를 포함할 수 있다. 부가적으로, 가상 세계의 동작을 통제하는 다양한 조건들을 정의하는 데이터는, 예를 들어, 물리적 법칙, 시간, 공간 관계들 및 가상 세계(가상 오브젝트들을 포함함)의 동작을 통제하는 다양한 조건들을 정의 및/또는 생성하도록 사용될 수 있는 다른 데이터를 포함할 수 있다.
[0064] 엔티티, 오브젝트, 조건, 특성, 거동 또는 디지털 세계의 다른 특징은, 문맥이 다르게 지시하지 않는 한, 오브젝트(예를 들어, 디지털 오브젝트, 가상 오브젝트, 렌더링된 물리적 오브젝트 등)로서 본 명세서에서 총칭적으로 지칭될 것이다. 오브젝트들은 빌딩, 식물, 차량, 사람, 동물, 생물, 기계, 데이터, 비디오, 텍스트, 사진 및 다른 사용자들을 포함하지만 이에 제한되지 않는 임의의 타입의 애니메니트(animate) 또는 인애니메이트(inanimate) 오브젝트일 수 있다. 오브젝트들은 또한 물리적 세계에서 실제로 존재하는 아이템들, 거동들, 또는 조건들에 대한 정보를 저장하기 위해 디지털 세계에서 정의된다. 엔티티, 오브젝트 또는 아이템을 설명 또는 정의하거나 그 현재 상태를 저장하는 데이터는 일반적으로 본 명세서에서 오브젝트 데이터로 지칭된다. 이러한 데이터는, 사용자가 사용자 디바이스를 통해 경험하도록 적절한 방식으로 오브젝트를 렌더링하고 오브젝트의 인스턴스를 예시하기 위해 서버(110)에 의해, 또는 구현에 따라 게이트웨이(140) 또는 사용자 디바이스(120)에 의해 프로세싱된다.
[0065] 디지털 세계를 개발 및/또는 큐레이팅하는 프로그래머들은 오브젝트, 및 이들이 예시되는 조건들을 생성 및 정의한다. 그러나 디지털 세계는 다른 사람들이 오브젝트를 생성 또는 변경하게 할 수 있다. 일단 오브젝트가 예시되면, 오브젝트의 상태는 디지털 세계를 경험하는 한 명 이상의 사용자들에 의해 변경, 제어 또는 조작이 허용될 수 있다.
[0066] 예를 들어, 일 실시예에서, 디지털 세계의 개발, 생산 및 관리는 일반적으로 한 명 이상의 시스템 관리 프로그래머들에 의해 제공된다. 일부 실시예들에서, 이는 디지털 세계에서 스토리 라인들, 테마들 및 이벤트들을 개발, 설계 및/또는 실행하는 것은 물론, 이벤트들 및 미디어 이를테면, 예를 들어, 필름, 디지털, 네트워크, 모바일, 증강 현실 및 라이브 엔터테인먼트의 다양한 형태를 통한 이야기의 분배를 포함할 수 있다. 시스템 관리 프로그래머들은 또한 디지털 세계의 기술적 관리, 조정 및 큐레이션 및 그와 관련된 사용자 커뮤니티들은 물론, 전형적으로 네트워크 관리 담당자에 의해 수행되는 다른 태스크들을 핸들링할 수 있다.
[0067] 사용자들은, 일반적으로 사용자 디바이스(120)로서 나타낸, 어떠한 타입의 로컬 컴퓨팅 디바이스를 이용하여, 하나 이상의 디지털 세계들과 상호작용한다. 그러한 사용자 디바이스들의 예들은, 스마트 폰, 태블릿 디바이스, HUD(heads-up display), 게이밍 콘솔, 또는 데이터를 통신할 수 있고 사용자에 대한 인터페이스 또는 디스플레이를 제공할 수 있는 임의의 다른 디바이스 뿐만 아니라, 그러한 디바이스들의 결합들을 포함하지만, 이것들로 제한되지 않는다. 일부 실시예들에서, 사용자 디바이스(120)는, 예를 들어, 키보드, 마우스, 조이스틱, 게이밍 컨트롤러, 햅틱 인터페이스 디바이스(haptic interface device), 모션 캡처 컨트롤러와 같은 로컬 주변 또는 입력/출력 컴포넌들, Leap Motion, Inc.로부터 입수가능한 것들 또는 Kinect(RTM)의 상표명으로 Microsoft로부터 입수가능한 것들과 같은 광학 트랙킹 디바이스, 오디오 장비, 보이스 장비, 프로젝터 시스템, 3D 디스플레이 및 홀로그래픽 3D 컨택 렌즈를 포함할 수 있거나, 또는 이들과 통신할 수 있다.
[0068] 시스템(100)과 상호작용하기 위한 사용자 디바이스(120)의 예가 도 2에 도시된다. 도 2에 나타낸 예시적인 실시예에서, 사용자(210)는 스마트 폰(220)을 통해 하나 이상의 디지털 세계들을 인터페이싱할 수 있다. 스마트 폰(220) 상에 저장되어 실행되는 소프트웨어 애플리케이션(230)에 의해 게이트웨이가 구현될 수 있다. 이러한 특정 예에서, 데이터 네트워크(130)는 사용자 디바이스(즉, 스마트 폰(220))를 컴퓨터 네ㅌ워크(105)에 접속시키는 무선 이동 네트워크를 포함한다.
[0069] 바람직한 실시예의 일 구현에서, 시스템(100)은 많은 수의 동시적(simultaneous) 사용자들(예를 들어, 수백만의 사용자들)을 지원할 수 있는 바, 각 사용자는 어떠한 타입의 사용자 디바이스(120)를 이용하여, 동일한 디지털 세계를 인터페이싱하거나, 또는 다수의 디지털 세계들을 인터페이싱한다.
[0070] 사용자 디바이스는, 사용자에게 제시되는 다른 사용자들 및 오브젝트들(현실 또는 가상)을 포함하여, 서버들(110)에 의해 발생되는 디지털 세계와 사용자 간의, 시각적(visual), 청각적(audible), 및/또는 물리적 상호작용을 가능하게 하기 위한 인터페이스를 사용자에게 제공한다. 인터페이스는 사용자에게, 볼 수 있거나, 들을 수 있거나, 또는 그렇지 않으면 감지될 수 있는 렌더링된 장면, 및 그 장면과 실시간으로 상호작용할 수 있는 능력을 제공한다. 렌더링된 장면과 사용자가 상호작용하는 방식은, 사용자 디바이스의 성능들에 의해 지시될(dictated) 수 있다. 예를 들어, 사용자 디바이스가 스마트 폰인 경우, 사용자 상호작용은 사용자가 터치 스크린을 접촉함으로써 구현될 수 있다. 다른 예에서, 사용자 디바이스가 컴퓨터 또는 게이밍 콘솔인 경우, 사용자 상호작용은 키보드 또는 게이밍 컨트롤러를 이용하여 구현될 수 있다. 사용자 디바이스들은 사용자 상호작용을 가능하게 하는 부가적인 컴포넌트들, 이를 테면 센서들을 포함할 수 있으며, 여기서, 센서들에 의해 검출되는 (제스처들을 포함하는) 정보 및 오브젝트들은, 사용자 디바이스를 이용한 가상 세계와의 사용자 상호작용을 나타내는 입력으로서 제공될 수 있다.
[0071] 렌더링된 장면은, 예를 들어, 2-차원 또는 3-차원의 시각적 디스플레이들(프로젝션들을 포함함), 사운드, 및 햅틱 또는 촉각적 피드백과 같은 다양한 포맷들로 제시될 수 있다. 렌더링된 장면은, 예를 들어, 증강 현실, 가상 현실, 및 이들의 결합들을 포함하는 하나 이상의 모드들로 사용자에 의해 인터페이싱될 수 있다. 렌더링된 장면의 포맷 뿐만 아니라 인터페이스 모드들은, 다음의 것들: 사용자 디바이스, 데이터 프로세싱 성능, 사용자 디바이스 접속성, 네트워크 용량 및 시스템 작업부하(workload) 중에서 하나 이상에 의해 지시될 수 있다. 많은 수의 사용자들이 디지털 세계들과 동시에 상호작용하게 하는 것, 및 데이터 교환의 실시간 특성(nature)은, 컴퓨팅 네트워크(105), 서버들(110), 게이트웨이 컴포넌트(140)(선택적), 및 사용자 디바이스(120)에 의해 가능해진다.
[0072] 일 예에서, 컴퓨팅 네트워크(105)는, 고속 접속들(예를 들어, 고 대역폭 인터페이스들(115))을 통해 접속된 단일의 및/또는 멀티-코어 서버들(즉, 서버들(110))을 갖는 대규모(large-scale) 컴퓨팅 시스템으로 이루어진다. 컴퓨팅 네트워크(105)는 클라우드 또는 그리드 네트워크를 형성할 수 있다. 서버들 각각은 메모리를 포함하거나, 또는 디지털 세계의 오브젝트들을 생성, 설계, 변경, 또는 프로세싱하도록 데이터를 구현하기 위한 소프트웨어를 저장하기 위한 컴퓨터 판독가능한 메모리와 결합된다. 이들 오브젝트들 및 이들의 예시화들(instantiations)은 다이내믹할 수 있고, 존재하고 존재하지 않을 수 있고(come in and out of existence), 시간에 따라 달라질 수 있고, 다른 조건들에 응답하여 달라질 수 있다. 오브젝트들의 다이내믹 성능들의 예들이 일반적으로, 다양한 실시예들과 관련하여 본원에서 논의된다. 일부 실시예들에서, 시스템(100)을 인터페이싱하는 각각의 사용자는 또한, 하나 이상의 디지털 세계들 내의, 하나의 오브젝트, 및/또는 오브젝트들의 집합으로서 표현될 수 있다.
[0073] 컴퓨팅 네트워크(105) 내의 서버들(110)은 또한, 디지털 세계들 각각에 대한 컴퓨테이셔널 상태 데이터(computational state data)를 저장한다. 컴퓨테이셔널 상태 데이터(본원에서는 상태 데이터라고도 또한 지칭됨)는 오브젝트 데이터의 컴포넌트일 수 있으며, 일반적으로, 시간에 있어서의 주어진 인스턴스에서의 오브젝트의 인스턴스의 상태를 정의한다. 따라서, 컴퓨테이셔널 상태 데이터는 시간에 따라 달라질 수 있으며, 그리고 시스템(100)을 유지하는 하나 이상의 사용자들 및/또는 프로그래머들의 액션들에 의해 영향을 받을 수 있다. 사용자가 컴퓨테이셔널 상태 데이터(또는 디지털 세계들을 포함하는(comprising) 다른 데이터)에 영향을 줄 때, 사용자는 디지털 세계를 즉시 변경하거나 또는 다른 방식으로 조작한다. 디지털 세계가 다른 사용자들과 공유되거나 다른 사용자들에 의해 인터페이싱되는 경우, 사용자의 액션들은, 디지털 세계와 상호작용하는 다른 사용자들에 의해 경험되는 것에 영향을 미칠 수 있다. 따라서, 일부 실시예들에서, 하나의 사용자에 의해 행해지는 디지털 세계에 대한 변경이, 시스템(100)과 인터페이싱하는 다른 사용자들에 의해 경험될 것이다.
[0074] 일 실시예에서, 컴퓨팅 네트워크(105) 내의 하나 이상의 서버들(110)에 저장된 데이터는, 고속으로 그리고 낮은 레이턴시로, 하나 이상의 사용자 디바이스들(120) 및/또는 게이트웨이 컴포넌트들(140)에게 전송되거나 전개된다(deployed). 일 실시예에서, 서버들에 의해 공유되는 오브젝트 데이터는 완전할(complete) 수 있거나 또는 압축될 수 있으며, 그리고 사용자의 로컬 컴퓨팅 디바이스(예를 들어, 게이트웨이(140) 및/또는 사용자 디바이스(120))에 의해 렌더링되고 시각화되는 풀(full) 오브젝트 데이터를 사용자 측 상에서 재생성하기 위한 명령들을 포함한다. 컴퓨팅 네트워크(105)의 서버들(110) 상에서 실행하는 소프트웨어는, 일부 실시예들에서, 사용자의 특정의 디바이스 및 대역폭의 함수로써, 디지털 세계 내의 오브젝트들에 대해 자신이 발생시키고 특정 사용자의 디바이스(120)에 전송하는 데이터(또는 컴퓨팅 네트워크(105)에 의해 교환되는 임의의 다른 데이터)를 조정할(adapt) 수 있다. 예를 들어, 사용자가 사용자 디바이스(120)를 통해 디지털 세계와 상호작용할 때, 서버(110)는 사용자에 의해 사용되고 있는 디바이스의 구체적인 타입, 디바이스의 접속성 및/또는 서버와 사용자 디바이스 간에 이용가능한 대역폭을 인식할 수 있고, 사용자 상호작용을 최적화하기 위해 디바이스에 전달되고 있는 데이터를 적절하게 사이징(size)하고 밸런싱(balance)할 수 있다. 이것의 예는, 전송되는 데이터의 사이즈를 저 레졸루션 퀄리티(low resolution quality)로 감소시켜서, 저 레졸루션 디스플레이를 갖는 특정 사용자 디바이스 상에 데이터가 디스플레이될 수 있게 하는 것을 포함할 수 있다. 바람직한 실시예에서, 컴퓨팅 네트워크(105) 및/또는 게이트웨이 컴포넌트(140)는, 15 프레임/초 또는 그 초과로 동작하는 인터페이스를 제시하기에 충분한 레이트로, 그리고 고 선명 퀄리티(high definition quality) 또는 그 초과의 레졸루션으로 사용자 디바이스(120)에게 데이터를 전달한다.
[0075] 게이트웨이(140)는 하나 이상의 사용자들에게 컴퓨팅 네트워크(105)에 대한 로컬 접속을 제공한다. 일부 실시예들에서, 이는 사용자 디바이스(120) 또는 도 2에 도시된 것과 같은 다른 로컬 디바이스 상에서 실행되는 다운로드 가능한 소프트웨어 애플리케이션에 의해 구현될 수도 있다. 다른 실시예들에서, 이는 사용자 디바이스(120)와 통신하지만 이와 통합되거나 이에 부착되지 않은, 또는 사용자 디바이스(120)와 통합된 하드웨어 컴포넌트에 의해(프로세서를 갖는 컴포넌트 상에 저장된 적절한 소프트웨어/펌웨어와 함께) 구현될 수도 있다. 게이트웨이(140)는 데이터 네트워크(130)를 통해 컴퓨팅 네트워크(105)와 통신하며, 컴퓨팅 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 간의 데이터 교환을 제공한다. 아래 더 상세히 논의되는 바와 같이, 게이트웨이 컴포넌트(140)는 소프트웨어, 펌웨어, 메모리 및 프로세싱 회로를 포함할 수 있으며, 네트워크(105)와 하나 이상의 로컬 사용자 디바이스들(120) 간에 전달되는 데이터를 처리하는 것이 가능할 수도 있다.
[0076] 일부 실시예들에서, 게이트웨이 컴포넌트(140)는 사용자 디바이스(120)와 컴퓨터 네트워크(105) 간에 교환되는 데이터의 레이트를 모니터링하여 특정 사용자 디바이스(120)에 대한 최적 데이터 프로세싱 성능들을 허용하도록 조절한다. 예를 들어, 일부 실시예들에서, 게이트웨이(140)는 사용자 디바이스와 접속된 인터페이스를 통해 사용자에게 제시된 시야 너머에 있는 것들이라 하더라도, 디지털 세계의 정적 및 동적 양상들 모두를 버퍼링하고 다운로드한다. 이러한 실시예에서, 정적 오브젝트들의 인스턴스들(구조화된 데이터, 소프트웨어 구현된 방법들, 또는 둘 다)은 (게이트웨이 컴포넌트(140), 사용자 디바이스(120), 또는 둘 다에 로컬한) 메모리에 저장될 수도 있고, 컴퓨팅 네트워크(105) 및/또는 사용자의 디바이스(120)에 의해 제공되는 데이터로 표시되는 것과 같이, 로컬 사용자의 현재 포지션에 대해 참조된다. 예를 들어, 다른 사용자들 및/또는 로컬 사용자에 의해 제어되는 지능형 소프트웨어 에이전트들 및 오브젝트들을 포함할 수도 있는 동적 오브젝트들의 인스턴스들은 고속 메모리 버퍼에 저장된다. 사용자에게 제시된 장면 내에서 2-차원 또는 3-차원 오브젝트를 나타내는 동적 오브젝트들은 예를 들어, 움직이고 있지만 변하고 있지는 않은 정적 형태, 및 변하고 있는 동적 형태와 같은 컴포넌트 형태들로 나뉠 수 있다. 변하고 있는 동적 오브젝트 부분은 게이트웨이 컴포넌트(140)에 의해 관리되는 컴퓨팅 네트워크(105)를 통해 서버(110)로부터의 실시간 스레디드 고 우선순위 데이터 스트림으로 업데이트될 수 있다. 우선순위 스레디드 데이터 스트림의 일례로서, 사용자 눈의 60도 시야 이내의 데이터에는 더 주변적인 데이터보다 더 높은 우선순위가 주어질 수도 있다. 다른 예는 배경 내의 정적 오브젝트들보다 사용자의 시야 내의 동적 특징들 및/또는 오브젝트들에 우선순위를 두는 것을 포함한다.
[0077] 컴퓨팅 네트워크(105)와 사용자 디바이스(120) 간의 데이터 접속을 관리하는 것뿐만 아니라, 게이트웨이 컴포넌트(140)는 사용자 디바이스(120)에 제시될 수 있는 데이터를 저장 및/또는 프로세싱할 수도 있다. 예를 들어, 게이트웨이 컴포넌트(140)는 일부 실시예들에서, 컴퓨팅 네트워크(105)로부터 예를 들어, 사용자에 의한 감상을 위해 렌더링될 그래픽 오브젝트들을 기술하는 압축된 데이터를 수신하여, 컴퓨팅 네트워크(105)로부터 사용자 디바이스(120)로 송신되는 데이터 로드를 완화하기 위한 고급 렌더링 기술들을 수행할 수도 있다. 게이트웨이(140)가 개별 디바이스인 다른 예에서, 게이트웨이(140)는 프로세싱을 위해 데이터를 컴퓨팅 네트워크(105)에 송신하기보다는 오브젝트의 로컬 인스턴스에 대한 데이터를 저장 및/또는 프로세싱할 수도 있다.
[0078] 이제 도 3을 또한 참조하면, 사용자의 디바이스의 성능들에 의존할 수 있는 다양한 포맷들로 하나 이상의 사용자들이 디지털 세계들을 경험할 수도 있다. 일부 실시예들에서, 사용자 디바이스(120)는 예를 들어, 스마트폰, 태블릿 디바이스, 헤드업 디스플레이(HUD), 게임 콘솔 또는 웨어러블 디바이스를 포함할 수도 있다. 일반적으로, 사용자 디바이스는 디스플레이와 커플링되어, 디바이스 상의 메모리에 저장된 프로그램 코드를 실행하기 위한 프로세서, 및 통신 인터페이스를 포함할 것이다. 사용자 디바이스의 예시적인 실시예가 도 3에 예시되는데, 여기서 사용자 디바이스는 모바일 웨어러블 디바이스, 즉 머리-장착 디스플레이 시스템(300)을 포함한다. 본 개시의 한 실시예에 따르면, 머리-장착 디스플레이 시스템(300)은 사용자 인터페이스(302), 사용자-감지 시스템(304), 환경-감지 시스템(306) 및 프로세서(308)를 포함한다. 프로세서(308)는 도 3에서 머리-장착 시스템(300)과 별개인 고립된 컴포넌트로서 도시되지만, 대안적인 실시예에서 프로세서(308)는 머리-장착 시스템(300)의 하나 이상의 컴포넌트들과 통합될 수도 있고, 또는 예를 들어, 게이트웨이(140)와 같은 다른 시스템(100) 컴포넌트들에 통합될 수도 있다.
[0079] 사용자 디바이스는 사용자에게 디지털 세계와 상호 작용하여 이를 경험하기 위한 인터페이스(302)를 제시한다. 이러한 상호 작용은 사용자와 디지털 세계, 시스템(100)과 인터페이싱하는 하나 이상의 다른 사용자들, 및 디지털 세계 내의 오브젝트들을 수반할 수 있다. 인터페이스(302)는 일반적으로 이미지 및/또는 오디오 감각 입력(그리고 일부 실시예들에서는, 물리적 감각 입력)을 사용자에게 제공한다. 따라서 인터페이스(302)는 (도시되지 않은) 스피커들 그리고 일부 실시예들에서, 인간 시각 시스템의 더 자연스러운 특징들을 구현하는 입체적인 3D 감상 및/또는 3D 감상을 가능하게 할 수 있는 디스플레이 컴포넌트(303)를 포함할 수도 있다. 일부 실시예들에서, 디스플레이 컴포넌트(303)는 "오프" 설정일 때, 광학적 왜곡 또는 컴퓨팅 오버레이가 거의 내지는 전혀 없는, 사용자 주위 물리적 환경의 광학적으로 정확한 뷰를 가능하게 하는 (클리어 OLED와 같은) 투명 인터페이스를 포함할 수도 있다. 아래 더 상세히 논의되는 바와 같이, 인터페이스(302)는 다양한 시각/인터페이스 성능 및 기능을 허용하는 추가 설정들을 포함할 수도 있다.
[0080] 사용자-감지 시스템(304)은 일부 실시예들에서, 특정한 피처들, 특징들, 또는 시스템(300)을 착용한 개별 사용자와 관련된 정보를 검출하도록 동작 가능한 하나 이상의 센서들(310)을 포함할 수도 있다. 예를 들어, 일부 실시예들에서, 센서들(310)은 예를 들어, 동공 수축/팽창, 각각의 동공의 각도 측정/포지셔닝, 구화율, (눈 모양은 시간이 흐름에 따라 변화하므로) 눈 모양 및 다른 해부학적 데이터 중 하나 이상과 같은 사용자의 실시간 광학적 특징들/측정들을 검출할 수 있는 광학적 검출/스캐닝 회로 또는 카메라를 포함할 수도 있다. 이 데이터는 사용자의 감상 경험을 최적화하기 위해 머리-장착 시스템(300) 및/또는 인터페이스 시스템(100)에 의해 사용될 수 있는 정보(예를 들어, 사용자의 시각 초점)를 제공할 수도 있고 또는 이를 계산하는 데 사용될 수도 있다. 예를 들어, 일 실시예에서, 센서들(310)은 각각 사용자의 안구들 각각에 대한 동공 수축 레이트를 측정할 수 있다. 이 데이터는 프로세서(308)에(또는 게이트웨이 컴포넌트(140) 또는 서버(110)에) 송신될 수도 있으며, 여기서 데이터는 예를 들어, 인터페이스 디스플레이(303)의 밝기 설정에 대한 사용자의 반응을 결정하는 데 사용된다. 인터페이스(302)는 사용자의 반응에 따라, 예를 들어 사용자의 반응이 디스플레이(303)의 밝기 레벨이 너무 높다고 나타낸다면 디스플레이(303)를 어둡게 함으로써 조정될 수도 있다. 사용자-감지 시스템(304)은 위에서 논의하거나 도 3에 예시된 것들 이외의 다른 컴포넌트들을 포함할 수도 있다. 예를 들어, 일부 실시예들에서, 사용자-감지 시스템(304)은 사용자로부터 음성 입력을 수신하기 위한 마이크로폰을 포함할 수도 있다. 사용자 감지 시스템은 또한 하나 이상의 적외선 카메라 센서들, 하나 이상의 가시 스펙트럼 카메라 센서들, 구조화된 광 방사기들 및/또는 센서들, 적외선 광 방사기들, 코히어런트 광 방사기들 및/또는 센서들, 자이로스코프, 가속도계들, 자력계들, 근접각 센서들, GPS 센서들, 초음파 방사기들 및 검출기들 그리고 햅틱 인터페이스들을 포함할 수도 있다.
[0081] 환경-감지 시스템(306)은, 사용자 주변의 물리적 환경으로부터 데이터를 획득하기 위한 하나 이상의 센서들(312)을 포함한다. 센서들에 의해 검출된 정보 또는 오브젝트들은 사용자 디바이스에 입력으로서 제공될 수 있다. 몇몇 실시예들에서, 이러한 입력은 가상 세계와의 사용자 상호작용을 나타낼 수 있다. 예를 들면, 데스크 상에서 가상 키보드를 보는 사용자는, 사용자가 마치 가상 키보드 상에서 타이핑하는 것처럼 그의 손가락들로 제스처를 할 수 있다. 움직이는 손가락들의 모션은 센서들(312)에 의해 캡처될 수 있고 사용자 디바이스 또는 시스템에 입력으로서 제공될 수 있으며, 입력은 가상 세계를 변화시키거나 새로운 가상적 오브젝트들을 생성하는데 사용될 수 있다. 예를 들면, 손가락들의 모션은 (소프트웨어 프로그램을 사용하여) 타이핑으로서 인식될 수 있으며, 타이핑의 인식된 제스처는 가상 키보드 상의 가상 키들의 알려진 로케이션과 결합될 수 있다. 시스템은 그 후, 사용자(또는 시스템과 인터페이싱하는 다른 사용자들)에게 가상 모니터가 디스플레이되게 할 수 있으며, 가상 모니터는 사용자에 의해 타이핑되는 텍스트를 디스플레이한다.
[0082] 센서들(312)은, 예를 들면, 연속적으로 그리고/또는 간헐적으로 프로젝팅되는 적외선 구조 광(infrared structured light)을 통해, 장면 정보를 해석하기 위해, 예를 들면, 전체적으로 외측을 대면하는 카메라 또는 스캐너를 포함할 수 있다. 환경-감지 시스템(306)은, 정적인 오브젝트들, 동적인 오브젝트들, 사람들, 제스처들, 및 다양한 조명(lighting)을 포함하는 로컬 환경, 대기(atmospheric) 및 음향 조건들을 검출하고 등록함으로써, 사용자 주변의 물리적 환경에 대한 하나 이상의 엘리먼트들을 맵핑하기 위해 사용될 수 있다. 따라서, 몇몇 실시예들에서, 환경-감지 시스템(306)은 이미지 기반 3D 재현(reconstruction) 소프트웨어를 포함할 수 있으며, 이 소프트웨어는 로컬 컴퓨팅 시스템(예를 들면, 게이트웨이 컴포넌트(140) 또는 프로세서(308))에 내장되며, 센서들(312)에 의해 검출된 하나 이상의 오브젝트들 또는 정보를 디지털 방식으로 재현하도록 동작가능하다. 하나의 예시적인 실시예에서, 환경-감지 시스템(306)은 다음: (제스처 인식을 포함하는) 모션 캡처 데이터, 깊이 감지, 안면 인식, 오브젝트 인식, 고유한 오브젝트 피쳐 인식, 음성/오디오 인식 및 프로세싱, 음향 소스 국소화(localization), 노이즈 감소, 적외선 또는 유사한 레이저 프로젝션뿐만 아니라, 단색 및/또는 컬러 CMOS 센서들(또는 다른 유사한 센서들), 시야 센서들, 및 다양한 다른 광학-강화 센서들 중 하나 이상을 제공한다. 환경-감지 시스템(306)은, 도 3에 도시되거나 전술된 것들 이외의 다른 컴포넌트들을 포함할 수 있음이 인식되어야 한다. 예를 들면, 몇몇 실시예들에서, 환경-감지 시스템(306)은, 로컬 환경으로부터 오디오를 수신하기 위한 마이크로폰을 포함할 수 있다. 사용자 감지 시스템은 또한, 하나 이상의 적외선 카메라 센서들, 하나 이상의 가시 스펙트럼 카메라 센서들, 구조 광 방출기들 및/또는 센서들, 적외선 광 방출기들, 간섭광 방출기들 및/또는 센서 자이로들(sensors gyros), 가속도계들, 자력계들(magnetometers), 근접각 센서들, GPS 센서들, 초음파 방출기들과 검출기들 및 촉각 인터페이스들을 포함할 수 있다.
[0083] 전술된 바와 같이, 프로세서(308)는, 몇몇 실시예들에서, 헤드-장착 시스템(300)의 다른 컴포넌트들과 통합될 수 있거나, 인터페이스 시스템(100)의 다른 컴포넌트들과 통합될 수 있거나, 도 3에 도시된 바와 같은 격리된 디바이스(착용 가능하거나 사용자로부터 분리됨)일 수 있다. 프로세서(308)는, 물리적 유선 접속을 통해 또는 예를 들면, (휴대 전화 및 데이터 네트워크들 포함하는) 모바일 네트워크 접속들, Wi-Fi 또는 블루투스와 같은 무선 접속을 통해, 헤드-장착 시스템(300)의 다양한 컴포넌트들 및/또는 인터페이스 시스템(100)의 컴포넌트들에 접속될 수 있다. 프로세서(308)는, 메모리 모듈, 집적된 그리고/또는 부가적인 그래픽스 프로세싱 유닛, 무선 및/또는 유선 인터넷 접속, 및 소스(예를 들면, 컴퓨팅 네트워크(105), 사용자-감지 시스템(304), 환경-감지 시스템(306), 또는 게이트웨이 컴포넌트(140))로부터의 데이터를 이미지 및 오디오 데이터로 변형시킬 수 있는 코덱 및/또는 펌웨어를 포함할 수 있으며, 이미지들/비디오 및 오디오는 인터페이스(302)를 통해 사용자에게 제공될 수 있다.
[0084] 프로세서(308)는 헤드장착 시스템(300)의 다양한 컴포넌트들에 대한 데이터 프로세싱뿐만 아니라, 헤드-장착 시스템(300)과 게이트웨이 컴포넌트(140), 몇몇 실시예들에서는 컴퓨팅 네트워크(105) 사이의 데이터 교환을 핸들링한다. 예를 들면, 프로세서(308)는 사용자와 컴퓨팅 네트워크(105) 사이의 데이터 스트리밍을 프로세싱하고 버퍼링하는데 사용될 수 있으며, 그에 따라 매끄럽고 연속적이며 하이파이(high fidelity) 사용자 경험을 가능하게 한다. 몇몇 실시예들에서, 프로세서(308)는, 대략(anywhere) 320x240 해상도의 8 프레임/초 내지 고화질 해상도(1280x720)의 24 프레임/초 또는 그 초과, 이를테면 60-120 프레임/초 및 4k 해상도 및 그 초과(10k+ 해상도 및 50,000 프레임/초)를 달성하기에 충분한 레이트로 데이터를 프로세싱할 수 있다. 부가적으로, 프로세서(308)는, 컴퓨팅 네트워크(105)로부터 실시간으로 스트리밍되지 않고, 사용자에게 제공될 수 있는 데이터를 저장 및/또는 프로세싱할 수 있다. 예를 들면, 프로세서(308)는, 몇몇 실시예에서, 컴퓨팅 네트워크(105)로부터 압축된 데이터를 수신하고 진보된 랜더링 기법들(이를테면 조명 또는 쉐이딩)을 수행하여서, 컴퓨팅 네트워크(105)로부터 사용자 디바이스(120)로 전송된 데이터 부하를 완화시킬 수 있다. 다른 예시에서, 프로세서(308)는 게이트웨이 컴포넌트(140) 또는 컴퓨팅 네트워크(105)로 데이터를 전송하지 않고, 로컬 오브젝트 데이터를 저장 및/또는 프로세싱할 수 있다.
[0085] 헤드-장착 시스템(300)은, 몇몇 실시예들에서, 다양한 시각적/인터페이스 성능 및 기능성을 허용하는, 다양한 설정들 또는 모드들을 포함할 수 있다. 모드들은 사용자에 의해 수동으로, 또는 헤드-장착 시스템(300)의 컴포넌트들 또는 게이트웨이 컴포넌트(140)에 의해 자동으로 선택될 수 있다. 전술된 바와 같이, 헤드장착 시스템(300)의 일례는 "오프" 모드를 포함하며, 인터페이스(302)는 어떠한 디지털 또는 가상 컨텐츠도 실질적으로 제공하지 않는다. 오프 모드에서, 디스플레이 컴포넌트(303)는 투명할 수 있으며, 그에 따라 광학적 뒤틀림 또는 컴퓨팅 오버레이가 거의 내지 전혀(little-to-no) 없이, 사용자 주변의 물리적 환경의 시야(view)를 광학적으로 수정하는 것을 가능하게 한다.
[0086] 하나의 예시적 실시예에서, 헤드-장착 시스템(300)은 "증대된(augmented)" 모드를 포함하며, 인터페이스(302)는 증대된 현실 인터페이스를 제공한다. 증대된 모드에서, 인터페이스 디스플레이(303)는 실질적으로 투명할 수 있으며, 그에 따라 사용자가 로컬의 물리적 환경을 보는 것을 허용한다. 동시에, 컴퓨팅 네트워크(105), 프로세서(308) 및/또는 게이트웨이 컴포넌트(140)에 의해 제공되는 가상 오브젝트 데이터가, 물리적 로컬 환경과 조합하여 디스플레이(303) 상에 제공된다.
[0087] 도 4는, 인터페이스(302)가 증대된 모드에서 동작중일 때, 사용자에 의해 보여지는 오브젝트들의 예시적인 실시예를 도시한다. 도 4에 도시된 바와 같이, 인터페이스(302)는 물리적 오브젝트(402) 및 가상적 오브젝트(404)를 제공한다. 도 4에 도시된 실시예에서, 물리적 오브젝트(402)는 사용자의 로컬 환경에 존재하는 현실의 물리적 오브젝트인 반면, 가상적 오브젝트(404)는 시스템(100)에 의해 생성되며 사용자 인터페이스(302)를 통해 디스플레이되는 오브젝트이다. 일부 실시예들에서, 가상 오브젝트(404)는 물리적 환경 내의 고정된 위치 또는 로케이션에 디스플레이될 수 있거나(예를 들면, 물리적 환경 내에 로케이팅된 특정 스트리스 사인(street sign) 바로 옆에 서 있는 가상적 원숭이), 인터페이스/디스플레이(303)에 대한 위치에 로케이팅된 오브젝트로서 사용자에게 디스플레이될 수 있다(예를 들면, 디스플레이(303)의 상부의 좌측 코너에서 볼 수 있는 가상적 시계 또는 온도계).
[0088] 일부 실시예들에서, 가상 오브젝트들은, 사용자의 시계 내부 또는 외부에 물리적으로 존재하는 오브젝트에 의해 큐 오프 또는 트리거되게 될 수 있다. 가상 오브젝트(404)는 물리적 오브젝트(402)에 의해 큐 오프 또는 트리거된다. 예를 들어, 물리적 오브젝트(402)는 실제로 의자일 수 있고, 가상 오브젝트(404)는 의자 위에 가상 동물이 서 있는 것처럼 사용자에게(그리고, 일부 실시예들에서는 시스템(100)을 인터페이싱하는 다른 사용자들에게) 디스플레이될 수 있다. 이러한 실시예에서, 환경-감지 시스템(306)은, 예를 들어, 프로세서(308)에 저장된 소프트웨어 및/또는 펌웨어를 이용하여, (센서들(312)에 의해 캡쳐된) 다양한 특징들 및/또는 형상 패턴들을 식별하여 물리적 오브젝트(402)를 의자로 식별할 수 있다. 예를 들어, 의자 최상부와 같은 이러한 인식된 형상 패턴들이 이용되어 가상 오브젝트(404)의 배치를 트리거할 수 있다. 다른 예들은, 벽들, 테이블들, 가구들, 차량들, 건물들, 사람들, 바닥들, 식물들, 동물들을 포함하고 - 볼 수 있는 임의의 오브젝트가 이용되어, 오브젝트 또는 오브젝트들과의 어떠한 관계에서 증강 현실 경험을 트리거할 수 있다.
[0089] 일부 실시예들에서, 트리거된 특정 가상 오브젝트(404)는, 사용자에 의해 선택되거나 머리-장착 시스템(300) 또는 인터페이스 시스템(100)의 다른 컴포넌트들에 의해 자동으로 선택될 수 있다. 추가적으로, 가상 오브젝트(404)가 자동으로 트리거되는 실시예들에서, 특정 가상 오브젝트(404)는, 가상 오브젝트(404)가 큐 오프되거나 트리거되는 특정 물리적 오브젝트(402)(또는 이의 특징)에 기초하여 선택될 수 있다. 예를 들어, 물리적 오브젝트가 풀 위에서 연장되는 다이빙 보드로 식별되면, 트리거된 가상 오브젝트는, 스노클링, 수영복, 부양 디바이스 또는 다른 관련 아이템들을 착용한 생명체일 수 있다.
[0090] 다른 예시적인 실시예에서, 머리-장착 시스템(300)은 "가상" 모드를 포함할 수 있고, 인터페이스(302)는 가상 현실 인터페이스를 제공한다. 가상 모드에서, 물리적 환경은 디스플레이(303)로부터 생략되고, 컴퓨팅 네트워크(105), 프로세서(308) 및/또는 게이트웨이 컴포넌트(140)에 의해 제공되는 가상 오브젝트 데이터가 디스플레이(303) 상에 제시된다. 물리적 환경의 생략은, 가시적 디스플레이(303)를 (예를 들어, 커버를 통해) 물리적으로 차단함으로써, 또는 인터페이스(302)의 특징부를 통해 달성될 수 있고, 디스플레이(303)는 불투명 세팅으로 전이된다. 가상 모드에서, 라이브 및/또는 저장된 가시적 및 오디오 감각이 인터페이스(302)를 통해 사용자에게 제시될 수 있고, 사용자는 인터페이스(302)의 가시적 모드를 통해 디지털 세계(디지털 오브젝트들, 다른 사용자들 등)를 경험하고 그와 상호작용한다. 따라서, 가상 모드에서 사용자에게 제공되는 인터페이스는, 가상의 디지털 세계를 포함하는 가상 오브젝트 데이터로 구성된다.
[0091] 도 5는, 머리-장착 인터페이스(302)가 가상 모드에서 동작하고 있는 경우 사용자 인터페이스의 예시적인 실시예를 예시한다. 도 5에 도시된 바와 같이, 사용자 인터페이스는 디지털 오브젝트들(510)로 구성되는 가상 세계(500)를 제시하고, 디지털 오브젝트들(510)은, 대기, 날씨, 지형, 건물들 및 사람들을 포함할 수 있다. 도 5에 예시되지 않지만, 디지털 오브젝트들은 또한, 예를 들어, 식물들, 차량들, 동물들, 생명체들, 머신들, 인공 지능, 로케이션 정보, 및 가상 세계(500)를 정의하는 임의의 다른 오브젝트 또는 정보를 포함할 수 있다.
[0092] 다른 예시적인 실시예에서, 머리-장착 시스템(300)은 "블렌디드" 모드를 포함할 수 있고, 머리-장착 시스템(300)의 다른 특징부들(뿐만 아니라 가상 및 증강 모드들의 특징부들)이 결합되어 하나 이상의 커스텀 인터페이스 모드들을 생성할 수 있다. 하나의 예시적인 커스텀 인터페이스 모드에서, 물리적 환경은 디스플레이(303)로부터 생략되고, 가상 오브젝트 데이터는 가상 모드와 유사한 방식으로 디스플레이(303) 상에 제시된다. 그러나, 이러한 예시적인 커스텀 인터페이스 모드에서, 가상 오브젝트들은 완전히 가상일 수 있거나(즉, 이들은 로컬 물리적 환경에 존재하지 않음), 이들은 물리적 오브젝트를 대신하여 인터페이스(302)에 가상 오브젝트로 렌더링된 실제 로컬 물리적 오브젝트들일 수 있다. 따라서, 이러한 특정한 커스텀 모드(본 명세서에서는 블렌디드 가상 인터페이스 모드로 지칭됨)에서, 라이브 및/또는 저장된 가시적 및 오디오 감각은 인터페이스(302)를 통해 사용자에게 제시될 수 있고, 사용자는, 완전히 가상인 오브젝트들 및 렌더링된 물리적 오브젝트들을 포함하는 디지털 세계를 경험하고 그와 상호작용한다.
[0093] 도 6은, 블렌디드 가상 인터페이스 모드에 따라 동작하는 사용자 인터페이스의 예시적인 실시예를 예시한다. 도 6에 도시된 바와 같이, 사용자 인터페이스는, 완전히 가상인 오브젝트들(610), 및 렌더링된 물리적 오브젝트들(620)(그렇지 않으면 장면에 물리적으로 존재하는 오브젝트들의 렌더링들)로 구성된 가상 세계(600)를 제시한다. 도 6에 예시된 예에 따르면, 렌더링된 물리적 오브젝트들(620)은 건물(620A), 지면(620B), 및 플랫폼(620C)을 포함하고, 오브젝트들이 렌더링된 것을 사용자에게 표시하기 위해 굵은 윤곽(630)으로 도시된다. 추가적으로, 완전히 가상인 오브젝트들(610)은 추가적인 사용자(610A), 구름들(610B), 태양(610C) 및 플랫폼(620C) 최상부 상의 화염들(610D)을 포함한다. 완전히 가상인 오브젝트들(610)은, 예를 들어, 대기, 날씨, 지형, 건물들, 사람들, 식물들, 차량들, 동물들, 생명체들, 머신들, 인공 지능, 로케이션 정보, 및 가상 세계(600)를 정의하고, 로컬 물리적 환경에 존재하는 오브젝트들로부터 렌더링되지 않은 임의의 다른 오브젝트 또는 정보를 포함할 수 있음을 인식해야 한다. 반대로, 렌더링된 물리적 오브젝트들(620)은 인터페이스(302)에 가상 오브젝트로 렌더링되는 실제 로컬 물리적 오브젝트들이다. 굵은 윤곽(630)은 사용자에게 렌더링된 물리적 오브젝트들을 표시하기 위한 일례를 표현한다. 따라서, 렌더링된 물리적 오브젝트들은, 여기에 개시된 것들과는 다른 방법들을 이용하여 이와 같이 표시될 수 있다.
[0094] 일부 실시예들에서, 렌더링된 물리적 오브젝트들(620)은, 환경-감지 시스템(306)의 센서들(312)을 이용하여 (또는 모션 또는 이미지 캡쳐 시스템과 같은 다른 디바이스들을 이용하여) 검출될 수 있고, 예를 들어, 프로세싱 회로(308)에 저장된 소프트웨어 및/또는 펌웨어에 의해 디지털 오브젝트 데이터로 변환될 수 있다. 따라서, 사용자가 블렌디드 가상 인터페이스 모드에서 시스템(100)과 인터페이싱할 때, 다양한 물리적 오브젝트들은 렌더링된 물리적 오브젝트들로 사용자에게 디스플레이될 수 있다. 이것은 특히, 사용자가 로컬 물리적 환경을 여전히 안전하게 이동할 수 있으면서 시스템(100)과 인터페이싱하도록 허용하기에 유용할 수 있다. 일부 실시예들에서, 사용자는 렌더링된 물리적 오브젝트들을 선택적으로 제거하거나 인터페이스 디스플레이(303)에 추가할 수 있다.
[0095] 다른 예시적인 커스텀 인터페이스 모드에서, 인터페이스 디스플레이(303)는 실질적으로 투명하여, 사용자가 로컬 물리적 환경을 시청할 수 있게 하는 한편, 다양한 로컬 물리적 오브젝트들이 렌더링된 물리적 오브젝트들로서 사용자에게 디스플레이된다. 이러한 예시적인 커스텀 인터페이스 모드는, 가상 오브젝트들 중 하나 이상이 이전 예에 대해 앞서 논의된 바와 같이 렌더링된 물리적 오브젝트들일 수 있다는 점을 제외하고는 증강 모드와 유사하다.
[0096] 상기 예시적인 커스텀 인터페이스 모드들은, 머리-장착 시스템(300)의 블렌디드 모드에 의해 제공될 수 있는 다양한 커스텀 인터페이스 모드들의 몇몇 예시적인 실시예들을 표현한다. 따라서, 본 개시의 범위로부터 벗어남이 없이, 앞서 논의된 다양한 모드들 및 머리-장착 시스템(300)의 컴포넌트들에 의해 제공되는 기능 및 특징부들의 다양한 조합으로부터 다양한 다른 커스텀 인터페이스 모드들이 생성될 수 있다.
[0097] 본원에 논의된 실시예들은 오프, 증강, 가상 또는 혼합 모드에서 동작하는 인터페이스를 제공하기 위한 몇몇의 예들만을 설명하고, 각각의 인터페이스 모드들의 범위 또는 콘텐트 또는 머리-장착 시스템(300)의 컴포넌트들의 기능을 제한하도록 의도되지 않는다. 예를 들면, 일부 실시예들에서, 가상적 오브젝트들은 사용자에게 디스플레이되는 데이터(시간, 온도, 고도 등), 시스템(100)에 의해 생성 및/또는 선택되는 오브젝트들, 사용자에 의해 생성 및/또는 선택되는 물체들, 또는 심지어 시스템(100)과 인터페이싱하는 다른 사용자들을 나타내는 오브젝트들을 포함할 수 있다. 부가적으로, 가상적 오브젝트들은 물리적 오브젝트들의 확장(예를 들면, 물리적 플랫폼으로부터 성장하는 가상 스컬프처)을 포함할 수 있고, 물리적 오브젝트에 시각적으로 접속되거나 물리적 오브젝트로부터 접속해제될 수 있다.
[0098] 가상적 오브젝트들은 또한 동적이고, 시간에 따라 변하고, 사용자 또는 다른 사용자들, 물리적 오브젝트들 및 다른 가상적 오브젝트들 사이의 다양한 관계들(예를 들면, 위치, 거리 등)에 따라 변하고 및/또는 머리-장착 시스템(300), 게이트웨이 컴포넌트(140) 또는 서버들(110)의 소프트웨어 및/또는 펌웨어에서 지정된 다른 변수들에 따라 변할 수 있다. 예를 들면, 특정 실시예들에서, 가상적 오브젝트는 사용자 디바이스 또는 그의 컴포넌트(예를 들면, 햅틱 디바이스가 가상 볼 옆에 배치될 때, 가상 볼이 이동함), 물리적 또는 구두의 사용자 상호작용, 다른 가상적 오브젝트들(예를 들면, 사용자가 가상 크리처에 접근할 때, 가상 크리처가 달아나거나, 사용자가 가상 크리처에 말할 때, 말함), 의자가 가상 크리처에 던져지고, 크리처가 의자를 피함(예를 들면, 제 1 가상 크리처가 제 2 가상 크리처를 볼 때, 제 1 가상 크리처가 반응함), 위치, 거리, 온도, 시간 등과 같은 물리적 변수들 또는 사용자의 환경 내의 다른 물리적 오브젝트들(예를 들면, 물리적 자동차가 지나갈 때, 물리적 거리에 서 있는 것으로 도시된 가상 크리처가 납작하게 됨)에 응답할 수 있다.
[0099] 본원에 논의되는 다양한 모드들은 머리-장착 시스템(300) 이외에 사용자 디바이스들에 적용될 수 있다. 예를 들면, 증강 현실 인터페이스는 모바일 폰 또는 태블릿 디바이스를 통해 제공될 수 있다. 그러한 실시예에서, 폰 또는 태블릿은 사용자 주변의 물리적 환경을 캡처하기 위해 카메라를 사용할 수 있고, 가상적 오브젝트들은 폰/태블릿 디스플레이 스크린 상에 오버레이될 수 있다. 부가적으로, 가상 모드는 폰/태블릿의 디스플레이 스크린 상에 디지털 세계를 디스플레이함으로써 제공될 수 있다. 따라서, 이러한 모드들은 본원에 논의된 폰/태블릿의 컴포넌트들뿐만 아니라 사용자 디바이스에 접속되거나 사용자 디바이스와 결합하여 사용되는 다른 컴포넌트들을 사용하여 앞서 설명된 다양한 고객 인터페이스 모드를 생성하도록 혼합될 수 있다. 예를 들면, 혼합된 가상 인터페이스 모드는 컴퓨터 모니터, 텔레비전 스크린, 또는 모션 또는 이미지 캡처 시스템과 결합하여 동작하는, 카메라가 없는 다른 디바이스에 의해 제공될 수 있다. 이러한 예시적인 실시예에서, 가상 세계는 모니터/스크린으로부터 보여질 수 있고, 오브젝트 검출 및 렌더링은 모션 또는 이미지 캡처 시스템에 의해 수행될 수 있다.
[00100] 도 7은 본 개시의 예시적인 실시예를 예시하고, 여기서 상이한 지리적 위치들에 위치된 2 명의 사용자들 각각은 그들 각각의 사용자 디바이스들을 통해 다른 사용자 및 공통의 가상 세계와 상호작용한다. 이러한 실시예에서, 2 명의 사용자들(701 및 702)은 가상 볼(703)(가상적 오브젝트의 타입)을 앞뒤로 던지고, 여기서 각각의 사용자는 가상 세계 상에서 다른 사용자의 영향을 관찰할 수 있다(예를 들면, 각각의 사용자는 다른 사용자에 의해 잡히는 방향들을 변경하는 가상 볼을 관찰함 등). 가상적 오브젝트들(즉, 가상 볼(703))의 이동 및 위치가 컴퓨팅 네트워크(105) 내의 서버들(110)에 의해 추적되기 때문에, 일부 실시예들에서, 시스템(100)은 각각의 사용자에 대해 볼(703)의 정확한 위치 및 도착 타이밍을 사용자들(701 및 702)로 통신할 수 있다. 예를 들면, 제 1 사용자(701)가 런던에 위치되면, 사용자(701)는 시스템(100)에 의해 계산된 속도로 볼(703)을 로스 엔젤레스에 위치된 제 2 사용자(702)에게 던질 수 있다. 따라서, 시스템(100)은 볼의 도착의 정확한 시간 및 위치를 제 2 사용자(702)로 (예를 들면, 이메일, 텍스트 메시지, 인스턴트 메시지 등을 통해) 통신할 수 있다. 이로써, 제 2 사용자(702)는 지정된 시간에 도착하고 위치된 볼(703)을 보기 위해 자신의 디바이스를 사용할 수 있다. 한 명 이상의 사용자들은 또한, 자신들이 지구를 통해 가상으로 이동할 때 하나 이상의 가상적 오브젝트들을 추적하기 위해 지오-로케이션 맵핑 소프트웨어(또는 유사한 것)를 사용할 수 있다. 이것의 예는 사용자가 하늘에서 위를 보는 3D-머리 장착 디스플레이를 착용하는 것 및 실세계 상에 겹쳐진 머리 위로 비행하는 가상 비행기를 보는 것일 수 있다. 가상 비행기는 사용자에 의해, 지능형 소프트웨어 에이전트들(사용자 디바이스 또는 게이트웨이 상에서 실행되는 소프트웨어), 로컬 및/또는 원격 및/또는 이들의 조합들 중 임의의 것일 수 있는 다른 사용자들에 의해 비해될 수 있다.
[00101] 이전에 언급된 바와 같이, 사용자 디바이스는 햅틱 인터페이스 디바이스를 포함할 수 있고, 여기서 햅틱 인터페이스 디바이스는, 햅틱 디바이스가 가상적 오브젝트에 대해 물리적, 공간적 위치에 위치된 것으로 시스템(100)에 의해 결정될 때, 피드백(예를 들면, 저항, 진동, 광들, 사운드 등)을 사용자에게 제공한다. 예를 들면, 도 7에 관련하여 앞서 설명된 실시예는, 도 8에 도시된 바와 같이, 햅틱 디바이스(802)의 사용을 포함하도록 확장될 수 있다.
[00102] 이러한 예시적인 실시예에서, 햅틱 디바이스(802)는 베이스볼 배트로서 가상 세계에 디스플레이될 수 있다. 볼(703)이 도착할 때, 사용자(702)는 가상 볼(703)에서 햅틱 디바이스(802)를 스윙할 수 있다. 햅틱 디바이스(802)에 의해 제공되는 가상 배트가 볼(703)과 "접촉"하게 되었다고 시스템(100)이 결정하면, 햅틱 디바이스(802)는 진동하거나 다른 피드백을 사용자(702)에게 제공할 수 있고, 가상 볼(703)은 볼 대 배트 접촉의 검출된 속도, 방향 및 타이밍에 따라 시스템(100)에 의해 계산된 방향으로 가상 배트를 맞고 튀어나올 수 있다.
[00103] 개시된 시스템(100)은, 일부 실시예들에서, 혼합된 모드 인터페이싱을 용이하게 할 수 있고, 여기서 다수의 사용자들은 상이한 인터페이스 모드들(예를 들면, 증강, 가상, 혼합 등)을 사용하여 공통의 가상 세계(및 그 안에 포함되는 가상적 오브젝트들)와 인터페이싱할 수 있다. 예를 들면, 가상 인터페이스 모드에서 특정 가상 세계와 인터페이싱하는 제 1 사용자는 증강 현실 모드에서 동일한 가상 세계와 인터페이싱하는 제 2 사용자와 상호작용할 수 있다.
[00104] 도 9a는, 제 1 사용자(901)(혼합 가상 인터페이스 모드에서 시스템(100)의 디지털 세계와 인터페이싱함) 및 제 1 오브젝트(902)가 완전한 가상 현실 모드에서 시스템(100)의 동일한 디지털 세계와 인터페이싱하는 제 2 사용자(922)에게 가상적 오브젝트들로서 보이는 예를 예시한다. 앞서 설명된 바와 같이, 혼합 가상 인터페이스 모드를 통해 디지털 세계와 인터페이싱할 때, 로컬, 물리적 오브젝트들(예를 들면, 제 1 사용자(901) 및 제 1 물체(902))은 가상 세계 내의 가상 물체들로서 스캐닝 및 렌더링될 수 있다. 제 1 사용자(901)는, 예를 들면, 모션 캡처 시스템 또는 유사한 디바이스에 의해 스캐닝되고, 가상 세계에서 제 1 렌더링된 물리적 오브젝트(931)로서 (모션 캡처 시스템, 게이트웨이 컴포넌트(140), 사용자 디바이스(120), 시스템 서버들(110) 또는 다른 디바이스들에 저장된 소프트웨어/펌웨어에 의해) 렌더링될 수 있다. 마찬가지로, 제 1 오브젝트(902)는, 예를 들면, 머리-장착 인터페이스(300)의 환경-감지 시스템(306)에 의해 스캐닝되고, 가상 세계에서 제 2 렌더링된 물리적 오브젝트(932)로서 (프로세서(308), 게이트웨이 컴포넌트(140), 시스템 서버들(110) 또는 다른 디바이스들에 저장된 소프트웨어/펌웨어에 의해) 렌더링될 수 있다. 제 1 사용자(901) 및 제 1 오브젝트(902)는 도 9a의 제 1 부분(910)에 물리적 세계의 물리적 오브젝트들로서 도시된다. 도 9a의 제 2 부분(920)에서, 제 1 사용자(901) 및 제 1 오브젝트(902)는, 그들이 완전한 가상 현실 모드에서 시스템(100)의 동일한 디지털 세계와 인터페이싱하는 제 2 사용자(922)에게 제 1 렌러딩된 물리적 오브젝트(931) 및 제 2 렌러딩된 물리적 오브젝트(932)로서 보이는 것으로 도시된다.
[00105] 도 9b는 혼합된 모드 인터페이싱의 다른 예시적인 실시예를 예시하며, 여기서 제 1 사용자(901)는 위에서 논의된 바와 같이 블렌딩된 가상 인터페이스 모드에서 디지털 세계를 인터페이싱하고, 제 2 사용자(922)는 증강 현실 모드에서 동일한 디지털 세계(및 제 2 사용자의 물리적, 로컬 환경(925))를 인터페이싱한다. 도 9b의 실시예에서, 제 1 사용자(901) 및 제 1 오브젝트(902)는 제 1 물리적 로케이션(915)에 로케이팅되고, 제 2 사용자(922)는 제 1 로케이션(915)으로부터 일부 거리만큼 분리되는 상이한 제 2 물리적 로케이션(925)에 로케이팅된다. 이 실시예에서, 가상 오브젝트들(931 및 932)은 제 2 로케이션(925)에 대응하는 가상 세계 내의 로케이션으로 실시간으로(또는 거의 실시간)으로 트랜스포즈될 수 있다. 따라서, 제 2 사용자(922)는 제 2 사용자의 물리적인 로컬 환경(925)을 관찰 및 상호작용할 수 있고, 랜더링된 물리적 오브젝트들(931 및 932)은 제 1 사용자(901) 및 제 1 오브젝트(902)를 각각 나타낸다.
[00106] 도 10은 증강된 현실 모드에서 시스템(100)과 인터페이싱할 때 사용자의 뷰의 예시적인 예시를 예시한다. 도 10에서 도시된 바와 같이, 사용자는 로컬의 물리적 환경(즉, 다수의 빌딩들을 갖는 도시)은 물론 가상 캐릭터(1010)(즉, 가상 오브젝트)를 본다. 가상 캐릭터(1010)의 포지션은 2D 시각적 타겟(예를 들어, 광고판, 엽서 또는 매거진) 및/또는 빌딩들, 차들, 사람들, 동물들, 비행기들, 빌딩의 부분들과 같은 하나 이상의 3D 기준 프레임 및/또는 임의의 3D 물리적 오브젝트, 가상 오브젝트, 및/또는 이들의 결합들에 의해 트리거될 수 있다. 도 10에서 예시된 예에서, 도시 내의 빌딩들의 알려진 포지션은 등록 기점들 및/또는 가상 캐릭터(1010)를 렌더링하기 위한 정보 및 핵심 피처들을 제공할 수 있다. 부가적으로, 빌딩들에 대한 사용자의 지리공간 로케이션(예를 들어, GPS, 태도/포지션 센서들 등에 의해 제공됨) 또는 모바일 로케이션은 가상 캐릭터(들)(1010)를 디스플레이하는데 이용되는 데이터의 전송을 트리거하기 위해 컴퓨팅 네트워크(105)에 의해 이용되는 데이터를 포함할 수 있다. 몇몇 실시예들에서, 가상 캐릭터(1010)를 디스플레이하는데 이용되는 데이터는 가상 캐릭터(1010) 또는 그의 부분들을 렌더링하기 위해 렌더링된 캐릭터(1010) 및/또는 명령들(게이트웨이 컴포넌트(140) 및/또는 사용자 디바이스(120)에 의해 수행됨)을 포함할 수 있다. 몇몇 실시예들에서, 사용자의 지리공간 로케이션이 이용 가능하지 않거나 알려지지 않는 경우, 서버(110), 게이트웨이 컴포넌트(140) 및/또는 사용자 디바이스(120)는, 시간 및/또는 다른 파라미터들의 함수로서 사용자의 마지막 알려진 포지션을 이용하여 특정한 가상 오브젝트들 및/또는 물리적 오브젝트들이 로케이팅될 수 있는 곳을 추정하는 추정 알고리즘을 이용하여 가상 오브젝트(1010)를 여전히 디스플레이할 수 있다. 이는 또한 사용자의 센서들이 가려지고 및/또는 다른 오작동들을 경험하면 임의의 가상 오브젝트들의 포지션을 결정하는데 이용될 수 있다.
[00107] 몇몇 실시예들에서, 가상 캐릭터들 또는 가상 오브젝트들은 가상 스태츄를 포함할 수 있으며, 여기서 가상 스태츄의 렌더링은 물리적 오브젝트에 의해 트리거된다. 예를 들어, 이제 도 11을 참조하면, 가상 스태츄(1110)는 실제 물리적 플랫폼(1120)에 의해 트리거될 수 있다. 스태츄(1110)의 트리거링은, 사용자 디바이스 또는 시스템(100)의 다른 컴포넌트들에 의해 검출된 시각적 오브젝트 또는 피처(예를 들어, 기점들, 설계 피처들, 지오메트리, 패턴들, 물리적 로케이션, 태도 등)에 응답할 수 있다. 사용자가 사용자 디바이스 없이 플랫폼(1120)을 시청할 때, 사용자는 어떠한 스태츄(1110)도 없는 플랫폼(1120)를 본다. 그러나 사용자가 사용자 디바이스를 통해 플랫폼(1120)을 시청할 때, 사용자는 도 11에서 도시된 바와 같이 플랫폼(1120) 상에서 스태츄(1110)를 본다. 스태츄(1110)는 시각적 오브젝트이고, 이에 따라 정적이고, 에니메이팅되고, 사용자의 시청 포지션에 관하여 또는 시간이 지나면서 변하거나, 또는 심지어 특정한 사용자가 스태츄(1110)를 시청하는지에 의존하여 변할 수 있다. 예를 들어, 사용자가 어린 아이인 경우, 스태츄는 개일 수 있고; 이제 시청자가 성인 남성인 경우 스태츄는 도 11에서 도시된 바와 같이 큰 로봇일 수 있다. 이들은 사용자 의존 및/또는 상태 의존 경험들의 예들이다. 이는 단독으로 및/또는 물리적 오브젝트들 및 가상 오브젝트들의 경험 커스터마이징되고 개인화된 버전들과 결합하여 하나 이상의 사용자들이 하나 이상의 가상 오브젝트들을 지각하는 것을 가능케 할 것이다. 스태츄(1110)(또는 그의 부분)는 예를 들어, 사용자의 디바이스 상에 설치된 소프트웨어/펌웨어를 포함하는 시스템의 다양한 컴포넌트들에 의해 랜더링될 수 있다. 가상 오브젝트(즉, 스태츄(1110))의 등록 피처들과 함께 사용자 디바이스의 로케이션 및 태도를 나타내는 데이터를 이용하여, 가상 오브젝트(즉, 스태츄(1110))는 물리적 오브젝트(즉, 플랫폼(1120))와의 관계를 형성한다. 예를 들어, 하나 이상의 물리적 오브젝트들을 갖는 하나 이상의 가상 오브젝트들 간의 관계는 거리, 포지셔닝, 시간, 지오-로케이션, 하나 이상의 가상 오브젝트들에 대한 근접도 및/또는 임의의 종류의 가상 및/또는 물리적 데이터를 포함하는 임의의 다른 기능적 관계의 함수일 수 있다. 몇몇 실시예들에서, 사용자 디바이스의 이미지 인식 소프트웨어는 또한 디지털-물리적 오브젝트 관계를 강화할 수 있다.
[00108] 개시된 시스템 및 방법에 의해 제공되는 상호작용식 인터페이스는 예를 들어, 하나 이상의 가상 환경들 및 오브젝트들과의 상호작용, 다른 사용자들과의 상호작용은 물론, 광고들, 음악 콘서트들 및 영화들을 포함하는 다양한 형태들의 미디어 콘텐츠의 경험과 같은 다양한 활동들을 용이하게 하기 위해 구현될 수 있다. 이에 따라, 개시된 시스템은 사용자가 미디어 콘텐츠를 시청하거나 청취할 뿐만 아니라, 미디어 콘텐츠에 능동적으로 참여하고 경험하도록 사용자 상호작용을 용이하게 한다. 몇몇 실시예들에서, 사용자 참여는 하나 이상의 가상 세계에서 랜더링되는 새로운 콘텐츠를 생성하거나 기존의 콘텐츠를 변경하는 것을 포함할 수 있다. 몇몇 실시예들에서, 미디어 콘텐츠 및/또는 콘텐츠를 생성하는 사용자들은 하나 이상의 가상 세계들의 신화생성을 주제로 할 수 있다.
[00109] 일 예에서, 뮤지션들(또는 다른 사용자들)은 특정한 가상 세계와 상호작용하는 사용자들에게 랜더링되는 음악적 콘텐츠를 생성할 수 있다. 음악적 콘텐츠는 예를 들어, 다양한 싱글들, EP들, 앨범들, 비디오들, 단편 영화들 및 콘서트 퍼포먼스들을 포함할 수 있다. 일 예에서, 매우 다수의 사용자들은 뮤지션들에 의해 수행되는 가상 콘서트를 동시에 경험하기 위해 시스템(100)과 인터페이싱할 수 있다.
[00110] 몇몇 실시예들에서, 생성된 미디어는 특정한 엔티티(예를 들어, 밴드, 아티스트, 사용자 등)와 연관되는 고유 식별자 코드를 포함할 수 있다. 코드는 알파벳숫자 캐릭터들의 세트, UPC 코드들, QR 코드들, 2D 이미지 트리거들, 3D 물리적 오브젝트 피처 트리거들, 또는 다른 디지털 마크는 물론, 사운드, 이미지 및/또는 둘 다의 형태일 수 있다. 몇몇 실시예들에서, 코드는 시스템(100)을 이용하여 인터페이싱될 수 있는 디지털 미디어에 또한 임베딩될 수 있다. 사용자는 (예를 들어, 비용의 지불을 통해) 코드를 획득하고 식별자 코드와 연관되는 엔티티에 의해 생성되는 미디어 콘텐츠에 액세스하도록 코드를 보완할 수 있다. 미디어 콘텐츠는 사용자의 인터페이스에 부가되거나 이로부터 제거될 수 있다.
[0111] 일 실시예에서, 실시간 또는 거의 실시간으로 비디오 데이터를 하나의 컴퓨팅 시스템으로부터 다른 것으로, 이를 테면, 클라우드 컴퓨팅 시스템으로부터 사용자에게 결합된 로컬 프로세서로 낮은 레이턴시로 통과시키는 컴퓨테이션과 대역폭 제한들을 방지하기 위해서, 다양한 형상들 및 기하학적 형상들에 관한 파라미터 정보가 표면들을 정의하기 위해 전달되고 활용될 수 있는 반면, 텍스처들이 정적 또는 동적 상세들, 이를 테면, 파라미터에 의해 재현된 얼굴 기하학적 구조 상에 맵핑된 사람의 얼굴의 비트맵-기반 비디오 상세를 불러오는(bring about) 이러한 표면들로 이송되고 추가될 수 있다. 다른 예로서, 시스템이 사람의 얼굴을 인식하고, 사람의 아바타가 증강 현실에 위치된다는 것을 알게 되도록 구성되는 경우, 시스템은 하나의 비교적 큰 셋업 이송 시 관련 세계 정보 및 사람의 아바타 정보를 통과시키고, 그후, 도 1에 도시된 308과 같은 로컬 컴퓨팅 시스템으로 이송한 상태로 남아있도록 구성될 수 있는데, 로컬 렌더링이 파라미터 및 텍스처 업데이트들, 이를 테면, 사람의 얼굴의 비트맵들의 이동 및 사람의 골격 구조의 모션 파라미터로 ―모두 실시간 비디오의 초기 셋업 이송 또는 전달과 관련하여 보다 크기가 적은 대역폭의 순서들로― 제한될 수 있기 때문이다. 클라우드-기반 및 로컬 컴퓨팅 자산들은 따라서, 통합된 방식으로 사용될 수 있으며, 상대적으로 낮은 레이턴시를 요구하지 않는 클라우드 핸들링 컴퓨테이션, 및 낮은 레이턴시가 아주 드문(at a premium) 작업들을 다루는 로컬 프로세싱 자산들, 및 이러한 경우에, 로컬 시스템들로 이송된 데이터의 형태가 바람직하게는, 이러한 데이터의 양의 형태(즉, 파라미터 정보, 텍스처들 등 대 모든 것의 실시간 비디오)로 인해 상대적으로 좁은 대역폭으로 전달된다.
[00112] 도 15로 진행하여 참고하면, 개략도는 클라우드 컴퓨팅 자산들(46)과 로컬 프로세싱 자산들(308, 120) 사이의 조정을 도시한다. 일 실시예에서, 클라우드(46) 자산들은, 이를 테면, 유선 또는 무선 네트워킹(원하는 대로, 이동성을 위해는 무선이 바람직하고, 특정 고-대역폭 또는 고-데이터-볼륨 이송들을 위해서는 유선이 바람직함)을 통해, 사용자의 머리(120) 또는 벨트(308)에 결합되도록 구성된 구조물에 하우징될 수 있는 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 자산들(120, 308) 중 하나 또는 둘 모두(40, 42)에 직접 동작가능하게 결합된다. 사용자에게 국한된 이러한 컴퓨팅 자산들은, 유선 및/또는 무선 연결 구성들(44)을 통해 마찬가지로 서로 동작가능하게 결합될 수 있다. 일 실시예에서, 저-관성 및 작은-사이즈의 머리 장착식 서브시스템(120)을 유지하기 위해서, 사용자와 클라우드(46) 간의 1차 이송이 벨트-기반 서브시스템(308)과 클라우드 사이의 링크를 통한 것일 수 있으며, 예를 들어, 개인 컴퓨팅 주변기기 연결 애플리케이션들에서 현재 활용됨에 따라, 머리 장착식 서브시스템(120)이 무선 연결, 이를 테면, 울트라-광대역("UWB") 연결을 이용하여 벨트-기반 서브시스템(308)에 1차적으로 데이터-디더링된다.
[00113] 효율적인 로컬 및 원격 프로세싱 조정 및 사용자를 위한 적절한 디스플레이 디바이스, 이를 테면, 도 3에 피처링된 사용자 인터페이스(302) 또는 사용자 "디스플레이 디바이스"를 이용하여, 도 14를 참고로 하여 후술되는 디스플레이 디바이스(14), 또는 사용자의 현재 실제 또는 가상 위치와 관련되는 하나의 세계의 양상들, 그의 변화들이 사용자에게 이송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 실제로, 일 실시예에서, 한 사람이 증강 현실 모드에서 가상 현실 시스템("VRS")을 활용하고 다른 사람이 첫번째 사람에게 국한된 동일한 세계를 분석(explore)하기 위해 완전 가상 모드에서 VRS를 활용하는 경우, 2명의 사용자들은 다양한 방식들로 그 세계를 서로 경험할 수 있다. 예를 들어, 도 12를 참고하면, 도 11을 참고로하여 설명된 것과 유사한 시나리오가 기술되며, 완전 가상 현실 시나리오로부터 도시된 증강 현실 세계를 통과하여 날고 있는 제 2 사용자의 아바타 2의 시각화가 추가되어 있다. 즉, 도 12에 도시된 장면은 첫 번째 사람에 대한 증강 현실에서 경험되고 디스플레이될 수 있다 ―2개의 증강 현실 엘리먼트들(동상(1110)과 두 번째 사람의 날고 있는 범블 비 아바타 2)가 지면, 배경의 빌딩들, 동상 플랫폼(1120)과 같은 장면 내 로컬 세계 주위의 실제 물리적인 엘리먼트들에 추가하여 디스플레이된다. 아바타 2가 첫 번째 사람에게 국한된 세계를 통해 날아감에 따라 첫 번째 사람으로 하여금 두 번쩨 사람의 아바타 2의 진행을 시각화하게 하기 위해서 동적 업데이팅이 이용될 수 있다.
[00114] 또한, 상술된 바와 같은 구성으로, 클라우드 컴퓨팅 리소스들 상에 상주하고 거기에서 분배될 수 있는 하나의 세계 모델이 존재하며, 이러한 세계는 실시간 비디오 데이터 주위를 통과하려고 시도하기에 바람직한 상대적으로 낮은 대역폭 형태 등으로 하나 이상의 사용자들에게 "통과가능하게"될 수 있다. 동상 근처에 서있는 사람(즉, 도 12에 도시된 바와 같음)의 증강 경험이 클라우드-기반 세계 모델에 의해 통보될 수 있으며, 뷰를 완성하기 위해서 이것의 서브셋이 그들 아래로 그리고 그들의 로컬 디스플레이 디바이스로 통과될 수 있다. 책상에 놓인 개인 컴퓨터만큼 단순할 수 있는 원격 디스플레이 디바이스에서 앉아 있는 사람이 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하고 이것을 그 디스플레이 상에 렌더링할 수 있다. 실제로, 동상 근처의 공원에 실제로 존재하는 한 사람이 그 공원에서 산책하기 위해 멀리 위치해 있는 친구를 택할 수 있으며, 그 친구는 가상 그리고 증강 현실을 통해 함께한다. 시스템은 나무들이 있는 길이 어디에 있는지, 동상이 어디에 있는지 알 필요가 있을 것이며 ―그러나 그 정보는 클라우드 상에 있으며, 함께있는 친구는 그 시나리오의 클라우드 양상들로부터 다운로드할 수 있고, 이후, 공원에 실제로 있는 사람에 대하여 국한되는 증강 현실을 따라서 산책하기 시작한다.
[00115] 도 13을 참고하면, 시간 및/또는 다른 우연성 파라미터 기반 실시예가 도시되며, 사람은, 가상 및/또는 증강 현실 인터페이스, 이를 테면, 사용자 인터페이스(302) 또는 도 3에 피처링된 사용자 디스플레이 디바이스와 인게이징되고, 도 14를 참고로 하여 아래에 설명된 디스플레이 디바이스(14), 또는 그의 변형들은 시스템(4)을 활용하고 있고 커피 한잔(6)을 주문하기 위해 커피 시설에 들어간다. VRS는, 관련 커피 메뉴(8)의 버블 윈도우들 또는 커피 시설 내 문들의 강조 위치들과 같이, 사람에 대한 증강 및/또는 가상 현실에서 디스플레이 향상들을 제공하기 위해서, 국부적으로 그리고/또는 원격적으로 감지 및 데이터 수집 능력들을 활용하도록 구성될 수 있다. 사람이 그가 주문했던 커피 한잔을 받거나, 어떤 다른 적절한 파라미터의 시스템에 의한 검출 시, 시스템은 디스플레이 디바이스들, 이를 테면, 벽이나 천정에서 마다가스카 정글 장면이 정글 사운드 및 다른 효과음들과 함께 또는 이러한 사운드 없이, 그리고 정적 또는 동적으로 로컬 환경에서 하나 이상의 시간-기반 증강 또는 가상 현실 이미지들, 비디오, 및/또는 사운드를 디스플레이(10)하도록 구성될 수 있다. 사용자에 대한 이러한 프리젠테이션은 타이밍 파라미터(즉, 모든 커피 컵이 인식되었고 사용자에게 전달된 후 5분, 사용자가 시설의 정문을 통해 걸어가고 있는 것을 시스템이 인식한 후 10분 등) 또는 다른 파라미터들, 이를 테면, 사용자에 컵에서 마지막 남은 한 모금을 마심에 따라 커피 컵이 거꾸로 뒤집한 방향을 주목함으로써 사용자가 커피를 다 마셨다는 것에 대한 시스템의 인지 ―사용자가 시설(12)의 정문을 떠났다는 것에 대한 시스템의 인지에 기초하여 중단될 수 있다.
[00116] 도 14를 참조하면, 적절한 사용자 디스플레이 디바이스(14)의 일 실시예는, 하우징 또는 프레임(84)에 의해 사용자의 헤드 또는 눈들에 탑재될 수도 있는 디스플레이 렌즈(82)를 포함하는 것으로 도시된다. 디스플레이 렌즈(82)는, 사용자의 눈들(20)의 전면에서 하우징(84)에 의해 포지셔닝된 하나 또는 그 초과의 투명 미러들을 포함할 수도 있으며, 투사된 광(38)을 눈들(20)로 반사시키고, 빔 형성을 용이하면서, 증강 현실 구성에서 로컬 환경으로부터의 적어도 몇몇 광의 송신을 또한 허용 하도록 구성된다(가상 현실 구성에서, 디스플레이 시스템(14)이 예컨대, 어둡게된 비저, 차단 커튼, 모든 블랙 LCD 패널 모드 등에 의해 로컬 환경으로부터의 실질적으로 모든 광을 차단할 수 있는 것이 바람직할 수도 있음). 도시된 실시예에서, 2개의 넓은-시야 머신 비전 카메라들(16)은, 사용자 주변의 환경을 이미징하기 위해 하우징(84)에 커플링되며, 일 실시예에서, 이들 카메라들(16)은 듀얼 캡쳐 가시광/적외선 광 카메라들이다. 도시된 실시예는 또한, 도시된 바와 같이 광(38)을 눈들(20)로 투사시키도록 구성되는 디스플레이 미러들 및 광학기기들을 갖는 스캐닝된-레이저 형상-파면(즉, 깊이에 대한) 광 프로젝터 모듈들의 쌍을 포함한다. 도시된 실시예는 또한, 적외선 광 소스들(발광 다이오드들("LED")과 같은 (26))과 페어링되는 2개의 소형 적외선 카메라들(24)을 포함하며, 그 카메라들은, 렌더링 및 사용자 입력을 지원하기 위해 사용자의 눈들(20)을 추적할 수 있도록 구성된다. 시스템(14)은, X, Y, 및 Z 축 가속도계 능력 뿐만 아니라 자기 나침판 및 X, Y, 및 Z 축 자이로 능력을 포함할 수도 있어서, 바람직하게는 200Hz와 같은 비교적 높은 주파수로 데이터를 제공하는 센서 어셈블리(39)를 추가적으로 피쳐링한다. 도시된 시스템(14)은 또한, ASIC(주문형 집적 회로), FPGA(필드 프로그래밍가능 게이트 어레이), 및/또는 ARM 프로세서(진보된 감소-명령-세트 머신)과 같은 헤드 포즈 프로세서(36)를 포함하며, 그 프로세서는, 캡쳐 디바이스들(16)로부터 출력된 넓은 시야 이미지 정보로부터 사용자 헤드 포즈를 실시간 또는 거의 실시간으로 계산하도록 구성될 수도 있다. 또한, 센서 어셈블리(39)로부터의 자이로, 나침판, 및/또는 가속도계 데이터로부터 포즈를 도출하기 위해 디지털 및/또는 아날로그 프로세싱을 실행하도록 구성된 다른 프로세서(32)가 도시된다. 도시된 실시예는 또한, 포즈 및 포지셔닝을 보조하기 위한 GPS((37), 글로벌 포지셔닝 위성) 서브시스템을 피쳐링한다. 최종적으로, 도시된 실시예는, 세상에 대한 사용자의 뷰에 대해, 사용자의 눈들로의 이미징 및 스캐너들의 동작을 용이하게 하기 위해 사용자에게 로컬인 렌더링 정보를 제공하도록 구성된 소프트웨어 프로그램을 구동하는 하드웨어를 피쳐링할 수도 있는 렌더링 엔진(34)을 포함한다. 렌더링 엔진(34)은, 렌더링된 증강 및/또는 가상 현실 오브젝트들의 광이 망막 스캐닝 디스플레이와 유사한 방식으로, 스캐닝된 레이저 어레인지먼트(18)를 사용하여 투사되도록, 센서 포즈 프로세서(32), 이미지 포즈 프로세서(36), 눈 추적 카메라(24), 및 투사 서브시스템(18)에 동작가능하게 (81, 70, 76/78, 80; 즉 유선 또는 무선 접속을 통해) 커플링된다 투사된 광 빔(38)의 파면은, 증강 및/또는 가상 현실 오브젝트의 원하는 촛점 거리와 일치하도록 구부러지거나 포커싱될 수도 있다. 소형 적외선 카메라들(24)은, 렌더링 및 사용자 입력을 지원하도록 눈들을 추적하기 위해 이용될 수도 있다(즉, 사용자가 보고 있는 곳, 사용자가 얼마나 깊게 포커싱하는지; 후술되는 바와 같이, 눈 경계(eye verge)는 촛점 깊이를 추정하기 위해 이용될 수도 있음). GPS(37), 자이로들, 나침판들, 및 가속도계들(39)은, 과정(course) 및/또는 신속한 포즈 추정들을 제공하기 위해 이용될 수도 있다. 카메라(16) 이미지들 및 포즈는, 연관된 클라우드 컴퓨팅 리소스로부터의 데이터와 함께, 로컬 세상을 매핑하고 사용자의 뷰들을 가상 또는 증강 현실 커뮤니티와 공유하기 위해 이용될 수도 있다. 도 14에 피쳐링된 디스플레이 시스템(14) 내의 대부분의 하드웨어가 사용자의 눈들(20) 및 디스플레이(82)에 인접한 하우징(84)에 직접 커플된 것으로 도시되지만, 도시된 하드웨어 컴포넌트들은, 예를 들어, 도 3에 도시된 바와 같이 벨트-탑재된 컴포넌트와 같은 다른 컴포넌트들에 탑재되거나 다른 컴포넌트들 내에 하우징될 수도 있다. 일 실시예에서, 도 14에 피쳐링된 시스템(14)의 컴포넌트들 모두는, 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32), 및 렌더링 엔진(34)을 제외하고 디스플레이 하우징(84)에 직접 커플링되며, 후자의 3개와 시스템(14)의 나머지 컴포넌트들 사이의 통신은, 울트라 광대역과 같은 무선 통신 또는 유선 통신에 의한 것일 수도 있다. 바람직하게, 도시된 하우징(84)은 사용자에 의해 헤드-탑재되고 웨어러블하다. 그것은 또한, 사용자의 귀들에 삽입되며, 도 13을 참조하여 참고된 정글 사운드들과 같은 증강 또는 가상 현실 경험에 적절할 수도 있는 사운드를 사용자에게 제공하기 위해 이용될 수도 있는 것들과 같은 스피커들, 및 사용자에게 로컬인 사운드들을 캡쳐하기 위해 이용될 수도 있는 마이크로폰들을 피쳐링할 수도 있다.
[00117] 사용자의 눈들(20)로의 광(38)의 투사에 대해, 일 실시예에서, 소형 카메라들(24)은, 일반적으로, 눈들(20)의 촛점, 또는 "촛점 깊이"의 포지션과 일치하는 사용자의 눈들(20)의 중심들이 기하학적으로 인접되는 곳을 측정하기 위해 이용될 수도 있다. 눈들이 인접하는 모든 포인트들의 3차원 표면은 "호롭터(horopter)"로 지칭된다. 촛점 거리는 유한한 수의 깊이들 상에 취해질 수도 있거나, 무한하게 변할 수도 있다. 버전스(vergence) 거리의 전면 또는 후면의 광이 블러링되는 동안, 버전스 거리로부터 투사된 광은, 서브젝트 눈(20)에 포커싱되는 것처럼 보인다. 추가적으로, 약 0.7밀리미터 미만의 빔 직경을 갖는 공간적으로 코히런트한 광은, 사람의 눈이 포커싱하는 곳과 관계없이 눈에 의해 정확히 해상(resolve)된다는 것이 발견되었으며; 이러한 이해가 주어지면, 적절한 촛점 깊이의 환영을 생성하기 위해, 눈 버전스는 소형 카메라들(24)을 이용하여 추적될 수도 있고, 렌더링 엔진(34) 및 투사 서브시스템(18)은, 디포커스(defocus)의 가변도들로(즉, 의도적으로 생성된 블러링을 이용하여) 촛점 내의 호롭터 상의 또는 그에 근접한 모든 오브젝트들, 및 다른 모든 오브젝트들을 렌더링하는데 이용될 수도 있다. 코히런트 광을 눈으로 투사하도록 구성된 시-스루 광 안내 광학 엘리먼트는, Lumus, Inc와 같은 공급자들에 의해 제공될 수도 있다. 바람직하게, 시스템(14)은 초당 약 60프레임의 프레임 또는 그 초과의 레이트로 사용자에게 렌더링한다. 상술된 바와 같이, 바람직하게, 소형 카메라들(24)은 눈 추적을 위해 이용될 수도 있으며, 소프트웨어는, 사용자 입력들로서 기능하기 위해 버전스 지오메트리뿐만 아니라 촛점 위치 단서들을 픽업(pick up)하도록 구성될 수도 있다. 바람직하게, 그러한 시스템은, 낮 또는 밤 동안의 사용에 적합한 밝기 및 콘트라스트로 구성된다. 일 실시예에서, 바람직하게, 그러한 시스템은, 가시적인 오브젝트 배열에 대해 약 20밀리초 미만, 각 배열의 약 0.1도 미만, 및 해상도의 약 1 각분(arc minute)의 레이턴시를 가지며, 이들은 대략 사람의 눈의 제한이다. 디스플레이 시스템(14)은, 포지션 및 포즈 결정을 보조하기 위해 GPS 엘리먼트, 광학 추적, 나침판, 가속도계, 및/또는 다른 데이터 소스들을 수반할 수도 있는 로컬화 시스템과 통합될 수도 있으며; 로컬화 정보는, 적절한 세상의 사용자의 뷰에서 정확한 렌더링을 용이하게 하기 위해 이용될 수도 있다(즉, 그러한 정보는, 사용자들이 실제 세상에 대해 있는 곳을 알도록 글래스들을 용이하게 할 것임).
[00118] 다른 적절한 디스플레이 디바이스는, 데스크톱 및 모바일 컴퓨터들, 스마트폰들, 3D 관점 뷰잉을 가능하게 하거나 또는 시뮬레이팅하기 위한 소프트웨어 및 하드웨어 특징들로 부가적으로 개선될 수 있는 스마트폰들(예를 들면, 일 실시예에서, 프레임이 스마트폰에 탈착 가능하게 커플링될 수 있는데, 이 프레임은 200㎐ 자이로 및 가속도계 센서 서브세트, 넓은 시야 렌즈들을 갖는 두 개의 소형 머신 비전 카메라들, 및 도 14에서 특징으로 된 구성의 기능 중 일부를 시뮬레이팅하기 위한 ARM 프로세서를 특징으로 함), 태블릿 컴퓨터들, 스마트폰들에 대해 위에서 설명된 바와 같이 개선될 수 있는 태블릿 컴퓨터들, 부가적인 프로세싱 및 감지 하드웨어로 개선된 태블릿 컴퓨터들, 증강 및 가상 뷰포인트들(확대 옵틱스들, 미러들, 콘택트 렌즈들, 또는 광 구조화 엘리먼트들을 통한 시각적 수용)을 디스플레이 하기 위해 스마트폰들 및/또는 태블릿들을 사용하는 머리-장착된 시스템들, 발광 엘리먼트들(LCD들, OLED들, 수직-캐비티-표면-발광 레이저들, 스티어링되는 레이저 빔들 등)의 넌-시스루 디스플레이들, 인간들이 자연 세계와 인공적으로 생성된 이미지들을 보도록 동시에 허용하는 시스루 디스플레이들(예컨대, 광-가이드 광학 엘리먼트들, 클로즈-포커스 콘택트 렌즈들로 비추는 투명한 편광 OLED들, 스티어링되는 레이저 빔들 등), 발광 엘리먼트들을 갖는 콘택트 렌즈들(이를테면, 상표명 Ioptik RTM 하에서, 워싱턴 주 벨뷰 시의 Innovega, Inc,로부터 이용 가능한 것들; 그들은 전문화된 무료 안경 컴포넌트들과 결합될 수 있음), 발광 엘리먼트들을 갖는 이식 가능한 디바이스들, 및 인간 뇌의 광학 리셉터들을 시뮬레이팅하는, 이식 가능한 디바이스들을 포함하지만, 이들로 제한되지는 않는다.
[00119] 도 3 및 도 14에서 도시된 것과 같은 시스템을 이용하여, 3D 포인트들이 환경으로부터 캡쳐될 수 있고, 그들 이미지들 또는 포인트들을 캡쳐하는 카메라들의 포즈(즉, 세계에 대한 벡터 및/또는 원점 포지션 정보)가 결정될 수 있으며, 따라서 이들 포인트들 또는 이미지들은 이 포즈 정보로 "태깅"될 수 있거나 또는 이 포즈 정보와 연관될 수 있다. 이후, 제2 카메라의 포즈를 결정하기 위해, 제2 카메라에 의해 캡쳐되는 포인트들이 활용될 수 있다. 다시 말해, 제1 카메라로부터의 태깅된 이미지들과의 비교들에 기초하여, 제2 카메라가 지향되고 그리고/또는 로컬화될 수 있다. 이후, 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 시각 카피를 생성하기 위해, 이 지식이 활용될 수 있다(그 이유는, 이후, 정합되는 두 개의 카메라들이 주위에 존재하기 때문이다). 그래서, 베이스 레벨에서는, 일 실시예에서, 당신은 포인트들을 생성한 2D 이미지들 및 3D 포인트들 둘 다를 캡쳐하기 위해 활용될 수 있는 사람-착용 시스템을 갖고, 그리고 이들 포인트들 및 이미지들은 클라우드 스토리지 및 프로세싱 자원에 전송될 수 있다. 그들은 또한, 임베딩된 포즈 정보로 로컬로 캐싱될 수 있고(즉, 태깅된 이미지들을 캐싱함); 그래서, 클라우드는, 3D 포인트들과 함께, 준비된(즉, 이용 가능한 캐시에 있는) 태깅된 2D 이미지들(즉, 3D 포즈로 태깅됨)을 가질 수 있다. 사용자가 동적인 뭔가를 관찰하고 있다면, 그는 또한 모션에 관련 있는 클라우드까지 부가적인 정보를 전송할 수 있다(예컨대, 다른 사람의 얼굴을 쳐다본다면, 사용자는 얼굴의 텍스처 맵을 취할 수 있고, 그리고 심지어 주변 세계가 다른 방식으로 기본적으로 정적이더라도, 최적화된 주파수까지 그 텍스처 맵을 푸쉬할 수 있다).
[00120] 전체 포즈 추적 계산을 감소시키기 위해, 클라우드 시스템은 포즈를 위한 기점들로서만 몇몇 포인트들을 저장하도록 구성될 수 있다. 일반적으로, 사용자가 방 주위를 이동할 때 사용자의 환경의 주요한 항목들, 예컨대 벽들, 테이블 등을 추적할 수 있기 위해 몇몇 아웃라인 특징들을 갖는 것이 원해질 수 있고, 그리고 사용자는, 세계를 "공유"하고 어떤 다른 사용자가 그 방 안으로 걷게 하고 또한 그들 포인트들을 보게 할 수 있기를 원할 수 있다. 이러한 유용하고 핵심적인 포인트들은 "기점들"로 불릴 수 있는데, 그 이유는 그들이 앵커링 포인트들로서 꽤 유용하기 때문이다 ― 그들은, 머신 비전으로 인식될 수 있고 사용자 하드웨어의 상이한 피스들 상에서 일관되게 그리고 반복적으로 세계로부터 추출될 수 있는 특징들에 관련된다. 따라서, 이들 기점들은 바람직하게, 추가적인 사용을 위해 클라우드에 저장될 수 있다.
[00121] 일 실시예에서, 관련 있는 세계 전체에 걸쳐 기점들의 비교적 균등한 분포를 갖는 것이 바람직한데, 그 이유는 그들이, 카메라들이 로케이션을 인식하기 위해 쉽게 사용할 수 있는 종류들의 항목들이기 때문이다.
[00122] 일 실시예에서, 관련 있는 클라우드 컴퓨팅 구성은, 기점 정제 및 세계 생성 둘 다를 위해 다양한 사용자들로부터의 최선의 데이터를 사용하기 위해 3D-포인트들의 데이터베이스 및 임의의 연관된 메타 데이터를 주기적으로 글루밍하도록 구성될 수 있다. 다시 말해, 시스템은, 관련 있는 세계 내에서 보고 있고 동작 하고 있는 다양한 사용자들로부터의 입력들을 사용함으로써 최선의 데이터세트를 얻도록 구성될 수 있다. 일 실시예에서, 데이터베이스는 본질적으로 프랙탈하다 ― 사용자들이 오브젝트들에 더 가까이 이동할 때, 클라우드는 더 높은 해상도 정보를 이러한 사용자들에게 전달한다. 사용자가 오브젝트를 더욱 가까이 맵핑할 때, 그 데이터는 클라우드에 전송되고, 그들이 데이터베이스에 이전에 저장된 것보다 더 낫다면, 클라우드는 새로운 3D 포인트들 및 이미지-기반 텍스처 맵들을 데이터베이스에 부가할 수 있다. 이것 전부가, 많은 사용자들로부터 동시에 일어나도록 구성될 수 있다.
[00123] 위에서 설명된 바와 같이, 증강 또는 가상 현실 경험은 특정 타입들의 오브젝트들을 인식하는 것에 기초할 수 있다. 예컨대, 특정 오브젝트가 이러한 오브젝트를 인식 및 이해하기 위하여 깊이를 가짐을 이해하는 것이 중요할 수 있다. 인식기 소프트웨어 오브젝트들("인식기들")은 클라우드 또는 로컬 자원들 상에 배치되어, 사용자가 세계에서 데이터를 내비게이팅할 때 한쪽 플랫폼 또는 양쪽 플랫폼들 상에서 다양한 오브젝트들의 인식을 특정하게 도울 수 있다. 예컨대, 시스템이 3D 포인트 클라우드들 및 포즈-태깅된 이미지들을 포함하는 세계 모델에 대한 데이터를 갖는다면, 그리고 다수의 포인트들이 그 상에 있는 데스크뿐만 아니라 데스크의 이미지가 존재한다면, 인간들이 데스크를 볼 때, 관찰되고 있는 것이 실제 데스크라는 결정은 존재하지 않을 수 있다. 다시 말해, 공간의 몇몇 3D 포인트들과, 데스크의 대부분을 보여주는, 공간에서 어딘가로부터 떨어진 이미지는, 데스크가 관찰되고 있음을 즉각 인식하기에 충분하지 않을 수 있다. 이러한 식별을 돕기 위해, 로우(raw) 3D 포인트 클라우드에 들어가고, 포인트들의 세트를 세그멘팅하고, 그리고 예컨대 데스크의 상단면의 평면을 추출할 특정 오브젝트 인식기가 생성될 수 있다. 유사하게, 3D 포인트들로부터 벽을 세그멘팅하기 위한 인식기가 생성될 수 있고, 따라서 사용자는 가상 또는 증강 현실에서 벽의 일부를 제거하거나 또는 벽지를 바꿀 수 있고, 그리고 실세계에서 실제로는 존재하지 않는 다른 방으로의 입구를 가질 수 있다. 이러한 인식기들은 세계 모델의 데이터 내에서 동작하고, 그리고 세계 모델을 크롤링하고 그 세계 모델을 의미론적 정보, 또는 공간의 포인트들 사이에 존재하는 것으로 믿고 있는 것에 관한 존재론으로 채우는 소프트웨어 "로봇들"로서 간주될 수 있다. 이러한 인식기들 또는 소프트웨어 로봇들은, 그들의 전체 존재가 데이터의 관련 있는 세계를 이리저리 돌고 있고 그리고 그것이 믿고 있는 것들이 벽들, 또는 의자들, 또는 다른 항목들임을 찾고 있도록 구성될 수 있다. 그들은 포인트들의 세트를, "벽에 속하는 포인트들의 이 세트"의 기능적 균등물로 태깅하도록 구성될 수 있고, 그리고 포인트들에 있는 것에 관하여 시스템에 상호 통보하기 위해 포즈-태깅된 이미지 분석 및 포인트-기반 알고리즘의 결합을 포함할 수 있다.
[00124] 오브젝트 인식기들은 그 관점에 따라, 변경된 유틸리티의 많은 목적들을 위해 생성될 수 있다. 예를 들어, 일 실시예에서, 스타벅스와 같은 커피 공급업자는 데이터의 관련 세계 내에서 스타벅스 커피 컵들의 정확한 인식기를 생성하는데 투자할 수 있다. 이러한 인식기는 스타벅스 커피 컵들에 대한 데이터의 크고 작은 탐색의 세계들을 몹시 느리게 가도록(crawl) 구성될 수 있어서, 이들은 (즉, 아마도 사용자가 특정 기간의 시간 동안 자신의 스타벅스 컵을 바라볼 때 코너 바로 주변의 스타벅스 아울렛에서 사용자에게 커피를 제공하기 위해) 관련된 가까운 공간에서 동작할 때 세그먼트화되어 사용자에게 식별될 수 있다. 세그먼트화된 컵에 있어서, 사용자가 자신의 책상 위에서 그것을 언제 이동시키는지가 빨리 인식될 수 있다. 이러한 인식기들은 클라우드 컴퓨팅 자원들 및 데이터 상에서뿐만 아니라 로컬 자원들 및 데이터 상에서, 이용가능한 컴퓨테이셔널 자원들에 따라 클라우드 및 로컬 자원들 둘 모두 상에서 실행 또는 동작하도록 구성될 수 있다. 일 실시예에서, 그 글로벌 모델에 기여하는 수백만 사용자들을 갖는 클라우드 상에 세계 모델의 글로벌 카피가 존재하지만, 특정한 타운에서 특정한 개인의 사무실과 같은 더 작은 세계들 또는 부-세계들(sub-worlds)에 대해서는, 대부분의 글로벌 세계가 그 사무실이 어떠한 것처럼 보이는지에 대해 관심을 갖지 않을 것이어서, 시스템은 데이터를 준비하고, 주어진 사용자에 가장 로컬로 관련되는 것으로 여겨지는 로컬 캐시 정보로 이동하도록 구성될 수 있다.
[00125] 일 실시예에서, 예를 들어, 사용자가 책상으로 걸어갈 때, 관련 정보(이를테면, 자신의 테이블 상의 특정 컵의 세그멘테이션)는 종종 이동하는 것들로서 식별되는 오브젝트들, 이를테면, 테이블들 상의 컵들은 클라우드 모델과, 클라우드와 로컬 자원들 사이의 송신 부담(burden)에 대한 부담을 가질 필요가 없기 때문에, 클라우드 상이 아니라 사용자의 로컬 컴퓨팅 자원들 상에만 상주하도록 구성될 수 있다. 따라서, 클라우드 컴퓨팅 자원은 3-D 포인트들 및 이미지들을 세그먼트화하고, 따라서, 이동가능한 것들로부터 영구적인(즉, 일반적으로 이동하지 않음) 객체들을 팩터링(factor)하고, 이것은 그것이 프로세싱될 것인 경우 연관된 데이터가 남아 있을 곳에 영향을 미칠 수 있고, 더 영구적인 오브젝트들에 관련된 특정 데이터에 대한 웨어러블/로컬 시스템으로부터 프로세싱 부담을 제거하고, 그 다음 제한적이지 않은 다른 사용자들과 공유될 수 있는 로케이션의 1-회 프로세싱을 허용하고, 데이터의 다수의 소스들이 특정한 물리 로케이션에서 고정 그리고 이동가능한 오브젝트들의 데이터베이스를 동시에 구축하게 하고, 오브젝트-특정 기준들 및 텍스처 맵들을 생성하기 위해 배경으로부터의 오브젝트들을 세그먼트화할 수 있다.
[00126] 일 실시예에서, 시스템은 특정 오브젝트들의 아이덴티티에 대한 입력에 대해 사용자에게 질의하도록 구성될 수 있어서(예를 들어, 시스템은 "저것이 스타벅스 커피 컵인가요?"와 같은 질문을 사용자에게 제시할 수 있음), 사용자는 시스템을 트레이닝하고, 시스템이 실세계에서 경계 정보를 오브젝트들과 연관시키게 할 수 있다. 온톨로지는 세계로부터 세그먼트화된 오브젝트들이 무엇을 할 수 있는지, 이들이 어떻게 동작하는지 등에 관한 안내를 제공할 수 있다. 일 실시예에서, 시스템은 시스템으로의 특정 사용자 입력을 가능하게 하기 위해, 가상 또는 실제 키패드, 이를테면, 무선으로 연결된 키패드, 스마트폰의 키패드로의 연결성 등을 특징으로 할 수 있다.
[00127] 시스템은 기본적 엘리먼트들(벽들, 창문들, 책상 지오메트리 등)을 가상에서 또는 증강 현실에서 방으로 걸어가는 임의의 사용자와 공유하도록 구성될 수 있고, 일 실시예에서, 그 사람의 시스템은 자신의 특정 관점으로부터 이미지들을 취득하고, 그들을 클라우드로 업로딩하도록 구성될 것이다. 그 다음, 클라우드는 데이터의 오래된 그리고 새로운 세트들을 갖도록 파퓰레이팅되며, 최적화 루틴들을 실행시키고, 개별 오브젝트들 상에 존재하는 기준들을 설정할 수 있다.
[00128] GPS 및 다른 로컬화 정보는 이러한 프로세싱으로의 입력들로서 이용될 수 있다. 추가로, 다른 컴퓨팅 시스템들 및 데이터, 이를테면, 사용자의 온라인 캘린더 또는 페이스북 RTM 어카운트 정보는 입력들로서 이용될 수 있다(예를 들어, 일 실시예에서, 클라우드 및/또는 로컬 시스템은 비행기 티켓들, 날짜 및 목적지들에 대한 사용자의 캘린더의 컨텐츠를 분석하도록 구성될 수 있어서, 시간이 지남에 따라, 정보는 주어진 목적지의 사용자의 도착 시간에 대해 준비가 되도록 클라우드로부터 사용자의 로컬 시스템들로 이동될 수 있음).
[00129] 일 실시예에서, QR 코드들 등과 같은 태그들은 비-통계적 포즈(pose) 계산, 보안/액세스 제어, 특수 정보의 통신, 공간적 메시징, 비-통계적 오브젝트 인식 등에 의한 이용을 위해 세계에 삽입될 수 있다.
[00130] 일 실시예에서, 클라우드 자원들은 파라미터들 및 텍스처들에 기초하여 개별 사용자들에 의해 렌더링되는 모델들을 이용하여, "통과가능한 세계들"과 관련하여 위에서 설명된 바와 같이, 사용자들 사이의 실제 및 가상 세계들의 디지털 모델들을 통과시키도록 구성될 수 있다. 이것은 실시간 비디오의 통로(passage)에 관련된 대역폭을 감소시키고, 씬의 가상 뷰포인트들의 렌더링을 허용하며, 수 백만명 또는 그보다 많은 사용자들이 이들이 볼 필요가 있는 데이터(이를테면, 비디오)를 이들 각각에게 전송하지 않고 하나의 가상 수집에 참여하게 한다(그 이유는 이들의 뷰들은 이들의 로컬 컴퓨팅 자원들에 의해 렌더링되기 때문임).
[00131] 가상 현실 시스템("VRS")은 다음의 것들 중 하나 또는 둘 이상을 통해 사용자의 로케이션 및 시계(함께 "포즈"로 알려져 있음)에 등록하도록 구성될 수 있다: 카메라들을 이용한 실시간 메트릭 컴퓨터 비전, 동시적 로컬화 및 맵핑 기법들, 맵들, 및 자이로스코프, 가속도계들, 나침반, 기압계, GPS, 라디오 신호 강도 삼각 측량, 비행 분석의 신호 시간, LIDAR 레인징, RADAR 레인징, 오도메트리(odometry) 및 소나 레인징(sonar ranging)과 같은 센서들로부터의 데이터. 웨어러블 디바이스 시스템은 동시에 맵핑 및 지향(orient)하도록 구성될 수 있다. 예를 들어, 알려지지 않은 환경들에서, VRS는 사용자 포즈 계산들에 적합한 기준 포인트들, 세계 모델링에 대한 다른 포인트들, 세계의 텍스처 맵들을 제공하기 위한 이미지들을 확인하는 환경에 대한 정보를 수집하도록 구성될 수 있다. 기준 포인트들은 포즈를 광학적으로 계산하기 위해 이용될 수 있다. 세계가 더 상세하게 맵핑될 때, 더 많은 오브젝트들이 세그먼트화되고, 그들 자신의 텍스처 맵들을 제공받을 수 있지만, 세계는 여전히 바람직하게, 낮은 해상도 텍스처 맵들을 이용하여 단순한 다각형들에서 낮은 공간 해상도로 표현가능하다. 위에서 논의된 것들과 같은 다른 센서들은 이러한 모델링 노력을 지원하기 위해 이용될 수 있다. 세계는 클라우드 자원들로부터의 (뷰포인트들, "수퍼비전" 모드들, 주밍(zooming) 등을 통한) 더 양호한 뷰 요청 고-해상도 정보를 이동시키거나 그렇지 않으면 추구한다는 점에서 본질적으로 프랙탈(fractal)할 수 있다. 오브젝트들에 더 가깝게 이동하는 것은 더 높은 해상도 데이터를 캡처하고, 이것은, 세계 모델에서의 삽입형(interstitial) 사이트들에서 새로운 데이터를 계산 및/또는 삽입할 수 있는 클라우드에 전송될 수 있다.
[00132] 도 16을 참조하면, 웨어러블 시스템은 이미지 정보를 캡처하고 기준들 및 인식된 포인트들을 추출하도록 구성될 수 있다(52). 웨어러블 로컬 시스템은 아래에서 언급된 포즈 계산 기법들 중 하나를 이용하여 포즈를 계산할 수 있다. 클라우드(54)는 더 많은 정적 3-D 배경으로부터의 3-D 오브젝트들을 세그먼트화하기 위해 이미지들 및 기준들을 이용하도록 구성될 수 있고; 이미지들은 오브젝트들 및 세계에 대한 텍스처 맵들을 제공한다(텍스처들은 실시간 비디오들일 수 있음). 클라우드 자원들(56)은 세계 등록에 대한 이용가능한 정적 기준들 및 텍스처들을 저장 및 수행하도록 구성될 수 있다. 클라우드 자원들은 등록에 대한 최적의 포인트 밀도에 대한 포인트 클라우드를 준비하도록 구성될 수 있다. 클라우드 자원들(60)은 오브젝트 등록 및 조작에 대한 이용가능한 오브젝트 기준들 및 텍스처들을 저장 및 수행할 수 있고; 클라우드는 등록에 대한 최적의 밀도에 대한 포인트 클라우드들을 준비할 수 있다. 클라우드 자원은 오브젝트들의 프랙탈 솔리드 모델들을 생성하기 위해 모든 유효 포인트들 및 텍스처들을 이용하도록 구성될 수 있고(62); 클라우드는 최적의 기준 밀도에 대한 포인트 클라우드 정보를 준비할 수 있다. 클라우드 자원(64)은 세그먼트화된 오브젝트들의 아이덴티티 및 세계 대해 트레이닝하기 위해 사용자들에게 질의하도록 구성될 수 있고, 온톨로지 데이터베이스는 동작가능한 특성들을 이용하여 오브젝트들 및 세계를 임뷰(imbue)하기 위해 응답들을 이용할 수 있다.
[00133] 맵핑 및 레지스트레이션의 다음의 특정 모드들은, 용어들, 즉, 광학 또는 카메라 시스템으로부터 결정되는 포즈를 표현하는 "O-포즈"; 센서들(즉, 예를 들어, 위에서 논의된 바와 같은, GPS, 자이로, 콤파스, 가속도계 등 데이터의 조합)로부터 결정되는 포즈를 표현하는 "s-포즈"; 및 클라우드 컴퓨팅 및 데이터 관리 리소스를 표현하는 "MLC"를 특징화한다.
[00134] "오리엔트" 모드는 새로운 환경의 기본적인 맵을 만들고, 그 목적은, 사용자가 MLC에 연결되지 않은 경우에 또는 새로운 환경이 맵핑되지 않은 경우에, 사용자의 포즈를 확립하기 위한 것이다. 오리엔트 모드에서, 웨어러블 시스템은, 이미지로부터 포인트들을 추출하고, 프레임으로부터 프레임으로 포인트들을 추적하고, (이미지들로부터 피두셜들이 추출되지 않았기 때문에) S-포즈를 사용하여 피두셜들을 삼각측량한다. 웨어러블 시스템은 또한, 사용자의 퍼시스턴스에 기초하여, 불량한 피두셜들을 필터링할 수 있다. 오리엔트 모드가 맵핑 및 레지스트레이션의 가장 기본적인 모드이고, 저-정밀 포즈에 대해서도 항상 작동될 것이라는 것이 인식되어야 한다. 그러나, 웨어러블 시스템이 적어도 잠깐 동안 상대적인 모션에서 사용된 후에, 오브젝트들을 인지하고 환경을 맵핑하기 위해 O-포즈를 사용하기 위하여 웨어러블 시스템이 세팅되도록, 최소의 피두셜 세트가 확립될 것이다. (최소의 피두셜 세트로) O-포즈가 신뢰가능하게 되자마자, 웨어러블 세트는 오리엔트 모드로부터 빠져나오도록 구성된다. "맵 및 O-포즈" 모드는 환경을 맵핑하기 위해 사용된다. 맵 및 o-포즈 모드의 목적은, 고-정밀 포즈들을 확립하고, 환경을 맵핑하고, 맵 및 이미지들을 MLC에 제공하기 위한 것이다. 이러한 모드에서, O-포즈는, 로컬적으로 결정된 그리고/또는 MLC로부터 다운로딩된 머처 월드(mature world) 피두셜들로부터 계산된다. 그러나, S-포즈는 계산된 o-포즈의 체크로서 사용될 수 있고, 또한, O-포즈의 컴퓨테이션을 가속하기 위해 사용될 수 있다는 것이 인식되어야 한다. 위와 유사하게, 웨어러블 시스템은, 이미지들로부터 포인트들을 추출하고, 프레임으로부터 프레임으로 포인트들을 추적하고, O-포즈를 사용하여 피두셜들을 삼각측량하고, 퍼시스턴스에 기초하여, 불량한 피두셜들을 필터링한다. 그 후에, 나머지 피두셜들 및 포즈-태그드 이미지들은 MLC 클라우드에 제공된다. 이러한 기능들(포인트들의 추출, 불량한 피두셜들의 필터링, 및 피두셜들 및 포즈-태그드 이미지들의 제공)은 실시간으로 수행될 필요는 없고, 대역폭을 보존하기 위해 나중에 수행될 수 있다는 것이 인식되어야 한다.
[00135] O-포즈는 사용자의 포즈(사용자 로케이션 및 시계)를 결정하기 위해 사용된다. O-포즈의 목적은, 최소의 프로세싱 파워를 사용하여, 이미 맵핑된 환경에서 고-정밀 포즈를 확립하기 위한 것이다. o-포즈를 계산하는 것은 여러 단계들을 수반한다. n에서 포즈를 추정하기 위해, 웨어러블 시스템은, S-포즈들 및 O-포즈들(n-1, n-2, n-3 등)로부터 수집된 이력적 데이터를 사용하도록 구성된다. 그 후에, n에서의 포즈는, 프로젝션으로부터 이미지 마스크를 생성하기 위해, n에서 캡처링된 이미지로 피두셜들을 프로젝팅하기 위하여 사용된다. 웨어러블 시스템은, 마스킹된 구역들로부터 포인트들을 추출하고, 추출된 포인트들 및 머처 월드 피두셜들로부터 O-포즈를 계산한다. 특정한 이미지의 마스킹된 서브세트들로부터만 포인트들을 탐색/추출함으로써, 프로세싱 부담이 크게 감소된다는 것이 인식되어야 한다. 하나의 단계를 더 나아가면, 계산된 n에서의 o-포즈, 및 n에서의 s-포즈는 n+1에서의 포즈를 추정하기 위해 사용될 수 있다. 포즈-태그드 이미지들 및/또는 비디오는 MLC 클라우드에 전송될 수 있다.
[00136] "수퍼-res" 모드는 수퍼 레졸루션 이미저리 및 피두셜들을 생성하기 위해 사용될 수 있다. 복합 포즈-태그드 이미지들은 수퍼-레졸루션 이미지들을 생성하기 위해 사용될 수 있고, 그 수퍼-레졸루션 이미지들은, 차례로, 피두셜 포지션 추정을 강화하기 위해 사용될 수 있다. 수퍼-레졸루션 피두셜들 및 이미저리로부터 O-포즈 추정들을 반복하는 것이 인식되어야 한다. 위의 단계들은, 웨어러블 디바이스 상에서 실시간으로 수행될 수 있거나, 또는 MLC 클라우드에 전송될 수 있고, 나중에 수행될 수 있다.
[00137] 일 실시예에서, VRS 시스템은, 특정한 베이스 기능성, 뿐만 아니라, 특정한 특수화된 기능성들을 제공하기 위해 VRS를 통해 분배될 수 있는 "app들" 또는 애플리케이션들에 의해 용이하게 되는 기능성을 갖도록 구성될 수 있다. 예를 들어, 다음의 app들은, 특수화된 기능성을 제공하기 위해, 서브젝트 VRS에 설치될 수 있다.
[00138] "페인터-렌더링들(painterly-renderings)" app는, 아티스트들에 의해, 그들이 본 바와 같이 월드를 표현하는 이미지 변환들을 생성하기 위해 사용될 수 있다. 그 후에, 사용자들은, 그들이 "아티스트들의 눈을 통해" 월드를 뷰잉할 수 있도록, 그들의 사용자 디바이스들 상에서 이들 변환들을 인에이블링할 수 있다. "테이블 탑 모델링(table top modeling)" app는, 사용자들이, 테이블 상에 놓인 물리적 오브젝트들로부터 오브젝트들을 구축할 수 있게 할 수 있다. "가상 프레젠스(virtual presence)" app는 공간의 가상 모델들을 다른 사용자에게 전달하기 위해 사용될 수 있고, 그 후에, 그 다른 사용자는 가상 아바타를 사용하여 그 공간 주위에서 이동할 수 있다.
[00139] "아바타 감정" app는, 가상-프레젠스 아바타들 상에 미세한 효과들을 애니메이팅하기 위해, 미세한 음성 억약, 가벼운 머리 움직임, 체온, 심박동수 등과 같은 양상들을 측정하기 위해 사용될 수 있다. 휴먼 상태 정보를 디지털화하고 이를 원격 아바타에게 전달하는 것은 비디오보다 더 적은 대역폭을 사용한다. 부가적으로, 그러한 데이터는, 비-휴먼 아바타들이 감정이 있을 수 있도록 맵핑-가능하다. 예를 들어, 개 아바타는, 흥분된 음성 억약들에 기초하여, 그것의 꼬리를 흔드는 것에 의해 흥분을 나타낼 수 있다.
[00140] 효율적인 메시 타입 네트워크는, 모든 것을 다시 서버로 전달하는 것과 대조적으로, 데이터를 이동시키는 것에 대해 바람직할 수 있다. 그러나, 다수의 메시 네트워크들은, 포지션 정보 및 토폴로지가 잘 특성화되지 않기 때문에, 준최적 성능을 갖는다. 일 실시예에서, 시스템은, 비교적 고정밀도로 모든 사용자들의 로케이션을 결정하기 위해 활용될 수 있고, 따라서, 메시 네트워크 구성이 고성능을 위해 활용될 수 있다.
[00141] 일 실시예에서, 시스템은 탐색을 위해 활용될 수 있다. 증강 현실을 이용하여, 예를 들어, 사용자들은, 물리적 월드의 다수의 양상들에 관련된 컨텐츠를 생성하고 남길 것이다. 이러한 컨텐츠의 대부분은 텍스트가 아니고, 따라서, 전형적인 방법들에 의해 쉽게 탐색되지 않는다. 시스템은, 탐색 및 레퍼런스 목적들을 위한 퍼스널 및 소셜 네트워크 컨텐츠의 추적을 유지하기 위한 기능을 제공하도록 구성될 수 있다.
[00142] 일 실시예에서, 디스플레이 디바이스가 연속적인 프레임들을 통해 2-D 포인트들을 추적하고, 그 후에, 이러한 포인트들의 시간 변화에 대해 벡터-값을 갖는 함수를 피팅하는 경우에, (벡터-값을 갖는 함수를 시간 상 앞으로 프로젝팅함으로써) 가까운 장래에서의 어떤 포인트에서, 또는 (예를 들어, 프레임들 사이의) 시간에서의 임의의 포인트에서, 벡터 값을 갖는 함수를 샘플링하는 것이 가능하다. 이는, 다음의 이미지가 실제로 캡처링되기 전에, 장래의 포즈의 예측, 및 고-레졸루션 포스트-프로세싱의 생성을 허용한다(예를 들어, 카메라 프레임 레이트를 배가시키지 않고, 레지스트레이션 속도를 배가시키는 것이 가능하다).
[00143] 몸체-고정 렌더링을 위해(머리-고정 또는 월드-고정 렌더링들과 대조적임), 몸체의 정확한 뷰가 소망된다. 몸체를 측정하기보다는, 일 실시예에서, 사용자의 머리의 평균 포지션을 통해 그것의 위치를 도출하는 것이 가능하다. 사용자의 얼굴이 대부분의 시간에서 포인트 포워딩(point forward)되는 경우, 머리 포지션의 멀티-데이 평균(multi-day average)은 그 방향을 나타낼 것이다. 중력 벡터와 함께, 이는 몸체-고정 렌더링에 대해 상당히 안정적인 좌표 프레임을 제공한다. 이러한 장기간 좌표 프레임에 관하여 머리 포지션의 현재 측정들을 이용하는 것은, 어떠한 추가의 계장화(instrumentation)도 없이, 사용자의 몸체 상의/둘레의 오브젝트들의 일관적인 렌더링을 허용한다. 이러한 실시예의 구현을 위해, 머리 방향-벡터의 단일 레지스터 평균들이 시작될 수 있고, 델타-티(delta-t)에 의해 분할된 데이터의 러닝 합(running sum)이 현재 평균 머리 포지션을 제공할 것이다. 데이(n-5), 데이(n-4), 데이(n-3), 데이(n-2), 데이(n-1)에서 시작하여, 5개 정도의 레지스터들을 유지하는 것은, 단지 과거 "n" 데이(day)들의 롤링 평균들(rolling averages)의 사용을 허용한다.
[00144] 일 실시예에서, 장면이 스케일 다운되어 실제보다 더 작은 공간(smaller-than-actual space)에서 사용자에게 제공될 수 있다. 예를 들어, 거대한 공간(즉, 이를테면, 축구 경기장)에서 렌더링되어야 하는 장면이 존재하는 상황에서, 어떠한 동등한 거대한 공간도 존재하지 않을 수 있거나, 또는 이러한 큰 공간은 사용자에게 불편할 수 있다. 일 실시예에서, 시스템은 장면의 스케일을 감소시키도록 구성될 수 있어서, 사용자는 이를 축소된 크기(miniature)로 볼 수 있다. 예를 들어, '신의 시선(gods-eye-view)' 비디오 게임, 또는 월드 챔피언십 축구 게임을 가지고, 스케일링되지 않은 필드 ― 또는 스케일 다운되어 거실 마루 상에 제시됨 ― 에서 플레이(play out)할 수 있다. 시스템은 렌더링 관점, 스케일, 및 연관된 수용 거리를 단순히 시프트하도록 구성될 수 있다.
[00145] 시스템은 또한, 가상 또는 증강 현실 오브젝트들의 포커스를 조작함으로써, 이들을 하이라이팅하고, 콘트라스트, 밝기, 스케일을 변경하는 등등을 함으로써, 제시되는 장면 내의 특정 아이템들에 대한 사용자의 집중을 이끌도록 구성될 수 있다.
[00146] 바람직하게, 시스템은 다음의 모드들을 이루도록 구성될 수 있다:
[00147] 개방-공간-렌더링 모드에서, 시스템은, 구조화된 환경으로부터 키 포인트들을 그랩하고, 렌더링들과의 사이의 공간을 채우도록 구성된다. 이러한 모드는, 스테이지들, 출력 공간, 큰 실내 공간들 등과 같은 잠재적 장소들을 생성하기 위해 이용될 수 있다.
[00148] 오브젝트-랩핑 모드에서, 시스템은 실세계의 3D 오브젝트를 인식하고, 그 다음으로, 이를 증강시키도록 구성된다. 이러한 맥락에서, "인식"은, 3D 오브젝트에 대한 이미저리(imagery)를 앵커링하기에 충분히 높은 정밀도로 3D 오브젝트를 식별하는 것을 의미할 수 있다. 이러한 맥락에서, 인식은, 오브젝트의 타입(예를 들어, 사람의 얼굴)을 분류하는 것 및/또는 오브젝트의 특정 인스턴스(예를 들어, 죠(Joe), 사람)를 분류하는 것을 의미할 수 있음이 이해되어야 한다. 이러한 사고 원리들(principles in mind)을 이용하여, 인식기 소프트웨어는, 벽들, 천장들, 마루들, 얼굴들, 도로들, 하늘, 고층 건물들, 랜치 하우스들, 테이블들, 의자들, 차량들, 도로 표지판들, 빌보드들, 문들, 창문들, 책장들 등과 같은 다양한 것들을 인식하기 위해 이용될 수 있다. 일부 인식기 소프트웨어 프로그램들은 타입 I이고 일반적 기능성(예를 들어, "내 비디오를 저 벽 위에 두세요", "저것은 개 입니다" 등)을 가질 수 있는 한편, 다른 인식기 소프트웨어 프로그램들은 타입 II이고 특정 기능성("내 TV는 천장으로부터 내 거실 벽 3.2 피트 위에 있습니다", "저건은 파이도(Fido) 입니다" 등)을 가질 수 있다.
[00149] 몸체-중심 렌더링에서, 임의의 렌더링된 가상 오브젝트들은 사용자의 몸체에 고정된다. 예를 들어, 일부 오브젝트들은 사용자의 몸체 주변(예를 들어, 사용자의 벨트)에 플로팅될 수 있다. 이를 달성하는 것은 머리뿐만 아니라 몸체의 포지션을 아는 것을 필요로 한다. 그러나, 몸체의 포지션은 머리의 포지션에 의해 추정될 수 있다. 예를 들어, 머리들은 일반적으로 지면과 평행하게 포인트 포워딩된다. 또한, 몸체의 포지션은, 사용자의 머리 포지션들의 장기간 평균에 의해 포착된 데이터를 이용함으로써 시간에 따라 더 정확해질 수 있다.
[00150] 타입 II 인식 오브젝트들(특정 기능성)에 대해, 오브젝트들의 컷-어웨이들이 통상적으로 보여진다. 더욱이, 타입 II 인식 오브젝트들은 다양한 3D 모델들의 온라인 데이터베이스에 링크될 수 있다. 인식 프로세스를 시작할 때, 자동차 또는 공공시설들과 같은 흔히 이용가능한 3D 모델들을 갖는 오브젝트들로 시작하는 것이 이상적이다.
[00151] 시스템은 또한, 가상 존재에 대해 이용될 수 있는데, 즉, 사용자가 원거리의 사람의 아바타를 특정 개방 공간에 페인팅하는 것을 가능하게 한다. 이는, 앞서 논의된 "개방 공간 렌더링"의 서브세트로 고려될 수 있다. 사용자는 로컬 환경의 개략적 기하학적 구조를 생성하여, 기하학적 맵 및 텍스처 맵 양쪽 모두를 다른 사람들에게 반복적으로 전송할 수 있다. 그러나, 사용자는 다른 사람들의 환경에 진입하는 것에 대해 다른 사람들에게 허가를 받아야 한다. 미묘한 음성 큐들, 핸드 트랙킹, 및 머리 모션이 원거리 아바타에 전송될 수 있다. 앞서의 정보에 기초하여, 아바타가 애니메이팅될 수 있다. 가상 존재를 생성하는 것은 대역폭을 최소화하고, 그리고 절약적으로 이용될 수 있음이 이해되어야 한다.
[00152] 시스템은 또한, 다른 룸으로의 오브젝트 "포털"을 만들기 위해 구성될 수 있다. 다시 말해, 로컬 룸 내에 아바타를 보여주는 대신에, 인식된 오브젝트(예를 들어, 벽)가 다른 사용자의 환경들로의 포털로서 이용될 수 있다. 따라서, 다수의 사용자들은 자기 자신들의 룸들에 앉아서, 벽들을 "통해" 다른 사용자들의 환경들을 살펴볼 수 있다.
[00153] 시스템은 또한, 카메라들(사람들)의 그룹이 상이한 관점들로부터 장면을 뷰잉할 때, 영역의 조밀한 디지털 모델을 생성하기 위해 구성될 수 있다. 이러한 모델은, 영역이 적어도 하나의 카메라를 통해 뷰잉되는 동안 임의의 유리한 포인트로부터 렌더링가능할 수 있다. 예를 들어, 결혼식 장면이 다수의 사용자들의 유리한 포인트들을 통해 렌더링될 수 있다. 인식기들이 정적 오브젝트들을 움직이는 오브젝트들과 상이하게 구분하여 맵핑할 수 있음이 이해되어야 한다(예를 들어, 벽들은 안정적인 텍스처 맵들을 갖는 한편, 사람들은 더 높은 주파수의 움직이는 텍스처 맵들을 가짐).
[00154] 실시간으로 업데이트되는 풍부한 디지털 모델을 이용시, 장면들은 임의의 관점으로부터 렌더링될 수 있다. 결혼식 예로 되돌아가면, 뒤에 있는 참석자는 더 양호한 뷰를 위해 앞줄(front row)로 날아갈 수 있다. 또는, 멀리 있는 참석자는, 조직자(organizer)에 의해 허용되는 경우, 아바타를 이용하여 "자리"를 찾거나 또는 보이지 않을 수 있다. 참석자들은 자신들의 움직이는 아바타를 보여줄 수 있거나, 또는 아바타를 숨길 수 있다. 이러한 양상은 극도로 높은 대역폭을 필요로 할 가능성이 있음이 이해되어야 한다. 고주파 데이터는 고속 로컬 무선 연결 상의 크라우드(crowd)를 통해 스트리밍될 수 있는 한편, 저주파 데이터는 MLC 클라우드로부터 비롯될 수 있다. 앞서의 예에서, 결혼식의 모든 참석자들이 고정밀 포지션 정보를 갖기 때문에, 로컬 네트워킹에 대한 최적의 라우팅 경로를 만드는 것은 사소할 수 있다.
[00155] 시스템에 대한 또는 사용자들 사이의 통신을 위해, 단순한 사일런트 메시징이 종종 바람직하다. 예를 들어, 핑거 코딩 키보드(finger chording keyboard)가 이용될 수 있다. 선택적 실시예에서, 촉각 장갑 솔루션(tactile glove solution)들이 향상된 성능을 제공할 수 있다.
[00156] 완전 가상 현실 경험을 사용자들에게 제공하기 위해, 비전 시스템이 어두워지고, 사용자에게 실세계와 오버-레이되지 않은 뷰가 보여진다. 이러한 모드에서조차, 레지스트레이션 시스템은 여전히, 사용자의 머리 포지션을 추적할 필요가 있을 수 있다. 완전 가상 현실을 경험하기 위해 이용될 수 있는 여러 모드들이 존재할 수 있다. 예를 들어, "카우치(couch)" 모드에서, 사용자들은 나는 것이 가능할 수 있다. "걷기(walking)" 모드에서, 실세계의 오브젝트들은 가상 오브젝트들로서 재-렌더링될 수 있어서, 사용자는 실세계와 부딪치지 않는다.
[00157] 원칙적으로, 신체 부위들을 렌더링하는 것은 가상 세계를 통해 내비게이팅하는데 있어서 사용자의 불신을 중단시키기 위해 필수적이다. 이는, 사용자의 시야(FOV; field of vision)에서 신체 부위들을 추적하고 렌더링하기 위한 방법을 갖도록 요구한다. 예를 들어, 불투명 바이저(opaque visor)가 수많은 이미지-개선 가능성들을 갖는 가상 현실의 한 형태일 수 있다. 다른 예시에서, 넓은 시야는 사용자에게 후면 뷰(rear view)를 제공할 수 있다. 또 다른 예시에서, 시스템은, 텔레스코프 비전(telescope vision), 씨-쓰루 비전, 적외선 비전, 하나님의 비전(God's vision) 등과 같은 다양한 형태들의 "수퍼 비전"을 포함할 수 있다.
[00158] 일 실시예에서, 관련(pertinent) 소프트웨어 모듈들에 의해 수행되는 것과 같이, 음성 굴절 분석 및 안면 인식 분석과 같은 소스들로부터의 입력을 통해 웨어러블 디바이스 상에서 데이터에 적어도 부분적으로 기초하여 사용자들과 연관된 원격의 아바타들이 애니메이팅될 수 있도록, 가상의 및/또는 증강 사용자 실험을 위한 시스템이 구성된다. 예를 들어, 도 12를 다시 참조하면, 꿀벌(bee) 아바타(2)는, 사용자로부터 국부적으로 음성 샘플들을 캡쳐할 수 있는, 마이크로폰들로의 음성 입력들을 분석하도록 구성된 소프트웨어에 의해 결정되는 것으로서, 친절한 어조의 음성 또는 말(speaking)에 기초하여, 또는 사용자의 얼굴에서 미소의 안면 인식에 기초하여, 정겨운 미소를 갖도록 애니메이팅될 수 있다. 게다가, 아바타 캐릭터는, 이 아바타가 특정 감정을 표현할 가능성이 있는 방식으로 애니메이팅될 수 있다. 예를 들어, 아바타가 개(dog)인 실시예에서, 인간 사용자에게 로컬인 시스템에 의해 검출된 행복한 미소 또는 어조는 개 아바타의 흔드는 꼬리(wagging tail)로 표현될 수 있다.
[00159] 도 17 내지 도 22를 참조하면, 복잡한 게이밍 실시예의 다양한 양상들이, 상표명 "James Bond 007"(RTM) 하에서 추진된 캐릭터와 관련하여 제시된 스파이 테마들 중 일부로 주제별로 지향될 수 있는 스파이 유형 게임의 내용으로 예시된다. 도 17을 참조하면, 가족의 삽화(84)가 도시되는데, 여기서 가족 중 한 명의 멤버(85)는, 상표명 "PlayStation"(RTM)하에서 마케팅된 것들과 같은 전용 게이밍 시스템들 또는 개인용 컴퓨터들에 기초하는 것들과 같은 게이밍 컴퓨터 또는 콘솔(86)에 동작가능하게 커플링된 입력 디바이스(88), 예를 들어, 게이밍 조이스틱 또는 컨트롤러를 동작시킴으로써 게임에서 캐릭터를 조종한다. 게이밍 콘솔(86)은 파일럿/오퍼레이터(85) 및 근처에 있을 수 있는 다른 사람에게 사용자 인터페이스 뷰(92)를 보여주도록 구성된 디스플레이(92)에 동작가능하게 커플링된다. 도 18은 이러한 사용자 인터페이스 뷰(92)의 일 예시를 도시하며, 여기서 대상 게임은 영국의 런던 내에서의 다리에서 또는 다리 가까이에서 수행되고 있다. 이 특정 플레이어(85)에 대한 사용자 인터페이스 뷰(92)는 순수하게 가상 현실인데, 여기서 디스플레이된 사용자 인터페이스의 전체 엘리먼트들은 플레이어들(85)의 거실에 실질적으로 존재하지 않으며 - 이 엘리먼트들은 모니터 또는 디스플레이(도 17에서 엘리먼트(90))를 이용하여 디스플레이되는 가상 엘리먼트들이다. 도 18을 다시 참조하면, 도시된 가상 현실 뷰(92)는, 도 18의 사용자 인터페이스 뷰(92)에 나타낸 바와 같이 이 사시도로부터 대상 플레이어(85)에 의해 동작되는 게이밍 캐릭터(118 - 또한 이 설명적 예시에서는 "에이전트 009"로도 지칭됨)의 묘사와 함께, 다리(102) 및 다양한 빌딩들(98) 그리고 다른 아키텍쳐 피쳐들을 특징으로 하는 런던시의 뷰를 특징으로 한다. 또한, 통신 디스플레이(96), 나침반 표시자(94), 캐릭터 상태 표시자(114), 뉴스 툴 사용자 인터페이스(104), 소셜 네트워킹 툴 사용자 인터페이스(132), 및 메시징 사용자 인터페이스(112)가 플레이어(85)로부터 디스플레이된다. 추가로, 게임에서의 다른 캐릭터(122 - 또한, 이 설명적 예시에서는 "에이전트 006"으로도 지칭됨)도 나타난다. 사용자 인터페이스 뷰(92)에서 나타낸 바와 같이, 시스템은, 에이전트(006) 캐릭터 주위를 강조하는 시각적-제시와 함께, 에이전트 006이 접근하고 있다는 메시지와 같은, 제시된 장면과 관련되는 것으로 간주되는 정보를 메시징 인터페이스(112)를 통해 제시하도록 구성될 수 있다. 시스템은 언제나 오퍼레이터(85)인 그 또는 그녀가 활용하는 뷰의 사시도를 자신이 변경할 수 있도록 구성되는데; 예를 들어, 앞으로 그리고 아래로 보여지는 플레이어 소유의 캐릭터(118)를 통해 도 18에 나타낸 헬리콥터-형 사시도(92) 이외에, 플레이어는 이러한 캐릭터의 눈들의 관점으로부터의 뷰, 또는 계산되고 제시될 수 있는 수많은 다른 가능한 뷰들 중 하나를 선택하기로 결정할 수 있다.
[00160] 도 19를 참조하면, 다른 설명도(144)는, 헤드 탑재형 디스플레이 시스템(300) 및 관련 로컬 프로세싱 시스템(308)을 착용하고 있는 캐릭터 "에이전트 006"(140)으로 동작하는 실제 인간 플레이어를 나타내는데, 이는 실제 인간 플레이어가, 다른 사용자인 그녀의 집 거실에서 오퍼레이터(예를 들어, 도 17의 플레이어(85))에 의해 플레이되고 있는 동일한 게임에 참여하고, 그리고 그가 실제로 그의 혼합된(blended) 또는 증강된 현실 경험을 위해 실제 런던을 걸어다니는 동안의 일이다. 도시된 실시예에서, 플레이어(140)가 그의 증강 현실 헤드 탑재형 디스플레이(300)를 착용하고 다리를 걷는 동안, 그의 로컬 프로세싱 시스템(308)은 실제 현실과 자신의 견해가 겹쳐진(즉, 런던의 실제 스카이라인 및 구조물들(138)과 같은), 도시된 것처럼 다양한 가상 현실 엘리먼트들을 그의 디스플레이에 공급하고 있다. 그는, 일 실시예에서, 게이밍 시나리오에서의 인쇄물 및 사용을 위해 그에게 이전에 전자적으로 통신되었던 하나 또는 그 초과의 실제 도큐먼트들(142)을 손에 들고 다닌다. 도 20은 플레이어의 (140) 눈의 관점으로부터의 뷰(146)의 설명을 나타내는데, 이는 그의 헤드 탑재형 디스플레이(300)를 통한 증강 현실 뷰를 위해 다양한 가상 엘리먼트들이 제시되고 있으면서 실제 런던의 스카이라인(138)을 보기 위해 그의 실제 도큐먼트들(142)을 찾고 있다. 가상 엘리먼트들은, 예를 들어, 통신 디스플레이(126), 뉴스 디스플레이(128), 하나 또는 그 초과의 전자 통신들 또는 소셜 네트워킹 툴 디스플레이들(132), 하나 또는 그 초과의 플레이어 상태 표시자들(134), 메시징 인터페이스(136), 나침반 배향 표시자(124), 및 하나 또는 그 초과의 컨텐츠 디스플레이들(148), 예컨대, 플레이어(140)에 의해 운반되는 실제 도큐먼트들(142)에서 특징화된 텍스트 또는 사진들과 같은 다른 디스플레이된 또는 캡쳐된 정보에 따라 리트리브 및 제시될 수 있는 텍스트, 오디오, 또는 비디오 컨텐츠를 포함할 수 있다. 도 20에 나타낸 바와 같이, 오직 가상 현실에서만 존재하는 근처의 다른 캐릭터 "에이전트 009"는, 캐릭터 "에이전트 006"로서 동작하는 플레이어(140)의 증강 현실 뷰(146)로 제시되고, 그리고 용이한 식별을 위해 사용자 인터페이스에서 이와 같이 라벨링될 수 있다.
[00161] 도 21을 참조하면, 런던에서 실제로 존재하게 되는(138) 것으로 나타나고 그리고 "에이전트 006" 플레이어(140)를 향하여 동일한 다리를 건너고 있지만 증강 현실 헤드 탑재형 디스플레이(예를 들어, 도 19의 엘리먼트(300))를 갖지 않는, 다른 플레이어(150)의 플레이어의 눈 뷰(152)가 제시된다. 이 플레이어(150)는 헤드 탑재형 증강 현실 디스플레이를 가지고 있지 않을 수 있지만, 그는, 이 실시예에서, 더 큰 시스템과 무선으로 연결될 수 있고 그리고 다뤄지고 있는 게임의 증강 현실 세계로의 "윈도우"로서 활용되며, 그리고 경고 또는 캐릭터 정보와 같은 다른 증강 현실 디스플레이 정보(162)와 함께, 실제로 존재할 수 있는(158) 또는 가상일 수 있는(160) 한 명 또는 두 명의 다른 근처의 플레이어들에 관한 디바이스 증강 현실 정보의 제한된 사용자 인터페이스(156)에 존재하도록 구성된 모바일 통신 디바이스(154), 예컨대, 태블릿 또는 스마트폰을 가지고 다닌다.
[00162] 도 22를 참조하면, "새의 눈" 또는 유인(manned) 또는 무인(unmanned) 항공기(또는 "UAV") 시계(view)(164)가 표시된다. 일 실시예에서, 시계(164)는 다른 플레이어, 또는 상기 언급된 플레이어들 중 하나에 의해 작동되는 가상 UAV에 기초할 수 있다. 도시된 시계(164)는, 예를 들어, 집에서, 긴 의자에 앉아있는 플레이어에게 대형 컴퓨터 디스플레이(90) 또는 머리 장착 디스플레이(300)를 이용하여 전체 가상 모드로 표시될 수 있다; 대안적으로, 그러한 시계는, 우연히 비행기 또는 다른 비행체에 있는 플레이어에게 증강 현실 시계로서 표시될 수 있다(즉, 그러한 포지션의 사람에게는, 시계의 적어도 부분들이 실제 현실일 것이기 때문에, "증강" 또는 블렌디드). 예시된 시계(164)는, 시계에서 스폿팅된(spotted) 식별된 상대방에 관한 정보와 같은, 적절한 정보를 피쳐링하는 정보 대시보드(170)를 위한 인터페이스 지역을 포함한다. 도시된 시계(164)는 또한, 정보의 관심있는 사이트들(168), 다른 플레이어들 또는 캐릭터들의 위치들 및/또는 상태들(166), 및/또는 다른 정보 표시들(167)과 같은 가상 하이라이팅 정보를 피쳐링한다.
[00163] 도 23을 참조하면, 예시적인 목적들을 위해, 특정 실제 현실 엘리먼트들을, 예컨대: 방의 구조(174), 커피 테이블(180), DJ 테이블(178), 및 5명의 실제 사람들(176, 188, 182, 184, 186) ― 그들 중 각각은 머리 장착 증강 현실 인터페이스 하드웨어(300)를 입고 있어서, 그들은 그들 주위에 있는 사물들에 대한 그들 자신의 증강 현실 시계들, 예컨대, 가상 현실 만화 캐릭터(198), 가상 현실 스페인 댄서 캐릭터(196), 돌격대원 캐릭터(194), 및 실제 사람들 중 하나(188)를 위한, 구체의-토끼-귀가 달린 머리 탈(192)을 경험할 수 있음 ― 을 피쳐링하는 시계(172)를 갖는 다른 증강 현실 시나리오가 표시된다. 증강 현실 인터페이스 하드웨어가 없는 상태에서는, 방은 5명의 실제 사람들에게, 가구, DJ 테이블, 및 특이한 것 없는 방처럼 보일 것이고; 증강 현실 인터페이스 하드웨어가 있는 상태에서는, 가상으로 돌격대원으로 드러내도록 결정한 사람, 가상으로 스페인 댄서로 드러내도록 결정한 사람, 가상으로 만화 캐릭터로 드러내도록 결정한 사람, 및 실제로 입은 평범한 옷을 드러내도록 결정했지만, 그녀가, 그녀의 머리는 구체의-토끼-귀가 달린 머리 탈(192)로 가상화되는 것을 원하는 것으로 결정한 사람을, 연동된(engaged) 플레이어들 또는 참여자들이 경험할 수 있도록, 시스템이 구성된다. 시스템은 또한, 실제 DJ 테이블(178)과 연관된 특정 가상 피쳐들, 예컨대, DJ(176)의 증강 현실 인터페이스 하드웨어(300)를 통해 오직 DJ(176)에게만 보일 수 있는 가상 음악 문서 페이지들(190), 또는 주변에 있는 누구에게든지 그들의 증강 현실 인터페이스 하드웨어(300)를 사용하여 보일 수 있는 DJ 테이블 조명 피쳐들을 보여주도록 구성될 수 있다.
[00164] 도 24a 및 24b를 참조하면, 태블릿 컴퓨터 또는 스마트폰과 같은 모바일 통신 디바이스의 적응이, 대상 시스템을 사용하여 생성되는 경험 또는 대상 게임의 증강 현실 세계 속으로의 수정된 "윈도우"로서 증강 현실을 경험하는 데에 활용될 수 있다. 도 24a를 참조하면, 전형적인 스마트폰 또는 태블릿 컴퓨팅 시스템 모바일 디바이스(154)는 상대적으로 간단한 시각적 사용자 인터페이스(156)를 특징으로 하고, 전형적으로, 단일 카메라 또는 2개의 카메라를 갖는다. 도 24b를 참조하면, 모바일 컴퓨팅 디바이스는, 모바일 컴퓨팅 디바이스의 증강 현실 참여 능력들을 증가시키도록 구성된 강화 콘솔(218) 내에 제거 가능하게 그리고 동작 가능하게 커플링되었다. 예를 들어, 도시된 실시예는, 눈 추적을 위해 활용될 수 있는 2개의 플레이어-지향된 카메라들(202); 단일 고품질 오디오 및/또는 지향성 사운드 성형을 위해 활용될 수 있는 4개의 스피커들(200); 머신 비전, 레지스트레이션, 및/또는 로컬화를 위한 2개의 전방-지향된 카메라들(204); 부가된 배터리 또는 전력 공급 능력(212); 커플링된 시스템을 플레이어가 움겨쥐는 것에 의한 쉬운 활용을 위해 포지셔닝될 수 있는 하나 이상의 입력 인터페이스들(214, 216); 커플링된 시스템을 움켜쥐는 사용자에게 피드백을 제공하기 위한 햅틱 피드백 디바이스(222)(일 실시예에서, 햅틱 피드백 디바이스는, 지향성 피드백을 제공하기 위해 2개의 축들 ― 각각의 축에 대해 + 또는 - 방향들로 ― 의 피드백을 제공하도록 구성될 수 있음; 그러한 구성은, 예를 들어, 작동자가, 관심있는 특정 타겟에 시스템이 조준되도록 유지하는 것을 보조하는 것, 등을 위해 활용될 수 있음); 하나 이상의 GPS 또는 로컬화 센서들(206); 및/또는 하나 이상의 가속도계들, 관성 측정 유닛들, 및/또는 자이로들(gyros)(208)을 특징으로 한다.
[00165] 도 25를 참조하면, 일 실시예에서, 도 24b에 도시된 바와 같은 시스템이, GPS 센서 및/또는 무선 삼각측량을 사용하여 X 및 Y(지구 좌표계의 위도 및 경도와 유사함) 직교 방향들(Cartesian directions)로 참가자를 개략-로컬화하는 데에 활용될 수 있다(232). 콤파스 및/또는 무선 지향 기술들을 사용하여 개략적인 지향이 달성될 수 있다(234). 개략적인 로컬화 및 지향이 결정된 상태로, 로컬 특징 맵핑 정보를 로컬 디바이스(즉, 인터커플링된 모바일 통신 시스템(154) 및 강화 콘솔(218)과 같은)에 로딩하도록(즉, 무선 통신을 통해) 분산 시스템이 구성될 수 있다. 그러한 정보는, 예를 들어, 스카이라인 지오메트리, 아키텍쳐럴 지오메트리, 수로/평면 엘리먼트 지오메트리, 및 랜드스케이프 지오메트리, 등과 같은 지오메트릭 정보를 포함할 수 있다(236). 로컬 및 분산 시스템들은, 양호한 로컬화 및 지향 특성들(이를테면, X, Y, 및 Z{고도와 유사} 좌표계 및 3-D 지향)을 결정하기 위해, 개략적인 로컬화, 개략적인 지향, 및 로컬 특징 맵 정보의 조합을 활용할 수 있고(238), 이는, 사용자 경험 및 동작을 강화하기 위해, 분산 시스템으로 하여금, 양호한 피치 로컬 특징 맵핑 정보를 로컬 시스템(즉, 인터커플링된 모바일 통신 시스템(154) 및 강화 콘솔(218)과 같은)에 로딩하게 하는 데에 활용될 수 있다. 상이한 지향들 및 로케이션들로의 이동들은 개략적인 로컬화 및 지향 툴들뿐만 아니라 로컬적으로 배치되는 디바이스들, 이를테면 관성 측정 유닛들, 자이로들 및 가속도계들(이들은 참가자에 의해 휴대될 수 있는 태블릿들 또는 모바일 폰들과 같은 모바일 컴퓨팅 시스템들에 커플링될 수 있음)을 활용하여 추적될 수 있다(242).
[00166] 상기 언급된 다양한 실시예들에서의 머리 장착 디스플레이 구성요소는 단안 또는 양안 디스플레이 기술, 투명 비디오 구성들을 포함할 수 있다. 또한, 그러한 구성요소는, 복셀당 및/또는 프레임당 제공되는 사용자의 망막 및 초점 깊이 정보에 따라 이미지가 투사되는 레이저 투사 시스템들을 포함하는, 단안 또는 양안 형태의 웨어러블 또는 머리-장착 광 필드 디스플레이 시스템들을 포함할 수 있다. 깊이 평면들의 수는 바람직하게 2 내지 무한의 범위이거나 또는 매우 큰 수이다; 일 실시예에서는, 3-D 효과를 위해 4 내지 36의 깊이 평면들이 표시될 수 있다.
[00167] 도 23에서 피쳐링된 DJ 테이블(178)과 같은 실제 오브젝트들은 가상 현실 표면들, 형상들, 및 또는 기능성으로 확장될 수 있다. 예를 들어, 일 실시예에서, 그러한 디바이스 상의 실제 버튼은, 실제 디바이스 및/또는 다른 디바이스들, 사람들, 또는 오브젝트들과 상호작용하도록 구성된 가상 패널을 개방하도록 구성될 수 있다.
[00168] 도 23에 도시된 파티 룸(174)과 같은 방은 임의의 방 또는 공간인 것으로 추정될 수도 있다. 시스템은, 어디든지, 방의 다른 연관된 구조들 및 연관된 것들에 관한 기존의 2개 또는 3개의 치수 데이터와 같은) 몇몇 알려진 데이터로부터 가질 수도 있고 ― 또는 거의 제로 데이터(zero data)를 가질 수도 있으며, 도 24b의 제어기 콘솔(218) 상에 탑재된 것들(204)과 같은 카메라들을 이용하는 머신 비전 구성들이 부가적인 데이터를 캡쳐하는데 이용될 수 있으며; 추가로, 시스템은, 사용가능한 2개 또는 3개의 치수 맵 정보를 사람들의 그룹들이 크라우드 소싱(crowd source)할 수도 있도록 구성될 수도 있다.
[00169] 런던 시의 3-차원 맵 데이터와 같은 기존의 맵 정보가 이용가능한 구성에서, 머리 장착형 디스플레이 또는 "감각 웨어(sensory ware)" 구성(300)을 착용하는 사용자는, GPS, 컴퍼스, 및/또는 (부가적인 고정형 추적 카메라들, 다른 플레이어들에 커플링된 디바이스들 등과 같은) 다른 수단을 사용하여 대략 로케이팅될 수도 있다. 정밀한 등록은, 사용자들의 센서들로부터, 그 다음에, 그러한 등록에 대한 기점들로서, 물리적 위치의 알려진 지오메트리를 사용하여 달성될 수도 있다. 예를 들어, 거리 X로 관측되는 런던-특정 빌딩에서, 컴퍼스 및 맵 M으로부터 방향 C에서 그리고 GPS 정보로부터 Y 피트 내의 사용자를 시스템이 로케이팅한 경우, 시스템은, 몇몇 에러 E 내에서 사용자의 3-차원 위치를 "락 인(lock in)"하기 위한 (로봇 또는 컴퓨터-보조 수술에서 이용되는 기술들과 다소 유사한) 등록 알고리즘들을 구현하도록 구성될 수도 있다.
[00170] 고정형 카메라들이 또한 머리 장착형 또는 감각 웨어 시스템들과 함께 이용될 수도 있다. 예를 들어, 도 23에 도시된 것과 같은 파티 룸에서, 방(174)의 특정한 애스펙트들에 장착된 고정형 카메라들은, 방 안의 가상의 사람 및 물리적 사람 둘 모두와의 그들의 소셜 상호작용들이 훨씬 풍부해지도록, 방 및 움직이는 사람들의 진행 중인 라이브 뷰들을 제공하도록 구성될 수도 있으며, 원격 참가자들에게 전체 방의 "라이브" 디지털 원격 참석 뷰를 제공한다. 그러한 실시예들에서, 수 개의 방들은 서로 맵핑될 수도 있는데, 물리적 방 및 가상의 방 지오메트리들이 서로 맵핑될 수도 있고, 물리적 및 가상의 "메타(meta)" 방들에 걸쳐 돌아다니는 오브젝트들을 이용하여, 물리적 방과 동일하게, 또는 보다 더 작게, 또는 보다 더 크게 맵핑하는 부가적인 확장들 및 비주얼들이 생성될 수도 있고, 그 후, 시각적으로 커스터마이징된 또는 "스키닝된(skinned)" 버전들의 방이 각각의 사용자 또는 참가자에게 이용가능해질 수도 있는데, 즉, 그들이 정확히 동일한 물리적 또는 가상의 방에 있을 수도 있으면서, 시스템은 사용자들에 의한 커스텀 뷰들을 허용하는데(예를 들어, 도 23의 가상의 스톰트루퍼(stormtrooper)(194)가 파티에 있을 수 있지만, "Death Star" 모티프(motif) 또는 스킨으로 맵핑된 환경을 가지면서 DJ(176)는 파티 환경에 대해 도 23에 도시된 것과 같이 스키닝된 방을 가질 수도 있음), 즉, 그에 따른 "공유된 영화 현실"의 개념을 허용하며, 여기서, 각각의 사용자는, 전부 동시에, 일치된 뷰의 방의 몇몇 양상들을 가질 뿐만 아니라, 또한, 그들의 개인적 취향에 따라 특정한 변수들(색상, 형상 등)을 변경할 수 있다.
[00172] 본 발명의 다양한 예시적인 실시예들이 본 명세서에서 설명된다. 이들 예들에 대한 참조는 비-제한적인 의미로 이루어진다. 이들은 본 발명의 더욱 광범위하게 적용가능한 양상들을 예시하기 위해 제공된다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수도 있고, 동등물들이 대체될 수도 있다. 부가하여, 특정 상황, 재료, 물질의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상, 또는 범위에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 추가로, 당업자들에 의해 인식될 바와 같이, 본 발명들의 범위 또는 사상으로부터 벗어남이 없이, 본 명세서에서 설명 및 예시된 개별적인 변형들 각각은, 다른 여러 실시예들 중 임의의 실시예의 피쳐들과 용이하게 분리 또는 결합될 수 있는 개별 컴포넌트들 및 피쳐들을 갖는다. 모든 이러한 수정들은, 본 개시와 연관된 청구항들의 범위 내에 있도록 의도된다.
[00172] 본 발명은 대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적합한 디바이스를 제공하는 동작을 포함할 수도 있다. 이러한 제공은 최종 사용자에 의해 수행될 수도 있다. 다시 말해, 대상 방법에서 필수 디바이스를 제공하기 위해, "제공하는" 동작은 단지, 최종 사용자가 획득, 액세스, 접근, 위치지정, 셋-업, 활성화, 파워-업하거나 또는 다른 방식으로 동작할 것을 요구한다. 본 명세서에서 열거된 방법들은, 열거된 순서의 이벤트들에서뿐만 아니라, 논리적으로 가능한 임의의 순서의 열거된 이벤트들에서 수행될 수 있다.
[00173] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적인 양상들이 위에서 전개되었다. 본 발명의 다른 세부사항들에 대해서와 같이, 이들은 당업자들에 의해 이해되거나 또는 일반적으로 알려져 있을 뿐만 아니라, 위에서-인용된 특허들 및 공보들과 관련하여 인식될 수도 있다. 동일한 내용이, 공통으로 또는 논리적으로 사용되는 바와 같은 부가적인 동작들의 관점에서 본 발명의 방법-기반 양상들에 대해 유효할 수도 있다.
[00174] 부가하여, 본 발명이 다양한 피쳐들을 선택적으로 포함하는 여러 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 대하여 고려된 바와 같이 설명되거나 또는 표시된 것으로 제한되지 않을 것이다. 본 발명의 진정한 사상 및 범위로부터 벗어남이 없이, 설명된 본 발명에 대한 다양한 변경들이 이루어질 수 있고, 동등물들(본 명세서에서 열거되든 또는 어떤 간결성을 위해 포함되지 않든)이 대체될 수 있다. 부가하여, 값들의 범위가 제공되는 경우, 그러한 범위 및 임의의 다른 명시된 또는 그러한 명시된 범위의 중간 값의 상한치와 하한치 사이의 모든 각각의 중간 값이 본 발명 내에 포함된다는 것이 이해된다.
[00175] 또한, 설명된 본 발명의 변형들의 임의의 선택적 피쳐가 본 명세서에서 설명된 피쳐들 중 임의의 하나 또는 둘 이상과 독립적으로 또는 결합하여 전개 및 청구될 수 있다는 것이 고려된다. 단일 아이템에 대한 참조는 복수의 동일한 아이템들이 존재할 가능성을 포함한다. 더욱 구체적으로, 본 명세서에서 그리고 그에 연관된 청구항들에서 사용된 바와 같이, 단수 표현들("하나의","상기", 및 "그")은 구체적으로 달리 명시되지 않는 한, 복수의 지시 대상들을 포함한다. 다시 말해, 관사들의 사용은 상기 설명뿐만 아니라 이러한 개시와 연관된 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 이러한 청구항들이 임의의 선택적 엘리먼트를 배제하도록 드래프트될 수 있음이 추가로 유의된다. 그러므로, 이러한 서술은, 청구항 엘리먼트들의 열거 또는 "네거티브" 제한의 사용과 관련하여 "오로지", "단지" 등으로서 이러한 배타적 용어의 사용을 위해 선행하는 기초로서 기능하도록 의도된다.
[00176] 이러한 배타적 용어의 사용 없이, 이러한 기재와 연관된 청구항들에서 용어 "포함하는"은 임의의 부가의 엘리먼트의 포함 ― 주어진 수의 엘리먼트들이 이러한 청구항들에 열거되는지와 무관하게 ― 을 허용하거나, 또는 피쳐의 부가는 이러한 청구항들에서 전개되는 엘리먼트의 특성을 전환하는 것으로서 간주될 수 있다. 본 명세서에서 구체적으로 규정되는 바를 제외하고, 본 명세서에 사용된 모든 기술적 및 과학적 용어들은, 청구항 타당성을 유지하면서, 가능한 한 넓은, 공통으로 이해되는 의미로서 주어질 것이다.
[00177] 본 발명의 폭넓음은 제공된 예들 및/또는 대상 명세서로 제한되는 것이 아니라, 오히려 이러한 개시와 연관된 청구항 언어의 범위에 의해서만 제한된다.
Claims (88)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 방법으로서,
제1 머리-장착 디스플레이 디바이스를 이용하여 제1 사용자의 눈들의 움직임을 추적하는 단계;
상기 추적된 눈 움직임들에 기초하여 상기 제1 사용자의 눈들의 초점 깊이를 추정하는 단계;
디스플레이 오브젝트가 초점이 맞게 나타나도록, 상기 디스플레이 오브젝트와 연관된 광 빔을 추정된 초점 깊이에 기초하여 수정하는 단계;
상기 제1 머리-장착 디스플레이 디바이스의 디스플레이 렌즈를 향해 상기 광 빔을 프로젝팅하는 단계;
상기 디스플레이 렌즈를 이용하여 상기 제1 사용자의 눈으로 상기 광 빔을 지향시키는 단계;
상기 제1 머리-장착 디스플레이 디바이스의 증강 현실 모드의 선택에 적어도 기초하여 상기 제1 사용자의 로컬 환경으로부터의 광의 투과를 선택적으로 허용하는 단계;
상기 제1 사용자의 로컬 환경에서 상기 제1 머리-장착 디스플레이 디바이스로 시계(field of view) 이미지를 캡처하는 단계;
상기 시계 이미지를 이용하여 렌더링된 물리적 오브젝트를 생성하는 단계 ― 상기 렌더링된 물리적 오브젝트는 상기 제1 사용자의 로컬 환경에 존재하는 물리적 오브젝트에 대응하고, 상기 렌더링된 물리적 오브젝트는 상기 물리적 오브젝트가 상기 로컬 환경에 나타나는 것처럼 상기 물리적 오브젝트를 표현함 ―; 및
상기 렌더링된 물리적 오브젝트 및 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를, 제2 위치에 있는 제2 사용자와 연관된 제2 머리-장착 디스플레이 디바이스로 전송하는 단계
를 포함하고,
상기 제2 머리-장착 디스플레이 디바이스는, 상기 가상 세계 데이터에 적어도 부분적으로 기초하여, 상기 제2 위치에서 상기 디스플레이 오브젝트 및 상기 렌더링된 물리적 오브젝트를 프로젝팅하고,
상기 제1 사용자 및 상기 제2 사용자는 공유된 가상 현실과 상호작용하고,
상기 제1 사용자의 상기 제1 머리-장착 디스플레이 디바이스는 증강 현실 모드에서 동작하며, 상기 제2 사용자의 제2 머리-장착 디스플레이 디바이스는 가상 현실 모드에서 동작하고,
상기 제2 머리-장착 디스플레이 디바이스는, 상기 물리적 오브젝트가 상기 제1 사용자의 로컬 환경에 나타나는 것처럼, 상기 렌더링된 물리적 오브젝트를 상기 물리적 오브젝트로서 디스플레이하는,
방법. - 제 21항에 있어서,
상기 시계 이미지는 상기 제1 사용자의 눈 각각에 대한 시계에 대응하는, 방법. - 제 21항에 있어서,
상기 제1 사용자의 로컬 환경으로부터의 광의 투과를 선택적으로 허용하는 단계는, 상기 로컬 환경으로부터의 광의 투과를 선택적으로 허용하기 위해 머리-장착 디스플레이 디바이스의 렌즈를 덮개(cover)로 막는 단계를 더 포함하는, 방법. - 제 23항에 있어서,
상기 제1 사용자의 눈들의 시계 이미지에 기초하여 상기 제1 사용자의 머리 포즈를 추정하는 단계를 더 포함하는, 방법. - 제 23항에 있어서,
상기 캡처된 시계 이미지의 제2 물리적 오브젝트를 물리적으로 렌더링된 가상 오브젝트로 변환하는 단계; 및
상기 물리적으로 렌더링된 가상 오브젝트를 상기 제1 사용자에게 디스플레이하는 단계를 더 포함하는, 방법. - 제 23항에 있어서,
상기 캡처된 시계 이미지에서 포인트들의 세트를 추출하는 단계; 및
상기 추출된 포인트들의 세트에 기초하여 상기 캡처된 시계 이미지에서 제2 물리적 오브젝트에 대한 기점(fiducial)을 생성하는 단계를 더 포함하는, 방법. - 제 26항에 있어서,
상기 추출된 포인트들의 세트 및 상기 기점 중 적어도 하나를 클라우드 컴퓨터에 전송하는 단계; 및
상기 추출된 포인트들의 세트 및 상기 기점 중 적어도 하나를 오브젝트의 타입에 태깅(tagging)하는 단계를 더 포함하는, 방법. - 제 27항에 있어서,
상기 오브젝트의 타입과 연관된 태킹된 포인트들의 세트 및 상기 오브젝트의 타입과 연관된 기점 중 적어도 하나에 기초하여, 상이한 물리적 오브젝트를 상기 오브젝트의 타입에 속하는 것으로 인지하는 단계를 더 포함하는, 방법. - 제 21항에 있어서,
상기 프로젝팅되는 광은 0.7mm 미만의 직경을 갖는 광 빔인, 방법. - 제 21항에 있어서,
적어도 하나의 센서에 의해, 상기 제1 사용자의 움직임, 상기 제1 사용자의 위치, 상기 제1 사용자의 방향 및 상기 제1 사용자의 지향 중 적어도 하나를 감지하는 단계; 및
상기 적어도 하나의 감지된 움직임, 감지된 위치, 감지된 방향 및 감지된 지향에 기초하여 상기 제1 사용자의 포즈를 계산하는 단계를 더 포함하는, 방법. - 제 30항에 있어서,
상기 적어도 하나의 센서는 가속도계, 콤파스 및 자이로스코프 중 적어도 하나인, 방법. - 제 21항에 있어서,
컴퓨터 네트워크로 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터를 프로세싱하는 단계; 및
제2 위치에 위치하는 제2 사용자가 상기 제2 위치에서의 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 경험할 수 있도록, 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 상기 제2 사용자에게 전송하는 단계를 더 포함하는, 방법. - 제 32항에 있어서,
제2 물리적 오브젝트를 감지하는 단계; 및
상기 감지된 제2 물리적 오브젝트와의 미리 결정된 관계에 기초하여, 상기 디스플레이 오브젝트와 연관된 가상 세계 데이터의 적어도 일부를 수정하는 단계를 더 포함하는, 방법. - 제 33항에 있어서,
상기 제 2 사용자에게 상기 수정된 가상 세계 데이터를 제시하는 단계를 더 포함하는, 방법. - 제 21항에 있어서,
상기 디스플레이 오브젝트가 아닌 다른 오브젝트는 흐릿하게 나타나도록, 상기 다른 오브젝트와 연관된 다른 광을 수정하는 단계를 더 포함하는, 방법. - 제 21항에 있어서,
사용자 인터페이스를 통해 사용자 입력을 수신하는 단계; 및
상기 수신된 사용자 입력에 기초하여 상기 디스플레이 오브젝트를 수정하는 단계를 더 포함하는, 방법. - 제 36항에 있어서,
상기 사용자 인터페이스는 촉각 인터페이스 디바이스, 키보드, 마우스, 조이스틱, 모션 캡처 제어기, 광학 추적 디바이스 및 오디오 입력 디바이스 중 적어도 하나인, 방법. - 제 21항에 있어서,
상기 디스플레이 오브젝트는 가상적 오브젝트, 렌더링된 물리적 오브젝트, 이미지 및 비디오 중 적어도 하나인, 방법. - 방법으로서,
머리-장착 사용자 디스플레이 디바이스의 적어도 하나 이상의 외향 카메라를 이용하여 제1 위치에서 물리적 오브젝트를 감지하고, 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 인지하는 단계 ― 상기 물리적 오브젝트를 감지하고 감지된 물리적 오브젝트의 타입을 인지하는 단계는,
하나 이상의 시계 이미지를 캡쳐하고,
상기 하나 이상의 시계 이미지로부터 포인트들의 하나 이상의 세트를 추출하고,
상기 포인트들의 하나 이상의 세트의 적어도 일부에 기초하여 상기 하나 이상의 시계 이미지의 적어도 하나의 물리적 오브젝트에 대한 하나 이상의 기점을 추출하고, 그리고
상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 식별하기 위해 상기 적어도 하나의 물리적 오브젝트에 대한 상기 하나 이상의 기점의 적어도 일부를 프로세싱함으로써 이루어지며, 상기 하나 이상의 기점의 적어도 일부를 프로세싱하는 것은 상기 하나 이상의 기점들을 이전에 저장된 기점들의 세트들와 비교하는 것을 포함함 ―;
상기 적어도 하나 이상의 외향 카메라를 이용하여 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 감지된 물리적 오브젝트의 타입을 인지하고 그리고 상기 머리-장착 사용자 디스플레이 디바이스에 의해 상기 제1 위치에서 인지된 상기 감지된 물리적 오브젝트의 타입과 가상 오브젝트간의 미리결정된 관계를 식별한 결과로, 상기 물리적 오브젝트의 타입에 기초하여 상기 가상 오브젝트를 상기 감지된 물리적 오브젝트와 연관시키는 단계;
가상 세계를 표현하는 가상 세계 데이터를 수신하는 단계 ― 상기 가상 세계 데이터는, 상기 제1 위치에서의 제1 사용자에 의한 상기 가상 세계의 상기 가상 오브젝트의 조작에 대응하는 데이터를 적어도 포함함 ―;
상기 제1 위치에서의 상기 제1 사용자에 의한 상기 가상 오브젝트의 조작에 대응하는 상기 가상 세계 데이터를 머리-장착 사용자 디스플레이 디바이스로 적어도 전송하는 단계 ― 상기 머리-장착 사용자 디스플레이 디바이스는, 상기 제1 사용자의 눈들의 추정된 초점 깊이에 적어도 기초하여, 적어도 상기 가상 오브젝트를 포함하는 상기 가상 세계 데이터의 적어도 일부와 연관된 디스플레이 이미지를 상기 제1 사용자에게 렌더링함 ―;
상기 제1 위치에서의 상기 제1 사용자에 의한 상기 가상 오브젝트의 조작으로부터 기인하는 추가적인 가상 세계 데이터를 생성하는 단계; 및
상기 제1 위치와 상이한 제2 위치에 있는 제2 사용자가 상기 제2 위치로부터 상기 추가적인 가상 세계 데이터를 경험할 수 있도록, 상기 제2 사용자로의 제시를 위해 상기 추가적인 가상 세계 데이터를 상기 제2 사용자에게 전송하는 단계
를 포함하는, 방법. - 제 39항에 있어서,
상기 머리-장착 사용자 디스플레이 디바이스는, 제1 시각화 모드에서 상기 디스플레이 이미지를 상기 제1 사용자에게 디스플레이하고,
상기 추가적인 가상 세계 데이터는 제2 시각화 모드에서 상기 제2 사용자에게 제시되는, 방법. - 제 39항에 있어서,
상기 추가적인 가상 세계 데이터는 상기 머리-장착 사용자 디스플레이 디바이스를 통해 캡처되는 시계 이미지와 연관되는, 방법. - 제 39항에 있어서,
상기 추가적인 가상 세계 데이터는, 상기 제1 사용자의 감지된 움직임, 상기 제1 사용자의 감지된 위치, 상기 제1 사용자의 감지된 방향 및 상기 제1 사용자의 감지된 지향 중 적어도 하나와 연관되는, 방법. - 제 40항에 있어서,
상기 제1 시각화 모드는 상기 제2 시각화 모드와 상이한, 방법. - 제 40항에 있어서,
상기 제1 시각화 모드 및 상기 제2 시각화 모드 중 적어도 하나는, 증강 현실 모드, 가상 현실 모드, 블렌디드(blended) 현실 모드, 및 상기 가상 현실 모드와 상기 증강 현실 모드의 결합 중 적어도 하나인, 방법. - 제 39항에 있어서,
선택된 인터페이스를 식별하기 위해, 사용자 입력에 기초하여, 상기 디스플레이 이미지를 상기 제1 사용자에게 디스플레이하기 위한 인터페이스를 선택하는 단계; 및
상기 선택된 인터페이스를 이용하여 상기 디스플레이 이미지를 렌더링하는 단계를 더 포함하는, 방법. - 제 45항에 있어서,
상기 선택된 인터페이스는 가상 현실 모드, 증강 현실 모드, 블렌디드 현실 모드, 및 상기 가상 현실과 증강 현실 모드들의 결합 중 하나인, 방법. - 제 39항에 있어서,
상기 가상 세계는 2차원 포맷으로 제시되는, 방법. - 제 39항에 있어서,
상기 가상 세계는 3차원 포맷으로 제시되는, 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217019351A KR102387314B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361776771P | 2013-03-11 | 2013-03-11 | |
| US61/776,771 | 2013-03-11 | ||
| PCT/US2014/023739 WO2014164901A1 (en) | 2013-03-11 | 2014-03-11 | System and method for augmented and virtual reality |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019351A Division KR102387314B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150126938A KR20150126938A (ko) | 2015-11-13 |
| KR102270699B1 true KR102270699B1 (ko) | 2021-06-28 |
Family
ID=51659005
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019351A KR102387314B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020157028273A KR102270699B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020237010309A KR20230044041A (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020237043300A KR20230173231A (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020227011920A KR102516124B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019351A KR102387314B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237010309A KR20230044041A (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020237043300A KR20230173231A (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| KR1020227011920A KR102516124B1 (ko) | 2013-03-11 | 2014-03-11 | 증강 및 가상 현실을 위한 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (11) | US10629003B2 (ko) |
| EP (2) | EP2967322A4 (ko) |
| JP (6) | JP6499154B2 (ko) |
| KR (5) | KR102387314B1 (ko) |
| CN (1) | CN105188516B (ko) |
| AU (5) | AU2014248874B2 (ko) |
| CA (2) | CA3157218A1 (ko) |
| IL (6) | IL308285A (ko) |
| WO (1) | WO2014164901A1 (ko) |
Families Citing this family (723)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0522968D0 (en) | 2005-11-11 | 2005-12-21 | Popovich Milan M | Holographic illumination device |
| GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
| US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
| US20100306825A1 (en) | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
| US9892546B2 (en) * | 2010-06-30 | 2018-02-13 | Primal Space Systems, Inc. | Pursuit path camera model method and system |
| WO2012136970A1 (en) | 2011-04-07 | 2012-10-11 | Milan Momcilo Popovich | Laser despeckler based on angular diversity |
| US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
| WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
| EP2995986B1 (en) | 2011-08-24 | 2017-04-12 | Rockwell Collins, Inc. | Data display |
| US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
| US20150010265A1 (en) | 2012-01-06 | 2015-01-08 | Milan, Momcilo POPOVICH | Contact image sensor using switchable bragg gratings |
| WO2013163347A1 (en) | 2012-04-25 | 2013-10-31 | Rockwell Collins, Inc. | Holographic wide angle display |
| US20130293580A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
| US9456744B2 (en) | 2012-05-11 | 2016-10-04 | Digilens, Inc. | Apparatus for eye tracking |
| US9934614B2 (en) | 2012-05-31 | 2018-04-03 | Microsoft Technology Licensing, Llc | Fixed size augmented reality objects |
| US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
| CN113470640B (zh) | 2013-02-07 | 2022-04-26 | 苹果公司 | 数字助理的语音触发器 |
| CA3157218A1 (en) * | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US10231206B2 (en) | 2013-03-15 | 2019-03-12 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices |
| US10237770B2 (en) | 2013-03-15 | 2019-03-19 | DGS Global Systems, Inc. | Systems, methods, and devices having databases and automated reports for electronic spectrum management |
| US10271233B2 (en) | 2013-03-15 | 2019-04-23 | DGS Global Systems, Inc. | Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum |
| NZ712192A (en) | 2013-03-15 | 2018-11-30 | Magic Leap Inc | Display system and method |
| US9288683B2 (en) | 2013-03-15 | 2016-03-15 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management |
| US11646918B2 (en) * | 2013-03-15 | 2023-05-09 | Digital Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management for identifying open space |
| US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
| US9977256B2 (en) * | 2013-05-30 | 2018-05-22 | Johnson & Johnson Vision Care, Inc. | Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| US9727772B2 (en) | 2013-07-31 | 2017-08-08 | Digilens, Inc. | Method and apparatus for contact image sensing |
| US9451162B2 (en) | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
| US11019258B2 (en) | 2013-08-21 | 2021-05-25 | Verizon Patent And Licensing Inc. | Aggregating images and audio data to generate content |
| US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
| US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
| US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20160048019A1 (en) * | 2014-08-12 | 2016-02-18 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| EP3100099B1 (en) | 2014-01-31 | 2020-07-01 | Magic Leap, Inc. | Multi-focal display system and method |
| US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| JP6264087B2 (ja) * | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US9830679B2 (en) | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
| US11137601B2 (en) | 2014-03-26 | 2021-10-05 | Mark D. Wieczorek | System and method for distanced interactive experiences |
| US10725298B2 (en) | 2014-03-26 | 2020-07-28 | Mark D. Wieczorek, P.C. | Virtual reality devices and accessories |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| WO2015162098A1 (en) * | 2014-04-24 | 2015-10-29 | Carl Zeiss Meditec, Inc. | Functional vision testing using light field displays |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US9934613B2 (en) * | 2014-04-29 | 2018-04-03 | The Florida International University Board Of Trustees | Systems for controlling a movable object |
| US20160027414A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
| KR101671837B1 (ko) * | 2014-05-20 | 2016-11-16 | 주식회사 비주얼캠프 | 시선 추적형 입력 장치 |
| KR102219464B1 (ko) * | 2014-05-23 | 2021-02-25 | 삼성전자주식회사 | 보안 운용 방법 및 이를 지원하는 전자 장치 |
| US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
| US9911454B2 (en) | 2014-05-29 | 2018-03-06 | Jaunt Inc. | Camera array including camera modules |
| US9706910B1 (en) * | 2014-05-29 | 2017-07-18 | Vivid Vision, Inc. | Interactive system for vision assessment and correction |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US11030784B2 (en) * | 2014-06-03 | 2021-06-08 | Apple Inc. | Method and system for presenting a digital information related to a real object |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20150362733A1 (en) * | 2014-06-13 | 2015-12-17 | Zambala Lllp | Wearable head-mounted display and camera system with multiple modes |
| US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
| US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11108971B2 (en) | 2014-07-25 | 2021-08-31 | Verzon Patent and Licensing Ine. | Camera array removing lens distortion |
| US10368011B2 (en) | 2014-07-25 | 2019-07-30 | Jaunt Inc. | Camera array removing lens distortion |
| US10701426B1 (en) | 2014-07-28 | 2020-06-30 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
| US9774887B1 (en) | 2016-09-19 | 2017-09-26 | Jaunt Inc. | Behavioral directional encoding of three-dimensional video |
| US10186301B1 (en) | 2014-07-28 | 2019-01-22 | Jaunt Inc. | Camera array including camera modules |
| US9363569B1 (en) * | 2014-07-28 | 2016-06-07 | Jaunt Inc. | Virtual reality system including social graph |
| US10440398B2 (en) | 2014-07-28 | 2019-10-08 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
| US10359736B2 (en) | 2014-08-08 | 2019-07-23 | Digilens Inc. | Method for holographic mastering and replication |
| US9599821B2 (en) * | 2014-08-08 | 2017-03-21 | Greg Van Curen | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space |
| US9779633B2 (en) | 2014-08-08 | 2017-10-03 | Greg Van Curen | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same |
| WO2016042283A1 (en) | 2014-09-19 | 2016-03-24 | Milan Momcilo Popovich | Method and apparatus for generating input images for holographic waveguide displays |
| EP3198192A1 (en) | 2014-09-26 | 2017-08-02 | Milan Momcilo Popovich | Holographic waveguide opticaltracker |
| KR20240005987A (ko) | 2014-09-29 | 2024-01-12 | 매직 립, 인코포레이티드 | 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법 |
| KR102358548B1 (ko) | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | 디바이스를 이용한 화면 처리 방법 및 장치 |
| WO2016064435A1 (en) * | 2014-10-24 | 2016-04-28 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| US10256859B2 (en) | 2014-10-24 | 2019-04-09 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| US20160125652A1 (en) * | 2014-11-03 | 2016-05-05 | Avaya Inc. | Augmented reality supervisor display |
| US10007333B2 (en) | 2014-11-07 | 2018-06-26 | Eye Labs, LLC | High resolution perception of content in a wide field of view of a head-mounted display |
| US10495726B2 (en) | 2014-11-13 | 2019-12-03 | WorldViz, Inc. | Methods and systems for an immersive virtual reality system using multiple active markers |
| US10043319B2 (en) | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
| US10176639B2 (en) | 2014-11-27 | 2019-01-08 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| US10498976B2 (en) * | 2014-12-05 | 2019-12-03 | Microsoft Technology Licensing, Llc | Virtual focus feedback |
| CN104597971B (zh) * | 2014-12-06 | 2018-04-03 | 许昌学院 | 一种可穿戴式计算机 |
| US9633622B2 (en) * | 2014-12-18 | 2017-04-25 | Intel Corporation | Multi-user sensor-based interactions |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| EP3245551B1 (en) | 2015-01-12 | 2019-09-18 | DigiLens Inc. | Waveguide light field displays |
| EP3245444B1 (en) | 2015-01-12 | 2021-09-08 | DigiLens Inc. | Environmentally isolated waveguide display |
| JP6867947B2 (ja) | 2015-01-20 | 2021-05-12 | ディジレンズ インコーポレイテッド | ホログラフィック導波路ライダー |
| USD767509S1 (en) * | 2015-01-20 | 2016-09-27 | My Core Control Development, Llc | Controller device for heating kit |
| US10726625B2 (en) * | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment |
| JP6828235B2 (ja) * | 2015-12-07 | 2021-02-10 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム |
| US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
| CN104615252B (zh) * | 2015-02-16 | 2019-02-05 | 联想(北京)有限公司 | 控制方法、控制装置、穿戴式电子设备及电子设备 |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| JP6565212B2 (ja) * | 2015-02-24 | 2019-08-28 | セイコーエプソン株式会社 | 表示装置、表示方法およびプログラム |
| TWI567670B (zh) * | 2015-02-26 | 2017-01-21 | 宅妝股份有限公司 | 切換虛擬實境模式與擴增實境模式的管理方法以及系統 |
| US9911232B2 (en) | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
| US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
| CN112764536A (zh) | 2015-03-05 | 2021-05-07 | 奇跃公司 | 用于增强现实的系统和方法 |
| US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
| NZ773845A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| US11628038B2 (en) | 2020-02-21 | 2023-04-18 | Raytrx, Llc | Multi-option all-digital 3D surgery visualization system and control |
| US11956414B2 (en) * | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
| WO2016156776A1 (en) | 2015-03-31 | 2016-10-06 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
| US10142609B2 (en) * | 2015-04-29 | 2018-11-27 | Northrop Grumman Systems Corporation | Dynamically adjustable situational awareness interface for control of unmanned vehicles |
| US20160335602A1 (en) * | 2015-05-13 | 2016-11-17 | Capital Preferences, Ltd. | Human Capital Management System and Method |
| WO2016183357A1 (en) * | 2015-05-13 | 2016-11-17 | Capital Preferences, Ltd. | Preference Based Financial Tool System and Method |
| CN108139234B (zh) * | 2015-05-19 | 2021-02-05 | 奇跃公司 | 双复合光场装置 |
| AU2016264601B2 (en) * | 2015-05-19 | 2021-06-10 | Magic Leap, Inc. | Illuminator |
| KR102336879B1 (ko) | 2015-05-20 | 2021-12-08 | 삼성전자주식회사 | 화면을 표시하는 전자 장치, 그 제어 방법 |
| US9836117B2 (en) * | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
| US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| US10721280B1 (en) * | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
| US10802577B2 (en) | 2015-06-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Establishing voice communication channel |
| USD772821S1 (en) | 2015-06-11 | 2016-11-29 | Oculus Vr, Llc | Remote control unit |
| EP4249965A3 (en) | 2015-06-15 | 2023-12-27 | Magic Leap, Inc. | Display system with optical elements for in-coupling multiplexed light streams |
| JP6002286B1 (ja) * | 2015-07-14 | 2016-10-05 | 株式会社コロプラ | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
| US10492981B1 (en) | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
| US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| US10335572B1 (en) * | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
| US10685488B1 (en) | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
| US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
| AU2016296723B2 (en) | 2015-07-20 | 2021-03-04 | Magic Leap, Inc. | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system |
| CA2995978A1 (en) * | 2015-08-18 | 2017-02-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| KR102591552B1 (ko) | 2015-08-21 | 2023-10-18 | 매직 립, 인코포레이티드 | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 |
| EP3337383A4 (en) | 2015-08-21 | 2019-04-03 | Magic Leap, Inc. | EYE SHAPE ESTIMATION |
| US20170228929A1 (en) * | 2015-09-01 | 2017-08-10 | Patrick Dengler | System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships. |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| CN108351700B (zh) | 2015-09-16 | 2022-08-12 | 奇跃公司 | 音频文件的头部姿势混合 |
| WO2017047466A1 (ja) * | 2015-09-18 | 2017-03-23 | シャープ株式会社 | 受信装置、受信方法、プログラム |
| KR102413074B1 (ko) | 2015-09-21 | 2022-06-24 | 삼성전자주식회사 | 사용자 단말, 전자 장치 및 이들의 제어 방법 |
| EP3353591B1 (en) | 2015-09-23 | 2024-04-24 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
| US10025375B2 (en) | 2015-10-01 | 2018-07-17 | Disney Enterprises, Inc. | Augmented reality controls for user interactions with a virtual world |
| JP6598269B2 (ja) | 2015-10-05 | 2019-10-30 | ディジレンズ インコーポレイテッド | 導波管ディスプレイ |
| NZ741830A (en) | 2015-10-05 | 2022-02-25 | Magic Leap Inc | Microlens collimator for scanning optical fiber in virtual/augmented reality system |
| US10338391B2 (en) | 2015-10-06 | 2019-07-02 | Magic Leap, Inc. | Virtual/augmented reality system having reverse angle diffraction grating |
| US9875575B2 (en) * | 2015-10-07 | 2018-01-23 | Google Llc | Smoothing 3D models of objects to mitigate artifacts |
| US10511895B2 (en) * | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| KR101763636B1 (ko) * | 2015-10-15 | 2017-08-02 | 한국과학기술원 | 헤드 마운트 디스플레이를 이용한 협업 방법 |
| CA3001682C (en) | 2015-10-16 | 2022-10-11 | Magic Leap, Inc. | Eye pose identification using eye features |
| US10152825B2 (en) * | 2015-10-16 | 2018-12-11 | Fyusion, Inc. | Augmenting multi-view image data with synthetic objects using IMU and image data |
| CA3002369A1 (en) * | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
| CN113489967A (zh) | 2015-11-04 | 2021-10-08 | 奇跃公司 | 可穿戴显示系统和用于校准可穿戴显示器的方法 |
| US9801295B2 (en) | 2015-11-05 | 2017-10-24 | Oculus Vr, Llc | Remote control unit with lanyard attachment mechanism |
| US9763348B2 (en) | 2015-11-06 | 2017-09-12 | Oculus Vr, Llc | Remote control unit with battery retention mechanism |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
| EP3384468A4 (en) | 2015-12-04 | 2019-01-30 | Magic Leap, Inc. | RELOCALIZATION SYSTEMS AND METHODS |
| US9722235B2 (en) | 2015-12-11 | 2017-08-01 | Oculus Vr, Llc | Remote control unit with battery isolation tab |
| US9990689B2 (en) * | 2015-12-16 | 2018-06-05 | WorldViz, Inc. | Multi-user virtual reality processing |
| US10095928B2 (en) | 2015-12-22 | 2018-10-09 | WorldViz, Inc. | Methods and systems for marker identification |
| US9749600B2 (en) | 2015-12-30 | 2017-08-29 | Surefire Llc | Systems and methods for enhancing media with optically narrowcast content |
| KR20230134159A (ko) | 2016-01-07 | 2023-09-20 | 매직 립, 인코포레이티드 | 깊이 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들 |
| CA3011637A1 (en) | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Eye image collection, selection, and combination |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| CA3009365A1 (en) | 2016-01-20 | 2017-07-27 | Magic Leap, Inc. | Polarizing maintaining optical fiber in virtual/augmented reality system |
| US10397320B2 (en) * | 2016-01-20 | 2019-08-27 | International Business Machines Corporation | Location based synchronized augmented reality streaming |
| US10684483B2 (en) * | 2016-01-20 | 2020-06-16 | Newtonoid Technologies, L.L.C. | Item of headwear |
| CN105554392A (zh) * | 2016-01-20 | 2016-05-04 | 京东方科技集团股份有限公司 | 显示切换装置及其切换方法、穿戴显示装置及其显示方法 |
| CN105894571B (zh) * | 2016-01-22 | 2020-05-19 | 上海肇观电子科技有限公司 | 一种处理多媒体信息的方法及装置 |
| CN105894581B (zh) * | 2016-01-22 | 2020-05-19 | 上海肇观电子科技有限公司 | 一种呈现多媒体信息的方法及装置 |
| CN105893452B (zh) * | 2016-01-22 | 2020-04-17 | 上海肇观电子科技有限公司 | 一种呈现多媒体信息的方法及装置 |
| EP3385869B1 (en) * | 2016-01-22 | 2024-05-08 | Nextvpu (Shanghai) Co., Ltd. | Method and apparatus for presenting multimedia information |
| CN114063311A (zh) | 2016-01-29 | 2022-02-18 | 奇跃公司 | 三维图像的显示 |
| CN109073889B (zh) | 2016-02-04 | 2021-04-27 | 迪吉伦斯公司 | 全息波导光学跟踪器 |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| AU2017220404B2 (en) | 2016-02-18 | 2019-06-06 | Apple Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
| JP6668811B2 (ja) * | 2016-02-23 | 2020-03-18 | セイコーエプソン株式会社 | 訓練装置、訓練方法、プログラム |
| WO2017147527A1 (en) | 2016-02-24 | 2017-08-31 | Magic Leap, Inc. | Polarizing beam splitter with low light leakage |
| IL261102B2 (en) | 2016-02-24 | 2023-10-01 | Magic Leap Inc | Low profile connection for light emitter |
| JP7470063B2 (ja) * | 2016-02-25 | 2024-04-17 | 株式会社コロプラ | ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、及びプログラム |
| EP3420389B1 (en) | 2016-02-26 | 2021-06-23 | Magic Leap, Inc. | Display system having a plurality of light pipes for a plurality of light emitters |
| IL261148B2 (en) | 2016-02-26 | 2023-12-01 | Magic Leap Inc | Light output system with reflector and lenses for high spatially uniform light output |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| NZ757279A (en) | 2016-03-01 | 2022-10-28 | Magic Leap Inc | Reflective switching device for inputting different wavelengths of light into waveguides |
| US10788672B2 (en) | 2016-03-01 | 2020-09-29 | Mirus Llc | Augmented visualization during surgery |
| US10477157B1 (en) * | 2016-03-02 | 2019-11-12 | Meta View, Inc. | Apparatuses, methods and systems for a sensor array adapted for vision computing |
| CN109074785B (zh) | 2016-03-04 | 2022-05-10 | 奇跃公司 | 减少用电的显示系统以及用于减少显示系统的用电的方法 |
| CN114399831A (zh) | 2016-03-07 | 2022-04-26 | 奇跃公司 | 用于生物安全的蓝光调节 |
| CN105807922B (zh) * | 2016-03-07 | 2018-10-02 | 湖南大学 | 一种虚拟现实娱乐驾驶的实现方法、装置及系统 |
| GB2548154A (en) | 2016-03-11 | 2017-09-13 | Sony Computer Entertainment Europe Ltd | Virtual reality |
| US10317989B2 (en) | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
| JP7233927B2 (ja) | 2016-03-22 | 2023-03-07 | マジック リープ， インコーポレイテッド | バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム |
| CN108780224B (zh) | 2016-03-24 | 2021-08-03 | 迪吉伦斯公司 | 用于提供偏振选择性全息波导装置的方法和设备 |
| KR20180122726A (ko) | 2016-03-25 | 2018-11-13 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
| KR101822806B1 (ko) * | 2016-03-31 | 2018-01-29 | 한국과학기술원 | 가상현실 기반 원거리 협업 기능과 데이터베이스를 제공하는 하이브리드 나노물질 및 나노소자의 재료 설계 장치 |
| IL303608A (en) | 2016-03-31 | 2023-08-01 | Magic Leap Inc | Interactions with 3D virtual objects using pose controllers and multiple degrees of freedom |
| CA3023644A1 (en) * | 2016-04-01 | 2017-10-05 | Incontext Solutions, Inc. | Virtual reality platform for retail environment simulation |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| KR20220040511A (ko) | 2016-04-08 | 2022-03-30 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
| US10890707B2 (en) | 2016-04-11 | 2021-01-12 | Digilens Inc. | Holographic waveguide apparatus for structured light projection |
| US10380800B2 (en) * | 2016-04-18 | 2019-08-13 | Disney Enterprises, Inc. | System and method for linking and interacting between augmented reality and virtual reality environments |
| EP3236336B1 (en) * | 2016-04-21 | 2019-03-27 | Nokia Technologies Oy | Virtual reality causal summary content |
| IL311131A (en) | 2016-04-21 | 2024-04-01 | Magic Leap Inc | A visual aura around the field of vision |
| NZ787464A (en) * | 2016-04-26 | 2023-06-30 | Magic Leap Inc | Electromagnetic tracking with augmented reality systems |
| WO2017187095A1 (fr) * | 2016-04-27 | 2017-11-02 | Immersion | Dispositif et procede de partage d'immersion dans un environnement virtuel |
| GB2551473A (en) * | 2016-04-29 | 2017-12-27 | String Labs Ltd | Augmented media |
| US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
| EP3452991A4 (en) * | 2016-05-02 | 2020-01-08 | Warner Bros. Entertainment Inc. | GEOMETRY ADJUSTMENT IN VIRTUAL REALITY AND EXTENDED REALITY |
| US10242501B1 (en) | 2016-05-03 | 2019-03-26 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
| CN105997247A (zh) * | 2016-05-06 | 2016-10-12 | 京东方科技集团股份有限公司 | 一种应用于远程手术的控制端、手术设备端、方法及系统 |
| WO2017193012A1 (en) | 2016-05-06 | 2017-11-09 | Magic Leap, Inc. | Metasurfaces with asymetric gratings for redirecting light and methods for fabricating |
| US10813619B2 (en) | 2016-05-09 | 2020-10-27 | Magic Leap, Inc. | Augmented reality systems and methods for user health analysis |
| KR102641964B1 (ko) | 2016-05-12 | 2024-02-27 | 매직 립, 인코포레이티드 | 이미징 도파관을 통해 분배된 광 조작 |
| US10496156B2 (en) * | 2016-05-17 | 2019-12-03 | Google Llc | Techniques to change location of objects in a virtual/augmented reality system |
| CN115185366A (zh) | 2016-05-20 | 2022-10-14 | 奇跃公司 | 用户界面菜单的情景感知 |
| US10531926B2 (en) * | 2016-05-23 | 2020-01-14 | Mako Surgical Corp. | Systems and methods for identifying and tracking physical objects during a robotic surgical procedure |
| WO2017201569A1 (en) | 2016-05-23 | 2017-11-30 | tagSpace Pty Ltd | Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments |
| US10435176B2 (en) | 2016-05-25 | 2019-10-08 | Skydio, Inc. | Perimeter structure for unmanned aerial vehicle |
| US10089788B2 (en) * | 2016-05-25 | 2018-10-02 | Google Llc | Light-field viewpoint and pixel culling for a head mounted display device |
| KR102258047B1 (ko) | 2016-06-03 | 2021-05-27 | 매직 립, 인코포레이티드 | 증강 현실 아이덴티티 검증 |
| WO2017214040A1 (en) * | 2016-06-06 | 2017-12-14 | Warner Bros. Entertainment Inc. | Mixed reality system |
| US20190302880A1 (en) * | 2016-06-06 | 2019-10-03 | Devar Entertainment Limited | Device for influencing virtual objects of augmented reality |
| CN109563978B (zh) | 2016-06-10 | 2023-08-11 | 奇跃公司 | 纹理投射灯泡的积分点光源 |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10126553B2 (en) * | 2016-06-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Control device with holographic element |
| KR102355455B1 (ko) | 2016-06-20 | 2022-01-24 | 매직 립, 인코포레이티드 | 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템 |
| US10620717B2 (en) | 2016-06-30 | 2020-04-14 | Microsoft Technology Licensing, Llc | Position-determining input device |
| AU2017291131B2 (en) | 2016-06-30 | 2022-03-31 | Magic Leap, Inc. | Estimating pose in 3D space |
| US10019839B2 (en) * | 2016-06-30 | 2018-07-10 | Microsoft Technology Licensing, Llc | Three-dimensional object scanning feedback |
| CN114495249A (zh) | 2016-07-14 | 2022-05-13 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
| KR102450441B1 (ko) | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
| KR101696243B1 (ko) * | 2016-07-22 | 2017-01-13 | 김계현 | 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 |
| JP7182538B2 (ja) | 2016-07-25 | 2022-12-02 | マジック リープ， インコーポレイテッド | 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化 |
| US10451895B2 (en) | 2016-07-25 | 2019-10-22 | Magic Leap, Inc. | Light field processor system |
| US10403044B2 (en) | 2016-07-26 | 2019-09-03 | tagSpace Pty Ltd | Telelocation: location sharing for users in augmented and virtual reality environments |
| IL294128B2 (en) | 2016-07-29 | 2024-04-01 | Magic Leap Inc | Secure exchange of cryptographically signed records |
| IL264489B (en) | 2016-08-02 | 2022-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
| KR102174465B1 (ko) * | 2016-08-10 | 2020-11-04 | 주식회사 케이티 | 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치 |
| US11238610B2 (en) * | 2016-08-10 | 2022-02-01 | Disney Enterprises, Inc. | Placing large objects and objects separated by large distances in augmented reality |
| EP3497676A4 (en) | 2016-08-11 | 2020-03-25 | Magic Leap, Inc. | AUTOMATIC POSITIONING OF A VIRTUAL OBJECT IN A THREE-DIMENSIONAL SPACE |
| CN117198277A (zh) | 2016-08-12 | 2023-12-08 | 奇跃公司 | 单词流注释 |
| US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
| US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
| WO2018039269A1 (en) | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
| US10267970B2 (en) | 2016-08-22 | 2019-04-23 | Magic Leap, Inc. | Thermal dissipation for wearable device |
| CN106327584B (zh) * | 2016-08-24 | 2020-08-07 | 深圳市瑞云科技有限公司 | 一种用于虚拟现实设备的图像处理方法及装置 |
| CN106293100A (zh) * | 2016-08-24 | 2017-01-04 | 上海与德通讯技术有限公司 | 虚拟现实设备中视线焦点的确定方法及虚拟现实设备 |
| US10831334B2 (en) * | 2016-08-26 | 2020-11-10 | tagSpace Pty Ltd | Teleportation links for mixed reality environments |
| US20180063205A1 (en) * | 2016-08-30 | 2018-03-01 | Augre Mixed Reality Technologies, Llc | Mixed reality collaboration |
| CA3036208A1 (en) | 2016-09-13 | 2018-03-22 | Magic Leap, Inc. | Sensory eyewear |
| US11032536B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video |
| US10681341B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Using a sphere to reorient a location of a user in a three-dimensional virtual reality video |
| US11032535B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview of a three-dimensional video |
| WO2018057528A1 (en) | 2016-09-21 | 2018-03-29 | Magic Leap, Inc. | Systems and methods for optical systems with exit pupil expander |
| EP3516630A4 (en) | 2016-09-22 | 2020-06-03 | Magic Leap, Inc. | SPECTROSCOPY WITH EXTENDED REALITY |
| WO2018058063A1 (en) | 2016-09-26 | 2018-03-29 | Magic Leap, Inc. | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
| CA3037047A1 (en) | 2016-09-28 | 2018-04-05 | Magic Leap, Inc. | Face model capture by a wearable device |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| CN106572344A (zh) * | 2016-09-29 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 虚拟现实直播方法、系统以及云服务器 |
| US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
| CN116343319A (zh) | 2016-10-04 | 2023-06-27 | 奇跃公司 | 用于卷积神经网络的有效数据布局 |
| IL295059A (en) | 2016-10-05 | 2022-09-01 | Magic Leap Inc | A blind eye test for mixed reality calibration |
| US10896544B2 (en) * | 2016-10-07 | 2021-01-19 | Htc Corporation | System and method for providing simulated environment |
| US10514769B2 (en) * | 2016-10-16 | 2019-12-24 | Dell Products, L.P. | Volumetric tracking for orthogonal displays in an electronic collaboration setting |
| CN107957774B (zh) * | 2016-10-18 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
| GB2555378B (en) * | 2016-10-18 | 2021-06-09 | Virtually Live Switzerland Gmbh | HMD delivery system and method |
| CN109901710B (zh) * | 2016-10-19 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 媒体文件的处理方法和装置、存储介质及终端 |
| CA3039990A1 (en) | 2016-10-21 | 2018-04-26 | Magic Leap, Inc. | System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| US10192362B2 (en) * | 2016-10-27 | 2019-01-29 | Gopro, Inc. | Generating virtual reality and augmented reality content for a live event |
| JP6913164B2 (ja) | 2016-11-11 | 2021-08-04 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 完全な顔画像の眼球周囲およびオーディオ合成 |
| CN106534125B (zh) * | 2016-11-11 | 2021-05-04 | 厦门汇鑫元软件有限公司 | 一种基于局域网实现vr多人交互系统的方法 |
| CN110168475B (zh) * | 2016-11-14 | 2022-10-18 | 罗技欧洲公司 | 操作集线器的方法以及用于与外围装置交互的系统 |
| US10754417B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
| US10621747B2 (en) | 2016-11-15 | 2020-04-14 | Magic Leap, Inc. | Deep learning system for cuboid detection |
| AU2017361096B2 (en) | 2016-11-16 | 2022-09-01 | Magic Leap, Inc. | Thermal management systems for wearable components |
| JP2018082308A (ja) * | 2016-11-16 | 2018-05-24 | ソニー株式会社 | 情報処理装置、方法及びプログラム |
| JP7116058B2 (ja) | 2016-11-18 | 2022-08-09 | マジック リープ， インコーポレイテッド | 空間可変液晶回折格子 |
| US11378864B2 (en) | 2016-11-18 | 2022-07-05 | Magic Leap, Inc. | Waveguide light multiplexer using crossed gratings |
| KR102639600B1 (ko) | 2016-11-18 | 2024-02-21 | 매직 립, 인코포레이티드 | 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들 |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
| KR102609494B1 (ko) * | 2016-11-29 | 2023-12-01 | 엘지디스플레이 주식회사 | 외부 보상용 표시장치와 그 구동방법 |
| WO2018100906A1 (ja) * | 2016-11-30 | 2018-06-07 | グリー株式会社 | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
| US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
| WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
| WO2018106542A1 (en) | 2016-12-05 | 2018-06-14 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| KR20190088545A (ko) | 2016-12-05 | 2019-07-26 | 케이스 웨스턴 리저브 유니버시티 | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 |
| US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
| KR102585679B1 (ko) | 2016-12-08 | 2023-10-05 | 매직 립, 인코포레이티드 | 콜레스테릭 액정에 기초한 회절 디바이스들 |
| US20180164885A1 (en) * | 2016-12-09 | 2018-06-14 | Immersion Corporation | Systems and Methods For Compliance Illusions With Haptics |
| KR20230022453A (ko) | 2016-12-13 | 2023-02-15 | 매직 립, 인코포레이티드 | 검출된 특징들을 사용한 3d 객체 렌더링 |
| CN111654473B (zh) | 2016-12-13 | 2022-07-19 | 创新先进技术有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
| US11559228B2 (en) | 2016-12-13 | 2023-01-24 | Magic Leap, Inc. | Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels |
| US10373385B2 (en) * | 2016-12-14 | 2019-08-06 | Microsoft Technology Licensing, Llc | Subtractive rendering for augmented and virtual reality systems |
| US10895784B2 (en) | 2016-12-14 | 2021-01-19 | Magic Leap, Inc. | Patterning of liquid crystals using soft-imprint replication of surface alignment patterns |
| WO2018116377A1 (ja) * | 2016-12-20 | 2018-06-28 | 株式会社キッズプレート | 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム |
| CN107741809B (zh) * | 2016-12-21 | 2020-05-12 | 腾讯科技（深圳）有限公司 | 一种虚拟形象之间的互动方法、终端、服务器及系统 |
| US10371896B2 (en) | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
| NZ754406A (en) | 2016-12-22 | 2024-02-23 | Magic Leap Inc | Systems and methods for manipulating light from ambient light sources |
| TWI603227B (zh) * | 2016-12-23 | 2017-10-21 | 李雨暹 | 移動物件的虛擬訊息遠距管理方法與應用系統 |
| GB2558284B (en) * | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
| US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
| JP7190434B2 (ja) | 2016-12-29 | 2022-12-15 | マジック リープ， インコーポレイテッド | 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 |
| CN106823408B (zh) * | 2016-12-30 | 2019-05-07 | 武汉市马里欧网络有限公司 | 基于ar的儿童积木搭建系统及方法 |
| US10262464B2 (en) * | 2016-12-30 | 2019-04-16 | Intel Corporation | Dynamic, local augmented reality landmarks |
| US10621773B2 (en) | 2016-12-30 | 2020-04-14 | Google Llc | Rendering content in a 3D environment |
| US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
| WO2018129398A1 (en) | 2017-01-05 | 2018-07-12 | Digilens, Inc. | Wearable heads up displays |
| US10442727B2 (en) | 2017-01-05 | 2019-10-15 | Magic Leap, Inc. | Patterning of high refractive index glasses by plasma etching |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US20200035030A1 (en) * | 2017-01-17 | 2020-01-30 | Aaron Schradin | Augmented/virtual mapping system |
| JP6227177B1 (ja) * | 2017-01-20 | 2017-11-08 | 株式会社Ｑｄレーザ | 画像投影装置 |
| US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| US10700794B2 (en) | 2017-01-23 | 2020-06-30 | Digital Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum |
| US10529241B2 (en) | 2017-01-23 | 2020-01-07 | Digital Global Systems, Inc. | Unmanned vehicle recognition and threat management |
| US10459020B2 (en) | 2017-01-23 | 2019-10-29 | DGS Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum |
| US10498951B2 (en) | 2017-01-23 | 2019-12-03 | Digital Global Systems, Inc. | Systems, methods, and devices for unmanned vehicle detection |
| CN110462460B (zh) | 2017-01-23 | 2022-10-14 | 奇跃公司 | 用于虚拟、增强或混合现实系统的目镜 |
| US10841724B1 (en) | 2017-01-24 | 2020-11-17 | Ha Tran | Enhanced hearing system |
| CN106791748A (zh) * | 2017-01-25 | 2017-05-31 | 触景无限科技（北京）有限公司 | 一种台灯的投影处理方法及装置 |
| CN114200562A (zh) | 2017-01-27 | 2022-03-18 | 奇跃公司 | 由具有不同取向的纳米梁的超表面形成的衍射光栅 |
| CA3051104A1 (en) | 2017-01-27 | 2018-08-02 | Magic Leap, Inc. | Antireflection coatings for metasurfaces |
| JP6244593B1 (ja) | 2017-01-30 | 2017-12-13 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
| US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| WO2018152455A1 (en) * | 2017-02-20 | 2018-08-23 | Vspatial, Inc. | System and method for creating a collaborative virtual session |
| KR102601052B1 (ko) | 2017-02-23 | 2023-11-09 | 매직 립, 인코포레이티드 | 가변 파워 반사기를 갖는 디스플레이 시스템 |
| KR102419065B1 (ko) * | 2017-02-28 | 2022-07-07 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| CN106919259A (zh) * | 2017-03-06 | 2017-07-04 | 北京小米移动软件有限公司 | 基于vr设备的形象处理方法和装置 |
| US20180255285A1 (en) * | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
| US10672171B2 (en) * | 2017-03-07 | 2020-06-02 | Lamplight Forest Holdings Pty Ltd | System and method for dynamic content generation in a virtual space |
| US10043406B1 (en) | 2017-03-10 | 2018-08-07 | Intel Corporation | Augmented emotion display for austistic persons |
| KR102578084B1 (ko) | 2017-03-14 | 2023-09-12 | 매직 립, 인코포레이티드 | 광 흡수막들을 갖는 도파관들 및 이를 형성하기 위한 프로세스들 |
| CN117197403A (zh) | 2017-03-17 | 2023-12-08 | 奇跃公司 | 混合现实系统及使用该系统生成虚拟内容的方法 |
| EP3596659A4 (en) | 2017-03-17 | 2021-01-27 | Magic Leap, Inc. | SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES |
| IL298822A (en) | 2017-03-17 | 2023-02-01 | Magic Leap Inc | A mixed reality system with color virtual content distortion and a method for creating virtual content using it |
| US10769752B2 (en) | 2017-03-17 | 2020-09-08 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
| KR101963244B1 (ko) * | 2017-03-20 | 2019-03-28 | ㈜라이커스게임 | 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 |
| CN114442311A (zh) | 2017-03-21 | 2022-05-06 | 奇跃公司 | 低轮廓分束器 |
| CN115576048A (zh) | 2017-03-21 | 2023-01-06 | 奇跃公司 | 用于组合视场的具有不同衍射光栅的堆叠波导 |
| AU2018239264B2 (en) | 2017-03-21 | 2023-05-18 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
| CN113568508A (zh) | 2017-03-21 | 2021-10-29 | 奇跃公司 | 虚拟、增强和混合现实系统的深度感测技术 |
| KR20240010763A (ko) | 2017-03-21 | 2024-01-24 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
| JP7273720B2 (ja) * | 2017-03-21 | 2023-05-15 | マジック リープ， インコーポレイテッド | 光走査プロジェクタと連動した眼移動の追跡のための方法およびシステム |
| CN110651211B (zh) | 2017-03-21 | 2022-08-05 | 奇跃公司 | 具有用于分体式光瞳的空间光调制器照射的显示系统 |
| US11644669B2 (en) | 2017-03-22 | 2023-05-09 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
| CN106913449A (zh) * | 2017-03-23 | 2017-07-04 | 郑州诚优成电子科技有限公司 | 互动式增强现实视力康复装置 |
| JP7175281B2 (ja) * | 2017-03-28 | 2022-11-18 | マジック リープ， インコーポレイテッド | ユーザ走査仮想オブジェクトに関係している空間化されたオーディオを用いる拡張現実システム |
| US10369472B1 (en) | 2017-03-30 | 2019-08-06 | Electronic Arts Inc. | Virtual environment mapping system |
| CN108668050B (zh) * | 2017-03-31 | 2021-04-27 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的视频拍摄方法和装置 |
| ES2640790A1 (es) * | 2017-04-04 | 2017-11-06 | Stanislas Louis ALEXANDRE KARNKOWSKI | Procedimiento para la detección y representación virtual de actividades de acción |
| EP3385912B1 (en) * | 2017-04-06 | 2022-08-24 | Hexagon Technology Center GmbH | Near field manoeuvring for ar-devices using image tracking |
| US10403050B1 (en) * | 2017-04-10 | 2019-09-03 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
| US10489651B2 (en) * | 2017-04-14 | 2019-11-26 | Microsoft Technology Licensing, Llc | Identifying a position of a marker in an environment |
| CN110753865B (zh) | 2017-04-18 | 2021-09-24 | 奇跃公司 | 具有由反射可流动材料形成的反射层的波导 |
| CA3059234A1 (en) | 2017-04-19 | 2018-10-25 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| CN110770636B (zh) * | 2017-04-25 | 2024-04-05 | 雷特克斯有限公司 | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 |
| KR102472428B1 (ko) | 2017-04-27 | 2022-11-30 | 매직 립, 인코포레이티드 | 광-방출 사용자 입력 디바이스 |
| US11099633B2 (en) * | 2017-04-27 | 2021-08-24 | Siemens Aktiengesellschaft | Authoring augmented reality experiences using augmented reality and virtual reality |
| KR102432283B1 (ko) | 2017-05-01 | 2022-08-11 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
| US10650541B2 (en) * | 2017-05-10 | 2020-05-12 | Microsoft Technology Licensing, Llc | Presenting applications within virtual environments |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| US10078909B1 (en) | 2017-05-16 | 2018-09-18 | Facebook, Inc. | Video stream customization using graphics |
| CN117891335A (zh) | 2017-05-19 | 2024-04-16 | 奇跃公司 | 用于虚拟、增强和混合现实显示系统的键盘 |
| IL270564B (en) | 2017-05-22 | 2022-07-01 | Magic Leap Inc | Pairing with a companion device |
| US10871806B2 (en) | 2017-05-30 | 2020-12-22 | Magic Leap, Inc. | Power supply assembly with fan assembly for electronic device |
| WO2018222753A1 (en) | 2017-05-31 | 2018-12-06 | Magic Leap, Inc. | Eye tracking calibration techniques |
| US9853740B1 (en) | 2017-06-06 | 2017-12-26 | Surefire Llc | Adaptive communications focal plane array |
| US20180357826A1 (en) * | 2017-06-10 | 2018-12-13 | Tsunami VR, Inc. | Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display |
| WO2018231784A1 (en) | 2017-06-12 | 2018-12-20 | Magic Leap, Inc. | Augmented reality display having multi-element adaptive lens for changing depth planes |
| US10304251B2 (en) * | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
| US10643373B2 (en) * | 2017-06-19 | 2020-05-05 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
| JP6509955B2 (ja) * | 2017-06-28 | 2019-05-08 | 株式会社コロプラ | 情報処理方法、プログラム及び情報処理装置 |
| US10449440B2 (en) | 2017-06-30 | 2019-10-22 | Electronic Arts Inc. | Interactive voice-controlled companion application for a video game |
| US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
| US10562181B2 (en) | 2017-07-03 | 2020-02-18 | X Development Llc | Determining and utilizing corrections to robot actions |
| US10754399B2 (en) * | 2017-07-10 | 2020-08-25 | Magic Leap, Inc. | Method and system for integration of electronic sensors with thermal cooling system |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| US11281287B2 (en) * | 2017-07-13 | 2022-03-22 | Devar Entertainment Limited | Method of generating an augmented reality environment |
| IL271929B (en) | 2017-07-26 | 2022-07-01 | Magic Leap Inc | Neural network training with displays of user interface devices |
| CN110998099A (zh) | 2017-07-28 | 2020-04-10 | 奇跃公司 | 用于显示图像的风扇组件 |
| CN109389677B (zh) * | 2017-08-02 | 2022-10-18 | 珊口（上海）智能科技有限公司 | 房屋三维实景地图的实时构建方法、系统、装置及存储介质 |
| CN107277494A (zh) * | 2017-08-11 | 2017-10-20 | 北京铂石空间科技有限公司 | 立体显示系统及方法 |
| US10613703B2 (en) * | 2017-08-18 | 2020-04-07 | Adobe Inc. | Collaborative interaction with virtual reality video |
| US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
| CN107564099A (zh) * | 2017-08-29 | 2018-01-09 | 上海爱优威软件开发有限公司 | 一种3d空间模型的构建方法及系统 |
| CN109420336A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的游戏实现方法和装置 |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| US11036285B2 (en) * | 2017-09-04 | 2021-06-15 | Abhinav Aggarwal | Systems and methods for mixed reality interactions with avatar |
| KR20200055704A (ko) | 2017-09-20 | 2020-05-21 | 매직 립, 인코포레이티드 | 눈 추적을 위한 개인화된 뉴럴 네트워크 |
| WO2019060741A1 (en) | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT |
| CN107608517B (zh) * | 2017-09-25 | 2020-06-19 | 艾亚（北京）科技有限公司 | 一种基于地理位置的场景互动交友系统及方法 |
| CN111133368A (zh) | 2017-09-27 | 2020-05-08 | 奇跃公司 | 具有分离的相位和幅度调制器的近眼3d显示器 |
| US10482575B2 (en) * | 2017-09-28 | 2019-11-19 | Intel Corporation | Super-resolution apparatus and method for virtual and mixed reality |
| US10803666B1 (en) * | 2017-09-28 | 2020-10-13 | Apple Inc. | Method and device for synchronizing augmented reality coordinate systems |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| CN111465887A (zh) | 2017-10-11 | 2020-07-28 | 奇跃公司 | 包括具有透明发射显示器的目镜的增强现实显示器 |
| WO2019074169A1 (ko) * | 2017-10-11 | 2019-04-18 | 주식회사 카이비전 | 움직임감지 증강현실 글라스 |
| KR102133219B1 (ko) * | 2017-10-11 | 2020-07-14 | 주식회사 카이비전 | 움직임감지 증강현실 글라스 |
| WO2019079350A2 (en) | 2017-10-16 | 2019-04-25 | Digilens, Inc. | SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY |
| KR102022971B1 (ko) * | 2017-10-18 | 2019-09-19 | 한국전자통신연구원 | 영상의 객체 처리 방법 및 장치 |
| KR20200074172A (ko) | 2017-10-26 | 2020-06-24 | 매직 립, 인코포레이티드 | 액정 가변 초점 엘리먼트를 갖는 증강 현실 디스플레이 그리고 이를 형성하기 위한 롤투롤 방법 및 장치 |
| WO2019084189A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR GRADIENT NORMALIZATION FOR ADAPTIVE LOSS BALANCING IN DEEP MULTITASK NETWORKS |
| WO2019084334A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | BROADBAND ADAPTIVE LENS ASSEMBLY FOR INCREASED REALITY DISPLAY |
| EP3701497A4 (en) | 2017-10-27 | 2021-07-28 | Magic Leap, Inc. | VIRTUAL RETICLE FOR AUGMENTED REALITY SYSTEMS |
| EP3740809A4 (en) | 2017-11-01 | 2021-12-15 | Vrgineers, Inc. | INTERACTIVE AUGMENTED OR VIRTUAL REALITY DEVICES |
| DE102017219790A1 (de) * | 2017-11-07 | 2019-05-09 | Volkswagen Aktiengesellschaft | System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug |
| WO2019092590A1 (ru) * | 2017-11-09 | 2019-05-16 | ГИОРГАДЗЕ, Анико Тенгизовна | Взаимодействие пользователей в коммуникационной системе при помощи множественного потокового вещания данных дополненной реальности |
| JP7213241B2 (ja) | 2017-11-14 | 2023-01-26 | マジック リープ， インコーポレイテッド | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 |
| US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
| JP7225233B2 (ja) | 2017-12-11 | 2023-02-20 | マジック リープ， インコーポレイテッド | 導波管照明器 |
| IL275078B1 (en) | 2017-12-14 | 2024-04-01 | Magic Leap Inc | Context-based processing of virtual characters |
| EP3724713A4 (en) | 2017-12-15 | 2021-08-25 | Magic Leap, Inc. | IMPROVED ITEM DETERMINATION FOR A DISPLAY DEVICE |
| AU2018386296B2 (en) | 2017-12-15 | 2023-11-23 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| AU2018388581A1 (en) | 2017-12-22 | 2020-07-23 | Magic Leap, Inc. | Methods and system for managing and displaying virtual content in a mixed reality system |
| WO2019132521A1 (ko) * | 2017-12-26 | 2019-07-04 | 스코넥엔터테인먼트주식회사 | 가상 환경 제어 시스템 |
| KR102181587B1 (ko) | 2017-12-26 | 2020-11-20 | (주)스코넥엔터테인먼트 | 가상 환경 제어 시스템 |
| US20210375052A1 (en) * | 2017-12-28 | 2021-12-02 | Sony Corporation | Information processor, information processing method, and program |
| US20190204599A1 (en) * | 2017-12-28 | 2019-07-04 | Microsoft Technology Licensing, Llc | Head-mounted display device with electromagnetic sensor |
| US10916060B2 (en) | 2018-01-04 | 2021-02-09 | Magic Leap, Inc. | Optical elements based on polymeric structures incorporating inorganic materials |
| KR102547943B1 (ko) | 2018-01-05 | 2023-06-26 | 삼성디스플레이 주식회사 | 헤드 마운트 표시 장치 |
| US10236986B1 (en) | 2018-01-05 | 2019-03-19 | Aron Surefire, Llc | Systems and methods for tiling free space optical transmissions |
| US10250948B1 (en) | 2018-01-05 | 2019-04-02 | Aron Surefire, Llc | Social media with optical narrowcasting |
| US10473439B2 (en) | 2018-01-05 | 2019-11-12 | Aron Surefire, Llc | Gaming systems and methods using optical narrowcasting |
| KR20200108030A (ko) | 2018-01-08 | 2020-09-16 | 디지렌즈 인코포레이티드. | 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법 |
| WO2019136476A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Waveguide architectures and related methods of manufacturing |
| JP7291708B2 (ja) | 2018-01-17 | 2023-06-15 | マジック リープ， インコーポレイテッド | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
| EP4354207A2 (en) | 2018-01-17 | 2024-04-17 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| US10634913B2 (en) * | 2018-01-22 | 2020-04-28 | Symbol Technologies, Llc | Systems and methods for task-based adjustable focal distance for heads-up displays |
| US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| CN111699460A (zh) * | 2018-02-02 | 2020-09-22 | 交互数字Ce专利控股公司 | 多视图虚拟现实用户界面 |
| US11442682B2 (en) * | 2018-02-05 | 2022-09-13 | Sony Interactive Entertainment Inc. | Entertainment apparatus, display controlling method, and display controlling program |
| KR20200116459A (ko) | 2018-02-06 | 2020-10-12 | 매직 립, 인코포레이티드 | 증강 현실을 위한 시스템들 및 방법들 |
| CN108399638B (zh) * | 2018-02-08 | 2021-07-20 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
| TWI658404B (zh) * | 2018-02-09 | 2019-05-01 | 宏碁股份有限公司 | 語音辨識系統及其方法 |
| CN108427499A (zh) * | 2018-02-13 | 2018-08-21 | 视辰信息科技(上海)有限公司 | 一种ar系统及ar设备 |
| KR20200121357A (ko) | 2018-02-22 | 2020-10-23 | 매직 립, 인코포레이티드 | 물리적 조작을 사용한 오브젝트 생성 |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| KR20200122362A (ko) | 2018-02-22 | 2020-10-27 | 매직 립, 인코포레이티드 | 혼합 현실 시스템들을 위한 브라우저 |
| EP3759693A4 (en) | 2018-02-27 | 2021-11-24 | Magic Leap, Inc. | MESH PAIRING FOR VIRTUAL AVATARS |
| JP2019152899A (ja) * | 2018-02-28 | 2019-09-12 | 株式会社バンダイナムコスタジオ | シミュレーションシステム及びプログラム |
| CA3089645A1 (en) | 2018-02-28 | 2019-09-06 | Magic Leap, Inc. | Head scan alignment using ocular registration |
| US11368379B2 (en) | 2018-03-06 | 2022-06-21 | Texas State University | Augmented reality/virtual reality platform for a network analyzer |
| EP3593198B1 (en) | 2018-03-07 | 2023-03-08 | Magic Leap, Inc. | Visual tracking of peripheral devices |
| US10854015B2 (en) * | 2018-03-09 | 2020-12-01 | Ventana 3D, Llc | Real-time quality control during manufacturing using augmented reality |
| WO2019178060A1 (en) | 2018-03-12 | 2019-09-19 | Magic Leap, Inc. | Tilting array based display |
| CN108196686B (zh) * | 2018-03-13 | 2024-01-26 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
| CN112136073A (zh) | 2018-03-14 | 2020-12-25 | 奇跃公司 | 用于剪辑内容以增加观看舒适感的显示系统和方法 |
| USD868108S1 (en) * | 2018-03-16 | 2019-11-26 | Magic Leap, Inc. | Display panel or portion thereof with graphical user interface |
| JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ， インコーポレイテッド | 眼追跡カメラからの顔の表情 |
| US10690851B2 (en) | 2018-03-16 | 2020-06-23 | Digilens Inc. | Holographic waveguides incorporating birefringence control and methods for their fabrication |
| EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
| US10943402B2 (en) * | 2018-03-20 | 2021-03-09 | Logitech Europe S.A. | Method and system for mixed reality interaction with peripheral device |
| US20190295056A1 (en) * | 2018-03-20 | 2019-09-26 | Rocky Jerome Wright | Augmented Reality and Messaging |
| US11480467B2 (en) | 2018-03-21 | 2022-10-25 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
| WO2019204164A1 (en) | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
| US11067805B2 (en) | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| US20190324538A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment |
| WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| US11210832B2 (en) | 2018-04-24 | 2021-12-28 | Hewlett-Packard Development Company, L.P. | Animated gazes on head mounted displays |
| KR102575649B1 (ko) | 2018-04-24 | 2023-09-06 | 삼성전자주식회사 | 투시형 디스플레이 장치 |
| US11508255B2 (en) | 2018-04-27 | 2022-11-22 | Red Six Aerospace Inc. | Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience |
| US11887495B2 (en) * | 2018-04-27 | 2024-01-30 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
| US11869388B2 (en) | 2018-04-27 | 2024-01-09 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
| US11436932B2 (en) | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
| KR102068215B1 (ko) * | 2018-04-30 | 2020-01-20 | 주식회사 북트랩스 | 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템 |
| US10504289B2 (en) | 2018-05-01 | 2019-12-10 | Dell Products, Lp | Method and apparatus for securely displaying private information using an augmented reality headset |
| WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
| EP3788457A1 (en) * | 2018-05-03 | 2021-03-10 | PCMS Holdings, Inc. | Systems and methods for physical proximity and/or gesture-based chaining of vr experiences |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| WO2019226554A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Skeletal systems for animating virtual avatars |
| EP3797345A4 (en) | 2018-05-22 | 2022-03-09 | Magic Leap, Inc. | TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM |
| CN116520989A (zh) * | 2018-05-24 | 2023-08-01 | 卡兰控股有限公司 | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 |
| US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| WO2019231850A1 (en) * | 2018-05-31 | 2019-12-05 | Magic Leap, Inc. | Radar head pose localization |
| US11651555B2 (en) * | 2018-05-31 | 2023-05-16 | Microsoft Technology Licensing, Llc | Re-creation of virtual environment through a video call |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| WO2019236344A1 (en) | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
| US11749124B2 (en) * | 2018-06-12 | 2023-09-05 | Skydio, Inc. | User interaction with an autonomous unmanned aerial vehicle |
| US10986270B2 (en) | 2018-06-18 | 2021-04-20 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
| CN109102533A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于混合现实的特征点定位方法 |
| CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
| WO2020005757A1 (en) | 2018-06-26 | 2020-01-02 | Magic Leap, Inc. | Waypoint creation in map detection |
| US11669726B2 (en) | 2018-07-02 | 2023-06-06 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
| CN109035415B (zh) * | 2018-07-03 | 2023-05-16 | 百度在线网络技术（北京）有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
| CN112673298A (zh) | 2018-07-05 | 2021-04-16 | 奇跃公司 | 用于头戴式显示系统的基于波导的照明 |
| US10635939B2 (en) | 2018-07-06 | 2020-04-28 | Capital One Services, Llc | System, method, and computer-accessible medium for evaluating multi-dimensional synthetic data using integrated variants analysis |
| US11474978B2 (en) | 2018-07-06 | 2022-10-18 | Capital One Services, Llc | Systems and methods for a data search engine based on data profiles |
| US10863812B2 (en) * | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
| WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| EP3827300A4 (en) | 2018-07-23 | 2021-09-15 | Magic Leap, Inc. | METHOD AND SYSTEM FOR RESOLVING A HEMISPHERIC AMBUILITY USING A LOCATION VECTOR |
| US10943521B2 (en) | 2018-07-23 | 2021-03-09 | Magic Leap, Inc. | Intra-field sub code timing in field sequential displays |
| CN116483200A (zh) | 2018-07-23 | 2023-07-25 | 奇跃公司 | 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 |
| USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
| USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
| USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
| CN112639664B (zh) * | 2018-07-24 | 2023-03-24 | 奇跃公司 | 用于确定和/或评价图像显示设备的定位地图的方法和装置 |
| EP3827294A4 (en) | 2018-07-24 | 2022-04-20 | Magic Leap, Inc. | BOUNCE-INDUCED LIGHT LOSS ATTENUATION DIFFRACTIVE OPTICS AND RELATED SYSTEMS AND METHODS |
| WO2020023542A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and eyes of a user |
| WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| US10921596B2 (en) * | 2018-07-24 | 2021-02-16 | Disney Enterprises, Inc. | Adaptive luminance/color correction for displays |
| WO2020023779A1 (en) | 2018-07-25 | 2020-01-30 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
| US10835828B1 (en) * | 2018-07-25 | 2020-11-17 | Facebook, Inc. | Augmented-reality game overlays in video communications |
| JP7459050B2 (ja) | 2018-07-27 | 2024-04-01 | マジック リープ， インコーポレイテッド | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
| WO2020028867A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
| CN109308741B (zh) * | 2018-08-08 | 2023-04-07 | 长春理工大学 | 一种基于Meta2的自然交互工艺品创意设计系统 |
| EP3837674A4 (en) | 2018-08-13 | 2022-05-18 | Magic Leap, Inc. | CROSS REALITY SYSTEM |
| US10832481B2 (en) * | 2018-08-21 | 2020-11-10 | Disney Enterprises, Inc. | Multi-screen interactions in virtual and augmented reality |
| US10943461B2 (en) | 2018-08-24 | 2021-03-09 | Digital Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
| US11726550B2 (en) | 2018-09-11 | 2023-08-15 | Samsung Electronics Co., Ltd. | Method and system for providing real-time virtual feedback |
| US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
| US10679410B2 (en) * | 2018-09-14 | 2020-06-09 | Facebook Technologies, Llc | Display opacity control for preventing view occlusion in artificial reality |
| USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| CN113168007B (zh) | 2018-09-25 | 2023-09-15 | 奇跃公司 | 用于增强现实的系统和方法 |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| JP2022512600A (ja) * | 2018-10-05 | 2022-02-07 | マジック リープ， インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
| FR3087284B1 (fr) * | 2018-10-15 | 2021-11-05 | Amadeus Sas | Procede et systeme de realite augmentee |
| CN109513157B (zh) * | 2018-10-16 | 2020-09-11 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与系统 |
| US10937244B2 (en) * | 2018-10-23 | 2021-03-02 | Microsoft Technology Licensing, Llc | Efficiency enhancements to construction of virtual reality environments |
| CN113227879A (zh) | 2018-10-26 | 2021-08-06 | 奇跃公司 | 用于电磁跟踪的环境电磁失真校正 |
| US10914945B2 (en) | 2018-11-09 | 2021-02-09 | Facebook Technologies, Llc | Inconspicuous near-eye electrical circuits |
| KR20210073603A (ko) * | 2018-11-09 | 2021-06-18 | 베크만 컬터, 인코포레이티드 | 선택적 데이터 제공을 갖는 서비스 안경 |
| CN113302546A (zh) | 2018-11-20 | 2021-08-24 | 奇跃公司 | 用于增强现实显示系统的目镜 |
| US11182043B2 (en) * | 2018-11-27 | 2021-11-23 | Anduril Industries Inc. | Interactive virtual interface |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| WO2020112561A1 (en) | 2018-11-30 | 2020-06-04 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| WO2020115784A1 (ja) * | 2018-12-03 | 2020-06-11 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
| EP3663941B1 (en) * | 2018-12-07 | 2022-07-13 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
| KR102191096B1 (ko) * | 2018-12-07 | 2020-12-15 | 한국전자기술연구원 | 시야창이 확장된 증강현실 근안 디스플레이 |
| US10970547B2 (en) * | 2018-12-07 | 2021-04-06 | Microsoft Technology Licensing, Llc | Intelligent agents for managing data associated with three-dimensional objects |
| US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
| US11282282B2 (en) * | 2018-12-14 | 2022-03-22 | Vulcan Inc. | Virtual and physical reality integration |
| KR20210103525A (ko) | 2018-12-20 | 2021-08-23 | 스냅 인코포레이티드 | 가상 표면 수정 |
| KR102648993B1 (ko) * | 2018-12-21 | 2024-03-20 | 삼성전자주식회사 | 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법 |
| US10990171B2 (en) * | 2018-12-27 | 2021-04-27 | Facebook Technologies, Llc | Audio indicators of user attention in AR/VR environment |
| US11022794B2 (en) | 2018-12-27 | 2021-06-01 | Facebook Technologies, Llc | Visual indicators of user attention in AR/VR environment |
| US11099406B2 (en) | 2019-01-24 | 2021-08-24 | International Business Machines Corporation | Delivering augmented reality via embedded contact lens |
| US11061254B2 (en) | 2019-01-24 | 2021-07-13 | International Business Machines Corporation | Adjusting contact lens prescription while wearing lens |
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| FR3092416B1 (fr) * | 2019-01-31 | 2022-02-25 | Univ Grenoble Alpes | Système et procédé d’interaction avec des robots dans des applications de réalité mixte |
| US11403823B2 (en) | 2019-02-14 | 2022-08-02 | Lego A/S | Toy system for asymmetric multiplayer game play |
| US20200264378A1 (en) | 2019-02-15 | 2020-08-20 | Digilens Inc. | Methods and Apparatuses for Providing a Holographic Waveguide Display Using Integrated Gratings |
| US11090561B2 (en) * | 2019-02-15 | 2021-08-17 | Microsoft Technology Licensing, Llc | Aligning location for a shared augmented reality experience |
| US20200285784A1 (en) * | 2019-02-27 | 2020-09-10 | Simulation Engineering, LLC | Systems and methods for generating a simulated environment |
| CN113728267A (zh) | 2019-02-28 | 2021-11-30 | 奇跃公司 | 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 |
| WO2020185405A1 (en) * | 2019-03-12 | 2020-09-17 | Magic Leap, Inc. | Registration of local content between first and second augmented reality viewers |
| EP3938821A4 (en) | 2019-03-12 | 2023-04-26 | Digilens Inc. | HOLOGRAPHIC WAVEGUIDE BACKILLUMINATION AND METHODS OF MAKING THEREOF |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US20200302501A1 (en) * | 2019-03-22 | 2020-09-24 | Microsoft Technology Licensing, Llc | Virtualized product configuration and quotation system |
| US10818070B2 (en) | 2019-03-27 | 2020-10-27 | Electronic Arts Inc. | Artificial intelligence based virtual object aging |
| US11620800B2 (en) * | 2019-03-27 | 2023-04-04 | Electronic Arts Inc. | Three dimensional reconstruction of objects based on geolocation and image data |
| US20220152475A1 (en) * | 2019-03-29 | 2022-05-19 | Sony Interactive Entertainment Inc. | Boundary display control device, boundary display control method, and program |
| JP7440532B2 (ja) | 2019-04-03 | 2024-02-28 | マジック リープ， インコーポレイテッド | 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること |
| JP2022529245A (ja) | 2019-04-15 | 2022-06-20 | マジック リープ， インコーポレイテッド | 電磁追跡のためのセンサ融合 |
| CN115755397A (zh) | 2019-04-26 | 2023-03-07 | 苹果公司 | 具有低光操作的头戴式显示器 |
| JP6776400B1 (ja) * | 2019-04-26 | 2020-10-28 | 株式会社コロプラ | プログラム、方法、および情報端末装置 |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| JP2022532931A (ja) | 2019-05-24 | 2022-07-20 | マジック リープ， インコーポレイテッド | 可変焦点アセンブリ |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| KR20220016990A (ko) | 2019-06-07 | 2022-02-10 | 디지렌즈 인코포레이티드. | 투과 및 반사 격자를 통합하는 도파관 및 관련 제조 방법 |
| US11665317B2 (en) * | 2019-06-18 | 2023-05-30 | The Calany Holding S. À R.L. | Interacting with real-world items and corresponding databases through a virtual twin reality |
| CN114286962A (zh) | 2019-06-20 | 2022-04-05 | 奇跃公司 | 用于增强现实显示系统的目镜 |
| US11030459B2 (en) * | 2019-06-27 | 2021-06-08 | Intel Corporation | Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
| US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
| WO2021011686A1 (en) | 2019-07-16 | 2021-01-21 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
| US11887253B2 (en) | 2019-07-24 | 2024-01-30 | Electronic Arts Inc. | Terrain generation and population system |
| JP2022543571A (ja) | 2019-07-29 | 2022-10-13 | ディジレンズ インコーポレイテッド | 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置 |
| WO2021030328A1 (en) | 2019-08-12 | 2021-02-18 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| CN114450608A (zh) | 2019-08-29 | 2022-05-06 | 迪吉伦斯公司 | 真空布拉格光栅和制造方法 |
| KR102329027B1 (ko) * | 2019-09-02 | 2021-11-19 | 주식회사 인터포 | 증강현실 및 빅데이터를 이용한 가상객체 관리 방법 및 그를 수행하는 모바일 단말 |
| US10997785B2 (en) * | 2019-09-26 | 2021-05-04 | Vgis Inc. | System and method for collecting geospatial object data with mediated reality |
| US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
| WO2021076748A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
| WO2021096931A1 (en) | 2019-11-12 | 2021-05-20 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| JP2023503257A (ja) | 2019-11-18 | 2023-01-27 | マジック リープ， インコーポレイテッド | パス可能世界のマッピングおよび位置特定 |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| EP4073763A4 (en) | 2019-12-09 | 2023-12-27 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11151795B2 (en) * | 2019-12-10 | 2021-10-19 | Wormhole Labs, Inc. | Systems and methods of creating virtual pop-up spaces |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| TWI722738B (zh) * | 2019-12-25 | 2021-03-21 | 亞達科技股份有限公司 | 擴增實境裝置與定位方法 |
| US11386652B2 (en) * | 2019-12-26 | 2022-07-12 | Paypal, Inc. | Tagging objects in augmented reality to track object data |
| KR102262019B1 (ko) * | 2019-12-30 | 2021-06-08 | 주식회사 버넥트 | 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템 |
| CN111190488A (zh) * | 2019-12-30 | 2020-05-22 | 华为技术有限公司 | 设备控制方法、通信装置及存储介质 |
| US11410387B1 (en) | 2020-01-17 | 2022-08-09 | Facebook Technologies, Llc. | Systems, methods, and media for generating visualization of physical environment in artificial reality |
| WO2021150921A1 (en) | 2020-01-22 | 2021-07-29 | Photonic Medical Inc | Open view, multi-modal, calibrated digital loupe with depth sensing |
| US11200745B2 (en) | 2020-01-27 | 2021-12-14 | Facebook Technologies, Llc. | Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality |
| WO2021154656A1 (en) * | 2020-01-27 | 2021-08-05 | Magic Leap, Inc. | Enhanced state control for anchor-based cross reality applications |
| US10950034B1 (en) | 2020-01-27 | 2021-03-16 | Facebook Technologies, Llc | Systems, methods, and media for generating visualization of physical environment in artificial reality |
| US11210860B2 (en) * | 2020-01-27 | 2021-12-28 | Facebook Technologies, Llc. | Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality |
| US11113891B2 (en) | 2020-01-27 | 2021-09-07 | Facebook Technologies, Llc | Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality |
| US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
| US11451758B1 (en) | 2020-02-12 | 2022-09-20 | Meta Platforms Technologies, Llc | Systems, methods, and media for colorizing grayscale images |
| CN115398314A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 使用多分辨率帧描述符进行地图处理的交叉现实系统 |
| JP2023514207A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ， インコーポレイテッド | 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム |
| CN115427758A (zh) | 2020-02-13 | 2022-12-02 | 奇跃公司 | 具有精确共享地图的交叉现实系统 |
| JP2023515524A (ja) | 2020-02-26 | 2023-04-13 | マジック リープ， インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
| CN111488823B (zh) * | 2020-04-09 | 2022-07-08 | 福州大学 | 基于二维激光雷达的增维手势识别与交互系统及方法 |
| US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| EP4172957A1 (en) * | 2020-06-29 | 2023-05-03 | Snap Inc. | Analyzing augmented reality content usage data |
| GB2596588B (en) * | 2020-07-03 | 2022-10-26 | Sony Interactive Entertainment Inc | Data processing apparatus and method |
| US11690435B2 (en) | 2020-07-07 | 2023-07-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11393171B2 (en) * | 2020-07-21 | 2022-07-19 | International Business Machines Corporation | Mobile device based VR content control |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| US11662511B2 (en) | 2020-07-22 | 2023-05-30 | Samsung Electronics Co., Ltd. | Beam expander and method of operating the same |
| EP4193215A1 (en) | 2020-08-07 | 2023-06-14 | Magic Leap, Inc. | Tunable cylindrical lenses and head-mounted display including the same |
| KR102358997B1 (ko) * | 2020-08-10 | 2022-02-08 | 주식회사 토즈 | 다자간 확장현실 체험을 위한 서비스 플랫폼 |
| US11756225B2 (en) | 2020-09-16 | 2023-09-12 | Campfire 3D, Inc. | Augmented reality collaboration system with physical device |
| US11176756B1 (en) | 2020-09-16 | 2021-11-16 | Meta View, Inc. | Augmented reality collaboration system |
| US11907412B2 (en) * | 2020-09-28 | 2024-02-20 | International Business Machines Corporation | Contextual spectator inclusion in a virtual reality experience |
| EP4222551A1 (en) | 2020-09-29 | 2023-08-09 | Avegant Corp. | An architecture to illuminate a display panel |
| US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
| US11335058B2 (en) | 2020-10-13 | 2022-05-17 | Electronic Arts Inc. | Spatial partitioning for graphics rendering |
| US11522945B2 (en) * | 2020-10-20 | 2022-12-06 | Iris Tech Inc. | System for providing synchronized sharing of augmented reality content in real time across multiple devices |
| KR20220060103A (ko) * | 2020-11-04 | 2022-05-11 | 삼성전자주식회사 | 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법 |
| US11893698B2 (en) | 2020-11-04 | 2024-02-06 | Samsung Electronics Co., Ltd. | Electronic device, AR device and method for controlling data transfer interval thereof |
| TWI756944B (zh) * | 2020-11-27 | 2022-03-01 | 國立臺北科技大學 | 融合混增實境及虛擬實境之教學系統及其方法 |
| KR20220083346A (ko) | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 영상 표시 장치의 위치를 추정하는 방법 및 장치 |
| US20210140793A1 (en) * | 2020-12-18 | 2021-05-13 | Intel Corporation | Map representation system and method for operating an autonomous agent |
| KR102420166B1 (ko) * | 2020-12-30 | 2022-07-12 | 주식회사 버넥트 | 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템 |
| US11289196B1 (en) | 2021-01-12 | 2022-03-29 | Emed Labs, Llc | Health testing and diagnostics platform |
| US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| US11373756B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
| WO2022212177A1 (en) * | 2021-03-31 | 2022-10-06 | Snap Inc. | Virtual reality interface with haptic feedback response |
| FR3122327A1 (fr) * | 2021-04-29 | 2022-11-04 | Clubdes3 | Zones de vision croisées |
| WO2022242856A1 (en) * | 2021-05-19 | 2022-11-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Communication devices, adapting entity and methods for augmented/mixed reality communication |
| EP4341778A1 (en) * | 2021-05-19 | 2024-03-27 | Telefonaktiebolaget LM Ericsson (publ) | Communication of semantic information between augmented reality communication devices |
| US11354845B1 (en) * | 2021-06-01 | 2022-06-07 | Royal Caribbean Cruises Ltd. | Multi-location disc jockey |
| US11610682B2 (en) | 2021-06-22 | 2023-03-21 | Emed Labs, Llc | Systems, methods, and devices for non-human readable diagnostic tests |
| CN113194299B (zh) * | 2021-07-01 | 2021-08-31 | 深圳市修远文化创意有限公司 | 一种智能医疗场景下的口腔治疗实时画面分享方法 |
| KR102641519B1 (ko) * | 2021-08-11 | 2024-02-29 | 한국전자기술연구원 | 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템 |
| US20230086621A1 (en) * | 2021-09-23 | 2023-03-23 | At&T Intellectual Property I, L.P. | Experience and transitioning between virtual reality and augmented reality environments using a virtual assistant |
| KR102561198B1 (ko) * | 2021-09-24 | 2023-07-31 | 주식회사 더에스 | 컨텐츠 활용 플랫폼 시스템, 증강현실 기반의 이미지 출력물 제작방법 |
| KR102505537B1 (ko) * | 2021-09-28 | 2023-03-03 | 성균관대학교산학협력단 | Ar 공유 시스템 |
| US20230138204A1 (en) * | 2021-11-02 | 2023-05-04 | International Business Machines Corporation | Augmented reality object interaction and notification |
| WO2023086752A1 (en) * | 2021-11-09 | 2023-05-19 | Campfire 3D, Inc. | Augmented reality collaboration system with annotation capability |
| US11799967B1 (en) * | 2021-12-22 | 2023-10-24 | Meta Platforms, Inc. | Ultra-wide band communication system for augmented reality |
| US11894941B1 (en) | 2022-03-18 | 2024-02-06 | Grammarly, Inc. | Real-time tone feedback in video conferencing |
| NO20220341A1 (en) * | 2022-03-21 | 2023-09-22 | Pictorytale As | Multilocation augmented reality |
| WO2023182667A1 (ko) * | 2022-03-21 | 2023-09-28 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US11960653B2 (en) * | 2022-05-10 | 2024-04-16 | Snap Inc. | Controlling augmented reality effects through multi-modal human interaction |
| US11886227B1 (en) * | 2022-07-13 | 2024-01-30 | Bank Of America Corporation | Virtual-reality artificial-intelligence multi-user distributed real-time test environment |
| CN115116577B (zh) * | 2022-07-26 | 2022-11-29 | 青岛美迪康数字工程有限公司 | 基于二维码的质控数据传输方法及装置 |
| KR102651994B1 (ko) * | 2022-08-17 | 2024-03-27 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
| KR102616083B1 (ko) * | 2022-08-22 | 2023-12-20 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
| US20240061499A1 (en) * | 2022-08-22 | 2024-02-22 | Meta Platforms Technologies, Llc | Gaze adjusted avatars for immersive reality applications |
| KR20240026691A (ko) * | 2022-08-22 | 2024-02-29 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
| US11789685B1 (en) | 2022-08-29 | 2023-10-17 | International Business Machines Corporation | Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display |
| JP7412497B1 (ja) | 2022-09-26 | 2024-01-12 | 株式会社コロプラ | 情報処理システム |
| JP7354466B1 (ja) * | 2023-02-02 | 2023-10-02 | 株式会社コロプラ | 情報処理システムおよびプログラム |
| KR102605956B1 (ko) * | 2023-07-28 | 2023-11-24 | 주식회사 앰버린 | 3차원게임엔진을 기반으로 한 공연미디어 콘텐츠 제공시스템 |
| CN117270482A (zh) * | 2023-11-22 | 2023-12-22 | 博世汽车部件(苏州)有限公司 | 基于数字孪生的汽车工厂控制系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120183137A1 (en) | 2011-01-13 | 2012-07-19 | The Boeing Company | Augmented Collaboration System |
| US20130050642A1 (en) * | 2011-08-30 | 2013-02-28 | John R. Lewis | Aligning inter-pupillary distance in a near-eye display system |
Family Cites Families (251)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3632865A (en) | 1969-12-23 | 1972-01-04 | Bell Telephone Labor Inc | Predictive video encoding using measured subject velocity |
| DE2737499C3 (de) | 1977-08-19 | 1981-10-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen | Faseroptisches Schaltungselement |
| GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
| US5271093A (en) | 1989-10-17 | 1993-12-14 | Mitsubishi Denki Kabushiki Kaisha | Video display apparatus for filling the interior shapes of contour |
| US5138555A (en) | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
| US8730129B2 (en) | 1990-12-07 | 2014-05-20 | Dennis J Solomon | Advanced immersive visual display system |
| JPH05328260A (ja) * | 1992-05-26 | 1993-12-10 | Olympus Optical Co Ltd | 頭部装着式ディスプレイ装置 |
| JPH0655203B2 (ja) | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
| US5311897A (en) | 1992-09-18 | 1994-05-17 | Robert L. Cargill, Jr. | Rotary control valve with offset variable area orifice and bypass |
| US5422653A (en) | 1993-01-07 | 1995-06-06 | Maguire, Jr.; Francis J. | Passive virtual reality |
| US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| JP3872100B2 (ja) * | 1993-08-12 | 2007-01-24 | セイコーエプソン株式会社 | 頭部搭載型の画像表示装置 |
| JP3306183B2 (ja) | 1993-09-14 | 2002-07-24 | リーダー電子株式会社 | 信号波形表示装置及び表示方法 |
| JP2952858B2 (ja) * | 1994-05-31 | 1999-09-27 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
| US5742264A (en) | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
| GB2301216A (en) | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
| JPH09284676A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
| US5886822A (en) * | 1996-10-08 | 1999-03-23 | The Microoptical Corporation | Image combining system for eyeglasses and face masks |
| US7066956B2 (en) | 1997-02-12 | 2006-06-27 | Arthrex, Inc. | Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft |
| US6151179A (en) | 1997-07-11 | 2000-11-21 | International Business Machines Corporation | Signal processing circuit with feedback extracted from a sampled analog error signal |
| US6441811B1 (en) | 1997-10-29 | 2002-08-27 | Sharp Kabushiki Kaisha | Display control device and reproduction display device for electronic books |
| CA2307877C (en) * | 1997-10-30 | 2005-08-30 | The Microoptical Corporation | Eyeglass interface system |
| JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
| EP1194806A4 (en) * | 1999-06-21 | 2008-07-23 | Microoptical Corp | LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN |
| JP2001255862A (ja) | 2000-03-10 | 2001-09-21 | Seiko Epson Corp | オーバレイ画像処理装置およびオーバレイ画像表示装置 |
| US7663642B2 (en) | 2000-11-15 | 2010-02-16 | Sony Corporation | Systems and methods for rendering a polygon in an image to be displayed |
| DE10131720B4 (de) | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System und Verfahren |
| US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
| US6759979B2 (en) | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
| JP3762309B2 (ja) | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
| US7497574B2 (en) * | 2002-02-20 | 2009-03-03 | Brother Kogyo Kabushiki Kaisha | Retinal image display device |
| US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
| JP4170068B2 (ja) | 2002-11-12 | 2008-10-22 | シャープ株式会社 | データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置 |
| US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
| US7385606B2 (en) | 2002-12-18 | 2008-06-10 | Microsoft Corporation | International font measurement system and method |
| US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
| US7515756B2 (en) | 2003-06-23 | 2009-04-07 | Shoestring Research, Llc. | Region segmentation and characterization systems and methods for augmented reality |
| WO2005009566A2 (en) | 2003-07-17 | 2005-02-03 | Fabricio Vayra | Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module |
| ITTO20030662A1 (it) | 2003-08-29 | 2005-02-28 | Fiat Ricerche | Disposizione di visualizzazione virtuale per un quadro |
| US11033821B2 (en) | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| US7110100B2 (en) | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
| KR101026800B1 (ko) | 2003-11-21 | 2011-04-04 | 삼성전자주식회사 | 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법 |
| US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
| US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
| US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
| JP4481663B2 (ja) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
| US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
| US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
| US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
| US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
| JP4373286B2 (ja) | 2004-05-06 | 2009-11-25 | オリンパス株式会社 | 頭部装着型表示装置 |
| US7403337B2 (en) | 2004-05-11 | 2008-07-22 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system and method and device for realizing the system |
| US7442918B2 (en) | 2004-05-14 | 2008-10-28 | Microvision, Inc. | MEMS device having simplified drive |
| US20070182812A1 (en) * | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
| JP2005339267A (ja) | 2004-05-27 | 2005-12-08 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
| US6947219B1 (en) | 2004-06-02 | 2005-09-20 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system for displaying digital contents and device for realizing the system |
| US7113270B2 (en) | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
| US20060007056A1 (en) | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US8585476B2 (en) * | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
| KR100656342B1 (ko) * | 2004-12-16 | 2006-12-11 | 한국전자통신연구원 | 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 |
| US20060214911A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Pointing device for large field of view displays |
| US20060226231A1 (en) | 2005-03-29 | 2006-10-12 | University Of Washington | Methods and systems for creating sequential color images |
| JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| US7773098B2 (en) | 2005-05-11 | 2010-08-10 | Canon Kabushiki Kaisha | Virtual reality presentation apparatus and method |
| US8847861B2 (en) | 2005-05-20 | 2014-09-30 | Semiconductor Energy Laboratory Co., Ltd. | Active matrix display device, method for driving the same, and electronic device |
| JP2006338509A (ja) | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | 状況記憶型コンテンツ管理装置及び方法 |
| US7737965B2 (en) | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
| US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
| IL173361A (en) * | 2005-09-12 | 2012-03-29 | Elbit Systems Ltd | Display system near the eye |
| US7480422B2 (en) | 2005-10-14 | 2009-01-20 | Disney Enterprises, Inc. | Systems and methods for information content delivery relating to an object |
| JP4042780B2 (ja) * | 2005-11-04 | 2008-02-06 | オムロン株式会社 | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 |
| IL172797A (en) | 2005-12-25 | 2012-09-24 | Elbit Systems Ltd | Real-time image scanning and processing |
| US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| US9958934B1 (en) * | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| SE0601216L (sv) | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
| KR100809479B1 (ko) * | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 |
| US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
| US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
| US7889178B2 (en) | 2006-09-08 | 2011-02-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Programmable resolution for optical pointing device |
| US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| JP4936522B2 (ja) | 2006-09-29 | 2012-05-23 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| WO2008153599A1 (en) | 2006-12-07 | 2008-12-18 | Adapx, Inc. | Systems and methods for data annotation, recordation, and communication |
| US7903166B2 (en) | 2007-02-21 | 2011-03-08 | Sharp Laboratories Of America, Inc. | Methods and systems for display viewer motion compensation based on user image data |
| US20080215974A1 (en) | 2007-03-01 | 2008-09-04 | Phil Harrison | Interactive user controlled avatar animations |
| US8832557B2 (en) | 2007-05-04 | 2014-09-09 | Apple Inc. | Adjusting media display in a personal display system based on perspective |
| US7995055B1 (en) * | 2007-05-25 | 2011-08-09 | Google Inc. | Classifying objects in a scene |
| US20080303811A1 (en) | 2007-06-07 | 2008-12-11 | Leviathan Entertainment, Llc | Virtual Professional |
| WO2009002567A1 (en) | 2007-06-27 | 2008-12-31 | The University Of Hawaii | Virtual reality overlay |
| US8902227B2 (en) | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
| US20090089685A1 (en) | 2007-09-28 | 2009-04-02 | Mordecai Nicole Y | System and Method of Communicating Between A Virtual World and Real World |
| US8063905B2 (en) | 2007-10-11 | 2011-11-22 | International Business Machines Corporation | Animating speech of an avatar representing a participant in a mobile communication |
| US20090225001A1 (en) | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
| US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
| KR20090067822A (ko) | 2007-12-21 | 2009-06-25 | 삼성전자주식회사 | 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법 |
| US20090177042A1 (en) | 2008-01-09 | 2009-07-09 | University Of Washington | Color image acquisition with scanning laser beam devices |
| US8624924B2 (en) | 2008-01-18 | 2014-01-07 | Lockheed Martin Corporation | Portable immersive environment using motion capture and head mounted display |
| US8615383B2 (en) | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
| US20090222424A1 (en) | 2008-02-26 | 2009-09-03 | Van Benedict | Method and apparatus for integrated life through virtual cities |
| US20100149073A1 (en) * | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
| US8757812B2 (en) | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
| US20090322671A1 (en) | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
| US8063968B2 (en) | 2008-07-23 | 2011-11-22 | Lockheed Martin Corporation | Device for detecting an image of a nonplanar surface |
| US9600067B2 (en) * | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
| US20100110368A1 (en) * | 2008-11-02 | 2010-05-06 | David Chaum | System and apparatus for eyeglass appliance platform |
| US20100287500A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
| EP2194418B1 (en) * | 2008-12-02 | 2014-07-02 | Saab Ab | Head-up display for night vision goggles |
| US20100137684A1 (en) | 2008-12-03 | 2010-06-03 | Hoya Corporation | Endoscope system with scanning function |
| US8132916B2 (en) | 2008-12-12 | 2012-03-13 | Carl Zeiss Meditec, Inc. | High precision contrast ratio display for visual stimulus |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US8487933B2 (en) | 2009-03-31 | 2013-07-16 | General Electric Company | System and method for multi-segment center point trajectory mapping |
| US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
| US9511289B2 (en) | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
| JP5553635B2 (ja) | 2009-10-23 | 2014-07-16 | キヤノン株式会社 | 補償光学装置、撮像装置および補償光学方法、撮像方法 |
| US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
| JPWO2011061914A1 (ja) | 2009-11-19 | 2013-04-04 | パナソニック株式会社 | 走査型画像表示装置 |
| KR101652311B1 (ko) | 2010-01-26 | 2016-08-30 | 광주과학기술원 | 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| GB2477787B (en) | 2010-02-15 | 2014-09-24 | Marcus Alexander Mawson Cavalier | Use of portable electonic devices with head-mounted display devices |
| JP5499762B2 (ja) | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
| US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| KR20130000401A (ko) * | 2010-02-28 | 2013-01-02 | 오스터하우트 그룹 인코포레이티드 | 대화형 머리장착식 아이피스 상의 지역 광고 컨텐츠 |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US8482859B2 (en) * | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
| US20120120103A1 (en) | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
| US8477425B2 (en) * | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
| US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| JP5681850B2 (ja) | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド（香港） | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
| JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US8893022B2 (en) | 2010-04-01 | 2014-11-18 | Microsoft Corporation | Interactive and shared viewing experience |
| CN102472892B (zh) | 2010-04-28 | 2014-07-09 | 松下电器产业株式会社 | 扫描型图像显示装置 |
| US8762041B2 (en) * | 2010-06-21 | 2014-06-24 | Blackberry Limited | Method, device and system for presenting navigational information |
| US20120200600A1 (en) * | 2010-06-23 | 2012-08-09 | Kent Demaine | Head and arm detection for virtual immersion systems and methods |
| US20130120706A1 (en) * | 2010-08-09 | 2013-05-16 | Panasonic Corporation | Optical device and charging system including the same |
| US20120127136A1 (en) | 2010-08-18 | 2012-05-24 | Kent Displays Incorporated | Display device including piezoelectric and liquid crystal layers |
| US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
| US20120050140A1 (en) | 2010-08-25 | 2012-03-01 | Border John N | Head-mounted display control |
| US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US8638364B2 (en) | 2010-09-23 | 2014-01-28 | Sony Computer Entertainment Inc. | User interface system and method using thermal imaging |
| US20120212405A1 (en) | 2010-10-07 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for presenting virtual and augmented reality scenes to a user |
| US8907983B2 (en) * | 2010-10-07 | 2014-12-09 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
| US8578299B2 (en) | 2010-10-08 | 2013-11-05 | Industrial Technology Research Institute | Method and computing device in a system for motion detection |
| US9122053B2 (en) * | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| US8743464B1 (en) * | 2010-11-03 | 2014-06-03 | Google Inc. | Waveguide with embedded mirrors |
| US20120117514A1 (en) * | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9511291B2 (en) * | 2010-11-15 | 2016-12-06 | Bally Gaming, Inc. | System and method for enhanced augmented reality tracking |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US8831278B2 (en) | 2010-11-30 | 2014-09-09 | Eastman Kodak Company | Method of identifying motion sickness |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| KR101890328B1 (ko) * | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| US20120182313A1 (en) | 2011-01-13 | 2012-07-19 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality in window form |
| US20120188148A1 (en) | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
| JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| US8965049B2 (en) | 2011-02-01 | 2015-02-24 | Panasonic Intellectual Property Corporation Of America | Function extension device, function extension method, computer-readable recording medium, and integrated circuit |
| US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| US9217867B2 (en) | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
| US8401343B2 (en) | 2011-03-27 | 2013-03-19 | Edwin Braun | System and method for defining an augmented reality character in computer generated virtual reality using coded stickers |
| EP2691936A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
| US9071709B2 (en) | 2011-03-31 | 2015-06-30 | Nokia Technologies Oy | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality |
| EP2705435B8 (en) * | 2011-05-06 | 2017-08-23 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US8508830B1 (en) * | 2011-05-13 | 2013-08-13 | Google Inc. | Quantum dot near-to-eye display |
| US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
| US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| US9015245B1 (en) | 2011-07-20 | 2015-04-21 | Google Inc. | Experience sharing with commenting |
| AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| AU2011205223C1 (en) * | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| US9274595B2 (en) * | 2011-08-26 | 2016-03-01 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
| US9191661B2 (en) | 2011-08-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Virtual image display device |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
| US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
| US20130088413A1 (en) * | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
| US9255813B2 (en) | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| AU2012348348B2 (en) * | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US8970452B2 (en) * | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
| US8879155B1 (en) * | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
| US9311883B2 (en) | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
| US9316834B2 (en) | 2011-11-24 | 2016-04-19 | Panasonic Intellectual Property Management Co., Ltd. | Head-mounted display device with foveated pixels |
| US20130141419A1 (en) * | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| US8963805B2 (en) | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
| US9330478B2 (en) | 2012-02-08 | 2016-05-03 | Intel Corporation | Augmented reality creation using a real scene |
| US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
| JP5958689B2 (ja) * | 2012-03-22 | 2016-08-02 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
| US8933912B2 (en) | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
| US9183676B2 (en) | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
| US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| US10502876B2 (en) * | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
| US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
| US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| US9696547B2 (en) | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
| US9035970B2 (en) | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
| JP6015250B2 (ja) | 2012-08-31 | 2016-10-26 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US20140071163A1 (en) | 2012-09-11 | 2014-03-13 | Peter Tobias Kinnebrew | Augmented reality information detail |
| US8797340B2 (en) | 2012-10-02 | 2014-08-05 | Nvidia Corporation | System, method, and computer program product for modifying a pixel value as a function of a display duration estimate |
| US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
| US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
| US9030495B2 (en) | 2012-11-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Augmented reality help |
| US9582123B2 (en) | 2012-11-26 | 2017-02-28 | Qualcomm Incorporated | Dual-mode capacitance sensing in a touch panel sensor |
| US20140178029A1 (en) | 2012-12-26 | 2014-06-26 | Ali Fazal Raheman | Novel Augmented Reality Kiosks |
| KR102019124B1 (ko) | 2013-01-04 | 2019-09-06 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어 방법 |
| US9202313B2 (en) * | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
| US9342929B2 (en) | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
| JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
| KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
| CA3157218A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9852512B2 (en) | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
| US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
| US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
| NZ712192A (en) | 2013-03-15 | 2018-11-30 | Magic Leap Inc | Display system and method |
| US9049469B2 (en) * | 2013-04-03 | 2015-06-02 | Roy S. Melzer | Encryption and decryption of visible codes for real time augmented reality views |
| US9685003B2 (en) | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
| US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10139623B2 (en) | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
| US9911231B2 (en) | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
| US10019059B2 (en) * | 2014-08-22 | 2018-07-10 | Sony Interactive Entertainment Inc. | Glove interface object |
| US10943111B2 (en) | 2014-09-29 | 2021-03-09 | Sony Interactive Entertainment Inc. | Method and apparatus for recognition and matching of objects depicted in images |
| US9778814B2 (en) | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
| WO2016105521A1 (en) * | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US20170090194A1 (en) * | 2015-09-24 | 2017-03-30 | Halo Augmented Reality Ltd. | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement |
| US10768772B2 (en) * | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
| US10345594B2 (en) * | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
| US9927614B2 (en) * | 2015-12-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Augmented reality display system with variable focus |
| IL303608A (en) * | 2016-03-31 | 2023-08-01 | Magic Leap Inc | Interactions with 3D virtual objects using pose controllers and multiple degrees of freedom |
| US10191541B2 (en) * | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
| IL295059A (en) * | 2016-10-05 | 2022-09-01 | Magic Leap Inc | A blind eye test for mixed reality calibration |
| US10338400B2 (en) * | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| US10859834B2 (en) * | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
| JP2021502659A (ja) * | 2017-11-13 | 2021-01-28 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース |
| CA3084546C (en) * | 2017-12-03 | 2023-01-31 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
| JP7087481B2 (ja) * | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
| US10901215B1 (en) * | 2018-05-16 | 2021-01-26 | Facebook Technologies, Llc | Systems and methods for providing a mobile artificial reality user with environmental awareness |
| WO2020023542A1 (en) * | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and eyes of a user |
| SE543144C2 (en) * | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
| WO2021030328A1 (en) * | 2019-08-12 | 2021-02-18 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US11726318B2 (en) * | 2019-12-10 | 2023-08-15 | Magic Leap, Inc. | Increased depth of field for mixed-reality display |
| US11217024B2 (en) * | 2019-12-26 | 2022-01-04 | Facebook Technologies, Llc | Artificial reality system with varifocal display of artificial reality content |
| CA3176984A1 (en) * | 2020-05-01 | 2021-11-04 | Mark Harris | Wearable near-to-eye vision systems |
-
2014
- 2014-03-11 CA CA3157218A patent/CA3157218A1/en active Pending
- 2014-03-11 US US14/205,126 patent/US10629003B2/en active Active
- 2014-03-11 AU AU2014248874A patent/AU2014248874B2/en active Active
- 2014-03-11 CA CA2905427A patent/CA2905427C/en active Active
- 2014-03-11 KR KR1020217019351A patent/KR102387314B1/ko active IP Right Grant
- 2014-03-11 IL IL308285A patent/IL308285A/en unknown
- 2014-03-11 KR KR1020157028273A patent/KR102270699B1/ko active IP Right Grant
- 2014-03-11 CN CN201480026513.8A patent/CN105188516B/zh active Active
- 2014-03-11 WO PCT/US2014/023739 patent/WO2014164901A1/en active Application Filing
- 2014-03-11 KR KR1020237010309A patent/KR20230044041A/ko not_active Application Discontinuation
- 2014-03-11 EP EP14778352.6A patent/EP2967322A4/en not_active Ceased
- 2014-03-11 IL IL298018A patent/IL298018B2/en unknown
- 2014-03-11 JP JP2016501326A patent/JP6499154B2/ja active Active
- 2014-03-11 KR KR1020237043300A patent/KR20230173231A/ko active Search and Examination
- 2014-03-11 EP EP23152829.0A patent/EP4193906A1/en active Pending
- 2014-03-11 KR KR1020227011920A patent/KR102516124B1/ko active IP Right Grant
-
2015
- 2015-05-02 US US14/702,707 patent/US10163265B2/en active Active
- 2015-05-02 US US14/702,710 patent/US10234939B2/en active Active
- 2015-05-02 US US14/702,709 patent/US10126812B2/en active Active
- 2015-05-04 US US14/703,871 patent/US20150235435A1/en not_active Abandoned
- 2015-05-04 US US14/703,863 patent/US20150235433A1/en not_active Abandoned
- 2015-05-04 US US14/703,867 patent/US10068374B2/en active Active
- 2015-05-04 US US14/703,854 patent/US10282907B2/en active Active
-
2017
- 2017-03-10 JP JP2017046806A patent/JP6556776B2/ja active Active
-
2018
- 2018-05-14 IL IL259324A patent/IL259324B/en active IP Right Grant
- 2018-05-14 IL IL259325A patent/IL259325B/en active IP Right Grant
-
2019
- 2019-03-14 JP JP2019046952A patent/JP2019139781A/ja not_active Withdrawn
- 2019-10-03 AU AU2019240661A patent/AU2019240661B2/en active Active
-
2020
- 2020-03-09 US US16/813,671 patent/US11087555B2/en active Active
- 2020-07-27 AU AU2020210147A patent/AU2020210147B2/en active Active
-
2021
- 2021-01-19 JP JP2021006458A patent/JP7002684B2/ja active Active
- 2021-03-21 IL IL281669A patent/IL281669B/en unknown
- 2021-07-06 US US17/367,848 patent/US11663789B2/en active Active
- 2021-10-28 AU AU2021258005A patent/AU2021258005B2/en active Active
- 2021-12-27 JP JP2021212164A patent/JP2022036160A/ja active Pending
- 2021-12-27 IL IL289419A patent/IL289419A/en unknown
-
2023
- 2023-02-08 AU AU2023200677A patent/AU2023200677B2/en active Active
- 2023-04-17 US US18/301,932 patent/US20230252744A1/en active Pending
-
2024
- 2024-01-04 JP JP2024000139A patent/JP2024028376A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120183137A1 (en) | 2011-01-13 | 2012-07-19 | The Boeing Company | Augmented Collaboration System |
| US20130050642A1 (en) * | 2011-08-30 | 2013-02-28 | John R. Lewis | Aligning inter-pupillary distance in a near-eye display system |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663789B2 (en) | Recognizing objects in a passable world model in augmented or virtual reality systems | |
| US11601484B2 (en) | System and method for augmented and virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |